Modelo propio LoRA
Un modelo que habla como tu empresa: tu jerga, tus formatos y tus tareas. Creamos el dataset, entrenamos y medimos si de verdad mejora.
El fine-tuning LoRA adapta un modelo abierto a tu empresa (vocabulario, formato, tareas) y lo deja funcionando en tu hardware. Para organizaciones con conocimiento muy específico y ejemplos de calidad. Tarda de 4 a 8 semanas, con dataset propio, entrenamiento y evaluación antes y después, y el modelo resultante es tuyo.
Los modelos genéricos saben de todo un poco, pero fallan justo donde tu empresa es diferente: la terminología de tu sector, el formato exacto de tus informes, el método con el que explicáis las cosas, el tono con el que habláis a vuestros clientes. Se puede corregir con instrucciones largas y un buscador privado RAG, y muchas veces basta. Cuando no basta, la solución es enseñar al modelo con ejemplos: el fine-tuning.
Hacerlo en la nube implica subir a un tercero tus mejores ejemplos, que suelen ser tu conocimiento más valioso y, a menudo, contienen datos personales sujetos al RGPD o información bajo secreto profesional. Con LoRA se puede entrenar en hardware propio: el dataset y el modelo resultante se quedan en casa, y después el modelo corre en tu servidor sin pagar por token.
Si lo que quieres es que el modelo “sepa” tus datos, como tu catálogo, tus clientes o normativa que cambia, el fine-tuning no es la herramienta: los olvida, los mezcla y se queda desactualizado. Para eso está el RAG. Tampoco lo recomendamos si no hay ejemplos de calidad ni nadie que pueda validarlos, o si un modelo comercial en la nube ya hace bien la tarea y tus datos no son sensibles. En la mayoría de empresas que vemos en Barcelona, el fine-tuning es el segundo paso, no el primero.
Para Nuzic, un proyecto educativo de música y matemáticas de Barcelona, construimos la fábrica de datasets (ejemplos con razonamiento, preguntas trampa frente a la teoría musical clásica y conversaciones de varios turnos, en tres tonos distintos), una web de curación donde el equipo valida cada ejemplo y el ajuste LoRA de un modelo propio. Por eso sabemos que el trabajo de verdad está en los datos, y es ahí donde ponemos el esfuerzo.
Un asistente que conoce vuestros expedientes y plantillas, funciona dentro del despacho y no expone ni un dato de cliente.
Menos tiempo tecleando y más tiempo con el paciente: transcripción y resúmenes que se quedan dentro de la clínica.
Vuestro know-how técnico, consultable en segundos y sin salir de la red de la empresa.
Tutores y asistentes que enseñan con vuestro método y vuestro temario, sin enviar datos de alumnos a la nube.
Un agente de campo que habla catalán, conoce vuestra finca y lleva el cuaderno por vosotros.
Menos del que parece: con LoRA, el entrenamiento cabe en una GPU de oficina o en un DGX Spark, y después el modelo ajustado se sirve en tu servidor como uno más. El trabajo de verdad está en preparar un buen dataset. Trabajamos desde Barcelona, en remoto o en tu oficina.
El RAG da al modelo información actualizada en cada pregunta; el fine-tuning le enseña cómo responder: estilo, formato, vocabulario y razonamientos típicos. Para datos que cambian, RAG; para comportamiento, fine-tuning. A menudo lo mejor es combinarlos.
Normalmente, desde unos cientos de ejemplos buenos para una tarea concreta. Si no los tienes, los generamos a partir de tus documentos y tu equipo los valida; la calidad importa más que la cantidad.
Tuyo. El dataset, el adaptador LoRA y el modelo fusionado se quedan en tu servidor. Antes de empezar revisamos contigo la licencia del modelo base para que permita el uso comercial que necesitas.
El fine-tuning LoRA adapta un modelo abierto a tu empresa (vocabulario, formato, tareas) y lo deja funcionando en tu hardware. Para organizaciones con conocimiento muy específico y ejemplos de calidad. Tarda de 4 a 8 semanas, con dataset propio, entrenamiento y evaluación antes y después, y el modelo resultante es tuyo.