Model propi LoRA
Un model que parla com la teva empresa: el teu argot, els teus formats i les teves tasques. Creem el dataset, entrenem i mesurem si de debò millora.
El fine-tuning LoRA adapta un model obert a la teva empresa (vocabulari, format, tasques) i el deixa funcionant al teu maquinari. Per a organitzacions amb un coneixement molt específic i exemples de qualitat. Es fa en 4 a 8 setmanes, amb dataset propi, entrenament i avaluació abans i després, i el model resultant és teu.
Els models genèrics saben una mica de tot, però fallen just on la teva empresa és diferent: la terminologia del sector, el format exacte dels informes, el mètode amb què expliqueu les coses, el to amb què parleu als clients. Es pot corregir amb instruccions llargues i un cercador privat RAG, i moltes vegades n’hi ha prou. Quan no n’hi ha prou, la solució és ensenyar el model amb exemples: el fine-tuning.
Fer-ho al núvol implica pujar a un tercer els teus millors exemples, que solen ser el coneixement més valuós que tens i, sovint, contenen dades personals subjectes a l’RGPD o informació sota secret professional. Amb LoRA es pot entrenar en maquinari propi: el dataset i el model resultant es queden a casa, i després el model funciona al teu servidor sense pagar per token.
Si el que vols és que el model «sàpiga» les teves dades, com ara el catàleg, els clients o una normativa que canvia, el fine-tuning no és l’eina adequada: les oblida, les barreja i es queda desactualitzat. Per a això hi ha el RAG. Tampoc no t’ho recomanem si no hi ha exemples de qualitat ni ningú que els pugui validar, o si un model comercial al núvol ja fa bé la tasca i les teves dades no són sensibles. A la majoria d’empreses que veiem a Barcelona, el fine-tuning és el segon pas, no el primer.
Per a Nuzic, un projecte educatiu de música i matemàtiques de Barcelona, vam construir la fàbrica de datasets (exemples amb raonament, preguntes trampa enfront de la teoria musical clàssica i converses de diversos torns, en tres tons diferents), una web de curació on l’equip valida cada exemple i l’ajust LoRA d’un model propi. Per això sabem que la feina de debò és a les dades, i és aquí on hi posem l’esforç.
Un assistent que coneix els vostres expedients i plantilles, funciona dins del despatx i no exposa ni una sola dada de client.
Menys temps teclejant i més temps amb el pacient: transcripció i resums que es queden dins de la clínica.
El vostre know-how tècnic, consultable en segons i sense sortir de la xarxa de l’empresa.
Tutors i assistents que ensenyen amb el vostre mètode i el vostre temari, sense enviar dades d’alumnes al núvol.
Un agent de camp que parla català, coneix la vostra finca i us porta el quadern.
Menys del que sembla: amb LoRA, l’entrenament cap en una GPU d’oficina o en un DGX Spark, i després el model ajustat se serveix al teu servidor com un més. La feina de debò és preparar un bon dataset. Treballem des de Barcelona, en remot o a la teva oficina.
El RAG dona al model informació actualitzada a cada pregunta; el fine-tuning li ensenya com ha de respondre: estil, format, vocabulari i raonaments típics. Per a dades que canvien, RAG; per a comportament, fine-tuning. Sovint el millor és combinar-los.
Normalment, a partir d’uns quants centenars d’exemples bons per a una tasca concreta. Si no en tens, els generem a partir dels teus documents i el teu equip els valida; la qualitat importa més que la quantitat.
Teu. El dataset, l’adaptador LoRA i el model fusionat es queden al teu servidor. Abans de començar revisem amb tu la llicència del model base perquè permeti l’ús comercial que necessites.
El fine-tuning LoRA adapta un model obert a la teva empresa (vocabulari, format, tasques) i el deixa funcionant al teu maquinari. Per a organitzacions amb un coneixement molt específic i exemples de qualitat. Es fa en 4 a 8 setmanes, amb dataset propi, entrenament i avaluació abans i després, i el model resultant és teu.