Hur fine-tuning fungerar
Fine-tuning utgår från en redan tränad basmodell, som till exempel GPT eller Llama, som redan har en bred förståelse av språk och världen. Istället för att börja från noll med miljarder datapunkter tränar man vidare på ett mer begränsat dataset som är specifikt för den uppgift man vill lösa. Modellens parametrar justeras subtilt för att prestera bättre på det nya området.
Processen liknar hur en generalist kan specialisera sig. En läkare har först en bred medicinsk utbildning och specialiserar sig sedan inom ett område genom ytterligare studier. På samma sätt har en förtränad modell bred kunskap som fine-tuning fokuserar och fördjupar inom ett specifikt domän.
En typisk fine-tuning-dataset innehåller hundratals till tusentals exempel på önskade indata-utdata-par. Exempelvis kan ett företag som vill ha en AI som svarar på kundfrågor sammanställa en dataset med vanliga kundfrågor och korrekta svar i företagets ton och stil.
Olika metoder och varianter
Full fine-tuning innebär att alla modellens parametrar uppdateras, vilket ger bäst resultat men kräver mest beräkningskraft. LoRA (Low-Rank Adaptation) är en populär alternativ metod som bara uppdaterar en liten delmängd av parametrarna, vilket dramatiskt minskar resursbehovet med bibehållen kvalitet.
QLoRA kombinerar LoRA med kvantisering, vilket gör det möjligt att fine-tuna stora modeller på konsument-GPU:er. Denna demokratisering av fine-tuning har gjort tekniken tillgänglig för betydligt fler utvecklare och organisationer. I Veckans AI-podden har man diskuterat hur dessa metoder gör det praktiskt möjligt för svenska företag att skapa skräddarsydda AI-modeller.
Instruktionsfintuning är en specifik variant där modellen tränas på par av instruktioner och svar, vilket gör den bättre på att följa användarinstruktioner. RLHF (Reinforcement Learning from Human Feedback) är ytterligare ett steg där mänskliga utvärderare rankar modellens svar för att ytterligare förbättra kvaliteten.
När bör man fine-tuna?
Fine-tuning är mest värdefullt när man behöver en modell som konsekvent följer en specifik stil, ton eller format, eller som har djup kunskap inom ett nischat område. Det är särskilt effektivt för att lära modellen att generera strukturerad output, följa företagsspecifika riktlinjer eller hantera domänspecifik terminologi.
Det är dock inte alltid rätt lösning. För många användningsfall kan prompt engineering eller RAG ge tillräckligt bra resultat med betydligt mindre ansträngning. RAG är bättre när man vill ge modellen tillgång till specifik information, medan fine-tuning är bättre när man vill förändra modellens beteende och stil.
Vanliga misstag vid fine-tuning inkluderar att använda för lite eller för dålig träningsdata, att överträna modellen så att den tappar generaliseringsförmåga, och att fine-tuna när enklare metoder hade räckt. En bra tumregel är att alltid testa prompt engineering och RAG först och bara använda fine-tuning när dessa metoder inte ger tillräckliga resultat.
Vanliga frågor
Hur mycket data behövs för fine-tuning?
Det varierar beroende på uppgift och metod, men generellt räcker ofta några hundra till några tusen högkvalitativa exempel. Med metoder som LoRA kan man uppnå goda resultat med ännu mindre data. Kvaliteten på data är viktigare än kvantiteten.
Vad kostar det att fine-tuna en AI-modell?
Kostnaderna varierar enormt. Fine-tuning av en liten modell med LoRA kan göras nästan gratis på en egen GPU, medan full fine-tuning av en stor modell via molntjänster kan kosta tusentals kronor. API-baserad fine-tuning hos OpenAI och andra leverantörer har väldefinierade prismodeller.
Vad är skillnaden mellan fine-tuning och RAG?
Fine-tuning ändrar modellens beteende och kunskap permanent genom ytterligare träning. RAG ger modellen tillgång till extern information vid svarstillfället utan att ändra modellen. Fine-tuning passar bäst för att ändra stil och beteende, RAG för att ge tillgång till specifik eller aktuell information.