Hur tokenisering fungerar
Tokenisering är processen att dela upp text i tokens. Vanliga ord delas ofta upp i hela enheter, så att "hund" blir en token. Ovanligare eller längre ord delas upp i flera tokens, exempelvis kan "tokenisering" bli "token", "iser" och "ing". Skiljetecken, mellanslag och specialtecken kan också vara egna tokens.
De flesta moderna språkmodeller använder en metod som kallas Byte Pair Encoding (BPE) eller liknande algoritmer för tokenisering. Dessa bygger ett ordförråd av vanligt förekommande teckensequenser utifrån träningsdata. Engelska text är typiskt mer effektivt tokeniserad än text på andra språk, inklusive svenska, eftersom engelska var överrepresenterat i träningsdata.
Det innebär att samma mening på svenska typiskt kräver fler tokens än dess engelska motsvarighet. Detta påverkar både kostnad och prestanda, eftersom API-priser ofta baseras på antalet tokens och modellen har en maximal kontextlängd mätt i tokens.
Kontextfönster och begränsningar
Varje språkmodell har ett maximalt kontextfönster, alltså det totala antalet tokens den kan hantera i en enda interaktion. Detta inkluderar både din prompt och modellens svar. Tidiga GPT-modeller hade kontextfönster på 2 048 tokens, medan moderna modeller kan hantera 128 000 tokens eller mer.
Kontextfönstrets storlek har stor praktisk betydelse. Ett större kontextfönster innebär att modellen kan bearbeta längre dokument, föra längre konversationer och hantera mer komplex kontext. Det har drivit utvecklingen mot allt större kontextfönster, med modeller som nu kan hantera hundratals sidor text i en enda prompt. I Veckans AI-podden diskuteras ofta hur kontextfönstrets storlek påverkar praktisk användning av AI-verktyg.
Det är värt att notera att modeller kan tappa precision för information i mitten av långa kontexter, ett fenomen som kallas "lost in the middle". Längre kontextfönster innebär inte automatiskt bättre resultat, och det finns ofta en avvägning mellan mängden kontext och kvaliteten på bearbetningen.
Tokens och kostnader
De flesta AI-API:er prissätts per token, ofta med separata priser för indata-tokens (din prompt) och utdata-tokens (modellens svar). Att förstå tokenisering är därför direkt kopplat till att hantera kostnader effektivt. En tumregel är att en token motsvarar ungefär 3-4 tecken på engelska, men fler tecken kan krävas per token för svenska.
För att optimera kostnader kan man skriva kortfattade promptar, använda billigare modeller för enklare uppgifter, och cachelagra frekventa förfrågningar. Många AI-leverantörer erbjuder tokeniseringsverktyg där man kan se exakt hur en text delas upp och hur många tokens den kräver.
Prisskillnaderna mellan modeller är betydande. Snabbare, mindre modeller kan vara hundra gånger billigare per token än de största och mest kapabla modellerna. Att välja rätt modell för rätt uppgift är därför en viktig del av att använda AI kostnadseffektivt.
Vanliga frågor
Hur många tokens är ett vanligt svenskt ord?
Vanliga svenska ord kräver typiskt 1-3 tokens. Korta, vanliga ord som 'och' eller 'är' är ofta en token, medan längre sammansatta ord som 'kassaflödesanalys' kan delas upp i 3-5 tokens. Svenska kräver generellt fler tokens per ord än engelska.
Varför finns det en gräns för hur lång en prompt kan vara?
Gränsen beror på kontextfönstrets storlek som bestäms av modellens arkitektur och hur mycket GPU-minne som finns tillgängligt. Self-attention-mekanismen i transformers kräver beräkningskraft som växer kvadratiskt med antalet tokens, vilket sätter praktiska begränsningar.
Kostar indata-tokens och utdata-tokens lika mycket?
Nej, hos de flesta API-leverantörer kostar utdata-tokens mer, ofta 2-4 gånger så mycket som indata-tokens. Det beror på att generering av text kräver mer beräkningskraft än att bara bearbeta indata.