Hvad er AI tokens?

Når du bruger en AI-assistent som ChatGPT, Mistral Vibe eller Claude, skriver eller taler du i ord og sætninger, præcis som når du kommunikerer med et andet menneske. Men AI-modellen forstår faktisk ikke inputtet på samme måde, som vi gør. Før den kan behandle dit besked, bliver inputtet delt op i mindre enheder kaldet tokens.

Et token kan være et helt ord, en del af et ord, et tegn eller bare et mellemrum. Opdelingen sker automatisk gennem en såkaldt tokenizer. På billedet herunder kan du se et eksempel. Sætningen "Lav et udkast til et LinkedIn opslag om AI for Alles seneste artikel" består af 69 tegn, men bliver opdelt i 18 tokens.

Hvert af disse tokens får samtidig tildelt et token-ID. Altså et nummer, som modellen bruger som udgangspunkt for sin videre behandling af teksten. Den tekst, vi mennesker ser, bliver altså først opdelt i små bidder og derefter repræsenteret numerisk, så modellen kan regne på relationerne mellem dem. Du kan se de numeriske repræsentationer af vores eksempel på billedet nedenfor.

Når modellen skal svare, foregår processen i princippet den modsatte vej. På baggrund af de tokens, den allerede har fået eller genereret, beregner den sandsynligheden for, hvilket token der bør komme som det næste. Det gør den igen og igen, indtil svaret er færdigt. AI'en skriver altså ikke et helt svar på én gang, men producerer det token for token. 

Tokens er altså grundlaget for hvordan en AI-model arbejder, og har derfor også stor praktisk betydning. De er blandt andet med til at afgøre: 

• hvor meget information en AI-model kan arbejde med ad gangen 
• hvor lange svar den kan producere,  
• hvad det koster at bruge modellen.  

Derfor er tokens også et nyttigt begreb at kende, når virksomheder begynder at bruge generativ AI i større skala. Du kan selv se, hvordan forskellige tekster bliver opdelt i tokens, i OpenAI's Tokenizer. 

Hvad er et kontekstvindue? 

Kontekstvinduet betegner den mængde tokens, en model kan arbejde med på samme tid. Det omfatter både den tekst, der er sendt til modellen, eventuelle delte dokumenter og modellens egne svar tidligere i samtalen. 

Man kan sammenligne det med en tavle med begrænset plads. Modellen kan arbejde med alt det, der står på tavlen, men når tavlen bliver fyldt, skal noget af det eksisterende indhold fjernes eller komprimeres, før der kan blive plads til mere. 

Har en model eksempelvis et kontekstvindue på 100.000 tokens, kan den maksimalt have den mængde tokens med i den kontekst, den arbejder ud fra på det pågældende tidspunkt. 

Det er her, tokens får en meget praktisk betydning. Lange samtaler, omfattende instruktioner og store mængder dokumentation optager alle plads i kontekstvinduet. Når grænsen nås, vil modellen typisk miste adgang til de dele af samtalen, der ligger længst tilbage, da der ikke længere er plads til dem. 

Det er derfor at:  

• en AI-model kan "glemme" indhold fra tidligere i en samtale 
• det kan være en fordel at starte en ny samtale, når den eksisterende er blevet lang 
• det kan være vanskeligt at få en model til at arbejde med meget lange dokumenter i én omgang 

I tabellen ses eksempler på kontekstvinduer i nogle af markedets førende AI-modeller.  

Et kontekstvindue på 1.000.000 tokens svarer til omkring 700.000-750.000 ord - altså cirka 5 Harry Potter bøger. Det er den mængde information, en AI-model kan "have i hovedet" på samme tid, mens den svarer dig. Jo større kontekstvindue, desto mere kan AI'en huske fra tidligere i samtalen, og desto længere dokumenter eller samtaler kan den arbejde med uden at miste tråden.

Hvad med hukommelse på tværs af samtaler?

Man kunne tro, at et kontekstvindue på flere hundrede tusinde tokens betyder, at AI'en efterhånden kan huske alt fra alle dine tidligere samtaler. Sådan hænger det desværre ikke sammen. 

For at huske kontekst på tværs af samtaler, har mange AI-modeller en separat langtidshukommelse, adskilt fra kontekstvinduet. Denne hukommelse fungerer på to måder: Du kan selv fortælle AI'en information, du gerne vil have den skal huske permanent,  for eksempel dit navn, dit job eller hvordan du foretrækker svar formuleret, så den har det "i baghovedet" i alle fremtidige samtaler. Men den kan også selv løbende udvælge information fra jeres samtaler, som den vurderer kan blive relevant senere, uden at du behøver bede om det. 

Fælles for begge dele er, at det ikke er hele samtaler, der gemmes, kun relevante ting. Når du starter en ny samtale, henter systemet de brudstykker af denne hukommelse frem, der passer til det du spørger om, og lægger dem ind i det aktuelle kontekstvindue. 

Tokens koster penge 

Prisen på tokens har udviklet sig meget, siden de første store sprogmodeller kom på markedet. Fra AI-modellerne for alvor slog igennem for nogle år siden, og frem til i dag er prisen per token faldet med omkring 90-95 procent, afhængigt af hvilken model man sammenligner med. Det skyldes både hård konkurrence mellem udbyderne og løbende forbedringer i, hvor effektivt modellerne kan køre. 

Prisen for tokens varierer afhængigt af hvor avanceret modellen er, og om man betaler for input eller output.  

Input er den tekst, du selv sender til modellen, altså dit spørgsmål, evt. vedhæftede dokumenter og tidligere beskeder i samtalen. Output er den tekst, modellen genererer som svar. Som det ses i tabellen, koster input mindre end output på alle tre modeller, fordi det kræver mere regnekraft at generere ny tekst end at læse eksisterende tekst. 

Tabellen viser priserne på tre af markedets mest brugte AI-modeller. Alle tre ligger i den prisklasse som de fleste virksomheder og private bruger til daglige opgaver som tekstforslag, kodehjælp og dataanalyse. 

Eksempel: 

Du beder en af modellerne læse en 10-siders rapport (cirka 6.500 tokens) og skrive et resumé på 300 ord (cirka 400 tokens). Sådan ser prisen ud for hver model: 

AI-model der koster $2/$10 per mio. tokens: 

Input: 6.500 ÷ 1.000.000 × $2 = $0,013 (0,08 kr.) 

Output: 400 ÷ 1.000.000 × $10 = $0,004 (0,03 kr.) 

Samlet: $0,017 (ca. 0,11 kr.) 

Sådan får du mest ud af dine tokens 

Da tokenforbrug har direkte betydning for både pris, svartid og hvor meget information en AI-model kan arbejde med ad gangen, kan det betale sig at bruge dem bevidst. Især i virksomheder, hvor AI anvendes ofte eller i større skala, kan små justeringer gøre en forskel. 

Vidste du, at...?

Hver gang du sender en ny besked i en eksisterende samtale, skal AI-modellen typisk genbehandle dele af den tidligere samtale. Derfor kan tokenforbruget stige, jo længere en chat bliver. Dette er også en af grundene til, at en ny samtale nogle gange kan være mere effektiv. 

Vil du lære mere om AI?

AI udvikler sig hurtigt, og det kan være svært at følge med, men du står ikke alene. Hos Dansk Industri har vi skabt et AI univers, der gør det lettere at forstå, anvende og implementere AI, uanset om du er i gang, på vej eller bare nysgerrig.

Vil du vide mere, har vi samlet en række forskellige ressourcer på AI for Alle. Her finder du blandt andet:

• Konkrete cases fra danske virksomheder
• Gratis værktøjer og vejledninger
• Juridisk hjælp til AI
• Kurser og events

I AI for Alle arbejder vi for, at flere virksomheder kan gribe mulighederne i AI – klogt, ansvarligt og til gavn for hele forretningen.