← Generativ AI

Tokenization

Tokenisering

Prosessen med å dele opp tekst i mindre biter, kalt tokens, som modellen kan forstå. Ofte er det hele ord eller deler av ord.

Setningen «Jeg elsker AI» blir delt opp i tokens som «Jeg», «elsker» og «AI», eller i enda mindre deler.

Kilde: OpenAI →