Grunnoppgaven til en språkmodell, å gjette hva som er det mest sannsynlige neste ordet, eller ordbiten, i en tekst. Modellen gjentar dette ett ord om gangen til svaret er ferdig. Det er som autofullføring på telefonen, bare mye kraftigere. Det forklarer både hvorfor svarene flyter godt og hvorfor modellen noen ganger gjetter feil.
Starter du setningen «Kaffen var så varm at jeg brant...», gjetter modellen «tungen», fordi det ordet oftest kommer etter slike ord.