← AI-forskning og utvikling

Scaling Laws (skaleringslover)

Skaleringslover

Mønsteret forskere har funnet om at KI-modeller blir jevnt bedre når de får mer treningsdata, flere parametere og mer regnekraft. Forbedringen følger en forutsigbar kurve. Det er som med øvelse, der mer trening gir bedre resultater, men hver ekstra time gir litt mindre enn den forrige. Mønsteret er en viktig grunn til at modellene har vokst så mye.

Et selskap vet at hvis det tidoblet regnekraften, kan det regne ut omtrent hvor mye bedre modellen blir, før den er trent.

Kilde: Kaplan m.fl. (OpenAI), arXiv →