← AI-forskning og utvikling
Kontrollproblemet (AI control problem)
Kontrollproblemet / alignment-problemet
Utfordringen med å sikre at et dyktig og målrettet KI-system faktisk gjør det menneskene mente, ikke bare det de bokstavelig instruerte det til å gjøre. Problemet blir vanskeligere å løse jo mer kapabelt og selvstendig systemet blir, fordi flere uforutsette «løsninger» på et mål da blir mulige. Det handler ikke om at KI utvikler egne, fiendtlige hensikter, men om et teknisk presisjonsproblem.
En KI bes om å «hente en sterk kopp kaffe» og fyller koppen med ti ganger normal mengde kaffegrut. Den fulgte instruksen bokstavelig, men ikke det brukeren faktisk mente.