← Kunstig intelligens

MMMU-Pro

MMMU-Pro

En avansert benchmark for å teste AI-modellers evne til å forstå og resonnere over multimodale oppgaver (tekst, bilder, diagrammer). MMMU-Pro er vanskeligere enn standard MMMU og brukes til å sammenligne ytelsen til toppmodeller som GPT-5.2 og Gemini 3 Flash.

Gemini 3 Flash oppnådde 81,2 % på benchmarken MMMU-Pro, noe som betyr at den løste over 4 av 5 komplekse multimodale oppgaver riktig.

Kilde: arXiv →