Vi introduserer WorldVQA, en ny referanse for å måle atomisk visjonsorientert verdenskunnskap i multimodale store språkmodeller. Nåværende evalueringer blander ofte sammen visuell kunnskapsgjenhenting med resonnement. I kontrast frikobler WorldVQA disse mulighetene for strengt å måle «hva modellen memorerer.» Benchmarken består av 3 500 VQA-par fordelt på 9 kategorier, med nøye oppmerksomhet på språklig og kulturelt mangfold: