Wprowadzamy WorldVQA, nowy standard do pomiaru atomowej wiedzy o świecie skoncentrowanej na wizji w multimodalnych dużych modelach językowych. Obecne oceny często mylą pozyskiwanie wiedzy wizualnej z rozumowaniem. W przeciwieństwie do tego, WorldVQA oddziela te zdolności, aby ściśle mierzyć "co model zapamiętuje." Standard składa się z 3 500 par VQA w 9 kategoriach, z szczególną uwagą na różnorodność językową i kulturową: