Kami memperkenalkan WorldVQA, tolok ukur baru untuk mengukur pengetahuan dunia yang berpusat pada visi atom dalam Model Bahasa Besar Multimodal. Evaluasi saat ini sering mencampuradukkan pengambilan pengetahuan visual dengan penalaran. Sebaliknya, WorldVQA memisahkan kemampuan ini untuk secara ketat mengukur "apa yang dihafal oleh model." Tolok ukur terdiri dari 3.500 pasangan VQA di 9 kategori, dengan perhatian yang cermat terhadap keragaman linguistik dan budaya: