Multimodal Büyük Dil Modellerinde atomik görüş odaklı dünya bilgisini ölçmek için yeni bir kıyaslama olan WorldVQA'yı tanıtıyoruz. Mevcut değerlendirmeler genellikle görsel bilgi kazanımı ile akıl yürütmeyi karıştırır. Buna karşılık, WorldVQA bu yetenekleri kesin şekilde "modelin ezberlediğini" ölçmek için ayırıyor. Kısta, 9 kategoride 3.500 VQA çiftinden oluşuyor ve dilsel ve kültürel çeşitliliğe özel bir özen gösterilmiştir: