Ми представляємо WorldVQA — новий бенчмарк для вимірювання знань світу, орієнтованого на атомарне бачення, у мультимодальних великих мовних моделях. Сучасні оцінки часто плутають пошук візуальних знань із міркуванням. Натомість WorldVQA роз'єднує ці можливості, щоб строго виміряти «те, що модель запам'ятовує». Еталонний показник складається з 3 500 пар VQA у 9 категоріях, з особливою увагою до мовного та культурного різноманіття: