Dziś ogłaszamy ARC Prize Verified, program mający na celu zwiększenie rygoru oceny systemów granicznych w ARC-AGI Program ten dodaje zewnętrzną akademicką komisję do audytu naszego procesu testowania Witamy również 5 nowych laboratoriów AI jako sponsorów ARC-AGI-3
Program Audytu Akademickiego ARC Prize Z radością witamy czterech doradców akademickich, którzy poprawią nasz proces testowania. Będą: - Zapewniać zewnętrzny nadzór nad naszym protokołem ukrytego zestawu testowego - Audytować i weryfikować nasze metody testowania - Współautoryzować najlepsze praktyki dla testów porównawczych
Dziś w panelu biorą udział: - Todd Gureckis (profesor psychologii na NYU) - Guy Van den Broeck (profesor informatyki na UCLA) - Melanie Mitchell (profesor w Santa Fe Institute) - Vishal Misra (prorektor ds. informatyki i AI na Columbia)
Witamy 5 sponsorów laboratorium Z radością ogłaszamy nasze pierwsze zewnętrzne wkłady do laboratorium, ograniczone fundusze przeznaczone na poprawę jakości ARC-AGI-3 @ndea @xai @Googleorg @NousResearch @PrimeIntellect
Odznaka Weryfikacji Nagrody ARC Wiele organizacji jest chętnych do testowania na ARC-AGI, ale samodzielnie zgłaszane wyniki różnią się pod względem spójności testów. Tylko wyniki oceniane na naszym ukrytym zbiorze testowym będą uznawane za zweryfikowane wyniki wydajności. Nowa Odznaka Weryfikacji Nagrody ARC będzie oznaczać te wyniki.
171