今天我们宣布 ARC Prize Verified,这是一个提高对 ARC-AGI 前沿系统评估严格性的项目。 该项目增加了一个第三方学术小组来审核我们的测试过程。 我们还欢迎 5 个新的 AI 实验室成为 ARC-AGI-3 的赞助商。
ARC奖学金学术审计计划 我们很高兴欢迎四位学术顾问来改善我们的测试过程。他们将: - 提供对我们隐藏测试集协议的外部监督 - 审计并验证我们的测试方法 - 共同撰写基准测试的最佳实践
今天参与小组讨论的有: - Todd Gureckis(纽约大学心理学教授) - Guy Van den Broeck(加州大学洛杉矶分校计算机科学教授) - Melanie Mitchell(圣菲研究所教授) - Vishal Misra(哥伦比亚大学计算与人工智能副院长)
欢迎5位实验室赞助商 我们很高兴地宣布我们的首批外部实验室贡献,这些限制性资金专门用于提升ARC-AGI-3的质量 @ndea @xai @Googleorg @NousResearch @PrimeIntellect
ARC奖项认证徽章 许多组织渴望在ARC-AGI上进行测试,但自我报告的分数在测试一致性上有所不同 只有在我们的隐藏测试集上评估的分数才会被认可为认证的表现分数 新的ARC奖项认证徽章将标示这些分数
159