前谷歌工程师、有影响力的AI研究者弗朗索瓦·乔勒特正与他人共同创立一家非营利组织，旨在帮助开发能够探测AI“人类水平”智能的标准。
该非营利组织名为ARC Prize基金会，由前Salesforce工程总监、AI产品工作室Leverage的创始人格雷格·卡姆拉特领导。卡姆拉特将担任该基金会的总裁和董事会成员。
ARC Prize基金会的筹款活动预计将于今年1月底开始。
乔勒特在该基金会网站上的一篇文章中写道：“我们正在成长为一个真正的非营利基金会，以成为通向通用人工智能的有用指南。”（通用人工智能是一个模糊的概念，但通常指能够完成大多数人类任务的AI。）“我们希望通过促进基本人类能力的差距来激励进步。”
ARC Prize基金会将建立在乔勒特开发的ARC-AGI测试之上。这个测试用于评估AI系统是否能够在未训练的数据中高效地学习新技能。它包含一系列谜题式的问题，要求AI从不同颜色的方块集合中生成正确的“答案”网格。这些问题设计用来迫使AI适应之前未见过的新问题。
2019年，乔勒特推出了名为“Abstract and Reasoning Corpus for Artificial General Intelligence（抽象和推理语料库）”的ARC-AGI测试。许多AI系统可以在数学奥林匹克竞赛中取得优异成绩，并解决博士级问题。但直到今年，表现最好的AI系统也只能解决ARC-AGI测试下不到三分之一的任务。
乔勒特在文章中写道：“与大多数前沿AI基准不同，我们并不试图用超人类考试题目来衡量AI风险。”未来版本的ARC-AGI基准将专注于缩小人类能力差距至零。
去年6月，乔勒特和Zapier联合创始人迈克·克努普启动了一场竞赛，旨在构建一个能超越ARC-AGI的AI系统。OpenAI尚未发布的o3模型是第一个达到合格分数——但这需要惊人的计算能力。
乔勒特明确表示，ARC-AGI存在缺陷——许多模型可以通过暴力破解获得高分——并且他不相信o3具备人类水平的智能。
乔勒特在去年12月的一份声明中说：“早期数据显示，即将到来的（替代ARC-AGI）基准对o3来说仍然会构成重大挑战，在高计算量下可能将其得分降低到30%以下（而一个聪明的人类仍能在无需训练的情况下获得超过95%的分数）。”“当创建对普通人类来说简单但对AI来说困难的任务变得不可能时，你就会知道通用人工智能已经到来。”
克努普表示，计划在第一季度推出第二代ARC-AGI基准测试，并启动新的竞赛。该非营利组织还将着手设计第三版ARC-AGI。
目前尚不清楚ARC Prize基金会如何回应乔勒特因夸大了ARC-AGI作为通向AGI标准的重要性而受到的批评。通向通用人工智能的具体定义现在正受到激烈争议；一位OpenAI员工最近声称如果将通用人工智能定义为“比大多数人类在大多数任务上都更优秀的AI”，那么通用人工智能已经实现。
有趣的是，OpenAI首席执行官萨姆·阿尔曼去年12月表示该公司打算与ARC-AGI团队合作构建未来基准测试。在今天的公告中，乔勒特没有更新关于可能合作的信息。
然而，在一系列X上的帖子中，ARC Prize基金会表示将建立一个学术网络以推进通用人工智能的进步和评估，并建立“前沿人工智能实验室联盟”以合作制定行业通用人工智能基准测试。
总结：本文介绍了前谷歌工程师弗朗索瓦·乔勒特与他人共同创立的一个名为ARC Prize基金会的非营利组织。该组织旨在开发能够探测AI“人类水平”智能的标准，并推出了一种名为ARC-AGI的测试来评估这一能力。文章还讨论了关于通用人工智能（AGI）定义的不同观点以及相关技术的发展情况。
