最近,一家名为 Epoch AI 的非营利组织因其未及时披露来自 OpenAI 的资金支持而受到批评。这个组织正在开发 AI 数学基准测试。12 月 20 日,Epoch AI 宣布 OpenAI 资助了一个名为 FrontierMath 的项目,旨在测试 AI 的数学能力。OpenAI 还利用这个基准测试展示了其即将推出的旗舰 AI 产品 o3。
Epoch AI 的一名合同工,使用昵称“Meemi”在论坛 LessWrong 上表示,许多参与 FrontierMath 项目的贡献者在公开披露之前并不知道 OpenAI 提供了资金支持。他指出:“关于这一点的沟通缺乏透明度。在我看来,Epoch AI 应该提前披露 OpenAI 的资金来源,并让合同工知道他们的工作可能用于能力评估,这样他们在决定参与基准测试开发时才会知情。”
在社交媒体上,一些用户表达了担忧,认为这种保密性可能会损害 FrontierMath 作为客观基准的声誉。除了资助 FrontierMath 项目外,OpenAI 还对基准测试中的许多问题和解决方案有优先访问权,在12月20日之前 Epoch AI 并未对此进行披露。
斯坦福大学数学博士生 Carina Hong 在社交媒体上指出,由于与 Epoch AI 的合作,OpenAI 获得了优先访问 FrontierMath 的权限,这使一些贡献者感到不满。“六位对 FrontierMath 基准测试做出重大贡献的数学家确认他们并不知道 OpenAI 会独家访问这个基准测试,从而阻止其他人获取它。”Hong 表示,大多数贡献者表示如果提前知道这一安排他们可能不会参与该项目。
Epoch AI 副总裁 Tamay Besiroglu 承认组织在透明度方面存在不足,但他认为 FrontierMath 的完整性并未受到影响。他承认 Epoch AI 在向贡献者提前告知 OpenAI 参与方面犯了一个沟通错误。
Besiroglu 表示虽然 OpenAI 可以访问 FrontierMath 基准测试,但双方存在“口头协议”,即 OpenAI 不会使用基准测试的问题集来训练其 AI。Epoch AI 还保留了一个“独立保留集”,以确保 FrontierMath 基准测试结果的独立验证。
Epoch AI 首席数学家 Ellot Glazer 在 Reddit 上提到 Epoch AI 尚未独立验证 OpenAI 的 FrontierMath o3 结果。他认为 OpenAI 的得分是可信的,但直到完成独立评估才能确认。
总结:本文讨论了 Epoch AI 因未及时披露来自 OpenAI 的资金支持而引发的争议。文章详细介绍了这一事件对项目透明度和完整性的影响,并引用了相关人士的观点和解释。关键点:
💡 Epoch AI 因未及时披露来自 OpenAI 的资金支持而受到批评,并因此让一些贡献者感到不满。
🔍 由于获得优先访问权,FrontierMath 基准测试的完整性受到质疑。
🔒 Epoch AI 承认沟通错误但仍保持与 OpenAI 合作中的透明评价机制。