一家致力于开发数学基准测试的组织，在最近才透露它曾接受OpenAI的资金支持，这一行为引起了AI社区一些人士的不当行为指控。
Epoch AI是一家非营利组织，主要由Open Philanthropy资助，这是一个研究和资助基金会。Epoch AI在12月20日宣布，OpenAI支持了FrontierMath的创建。FrontierMath是一款旨在衡量AI数学能力的专家级问题测试，是OpenAI用来展示其即将推出的旗舰AI——o3——的一部分。
在论坛LessWrong上的一篇帖子中，Epoch AI的一名承包商“Meemi”表示，许多参与FrontierMath基准测试的人直到公开后才知道OpenAI的参与。
“关于这一点的沟通不够透明。”Meemi写道，“在我看来，Epoch AI应该披露OpenAI的资金支持情况，在选择是否参与基准测试时，承包商应获得透明的信息。”
社交媒体上的一些用户担心这种保密性可能会损害FrontierMath作为客观基准测试的声誉。除了支持FrontierMath之外，OpenAI还对基准测试中的许多问题和解决方案具有可见性——这一事实直到12月20日o3发布时才被披露。
斯坦福大学数学博士Carina Hong在X平台上也声称，由于与Epoch AI的合作安排，OpenAI对FrontierMath拥有优先访问权，这引起了部分贡献者的不满。
“六位对FrontierMath基准测试有重大贡献的数学家向我确认……他们并不知道OpenAI将独家访问这个基准（其他人都没有）。大多数人都表示如果知道这一点的话可能不会参与贡献。”Hong说道。
在回复Meemi帖子时，Epoch AI的副董事兼联合创始人Tamay Besiroglu表示，尽管没有损害FrontierMath的完整性，但承认Epoch AI“犯了一个错误”，未能更加透明。
“我们直到o3发布时才被限制披露合作关系，并且回顾过去我们应该尽早争取能够向基准测试贡献者公开透明的权利。”Besiroglu写道，“我们的数学家们应该知道谁可能有权访问他们的工作。即使我们在合同上受到限制不能说什么，我们与贡献者之间的透明度也应该成为与OpenAI协议中不可谈判的一部分。”
Besiroglu还补充说，在与OpenAI的合作中虽然拥有访问权，但双方有口头协议不使用FrontierMath的问题集来训练其AI（训练AI就像在考试前教书一样）。Epoch AI还有一套独立验证FrontierMath基准测试结果的安全集。
“OpenAI已经完全支持我们的决定保留一个独立验证的安全集。”Besiroglu写道。
然而，在Reddit上的帖子中，Epoch AI的主要数学家Ellot Glazer指出他们无法独立验证OpenAI的FrontierMath o3结果。
“我个人认为他们的得分是真实的（即他们没有利用数据集进行训练），并且他们也没有动机去撒谎关于内部基准测试的表现。”Glazer说道，“然而，在我们的独立评估完成之前我们无法为其背书。”
这一事件再次展示了开发用于评估AI的实证基准以及在获取必要资源的同时避免利益冲突感知所面临的挑战。
总结：这篇文章讨论了一家名为Epoch AI的非营利组织在接受OpenAI资金支持后未能及时披露这一信息所引发的问题。这导致了关于透明度和利益冲突感知方面的争议。文章详细描述了不同人士的观点和立场，并强调了在开发用于评估人工智能技术的标准时面临的挑战。
