称为推理复兴。
随着OpenAI的o1推理模型的发布,竞争对手的AI实验室也纷纷推出自己的推理模型。
早在11月初,由量化交易者资助的AI研究公司DeepSeek推出了其首个推理算法DeepSeek-R1的预览版。同一月份,阿里巴巴的Qwen团队宣布推出他们声称是首个“开放”的o1挑战者。那么是什么打开了这扇门呢?原因之一是寻找新的方法来改进生成式AI技术。
正如我的同事Max Zeff最近报道的那样,“暴力”扩展模型的技术已经不再像以前那样带来显著改进。对AI公司来说,维持当前创新速度的竞争压力非常巨大。
据估计,全球AI市场在2023年达到了1966.3亿美元,并有望在2030年达到1.81万亿美元。OpenAI声称,推理模型能够解决比之前模型更难的问题,并代表了生成式AI开发的一个重大突破。
但并非所有人都相信推理模型是前进的最佳路径。Carnegie Mellon大学机器学习副教授Ameet Talwalkar表示,他对最初的一批推理模型印象深刻。
然而,他告诉我,对于那些宣称确切知道推理模型将如何推动行业发展的任何人,他都会质疑他们的动机。“AI公司有财务激励去提供对未来版本技术能力的美好预测。
”Talwalkar说,“我们有风险过于狭隘地聚焦单一范式——这就是为什么更广泛的AI研究社区需要避免盲目相信这些公司的炒作和营销努力,而是专注于具体的成果。”推理模型的两个缺点是:(1)昂贵;(2)耗电。
例如,在OpenAI的API中,该公司为o1分析每约75万字收取15美元,生成每约75万字收取60美元。
这比OpenAI最新“非推理”模型GPT-4o的成本高出6倍。尽管如此,在OpenAI的AI聊天机器人平台ChatGPT上,用户可以免费使用o1(有使用限制)。
但本月早些时候,OpenAI推出了更先进的o1专业模式o1 pro mode,年费高达2400美元。“大型语言模型推理的整体成本肯定不会下降。
”UCLA计算机科学教授Guy Van Den Broeck告诉TechCrunch。为什么推理模型如此昂贵的一个原因是它们需要大量的计算资源来运行。
与大多数其他AI不同的是,o1和其他推理模型在进行计算时会检查自己的工作以避免常见的陷阱。然而,这往往会导致它们花费更长时间才能得出解决方案。OpenAI设想未来推理模型可以思考数小时、数天甚至数周。
公司承认使用成本会更高,但回报——从突破性的电池技术到新的癌症药物——可能值得这一投入。今天推理模型的价值主张并不明显。
非营利组织Ai2的研究员兼机器学习工程师Costa Huang指出,o1不是一个非常可靠的计算器,并且社交媒体上的简单搜索显示了大量o1专业模式错误。“这些推理模型是专门化的,在一般领域可能会表现不佳。
”Huang告诉TechCrunch,“一些限制将比其他限制更快被克服。”Van den Broeck认为,推理模型实际上并未进行真正的推理,并因此在可以成功处理的任务类型上受到限制。
“真正的推理适用于所有问题,而不仅仅是训练数据中可能遇到的问题。”他说,“这是仍需克服的主要挑战。”鉴于强大的市场激励以提升推理模型性能,在时间推移下它们肯定会变得更好。
毕竟,并不仅仅是OpenAI、DeepSeek和阿里巴巴在投资这一新的研究方向。相邻行业的风险投资家和创始人正围绕着由推理型人工智能主导未来的理念聚集在一起。然而,Talwalkar担心大实验室会垄断这些改进。
“大实验室出于竞争原因有理由保持秘密性,但这缺乏透明度严重阻碍了研究社区与这些想法互动的能力。
”他说,“随着更多人从事这一方向的工作,我预计[推理型]模型会迅速进步。但是,在这里存在财务激励的情况下,我认为其中一些想法将来自学术界——而大多数——如果不是全部——的模型将由像OpenAI这样的大型工业实验室提供。”