不久之后，当OpenAI发布了其首个“推理”AI模型o1时，人们开始注意到一个有趣的现象。有时，o1在回答问题时会开始用中文、波斯语或其他语言“思考”，即使问题是用英语提出的。
当给它一个需要解决的问题时——例如，“草莓这个词里有多少个R？”——o1会开始它的“思考”过程，通过一系列推理步骤得出答案。如果问题是用英语写的，o1的最终回答也会是英语。但在得出结论之前，模型会用另一种语言进行一些步骤。
“o1在中间随机开始用中文思考了。”一位在Reddit上的用户说。
“为什么o1会随机开始用中文思考？”另一位用户在X平台上提问，“对话中没有任何部分是中文的。”
为什么o1会随机开始用中文思考？对话中没有任何部分是中文……非常有趣……训练数据的影响。[链接]
——Rishab Jain (@RishabJainK) 2025年1月9日
OpenAI并没有解释o1这种奇怪的行为，甚至都没有承认过。那么，可能发生了什么呢？
目前，AI专家对此并不确定，但他们有几个理论。
在X平台上的一些人，包括Hugging Face的CEO克莱芒·德朗格（Clément Delangue），提到了一个事实：像o1这样的推理模型是在包含大量汉字的数据集上进行训练的。谷歌DeepMind的研究员Ted Xiao声称，包括OpenAI在内的公司使用第三方的中文数据标注服务，而o1切换到中文是一个“中文语言对推理影响”的例子。
“像OpenAI和Anthropic这样的实验室利用第三方数据标注服务为科学、数学和编程提供博士级推理数据。”Xiao在X平台上写道，“出于专家劳动力可用性和成本的原因，许多这些数据提供商都位于中国。”
标签也被称为标签或注释，在训练过程中帮助模型理解和解释数据。例如，用于训练图像识别模型的标签可能以标记物体或描述图像中每个人的、地点或物体的形式出现。
研究表明，有偏见的标签会导致有偏见的模型。例如，平均标注者更有可能将非洲裔美国人口语（AAVE）中的短语标记为有毒内容，这导致基于这些标签训练的AI毒性检测器将AAVE视为过度有毒。
然而，并非所有专家都相信这种关于o1使用中文数据标注的说法。他们指出，在解决一个问题时，o1同样可能切换到印地语、泰语或其他非中文的语言。
相反，这些专家认为，像o1这样的推理模型可能只是使用它们认为最有效的语言来实现目标（或产生幻觉）。
“模型不知道什么是语言，也不知道语言之间的区别。”阿尔伯塔大学的人工智能研究员和助理教授马修·古兹迪亚（Matthew Guzdial）告诉TechCrunch，“对它来说一切都是文本。”
确实，模型不会直接处理单词。它们使用标记（token）而不是单词。标记可以是单词（如“奇妙”），也可以是音节（如“fan”、“tas”、“tic”），甚至可以是单词中的单个字符（如“f”、“a”、“n”、“t”、“a”、“s”、“t”、“i”、“c”。)
就像标注一样，标记也可能引入偏见。例如，许多词到标记的翻译假设句子中的空格表示一个新的单词，尽管并非所有语言都使用空格来分隔单词。
Hugging Face的人工智能初创公司的软件工程师 Tiezhen Wang 同意古兹迪亚的观点：推理模型的语言不一致可能是由于它们在训练过程中建立的关联所导致的。
“通过接纳每种语言的所有细微差别来扩展模型的世界观，并允许它从人类知识的全谱中学习。”Wang 在X平台上写道，“例如，在做数学时我更喜欢用中文因为每个数字都是一个音节这使得计算简洁高效；但在涉及无意识偏见等话题时我自动切换到英语主要是因为我最初从那里学习并吸收了这些想法。”
Wang 的理论是有道理的。毕竟模型是概率机器。经过大量例子的训练后它们学会了如何做出预测模式比如电子邮件中的“To whom”通常会紧跟“I may concern”。
但Allen Institute for AI的研究科学家卢卡·索达尼（Luca Soldaini）警告说我们无法确定。“由于这些部署中的AI系统的不透明性我们无法验证这种观察结果。”他在TechCrunch上告诉TechCrunch。“这是为什么建立AI系统时需要透明性的众多案例之一。”
没有来自OpenAI的答案我们只能猜测为什么o1会以法语思考歌曲却以普通话思考合成生物学。
总结：本文讨论了OpenAI发布的首个推理AI模型o1在回答问题时有时会切换到其他语言的现象，并探讨了这一现象可能的原因。一些专家认为这可能是由于训练数据中包含大量汉字或其他因素导致的语言影响；另一些则认为这可能是由于模型在解决问题过程中使用的最有效语言或产生的幻觉所致。
