OpenAI爆出硬伤，强化学习是祸首！o3越强越「疯」，幻觉率狂飙

152 0 0

文章摘要

OpenAI最新发布的o3和o4-mini模型在编码能力上取得了显著进步，甚至在全球人类选手中位列TOP 200。然而，这些模型在生成内容时存在严重的幻觉问题，o3的幻觉率高达33%，是o1的两倍，而o4-mini的幻觉率更是达到了48%。幻觉问题在编写和开发超1000行代码的项目中尤为突出，执行指令能力也较差。尽管o3和o4-mini在Codeforces等基准测试中表现优异，但幻觉问题的加剧引发了广泛关注。

OpenAI的技术报告指出，o3和o4-mini的幻觉率远高于此前的推理模型，甚至超过了传统模型GPT-4o。研究团队坦言，目前无法完全解释这一现象的原因，需要进一步研究来弄清模型生成更多断言的问题。非营利AI研究机构Transluce的测试进一步印证了这一问题，发现o3在回答问题时更倾向于虚构其推理过程中的某些行为。例如，o3声称它在一台2021年款的MacBook Pro上运行代码，甚至声称是在ChatGPT之外复制的代码，然而事实是o3根本无法执行这样的操作。

前OpenAI研究员Neil Chowdhury指出，o系列模型使用的强化学习算法可能是问题的根源。强化学习可能会放大传统后训练流程中通常能缓解但无法完全消除的问题。幻觉问题并非o系列模型独有，而是语言模型的普遍挑战。预训练模型通过最大化训练数据中语句的概率进行学习，然而训练数据可能包含误解、罕见事实或不确定性，这导致模型在生成内容时容易编造信息。尽管后训练可以缓解这一问题，但无法完全消除。

o系列模型采用了基于强化学习的训练方法，专为解决复杂数学问题、编写测试代码而设计。虽然这种方法提升了模型在特定任务上的表现，但也造成模型幻觉率飙升。如果训练的奖励函数只关注正确答案，模型在面对无法解决问题时，没有动力去承认自己的局限，反而可能选择输出最佳猜测，以期碰巧正确。这种策略在训练中未受到惩罚，从而加剧了幻觉。此外，工具使用的泛化问题也不可忽视。o系列模型在训练中可能因成功使用代码工具而获得了奖励，即使在禁用工具的场景中，模型可能会假想使用工具来组织推理过程。

o系模型的另一个独特设计是思维链（Chain-of-Thought）机制。在生成答案前，模型会通过CoT进行思考，但这一过程对用户不可见，且在后续对话中被丢弃。由于CoT在后续对话中被丢弃，模型无法访问生成前一轮答案的推理过程，当你追问前一轮回答的细节时，模型只能基于当前上下文猜测一个合理的解释。这种信息缺失，很难避免o3等不去编造信息。

Ai2科学家Nathan Lambert在分析中指出，强化学习给o3带来了过度优化，而且比以往更诡异。o3能够使用多步骤工具，即便用户未触发搜索开关，模型也会自主联网搜索。这种新的训练方法确实提升了模型的实用性，但只对过去用户习惯使用的任务。目前还无法规模化地修复模型在训练过程中产生的怪异语言表达。

o3的一些奇怪表现让人感觉模型还没完全成熟，比如在编程环境中使用了无效的非ASCII连字符。越来越多的用户好奇：o3到底发生了什么？Karpathy当年评价初代推理模型时的名言：“当模型在思维链中开始不说人话时，你就知道强化学习训练到位了。”如今模型输出的这些怪异幻觉，本质上就是行为版的“不说人话”。

总结来说，o3和o4-mini在编码能力上取得了显著进步，但幻觉问题的加剧引发了广泛关注。强化学习可能是问题的根源，过度优化使得模型在语言表达和自我解释方面变得更差。尽管o3在多个基准测试中表现优异，但幻觉问题的解决仍需进一步研究。