近年来，人工智能（AI）在各个领域取得了显著进展，尤其是大型语言模型（LLM），它们能够生成人类水平的文本，甚至在某些任务上超越人类。然而，一项新研究对LLM的推理能力提出了质疑。苹果公司的一组研究人员发现，这些模型在解决简单数学问题时，只要问题稍有变动，就容易出错，暗示它们可能并不具备真正的逻辑推理能力。
研究人员在一篇名为《理解大型语言模型中数学推理的局限性》的论文中揭示了LLM在解决数学问题时易受干扰的现象。他们通过对数学问题进行微小改动，例如添加无关信息，来测试LLM的推理能力。结果发现，面对这样的变化，模型的表现急剧下降。
例如，当给出一个简单的数学问题：“奥利弗星期五摘了44个奇异果，星期六摘了58个。星期日，他摘的是星期五的两倍。他一共摘了多少个？”LLM能正确回答。但若添加无关细节：“星期日摘的是星期五的两倍，其中5个比平均小。”LLM的回答则出错。GPT-o1-mini的回答是：“...星期日，其中5个奇异果比平均小。我们需要从总数中减去它们：88 - 5 = 83个。”
这只是一个例子，研究人员修改了数百个问题，几乎所有改动都导致模型回答成功率大幅下降。他们认为，这表明LLM并未真正理解数学问题，而只是根据训练数据中的模式进行预测。一旦需要真正的“推理”，如是否计算小的奇异果，它们就会产生不合常理的结果。
这一发现对AI的发展具有启示意义。尽管LLM在许多领域表现出色，但其推理能力仍有局限。未来，研究人员需进一步探索如何提高LLM的推理能力，使其更好地理解和解决复杂问题。
