近期，关于OpenAI的o3人工智能模型在基准测试上的表现引发了广泛关注与讨论。争议的核心在于，OpenAI首次发布o3模型时公布的测试结果与外界第三方机构的测试结果存在显著差异。
去年12月，OpenAI自豪地宣布，其o3模型在极具难度的FrontierMath数学问题集上取得了突破性成绩，正确率超过四分之一，远超其他竞争对手。OpenAI首席研究官Mark Chen在直播中强调，这一成绩是在内部激进测试条件下，使用资源更为强大的o3模型版本所得出的。
然而，事情并未如此简单。负责FrontierMath的Epoch研究所随后公布的独立基准测试结果显示，公开发布的o3模型得分仅为约10%，远低于OpenAI宣称的分数。这一发现立即引发了外界对OpenAI透明度和测试实践的质疑。
值得注意的是，OpenAI在12月公布的测试结果中确实包含了一个与Epoch测试结果相符的较低分数。Epoch在报告中指出，测试设置的差异、评估使用的FrontierMath版本更新，以及可能的计算资源和框架不同，都可能是导致结果差异的原因。
ARC Prize基金会也在X平台上发布消息，进一步证实了Epoch的报告。ARC Prize指出，公开发布的o3模型是一个针对聊天和产品使用进行了调整的不同版本，且所有发布的o3计算层级都比预发布版本要小。这意味着，尽管o3模型在内部测试中取得了高分，但公开发布的版本在性能上有所妥协。
尽管如此，OpenAI并未因此止步。该公司后续推出的o3-mini-high和o4-mini模型在FrontierMath上的表现已经超越了最初的o3模型。同时，OpenAI还计划在未来几周内推出更强大的o3版本——o3-pro。
然而，这一系列事件再次凸显了人工智能基准测试结果的复杂性和不确定性。尤其是当这些结果来自有产品需要销售的公司时，外界对其真实性和可靠性的质疑声往往会更加响亮。随着人工智能行业的竞争加剧，各供应商纷纷急于推出新模型以吸引眼球和市场份额，基准测试“争议”正变得越来越普遍。
事实上，类似的争议并非个例。今年1月，Epoch因在OpenAI宣布o3之后才披露其从OpenAI获得的资金支持而受到批评。许多为FrontierMath做出贡献的学者直到公开时才知道OpenAI的参与。而最近，埃隆·马斯克的xAI也被指控为其最新的人工智能模型Grok 3发布了误导性的基准测试图表。就在本月，meta也承认其宣传的基准测试分数所基于的模型版本与提供给开发者的版本不一致。
