第 1 讲 · 长文

听到“AI 拿了满分”,先问四个评测条件

同一个模型、同一张卷子,一张成绩单 42 分,另一张 35 分。分数差在哪?读一个评测成绩,要看四个条件:尝试次数、评分者、数据污染、人工干预。

2026 年 7 月,第 67 届 IMO 在上海举办。同一届,有公司公布它们的 AI 在六道新题上拿了 42 分满分;有人自己拿题去测,说四个模型都是满分;还有一家公司做了第三方测试,其中一个模型是 35 分,而这个模型在前面那次自测里是 42 分。同一个模型,同一张卷子,差了整整一道题。

这不一定有谁在撒谎。一个评测成绩至少取决于四个条件;可以把它们想成四个旋钮,每拧一个,分数就变。

条件一,尝试次数:试了几次?

一道题的单次成功率是 p;独立尝试 k 次,至少成功一次(k 次取最优)的概率是 1−(1−p)k。p=0.3 时,试 1 次是 30%,试 2 次 51%,试 4 次 76%,试 8 次 94%,试 16 次 99.7%。单次成功率 30% 的模型,8 次取最优就是 94%。反过来,8 次全部成功的概率是 0.3⁸,约 0.0066%。那次第三方测试写明了它的做法:每题多次尝试,取最高分。真实的模型各次尝试并不完全独立,实际提高没有这么多,但方向不变。

条件二,评分者:谁评的分?

评一份证明有三种评分方式。人工评分:可靠,没见过的解法也能评,但慢、成本高;2025 年那次 35 分是 IMO 官方阅卷人按评学生答卷的同一标准评的。模型评分:快、成本低,但可能把看似正确的错误证明判为正确(误判);那次第三方测试用的是模型评分,作者自己把这一条列为局限。形式化验证(证明检查器,如 Lean):快,通过检查的证明就是正确的,但只适用于已经形式化的题和证明;2024 年那套达到银牌水平的系统,题目是人工形式化的。

条件三,数据污染:题目它见过吗?

2023 年有人用编程竞赛的简单题测试刚发布的 GPT-4:2021 年以前出的 10 道全对,新近出的 10 道全错,而它的训练数据截止于 2021 年 9 月。测试题要是在训练数据里出现过,高分可能来自记住了题目和解答,这叫数据污染。IMO 每年 7 月出六道新题,所以大家看重它。

条件四,人工干预:人参与了哪些环节?

可能有人工干预的地方有三处:谁做的形式化(2024 年,题目由人工形式化);提示词里写了什么(2025 年,给模型的指令里加了解 IMO 题的一般建议,还给了一批精选的解答);谁选的答案(每题多次尝试,交哪一份)。这些做法都由发布方自己公开说明,不是作弊,但它们决定了这个成绩衡量的是模型独立的能力,还是模型加上人的能力。

这四个条件合起来,叫评测条件(口径)。

一个数不说明评测条件,还不能算一个结果。这四个条件不只适用于数学,AI 的编程成绩、看病的成绩、高考的成绩,一样要问;它也不只适用于 AI,任何实验结果都可以问:重复了几次,谁评的,是不是事先知道答案,有没有人为干预。

我们自己也用上了。

备这一讲时,帮我们查资料的 AI 写了两句话:“IMO 主席致贺,确认 AI 满分”;“一个开源模型,单趟只花 12 美分,就过了金牌线”。回原文核:第一句在新闻稿和 IMO 官网里都找不到;第二句其实是每题多次尝试、取最高分,由模型评分,12 美分是最好那一趟的花费。两句各改了一个评测条件:评分者,尝试次数。

课后可以试。

选一道你确实会做的题,改掉其中一个条件,开 8 个新对话各问一次,记录对了几次。这一回四个评测条件都清楚:尝试次数你知道,评分者是你,题是你新出的,没有人工干预。

出处

IMO 2026 官网;中国日报 2026-07-22、华为新闻稿、法新社 2026-07-23(两家公司公布的成绩;测试条件来自报道的叙述和其中一家公司的说法,没有组委会的确认);Cline 2026-08-26(第三方测试与它写明的评测条件);Google DeepMind 2024-07-25、2025-07-21;Narayanan 与 Kapoor 2023-03-20;Yao 等,τ-bench(2024)。