# 听到“AI 拿了满分”，先问四个评测条件

第 01 讲 · 精读文章

同一个模型、同一张卷子，一张成绩单 42 分，另一张 35 分。分数差在哪？读一个评测成绩，要看四个条件：尝试次数、评分者、数据污染、人工干预。

更新：2026-11-20

2026 年 7 月，第 67 届 IMO 在上海举办。同一届，有公司公布它们的 AI 在六道新题上拿了 42 分满分；有人自己拿题去测，说四个模型都是满分；还有一家公司做了第三方测试，其中一个模型是 35 分，而这个模型在前面那次自测里是 42 分。同一个模型，同一张卷子，差了整整一道题。

这不一定有谁在撒谎。一个评测成绩至少取决于四个条件；可以把它们想成四个旋钮，每拧一个，分数就变。

## 条件一，尝试次数：试了几次？

一道题的单次成功率是 p；独立尝试 k 次，至少成功一次（k 次取最优）的概率是 1−(1−p)<sup>k</sup>。p＝0.3 时，试 1 次是 30%，试 2 次 51%，试 4 次 76%，试 8 次 94%，试 16 次 99.7%。单次成功率 30% 的模型，8 次取最优就是 94%。反过来，8 次全部成功的概率是 0.3⁸，约 0.0066%。那次第三方测试写明了它的做法：每题多次尝试，取最高分。真实的模型各次尝试并不完全独立，实际提高没有这么多，但方向不变。

## 条件二，评分者：谁评的分？

评一份证明有三种评分方式。人工评分：可靠，没见过的解法也能评，但慢、成本高；2025 年那次 35 分是 IMO 官方阅卷人按评学生答卷的同一标准评的。模型评分：快、成本低，但可能把看似正确的错误证明判为正确（误判）；那次第三方测试用的是模型评分，作者自己把这一条列为局限。形式化验证（证明检查器，如 Lean）：快，通过检查的证明就是正确的，但只适用于已经形式化的题和证明；2024 年那套达到银牌水平的系统，题目是人工形式化的。

## 条件三，数据污染：题目它见过吗？

2023 年有人用编程竞赛的简单题测试刚发布的 GPT-4：2021 年以前出的 10 道全对，新近出的 10 道全错，而它的训练数据截止于 2021 年 9 月。测试题要是在训练数据里出现过，高分可能来自记住了题目和解答，这叫数据污染。IMO 每年 7 月出六道新题，所以大家看重它。

## 条件四，人工干预：人参与了哪些环节？

可能有人工干预的地方有三处：谁做的形式化（2024 年，题目由人工形式化）；提示词里写了什么（2025 年，给模型的指令里加了解 IMO 题的一般建议，还给了一批精选的解答）；谁选的答案（每题多次尝试，交哪一份）。这些做法都由发布方自己公开说明，不是作弊，但它们决定了这个成绩衡量的是模型独立的能力，还是模型加上人的能力。

## 这四个条件合起来，叫评测条件（口径）。

一个数不说明评测条件，还不能算一个结果。这四个条件不只适用于数学，AI 的编程成绩、看病的成绩、高考的成绩，一样要问；它也不只适用于 AI，任何实验结果都可以问：重复了几次，谁评的，是不是事先知道答案，有没有人为干预。

## 我们自己也用上了。

备这一讲时，帮我们查资料的 AI 写了两句话：“IMO 主席致贺，确认 AI 满分”；“一个开源模型，单趟只花 12 美分，就过了金牌线”。回原文核：第一句在新闻稿和 IMO 官网里都找不到；第二句其实是每题多次尝试、取最高分，由模型评分，12 美分是最好那一趟的花费。两句各改了一个评测条件：评分者，尝试次数。

## 课后可以试。

选一道你确实会做的题，改掉其中一个条件，开 8 个新对话各问一次，记录对了几次。这一回四个评测条件都清楚：尝试次数你知道，评分者是你，题是你新出的，没有人工干预。

## 出处

IMO 2026 官网；中国日报 2026-07-22、华为新闻稿、法新社 2026-07-23（两家公司公布的成绩；测试条件来自报道的叙述和其中一家公司的说法，没有组委会的确认）；Cline 2026-08-26（第三方测试与它写明的评测条件）；Google DeepMind 2024-07-25、2025-07-21；Narayanan 与 Kapoor 2023-03-20；Yao 等，τ-bench（2024）。

- IMO 2026（上海）
- 中国日报，2026-07-22
- 华为新闻稿（小艺参加 IMO 2026）
- 法新社，2026-07-23（The Standard 转载）
- Cline，2026-08-26（第三方测试）
- Yao 等，τ-bench（2024）
- Google DeepMind，2024-07-25（IMO 银牌水平）
- Google DeepMind，2025-07-21（IMO 金牌水平，官方阅卷）

## 引用与相关资料

- [网页版文章](https://intro2llm.pages.dev/lectures/01/notes/four-questions-before-you-believe-a-score)
- [本讲导读](https://intro2llm.pages.dev/lectures/01)
- [讲义](https://intro2llm.pages.dev/lectures/01/notes)
- [IMO 2026（上海）](https://www.imo-official.org/editions/2026/)
- [中国日报，2026-07-22](https://cn.chinadaily.com.cn/a/202607/22/WS6a607452a310d709c2fbf0ec.html)
- [华为新闻稿（小艺参加 IMO 2026）](https://consumer.huawei.com/cn/press/news/2026/celia-imo-2026-gold-medal/)
- [法新社，2026-07-23（The Standard 转载）](https://www.standardmedia.co.ke/sci-tech/article/2001553533/ai-catches-up-with-humans-to-score-100pc-at-top-maths-contest)
- [Cline，2026-08-26（第三方测试）](https://cline.bot/blog/deepseek-wins-imo-gold-on-12-cents)
- [Yao 等，τ-bench（2024）](https://arxiv.org/abs/2406.12045)
- [Google DeepMind，2024-07-25（IMO 银牌水平）](https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level)
- [Google DeepMind，2025-07-21（IMO 金牌水平，官方阅卷）](https://deepmind.google/discover/blog/advanced-version-of-gemini-with-deep-think-officially-achieves-gold-medal-standard-at-the-international-mathematical-olympiad/)
