术语

数据污染

测试题在模型的训练数据里出现过,高分可能来自记住了题目和解答,而不是会做。

别名 · 训练数据截止日期 · 见过的题

在第 1 讲里

2023 年有人用编程竞赛的简单题测试 GPT-4:2021 年以前出的 10 道全对,新近出的 10 道全错;它的训练数据截止于 2021 年 9 月。所以评测要用训练数据截止之后的新题。

参考资料