术语
锯齿状的边界
走近大模型 / Wiki

锯齿状的边界

看起来差不多难的事,AI 有的做得很好,有的做不好;它“会”和“不会”之间的那条边不是直的。这个说法出自 2023 年一项有 758 位咨询顾问参加的实验。

别名

锯齿状的技术边界 · Jagged Technological Frontier

它是什么

2023 年,一组研究者请 758 位咨询顾问做真实的工作任务,一部分人可以用 AI。他们发现 AI 的能力有一条“锯齿状的技术边界”:有些任务 AI 很容易做好;另一些任务看起来差不多难,却在它当时的能力之外。

实验里的数

在边界以内的任务上,用 AI 的顾问平均多完成 12.2% 的任务,快 25.1%,质量高 40% 以上。在一项特意选在边界以外的任务上,用 AI 的顾问做对的可能反而低了 19 个百分点。

课上怎么用

判断一件事 AI 做不做得好,不能只凭“这件事难不难”。同一年里,有公司公布它的 AI 在国际数学奥林匹克的新卷子上拿了满分;几款 AI 做高考数学卷,却用上了高中没学、高考一般不宜用的工具。

参考资料