Appearance
怎么读模型排行榜:先看表头,再看冠军
模型排行榜很好看:左一换来换去,分差小数点后两位。很多人把它读成购物指南。这篇教你 读表,不教你买哪一家。助手怎么选见 国产 AI 助手怎么选、AI 编程助手怎么选;本稿只处理「这些数字在说什么、没说什么」。
先看表头,再看冠军
任何一张公开榜,至少先抓住四列(名字因榜而异,意思差不多):
- 题型:聊天、代码、数学、多模态、中文?
- 评测方式:人类盲选、自动判分、还是混合?
- 时间窗:哪个月的快照?模型会改版。
- 样本量:几百场对战和几万场,稳定性不是一个量级。
缺这四列的截图,当海报,不当证据。
名次是结果;表头才是实验设计。跳过表头等于看结局剧透。
小数点会撒谎的三种方式
方式 A:任务和你的工作不像 代码榜第一,不保证会写你的纪要。纪要榜第一,不保证能改你的仓库。把「综合第一」当成全能,是读榜最常见的错。
方式 B:平局被写成第一 误差区间重叠时,第一和第二在统计上可能分不开。宣传只取点估计,不取区间。
方式 C:你的隐藏任务没上场 真实工作常是:依据不足时拒绝编造、按你的模板填表、中文术语稳定。很多榜不测这些。写作侧的「流畅不等于可发布」,见 AI 写作的五个流行说法。
一张假想表,我怎么旁注
假设你看到:模型甲 1253,模型乙 1247,模型丙 1180。
旁注可以是:
- 甲乙分差 6 分,先问误差带;可能是噪声。
- 丙明显落后,若题型正好是你的主场,值得认真对待。
- 若该榜是英文数学,你的主场是中文合同摘要,这张表权重应下调,去看更近的任务集,或自己用 20 条真实题做盲测。
盲测比截图贵,但比错订阅便宜。长文阅读怎么匹配任务,见 长文档阅读 AI 怎么选。
6 分的战争,常常是营销的战争,不是你业务的战争。
读完榜,只准带走三句话
- 这张表测的是哪类题。
- 对我的题,哪些模型进入候选,而不是谁登基。
- 我还缺一次用真实材料做的小样本对照。
带不走「从此只用第一名」。第一名会换;你的否决标准不该跟着换。提示词与材料仍比名次更决定事故率,见 提示词工程教程。
什么时候可以几乎不看榜
- 公司已经指定供应商与合规边界;
- 你的任务有固定评测集(单测、黄金问答);
- 你还没有主提问,只是想「跟风换新」。
没有主提问时,换榜首等于换一种方式浪费上下文。
公开榜方法与模型列表会更新;请以该榜当页说明为准。本文不构成采购建议。