大模型的分数是怎么来的

0030 秒速览：先拿这四个结论走

读完这一篇，你会获得三个能立刻用的能力：看懂新闻里任何一个"某模型得了 88 分"是怎么算出来的；判断两个分数之间那 1 分、2 分到底算不算差距；以及把排行榜当成筛子而不是裁判来帮你选模型。这三个能力都不需要你会写代码，也不需要你懂 AI 的原理。

四个关键数字，先给量级

你现在的处境 → 直接跳到那一节

01分数是什么：一份考卷的成绩单

先把最容易误会的三件事拆掉，剩下的定义就自然站得住了。

它不是什么（三条负向定义）

那它到底是什么：一句话定义

这个定义里有三个变量，缺一个都不成立——而新闻标题通常把它们全省了：

02分数是怎么产生的：六步流水线

任何一份模型分数，不管名字多花哨，都是同一条流水线跑出来的。看懂这条流水线，你就同时看懂了它可能在哪一步出问题。

第 1 步：出题——题从哪来，决定了它偏向什么

题目来源主要有三类，各自的偏向完全不同：

第 2 步：定格式——同一个模型，问法一变分数就变

这一步给模型的规定至少包括：要不要先给几个示范例子（给了叫 few-shot，不给叫 zero-shot）；要不要让它先把推理过程写出来再给答案（这叫思维链，英文 Chain of Thought）；允不允许它上网、跑代码；给它多少答题预算。

这些不是无关紧要的细节。MMLU-Pro 的论文做了一次很硬的对照：在 24 种不同的问法下，同一批模型在原版 MMLU 上的分数波动是 4%~5%，换到更难的 MMLU-Pro 上波动降到 2%。论文作者由此得出一条结论——原版 MMLU 的分数有相当一部分是"问法带来的"，不是"能力带来的"。

顺带说一个数字：MMLU-Pro 把每题的选项从 4 个增加到 10 个，题目也更偏推理。结果所有模型的分数一次性掉了 16 到 33 个百分点。同一个模型、同一批学科，只因为选项变多、题目变难，分数就掉这么多——这就是为什么"高分"必须连着考卷一起读。

第 3 步：抽题——用全部题，还是抽一部分

小的考卷可以全跑；大的考卷为了省钱会抽样。抽样本身没问题，但你要知道两件事：抽多少决定了分数有多"毛"（03 会用算术说明），以及不同机构抽的可能是不同的子集。

真实的例子：HLE 一共 2,500 道题。第三方评测机构 Artificial Analysis 在自己的"智能指数"里只用其中 2,158 道纯文本题（把需要看图的题去掉了）。所以它的 HLE 分和另一位评测者说的 HLE 分，分母根本不一样。

第 4 步：跑模型——随机性、重复次数、算力预算

模型答题有随机性（同一个问题问两次可能给不同答案，控制这个的是"温度"参数）。所以严格的做法是每题跑多次取平均，而"给一次机会、答对就算对"这种口径叫 pass@1。

Artificial Analysis 的做法可以当参考：它给不同评测规定了 1 次、3 次或 5 次重复（比如 Terminal-Bench 跑 3 次、HLE 跑 1 次、GDP.pdf 跑 5 次），并在方法学里声明，它的"智能指数"总体误差范围在 ±1 个百分点以内（基于对某些模型做 10 次以上重复实验），但单项评测的误差可能更大。

还有两个更隐蔽的变量：给多少算力（同一个模型，允许它想 10 秒还是 10 分钟，分数完全不同）和用哪套脚手架。我在 08 节算的那批数据里，榜单上每个条目都明明白白写着脚手架的名字（mini-SWE-agent）和提交日期——因为不写就没有复现的可能。

第 5 步：判卷——三种判法，可靠程度差很多

第 6 步：算分与公布——谁在公布，这件事很重要

最后一步有三种常见算法：正确率（答对比例）、pass@1（一次机会通过率）、相对分（从两两胜负里推出的 Elo 分——你可以在棋类等级分里见到同一个思路，Arena 用的是它的近亲 Bradley-Terry 模型，作用一样：把"谁赢谁"的投票折算成分数）。

但比算法更值得问的是：这个数字是谁跑出来的？这三种来源的可信度完全不一样：

03最小例子：一道题怎么变成 0.86 分

上面那条流水线，我们用一道真实的题从头走到尾。

第一步：这是 MMLU 里的一道真题

下面这道题属于 MMLU 的"抽象代数"学科。它的原文、选项和标准答案，都是从公开数据集里直接取的（98 节给了取它的命令）：

题面（subject = abstract_algebra）
Find the degree for the given field extension Q(sqrt(2), sqrt(3), sqrt(18)) over Q.

四个选项
A. 0      B. 4      C. 2      D. 6

数据集里记录的标准答案
answer = 1  →  也就是选项 B（"4"）

题目本身不需要你懂：你只要看到它有四个选项就够了。下面这条命令能把这行原始数据自己拉下来（约 1 秒）：

curl -sL "https://datasets-server.huggingface.co/rows?dataset=cais/mmlu&config=all&split=test&offset=0&length=2" \
  | python3 -c "import json,sys; [print(r['row']) for r in json.load(sys.stdin)['rows']]"
# 输出里能看到 question / choices / answer 三个字段；answer=1 就是选项 B

第二步：瞎猜能得几分？25%

四个选项里蒙一个，长期下来能对四分之一。所以 MMLU 的地板是 25%——这也解释了 MMLU 原论文里那句结论：当时最大的 GPT-3 在 57 个学科上平均只比随机猜高 20 个百分点左右，而且在道德、法律这些学科上还接近瞎猜水平。

对比一下：MMLU-Pro 把选项加到 10 个，地板就压到 10%；而 HLE 是填空和短答，地板是 0%。同一句"考了 40 分"，在三份考卷上是三种完全不同的水平。

第三步：把 14,042 道题这样判完，就有了一个分数

判卷规则就是"模型的答案选中了标准答案那一项就算对"。把所有题的判定加起来除以总题数，就是这份考卷上的分数：

分数 = 答对的题数 ÷ 总题数
例如：答对 12,076 道 / 共 14,042 道 = 0.860 = 86.0%

到这里，"某某模型 MMLU 86 分"这句话就完全解构完了。它没有告诉你：这个模型在没考的学科上怎么样、在你的任务上怎么样、回答一次要花多少钱、以及问法换一下会变成多少。

第四步（最多人忽略的一步）：这个 86 分本身有多"毛"

考卷是抽样——如果换一批同等难度的题，分数会不一样。这个波动的幅度是可以算的，公式就是中学统计里的那个"比例的标准误"：

把数字代进去，你会得到一个非常反直觉的结论：

你可以自己把这张表重算一遍——一行命令，不需要装任何东西：

python3 -c "import math; p=0.8; n=500; print(f'±{1.96*math.sqrt(p*(1-p)/n)*100:.1f} 个百分点')"
# n=100 → ±7.8   n=500 → ±3.7   n=14042 → ±0.7

04考卷地图：新闻里那些名字各自在考什么

下面这张表是本文最实用的一页。每个名字都补上了三样新闻里不给的东西：多少题、怎么判、别拿它说什么。这份表可以当你以后读任何"某某基准（benchmark：一份固定考卷加一套固定判分规则）得分"新闻时的对照表。

05为什么同一个模型在不同榜单名次不一样

这是最常被当成"有人在造假"的现象。实际上，只要你把下面五项口径对齐，绝大多数差异都能解释清楚——而新闻标题从来不写这五项。

口径一：权重——"综合分"是有人替你做的选择题

很多最有影响力的分数并不是"考出来的"，而是加权平均算出来的。加权平均的意思是：先把各项分数乘上不同的比重，再相加。比重给谁多给谁少，是一个人为决定。

以 Artificial Analysis 的"智能指数 v4.3"为例，它的构成是公开的：

口径二：抽题——同一个名字，分母可能不一样

HLE 一共 2,500 题，而上面那份指数只用其中 2,158 道纯文本题。所以"A 机构的 HLE 得分"和"B 机构的 HLE 得分"分母不同，不能直接比。同样，SWE-bench 有完整版（2,294 题）、Verified 子集（500 题）、还有更小的 Lite 版本，报分时不写清楚用哪个就没法比。

口径三：脚手架与工具——动手的那部分不算模型的

编程、终端、电脑操作这类考卷，模型本身只会输出文字，真正去改文件、跑命令的是它外面的那套程序。所以同一模型配上不同脚手架，分数可以差出好几个百分点。这也是为什么专业榜单每个条目都要标脚手架的名字和版本。

口径四：日期——三样东西都会变

有三个日期同时影响一个分数：模型的版本日期（厂商悄悄更新权重是常态）、脚手架的版本日期、题库的版本日期（LiveBench 每月换题）。这三样里任何一样变了，分数就不再可比——08 节我会用真实数据演示：同一个模型，两次提交，分数差 2.4 个百分点。

口径五：样本量与误差——差多少才算差

这条在 03 已经算过：500 题的考卷、77% 附近，误差范围是 ±3.7 个百分点。所以"名次表上第 1 名和第 5 名"可能只是同一水平线上的几次随机波动。

把五项合成一次实测：同一个模型，四种读法

下面用我在 08 节抓到的真实数据（SWE-bench Verified 榜单，2026-09-13 抓取）演示"口径换一下，结论换一下"：

06六种失真：分数是怎么骗人的

上面讲的都是"口径不同"，属于正常差异。这一节讲的是真问题：有六种机制会让分数偏离它本应度量的能力。每一种都有真实来源，不是我的猜测。

失真一：数据污染——考题提前进了"复习资料"

模型是拿互联网上的海量文字训练出来的。如果一份考卷的题目和答案早就在网上流传，那它很可能在训练时就见过，考出来的就成了记性。

这不是理论担忧，有硬证据：一篇论文设计了"把选择题里的正确答案挖掉、让模型填空"的实验，看它能不能背出那道题原本的选项。结果在 MMLU 上，ChatGPT 的精确命中率是 52%，GPT-4 是 57%——它们不该知道被挖掉的是什么，除非见过。

另一条证据来自"无污染版考卷"：研究者另建了一份抗污染的选择题集（MMLU-CF，原版题源更广、还做了去污染处理）。在这个版本上，GPT-4o 的 5 次示范得分是 73.4%；而同一代模型在原版 MMLU 上普遍报的是 88%~90% 一档。这个落差不能全部归因为污染（题目也换了、更难了），但它是"高分里有一部分是记性"的一个有力提示。

失真二：题目本身有错

考卷是人做的，会有错题：答案写错了、条件不完整、有多个正确选项。斯坦福《2026 AI 指数报告》转述的一项综述给出的量级是：无效题比例从 MMLU 数学的 2% 到 GSM8K 的 42%。另有论文提出用统计方法自动筛出可疑题目再交专家复核，在九份常用考卷上达到最高 84% 的命中精度。

为什么这对你重要：错题会同时压低所有人的分数、并给分数加上一层无法消除的噪音。**当一份考卷有 42% 的题目可疑时，它上面的名次基本不能用来做决策。**

失真三：判卷裁判自己有偏见

开放题的分数往往来自"模型当裁判"。前面说过，这类裁判和人类偏好的一致率能超过 80%，但它有已知的三种系统偏见：偏爱排在前面的回答（位置偏见）、偏爱更长的回答（啰嗦偏见）、偏爱像自己风格的回答（自我增强偏见）。

后果很直接：一个模型只要学会写得更长、更早给结论，就能在裁判那里白拿分——而这些特点与你"想要准确答案"的目标可能毫无关系。这就是为什么看这类榜单时要问一句：它给裁判做了位置随机化吗？有没有对照人类评分校准？

失真四：刷榜——在榜单的分布上过拟合

这是最像"作弊"的一种，而且它未必违反任何规则。一篇名为《排行榜幻象》（The Leaderboard Illusion）的研究把它写得非常具体：

• 大厂可以私下测试多个版本再决定公布哪一个。研究者识别出 Meta 在 Llama-4 发布前测试了 27 个私有变体；分数如果不好看，还可以撤下。
• 数据获取不对等：研究者估算 Google 与 OpenAI 分别拿到 Arena 全部数据的约 19.2% 和 20.4%，而83 个开放权重模型加起来只有约 29.7%。
• 论文的结论是：这些机制让分数更多反映"对榜单环境的适应"，而不是通用能力。

与此同时，Arena 官方并不否认"偏好分"的价值，它公布的规模数据（8,200 万票、7 亿次对话）说明它测量的是真实使用中的偏好。双方的分歧点我放在 09 节，两边立场都会摆出来。

失真五：饱和——考卷被打满，就失去了区分度

一份考卷只有在"大家都做不完"的时候才有区分度。斯坦福 2026 报告的原话是：能力正在跑赢为它设计的考卷——前沿模型在一年之内于 HLE 上提高了 30 个百分点，"本打算难住 AI 几年的评测，几个月就被打满，能用来跟踪进步的时间窗口被压缩了"。

这就是为什么你每年都会看到新名字取代旧名字当头条（MMLU → MMLU-Pro → GPQA → HLE）。也是为什么"某个模型在 MMLU 上超过另一个"这种消息，参考价值在快速下降。

失真六：运行残留与运行波动

这是最朴素、也最容易被忽略的一种：榜上是别人的一次运行。运行会失败、会有配置错误、会受当天服务波动影响。我在榜单原始数据里就找到了两条直接的痕迹：同一次提交的 0/500 记录（见 05），以及同一个模型两次提交相差 2.4 个百分点。

把六种失真变成两个动作

07准确率、Elo、加权分、你的体感：四个别混的东西

"分数"这个词在新闻里被用来指四种完全不同的东西。它们各自回答不同的问题，混着用就会得出错误结论。

最容易混的三对

08我自己算的数：1 分之差算不算差

这一节不引用任何人的结论——数字是我从榜单的原始数据里自己算出来的，并且把复算方法完整给你。

数据从哪来：榜单页里内嵌了每一道题的结果

SWE-bench 官网的排行榜页面里，藏着一份原始 JSON（JSON：一种机器容易读的数据格式，长这样 {"date": "2026-02-17", "resolved": true}）：它记录了每一份提交（模型 + 脚手架 + 日期）在每一道题上是否解决、花了多少钱。这意味着我不需要相信页面上的汇总百分比，可以自己重算——这是判断"分数可不可信"最实用的一个动作：能拿到原始数据，就别只看汇总分。

curl -sL -A "Mozilla/5.0" https://www.swebench.com/ -o swebench.html
ls -la swebench.html   # 约 2.4 MB，数据就在里面

我算出来的表（2026-09-13 抓取，SWE-bench Verified，500 题）

下面的"平均每题成本"是我用原始数据里每题的花费求平均得到的，页面上并不直接给这个数：

结论一：那 1 个百分点，这份考卷分不出来

76.8% 和 75.8% 差 1 个百分点。如果按"两个独立样本"粗算，p 值约 0.71——完全不显著。但更严谨的做法是配对检验：这两个模型做的是同一批 500 道题，所以该看的不是"两个总分"，而是"只在一边对、另一边错的那些题有多少"。

统计上这叫 McNemar 检验（读作"麦克尼马"）。它的逻辑很好懂：两边都对、两边都错的题不提供任何区分信息，只有一边对一边错的题才是线索；如果线索在两边平分，就说明两者真的差不多。

我算的结果：

请注意第二列和第三列——91 到 101 道题是两边都错的。也就是说，即使是最好的模型，在这份考卷上也有五分之一的任务解决不了。这个数字对你比"谁第一"有用得多。

结论二：同一个模型，换个提交日期就换个分数

Claude 4.5 Opus 在 2026-02-17 那轮是 76.8%，在 2025-11-24 那轮是 74.4%。同一个模型名、同一套脚手架、同一批题，差 2.4 个百分点（配对检验 p ≈ 0.12——连"同一个模型两次运行"的差异都达不到统计显著，可见这个量级的波动有多常见）。

这一条对你有两个直接后果：看到"某模型 76 分"时必须带日期；以及不要拿三个月前的分数去和今天的分数排名次。

结论三：真正的差距常常在成本，不在分数

MiniMax M2.5 与 Claude 4.5 Opus 在这份考卷上只差 1 个百分点（且不显著），但平均每题成本差 10.3 倍（$0.073 对 $0.754），跑完整轮差 10.3 倍（$36.64 对 $376.95）。

如果你的任务量和这 500 道题相当，选择就从"哪个分高"变成了"为了那 1 个百分点（还可能是噪声），你愿不愿意多花 340 美元"。这就是"把分数当筛子"的实际含义：分数帮你排除不行的，成本帮你决定用哪个。

结论四：榜单里也留着失败的运行

同一张榜上有一条 Gemini 3 Pro（2026-02-26）的提交，500 题全部记为未解决、0%。同族其它提交都在 70% 以上，所以最合理的解释是那一次运行本身出了问题，而不是模型突然不会写代码。但它就那样留在榜单上。

教训：看榜单先扫一眼有没有明显异常的行；如果你要引用某个数字，先确认那是一次成功的、配置正确的运行。

完整复算方法（你可以自己跑一遍）

下面这段脚本就是我这节全部数字的来源，逐行可核：

# 1) 先抓榜单页（见上面的 curl 命令），然后跑这段 python3
import json, re, math

s = open("swebench.html", encoding="utf-8", errors="ignore").read()
data = json.loads(re.search(
    r'<script type="application/json" id="leaderboard-data">\s*(\[.*?\])\s*</script>',
    s, re.S).group(1))

blk = [d for d in data if d["name"] == "Verified"][0]
R = {}
for r in blk["results"]:
    pid = r.get("per_instance_details") or {}
    if len(pid) < 400:
        continue                      # 只留跑满 500 题的完整提交
    R[(r.get("model_display") or r["name"], r.get("date"))] = \
        {k: bool(v.get("resolved")) for k, v in pid.items()}


def pair(ka, kb):
    A, B = R[ka], R[kb]
    common = set(A) & set(B)            # 两个模型都做过的题
    both = sum(1 for i in common if A[i] and B[i])
    neither = sum(1 for i in common if not A[i] and not B[i])
    x = sum(1 for i in common if A[i] and not B[i])   # 只有 A 对
    y = sum(1 for i in common if B[i] and not A[i])   # 只有 B 对
    n = x + y
    p = min(1.0, 2 * sum(math.comb(n, i) for i in range(0, min(x, y) + 1)) / 2 ** n) if n else 1.0
    sa, sb = 100 * sum(A.values()) / len(A), 100 * sum(B.values()) / len(B)
    print(f"{ka[0]} {sa:.1f}%  vs  {kb[0]} {sb:.1f}%")
    print(f"   都对 {both}  都错 {neither}  仅前者对 {x}  仅后者对 {y}  p = {p:.4f}")


# 成本：把每一题的花费求平均（榜单页面不直接给这个数）
for name, date in [("MiniMax M2.5", "2026-02-17"), ("Claude 4.5 Opus", "2026-02-17")]:
    row = [r for r in blk["results"]
           if (r.get("model_display") or r["name"]) == name and r.get("date") == date][0]
    pid = row["per_instance_details"]
    total = sum(v.get("cost") or 0 for v in pid.values())
    print(f"{name}: 平均 ${total/len(pid):.3f}/题，全轮 ${total:.2f}")

pair(("Claude 4.5 Opus", "2026-02-17"), ("Gemini 3 Flash", "2026-02-17"))
pair(("Claude 4.5 Opus", "2026-02-17"), ("Claude 4.5 Opus", "2025-11-24"))

09争议现场：当榜单本身成了战场

这一节把一场真实的争执摆出来。双方的原话我都留着，判断我也给，但你会看到我凭什么这么判。

榜单方（Arena）的立场：偏好是唯一能覆盖开放任务的信号

Arena（原 Chatbot Arena，LMSYS 团队）的方法在论文里写得很清楚：配对比较 + 众包投票 + 统计模型排名，并专门验证了两件事——众包的问题足够多样且有区分度；众包投票与专家评分的一致性良好。它的规模也确实惊人：官方 2026 年 6 月公布，平台已有 7 亿次以上对话、8,200 万张以上选票。

它还在持续补短板。2026 年的官方公告里能看到一串动作：7 月上线事实性榜单（同一个模型既排"人更喜欢谁"，也排"回答的事实准确度"）；7 月底引入 AutoEval（在人类投票攒够之前，先用自动评分给出一个校准过的临时分）；8 月给智能体榜单加了分类和"完成这个任务要花多少钱"，官方给的理由原话是："只看性能的单一智能体榜单已经不够了——决定用哪个模型的是两个问题：这类任务哪个最好，以及干完这件事要花多少钱。"

研究方的立场：这套机制让大厂能挑出最好看的那次

2025 年的一篇论文《排行榜幻象》（The Leaderboard Illusion）对这些机制提出了系统质疑，它的发现包括：

• 厂商可以私下测试多个模型变体，再把最好看的那个公开——研究者识别出 Meta 在 Llama-4 发布前测试了 27 个私有变体，且分数可以撤回。
• 数据获取不对等：估算显示 Google、OpenAI 各拿到约 19.2%、20.4% 的对战数据，而 83 个开放权重模型合计只有约 29.7%。
• 结论是这些机制让人"对榜单环境的适应"胜过了"通用能力"，并给出了改革建议。

这里说的"过拟合"值得单独解释一下：它指一个系统在某个特定环境里被反复调整，以至于只对这个环境有效、换个环境就不灵——就像学生把某套模拟题的答案背熟了，模拟考分数很高，但没学会解题。

这个质疑不是孤例。斯坦福《2026 AI 指数报告》在"评测的可靠性与被操纵的担忧"一条里，也把这类研究并列写了进去："另有研究表明，Arena 榜上的位置可能部分反映的是'对平台的适应'，而不是通用能力。"这句话出自一份以中立著称的行业报告，所以它至少说明：质疑不是圈内人的酸话。

两边在争什么、不争什么

10选模型时，这些分数到底能帮你做什么

直接回答那个问题：分数在你选模型时，是一个高效的"粗筛器"，但它从来不是"裁判"。下面把它能做与不能做的分开列清，再给一条能照着走的路。

分数能帮你做的三件事

分数不能帮你做的三件事

照着走的四步流程

场景索引：你的活 → 该看哪个分项

现场查价格与上下文长度（别记数字，现场查）

模型价格几乎每月都变，所以正确做法是查而不是背。下面这段命令会从一个公开的模型目录接口拉回实时价格：

curl -sL https://openrouter.ai/api/v1/models -o models.json
python3 - <<'PY'
import json
d = json.load(open("models.json"))["data"]
want = {"anthropic/claude-opus-5", "google/gemini-3.5-flash", "deepseek/deepseek-v4-flash-0731"}
for m in d:
    if m["id"] in want:
        p = m["pricing"]
        print(f'{m["name"]:40} 输入 ${float(p["prompt"])*1e6:6.3f} / 输出 ${float(p["completion"])*1e6:6.3f} 每 100 万 token  上下文 {m["context_length"]:,}')
PY

我在 2026-09-13 跑出来的结果（带日期看，它一定会变）：

DeepSeek: DeepSeek V4 Flash 0731         输入 $ 0.040 / 输出 $ 0.080 每 100 万 token  上下文 1,310,720
Claude Opus 5                            输入 $ 5.000 / 输出 $25.000 每 100 万 token  上下文 1,000,000
Google: Gemini 3.5 Flash                 输入 $ 1.500 / 输出 $ 9.000 每 100 万 token  上下文 1,048,576

token（读作"托肯"）是模型处理文字的最小单位，也是计费单位——一段中文大约 1 个字 0.6~1 个 token，具体取决于模型的切分方式。所以"输入 $0.04 / 每 100 万 token"的意思就是：你喂给它 100 万个 token 的文字，付费约 0.04 美元。上表里最贵的输入价格是最便宜的 125 倍——而这个差距，任何"分数榜"都不会替你算进去。

11自己搭一个 20 题的小考场

到此为止，你已经知道别人的分数能信到什么程度。最后一件事是：给自己建一份考卷。这是本文唯一"你要动手做"的部分，也是收益最大的部分——因为它一次性解决全部六种失真。

为什么非做不可

因为你关心的事情几乎一定是长尾（不常见、但对你有决定性影响的任务）。公开考卷为了对所有人都有用，只能考"大家都在做的事"；而你的事，只有你知道验收标准是什么。

20 道题怎么挑

题库长这样（三列 CSV）

CSV 就是"用逗号分隔的纯文本表格"，任何表格软件（Excel、Numbers）都能直接打开；你也可以直接用文本编辑器写。

case.csv —— 三列：编号,题目,标准答案里的关键片段
id,prompt,expected
case-01,"把这句话翻译成英文：我们今天不上班。","We are not working today"
case-02,"从这段文字里抽出金额：发票合计 1,280 元","1280"

脚本（已实测可跑；换个模型改一个参数就行）

#!/usr/bin/env python3 —— 存成 mini_eval.py
"""自己的小考场：把 case.csv 逐条跑一遍，输出分数与 95% 误差范围。
用法：LLM_API_KEY=xxx python3 mini_eval.py --model deepseek-chat
"""
import argparse, csv, json, math, os, re, urllib.request


def ask(base, key, model, prompt):
    body = json.dumps({
        "model": model,
        "messages": [{"role": "user", "content": prompt}],
        "temperature": 0,        # 温度 0 = 尽量少随机，便于复现
    }).encode()
    req = urllib.request.Request(
        base.rstrip("/") + "/chat/completions",
        data=body,
        headers={"Content-Type": "application/json", "Authorization": "Bearer " + key},
    )
    with urllib.request.urlopen(req, timeout=180) as r:
        return json.load(r)["choices"][0]["message"]["content"]


def grade(text, expected):
    # 去掉空格与标点再比对：避免"格式不同"被误判成答错
    norm = lambda s: re.sub(r"[\s,.，。、：:；;\"'()（）]+", "", s).lower()
    return norm(expected) in norm(text)


def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("--csv", default="case.csv")
    ap.add_argument("--model", required=True)
    ap.add_argument("--base", default="https://api.deepseek.com/v1")   # 任何兼容接口都能换
    ap.add_argument("--key-env", default="LLM_API_KEY")
    a = ap.parse_args()
    key = os.environ[a.key_env]
    rows = list(csv.DictReader(open(a.csv, encoding="utf-8")))
    ok = 0
    for i, row in enumerate(rows, 1):
        got = ask(a.base, key, a.model, row["prompt"])
        good = grade(got, row["expected"])
        ok += good
        print(f"{i:3} {'OK ' if good else 'MISS'} {row['id']}  ->  {got[:70]!r}")
    n = len(rows)
    p = ok / n
    hw = 1.96 * math.sqrt(p * (1 - p) / n)
    print(f"\n{a.model}: {ok}/{n} = {p * 100:.1f}%  95% 区间 [{max(0, p - hw) * 100:.1f}, {min(1, p + hw) * 100:.1f}]")


if __name__ == "__main__":
    main()

跑起来：

export LLM_API_KEY="你的密钥"   # 密钥 = 你在服务商后台生成的那串字符，不要写进代码里提交
python3 mini_eval.py --model deepseek-chat
# 换一个模型再跑一遍，两次的分数才有比较意义
python3 mini_eval.py --model gemini-3.5-flash --base https://你的服务商/v1

分数出来了，怎么读

三种判分方式，按可靠程度选

12常见问题

13术语表

这张表只收本文反复出现、且你以后看榜单公告时一定会再遇到的词。第三列是"怎么用"，不是翻译。

99一句话总结

98参考来源与证据边界

本文所有事实性陈述都能追到下面这些来源。我把"哪句来自哪里"写出来，方便你核对，也方便你知道我没读什么。

考卷本身的原始论文（一手）

• MMLU（2020）：57 个学科、四选一、模型"常常不知道自己错"与"道德法律接近瞎猜"的结论 —— arxiv.org/abs/2009.03300
• MMLU-Pro（2024）：选项 4→10、准确率下降 16%~33%、24 种问法下波动 4%~5%→2% —— arxiv.org/abs/2406.01574
• GPQA（2023）：448 题、专家 65%、非专家 34%（可上网、平均 30 分钟以上）、GPT-4 基线 39%；Diamond 子集 198 题的说明在全文正文里 —— arxiv.org/abs/2311.12022、全文 ar5iv.labs.arxiv.org/html/2311.12022
• HLE（2025，更新至 2026）：2,500 题、专家出题、不可快速检索；"LLM 已在 MMLU 这类流行基准上超过 90%" —— arxiv.org/abs/2501.14249
• SWE-bench（2023）：2,294 个真实 GitHub 问题、12 个 Python 仓库、发布时最好模型仅 1.96% —— arxiv.org/abs/2310.06770
• Chatbot Arena（2024）：成对比较 + 众包投票 + 统计排名；当时累计 24 万票；众包与专家评分一致性 —— arxiv.org/abs/2403.04132
• MT-Bench / LLM-as-a-judge（2023）：强模型裁判与人类偏好一致率超 80%；位置、啰嗦、自我增强三种偏见 —— arxiv.org/abs/2306.05685
• LiveBench（2024，更新至 2025）：每月更新题目、客观自动判分、顶尖模型低于 70% —— arxiv.org/abs/2406.19314
• LiveCodeBench（2024）：三个竞赛平台持续收题、论文时点 400 题、2023-05 至 2024-05 —— arxiv.org/abs/2403.07974
• 数据污染的实测证据（2023）：挖空选项让模型填空，ChatGPT 命中 52%、GPT-4 命中 57% —— arxiv.org/abs/2311.09783
• 无污染版 MMLU-CF（2024）：GPT-4o 5-shot 73.4%、0-shot 71.9%；测试集不公开 —— arxiv.org/abs/2412.15194
• 《排行榜幻象》（2025）：Meta 在 Llama-4 前测试 27 个私有变体；Google 19.2%、OpenAI 20.4%、83 个开放权重模型合计 29.7% —— arxiv.org/abs/2504.20879
• 《AI 基准里的奇妙 bug》（2025）：用统计方法筛出可疑题目交专家复核，最高 84% 精度 —— arxiv.org/abs/2511.16842

行业报告与官方页面

• 斯坦福《2026 AI 指数报告》第 2 章（技术表现） —— 前沿模型一年内在 HLE 提高 30 个百分点、评测被压缩的窗口期、"无效题比例从 MMLU 数学 2% 到 GSM8K 42%"、Arena Elo 前六名（2026-03：Anthropic 1,503 / xAI 1,495 / Google 1,494 / OpenAI 1,481 / Alibaba 1,449 / DeepSeek 1,424）、开源与闭源差距、中美差距、IMO 金牌与 ClockBench 50.6% 对 90.1%、OSWorld 12%→66.3%、机器人真实家务 12% —— hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance
• Artificial Analysis 评测方法学（智能指数 v4.3） —— 10 项评测与 30/20/20/30 的权重、各评测权重与重复次数、HLE 只取 2,158 道文本题、整体 95% 区间 ±1% 以内而单项更宽、"以英文文本为主"的自我限定 —— artificialanalysis.ai/methodology/intelligence-benchmarking
• Arena 官方博客 —— 2026-06："7 亿次以上对话、8,200 万张以上选票"；2026-07-14 事实性榜单；2026-07-30 AutoEval；2026-08-14 智能体榜单加分类与"任务成本"（含"决定用哪个模型的是两个问题：这类任务哪个最好、干完要花多少钱"的原话） —— lmarena.ai/blog
• SWE-bench 官网排行榜 —— 页面内嵌的原始 JSON（每份提交、每道题的解决与否与花费） —— www.swebench.com
• Hugging Face 数据集服务 —— 题量的权威来源：MMLU 测试集 14,042（总 115,700）、MMLU-Pro 测试集 12,032、GSM8K 测试集 1,319、SWE-bench Verified 500、MATH 12,500 —— datasets-server.huggingface.co/size?dataset=cais/mmlu 等（取单题原文用 …/rows?dataset=cais/mmlu&config=all&split=test&offset=0&length=2）
• OpenRouter 模型目录接口 —— 本文价格与上下文长度的现场查询入口 —— openrouter.ai/api/v1/models

本文自己算的部分

• 第 08 节的全部数字（每份提交的解决率、平均每题成本、全轮成本、McNemar 配对检验的 p 值）：从 SWE-bench 官网内嵌 JSON 重算，脚本已完整给出，你可逐行复现。原始数据抓取时间 2026-09-13。
• 第 03 节的误差范围表（±7.8 / ±3.7 / ±2.2 / ±0.7 个百分点）：按 1.96 × √(p(1−p)/n) 在 p=0.8 下算得，`n` 取真实的题量（100 / 500 / 1,319 / 14,042）。公式与算例都给在正文里。
• 价格倍数（最贵输入价是最便宜的 125 倍、Opus 5 与 DeepSeek V4 Flash 的 5.000 对 0.040）：同一接口同一时刻的数据相除得到。

证据边界与时效

• 时效口径。本文的榜单名次、分数、价格都是 2026-09 这个时点的快照；模型版本与榜单随时在变。这也是本文把 learn:shelf-life 标为 volatile 的原因——它的可核对断言（分数、日期、价格、名次）数量密集且上游每月变动。
• 没有做的事。我没有自己跑任何模型（08 的数字来自榜单公开记录的重算，不是我的实测）；没有审计任何厂商的发布材料；没有比较各家 API 的工程差异（稳定性、限流、数据留存）；也没有做中文场景下的分数实测。
• 一处从简。第 09 节两边立场的呈现，依据的是论文摘要/正文与官方公告的公开表述；我没有采访任何一方，也无法判定"适应榜单"与"真实能力"各占多少比例——这个比例目前没有公开数据能定，本文因此只给做法（当排序方向、不当定量结论），不给数字。
• 一个待核项。GSM8K 的 42% 无效题比例，我读到的是斯坦福 2026 报告对它引用文献的转述；那篇被引论文的原始表格我没有逐题复算（注：我找到的相关论文是《AI 基准里的奇妙 bug》，其摘要未直接给出 42% 这个数）。引用时请按"某综述的结论"理解，不要当成逐题核验过的事实。