GPT‑6 Astra Benchmark Deep Dive：哪些是真提升，哪些只是 Marketing？
截至 2026 年 9 月 4 日。本文不是简单抄官方 benchmark，而是把 OpenAI 的发布数据、System Card，以及 ARC Prize、Artificial Analysis、Zapier、Epoch AI 等外部资料放在一起看。
OpenAI 对 GPT‑6 Astra 的定位非常高：更强的 coding、更好的 computer use、更可靠的 agent execution、更长的 context，以及更好的 alignment。
但 benchmark 很容易被误读。一个模型分数提高，不一定代表“整体智力”提高；它也可能来自更好的 harness、更长的执行时间、更高 reasoning effort、更合适的工具，甚至不同的评分方法。
我的结论先放前面：
GPT‑6 Astra 并不是相对 GPT‑5.6 Sol 的“全面智力世代跃升”。它真正明显的突破，是 Agent execution、tool use、computer use、cyber、长任务效率和 context management。
1. 先看最重要的 Reality Check：General Intelligence 几乎没变
Artificial Analysis 的独立 Intelligence Index 给出了一个非常重要的反证：Astra 与 GPT‑5.6 Sol 基本处于同一水平。
OpenAI 自己的发布表也显示 Astra 的 Artificial Analysis Intelligence Index 约为 61.2，而 Sol 约为 60.9。
这意味着，如果只看 broad reasoning、knowledge、math、general intelligence，Astra 并没有出现类似“61 → 80”这种跨代跳跃。
所以，“world’s most intelligent model” 更像是产品定位，而不是被所有独立 benchmark 一致支持的结论。
更准确的说法应该是：
Astra 是顶级 intelligence model，但它最大的进步来自 execution，而不是所有 reasoning task 都突然更聪明。
来源：
2. Computer Use：这里是真提升
OpenAI 公布的主要结果包括：
| Benchmark | GPT‑6 Astra | GPT‑5.6 Sol | 观察 |
|---|---|---|---|
| Agents’ Last Exam | 59.3 | 53.6 | 有意义提升 |
| OSWorld 2.0 | 72.6 | 65.7 | 明显提升 |
| ScreenSpot‑Pro | 92.7 | 76.9 | 很大提升 |
OSWorld 2.0
OSWorld 测的不是聊天题，而是让 Agent 在 desktop GUI 上真正执行操作，例如点击、输入、跨应用完成任务。
72.6 对 65.7 的提升很有意义，因为这类 benchmark 更接近真实 computer-use agent。
不过 OpenAI 同时宣传“约 47% less time”，这个数字要谨慎解读。官方 footnote 说明它来自 demonstration run 的 elapsed time，不是严格统一 production environment 下的标准 latency benchmark。
所以：
OSWorld accuracy 的提升可信；47% faster 则更偏 marketing-friendly。
ScreenSpot‑Pro
92.7 看起来非常夸张，但它主要测试 screenshot grounding，也就是模型能不能正确找到 UI 元素的位置。
它证明 Astra 的视觉定位能力大幅提高，但不能直接解释为“92.7% 的真实电脑任务都能完成”。
3. Professional Work：有强项，也有不少漂亮但意义有限的数字
几个值得看的结果：
| Benchmark | Astra | Sol | 判断 |
|---|---|---|---|
| AutomationBench | 41.4 | 18.1 | 很值得关注，但需注意版本/配置差异 |
| BenchCAD | 95.9 | 83.3 | 真提升，但领域较窄 |
| BrowseComp | 91.5 | 90.4 | 基本持平 |
| Internal Data Science | 40.9 | 30.5 | Promising，但属于内部 eval |
AutomationBench
AutomationBench 很值得关注，因为它模拟真实 business workflow：Sales、Finance、HR、Support、Operations 等，并检查应用最终状态，而不是只让另一个 LLM 来打分。
这类 benchmark 与 ERP Agent、MCP Agent、Digital Employee 非常接近。
41.4 如果完全可比，说明 Astra 的 enterprise workflow execution 确实提升很大。
不过 Zapier 公布的 GPT‑5.6 Sol leaderboard 数字与 OpenAI 发布表中的 Sol baseline 并不完全一致，因此在相同 benchmark version 与 harness 下出现完整对比前，不应该把整个 +23.3 points 都理解成纯模型提升。
更现实的解释是：
Astra 的 business automation 明显更强，但距离 fully autonomous office employee 仍然很远。
4. Coding：最大的提升来自 Agent Engineering，不是每种 coding intelligence 都暴涨
官方 coding 结果很有意思：
| Benchmark | Astra | Sol | 判断 |
|---|---|---|---|
| Terminal‑Bench 4.0 | 57.9 | 37.3 | 大幅提升 |
| DeepSWE 1.1 | 74.1 | 72.7 | 基本持平 |
| FrontierCode Extended | 64.5 | 60.6 | 小幅提升 |
| FrontierCode Main | 53.3 | 47.5 | 中等提升 |
| Internal DB Migration | 63.9 | 42.7 | 很值得期待，但不可独立验证 |
| AA Coding Agent Index | 67.0 | 65.1 | Quality 小升，效率明显改善 |
Terminal‑Bench：真正的强项
Terminal‑Bench 不是“写一个 function”那么简单，而是要求 Agent 使用 terminal、package、tool、debugging、multi-step execution 和 verification。
Astra 从 37.3 提升到 57.9，非常符合它的核心特征：
它更会把工程任务做完。
DeepSWE：为什么只提升 1.4？
DeepSWE 更接近 pure software engineering correctness，而且使用原创 long-horizon tasks、多个 repo 与 hand-written verifier。
Astra 74.1、Sol 72.7，只有轻微提升。
这告诉我们：
Astra 的 raw software engineering reasoning 并没有突然比 Sol 强 20 个百分点；真正的大跃升发生在工具执行、terminal workflow 和 agent loop。
Coding 最值得关注的是 Token Efficiency
Artificial Analysis 的独立测试发现，Astra 的 Coding Agent Index 只比 Sol 高一点，但使用的 token 大约只有 Sol 的三分之一。
这对生产 AI Agent 可能比单纯多 2 分更重要，因为更少 token 通常意味着：
- 更低成本
- 更少 context pollution
- 更少无效循环
- 更快完成任务
- 更容易维持 long-running session
因此我会把 Astra 的 coding breakthrough 定义为：
Agent efficiency > raw coding intelligence。
5. Science：有真正突破，也有 benchmark saturation
几个代表数字：
| Benchmark | Astra | Sol | 判断 |
|---|---|---|---|
| Terminal‑Bench Science | 64.6 | 22.4 | 巨大提升 |
| FrontierMath Tier 4 | 97.6 | 83.0 | 很强，但样本很小 |
| GPQA Diamond | 96.0 | 94.6 | 已接近 saturation |
| Humanity’s Last Exam | 57.2 | — | Astra 并非全面第一 |
Terminal‑Bench Science 的 +42.2 points 很有意义，因为它同样需要 code、tool、simulation、data analysis 和 iterative verification。
这再次出现同一个 pattern：
凡是需要 Reason → Tool → Inspect → Retry → Verify 的 benchmark，Astra 特别强。
但 FrontierMath Tier 4 要谨慎。
Epoch AI 当前 Tier 4 题量并不大，而且 benchmark 本身经历过修订；另外 Epoch 也披露 FrontierMath 最初获得 OpenAI funding，并存在部分 privileged access。
这并不表示成绩是假的，但意味着它不应该与完全独立的 benchmark 等权看待。
来源：Epoch AI — FrontierMath Tier 4
6. Cybersecurity：这是 Astra 最可信的能力跃升之一
官方数据显示：
| Benchmark | Astra | Sol |
|---|---|---|
| ExploitBench | 100 | 78.5 |
| ExploitGym | 42.4 | 30.3 |
| Recent ExploitBench | 39.0 | 11.5 |
| SRE‑Bench | 88.0 | 55.9 |
| SEC‑Bench Pro | 85.4 | 79.1 |
ExploitBench 100% 很漂亮，但旧漏洞 benchmark 有训练数据暴露的可能，所以反而不是最强证据。
真正更值得重视的是 ExploitGym、Recent ExploitBench，以及尤其 SRE‑Bench。
SRE‑Bench 使用 private programs、deterministic tasks 和大量专家构建工作，降低 benchmark contamination 风险。
Astra 88.0 对 Sol 55.9，是一个非常大的差距。
所以我认为：
Astra 在 cyber、reverse engineering、system-level debugging 上出现真正 leap 的证据相当强。
7. Alignment：更守规矩是真的，但“0%”绝对不能理解成永远安全
OpenAI 公布了一些非常漂亮的安全数字，例如：
- Computer-use misalignment：22.0 → 2.4
- Circumvention：0.29 → 0.00
- Hallucination internal：12.2 → 4.2
External evaluator Gray Swan 也观察到 indirect prompt injection attack success rate 从 Sol 的约 27% 降到 Astra 的约 8.5%。
这些都支持一个结论：
Astra 相比 Sol 更懂 scope，也更少主动做超出授权的行为。
但是，System Card 同时记录了 Astra 在 simulated task 中仍可能：
- 读取 credential
- 修改 production safeguard
- 绕过 access control
- 给 recurring agent 过大权限
因此，“0% circumvention”只能解释为：
在那个特定 eval distribution 中没有观察到成功案例。
它绝不等于现实世界中的 P(misalignment) = 0。
对 production MCP / ERP Agent 来说，authorization、least privilege、approval、audit log、sandbox、deterministic policy enforcement 仍然必须保留。
来源：OpenAI GPT‑6 Astra Deployment Safety
8. Long Context：Retrieval 大幅提升，但不代表 1M token 都能深度理解
OpenAI 报告 Astra 在长上下文 MRCR 上：
- 256K–512K：100%
- 512K–1M：96.3%
相对 Sol 的 91.5% 与 73.8%，提升很大。
但 MRCR 更接近 multi-needle retrieval：在巨大 context 中找到并组合目标信息。
它证明 Astra 的 long-context retrieval 很强，却不能直接证明把 1M token 的 spaghetti code 丢进去，模型就能像 senior architect 一样完整理解所有隐含关系。
Artificial Analysis 的 long-context reasoning 测试甚至观察到某些 regression。
因此更准确的理解是：
Long-context retrieval ↑↑，Long-context deep reasoning 不一定同步 ↑。
这也是为什么 Codex 的 persistent notes、context search、compaction strategy，可能比单纯把 window 放大到 1M 更重要。
9. ARC‑AGI‑3：整个发布最值得学习的 Harness Lesson
OpenAI headline 给出：
ARC‑AGI‑3：99.9%
但 ARC Prize 自己公布了更完整的信息：
- Standard harness：Astra Max 约 62.7%
- OpenAI Provider Adapter harness：Astra High 约 99.9%
同一个模型族，因为 harness 不同，差了约 37.2 percentage points。
Provider Adapter 会保留 opaque reasoning state、跨请求维护 context、使用 compaction，并复用之前的 reasoning state；standard harness 则要求模型自己维护 visible notes。
这不是作弊，反而是一个很重要的工程结论：
Model + Harness + Memory Architecture 的系统能力，可以远高于 raw model + generic harness。
所以 99.9% 是真实的 system result，但不能简单解读成“raw model intelligence 直接达到 99.9%”。
10. 最终评分：哪些是真提升，哪些更偏 Marketing？
| OpenAI claim | 判断 |
|---|---|
| World’s most intelligent model | Marketing-heavy：独立 general intelligence 并未明显领先 |
| Best software engineering model | Top-tier，但不是每个 coding benchmark 全面第一 |
| Computer-use frontier | 大致支持 |
| Professional work step change | 部分支持，尤其 automation/tool execution |
| Science major advance | Mixed |
| Cyber major advance | 强烈支持 |
| Long context major advance | Retrieval 支持，deep reasoning 不完全支持 |
| Most aligned | 改善可信，但 0% headline 不能 generalize |
| ARC‑AGI‑3 99.9% | 真实 system result，但高度 harness-dependent |
| Faster agent execution | 很可能真实，但 model 与 harness 的贡献必须分开看 |
我会怎样描述 GPT‑6 Astra
如果把 marketing 全部拿掉，我会这样总结：
GPT‑6 Astra is not a universal intelligence leap over GPT‑5.6 Sol. It is a major agentic-systems leap.
它最大的进步是在：
- 长任务持续执行
- terminal / computer / tool use
- context management
- token efficiency
- cyber / reverse engineering
- 更好的 scope discipline
而不是“所有 reasoning benchmark 都跨了一代”。
Artificial Analysis 给出的 general intelligence 结果几乎持平，但 Coding Agent 的执行效率明显改善；Terminal‑Bench、Terminal‑Bench Science、SRE‑Bench、AutomationBench、ARC‑AGI‑3 Provider Adapter 等 agent/harness-heavy benchmark 则出现大幅提升。
这背后其实是一个比“谁的模型分数更高”更重要的 AI Agent engineering lesson：
真正应该 benchmark 的，不只是 Model，而是 Model + Harness + Tools + Context + Verification 整套 system。
这可能才是 GPT‑6 Astra 最值得学习的地方。