REPOSITORY CODING 01
DeepSWE v1.1
77.9%
pass@1 · mini-swe agent
Harness revision、樣本數未完整取得方法與來源 ↗新模型不斷出現,好的判斷需要清楚的座標。
把發布、規格與評測拆開看,從原始來源理解每一次更新。
先對照規格,再打開來源。勾選模型即可並排比較。
| 加入比較 | 模型名稱 MODEL | 供應商 | 發布日期 ↓ | API CONTEXT | 證據類型 |
|---|---|---|---|---|---|
gemini-4-argon | 2026-10-13 | 1,048,576 | 官方規格 | ||
claude-haiku-5-5 | Anthropic | 2026-10-07 | 1M · 官方標示 | 官方規格 | |
gpt-6.1-sol | OpenAI | 2026-09-29 | 1,050,000 | 官方規格 | |
claude-sonnet-5-5 | Anthropic | 2026-09-28 | 1M · 官方標示 | 官方規格 | |
claude-opus-5-5 | Anthropic | 2026-09-22 | 1M · 官方標示 | 官方規格 | |
gpt-6-sol | OpenAI | 2026-09-22 | 未收錄 | 官方規格 | |
gpt-6-luna | OpenAI | 2026-09-22 | 未收錄 | 官方規格 | |
grok-4.7 | xAI | 2026-09-21 | 未收錄 | 官方規格 |
試試其他名稱,或清除目前的篩選。
更大的推理空間,
也需要更精確的解讀。
區段比例僅為示意。API 的模型規格、Antigravity 的方案資格與實際帳戶可用性,必須分開確認。
Google AI · 官方模型規格 ↗以下僅為 Argon 的外部評測註記,不是模型間的能力排行。
pass@1 · mini-swe agent
Harness revision、樣本數未完整取得方法與來源 ↗pass@1 · 最高 thinking
Google 自行計算,非已確認的獨立重現方法與來源 ↗Binary pass · ALE-Claw · 5 小時
安全過濾啟用;精確版本與樣本數未知方法與來源 ↗Partial reward · 三次取最大值
不等於 pass@1,不能直接與其他列相比方法與來源 ↗同樣是百分比,也可能衡量不同的事情。評測版本、harness、effort 與聚合方式不同,數字就不應直接拿來排名。查看完整 Model Card ↗
官方發布能確認模型名稱與 API contract。它不能證明某個帳戶已取得存取權,也不能直接證明特定任務的成功率。
OFFICIAL ≠ MEASURED LOCALLY保留 benchmark 版本、工具環境、推理設定與評測方。缺少的 metadata 就標為未知,廠商自報也會清楚註明。
PROVENANCE BEFORE PRECISION模型、harness、context 與工具權限共同影響結果。本次研究尚未產生 matched local performance evidence,因此不宣稱通用贏家。
TASK-CONDITIONED DECISIONS15 筆 primary sources,查閱日期為 2026-10-22。來源會隨時間更新。
這裡保存引用與事實摘要。原始文章、圖表、模型與評測資料的權利及條款,屬於各自的權利人。