证据实验室
数字需要先有样本群体，才谈得上排名。
真实模型在同一会话中创建并编辑一个文件。结果在会话之外检查:页面用无头 Chrome 测试,脚本直接运行。共 138 个会话,取中位数。
收益来自生成器。在没有生成器覆盖的任务上，Simplicio 的成本可能比完全不用 MCP 更高，图表里也能看到。
| 模型 | 任务 | 配置 | n | 耗时 | 模型请求数 | 输出 Token | 成本 | 交付 |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | 基于 JSON 文件的页面,生成器已覆盖 | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| 不用 MCP | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| 新页面,使用其他数据和语言,未用于构建生成器 | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| 不用 MCP | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| Python 脚本,没有生成器覆盖 | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| 不用 MCP | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | 基于 JSON 文件的页面,生成器已覆盖 | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| 不用 MCP | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| 新页面,使用其他数据和语言,未用于构建生成器 | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| 不用 MCP | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| Python 脚本,没有生成器覆盖 | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| 不用 MCP | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | 基于 JSON 文件的页面,生成器已覆盖 | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| 不用 MCP | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| 新页面,使用其他数据和语言,未用于构建生成器 | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| 不用 MCP | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| Python 脚本,没有生成器覆盖 | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| 不用 MCP | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | 基于 JSON 文件的页面,生成器已覆盖 | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| 不用 MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| 新页面,使用其他数据和语言,未用于构建生成器 | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| Python 脚本,没有生成器覆盖 | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| 不用 MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
每个模型都在固定配置下运行，两侧相同：Claude Code、Grok Build，或通过 OpenRouter 的 OpenCode。成本按所用 Token 的标价计算。这些是小任务，其他任务的数字会不同。
| 指标 | 主张所需条件 | 当前状态 | |||||
|---|---|---|---|---|---|---|---|
| 与其他工具的排名 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| 不用 MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| 新页面,使用其他数据和语言,未用于构建生成器 | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| Python 脚本,没有生成器覆盖 | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| 不用 MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
所有运行都使用 OpenCode 2.1.4 和 DeepSeek V4.1 Flash,并固定同一个 OpenRouter 端点。成本按每百万 Token 输入 0.15 美元、输出 0.60 美元、缓存读取 0.003 美元计算。这是一个模型在三个小任务上的结果,其他任务的数字会不同。
| 指标 | 主张所需条件 | 当前状态 |
|---|---|---|
| 与其他工具的排名 | 相同任务、模型、硬件、样本量和质量阈值 | N/A |
| Token 节省 | 1 - 使用时的 token/基准 token，并包含样本群体与提供商价格 | 已测量 |
| 路由冒烟测试 | 带版本的静态构建与本地 HTTP 检查 | 本地已测量 |