証拠ラボ
数字には順位の前にコホートが必要です。
実際のモデルが1つのセッション内でファイルを作成し、編集します。結果はセッションの外で確認します。ページはヘッドレスChromeで、スクリプトは実行して確認します。138セッション、中央値です。
効果の源はジェネレーターです。対応するジェネレーターがないタスクでは、MCPなしと比べてSimplicioのコストが高くなることがあり、グラフにもそれが表れています。
| モデル | タスク | 構成 | n | 時間 | モデルへのリクエスト | 出力トークン | コスト | 成果物 |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | JSONから作るページ(ジェネレーター対応) | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| MCPなし | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| 新しいページ(別のデータと言語、ジェネレーター開発には未使用) | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| MCPなし | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| Pythonスクリプト(対応するジェネレーターなし) | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| MCPなし | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | JSONから作るページ(ジェネレーター対応) | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| MCPなし | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| 新しいページ(別のデータと言語、ジェネレーター開発には未使用) | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| MCPなし | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| Pythonスクリプト(対応するジェネレーターなし) | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| MCPなし | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | JSONから作るページ(ジェネレーター対応) | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| MCPなし | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| 新しいページ(別のデータと言語、ジェネレーター開発には未使用) | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| MCPなし | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| Pythonスクリプト(対応するジェネレーターなし) | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| MCPなし | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | JSONから作るページ(ジェネレーター対応) | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| MCPなし | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| 新しいページ(別のデータと言語、ジェネレーター開発には未使用) | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| Pythonスクリプト(対応するジェネレーターなし) | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| MCPなし | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
各モデルは両側で同じ固定構成で動かします。Claude Code、Grok Build、または OpenRouter 経由の OpenCode です。コストは使用トークンの定価です。小さなタスクの結果であり、別のタスクでは数値が変わります。
| 指標 | 主張の要件 | 現在の状態 | |||||
|---|---|---|---|---|---|---|---|
| 他ツールとの順位付け | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| MCPなし | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| 新しいページ(別のデータと言語、ジェネレーター開発には未使用) | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| Pythonスクリプト(対応するジェネレーターなし) | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| MCPなし | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
OpenCode 2.1.4 と DeepSeek V4.1 Flash を、OpenRouterの固定エンドポイント1つで全実行共通で使用しました。コストは100万トークンあたり入力0.15ドル、出力0.60ドル、キャッシュ0.003ドルで計算しています。1つのモデルと3つの小さなタスクの結果であり、別のタスクでは数値が変わります。
| 指標 | 主張の要件 | 現在の状態 |
|---|---|---|
| 他ツールとの順位付け | 同一タスク、モデル、ハードウェア、n、品質しきい値 | N/A |
| トークン節約 | 1 - token_with/token_baseline。コホートとプロバイダー価格を含む | 測定済み |
| ルートスモーク | バージョン付き静的ビルドとローカル HTTP 確認 | ローカルで測定済み |