Angka memerlukan kohort sebelum memerlukan peringkat.
Model sungguhan membuat file lalu mengeditnya dalam sesi yang sama. Hasilnya diperiksa di luar sesi: halaman di Chrome headless, skrip dengan menjalankannya. 138 sesi, nilai median.
Keuntungan datang dari generator. Pada tugas yang tidak dicakup generator mana pun, Simplicio bisa lebih mahal daripada tanpa MCP, dan grafiknya menunjukkan hal itu.
| Model | Tugas | Konfigurasi | n | Waktu | Permintaan model | Token keluaran | Biaya | Terkirim |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | Halaman dari file JSON, dicakup generator | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| Tanpa MCP | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| Halaman baru, data dan bahasa lain, tidak dipakai untuk membangun generator | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| Tanpa MCP | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| Skrip Python, tidak dicakup generator mana pun | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| Tanpa MCP | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | Halaman dari file JSON, dicakup generator | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| Tanpa MCP | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| Halaman baru, data dan bahasa lain, tidak dipakai untuk membangun generator | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| Tanpa MCP | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| Skrip Python, tidak dicakup generator mana pun | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| Tanpa MCP | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | Halaman dari file JSON, dicakup generator | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| Tanpa MCP | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| Halaman baru, data dan bahasa lain, tidak dipakai untuk membangun generator | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| Tanpa MCP | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| Skrip Python, tidak dicakup generator mana pun | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| Tanpa MCP | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | Halaman dari file JSON, dicakup generator | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| Tanpa MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| Halaman baru, data dan bahasa lain, tidak dipakai untuk membangun generator | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| Skrip Python, tidak dicakup generator mana pun | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| Tanpa MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
Setiap model berjalan dalam satu konfigurasi tetap, sama di kedua sisi: Claude Code, Grok Build, atau OpenCode lewat OpenRouter. Biaya adalah harga daftar token yang dipakai. Ini tugas kecil: tugas lain akan memberi angka lain.
| Metrik | Syarat untuk klaim | Keadaan saat ini | |||||
|---|---|---|---|---|---|---|---|
| Peringkat dibanding alat lain | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| Tanpa MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| Halaman baru, data dan bahasa lain, tidak dipakai untuk membangun generator | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| Skrip Python, tidak dicakup generator mana pun | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| Tanpa MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
OpenCode 2.1.4 dan DeepSeek V4.1 Flash pada satu endpoint OpenRouter tetap, sama untuk setiap eksekusi. Biaya dihitung dengan $0.15 input, $0.60 output, dan $0.003 cache per sejuta token. Ini satu model pada tiga tugas kecil: tugas lain akan memberi angka lain.
| Metrik | Syarat untuk klaim | Keadaan saat ini |
|---|---|---|
| Peringkat dibanding alat lain | Tugas, model, perangkat keras, n, dan ambang kualitas yang sama | N/A |
| Penghematan token | 1 - token_dengan/token_dasar, dengan kohort dan harga penyedia | Terukur |
| Uji cepat rute | Build statis berversi dan pemeriksaan HTTP lokal | Diukur secara lokal |