Les chiffres ont besoin d’une cohorte avant d’avoir un rang.
Un vrai modèle crée un fichier puis le modifie dans la même session. Le résultat est vérifié hors de la session : les pages dans Chrome headless, les scripts en les exécutant. 138 sessions, médianes.
Le gain vient du générateur. Sur une tâche qu'aucun générateur ne couvre, Simplicio peut coûter plus cher que sans MCP, et le graphique le montre.
| Modèle | Tâche | Configuration | n | Temps | Requêtes au modèle | Tokens de sortie | Coût | Livraisons |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | Page à partir d'un JSON, couverte par un générateur | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| Sans MCP | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| Nouvelle page, autres données et autre langue, non utilisée pour construire le générateur | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| Sans MCP | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| Script Python, aucun générateur ne le couvre | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| Sans MCP | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | Page à partir d'un JSON, couverte par un générateur | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| Sans MCP | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| Nouvelle page, autres données et autre langue, non utilisée pour construire le générateur | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| Sans MCP | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| Script Python, aucun générateur ne le couvre | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| Sans MCP | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | Page à partir d'un JSON, couverte par un générateur | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| Sans MCP | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| Nouvelle page, autres données et autre langue, non utilisée pour construire le générateur | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| Sans MCP | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| Script Python, aucun générateur ne le couvre | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| Sans MCP | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | Page à partir d'un JSON, couverte par un générateur | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| Sans MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| Nouvelle page, autres données et autre langue, non utilisée pour construire le générateur | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| Script Python, aucun générateur ne le couvre | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| Sans MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
Chaque modèle tourne dans une configuration fixe, identique des deux côtés : Claude Code, Grok Build ou OpenCode via OpenRouter. Le coût est le prix catalogue des tokens utilisés. Ce sont de petites tâches : d'autres tâches donneront d'autres chiffres.
| Métrique | Condition de l’affirmation | État actuel | |||||
|---|---|---|---|---|---|---|---|
| Classement face à d'autres outils | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| Sans MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| Nouvelle page, autres données et autre langue, non utilisée pour construire le générateur | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| Script Python, aucun générateur ne le couvre | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| Sans MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
OpenCode 2.1.4 et DeepSeek V4.1 Flash sur un seul endpoint OpenRouter, identique pour chaque exécution. Coût calculé à 0,15 $ en entrée, 0,60 $ en sortie et 0,003 $ en cache par million de tokens. Un seul modèle sur trois petites tâches : d'autres tâches donneront d'autres chiffres.
| Métrique | Condition de l’affirmation | État actuel |
|---|---|---|
| Classement face à d'autres outils | Même tâche, modèle, matériel, n et seuil de qualité | N/A |
| Économie de tokens | 1 - tokens_avec/tokens_référence, avec cohorte et prix fournisseur | Mesuré |
| Smoke de route | Build statique versionné et vérification HTTP locale | Mesuré localement |