Los números necesitan una cohorte antes que un puesto.
Un modelo real crea un archivo y lo edita en la misma sesión. El resultado se comprueba fuera de la sesión: las páginas en Chrome headless, los scripts ejecutándolos. 138 sesiones, medianas.
La ganancia viene del generador. En una tarea que ningún generador cubre, Simplicio puede costar más que no usar MCP, y el gráfico lo muestra.
| Modelo | Tarea | Configuración | n | Tiempo | Peticiones al modelo | Tokens de salida | Coste | Entregas |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | Página a partir de un JSON, cubierta por un generador | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| Sin MCP | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| Página nueva, con otros datos y otro idioma, no usada para construir el generador | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| Sin MCP | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| Script de Python, ningún generador lo cubre | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| Sin MCP | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | Página a partir de un JSON, cubierta por un generador | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| Sin MCP | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| Página nueva, con otros datos y otro idioma, no usada para construir el generador | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| Sin MCP | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| Script de Python, ningún generador lo cubre | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| Sin MCP | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | Página a partir de un JSON, cubierta por un generador | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| Sin MCP | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| Página nueva, con otros datos y otro idioma, no usada para construir el generador | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| Sin MCP | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| Script de Python, ningún generador lo cubre | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| Sin MCP | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | Página a partir de un JSON, cubierta por un generador | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| Sin MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| Página nueva, con otros datos y otro idioma, no usada para construir el generador | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| Script de Python, ningún generador lo cubre | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| Sin MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
Cada modelo corre en una configuración fija, igual en los dos lados: Claude Code, Grok Build u OpenCode por OpenRouter. El coste es el precio de lista de los tokens usados. Son tareas pequeñas: otras tareas darán otros números.
| Métrica | Requisito para la afirmación | Estado actual | |||||
|---|---|---|---|---|---|---|---|
| Clasificación frente a otras herramientas | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| Sin MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| Página nueva, con otros datos y otro idioma, no usada para construir el generador | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| Script de Python, ningún generador lo cubre | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| Sin MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
OpenCode 2.1.4 y DeepSeek V4.1 Flash en un único endpoint de OpenRouter, igual en todas las ejecuciones. Coste calculado a 0,15 US$ de entrada, 0,60 US$ de salida y 0,003 US$ de caché por millón de tokens. Es un modelo en tres tareas pequeñas: otras tareas darán otros números.
| Métrica | Requisito para la afirmación | Estado actual |
|---|---|---|
| Clasificación frente a otras herramientas | Misma tarea, modelo, hardware, n y umbral de calidad | N/A |
| Economía de tokens | 1 - tokens_con/tokens_base, con cohorte y precio del proveedor | Medido |
| Smoke de ruta | Compilación estática versionada y comprobación HTTP local | Medido localmente |