Zahlen brauchen eine Kohorte, bevor sie einen Rang brauchen.
Ein echtes Modell erstellt eine Datei und bearbeitet sie in derselben Sitzung. Das Ergebnis wird außerhalb der Sitzung geprüft: Seiten in Headless Chrome, Skripte durch Ausführen. 138 Sitzungen, Mediane.
Der Gewinn kommt vom Generator. Bei einer Aufgabe, die kein Generator abdeckt, kann Simplicio mehr kosten als ganz ohne MCP, und das Diagramm zeigt es.
| Modell | Aufgabe | Konfiguration | n | Zeit | Modellanfragen | Ausgabe-Tokens | Kosten | Geliefert |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | Seite aus einer JSON-Datei, von einem Generator abgedeckt | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| Ohne MCP | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| Neue Seite, andere Daten und andere Sprache, nicht für den Bau des Generators verwendet | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| Ohne MCP | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| Python-Skript, kein Generator deckt es ab | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| Ohne MCP | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | Seite aus einer JSON-Datei, von einem Generator abgedeckt | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| Ohne MCP | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| Neue Seite, andere Daten und andere Sprache, nicht für den Bau des Generators verwendet | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| Ohne MCP | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| Python-Skript, kein Generator deckt es ab | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| Ohne MCP | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | Seite aus einer JSON-Datei, von einem Generator abgedeckt | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| Ohne MCP | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| Neue Seite, andere Daten und andere Sprache, nicht für den Bau des Generators verwendet | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| Ohne MCP | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| Python-Skript, kein Generator deckt es ab | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| Ohne MCP | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | Seite aus einer JSON-Datei, von einem Generator abgedeckt | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| Ohne MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| Neue Seite, andere Daten und andere Sprache, nicht für den Bau des Generators verwendet | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| Python-Skript, kein Generator deckt es ab | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| Ohne MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
Jedes Modell läuft in einer festen Konfiguration, auf beiden Seiten gleich: Claude Code, Grok Build oder OpenCode über OpenRouter. Die Kosten sind der Listenpreis der verwendeten Tokens. Das sind kleine Aufgaben: Andere Aufgaben ergeben andere Zahlen.
| Metrik | Voraussetzung für die Behauptung | Aktueller Stand | |||||
|---|---|---|---|---|---|---|---|
| Rangfolge gegenüber anderen Tools | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| Ohne MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| Neue Seite, andere Daten und andere Sprache, nicht für den Bau des Generators verwendet | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| Python-Skript, kein Generator deckt es ab | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| Ohne MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
OpenCode 2.1.4 und DeepSeek V4.1 Flash auf einem festen OpenRouter-Endpunkt, für jeden Lauf gleich. Kosten berechnet mit 0,15 $ Eingabe, 0,60 $ Ausgabe und 0,003 $ Cache pro Million Tokens. Ein Modell mit drei kleinen Aufgaben: andere Aufgaben ergeben andere Zahlen.
| Metrik | Voraussetzung für die Behauptung | Aktueller Stand |
|---|---|---|
| Rangfolge gegenüber anderen Tools | Gleiche Aufgabe, Modell, Hardware, n und Qualitätsschwelle | N/A |
| Token-Ersparnis | 1 - tokens_mit/tokens_basis, mit Kohorte und Anbieterpreis | Gemessen |
| Routen-Smoke | Versionierter statischer Build und lokaler HTTP-Check | Lokal gemessen |