SSimpleTI
Laboratorium dowodów

Liczby potrzebują kohorty, zanim powstanie ranking.

Prawdziwy model tworzy plik i edytuje go w tej samej sesji. Wynik jest sprawdzany poza sesją: strony w headless Chrome, skrypty przez uruchomienie. 138 sesji, mediany.

Prompty, metoda, ograniczenia i dane dla każdej sesjiPrzeczytaj metodologię
Claude Sonnet 5.5 · Claude Code · Strona z pliku JSON, obsługiwana przez generatorZmierzono
Bez MCP33.4 s
Simplicio 3.10.817.5 s

Zysk pochodzi z generatora. Przy zadaniu, którego żaden generator nie obsługuje, Simplicio może kosztować więcej niż praca bez MCP, a wykres to pokazuje.

ModelZadanieKonfiguracjanCzasŻądania do modeluTokeny wyjścioweKosztDostarczono
Claude Sonnet 5.5 · Claude CodeStrona z pliku JSON, obsługiwana przez generatorSimplicio 3.10.8517.5 s81,270$0.06725/5
Bez MCP533.4 s55,147$0.09275/5
Nowa strona, inne dane i inny język, nieużyta przy budowie generatoraSimplicio 3.10.8516.3 s81,084$0.05145/5
Bez MCP522.5 s52,819$0.06105/5
Skrypt Python, żaden generator go nie obsługujeSimplicio 3.10.8519.6 s71,582$0.05485/5
Bez MCP511.4 s5644$0.02835/5
Grok 4.7 · Grok BuildStrona z pliku JSON, obsługiwana przez generatorSimplicio 3.10.8331.0 s81,289$0.16903/3
Bez MCP3359.7 s1928,247$0.85903/3
Nowa strona, inne dane i inny język, nieużyta przy budowie generatoraSimplicio 3.10.8336.0 s81,598$0.20593/3
Bez MCP3387.5 s2227,598$0.85183/3
Skrypt Python, żaden generator go nie obsługujeSimplicio 3.10.8382.0 s115,510$0.33153/3
Bez MCP363.1 s94,009$0.24523/3
Claude Haiku 5.5 · OpenCodeStrona z pliku JSON, obsługiwana przez generatorSimplicio 3.10.8513.7 s6918$0.00465/5
Bez MCP529.3 s56,917$0.00835/5
Nowa strona, inne dane i inny język, nieużyta przy budowie generatoraSimplicio 3.10.8513.8 s6794$0.00235/5
Bez MCP528.7 s56,310$0.00575/5
Skrypt Python, żaden generator go nie obsługujeSimplicio 3.10.8519.2 s71,583$0.00335/5
Bez MCP516.6 s71,358$0.00305/5
DeepSeek V4.1 Flash · OpenCodeStrona z pliku JSON, obsługiwana przez generatorSimplicio 3.10.81014.1 s6602$0.002110/10
Bez MCP10176.3 s32.517,929$0.020310/10
Simplicio 3.9.210166.2 s24.519,944$0.021510/10
Nowa strona, inne dane i inny język, nieużyta przy budowie generatoraSimplicio 3.10.8614.1 s6524$0.00106/6
Simplicio 3.9.26110.9 s17.516,091$0.01536/6
Skrypt Python, żaden generator go nie obsługujeSimplicio 3.10.8630.7 s10.51,796$0.00316/6
Bez MCP622.7 s81,268$0.00246/6
Simplicio 3.9.2634.1 s11.52,485$0.00516/6

Każdy model działa w jednej stałej konfiguracji, takiej samej po obu stronach: Claude Code, Grok Build albo OpenCode przez OpenRouter. Koszt to cena cennikowa użytych tokenów. To małe zadania: inne zadania dadzą inne liczby.

MetrykaWymaganie dla twierdzeniaStan obecny
Ranking względem innych narzędzi10166.2 s24.519,944$0.021510/10
Bez MCP10176.3 s32.517,929$0.020310/10
Nowa strona, inne dane i inny język, nieużyta przy budowie generatoraSimplicio 3.10.8614.1 s6524$0.00106/6
Simplicio 3.9.26110.9 s17.516,091$0.01536/6
Skrypt Python, żaden generator go nie obsługujeSimplicio 3.10.8630.7 s10.51,796$0.00316/6
Simplicio 3.9.2634.1 s11.52,485$0.00516/6
Bez MCP622.7 s81,268$0.00246/6

OpenCode 2.1.4 i DeepSeek V4.1 Flash na jednym stałym endpoincie OpenRouter, tak samo dla każdego uruchomienia. Koszt liczony po 0,15 $ za wejście, 0,60 $ za wyjście i 0,003 $ za pamięć podręczną na milion tokenów. To jeden model i trzy małe zadania: inne zadania dadzą inne liczby.

MetrykaWymaganie dla twierdzeniaStan obecny
Ranking względem innych narzędziTo samo zadanie, model, sprzęt, n i próg jakościN/A
Oszczędność tokenów1 - tokeny_z/tokeny_bazowe, z kohortą i ceną dostawcyZmierzono
Test dymny trasyWersjonowana kompilacja statyczna i lokalna kontrola HTTPZmierzono lokalnie