증거 연구실
숫자는 순위보다 먼저 코호트가 필요합니다.
실제 모델이 한 세션에서 파일을 만들고 편집합니다. 결과는 세션 밖에서 확인합니다. 페이지는 헤드리스 Chrome으로, 스크립트는 직접 실행해서 확인합니다. 138개 세션, 중앙값입니다.
이득은 생성기에서 나옵니다. 지원하는 생성기가 없는 작업에서는 MCP를 아예 쓰지 않을 때보다 Simplicio의 비용이 더 들 수 있고, 차트에도 그대로 나타납니다.
| 모델 | 작업 | 구성 | n | 시간 | 모델 요청 | 출력 토큰 | 비용 | 납품 |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | JSON으로 만드는 페이지, 생성기 지원 | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| MCP 없음 | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| 새 페이지, 다른 데이터와 언어, 생성기 개발에 사용되지 않음 | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| MCP 없음 | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| Python 스크립트, 지원하는 생성기 없음 | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| MCP 없음 | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | JSON으로 만드는 페이지, 생성기 지원 | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| MCP 없음 | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| 새 페이지, 다른 데이터와 언어, 생성기 개발에 사용되지 않음 | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| MCP 없음 | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| Python 스크립트, 지원하는 생성기 없음 | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| MCP 없음 | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | JSON으로 만드는 페이지, 생성기 지원 | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| MCP 없음 | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| 새 페이지, 다른 데이터와 언어, 생성기 개발에 사용되지 않음 | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| MCP 없음 | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| Python 스크립트, 지원하는 생성기 없음 | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| MCP 없음 | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | JSON으로 만드는 페이지, 생성기 지원 | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| MCP 없음 | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| 새 페이지, 다른 데이터와 언어, 생성기 개발에 사용되지 않음 | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| Python 스크립트, 지원하는 생성기 없음 | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| MCP 없음 | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
각 모델은 양쪽 모두 같은 고정 구성으로 실행합니다. Claude Code, Grok Build 또는 OpenRouter를 통한 OpenCode입니다. 비용은 사용한 토큰의 정가입니다. 작은 작업의 결과이며, 다른 작업에서는 수치가 달라집니다.
| 지표 | 주장 요건 | 현재 상태 | |||||
|---|---|---|---|---|---|---|---|
| 다른 도구와의 순위 비교 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| MCP 없음 | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| 새 페이지, 다른 데이터와 언어, 생성기 개발에 사용되지 않음 | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| Python 스크립트, 지원하는 생성기 없음 | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| MCP 없음 | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
OpenCode 2.1.4와 DeepSeek V4.1 Flash를 고정된 OpenRouter 엔드포인트 하나에서 모든 실행에 동일하게 사용했습니다. 비용은 100만 토큰당 입력 0.15달러, 출력 0.60달러, 캐시 0.003달러로 계산했습니다. 한 모델과 작은 작업 세 개의 결과이며, 다른 작업에서는 수치가 달라집니다.
| 지표 | 주장 요건 | 현재 상태 |
|---|---|---|
| 다른 도구와의 순위 비교 | 같은 작업, 모델, 하드웨어, n 및 품질 기준 | N/A |
| 토큰 절감 | 1 - token_with/token_baseline, 코호트 및 공급자 가격 포함 | 측정됨 |
| 경로 스모크 | 버전이 지정된 정적 빌드 및 로컬 HTTP 확인 | 로컬에서 측정됨 |