مختبر الأدلة
تحتاج الأرقام إلى مجموعة مقارنة قبل أن تحتاج إلى ترتيب.
ينشئ نموذج حقيقي ملفًا ثم يعدّله في الجلسة نفسها. يُفحص الناتج خارج الجلسة: الصفحات في Chrome بلا واجهة، والسكربتات بتشغيلها. 138 جلسة، والقيم وسيطة.
يأتي الكسب من المولّد. وفي مهمة لا يغطيها أي مولّد، قد يكلّف Simplicio أكثر من عدم استخدام MCP، والرسم البياني يُظهر ذلك.
| النموذج | المهمة | الإعداد | n | الوقت | طلبات النموذج | رموز الإخراج | التكلفة | التسليم |
|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 · Claude Code | صفحة من ملف JSON، يغطيها مولّد | Simplicio 3.10.8 | 5 | 17.5 s | 8 | 1,270 | $0.0672 | 5/5 |
| بدون MCP | 5 | 33.4 s | 5 | 5,147 | $0.0927 | 5/5 | ||
| صفحة جديدة ببيانات ولغة أخرى، لم تُستخدم في بناء المولّد | Simplicio 3.10.8 | 5 | 16.3 s | 8 | 1,084 | $0.0514 | 5/5 | |
| بدون MCP | 5 | 22.5 s | 5 | 2,819 | $0.0610 | 5/5 | ||
| سكربت Python، لا يغطيه أي مولّد | Simplicio 3.10.8 | 5 | 19.6 s | 7 | 1,582 | $0.0548 | 5/5 | |
| بدون MCP | 5 | 11.4 s | 5 | 644 | $0.0283 | 5/5 | ||
| Grok 4.7 · Grok Build | صفحة من ملف JSON، يغطيها مولّد | Simplicio 3.10.8 | 3 | 31.0 s | 8 | 1,289 | $0.1690 | 3/3 |
| بدون MCP | 3 | 359.7 s | 19 | 28,247 | $0.8590 | 3/3 | ||
| صفحة جديدة ببيانات ولغة أخرى، لم تُستخدم في بناء المولّد | Simplicio 3.10.8 | 3 | 36.0 s | 8 | 1,598 | $0.2059 | 3/3 | |
| بدون MCP | 3 | 387.5 s | 22 | 27,598 | $0.8518 | 3/3 | ||
| سكربت Python، لا يغطيه أي مولّد | Simplicio 3.10.8 | 3 | 82.0 s | 11 | 5,510 | $0.3315 | 3/3 | |
| بدون MCP | 3 | 63.1 s | 9 | 4,009 | $0.2452 | 3/3 | ||
| Claude Haiku 5.5 · OpenCode | صفحة من ملف JSON، يغطيها مولّد | Simplicio 3.10.8 | 5 | 13.7 s | 6 | 918 | $0.0046 | 5/5 |
| بدون MCP | 5 | 29.3 s | 5 | 6,917 | $0.0083 | 5/5 | ||
| صفحة جديدة ببيانات ولغة أخرى، لم تُستخدم في بناء المولّد | Simplicio 3.10.8 | 5 | 13.8 s | 6 | 794 | $0.0023 | 5/5 | |
| بدون MCP | 5 | 28.7 s | 5 | 6,310 | $0.0057 | 5/5 | ||
| سكربت Python، لا يغطيه أي مولّد | Simplicio 3.10.8 | 5 | 19.2 s | 7 | 1,583 | $0.0033 | 5/5 | |
| بدون MCP | 5 | 16.6 s | 7 | 1,358 | $0.0030 | 5/5 | ||
| DeepSeek V4.1 Flash · OpenCode | صفحة من ملف JSON، يغطيها مولّد | Simplicio 3.10.8 | 10 | 14.1 s | 6 | 602 | $0.0021 | 10/10 |
| بدون MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | ||
| Simplicio 3.9.2 | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | ||
| صفحة جديدة ببيانات ولغة أخرى، لم تُستخدم في بناء المولّد | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 | |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | ||
| سكربت Python، لا يغطيه أي مولّد | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 | |
| بدون MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 | ||
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 |
يعمل كل نموذج في إعداد ثابت واحد، متطابق في الجانبين: Claude Code أو Grok Build أو OpenCode عبر OpenRouter. التكلفة هي السعر المعلن للرموز المستخدمة. هذه مهام صغيرة، وستعطي مهام أخرى أرقامًا أخرى.
| المقياس | شرط الادعاء | الحالة الحالية | |||||
|---|---|---|---|---|---|---|---|
| الترتيب مقارنة بالأدوات الأخرى | 10 | 166.2 s | 24.5 | 19,944 | $0.0215 | 10/10 | |
| بدون MCP | 10 | 176.3 s | 32.5 | 17,929 | $0.0203 | 10/10 | |
| صفحة جديدة ببيانات ولغة أخرى، لم تُستخدم في بناء المولّد | Simplicio 3.10.8 | 6 | 14.1 s | 6 | 524 | $0.0010 | 6/6 |
| Simplicio 3.9.2 | 6 | 110.9 s | 17.5 | 16,091 | $0.0153 | 6/6 | |
| سكربت Python، لا يغطيه أي مولّد | Simplicio 3.10.8 | 6 | 30.7 s | 10.5 | 1,796 | $0.0031 | 6/6 |
| Simplicio 3.9.2 | 6 | 34.1 s | 11.5 | 2,485 | $0.0051 | 6/6 | |
| بدون MCP | 6 | 22.7 s | 8 | 1,268 | $0.0024 | 6/6 |
استُخدم OpenCode 2.1.4 وDeepSeek V4.1 Flash على نقطة نهاية ثابتة واحدة في OpenRouter في كل التشغيلات. حُسبت التكلفة بسعر 0.15 دولار للإدخال و0.60 دولار للإخراج و0.003 دولار للذاكرة المؤقتة لكل مليون رمز. هذا نموذج واحد على ثلاث مهام صغيرة، وستعطي مهام أخرى أرقامًا أخرى.
| المقياس | شرط الادعاء | الحالة الحالية |
|---|---|---|
| الترتيب مقارنة بالأدوات الأخرى | المهمة والنموذج والعتاد وحجم العينة وحد الجودة نفسها | N/A |
| اقتصاد الرموز | 1 - الرموز_المستخدمة/الرموز_الأساسية، مع مجموعة المقارنة وسعر المزوّد | مقاس |
| فحص دخاني للمسار | بناء ثابت مُرقم بالإصدار وفحص HTTP محلي | مقاس محلياً |