BENCHMARK / 2026-09-01 / OPENROUTER
छोटा संपादन। मापने योग्य अंतर।
दो चरणों वाले HTML CRUD में Simplicio ने संपादन लागत 96.62% घटाई। पूरे प्रवाह में टोकन 61.51% और लागत 55.66% कम हुई।
परीक्षण विधि
दोनों प्रवाहों ने HTML CRUD बनाया, फिर कॉलम और रंग बदले और डेटा रखते हुए फ़ोन छिपाया। आधार प्रवाह ने पूरा HTML दोबारा बनाया; Simplicio ने MCP से संक्षिप्त संपादन योजना लागू की।
आँकड़ों का अर्थ
संपादन में 10,574 की जगह 473 टोकन लगे। कुल 16,043 की जगह 6,175 टोकन लगे। ये प्रदाता के माप हैं, अनुमान नहीं।
सीमाएँ
यह केवल एक जोड़ी प्रवाह है, समान आउटपुट या सांख्यिकीय बेंचमार्क नहीं। निर्माण में Simplicio ने 4.26% अधिक टोकन लिए। संपादन ने आठों जाँच पास कीं; आधार प्रवाह दो में विफल हुआ। बचत कार्य, मॉडल और प्रवाह पर निर्भर है।
DeepSeek V4 Flash · OpenRouter · Simplicio 3.8.40
temperature: 0 · seed: 42 · max_tokens: 12000 · reasoning: disabled
