Лаборатория доказательств
Числам нужна когорта до того, как им нужен рейтинг.
Локальные статические измерения — это проверки маршрутов, а не заявления о превосходстве продукта. Для рейтинга или экономии токенов нужен парный бенчмарк.
| Метрика | Требование для заявления | Текущее состояние |
|---|---|---|
| Рейтинг | Та же задача, модель, оборудование, n и порог качества | N/A |
| Экономия токенов | 1 - токены_с/токены_базовые, с когортой и ценой провайдера | N/A |
| Дымовая проверка маршрута | Версионная статическая сборка и локальная проверка HTTP | Измерено локально |