Laboratorium dowodów
Liczby potrzebują kohorty, zanim powstanie ranking.
Lokalne pomiary statyczne są kontrolą tras, a nie twierdzeniem o wyższości produktu. Ranking lub oszczędność tokenów wymaga sparowanego benchmarku.
| Metryka | Wymaganie dla twierdzenia | Stan obecny |
|---|---|---|
| Pozycja porównawcza | To samo zadanie, model, sprzęt, n i próg jakości | N/A |
| Oszczędność tokenów | 1 - tokeny_z/tokeny_bazowe, z kohortą i ceną dostawcy | N/A |
| Test dymny trasy | Wersjonowana kompilacja statyczna i lokalna kontrola HTTP | Zmierzono lokalnie |