Laboratorium bukti
Angka memerlukan kohort sebelum memerlukan peringkat.
Pengukuran statis lokal adalah pemeriksaan rute, bukan klaim keunggulan produk. Benchmark berpasangan diperlukan untuk peringkat atau penghematan token.
| Metrik | Syarat untuk klaim | Keadaan saat ini |
|---|---|---|
| Peringkat | Tugas, model, perangkat keras, n, dan ambang kualitas yang sama | N/A |
| Penghematan token | 1 - token_dengan/token_dasar, dengan kohort dan harga penyedia | N/A |
| Uji cepat rute | Build statis berversi dan pemeriksaan HTTP lokal | Diukur secara lokal |