M
Beste Token-Generierung
1.593,1 tok/s
Meta-Llama-3.1-8B-Instruct
Bester Prefill
27.508,3 tok/s
Meta-Llama-3.1-8B-Instruct
∅ Token-Generierung
301,6 tok/s
Schnitt aus 109 Läufen
∅ Prefill
7.495,5 tok/s
Schnitt aus 109 Läufen
Bester TTFT
219 ms
Meta-Llama-3.1-8B-Instruct
Beste Harness-Quote
0%
noch kein Harness-Lauf
🏆
Meta-Llama-3.1-8B-Instruct · schnellstes Modell mit 1.593,1 tok/s Token-Generierung
Bester Prefill des Herstellers: 27.508,3 tok/s (Meta-Llama-3.1-8B-Instruct)
Bester Prefill des Herstellers: 27.508,3 tok/s (Meta-Llama-3.1-8B-Instruct)
Top-Modelle nach Token-Generierung
Bester gemessener Generierungs-Durchsatz je Modell (tok/s), veröffentlichte Performancebenchmarks.