Qwen (Alibaba)
Qwen2.5-32B-Instruct-AWQ32B
Benchmarkprofil und veröffentlichte Ergebnisse.
Dense32B
Einordnung im Feld
Bestwerte im Vergleich
Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.
Generation222,0 tok/s
Min 0,0Ø 245,7Max 3.484,3
Unter dem Durchschnitt · 4971 Systeme im Feld
Prefill2.436 tok/s
Min 4Ø 4.892Max 112.346
Unter dem Durchschnitt · 4953 Systeme im Feld
Time to First Token1.705 ms
Min 20Ø 31.420Max 535.235
Ueber dem Durchschnitt · 4968 Systeme im Feld
Performanceprofil
Durchsatz nach Hardware & Engine
Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.
Durchsatz & Latenz
Performancebenchmark
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Qwen2.5-32B-Instruct-AWQ32BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 222,01 tok/s TG Prefill 2.436 · TTFT 45.755 ms | 10× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | llama.cppwebsocketAWQ | Details → | |
| 2 | Qwen2.5-32B-Instruct-AWQ32BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 124,33 tok/s TG Prefill 2.267 · TTFT 13.440 ms | 5× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | llama.cppwebsocketAWQ | Details → | |
| 3 | Qwen2.5-32B-Instruct-AWQ32BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 40,18 tok/s TG Prefill 1.444 · TTFT 1.705 ms | 1× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | llama.cppwebsocketAWQ | Details → |
Agent- & Chat-Bewertung
Harnessbenchmark
Noch keine Harnessbenchmarks fuer dieses Modell.

