Created bymario-alka.dePowered bynoob2claw.detricoma.de
Contributed byMario AlkaQwen (Alibaba)

Qwen3-8B

Performance benchmark · measured on 26.09.2026 18:57

Benchmark-IDrun-20260926-171705-984d32
Timebench 3 - Kombi (Prefill + Generation)Dense8.2BRuntime: vLLM
Generation224,00tok/s
Prefill10.577,78tok/s
Time to First Token1.517,50ms
Total duration48,89s
Concurrency5parallel
Ranking in the field
27of 120 systems

Performance benchmark · Primary metric: Generation-Speed (tok/s) · 5× concurrent

This run is better than 78 % of all comparable systems.
Generation 224,0 tok/s
+36 % vs Ø 165,1
Prefill 10.577,8 tok/s
+67 % vs Ø 6.346,8
Time to First Token 1.518 ms
-91 % vs Ø 17.171
Distribution in the field2 – 496 tok/s
Ø 165 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

How does this benchmark compare on other GPUs?

Same model on different hardware · 5× concurrent · Generation (tok/s)

Hardware

GPU: 2x AMD Radeon RX 7900 XTX · 24 GB VRAM
CPU: AMD Ryzen Threadripper PRO 3955WX 16-Cores
RAM: 63 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI

Setup

Runtime: vLLM
Quantization: -
Model: Qwen3-8B

Configuration

benchmark-konfiguration — run-20260926-171705-984d32
# LLM-Benchmark Konfiguration # Modell : Qwen3-8B # Engine : vLLM # Run-ID : run-20260926-171705-984d32 # GPU : 2x AMD Radeon RX 7900 XTX # CPU : AMD Ryzen Threadripper PRO 3955WX 16-Cores # RAM : 63 GB bench@llm-benchmark:~$ vllm serve Qwen/Qwen3-8B \ --served-model-name Qwen3-8B \ --tensor-parallel-size 2 \ --max-model-len 8192 '(2x' RX 7900 XTX ROCm, 'vLLM)'
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.vllm
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.Qwen3-8B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.8192
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.Qwen3-8B
Tensor-Parallel?Anzahl GPUs, auf die JEDER einzelne Modell-Layer aufgeteilt wird (Tensor-Parallelitaet). Mehr GPUs = mehr VRAM und meist mehr Speed, aber die Anzahl der Attention-Heads muss durch diesen Wert teilbar sein (z.B. 32 Heads -> nur 1, 2, 4, 8 ... moeglich, NICHT 3).2
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.8192
execution_typelocal

All benchmarks of this model To leaderboard

Anzeige
Model comparison

Qwen3-8B on various hardware

All published performance runs of this model – each bubble a variant: position = prefill (X) × generation (Y), bubble size = number of runs. Closer to the top right = faster. ★ Marked gold = this benchmark.

GPUby graphics card

4043032021010,002.6205.2417.861Prefill (tok/s)Generation (tok/s)AMD Oberon (PlayStation 5) - 68,1 tok/s Generation, 475 tok/s Prefill, TTFT 15.195 ms (2 Laufe)AMD Oberon (PlayStati...CPU-only - 28,4 tok/s Generation, 617 tok/s Prefill, TTFT 79.542 ms (3 Laufe)CPU-onlyAMD Radeon RX 7900 XTX - 315,2 tok/s Generation, 6.408 tok/s Prefill, TTFT 2.336 ms (9 Laufe) | DIESER LAUF★ AMD Radeon RX 7900 XTX
★ AMD Radeon RX 7900 XTX 315,2 tok/s this runAMD Oberon (PlayStation 5) 68,1 tok/sCPU-only 28,4 tok/s

CPUby processor

4093072051020,002.9985.9958.993Prefill (tok/s)Generation (tok/s)Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - 252,8 tok/s Generation, 4.717 tok/s Prefill, TTFT 2.583 ms (3 Laufe)Intel(R) Xeon(R) CPU ...AMD Zen2 8-Core (PlayStation 5) - 68,1 tok/s Generation, 475 tok/s Prefill, TTFT 15.195 ms (2 Laufe)AMD Zen2 8-Core (Play...Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) - 28,4 tok/s Generation, 1.096 tok/s Prefill, TTFT 2.410 ms (1 Lauf)Apple M6 (unified CPU...Apple M6 (unified CPU/GPU SoC) - 25,0 tok/s Generation, 745 tok/s Prefill, TTFT 3.467 ms (1 Lauf)Apple M6 (unified CPU...4 x Cortex-A78C + 4 x Cortex-A55 - 1,6 tok/s Generation, 9 tok/s Prefill, TTFT 232.748 ms (1 Lauf)4 x Cortex-A78C + 4 x...AMD Ryzen Threadripper PRO 3955WX 16-Cores - 315,2 tok/s Generation, 7.254 tok/s Prefill, TTFT 2.212 ms (6 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
★ AMD Ryzen Threadripper PRO 3955WX 16-Cores 315,2 tok/s this runIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 252,8 tok/sAMD Zen2 8-Core (PlayStation 5) 68,1 tok/sApple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) 28,4 tok/sApple M6 (unified CPU/GPU SoC) 25,0 tok/s4 x Cortex-A78C + 4 x Cortex-A55 1,6 tok/s

MBby mainboard

4043032021010,002.9795.9588.937Prefill (tok/s)Generation (tok/s)Dell Inc. PowerEdge R820 - 252,8 tok/s Generation, 4.717 tok/s Prefill, TTFT 2.583 ms (3 Laufe)Dell Inc. PowerEdge R...unbekannt - 68,1 tok/s Generation, 320 tok/s Prefill, TTFT 87.712 ms (3 Laufe)unbekanntApple Mac mini - 28,4 tok/s Generation, 920 tok/s Prefill, TTFT 2.939 ms (2 Laufe)Apple Mac miniASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI - 315,2 tok/s Generation, 7.254 tok/s Prefill, TTFT 2.212 ms (6 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 315,2 tok/s this runDell Inc. PowerEdge R820 252,8 tok/sunbekannt 68,1 tok/sApple Mac mini 28,4 tok/s

ENGby engine

4053042021010,003.8697.73711.606Prefill (tok/s)Generation (tok/s)llama.cpp - 260,2 tok/s Generation, 3.359 tok/s Prefill, TTFT 30.908 ms (9 Laufe)llama.cpplmstudio-mlx - 28,4 tok/s Generation, 1.096 tok/s Prefill, TTFT 2.410 ms (1 Lauf)lmstudio-mlxOllama - 25,0 tok/s Generation, 745 tok/s Prefill, TTFT 3.467 ms (1 Lauf)OllamavLLM - 315,2 tok/s Generation, 9.468 tok/s Prefill, TTFT 1.994 ms (3 Laufe) | DIESER LAUF★ vLLM
★ vLLM 315,2 tok/s this runllama.cpp 260,2 tok/slmstudio-mlx 28,4 tok/sOllama 25,0 tok/s

DRVby driver

3473313152992844.0604.2334.4064.579Prefill (tok/s)Generation (tok/s)unbekannt - 315,2 tok/s Generation, 4.320 tok/s Prefill, TTFT 20.717 ms (14 Laufe)unbekannt
unbekannt 315,2 tok/s
💰 Economics

Economics of this run

Operating cost, TCO and comparison with the next-best runs of the same model at identical concurrency (5× concurrent). Methodology →

⚙️ ConfigurationAll metrics and charts below follow these settings – based on a 24-month runtime.Save to URLReset
⚡ Electricity price EUR/kWh
⚙️ System utilization 100 %
🖥️ Acquisition EUR
🔌 Idle 10 W
⚡ TDP 720 W
☁️ External LLM (API)
Electricity0.30 EUR/kWh
Avg power (incl. idle)720 W estimated (TDP)GPU 710 + Board 10 W full load
Avg cost / hourEUR 0.22
Electricity / 1M tokensEUR 0.27
Token / kWh1.12M
Acquisition (system)EUR 2,782 partial priceGPU EUR 2,098 · RAM EUR 504 · PSU EUR 180
Electricity (2 years)–
TCO (2 years)EUR 6,566
Output tokens (2 years)14.13B
☁️ External LLM (API) – comparison
External LLM cost (2 years)–
Savings vs. external (2 years)–

All values above and the charts below take the configured system utilization into account: at X% the system generates only X% of the time, the rest it idles (10 W). Cost per hour drops (more idle), cost per token rises.

Cost over 2 years – electricity only

Cost over 2 years – incl. acquisition (TCO)

Speed vs. tokens per euro

Euro per 1M tokens

Comparison vs. API – economics per benchmark

Qwen3-8B2x AMD Radeon RX 7900 XTXQwen3-8B2x AMD Radeon RX 7900 XTXQwen3-8B2x AMD Radeon RX 7900 XTXQwen3-8BAMD Oberon (PlayStation 5)
Electricity cost (24 mo.)––––
Acquisition cost––––
Total cost (TCO)––––
Generated tokens (24 mo.)––––
Token price via API––––
Break-even point (days)––––
Result (savings / extra cost)––––

Comparison with up to 3 next-best runs of this model at the same concurrency (at least one on different hardware). Power = GPU TDP + CPU (idle + 15 %) + board (estimated), acquisition = full system (GPU + CPU + board + RAM + PSU), prices = stored market prices.

Contributed by

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.