Created bymario-alka.dePowered bynoob2claw.detricoma.de
Beigesteuert vonMario AlkaQwen (Alibaba)

Qwen3-14B

Performancebenchmark · gemessen am 25.09.2026 13:35

Benchmark-IDrun-20261003-073243-f5400d
Timebench 3 - Kombi (Prefill + Generation)Dense14BRuntime: llama.cppQuantisierung: Q4_K_M
Generation10,58tok/s
Prefill184,59tok/s
Time to First Token13.217,00ms
Gesamtdauer213,98s
Concurrency1parallel
Einordnung im Feld
5von 5 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 1× parallel

Dieser Lauf ist besser als 0 % aller vergleichbaren Systeme.
Generation 10,6 tok/s
-91 % vs Ø 116,0
Prefill 184,6 tok/s
-78 % vs Ø 831,5
Time to First Token 13.217 ms
+143 % vs Ø 5.450
Verteilung im Feld11 – 253 tok/s
Ø 116 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 1× parallel · Generation (tok/s)

Hardware

GPU: AMD Oberon (PlayStation 5)
CPU: AMD Zen2 8-Core (PlayStation 5)
RAM: 16 GB

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Modell: Qwen3-14B

Konfiguration

benchmark-konfiguration — run-20261003-073243-f5400d
# LLM-Benchmark Konfiguration # Modell : Qwen3-14B # Engine : llama.cpp # Run-ID : run-20261003-073243-f5400d # GPU : AMD Oberon (PlayStation 5) # CPU : AMD Zen2 8-Core (PlayStation 5) # RAM : 16 GB bench@llm-benchmark:~$ llama-server \ -m Qwen3-14B-Q4_K_M.gguf \ --alias Qwen3-14B \ -ngl 30 '(partial' offload, 11 Layer 'Zen2-CPU)' \ -fa on \ -c 4096 \ -np 1 '(PS5' AMD RDNA2 Vulkan/RADV 'GFX1013)'
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.Qwen3-14B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.4096
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.Qwen3-14B-Q4_K_M.gguf
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.30
faon
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.4096
np1
execution_typelocal

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

Qwen3-14B auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

36327218190,70,001.7093.4185.127Prefill (tok/s)Generation (tok/s)AMD Radeon RX 7900 XTX - 280,8 tok/s Generation, 4.162 tok/s Prefill, TTFT 3.605 ms (9 Laufe)AMD Radeon RX 7900 XTXCPU-only - 15,5 tok/s Generation, 423 tok/s Prefill, TTFT 6.536 ms (2 Laufe)CPU-onlyAMD Oberon (PlayStation 5) - 10,6 tok/s Generation, 185 tok/s Prefill, TTFT 13.217 ms (1 Lauf) | DIESER LAUF★ AMD Oberon (PlayStati...
AMD Radeon RX 7900 XTX 280,8 tok/sCPU-only 15,5 tok/s★ AMD Oberon (PlayStation 5) 10,6 tok/s dieser Lauf

CPUnach Prozessor

36327218190,70,001.9413.8825.823Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 3955WX 16-Cores - 280,8 tok/s Generation, 4.723 tok/s Prefill, TTFT 3.358 ms (6 Laufe)AMD Ryzen Threadrippe...Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - 186,9 tok/s Generation, 3.038 tok/s Prefill, TTFT 4.101 ms (3 Laufe)Intel(R) Xeon(R) CPU ...Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) - 15,5 tok/s Generation, 525 tok/s Prefill, TTFT 4.974 ms (1 Lauf)Apple M6 (unified CPU...Apple M6 (unified CPU/GPU SoC) - 14,0 tok/s Generation, 321 tok/s Prefill, TTFT 8.097 ms (1 Lauf)Apple M6 (unified CPU...AMD Zen2 8-Core (PlayStation 5) - 10,6 tok/s Generation, 185 tok/s Prefill, TTFT 13.217 ms (1 Lauf) | DIESER LAUF★ AMD Zen2 8-Core (Play...
AMD Ryzen Threadripper PRO 3955WX 16-Cores 280,8 tok/sIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 186,9 tok/sApple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) 15,5 tok/sApple M6 (unified CPU/GPU SoC) 14,0 tok/s★ AMD Zen2 8-Core (PlayStation 5) 10,6 tok/s dieser Lauf

MBnach Mainboard

36327218190,70,001.9413.8825.823Prefill (tok/s)Generation (tok/s)ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI - 280,8 tok/s Generation, 4.723 tok/s Prefill, TTFT 3.358 ms (6 Laufe)ASUSTeK COMPUTER INC....Dell Inc. PowerEdge R820 - 186,9 tok/s Generation, 3.038 tok/s Prefill, TTFT 4.101 ms (3 Laufe)Dell Inc. PowerEdge R...Apple Mac mini - 15,5 tok/s Generation, 423 tok/s Prefill, TTFT 6.536 ms (2 Laufe)Apple Mac miniunbekannt - 10,6 tok/s Generation, 185 tok/s Prefill, TTFT 13.217 ms (1 Lauf)unbekannt
ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 280,8 tok/sDell Inc. PowerEdge R820 186,9 tok/sApple Mac mini 15,5 tok/sunbekannt 10,6 tok/s

ENGnach Engine

36227218190,60,002.6155.2297.844Prefill (tok/s)Generation (tok/s)vLLM - 280,8 tok/s Generation, 6.373 tok/s Prefill, TTFT 2.764 ms (3 Laufe)vLLMlmstudio-mlx - 15,5 tok/s Generation, 525 tok/s Prefill, TTFT 4.974 ms (1 Lauf)lmstudio-mlxOllama - 14,0 tok/s Generation, 321 tok/s Prefill, TTFT 8.097 ms (1 Lauf)Ollamallama.cpp - 189,6 tok/s Generation, 2.646 tok/s Prefill, TTFT 5.339 ms (7 Laufe) | DIESER LAUF★ llama.cpp
vLLM 280,8 tok/s★ llama.cpp 189,6 tok/s dieser Lauflmstudio-mlx 15,5 tok/sOllama 14,0 tok/s

DRVnach Treiber

3092952812672533.0153.1433.2713.399Prefill (tok/s)Generation (tok/s)unbekannt - 280,8 tok/s Generation, 3.207 tok/s Prefill, TTFT 4.895 ms (12 Laufe)unbekannt
unbekannt 280,8 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (1× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🔌 Idle 0 W
⚡ TDP 10 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)0 W fehlt
Ø-Kosten / Stunde–
Strom / 1 Mio. Token–
Token / kWh–
Anschaffung (System)– fehlt
Stromkosten (2 Jahre)–
TCO (2 Jahre)–
Output-Token (2 Jahre)667,30 Mio.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–
Keine Leistungsaufnahme gemessen – Werte geschätzt aus GPU-TDP + CPU (Idle + 15 %) + Board.

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (0 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

Qwen3-14BAMD Oberon (PlayStation 5)Qwen3-14B2x AMD Radeon RX 7900 XTXQwen3-14B2x AMD Radeon RX 7900 XTXQwen3-14B2x AMD Radeon RX 7900 XTX
Kosten Strom (24 Mon.)––––
Kosten Anschaffung––––
Kosten Gesamt (TCO)––––
Generierte Token (24 Mon.)––––
Tokenpreis bei API––––
Break-Even-Point (Tage)––––
Ergebnis (Ersparnis / Ausgabe)––––

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.