Created bymario-alka.dePowered bynoob2claw.detricoma.de
Beigesteuert vonMario AlkaMeta

Llama-3.2-1B-Instruct

Performancebenchmark · gemessen am 27.09.2026 01:45

Benchmark-IDrun-20260927-001710-d4b69b
Timebench 3 - Kombi (Prefill + Generation)Dense1BRuntime: llama.cppQuantisierung: Q4_K_M
Generation209,03tok/s
Prefill11.183,95tok/s
Time to First Token257,00ms
Gesamtdauer9,69s
Concurrency1parallel
Einordnung im Feld
2von 122 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 1× parallel

Dieser Lauf ist besser als 99 % aller vergleichbaren Systeme.
Generation 209,0 tok/s
+206 % vs Ø 68,2
Prefill 11.184,0 tok/s
+244 % vs Ø 3.254,3
Time to First Token 257 ms
-94 % vs Ø 4.539
Verteilung im Feld1 – 244 tok/s
Ø 68 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 1× parallel · Generation (tok/s)

Hardware

GPU: 2x AMD Radeon RX 7900 XTX · 24 GB VRAM
CPU: AMD Ryzen Threadripper PRO 3955WX 16-Cores
RAM: 63 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Modell: Llama-3.2-1B-Instruct

Konfiguration

benchmark-konfiguration — run-20260927-001710-d4b69b
# LLM-Benchmark Konfiguration # Modell : Llama-3.2-1B-Instruct # Engine : llama.cpp # Run-ID : run-20260927-001710-d4b69b # GPU : 2x AMD Radeon RX 7900 XTX # CPU : AMD Ryzen Threadripper PRO 3955WX 16-Cores # RAM : 63 GB bench@llm-benchmark:~$ llama-server \ -m Llama-3.2-1B-Instruct-Q4_K_M.gguf \ --alias Llama-3.2-1B-Instruct \ -ngl 999 \ -fa on \ -c 40960 \ -np 10 '(2x' RX 7900 XTX 'ROCm)'
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.Llama-3.2-1B-Instruct
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.40960
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.Llama-3.2-1B-Instruct-Q4_K_M.gguf
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.999
faon
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.40960
np10
execution_typelocal

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

Llama-3.2-1B-Instruct auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

9246934622310,0011.66623.33234.998Prefill (tok/s)Generation (tok/s)CPU-only - 133,2 tok/s Generation, 2.122 tok/s Prefill, TTFT 69.352 ms (6 Laufe)CPU-onlyAMD Liverpool (PlayStation 4) - 43,2 tok/s Generation, 281 tok/s Prefill, TTFT 8.805 ms (1 Lauf)AMD Liverpool (PlaySt...AMD Radeon RX 7900 XTX - 717,6 tok/s Generation, 28.265 tok/s Prefill, TTFT 548 ms (9 Laufe) | DIESER LAUF★ AMD Radeon RX 7900 XTX
★ AMD Radeon RX 7900 XTX 717,6 tok/s dieser LaufCPU-only 133,2 tok/sAMD Liverpool (PlayStation 4) 43,2 tok/s

CPUnach Prozessor

9306984652330,0013.27626.55239.828Prefill (tok/s)Generation (tok/s)Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - 609,5 tok/s Generation, 20.528 tok/s Prefill, TTFT 659 ms (3 Laufe)Intel(R) Xeon(R) CPU ...Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) - 133,2 tok/s Generation, 7.177 tok/s Prefill, TTFT 377 ms (1 Lauf)Apple M6 (unified CPU...Apple M6 (unified CPU/GPU SoC) - 97,1 tok/s Generation, 5.083 tok/s Prefill, TTFT 500 ms (1 Lauf)Apple M6 (unified CPU...AMD Jaguar 8-Core (PlayStation 4) - 43,2 tok/s Generation, 237 tok/s Prefill, TTFT 10.796 ms (2 Laufe)AMD Jaguar 8-Core (Pl...4 x Cortex-A78C + 4 x Cortex-A55 - 13,2 tok/s Generation, 94 tok/s Prefill, TTFT 134.150 ms (3 Laufe)4 x Cortex-A78C + 4 x...AMD Ryzen Threadripper PRO 3955WX 16-Cores - 717,6 tok/s Generation, 32.133 tok/s Prefill, TTFT 493 ms (6 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
★ AMD Ryzen Threadripper PRO 3955WX 16-Cores 717,6 tok/s dieser LaufIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 609,5 tok/sApple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) 133,2 tok/sApple M6 (unified CPU/GPU SoC) 97,1 tok/sAMD Jaguar 8-Core (PlayStation 4) 43,2 tok/s4 x Cortex-A78C + 4 x Cortex-A55 13,2 tok/s

MBnach Mainboard

9246934622310,0013.27326.54539.818Prefill (tok/s)Generation (tok/s)Dell Inc. PowerEdge R820 - 609,5 tok/s Generation, 20.528 tok/s Prefill, TTFT 659 ms (3 Laufe)Dell Inc. PowerEdge R...Apple Mac mini - 133,2 tok/s Generation, 6.130 tok/s Prefill, TTFT 439 ms (2 Laufe)Apple Mac miniunbekannt - 43,2 tok/s Generation, 151 tok/s Prefill, TTFT 84.808 ms (5 Laufe)unbekanntASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI - 717,6 tok/s Generation, 32.133 tok/s Prefill, TTFT 493 ms (6 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 717,6 tok/s dieser LaufDell Inc. PowerEdge R820 609,5 tok/sApple Mac mini 133,2 tok/sunbekannt 43,2 tok/s

ENGnach Engine

9136854572280,0014.73629.47244.208Prefill (tok/s)Generation (tok/s)vLLM - 717,6 tok/s Generation, 36.389 tok/s Prefill, TTFT 511 ms (3 Laufe)vLLMlmstudio-mlx - 133,2 tok/s Generation, 7.177 tok/s Prefill, TTFT 377 ms (1 Lauf)lmstudio-mlxOllama - 97,1 tok/s Generation, 5.083 tok/s Prefill, TTFT 500 ms (1 Lauf)Ollamallama.cpp - 696,8 tok/s Generation, 13.270 tok/s Prefill, TTFT 38.858 ms (11 Laufe) | DIESER LAUF★ llama.cpp
vLLM 717,6 tok/s★ llama.cpp 696,8 tok/s dieser Lauflmstudio-mlx 133,2 tok/sOllama 97,1 tok/s

DRVnach Treiber

78975371868264615.71016.37817.04717.715Prefill (tok/s)Generation (tok/s)unbekannt - 717,6 tok/s Generation, 16.712 tok/s Prefill, TTFT 26.866 ms (16 Laufe)unbekannt
unbekannt 717,6 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (1× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🖥️ Anschaffung EUR
🔌 Idle 10 W
⚡ TDP 720 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)720 W geschätzt (TDP)GPU 710 + Board 10 W Volllast
Ø-Kosten / Stunde0,22 EUR
Strom / 1 Mio. Token0,29 EUR
Token / kWh1,05 Mio.
Anschaffung (System)2.782 EUR TeilpreisGPU 2.098 EUR · RAM 504 EUR · Netzteil 180 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)6.566 EUR
Output-Token (2 Jahre)13,18 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (10 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

Llama-3.2-1B-Instruct2x AMD Radeon RX 7900 XTXLlama-3.2-1B-Instruct2x AMD Radeon RX 7900 XTXLlama-3.2-1B-InstructKeine GPU (CPU-only)Llama-3.2-1B-Instruct2x AMD Radeon RX 7900 XTX
Kosten Strom (24 Mon.)––––
Kosten Anschaffung––––
Kosten Gesamt (TCO)––––
Generierte Token (24 Mon.)––––
Tokenpreis bei API––––
Break-Even-Point (Tage)––––
Ergebnis (Ersparnis / Ausgabe)––––

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.