Created bymario-alka.dePowered bynoob2claw.detricoma.de
Beigesteuert vonMario AlkaNVIDIA

Nemotron-Cascade-2-30B-A3B

Performancebenchmark · gemessen am 28.08.2026 12:09

Benchmark-IDrun-20260828-101910-9d02d3
Timebench 3 - Kombi (Prefill + Generation)MoE30BRuntime: llama.cppQuantisierung: Q4_K_M
Generation170,84tok/s
Prefill4.390,31tok/s
Time to First Token494,50ms
Gesamtdauer12,98s
Concurrency1parallel
Einordnung im Feld
220von 1927 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 1× parallel

Dieser Lauf ist besser als 89 % aller vergleichbaren Systeme.
Generation 170,8 tok/s
+120 % vs Ø 77,5
Prefill 4.390,3 tok/s
+54 % vs Ø 2.844,6
Time to First Token 495 ms
-98 % vs Ø 23.755
Verteilung im Feld0 – 471 tok/s
Ø 78 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261026-183943-a8c4f8
471,3 tok/s
gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260724-004608-16af9b
404,6 tok/s
gpt-oss-20bNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260730-035052-9f766a
395,2 tok/s
NVIDIA-Nemotron-3-Nano-4BNVIDIA GeForce RTX 5090 · run-20260728-194135-d456e7
393,5 tok/s
NVIDIA-Nemotron-3-Nano-4BNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181607-bffb11
393,5 tok/s
gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260724-004607-29bd16
388,9 tok/s
gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260729-032121-1c779f
388,2 tok/s
gemma-4-E2B-itNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181606-6ea089
378,6 tok/s
gemma-4-E2B-itNVIDIA GeForce RTX 5090 · run-20260728-184455-e8b129
377,6 tok/s
NVIDIA-Nemotron-3-Nano-4B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-ac388e
362,3 tok/s
NVIDIA-Nemotron-3-Nano-4B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-5e5085
361,4 tok/s
NVIDIA-Nemotron-3-Nano-30B-A3BNVIDIA GeForce RTX 5090 · run-20260729-105335-653788
359,4 tok/s
Nemotron-3-Nano-Omni-30B-A3B-ReasoningNVIDIA GeForce RTX 5090 · run-20260729-105334-2c4905
359,3 tok/s
Nemotron-Cascade-2-30B-A3B gleiches ModellNVIDIA GeForce RTX 5090 · run-20260729-105334-44d1e7
359,0 tok/s
Nemotron-Cascade-2-30B-A3B dieser Lauf2× 2x NVIDIA RTX A6000 · run-20260828-101910-9d02d3
170,8 tok/s

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 1× parallel · Generation (tok/s)

Hardware

GPU: 2x NVIDIA RTX A6000 · 48 GB VRAM
CPU: AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Modell: Nemotron-Cascade-2-30B-A3B

Konfiguration

benchmark-konfiguration — run-20260828-101910-9d02d3
# LLM-Benchmark Konfiguration # Modell : Nemotron-Cascade-2-30B-A3B # Engine : llama.cpp # Run-ID : run-20260828-101910-9d02d3 # GPU : 2x NVIDIA RTX A6000 # CPU : AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ /home/godcore/llama.cpp/build/bin/llama-server \ -m nvidia_Nemotron-Cascade-2-30B-A3B-Q4_K_M.gguf \ -ngl 999 \ -fa on \ -c 16384 \ -np 4 \ -sm layer '(2x' RTX A6000 '48GB)'
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.llamacpp
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.16384
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.nvidia_Nemotron-Cascade-2-30B-A3B-Q4_K_M.gguf
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.999
faon
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.16384
np4
Split-Mode?Verteilung ueber mehrere GPUs: none (nur eine GPU), layer (Layer aufteilen) oder row (Tensoren zeilenweise).layer
execution_typelocal

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

Nemotron-Cascade-2-30B-A3B auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

2.3191.7391.1595800,003.3696.73910.108Prefill (tok/s)Generation (tok/s)NVIDIA RTX PRO 6000 Blackwell Workstation Edition - 1.784,7 tok/s Generation, 7.298 tok/s Prefill, TTFT 3.860 ms (5 Laufe)NVIDIA RTX PRO 6000 B...NVIDIA GeForce RTX 5090 - 1.719,2 tok/s Generation, 6.140 tok/s Prefill, TTFT 3.569 ms (3 Laufe)NVIDIA GeForce RTX 50...NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition - 1.655,2 tok/s Generation, 8.162 tok/s Prefill, TTFT 3.403 ms (9 Laufe)NVIDIA RTX PRO 6000 B...NVIDIA GeForce RTX 3090 Ti - 897,5 tok/s Generation, 3.962 tok/s Prefill, TTFT 6.439 ms (3 Laufe)NVIDIA GeForce RTX 30...AMD Radeon 8060S Graphics - 326,9 tok/s Generation, 499 tok/s Prefill, TTFT 56.616 ms (4 Laufe)AMD Radeon 8060S Grap...AMD Radeon AI PRO R9700 - 295,2 tok/s Generation, 1.148 tok/s Prefill, TTFT 50.737 ms (13 Laufe)AMD Radeon AI PRO R97...NVIDIA GeForce RTX 5070 Ti - 262,4 tok/s Generation, 1.327 tok/s Prefill, TTFT 13.826 ms (9 Laufe)NVIDIA GeForce RTX 50...NVIDIA DGX SPARK (GB10) - 148,8 tok/s Generation, 2.840 tok/s Prefill, TTFT 3.808 ms (6 Laufe)NVIDIA DGX SPARK (GB1...CPU-only - 5,9 tok/s Generation, 72 tok/s Prefill, TTFT 130.288 ms (3 Laufe)CPU-onlyNVIDIA RTX A6000 - 723,7 tok/s Generation, 7.683 tok/s Prefill, TTFT 3.412 ms (24 Laufe) | DIESER LAUF★ NVIDIA RTX A6000
NVIDIA RTX PRO 6000 Blackwell Workstation Edition 1.784,7 tok/sNVIDIA GeForce RTX 5090 1.719,2 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 1.655,2 tok/sNVIDIA GeForce RTX 3090 Ti 897,5 tok/s★ NVIDIA RTX A6000 723,7 tok/s dieser LaufAMD Radeon 8060S Graphics 326,9 tok/sAMD Radeon AI PRO R9700 295,2 tok/sNVIDIA GeForce RTX 5070 Ti 262,4 tok/sNVIDIA DGX SPARK (GB10) 148,8 tok/sCPU-only 5,9 tok/s

CPUnach Prozessor

2.3191.7391.1595800,003.3696.73910.108Prefill (tok/s)Generation (tok/s)AMD Ryzen 5 5600X 6-Core Processor - 1.784,7 tok/s Generation, 8.014 tok/s Prefill, TTFT 4.698 ms (2 Laufe)AMD Ryzen 5 5600X 6-C...AMD Ryzen 9 9950X 16-Core Processor - 1.768,1 tok/s Generation, 6.820 tok/s Prefill, TTFT 3.302 ms (3 Laufe)AMD Ryzen 9 9950X 16-...AMD Ryzen 7 5800X3D 8-Core Processor - 1.719,2 tok/s Generation, 6.140 tok/s Prefill, TTFT 3.569 ms (3 Laufe)AMD Ryzen 7 5800X3D 8...AMD Ryzen Threadripper PRO 9965WX 24-Cores - 1.655,2 tok/s Generation, 8.162 tok/s Prefill, TTFT 3.403 ms (9 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 9 8945HX with Radeon Graphics - 897,5 tok/s Generation, 3.962 tok/s Prefill, TTFT 6.439 ms (3 Laufe)AMD Ryzen 9 8945HX wi...AMD RYZEN AI MAX+ 395 w/ Radeon 8060S - 326,9 tok/s Generation, 499 tok/s Prefill, TTFT 56.616 ms (4 Laufe)AMD RYZEN AI MAX+ 395...AMD Ryzen 3 3100 4-Core Processor - 295,2 tok/s Generation, 3.259 tok/s Prefill, TTFT 3.568 ms (3 Laufe)AMD Ryzen 3 3100 4-Co...AMD Ryzen Threadripper PRO 5975WX 32-Cores - 262,4 tok/s Generation, 720 tok/s Prefill, TTFT 26.930 ms (3 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 9 7945HX with Radeon Graphics - 219,6 tok/s Generation, 1.631 tok/s Prefill, TTFT 7.274 ms (6 Laufe)AMD Ryzen 9 7945HX wi...NVIDIA Grace - 148,8 tok/s Generation, 2.840 tok/s Prefill, TTFT 3.808 ms (6 Laufe)NVIDIA GraceIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz - 5,9 tok/s Generation, 72 tok/s Prefill, TTFT 130.288 ms (3 Laufe)Intel(R) Xeon(R) CPU ...AMD Ryzen Threadripper PRO 7955WX 16-Cores - 723,7 tok/s Generation, 5.574 tok/s Prefill, TTFT 21.493 ms (34 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
AMD Ryzen 5 5600X 6-Core Processor 1.784,7 tok/sAMD Ryzen 9 9950X 16-Core Processor 1.768,1 tok/sAMD Ryzen 7 5800X3D 8-Core Processor 1.719,2 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 1.655,2 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 897,5 tok/s★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 723,7 tok/s dieser LaufAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 326,9 tok/sAMD Ryzen 3 3100 4-Core Processor 295,2 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 262,4 tok/sAMD Ryzen 9 7945HX with Radeon Graphics 219,6 tok/sNVIDIA Grace 148,8 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 5,9 tok/s

MBnach Mainboard

2.3191.7391.1595800,002.8435.6878.530Prefill (tok/s)Generation (tok/s)ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING - 1.784,7 tok/s Generation, 6.890 tok/s Prefill, TTFT 4.021 ms (5 Laufe)ASUSTeK COMPUTER INC....ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI - 1.768,1 tok/s Generation, 6.820 tok/s Prefill, TTFT 3.302 ms (3 Laufe)ASUSTeK COMPUTER INC....Meigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) - 897,5 tok/s Generation, 3.962 tok/s Prefill, TTFT 6.439 ms (3 Laufe)Meigao Innovation Tec...Meigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) - 326,9 tok/s Generation, 499 tok/s Prefill, TTFT 56.616 ms (4 Laufe)Meigao Innovation Tec...ASUSTeK COMPUTER INC. ROG STRIX X570-F GAMING - 295,2 tok/s Generation, 3.259 tok/s Prefill, TTFT 3.568 ms (3 Laufe)ASUSTeK COMPUTER INC....ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI - 262,4 tok/s Generation, 720 tok/s Prefill, TTFT 26.930 ms (3 Laufe)ASUSTeK COMPUTER INC....Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) - 219,6 tok/s Generation, 1.631 tok/s Prefill, TTFT 7.274 ms (6 Laufe)Shenzhen Meigao Elect...ASUSTeK COMPUTER INC. GX10 - 148,8 tok/s Generation, 2.840 tok/s Prefill, TTFT 3.808 ms (6 Laufe)ASUSTeK COMPUTER INC....Dell Inc. PowerEdge R820 - 5,9 tok/s Generation, 72 tok/s Prefill, TTFT 130.288 ms (3 Laufe)Dell Inc. PowerEdge R...ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 1.655,2 tok/s Generation, 6.116 tok/s Prefill, TTFT 17.706 ms (43 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 1.784,7 tok/sASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 1.768,1 tok/s★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 1.655,2 tok/s dieser LaufMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 897,5 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 326,9 tok/sASUSTeK COMPUTER INC. ROG STRIX X570-F GAMING 295,2 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 262,4 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 219,6 tok/sASUSTeK COMPUTER INC. GX10 148,8 tok/sDell Inc. PowerEdge R820 5,9 tok/s

ENGnach Engine

2.2021.6951.1896821752.5925.3428.09110.841Prefill (tok/s)Generation (tok/s)vLLM - 592,4 tok/s Generation, 9.337 tok/s Prefill, TTFT 24.063 ms (9 Laufe)vLLMllama.cpp - 1.784,7 tok/s Generation, 4.096 tok/s Prefill, TTFT 19.564 ms (70 Laufe) | DIESER LAUF★ llama.cpp
★ llama.cpp 1.784,7 tok/s dieser LaufvLLM 592,4 tok/s

DRVnach Treiber

2.2901.7181.1455730,02.1893.2924.3945.497Prefill (tok/s)Generation (tok/s)unbekannt - 1.784,7 tok/s Generation, 4.845 tok/s Prefill, TTFT 21.413 ms (73 Laufe)unbekanntNVIDIA 590.48.01 / CUDA 13.1 - 148,8 tok/s Generation, 2.840 tok/s Prefill, TTFT 3.808 ms (6 Laufe)NVIDIA 590.48.01 / CU...
unbekannt 1.784,7 tok/sNVIDIA 590.48.01 / CUDA 13.1 148,8 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (1× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🖥️ Anschaffung EUR
🔌 Idle 95 W
⚡ TDP 671 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)671 W geschätzt (TDP)GPU 600 + CPU 46 + Board 25 W Volllast
Ø-Kosten / Stunde0,20 EUR
Strom / 1 Mio. Token0,33 EUR
Token / kWh916,58 Tsd.
Anschaffung (System)11.454 EUR VollpreisGPU 6.000 EUR · CPU 1.399 EUR · Board 1.299 EUR · RAM 2.576 EUR · Netzteil 180 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)14.981 EUR
Output-Token (2 Jahre)10,78 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (95 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

Nemotron-Cascade-2-30B-A3B2x NVIDIA RTX A6000Nemotron-Cascade-2-30B-A3BNVIDIA GeForce RTX 5090Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Workstation EditionNemotron-Cascade-2-30B-A3B3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
Kosten Strom (24 Mon.)––––
Kosten Anschaffung––––
Kosten Gesamt (TCO)––––
Generierte Token (24 Mon.)––––
Tokenpreis bei API––––
Break-Even-Point (Tage)––––
Ergebnis (Ersparnis / Ausgabe)––––

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.