Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
🌐
DEEN
NVIDIA

NVIDIA-Nemotron-3-Nano-4B

Performancebenchmark · gemessen am 23.07.2026 02:27

Benchmark-IDrun-20260723-023427-2f18a1
Timebench 3 - Kombi (Prefill + Generation)Dense4BRuntime: llama.cppQuantisierung: Q4_K_M
Generation261,19tok/s
Prefill3.149,91tok/s
Time to First Token3.127,00ms
Gesamtdauer11,22s
Concurrency5parallel
Einordnung im Feld
25von 347 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 93 % aller vergleichbaren Systeme.
Generation 261,2 tok/s
+161 % vs Ø 100,2
Prefill 3.149,9 tok/s
-7 % vs Ø 3.396,8
Time to First Token 3.127 ms
-85 % vs Ø 21.178
Verteilung im Feld0 – 1.444 tok/s
Ø 100 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

Hardware

GPU: 3x AMD Radeon AI PRO R9700 · 32 GB VRAM
CPU: 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Betriebssystem: Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)
Treiber: AMD 7.0.0-27-generic
Modell: NVIDIA-Nemotron-3-Nano-4B

Konfiguration

benchmark-konfiguration — run-20260723-023427-2f18a1
# LLM-Benchmark Konfiguration # Modell : NVIDIA-Nemotron-3-Nano-4B # Engine : llama.cpp # Run-ID : run-20260723-023427-2f18a1 # GPU : 3x AMD Radeon AI PRO R9700 # CPU : 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ llama-server \ -m nvidia/NVIDIA-Nemotron-3-Nano-4B-GGUF/Q4_K_M.gguf \ -ngl 999 \ -c 26624 \ --parallel 12 \ -a NVIDIA-Nemotron-3-Nano-4B \ --host 0.0.0.0 \ --port 8000
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.NVIDIA-Nemotron-3-Nano-4B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.26624
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.nvidia/NVIDIA-Nemotron-3-Nano-4B-GGUF/Q4_K_M.gguf
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.999
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.26624
Parallel?Anzahl paralleler Slots/Sequenzen, die der Server gleichzeitig bedient. Der Kontext wird auf die Slots aufgeteilt.12
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.NVIDIA-Nemotron-3-Nano-4B

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

NVIDIA-Nemotron-3-Nano-4B auf verschiedener Hardware

Alle veroeffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

33825316984,50,001.4412.8824.323Prefill (tok/s)Generation (tok/s)AMD Radeon 8060S Graphics - 113,4 tok/s Generation, 1.903 tok/s Prefill, TTFT 5.505 ms (3 Laufe)AMD Radeon 8060S Grap...CPU-only - 8,0 tok/s Generation, 63 tok/s Prefill, TTFT 139.289 ms (3 Laufe)CPU-onlyAMD Radeon AI PRO R9700 - 261,2 tok/s Generation, 3.495 tok/s Prefill, TTFT 2.882 ms (3 Laufe) | DIESER LAUF★ AMD Radeon AI PRO R97...
★ AMD Radeon AI PRO R9700 261,2 tok/s dieser LaufAMD Radeon 8060S Graphics 113,4 tok/sCPU-only 8,0 tok/s

CPUnach Prozessor

33825316984,50,001.4412.8824.323Prefill (tok/s)Generation (tok/s)AMD RYZEN AI MAX+ 395 w/ Radeon 8060S - 113,4 tok/s Generation, 1.903 tok/s Prefill, TTFT 5.505 ms (3 Laufe)AMD RYZEN AI MAX+ 395...Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz - 8,0 tok/s Generation, 63 tok/s Prefill, TTFT 139.289 ms (3 Laufe)Intel(R) Xeon(R) CPU ...AMD Ryzen Threadripper PRO 7955WX 16-Cores - 261,2 tok/s Generation, 3.495 tok/s Prefill, TTFT 2.882 ms (3 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 261,2 tok/s dieser LaufAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 113,4 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 8,0 tok/s

MBnach Mainboard

33825316984,50,001.4412.8824.323Prefill (tok/s)Generation (tok/s)Meigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) - 113,4 tok/s Generation, 1.903 tok/s Prefill, TTFT 5.505 ms (3 Laufe)Meigao Innovation Tec...Dell Inc. PowerEdge R820 - 8,0 tok/s Generation, 63 tok/s Prefill, TTFT 139.289 ms (3 Laufe)Dell Inc. PowerEdge R...ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 261,2 tok/s Generation, 3.495 tok/s Prefill, TTFT 2.882 ms (3 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 261,2 tok/s dieser LaufMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 113,4 tok/sDell Inc. PowerEdge R820 8,0 tok/s

ENGnach Engine

2872742612482351.7111.7841.8571.929Prefill (tok/s)Generation (tok/s)llama.cpp - 261,2 tok/s Generation, 1.820 tok/s Prefill, TTFT 49.225 ms (9 Laufe) | DIESER LAUF★ llama.cpp
★ llama.cpp 261,2 tok/s dieser Lauf

DRVnach Treiber

33825316984,50,001.4412.8824.323Prefill (tok/s)Generation (tok/s)ROCm 7.2.0 - 113,4 tok/s Generation, 1.903 tok/s Prefill, TTFT 5.505 ms (3 Laufe)ROCm 7.2.0unbekannt - 8,0 tok/s Generation, 63 tok/s Prefill, TTFT 139.289 ms (3 Laufe)unbekanntAMD 7.0.0-27-generic - 261,2 tok/s Generation, 3.495 tok/s Prefill, TTFT 2.882 ms (3 Laufe) | DIESER LAUF★ AMD 7.0.0-27-generic
★ AMD 7.0.0-27-generic 261,2 tok/s dieser LaufROCm 7.2.0 113,4 tok/sunbekannt 8,0 tok/s