NVIDIA

NVIDIA-Nemotron-3-Nano-4B

Performancebenchmark · gemessen am 22.07.2026 20:36

Benchmark-IDrun-20260722-190202-45dc8e

Timebench 3 - Kombi (Prefill + Generation)Dense4BRuntime: llama.cppQuantisierung: Q4_K_M

⚠

Konfigurations-Hinweis: Es sind 3 Grafikkarten installiert, aber nur 1 wurde fuer diesen Lauf genutzt. Mit allen 3 GPUs koennte der Durchsatz deutlich hoeher liegen.

Generation93,42tok/s

Prefill2.629,86tok/s

Time to First Token822,00ms

Gesamtdauer23,63s

Concurrency1parallel

Einordnung im Feld

8von 140 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 95 % aller vergleichbaren Systeme.

Generation 93,4 tok/s

+127 % vs Ø 41,1

Prefill 2.629,9 tok/s

-6 % vs Ø 2.784,3

Time to First Token 822 ms

-74 % vs Ø 3.177

Verteilung im Feld1 – 148 tok/s

Ø 41 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260722-165909-85f64f

147,8 tok/s

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260722-165909-637af7

143,9 tok/s

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260722-165909-65d35f

137,7 tok/s

Nemotron-Cascade-2-30B-A3B3× AMD Radeon AI PRO R9700 · run-20260722-181156-a273f2

107,9 tok/s

Nemotron-3-Nano-Omni-30B-A3B-Reasoning3× AMD Radeon AI PRO R9700 · run-20260722-182228-95c528

102,9 tok/s

gpt-oss-120b3× AMD Radeon AI PRO R9700 · run-20260722-165909-4e3ede

99,8 tok/s

Qwen3-30B-A3B-Instruct-25073× AMD Radeon AI PRO R9700 · run-20260722-165907-cc8f3f

97,6 tok/s

NVIDIA-Nemotron-3-Nano-4B dieser Lauf3× AMD Radeon AI PRO R9700 · run-20260722-190202-45dc8e

93,4 tok/s

Qwen3-30B-A3B-Thinking-25073× AMD Radeon AI PRO R9700 · run-20260722-165908-5712c8

91,4 tok/s

Qwen3-30B-A3B-Instruct-25073× AMD Radeon AI PRO R9700 · run-20260722-165907-b20fe5

91,0 tok/s

Qwen3-VL-30B-A3B-Instruct3× AMD Radeon AI PRO R9700 · run-20260722-165908-4d91c3

89,8 tok/s

Qwen3-30B-A3B-Thinking-25073× AMD Radeon AI PRO R9700 · run-20260722-165908-40e052

88,6 tok/s

Qwen3-Coder-30B-A3B-Instruct3× AMD Radeon AI PRO R9700 · run-20260722-165907-0a4b43

88,2 tok/s

Qwen3-30B-A3B-Thinking-25073× AMD Radeon AI PRO R9700 · run-20260722-165907-83951d

87,8 tok/s

Hardware

GPU: 3x AMD Radeon AI PRO R9700 · 32 GB VRAM
CPU: 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Modell: NVIDIA-Nemotron-3-Nano-4B

Konfiguration

benchmark-konfiguration — run-20260722-190202-45dc8e

# LLM-Benchmark Konfiguration # Modell : NVIDIA-Nemotron-3-Nano-4B # Engine : llama.cpp # Run-ID : run-20260722-190202-45dc8e # GPU : 3x AMD Radeon AI PRO R9700 # CPU : 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ /src/build/bin/llama-server \ -m /root/.cache/huggingface/hub/models--nvidia--NVIDIA-Nemotron-3-Nano-4B-GGUF/snapshots/ba223d14e45525f7fae81db77ea8cabeb2fc6c25/NVIDIA-Nemotron3-Nano-4B-Q4_K_M.gguf \ -ngl 999 \ -c 8192 \ -a NVIDIA-Nemotron-3-Nano-4B \ --host 0.0.0.0 \ --port 8000

Engine	llamacpp
Modellalias	NVIDIA-Nemotron-3-Nano-4B
Kontextlaenge	8192
Modellpfad	/root/.cache/huggingface/hub/models--nvidia--NVIDIA-Nemotron-3-Nano-4B-GGUF/snapshots/ba223d14e45525f7fae81db77ea8cabeb2fc6c25/NVIDIA-Nemotron3-Nano-4B-Q4_K_M.gguf
GPU-Layer	999
Kontext	8192
Alias	NVIDIA-Nemotron-3-Nano-4B

Alle Benchmarks dieses Modells Zum Leaderboard