Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
Beigesteuert vonMario AlkaNVIDIA

OpenReasoning-Nemotron-32B

Performancebenchmark · gemessen am 23.07.2026 04:08

Benchmark-IDrun-20260723-045447-60e90e
Timebench 3 - Kombi (Prefill + Generation)Dense32BRuntime: llama.cppQuantisierung: Q4_K_M
Generation56,32tok/s
Prefill3.273,98tok/s
Time to First Token3.928,00ms
Gesamtdauer15,84s
Concurrency5parallel
Einordnung im Feld
395von 597 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 34 % aller vergleichbaren Systeme.
Generation 56,3 tok/s
-77 % vs Ø 244,1
Prefill 3.274,0 tok/s
-39 % vs Ø 5.353,8
Time to First Token 3.928 ms
-70 % vs Ø 13.148
Verteilung im Feld0 – 1.444 tok/s
Ø 244 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

gpt-oss-20bNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260723-194447-dc199d
1.443,9 tok/s
gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260724-004604-1c9023
1.386,8 tok/s
gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260723-045447-edeed3
1.295,3 tok/s
Qwen3-Coder-30B-A3B-InstructNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260724-004606-ebf474
1.070,6 tok/s
Qwen3-VL-30B-A3B-InstructNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260724-004607-c49303
1.028,5 tok/s
Ministral-3-14B-Reasoning-2512NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260723-195749-eebab2
1.015,7 tok/s
Qwen3-Coder-30B-A3B-InstructNVIDIA GeForce RTX 5090 · run-20260723-045450-366dae
966,2 tok/s
Qwen3-30B-A3B-Instruct-2507NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260724-004604-860045
961,5 tok/s
Codestral-22B-v0.1NVIDIA GeForce RTX 5090 · run-20260724-004612-002f8b
945,4 tok/s
Devstral-Small-2-24B-Instruct-2512NVIDIA GeForce RTX 5090 · run-20260724-004615-7fac5f
924,8 tok/s
Qwen3-Omni-30B-A3B-ThinkingNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260724-004611-a583d6
910,7 tok/s
Qwen3-30B-A3B-Instruct-2507NVIDIA GeForce RTX 5090 · run-20260723-045450-e8df4d
909,3 tok/s
Qwen3-30B-A3B-Thinking-2507NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260724-004605-f9a3a1
906,0 tok/s
Qwen3-30B-A3B-Instruct-2507NVIDIA GeForce RTX 3090 Ti · run-20260724-004603-3aec22
901,9 tok/s
OpenReasoning-Nemotron-32B dieser Lauf3× AMD Radeon AI PRO R9700 · run-20260723-045447-60e90e
56,3 tok/s

Hardware

GPU: 3x AMD Radeon AI PRO R9700 · 32 GB VRAM
CPU: 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Betriebssystem: Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)
Treiber: AMD 7.0.0-27-generic
Modell: OpenReasoning-Nemotron-32B

Konfiguration

benchmark-konfiguration — run-20260723-045447-60e90e
# LLM-Benchmark Konfiguration # Modell : OpenReasoning-Nemotron-32B # Engine : llama.cpp # Run-ID : run-20260723-045447-60e90e # GPU : 3x AMD Radeon AI PRO R9700 # CPU : 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ llama-server \ -m bartowski/nvidia_OpenReasoning-Nemotron-32B-GGUF/Q4_K_M.gguf \ -ngl 999 \ -c 26624 \ --parallel 12 \ -a OpenReasoning-Nemotron-32B \ -sm layer \ --host 0.0.0.0 \ --port 8000
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.OpenReasoning-Nemotron-32B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.26624
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.bartowski/nvidia_OpenReasoning-Nemotron-32B-GGUF/Q4_K_M.gguf
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.999
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.26624
Parallel?Anzahl paralleler Slots/Sequenzen, die der Server gleichzeitig bedient. Der Kontext wird auf die Slots aufgeteilt.12
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.OpenReasoning-Nemotron-32B
Split-Mode?Verteilung ueber mehrere GPUs: none (nur eine GPU), layer (Layer aufteilen) oder row (Tensoren zeilenweise).layer

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

OpenReasoning-Nemotron-32B auf verschiedener Hardware

Alle veroeffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

83,462,541,720,80,001.2162.4313.647Prefill (tok/s)Generation (tok/s)AMD Radeon 8060S Graphics - 21,1 tok/s Generation, 516 tok/s Prefill, TTFT 24.111 ms (3 Laufe)AMD Radeon 8060S Grap...CPU-only - 1,1 tok/s Generation, 8 tok/s Prefill, TTFT 266.668 ms (1 Lauf)CPU-onlyAMD Radeon AI PRO R9700 - 64,3 tok/s Generation, 2.942 tok/s Prefill, TTFT 4.323 ms (3 Laufe) | DIESER LAUF★ AMD Radeon AI PRO R97...
★ AMD Radeon AI PRO R9700 64,3 tok/s dieser LaufAMD Radeon 8060S Graphics 21,1 tok/sCPU-only 1,1 tok/s

CPUnach Prozessor

83,462,541,720,80,001.2162.4313.647Prefill (tok/s)Generation (tok/s)AMD RYZEN AI MAX+ 395 w/ Radeon 8060S - 21,1 tok/s Generation, 516 tok/s Prefill, TTFT 24.111 ms (3 Laufe)AMD RYZEN AI MAX+ 395...Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz - 1,1 tok/s Generation, 8 tok/s Prefill, TTFT 266.668 ms (1 Lauf)Intel(R) Xeon(R) CPU ...AMD Ryzen Threadripper PRO 7955WX 16-Cores - 64,3 tok/s Generation, 2.942 tok/s Prefill, TTFT 4.323 ms (3 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 64,3 tok/s dieser LaufAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 21,1 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 1,1 tok/s

MBnach Mainboard

83,462,541,720,80,001.2162.4313.647Prefill (tok/s)Generation (tok/s)Meigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) - 21,1 tok/s Generation, 516 tok/s Prefill, TTFT 24.111 ms (3 Laufe)Meigao Innovation Tec...Dell Inc. PowerEdge R820 - 1,1 tok/s Generation, 8 tok/s Prefill, TTFT 266.668 ms (1 Lauf)Dell Inc. PowerEdge R...ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 64,3 tok/s Generation, 2.942 tok/s Prefill, TTFT 4.323 ms (3 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 64,3 tok/s dieser LaufMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 21,1 tok/sDell Inc. PowerEdge R820 1,1 tok/s

ENGnach Engine

70,767,564,361,157,91.3941.4541.5131.572Prefill (tok/s)Generation (tok/s)llama.cpp - 64,3 tok/s Generation, 1.483 tok/s Prefill, TTFT 50.282 ms (7 Laufe) | DIESER LAUF★ llama.cpp
★ llama.cpp 64,3 tok/s dieser Lauf

DRVnach Treiber

83,462,541,720,80,001.2162.4313.647Prefill (tok/s)Generation (tok/s)ROCm 7.2.0 - 21,1 tok/s Generation, 516 tok/s Prefill, TTFT 24.111 ms (3 Laufe)ROCm 7.2.0unbekannt - 1,1 tok/s Generation, 8 tok/s Prefill, TTFT 266.668 ms (1 Lauf)unbekanntAMD 7.0.0-27-generic - 64,3 tok/s Generation, 2.942 tok/s Prefill, TTFT 4.323 ms (3 Laufe) | DIESER LAUF★ AMD 7.0.0-27-generic
★ AMD 7.0.0-27-generic 64,3 tok/s dieser LaufROCm 7.2.0 21,1 tok/sunbekannt 1,1 tok/s
Beigesteuert von

Mario Alka Administrator

@marioalka

Gruender von godcore.de und Betreiber von llm-benchmark.de. Ich teste KI-Sprachmodelle auf echter Hardware, messe Tempo (Token/s) und Aufgaben-Qualitaet und teile die Ergebnisse offen und reproduzierbar.