⚠

Konfigurations-Hinweis: Es sind 3 Grafikkarten installiert, aber nur 2 wurden fuer diesen Lauf genutzt (tensor-parallel-size=2). Mit allen 3 GPUs koennte der Durchsatz deutlich hoeher liegen.

Generation52,72tok/s

Prefill4.993,45tok/s

Time to First Token873,50ms

Gesamtdauer38,02s

Concurrency1parallel

Einordnung im Feld

143von 320 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 55 % aller vergleichbaren Systeme.

Generation 52,7 tok/s

-41 % vs Ø 89,4

Prefill 4.993,5 tok/s

+57 % vs Ø 3.182,6

Time to First Token 874 ms

-96 % vs Ø 21.684

Verteilung im Feld0 – 1.295 tok/s

Ø 89 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

gpt-oss-20b gleiches ModellNVIDIA GeForce RTX 5090 · run-20260723-045447-edeed3

1.295,3 tok/s

Qwen3-Coder-30B-A3B-InstructNVIDIA GeForce RTX 5090 · run-20260723-045450-366dae

966,2 tok/s

Qwen3-30B-A3B-Instruct-2507NVIDIA GeForce RTX 5090 · run-20260723-045450-e8df4d

909,3 tok/s

Qwen3-30B-A3B-Thinking-2507NVIDIA GeForce RTX 5090 · run-20260723-045450-14f178

873,7 tok/s

gpt-oss-20b gleiches ModellNVIDIA GeForce RTX 3090 Ti · run-20260723-174504-2e256e

796,8 tok/s

gpt-oss-20b gleiches ModellNVIDIA GeForce RTX 5090 · run-20260723-045447-5656a1

784,5 tok/s

Qwen3-Coder-30B-A3B-InstructNVIDIA GeForce RTX 5090 · run-20260723-045450-4162ec

688,6 tok/s

Qwen3-30B-A3B-Instruct-2507NVIDIA GeForce RTX 5090 · run-20260723-045448-81246f

655,8 tok/s

Qwen3-30B-A3B-Thinking-2507NVIDIA GeForce RTX 5090 · run-20260723-045450-1d48c8

633,4 tok/s

gpt-oss-20b gleiches ModellNVIDIA GeForce RTX 3090 Ti · run-20260723-174504-012271

483,7 tok/s

gpt-oss-20b gleiches Modell3× AMD Radeon AI PRO R9700 · run-20260723-023425-4d6891

340,5 tok/s

gpt-oss-20b gleiches Modell3× AMD Radeon AI PRO R9700 · run-20260723-023425-189e09

331,7 tok/s

North-Mini-Code-1.03× AMD Radeon AI PRO R9700 · run-20260723-023427-9af096

279,0 tok/s

NVIDIA-Nemotron-3-Nano-30B-A3B3× AMD Radeon AI PRO R9700 · run-20260723-031252-92db54

274,0 tok/s

gpt-oss-20b dieser Lauf3× AMD Radeon AI PRO R9700 · run-20260722-165910-4a721c

52,7 tok/s

Hardware

GPU: 3x AMD Radeon AI PRO R9700 · 32 GB VRAM
CPU: 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE

Setup

Runtime: vLLM
Quantisierung: 4-Bit
Betriebssystem: Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)
Treiber: AMD 7.0.0-27-generic
Modell: gpt-oss-20b

Konfiguration

benchmark-konfiguration — run-20260722-165910-4a721c

# LLM-Benchmark Konfiguration # Modell : gpt-oss-20b # Engine : vLLM # Run-ID : run-20260722-165910-4a721c # GPU : 3x AMD Radeon AI PRO R9700 # CPU : 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ /opt/python/bin/python /opt/python/bin/vllm serve openai/gpt-oss-20b \ --served-model-name gpt-oss-20b \ --tensor-parallel-size 2 \ --dtype auto \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --trust-remote-code \ --host 0.0.0.0 \ --port 8000

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	vllm
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	gpt-oss-20b
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	8192
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.	gpt-oss-20b
Tensor-Parallel?Anzahl GPUs, auf die JEDER einzelne Modell-Layer aufgeteilt wird (Tensor-Parallelitaet). Mehr GPUs = mehr VRAM und meist mehr Speed, aber die Anzahl der Attention-Heads muss durch diesen Wert teilbar sein (z.B. 32 Heads -> nur 1, 2, 4, 8 ... moeglich, NICHT 3).	2
Dtype?Zahlenformat der Modellgewichte bei der Berechnung (z.B. auto, float16, bfloat16). 'auto' waehlt automatisch das vom Modell empfohlene Format.	auto
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.	8192
GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'.	0.90
Trust-Remote-Code?Erlaubt vLLM, mit dem Modell mitgelieferten Python-Code auszufuehren. Noetig fuer Architekturen, die vLLM nicht von Haus aus kennt. Nur bei vertrauenswuerdigen Modellen aktivieren.	aktiv

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

gpt-oss-20b auf verschiedener Hardware

Alle veroeffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

NVIDIA GeForce RTX 5090 1.295,3 tok/sNVIDIA GeForce RTX 3090 Ti 796,8 tok/s★ AMD Radeon AI PRO R9700 340,5 tok/s dieser LaufAMD Radeon 8060S Graphics 173,3 tok/sCPU-only 14,5 tok/s

CPUnach Prozessor

AMD Ryzen 7 5800X3D 8-Core Processor 1.295,3 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 796,8 tok/s★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 340,5 tok/s dieser LaufAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 173,3 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 14,5 tok/s

MBnach Mainboard

unbekannt 1.295,3 tok/s★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 340,5 tok/s dieser LaufMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 173,3 tok/sDell Inc. PowerEdge R820 14,5 tok/s

ENGnach Engine

★ vLLM 1.295,3 tok/s dieser Laufunbekannt 176,2 tok/sllama.cpp 147,8 tok/s

DRVnach Treiber

NVIDIA 580.159.03 / CUDA 13.0 1.295,3 tok/sunbekannt 796,8 tok/s★ AMD 7.0.0-27-generic 340,5 tok/s dieser LaufROCm 7.2.0 173,3 tok/s