Runtime: vLLM
Quantisierung: 4-Bit
Betriebssystem: Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)
Treiber: AMD 7.0.0-27-generic
Modell: gpt-oss-120b

Konfiguration

benchmark-konfiguration — run-20260722-165910-926970

# LLM-Benchmark Konfiguration # Modell : gpt-oss-120b # Engine : vLLM # Run-ID : run-20260722-165910-926970 # GPU : 3x AMD Radeon AI PRO R9700 # CPU : 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ /opt/python/bin/python /opt/python/bin/vllm serve openai/gpt-oss-120b \ --served-model-name gpt-oss-120b \ --tensor-parallel-size 1 \ --pipeline-parallel-size 3 \ --dtype auto \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --trust-remote-code \ --host 0.0.0.0 \ --port 8000

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	vllm
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	gpt-oss-120b
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	8192
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.	gpt-oss-120b
Tensor-Parallel?Anzahl GPUs, auf die JEDER einzelne Modell-Layer aufgeteilt wird (Tensor-Parallelitaet). Mehr GPUs = mehr VRAM und meist mehr Speed, aber die Anzahl der Attention-Heads muss durch diesen Wert teilbar sein (z.B. 32 Heads -> nur 1, 2, 4, 8 ... moeglich, NICHT 3).	1
Pipeline-Parallel?Anzahl GPUs, auf die die Modell-Layer der Reihe nach (als Pipeline) verteilt werden. Nutzt mehrere GPUs OHNE Teilbarkeits-Anforderung der Heads; erhoeht vor allem Kapazitaet und Durchsatz, die Latenz einer einzelnen Anfrage aber nicht zwingend.	3
Dtype?Zahlenformat der Modellgewichte bei der Berechnung (z.B. auto, float16, bfloat16). 'auto' waehlt automatisch das vom Modell empfohlene Format.	auto
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.	8192
GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'.	0.90
Trust-Remote-Code?Erlaubt vLLM, mit dem Modell mitgelieferten Python-Code auszufuehren. Noetig fuer Architekturen, die vLLM nicht von Haus aus kennt. Nur bei vertrauenswuerdigen Modellen aktivieren.	aktiv

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

gpt-oss-120b auf verschiedener Hardware

Alle veroeffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

★ AMD Radeon AI PRO R9700 241,4 tok/s dieser LaufNVIDIA GeForce RTX 5090 13,3 tok/sCPU-only 5,3 tok/s

CPUnach Prozessor

★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 241,4 tok/s dieser LaufAMD Ryzen 7 5800X3D 8-Core Processor 13,3 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 5,3 tok/s

MBnach Mainboard

★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 241,4 tok/s dieser Laufunbekannt 13,3 tok/sDell Inc. PowerEdge R820 5,3 tok/s

ENGnach Engine

unbekannt 241,4 tok/sllama.cpp 99,8 tok/s★ vLLM 21,5 tok/s dieser Lauf

DRVnach Treiber

★ AMD 7.0.0-27-generic 241,4 tok/s dieser LaufNVIDIA 580.159.03 / CUDA 13.0 13,3 tok/sunbekannt 5,3 tok/s