🎮
Grafikkarte
NVIDIA GeForce RTX 5090
NVIDIA32 GB VRAM
Beste Generation
1.295,3 tok/s
gpt-oss-20b
∅ Generation
459,2 tok/s
Schnitt aus 17 Läufen
Bester Prefill
37.116 tok/s
Prompt-Verarbeitung
Bester TTFT
272 ms
Time to First Token
Beste Harness-Quote
–%
noch kein Harness
🏆
gpt-oss-20b läuft am schnellsten auf dieser GPU · 1.295,3 tok/s
Bester Prefill: 37.116 tok/s · 7 Modelle getestet
Bester Prefill: 37.116 tok/s · 7 Modelle getestet
Top-Modelle
Bester gemessener Durchsatz je Modell auf NVIDIA GeForce RTX 5090 – umschaltbar nach Generation, Prefill oder Kombiwert.
Performanceprofil
Durchsatz auf NVIDIA GeForce RTX 5090
Jede Blase steht für ein Modell, eine Engine bzw. eine CPU – Position: Prompt-Verarbeitung (X) × Ausgabe (Y), Blasengröße: Anzahl Messläufe.
MODnach Modell
gpt-oss-20b 1.295,3 tok/sQwen3-Coder-30B-A3B-Instruct 966,2 tok/sQwen3-30B-A3B-Instruct-2507 909,3 tok/sQwen3-30B-A3B-Thinking-2507 873,7 tok/sgpt-oss-120b 13,3 tok/sGLM-4.5-Air 6,2 tok/sMistral-Small-4-119B-2603 5,8 tok/s
ENGnach Engine
vLLM 1.295,3 tok/s
CPUnach Prozessor
AMD Ryzen 7 5800X3D 8-Core Processor 1.295,3 tok/s
Durchsatz & Latenz
Im Leaderboard →Performancebenchmark
17 veroeffentlichte Performance-Läufe auf NVIDIA GeForce RTX 5090.
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 1.295,30 tok/s TG Prefill 25.462 · TTFT 808 ms | 10× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 2 | Qwen3-Coder-30B-A3B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 966,21 tok/s TG Prefill 33.768 · TTFT 1.793 ms | 10× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 3 | Qwen3-30B-A3B-Instruct-2507Qwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 909,25 tok/s TG Prefill 37.116 · TTFT 1.783 ms | 10× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 4 | Qwen3-30B-A3B-Thinking-2507Qwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 873,72 tok/s TG Prefill 33.023 · TTFT 1.835 ms | 10× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 5 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 784,45 tok/s TG Prefill 17.724 · TTFT 560 ms | 5× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 6 | Qwen3-Coder-30B-A3B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 688,61 tok/s TG Prefill 16.192 · TTFT 873 ms | 5× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 7 | Qwen3-30B-A3B-Instruct-2507Qwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 655,83 tok/s TG Prefill 17.990 · TTFT 931 ms | 5× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 8 | Qwen3-30B-A3B-Thinking-2507Qwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 633,41 tok/s TG Prefill 20.292 · TTFT 767 ms | 5× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 9 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 267,04 tok/s TG Prefill 7.273 · TTFT 272 ms | 1× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 10 | Qwen3-Coder-30B-A3B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 243,00 tok/s TG Prefill 4.297 · TTFT 765 ms | 1× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 11 | Qwen3-30B-A3B-Instruct-2507Qwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 232,79 tok/s TG Prefill 8.323 · TTFT 311 ms | 1× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 12 | Qwen3-30B-A3B-Thinking-2507Qwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 221,28 tok/s TG Prefill 8.379 · TTFT 300 ms | 1× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 13 | gpt-oss-120bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 13,32 tok/s TG Prefill 405 · TTFT 26.375 ms | 5× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cli | Details → | |
| 14 | gpt-oss-120bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 6,46 tok/s TG Prefill 333 · TTFT 6.064 ms | 1× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cli | Details → | |
| 15 | GLM-4.5-AirZ.ai (Zhipu) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 6,20 tok/s TG Prefill 382 · TTFT 35.625 ms | 5× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 16 | Mistral-Small-4-119B-2603Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 5,77 tok/s TG Prefill 325 · TTFT 5.900 ms | 1× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → | |
| 17 | GLM-4.5-AirZ.ai (Zhipu) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 3,34 tok/s TG Prefill 182 · TTFT 11.740 ms | 1× | NVIDIA GeForce RTX 509016x AMD Ryzen 7 5800X3D 8-Core Processor · 126 GB RAM | vLLMcodex_cliAWQ | Details → |
Agent- & Chat-Bewertung
Im Leaderboard →Harnessbenchmark
0 veroeffentlichte Harness-Läufe auf NVIDIA GeForce RTX 5090.
Noch keine Harnessbenchmarks auf dieser Hardware.