Created bymario-alka.dePowered bynoob2claw.detricoma.de
Beigesteuert vonMario AlkaMiniMax

minimax-m2.5-awq

Performancebenchmark · gemessen am 09.08.2026 18:37

Benchmark-IDrun-20260809-184033-b07127
Timebench 3 - Kombi (Prefill + Generation)MoE230BRuntime: llama.cpp batched-bench
ℹ
Öffentliche Anmerkung: llama-batched-bench, 4x AMD R9700, npl=10 (pp512/tg128), ngl=52 (~10 Layer CPU-Offload, 128 GB > 124 GB VRAM)
Generation66,09tok/s
Prefill468,92tok/s
Time to First Token0,00ms
Gesamtdauer0,00s
Concurrency10parallel
Einordnung im Feld
166von 238 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 10× parallel

Dieser Lauf ist besser als 30 % aller vergleichbaren Systeme.
Generation 66,1 tok/s
-53 % vs Ø 142,1
Prefill 468,9 tok/s
-84 % vs Ø 2.866,7
Time to First Token 0 ms
-100 % vs Ø 99.391
Verteilung im Feld0 – 667 tok/s
Ø 142 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 10× parallel · Generation (tok/s)

Hardware

GPU: 4x AMD Radeon AI PRO R9700 · 32 GB VRAM
CPU: AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE

Setup

Runtime: llama.cpp batched-bench
Quantisierung: -
Modell: minimax-m2.5-awq

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Videoreihe und Benchmarkauswertung zur AMD R9700
Modell-Vergleich

minimax-m2.5-awq auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

12510484,163,943,602.0014.0036.004Prefill (tok/s)Generation (tok/s)NVIDIA DGX SPARK (GB10) - 105,6 tok/s Generation, 4.881 tok/s Prefill, TTFT 3.013 ms (3 Laufe)NVIDIA DGX SPARK (GB1...NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition - 62,7 tok/s Generation, 368 tok/s Prefill, TTFT 144 ms (2 Laufe)NVIDIA RTX PRO 6000 B...AMD Radeon AI PRO R9700 - 66,1 tok/s Generation, 270 tok/s Prefill, TTFT 21.132 ms (5 Laufe) | DIESER LAUF★ AMD Radeon AI PRO R97...
NVIDIA DGX SPARK (GB10) 105,6 tok/s★ AMD Radeon AI PRO R9700 66,1 tok/s dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 62,7 tok/s

CPUnach Prozessor

12510484,163,943,602.0014.0036.004Prefill (tok/s)Generation (tok/s)NVIDIA Grace - 105,6 tok/s Generation, 4.881 tok/s Prefill, TTFT 3.013 ms (3 Laufe)NVIDIA GraceAMD Ryzen Threadripper PRO 9965WX 24-Cores - 62,7 tok/s Generation, 368 tok/s Prefill, TTFT 144 ms (2 Laufe)AMD Ryzen Threadrippe...AMD Ryzen Threadripper PRO 7955WX 16-Cores - 66,1 tok/s Generation, 270 tok/s Prefill, TTFT 21.132 ms (5 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
NVIDIA Grace 105,6 tok/s★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 66,1 tok/s dieser LaufAMD Ryzen Threadripper PRO 9965WX 24-Cores 62,7 tok/s

MBnach Mainboard

12510484,163,943,602.0004.0016.001Prefill (tok/s)Generation (tok/s)ASUSTeK COMPUTER INC. GX10 - 105,6 tok/s Generation, 4.881 tok/s Prefill, TTFT 3.013 ms (3 Laufe)ASUSTeK COMPUTER INC....unbekannt - 62,7 tok/s Generation, 368 tok/s Prefill, TTFT 144 ms (1 Lauf)unbekanntASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 66,1 tok/s Generation, 286 tok/s Prefill, TTFT 16.934 ms (6 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
ASUSTeK COMPUTER INC. GX10 105,6 tok/s★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 66,1 tok/s dieser Laufunbekannt 62,7 tok/s

ENGnach Engine

12510484,163,943,601.0642.1273.191Prefill (tok/s)Generation (tok/s)vLLM - 105,6 tok/s Generation, 2.609 tok/s Prefill, TTFT 8.503 ms (6 Laufe)vLLMunbekannt - 62,7 tok/s Generation, 244 tok/s Prefill, TTFT 10.745 ms (2 Laufe)unbekanntllama.cpp - 66,1 tok/s Generation, 294 tok/s Prefill, TTFT 21.346 ms (2 Laufe) | DIESER LAUF★ llama.cpp
vLLM 105,6 tok/s★ llama.cpp 66,1 tok/s dieser Laufunbekannt 62,7 tok/s

DRVnach Treiber

13610268,034,00,002.0104.0216.031Prefill (tok/s)Generation (tok/s)NVIDIA 590.48.01 / CUDA 13.1 - 105,6 tok/s Generation, 4.881 tok/s Prefill, TTFT 3.013 ms (3 Laufe)NVIDIA 590.48.01 / CU...unbekannt - 66,1 tok/s Generation, 320 tok/s Prefill, TTFT 15.831 ms (5 Laufe)unbekanntNVIDIA 580.159.04 / CUDA 13.0 - 62,7 tok/s Generation, 368 tok/s Prefill, TTFT 144 ms (1 Lauf)NVIDIA 580.159.04 / C...AMD 7.0.0-27-generic - 6,5 tok/s Generation, 119 tok/s Prefill, TTFT 21.346 ms (1 Lauf)AMD 7.0.0-27-generic
NVIDIA 590.48.01 / CUDA 13.1 105,6 tok/sunbekannt 66,1 tok/sNVIDIA 580.159.04 / CUDA 13.0 62,7 tok/sAMD 7.0.0-27-generic 6,5 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (10× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🖥️ Anschaffung EUR
🔌 Idle 85 W
⚡ TDP 371 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)371 W geschätzt (TDP)GPU 300 + CPU 46 + Board 25 W Volllast
Ø-Kosten / Stunde0,11 EUR
Strom / 1 Mio. Token0,47 EUR
Token / kWh641,30 Tsd.
Anschaffung (System)6.824 EUR VollpreisGPU 1.400 EUR · CPU 1.399 EUR · Board 1.299 EUR · RAM 2.576 EUR · Netzteil 150 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)8.774 EUR
Output-Token (2 Jahre)4,17 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (85 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

minimax-m2.5-awqAMD Radeon AI PRO R9700minimax-m2.5-awqNVIDIA DGX SPARK (GB10)
Kosten Strom (24 Mon.)––
Kosten Anschaffung––
Kosten Gesamt (TCO)––
Generierte Token (24 Mon.)––
Tokenpreis bei API––
Break-Even-Point (Tage)––
Ergebnis (Ersparnis / Ausgabe)––

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.