Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Beta
Mistral AI

Mistral-Small-3.1-24B-Instruct-2503

Performancebenchmark · gemessen am 21.07.2026 10:20

Benchmark-IDrun-20260722-165906-864e51
Timebench 3 - Kombi (Prefill + Generation)Dense24BRuntime: llama.cppQuantisierung: Q4_K_M
Generation28,76tok/s
Prefill1.407,47tok/s
Time to First Token1.945,00ms
Gesamtdauer75,27s
Concurrency1parallel
Einordnung im Feld
205von 320 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 36 % aller vergleichbaren Systeme.
Generation 28,8 tok/s
-68 % vs Ø 89,4
Prefill 1.407,5 tok/s
-56 % vs Ø 3.182,6
Time to First Token 1.945 ms
-91 % vs Ø 21.684
Verteilung im Feld0 – 1.295 tok/s
Ø 89 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

Hardware

GPU: 3x AMD Radeon AI PRO R9700 · 32 GB VRAM
CPU: 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Betriebssystem: Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)
Treiber: AMD 7.0.0-27-generic
Modell: Mistral-Small-3.1-24B-Instruct-2503

Konfiguration

benchmark-konfiguration — run-20260722-165906-864e51
# LLM-Benchmark Konfiguration # Modell : Mistral-Small-3.1-24B-Instruct-2503 # Engine : llama.cpp # Run-ID : run-20260722-165906-864e51 # GPU : 3x AMD Radeon AI PRO R9700 # CPU : 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ /src/build/bin/llama-server \ -m /root/.cache/huggingface/hub/models--bartowski--mistralai_Mistral-Small-3.1-24B-Instruct-2503-GGUF/snapshots/f73dfd9e812922fb503a993e3fa5671424f486d3/mistralai_Mistral-Small-3.1-24B-Instruct-2503-Q4_K_M.gguf \ -a Mistral-Small-3.1-24B-Instruct-2503 \ -ngl 999 \ --split-mode none \ --host 0.0.0.0 \ --port 8000 \ -c 8192 \ --no-webui
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.Mistral-Small-3.1-24B-Instruct-2503
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.8192
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird./root/.cache/huggingface/hub/models--bartowski--mistralai_Mistral-Small-3.1-24B-Instruct-2503-GGUF/snapshots/f73dfd9e812922fb503a993e3fa5671424f486d3/mistralai_Mistral-Small-3.1-24B-Instruct-2503-Q4_K_M.gguf
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.Mistral-Small-3.1-24B-Instruct-2503
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.999
Split-Mode?Verteilung ueber mehrere GPUs: none (nur eine GPU), layer (Layer aufteilen) oder row (Tensoren zeilenweise).none
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.8192
Web-UI aus?Deaktiviert die eingebaute Web-Oberflaeche; nur die OpenAI-kompatible API bleibt erreichbar.aktiv

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

Mistral-Small-3.1-24B-Instruct-2503 auf verschiedener Hardware

Alle veroeffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

89,571,052,433,915,42881.3722.4563.540Prefill (tok/s)Generation (tok/s)AMD Radeon 8060S Graphics - 31,3 tok/s Generation, 850 tok/s Prefill, TTFT 15.965 ms (3 Laufe)AMD Radeon 8060S Grap...AMD Radeon AI PRO R9700 - 73,6 tok/s Generation, 2.978 tok/s Prefill, TTFT 2.248 ms (11 Laufe) | DIESER LAUF★ AMD Radeon AI PRO R97...
★ AMD Radeon AI PRO R9700 73,6 tok/s dieser LaufAMD Radeon 8060S Graphics 31,3 tok/s

CPUnach Prozessor

89,571,052,433,915,42881.3722.4563.540Prefill (tok/s)Generation (tok/s)AMD RYZEN AI MAX+ 395 w/ Radeon 8060S - 31,3 tok/s Generation, 850 tok/s Prefill, TTFT 15.965 ms (3 Laufe)AMD RYZEN AI MAX+ 395...AMD Ryzen Threadripper PRO 7955WX 16-Cores - 73,6 tok/s Generation, 2.978 tok/s Prefill, TTFT 2.248 ms (11 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 73,6 tok/s dieser LaufAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 31,3 tok/s

MBnach Mainboard

89,571,052,433,915,42881.3722.4563.540Prefill (tok/s)Generation (tok/s)Meigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) - 31,3 tok/s Generation, 850 tok/s Prefill, TTFT 15.965 ms (3 Laufe)Meigao Innovation Tec...ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 73,6 tok/s Generation, 2.978 tok/s Prefill, TTFT 2.248 ms (11 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 73,6 tok/s dieser LaufMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 31,3 tok/s

ENGnach Engine

92,769,546,423,20,04662.4394.4126.384Prefill (tok/s)Generation (tok/s)unbekannt - 73,6 tok/s Generation, 2.441 tok/s Prefill, TTFT 6.156 ms (3 Laufe)unbekanntvLLM - 15,0 tok/s Generation, 5.364 tok/s Prefill, TTFT 522 ms (3 Laufe)vLLMllama.cpp - 33,5 tok/s Generation, 1.486 tok/s Prefill, TTFT 6.573 ms (8 Laufe) | DIESER LAUF★ llama.cpp
unbekannt 73,6 tok/s★ llama.cpp 33,5 tok/s dieser LaufvLLM 15,0 tok/s

DRVnach Treiber

89,571,052,433,915,42881.3722.4563.540Prefill (tok/s)Generation (tok/s)ROCm 7.2.0 - 31,3 tok/s Generation, 850 tok/s Prefill, TTFT 15.965 ms (3 Laufe)ROCm 7.2.0AMD 7.0.0-27-generic - 73,6 tok/s Generation, 2.978 tok/s Prefill, TTFT 2.248 ms (11 Laufe) | DIESER LAUF★ AMD 7.0.0-27-generic
★ AMD 7.0.0-27-generic 73,6 tok/s dieser LaufROCm 7.2.0 31,3 tok/s