Created bymario-alka.dePowered bynoob2claw.detricoma.de
Mistral AI

Mamba-Codestral-7B-v0.17B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense7B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

Generation29,3 tok/s
Min 0,0Ø 28,7Max 298,1
Ueber dem Durchschnitt · 138 Systeme im Feld
Prefill327 tok/s
Min 4Ø 1.009Max 14.858
Unter dem Durchschnitt · 138 Systeme im Feld
Time to First Token8.424 ms
Min 175Ø 93.316Max 506.953
Ueber dem Durchschnitt · 138 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

32,230,729,327,826,3308321334347Prefill (tok/s)Generation (tok/s)CPU-only - 29,3 tok/s Generation, 327 tok/s Prefill, TTFT 8.424 ms (1 Lauf)CPU-only
CPU-only 29,3 tok/s

CPUnach Prozessor

32,230,729,327,826,3308321334347Prefill (tok/s)Generation (tok/s)Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) - 29,3 tok/s Generation, 327 tok/s Prefill, TTFT 8.424 ms (1 Lauf)Apple M6 (unified CPU...
Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) 29,3 tok/s

ENGnach Engine

32,230,729,327,826,3308321334347Prefill (tok/s)Generation (tok/s)lmstudio-mlx - 29,3 tok/s Generation, 327 tok/s Prefill, TTFT 8.424 ms (1 Lauf)lmstudio-mlx
lmstudio-mlx 29,3 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Mamba-Codestral-7B-v0.17BMistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
29,25 tok/s TG
Prefill 327 · TTFT 8.424 ms
1×Keine GPU (CPU-only)Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) · 24 GB RAMlmstudio-mlxlmstudioMLX 4bit
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.