Created bymario-alka.dePowered bynoob2claw.detricoma.de
HuggingFaceTB

SmolLM2-1.7B-Instruct1.7B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense1.7B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

Generation531,7 tok/s
Min 0,0Ø 245,7Max 3.484,3
Ueber dem Durchschnitt · 4971 Systeme im Feld
Prefill44.141 tok/s
Min 4Ø 4.892Max 112.346
Ueber dem Durchschnitt · 4953 Systeme im Feld
Time to First Token223 ms
Min 20Ø 31.420Max 535.235
Ueber dem Durchschnitt · 4968 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

6805103401700,0012.42924.85737.286Prefill (tok/s)Generation (tok/s)AMD Radeon RX 7900 XTX - 531,7 tok/s Generation, 30.326 tok/s Prefill, TTFT 600 ms (3 Laufe)AMD Radeon RX 7900 XTXCPU-only - 55,0 tok/s Generation, 1.770 tok/s Prefill, TTFT 91.364 ms (4 Laufe)CPU-only
AMD Radeon RX 7900 XTX 531,7 tok/sCPU-only 55,0 tok/s

CPUnach Prozessor

6915183451730,0012.53225.06537.597Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 3955WX 16-Cores - 531,7 tok/s Generation, 30.326 tok/s Prefill, TTFT 600 ms (3 Laufe)AMD Ryzen Threadrippe...Apple M6 (unified CPU/GPU SoC) - 55,0 tok/s Generation, 2.966 tok/s Prefill, TTFT 1.194 ms (1 Lauf)Apple M6 (unified CPU...Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) - 34,5 tok/s Generation, 4.031 tok/s Prefill, TTFT 886 ms (1 Lauf)Apple M6 (unified CPU...4 x Cortex-A78C + 4 x Cortex-A55 - 3,1 tok/s Generation, 41 tok/s Prefill, TTFT 181.689 ms (2 Laufe)4 x Cortex-A78C + 4 x...
AMD Ryzen Threadripper PRO 3955WX 16-Cores 531,7 tok/sApple M6 (unified CPU/GPU SoC) 55,0 tok/sApple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) 34,5 tok/s4 x Cortex-A78C + 4 x Cortex-A55 3,1 tok/s

ENGnach Engine

6915183451730,0012.53225.06537.597Prefill (tok/s)Generation (tok/s)vLLM - 531,7 tok/s Generation, 30.326 tok/s Prefill, TTFT 600 ms (3 Laufe)vLLMOllama - 55,0 tok/s Generation, 2.966 tok/s Prefill, TTFT 1.194 ms (1 Lauf)Ollamalmstudio-mlx - 34,5 tok/s Generation, 4.031 tok/s Prefill, TTFT 886 ms (1 Lauf)lmstudio-mlxllama.cpp - 3,1 tok/s Generation, 41 tok/s Prefill, TTFT 181.689 ms (2 Laufe)llama.cpp
vLLM 531,7 tok/sOllama 55,0 tok/slmstudio-mlx 34,5 tok/sllama.cpp 3,1 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
531,74 tok/s TG
Prefill 44.141 · TTFT 1.002 ms
10×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclaw
2SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
338,72 tok/s TG
Prefill 33.135 · TTFT 574 ms
5×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclaw
3SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
72,05 tok/s TG
Prefill 13.702 · TTFT 223 ms
1×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclaw
4SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
54,97 tok/s TG
Prefill 2.966 · TTFT 1.194 ms
1×Keine GPU (CPU-only)Apple M6 (unified CPU/GPU SoC) · 24 GB RAMOllamaopenclaw_cliQ8_0
5SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
34,49 tok/s TG
Prefill 4.031 · TTFT 886 ms
1×Keine GPU (CPU-only)Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) · 24 GB RAMlmstudio-mlxlmstudioMLX bf16
6SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
3,10 tok/s TG
Prefill 45 · TTFT 281.637 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
7SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
2,89 tok/s TG
Prefill 38 · TTFT 81.741 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.