Created bymario-alka.dePowered bynoob2claw.detricoma.de
Qwen (Alibaba)

Qwen2.5-1.5B-Instruct1.5B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense1.5B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

Generation126,7 tok/s
Min 0,0Ø 245,7Max 3.484,3
Unter dem Durchschnitt · 4971 Systeme im Feld
Prefill5.137 tok/s
Min 4Ø 4.892Max 112.346
Ueber dem Durchschnitt · 4953 Systeme im Feld
Time to First Token507 ms
Min 20Ø 31.420Max 535.235
Ueber dem Durchschnitt · 4968 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

1391331271201141.6721.7431.8151.886Prefill (tok/s)Generation (tok/s)CPU-only - 126,7 tok/s Generation, 1.779 tok/s Prefill, TTFT 110.051 ms (5 Laufe)CPU-only
CPU-only 126,7 tok/s

CPUnach Prozessor

16312281,440,70,002.1194.2386.358Prefill (tok/s)Generation (tok/s)Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) - 126,7 tok/s Generation, 5.137 tok/s Prefill, TTFT 507 ms (1 Lauf)Apple M6 (unified CPU...Apple M6 (unified CPU/GPU SoC) - 113,3 tok/s Generation, 3.554 tok/s Prefill, TTFT 706 ms (1 Lauf)Apple M6 (unified CPU...4 x Cortex-A78C + 4 x Cortex-A55 - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)4 x Cortex-A78C + 4 x...
Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) 126,7 tok/sApple M6 (unified CPU/GPU SoC) 113,3 tok/s4 x Cortex-A78C + 4 x Cortex-A55 9,1 tok/s

ENGnach Engine

16312281,440,70,002.1194.2386.358Prefill (tok/s)Generation (tok/s)lmstudio-mlx - 126,7 tok/s Generation, 5.137 tok/s Prefill, TTFT 507 ms (1 Lauf)lmstudio-mlxOllama - 113,3 tok/s Generation, 3.554 tok/s Prefill, TTFT 706 ms (1 Lauf)Ollamallama.cpp - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)llama.cpp
lmstudio-mlx 126,7 tok/sOllama 113,3 tok/sllama.cpp 9,1 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Qwen2.5-1.5B-Instruct1.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
126,71 tok/s TG
Prefill 5.137 · TTFT 507 ms
1×Keine GPU (CPU-only)Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) · 24 GB RAMlmstudio-mlxlmstudioMLX 4bit
2Qwen2.5-1.5B-Instruct1.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
113,29 tok/s TG
Prefill 3.554 · TTFT 706 ms
1×Keine GPU (CPU-only)Apple M6 (unified CPU/GPU SoC) · 24 GB RAMOllamaopenclaw_cliQ4_K_M
3Qwen2.5-1.5B-Instruct1.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
9,14 tok/s TG
Prefill 67 · TTFT 194.902 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
4Qwen2.5-1.5B-Instruct1.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
4,93 tok/s TG
Prefill 47 · TTFT 52.732 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
5Qwen2.5-1.5B-Instruct1.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
4,11 tok/s TG
Prefill 91 · TTFT 301.409 ms
10×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.