Created bymario-alka.dePowered bynoob2claw.detricoma.de
Qwen (Alibaba)

Qwen2.5-0.5B-Instruct0.5B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense0.5B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

Generation298,1 tok/s
Min 0,0Ø 245,7Max 3.484,3
Ueber dem Durchschnitt · 4971 Systeme im Feld
Prefill14.858 tok/s
Min 4Ø 4.892Max 112.346
Ueber dem Durchschnitt · 4953 Systeme im Feld
Time to First Token175 ms
Min 20Ø 31.420Max 535.235
Ueber dem Durchschnitt · 4968 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

3283132982832684.7975.0015.2055.409Prefill (tok/s)Generation (tok/s)CPU-only - 298,1 tok/s Generation, 5.103 tok/s Prefill, TTFT 62.395 ms (5 Laufe)CPU-only
CPU-only 298,1 tok/s

CPUnach Prozessor

38428819295,90,006.13312.26718.400Prefill (tok/s)Generation (tok/s)Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) - 298,1 tok/s Generation, 14.858 tok/s Prefill, TTFT 175 ms (1 Lauf)Apple M6 (unified CPU...Apple M6 (unified CPU/GPU SoC) - 256,3 tok/s Generation, 10.267 tok/s Prefill, TTFT 249 ms (1 Lauf)Apple M6 (unified CPU...4 x Cortex-A78C + 4 x Cortex-A55 - 19,6 tok/s Generation, 130 tok/s Prefill, TTFT 103.850 ms (3 Laufe)4 x Cortex-A78C + 4 x...
Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) 298,1 tok/sApple M6 (unified CPU/GPU SoC) 256,3 tok/s4 x Cortex-A78C + 4 x Cortex-A55 19,6 tok/s

ENGnach Engine

38428819295,90,006.13312.26718.400Prefill (tok/s)Generation (tok/s)lmstudio-mlx - 298,1 tok/s Generation, 14.858 tok/s Prefill, TTFT 175 ms (1 Lauf)lmstudio-mlxOllama - 256,3 tok/s Generation, 10.267 tok/s Prefill, TTFT 249 ms (1 Lauf)Ollamallama.cpp - 19,6 tok/s Generation, 130 tok/s Prefill, TTFT 103.850 ms (3 Laufe)llama.cpp
lmstudio-mlx 298,1 tok/sOllama 256,3 tok/sllama.cpp 19,6 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Qwen2.5-0.5B-Instruct0.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
298,13 tok/s TG
Prefill 14.858 · TTFT 175 ms
1×Keine GPU (CPU-only)Apple M6 (unified CPU/GPU SoC, ARM64, AdvSIMD) · 24 GB RAMlmstudio-mlxlmstudioMLX 4bit
2Qwen2.5-0.5B-Instruct0.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
256,25 tok/s TG
Prefill 10.267 · TTFT 249 ms
1×Keine GPU (CPU-only)Apple M6 (unified CPU/GPU SoC) · 24 GB RAMOllamaopenclaw_cliQ4_K_M
3Qwen2.5-0.5B-Instruct0.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
19,64 tok/s TG
Prefill 135 · TTFT 103.828 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
4Qwen2.5-0.5B-Instruct0.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
19,33 tok/s TG
Prefill 171 · TTFT 178.576 ms
10×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
5Qwen2.5-0.5B-Instruct0.5BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
11,74 tok/s TG
Prefill 85 · TTFT 29.146 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.