Engines
Engine overview
How the models are run and tested – split into model servers (inference engines) and harness runtimes.
⚙️ Inference
Model servers (8)
Engines that serve the model – average throughput per server.
llama.cpp
245,2 tok/s Ø
3774 Läufe · 92 Modelle · Max 2.491,2
vLLM
267,3 tok/s Ø
914 Läufe · 72 Modelle · Max 2.263,7
strata
299,9 tok/s Ø
32 Läufe · 2 Modelle · Max 1.564,6
lmstudio-mlx
56,8 tok/s Ø
30 Läufe · 30 Modelle · Max 298,1
Ollama
56,4 tok/s Ø
30 Läufe · 27 Modelle · Max 256,3
tensorfold
781,4 tok/s Ø
22 Läufe · 3 Modelle · Max 3.484,3
colibri
0,0 tok/s Ø
3 Läufe · 1 Modelle · Max 0,0
llm
19,5 tok/s Ø
1 Läufe · 1 Modelle · Max 19,5
🚀 Harness
Harness runtimes (9)
Test runtimes for agent/chat benchmarks – average success rate.
GodClaw
56 % Ø
16 Läufe · 7 Modelle · Max 87%
OpenClaw CLI
53 % Ø
14 Läufe · 4 Modelle · Max 91%
vllm
73 % Ø
9 Läufe · 4 Modelle · Max 100%
deterministic310
68 % Ø
6 Läufe · 2 Modelle · Max 96%
deterministic210
79 % Ø
4 Läufe · 2 Modelle · Max 99%
officeagentic100
100 % Ø
2 Läufe · 2 Modelle · Max 100%
python
79 % Ø
2 Läufe · 1 Modelle · Max 100%
pytorch
81 % Ø
2 Läufe · 2 Modelle · Max 100%
BuzzwordTrain
100 % Ø
1 Läufe · 1 Modelle · Max 100%
🖥️ Operating systems
Operating systems (3)
These OS platforms the benchmarks were measured on – click for a landing page per operating system.

