Poolside
Laguna-XS-2.1-INT4
Benchmarkprofil und veroeffentlichte Ergebnisse.
Einordnung im Feld
Bestwerte im Vergleich
Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veroeffentlichten Systeme.
Generation154,3 tok/s
Min 0,0Ø 89,4Max 1.295,3
Ueber dem Durchschnitt · 319 Systeme im Feld
Prefill10.264 tok/s
Min 6Ø 3.183Max 37.116
Ueber dem Durchschnitt · 318 Systeme im Feld
Time to First Token748 ms
Min 91Ø 21.684Max 299.591
Ueber dem Durchschnitt · 320 Systeme im Feld
Performanceprofil
Durchsatz nach Hardware & Engine
Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.
GPUnach Grafikkarte
AMD Radeon AI PRO R9700 154,3 tok/s
CPUnach Prozessor
AMD Ryzen Threadripper PRO 7955WX 16-Cores 154,3 tok/s
ENGnach Engine
llama.cpp 154,3 tok/svLLM 26,9 tok/s
Agent- & Chat-Bewertung
Harnessbenchmark
Noch keine Harnessbenchmarks fuer dieses Modell.
Durchsatz & Latenz
Performancebenchmark
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Laguna-XS-2.1-INT4Poolside PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 154,26 tok/s TG Prefill 10.264 · TTFT 3.946 ms | 10× | 3x AMD Radeon AI PRO R970032x AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawINT4 | Details → | |
| 2 | Laguna-XS-2.1-INT4Poolside PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 88,90 tok/s TG Prefill 7.618 · TTFT 2.214 ms | 5× | 3x AMD Radeon AI PRO R970032x AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawINT4 | Details → | |
| 3 | Laguna-XS-2.1-INT4Poolside PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 26,88 tok/s TG Prefill 3.698 · TTFT 748 ms | 1× | 3x AMD Radeon AI PRO R970032x AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | vLLMgodclawINT4 | Details → |