Google
Gemma-4-26B-A4B-it
Harnessbenchmark · gemessen am 19.07.2026 22:55
Benchmark-ID
run-20260722-161612-4aa240Tool-Parcours Dossier 40 V1.0MoE26BRuntime: godclawQuantisierung: Q8_0
Punkte1.489,00von 5.960,00
Punktequote24,98%
Aufgaben bestanden22von 40
Gesamtdauer8.783,00s
Einordnung im Feld
25von 30 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 17 % aller vergleichbaren Systeme.
Punktequote
25 %
-54 % vs Ø 54,4
Aufgaben bestanden
22
+18 % vs Ø 18,6
Gesamtdauer
8.783,0 s
+267 % vs Ø 2.395,9
Verteilung im Feld10 – 91 %
Wie schlägt sich dieser Benchmark?
Gemma-4-26B-A4B-it gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-78ff78
74 %
MiniMax-M2.5-BF16-INT4-AWQNVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
Gemma-4-26B-A4B-it dieser LaufAMD GPU · run-20260722-161612-4aa240
25 %
Hardware
GPU: AMD GPU · 0 GB VRAM
CPU: 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
RAM: 31 GB
Setup
Runtime: godclaw
Quantisierung: Q8_0
Modell: Gemma-4-26B-A4B-it
Aufgaben (40)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Arbeitsstruktur anlegen | bestanden | 5 / 50 | 7.216,00 s |
| Startdatei schreiben | bestanden | 6 / 60 | 22,00 s |
| Datei zuruecklesen | bestanden | 11 / 50 | 13,00 s |
| CSV mit Testdaten | bestanden | 44 / 80 | 15,00 s |
| Struktur pruefen | fehlgeschlagen | 0 / 60 | 24,00 s |
| Recherche RAG | bestanden | 15 / 150 | 136,00 s |
| Recherche Hersteller | bestanden | 55 / 120 | 27,00 s |
| Recherche sichern | bestanden | 46 / 100 | 18,00 s |
| Webseite auswerten | bestanden | 85 / 140 | 26,00 s |
| Seite im Browser oeffnen | fehlgeschlagen | 0 / 180 | 14,00 s |
| Modellvergleich | bestanden | 44 / 200 | 65,00 s |
| Quellenliste | bestanden | 58 / 90 | 12,00 s |
| Wissenskategorien sichten | bestanden | 55 / 100 | 15,00 s |
| Wissenseintrag anlegen | fehlgeschlagen | 0 / 220 | 19,00 s |
| Wissenseintrag pruefen | fehlgeschlagen | 0 / 120 | 10,00 s |
| Wissenseintrag ergaenzen | fehlgeschlagen | 0 / 200 | 12,00 s |
| Versionen zaehlen | fehlgeschlagen | 0 / 140 | 10,00 s |
| Wissen durchsuchen | fehlgeschlagen | 0 / 130 | 10,00 s |
| Firma erfassen | bestanden | 18 / 180 | 320,00 s |
| Person verknuepfen | fehlgeschlagen | 0 / 220 | 54,00 s |
| Fakt hinterlegen | fehlgeschlagen | 0 / 160 | 56,00 s |
| Entitaet suchen | fehlgeschlagen | 0 / 140 | 12,00 s |
| Aufgabenliste anlegen | bestanden | 98 / 130 | 11,00 s |
| Aufgaben ergaenzen | bestanden | 127 / 170 | 17,00 s |
| Boards sichten | fehlgeschlagen | 0 / 120 | 9,00 s |
| Board-Aufgabe anlegen | fehlgeschlagen | 0 / 190 | 8,00 s |
| CSV nach JSON | fehlgeschlagen | 0 / 180 | 18,00 s |
| JSON validieren | fehlgeschlagen | 0 / 140 | 12,00 s |
| Defektes JSON reparieren | bestanden | 22 / 220 | 331,00 s |
| Pruefsummen | fehlgeschlagen | 0 / 160 | 22,00 s |
| Volltextsuche | fehlgeschlagen | 0 / 150 | 19,00 s |
| Archiv packen | bestanden | 134 / 170 | 14,00 s |
| Bestandsaufnahme | bestanden | 80 / 120 | 15,00 s |
| Titelbild erzeugen | fehlgeschlagen | 0 / 250 | 12,00 s |
| Bild pruefen | fehlgeschlagen | 0 / 130 | 43,00 s |
| Merken | bestanden | 108 / 150 | 14,00 s |
| Erinnern | bestanden | 98 / 120 | 8,00 s |
| Fachfrage delegieren | bestanden | 60 / 230 | 74,00 s |
| Gesamtbericht | bestanden | 161 / 240 | 33,00 s |
| Abschluss | bestanden | 159 / 200 | 17,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Gemma-4-26B-A4B-it
# Engine : llama.cpp
# Run-ID : run-20260722-161612-4aa240
# GPU : AMD GPU
# CPU : 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
# RAM : 31 GB
bench@llm-benchmark:~$ /home/godcore/llama.cpp/build-rocm/bin/llama-server \
--model /home/godcore/models/gemma4/gemma-4-26B-A4B-it-Q8_0.gguf \
--alias google/gemma-4-26B-A4B-it \
--host 0.0.0.0 \
--port 8000 \
--ctx-size 65536 \
--parallel 2 \
--gpu-layers 999 \
--flash-attn auto \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--reasoning off \
--jinja
| Engine | llamacpp |
| Modellalias | google/gemma-4-26B-A4B-it |
| Kontextlaenge | 65536 |
| Modellpfad | /home/godcore/models/gemma4/gemma-4-26B-A4B-it-Q8_0.gguf |
| Parallel | 2 |
| GPU-Layer | 999 |
| Flash Attention | auto |
| K-Cache-Typ | q8_0 |
| V-Cache-Typ | q8_0 |
| Reasoning | off |
| Jinja | aktiv |