Qwen (Alibaba)
Qwen3.6-27B
Harnessbenchmark · gemessen am 19.07.2026 23:13
Benchmark-ID
run-20260722-161612-b91648Tool-Parcours Dossier 40 V1.0Dense27BRuntime: godclaw
Punkte2.267,00von 5.960,00
Punktequote38,04%
Aufgaben bestanden38von 40
Gesamtdauer10.331,00s
Einordnung im Feld
22von 30 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 28 % aller vergleichbaren Systeme.
Punktequote
38 %
-30 % vs Ø 54,4
Aufgaben bestanden
38
+104 % vs Ø 18,6
Gesamtdauer
10.331,0 s
+331 % vs Ø 2.395,9
Verteilung im Feld10 – 91 %
Wie schlägt sich dieser Benchmark?
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-78ff78
74 %
MiniMax-M2.5-BF16-INT4-AWQNVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
Qwen3.6-27B dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161612-b91648
38 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: 32x AMD Ryzen 9 9950X 16-Core Processor
RAM: 92 GB
Setup
Runtime: godclaw
Quantisierung: -
Treiber: NVIDIA 580.159.03 / CUDA 13.0
Modell: Qwen3.6-27B
Aufgaben (40)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Arbeitsstruktur anlegen | bestanden | 5 / 50 | 7.222,00 s |
| Startdatei schreiben | bestanden | 6 / 60 | 41,00 s |
| Datei zuruecklesen | fehlgeschlagen | 0 / 50 | 1.452,00 s |
| CSV mit Testdaten | bestanden | 13 / 80 | 28,00 s |
| Struktur pruefen | bestanden | 6 / 60 | 20,00 s |
| Recherche RAG | bestanden | 96 / 150 | 24,00 s |
| Recherche Hersteller | bestanden | 72 / 120 | 20,00 s |
| Recherche sichern | bestanden | 25 / 100 | 25,00 s |
| Webseite auswerten | bestanden | 14 / 140 | 96,00 s |
| Seite im Browser oeffnen | bestanden | 25 / 180 | 86,00 s |
| Modellvergleich | bestanden | 78 / 200 | 51,00 s |
| Quellenliste | bestanden | 17 / 90 | 27,00 s |
| Wissenskategorien sichten | bestanden | 52 / 100 | 16,00 s |
| Wissenseintrag anlegen | bestanden | 114 / 220 | 40,00 s |
| Wissenseintrag pruefen | bestanden | 53 / 120 | 25,00 s |
| Wissenseintrag ergaenzen | bestanden | 80 / 200 | 40,00 s |
| Versionen zaehlen | bestanden | 81 / 140 | 21,00 s |
| Wissen durchsuchen | bestanden | 29 / 130 | 39,00 s |
| Firma erfassen | bestanden | 123 / 180 | 21,00 s |
| Person verknuepfen | bestanden | 117 / 220 | 39,00 s |
| Fakt hinterlegen | bestanden | 16 / 160 | 103,00 s |
| Entitaet suchen | bestanden | 17 / 140 | 44,00 s |
| Aufgabenliste anlegen | bestanden | 89 / 130 | 14,00 s |
| Aufgaben ergaenzen | bestanden | 114 / 170 | 22,00 s |
| Boards sichten | bestanden | 47 / 120 | 27,00 s |
| Board-Aufgabe anlegen | bestanden | 19 / 190 | 158,00 s |
| CSV nach JSON | bestanden | 86 / 180 | 35,00 s |
| JSON validieren | bestanden | 81 / 140 | 21,00 s |
| Defektes JSON reparieren | bestanden | 120 / 220 | 38,00 s |
| Pruefsummen | bestanden | 53 / 160 | 37,00 s |
| Volltextsuche | bestanden | 66 / 150 | 28,00 s |
| Archiv packen | bestanden | 106 / 170 | 25,00 s |
| Bestandsaufnahme | bestanden | 12 / 120 | 41,00 s |
| Titelbild erzeugen | bestanden | 154 / 250 | 51,00 s |
| Bild pruefen | bestanden | 83 / 130 | 18,00 s |
| Merken | bestanden | 75 / 150 | 25,00 s |
| Erinnern | bestanden | 42 / 120 | 29,00 s |
| Fachfrage delegieren | bestanden | 23 / 230 | 166,00 s |
| Gesamtbericht | bestanden | 58 / 240 | 76,00 s |
| Abschluss | fehlgeschlagen | 0 / 200 | 40,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Qwen3.6-27B
# Engine : vLLM
# Run-ID : run-20260722-161612-b91648
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : 32x AMD Ryzen 9 9950X 16-Core Processor
# RAM : 92 GB
bench@llm-benchmark:~$ python \
-m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen3.6-27B \
--served-model-name Qwen/Qwen3.6-27B \
--host 0.0.0.0 \
--port 8000 \
--gpu-memory-utilization 0.90 \
--max-model-len 65536 \
--generation-config vllm \
--language-model-only \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | Qwen/Qwen3.6-27B |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 65536 |
| Python-Modul?Startet vLLM als Python-Modul (python -m vllm.entrypoints.openai.api_server). Der folgende Wert ist der Modulname. | vllm.entrypoints.openai.api_server |
| Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird. | Qwen/Qwen3.6-27B |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | Qwen/Qwen3.6-27B |
| GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'. | 0.90 |
| Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells. | 65536 |
| Generation-Config?Quelle der Default-Sampling-Parameter (auto/vllm oder Pfad). Steuert die vom Modell vorgegebenen Defaults fuer temperature/top_p usw. | vllm |
| Nur-Sprachmodell?Laedt bei multimodalen Modellen nur den Sprachteil. Spart VRAM, deaktiviert aber Bild-/Audio-Eingabe. | aktiv |
| Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken). | qwen3 |
| Auto-Tool-Choice?Erlaubt dem Modell, Tools (Function-Calling) selbststaendig auszuwaehlen. MUSS aktiv sein, damit 'tools' im Request akzeptiert werden - sonst lehnt vLLM sie mit HTTP 400 ab. | aktiv |
| Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen. | qwen3_coder |
Modell-Vergleich
Qwen3.6-27B auf verschiedener Hardware
Alle veroeffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
★ NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 28,8 tok/s dieser Lauf
CPUnach Prozessor
★ AMD Ryzen 9 9950X 16-Core Processor 28,8 tok/s dieser Lauf
MBnach Mainboard
unbekannt 28,8 tok/s
ENGnach Engine
★ vLLM 28,8 tok/s dieser Lauf
DRVnach Treiber
★ NVIDIA 580.159.03 / CUDA 13.0 28,8 tok/s dieser Lauf