Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
DeepReinforce

Ornith-1.5-9B9B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense9B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

NVIDIA RTX A6000Alle GPUs
Generation472,2 tok/s
Min 0,0Ø 245,9Max 2.491,2
Ueber dem Durchschnitt · 4037 Systeme im Feld
Prefill4.869 tok/s
Min 4Ø 4.711Max 55.260
Ueber dem Durchschnitt · 4037 Systeme im Feld
Time to First Token531 ms
Min 20Ø 34.263Max 535.235
Ueber dem Durchschnitt · 4035 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

5194964724494254.0894.2634.4374.611Prefill (tok/s)Generation (tok/s)NVIDIA RTX A6000 - 472,2 tok/s Generation, 4.350 tok/s Prefill, TTFT 3.813 ms (12 Laufe)NVIDIA RTX A6000
NVIDIA RTX A6000 472,2 tok/s

CPUnach Prozessor

5194964724494254.0894.2634.4374.611Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 7955WX 16-Cores - 472,2 tok/s Generation, 4.350 tok/s Prefill, TTFT 3.813 ms (12 Laufe)AMD Ryzen Threadrippe...
AMD Ryzen Threadripper PRO 7955WX 16-Cores 472,2 tok/s

ENGnach Engine

5194964724494254.0894.2634.4374.611Prefill (tok/s)Generation (tok/s)llama.cpp - 472,2 tok/s Generation, 4.350 tok/s Prefill, TTFT 3.813 ms (12 Laufe)llama.cpp
llama.cpp 472,2 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
472,21 tok/s TG
Prefill 4.673 · TTFT 9.026 ms
10×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
2Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
447,71 tok/s TG
Prefill 4.687 · TTFT 8.811 ms
10×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
3Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
426,65 tok/s TG
Prefill 4.869 · TTFT 8.761 ms
10×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
4Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
424,22 tok/s TG
Prefill 4.823 · TTFT 8.833 ms
10×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
5Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
239,64 tok/s TG
Prefill 4.683 · TTFT 2.060 ms
5×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
6Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
238,93 tok/s TG
Prefill 4.648 · TTFT 2.074 ms
5×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
7Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
178,76 tok/s TG
Prefill 4.812 · TTFT 2.004 ms
5×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
8Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
178,14 tok/s TG
Prefill 4.756 · TTFT 2.026 ms
5×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
9Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
106,02 tok/s TG
Prefill 3.586 · TTFT 538 ms
1×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
10Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
105,97 tok/s TG
Prefill 3.502 · TTFT 550 ms
1×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
11Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
70,78 tok/s TG
Prefill 3.529 · TTFT 546 ms
1×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
12Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
70,63 tok/s TG
Prefill 3.632 · TTFT 531 ms
1×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.