DeepReinforce
Ornith-1.5-35B-A3B35B
Benchmarkprofil und veröffentlichte Ergebnisse.
MoE35B
Einordnung im Feld
Bestwerte im Vergleich
Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.
Generation626,4 tok/s
Min 5,0Ø 252,9Max 1.568,0
Ueber dem Durchschnitt · 992 Systeme im Feld
Prefill28.681 tok/s
Min 172Ø 8.649Max 55.260
Ueber dem Durchschnitt · 992 Systeme im Feld
Time to First Token245 ms
Min 117Ø 4.699Max 124.920
Ueber dem Durchschnitt · 992 Systeme im Feld
Performanceprofil
Durchsatz nach Hardware & Engine
Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.
Durchsatz & Latenz
Performancebenchmark
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 626,41 tok/s TG Prefill 28.681 · TTFT 928 ms | 10× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | vLLMgodclawFP8 | Details → | |
| 2 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 603,66 tok/s TG Prefill 5.250 · TTFT 7.504 ms | 10× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 3 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 600,91 tok/s TG Prefill 5.037 · TTFT 7.660 ms | 10× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 4 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 588,56 tok/s TG Prefill 25.569 · TTFT 1.053 ms | 10× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | vLLMgodclawFP8 | Details → | |
| 5 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 469,63 tok/s TG Prefill 5.251 · TTFT 8.721 ms | 10× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ8_0 | Details → | |
| 6 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 469,10 tok/s TG Prefill 5.207 · TTFT 8.770 ms | 10× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ8_0 | Details → | |
| 7 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 418,21 tok/s TG Prefill 21.951 · TTFT 535 ms | 5× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | vLLMgodclawFP8 | Details → | |
| 8 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 391,05 tok/s TG Prefill 19.044 · TTFT 619 ms | 5× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | vLLMgodclawFP8 | Details → | |
| 9 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 259,04 tok/s TG Prefill 5.008 · TTFT 1.926 ms | 5× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 10 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 256,43 tok/s TG Prefill 4.992 · TTFT 1.933 ms | 5× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 11 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 210,69 tok/s TG Prefill 5.070 · TTFT 1.901 ms | 5× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ8_0 | Details → | |
| 12 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 209,15 tok/s TG Prefill 5.053 · TTFT 1.909 ms | 5× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ8_0 | Details → | |
| 13 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 159,36 tok/s TG Prefill 3.711 · TTFT 519 ms | 1× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 14 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 159,15 tok/s TG Prefill 3.734 · TTFT 517 ms | 1× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 15 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 152,55 tok/s TG Prefill 8.176 · TTFT 245 ms | 1× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | vLLMgodclawFP8 | Details → | |
| 16 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 139,18 tok/s TG Prefill 7.100 · TTFT 278 ms | 1× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | vLLMgodclawFP8 | Details → | |
| 17 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 125,55 tok/s TG Prefill 3.700 · TTFT 521 ms | 1× | 2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ8_0 | Details → | |
| 18 | Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 125,54 tok/s TG Prefill 3.698 · TTFT 522 ms | 1× | 2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ8_0 | Details → |
Agent- & Chat-Bewertung
Harnessbenchmark
Noch keine Harnessbenchmarks fuer dieses Modell.