DeepSeek R1 Distill Llama 70B
DeepSeek
Code Multilingual Thinking Tool Calls
DeepSeek R1 Distill Llama 70B ist ein dichter Transformer mit 70,55 Milliarden Parametern von DeepSeek, destilliert aus dem R1-Reasoning-Modell in eine Llama-3-basierte Architektur. Er liefert Chain-of-Thought-Reasoning auf Spitzenniveau in der 70B-Klasse und übertrifft kleinere Reasoning-Modelle bei Mathematik-, Code- und Logik-Benchmarks. Er unterstützt Codegenerierung, Tool-Calls und neun Sprachen einschließlich Englisch, Chinesisch und der wichtigsten europäischen Sprachen. Mit einem 128K-Kontextfenster und Flash Attention eignet er sich für Multi-GPU-Self-Hosted-Deployments und quantisiert gut ins GGUF-Format über eine breite Palette von Formaten.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| FP16 | Volle Präzision | 131.43 GB | — |
| Q8_0 | Hoch | 69.82 GB | — |
| Q8_K_XL | Hoch | 75.66 GB | — |
| Q6_K | Hoch | 107.82 GB | — |
| Q6_K_XL | Hoch | 56.96 GB | — |
| Q5_K_M | Mittel | 46.52 GB | — |
| Q5_K_S | Mittel | 45.32 GB | — |
| Q5_K_XL | Mittel | 46.54 GB | — |
| Q4_K_M | Mittel | 39.6 GB | — |
| Q4_K_S | Mittel | 37.58 GB | — |
| Q4_K_XL | Mittel | 39.73 GB | — |
| Q4_0 | Mittel | 37.36 GB | — |
| Q4_1 | Mittel | 41.27 GB | — |
| Q3_K_M | Niedrig | 31.91 GB | — |
| Q3_K_S | Niedrig | 28.79 GB | — |
| Q3_K_XL | Niedrig | 32.48 GB | — |
| Q2_K | Niedrig | 24.56 GB | — |
| Q2_K_L | Niedrig | 24.79 GB | — |
| Q2_K_XL | Niedrig | 25.11 GB | — |
Zuletzt aktualisiert: 5. März 2026