DeepSeek R1 Distill Llama 70B
DeepSeek
Code Multilingual Thinking Tool Calls
DeepSeek R1 Distill Llama 70B è un trasformatore denso da 70,55 miliardi di parametri di DeepSeek, distillato dal modello di ragionamento R1 in un'architettura basata su Llama 3. Offre ragionamento "chain-of-thought" di livello frontiera nella classe 70B, superando modelli di ragionamento più piccoli nei benchmark di matematica, codice e logica. Supporta generazione di codice, chiamate a strumenti e nove lingue tra cui inglese, cinese e le principali lingue europee. Con una finestra di contesto da 128K e "flash attention", si presta a deployment self-hosted multi-GPU e si quantizza bene in GGUF in un'ampia gamma di formati.
Configurazione hardware
Facoltativo — per raccomandazioni di distribuzione precise
| Quantizzazione | Qualità | Dimensione | Adeguatezza |
|---|---|---|---|
| FP16 | Piena precisione | 131.43 GB | — |
| Q8_0 | Alta | 69.82 GB | — |
| Q8_K_XL | Alta | 75.66 GB | — |
| Q6_K | Alta | 107.82 GB | — |
| Q6_K_XL | Alta | 56.96 GB | — |
| Q5_K_M | Media | 46.52 GB | — |
| Q5_K_S | Media | 45.32 GB | — |
| Q5_K_XL | Media | 46.54 GB | — |
| Q4_K_M | Media | 39.6 GB | — |
| Q4_K_S | Media | 37.58 GB | — |
| Q4_K_XL | Media | 39.73 GB | — |
| Q4_0 | Media | 37.36 GB | — |
| Q4_1 | Media | 41.27 GB | — |
| Q3_K_M | Bassa | 31.91 GB | — |
| Q3_K_S | Bassa | 28.79 GB | — |
| Q3_K_XL | Bassa | 32.48 GB | — |
| Q2_K | Bassa | 24.56 GB | — |
| Q2_K_L | Bassa | 24.79 GB | — |
| Q2_K_XL | Bassa | 25.11 GB | — |
Ultimo aggiornamento: 5 marzo 2026