Meta Llama 3.1 70B Instruct
Meta
Code Multilingual Tool Calls
Meta Llama 3.1 70B Instruct è un trasformatore denso da 70 miliardi di parametri di Meta, ottimizzato per il dialogo multilingue, la generazione di codice e l'uso di strumenti. Come predecessore di Llama 3.3, ha gettato le basi dell'architettura Llama 70B con fine-tuning supervisionato e allineamento RLHF. Il modello supporta il "tool calling" e otto lingue tra cui inglese, tedesco, francese e spagnolo. Con una finestra di contesto da 128K, "grouped-query attention" e "flash attention", si quantizza in modo efficiente in GGUF per inferenza self-hosted su configurazioni GPU a singolo nodo.
Configurazione hardware
Facoltativo — per raccomandazioni di distribuzione precise
| Quantizzazione | Qualità | Dimensione | Adeguatezza |
|---|---|---|---|
| Q8_0 | Alta | 69.82 GB | — |
| Q6_K | Alta | 53.92 GB | — |
| Q5_K_M | Media | 46.52 GB | — |
| Q5_K_S | Media | 45.32 GB | — |
| Q4_K_M | Media | 39.6 GB | — |
| Q4_K_S | Media | 37.58 GB | — |
| Q3_K_M | Bassa | 31.91 GB | — |
| Q3_K_S | Bassa | 28.79 GB | — |
| Q3_K_XL | Bassa | 35.45 GB | — |
| Q2_K | Bassa | 24.56 GB | — |
| Q2_K_L | Bassa | 25.52 GB | — |
| Q3_K_L | Bassa | 34.59 GB | — |
| Q4_K_L | Bassa | 40.33 GB | — |
| Q5_K_L | Bassa | 47.13 GB | — |
| Q6_K_L | Bassa | 54.38 GB | — |
Ultimo aggiornamento: 5 marzo 2026