Meta Llama 3.1 70B Instruct
Meta
Code Multilingual Tool Calls
Meta Llama 3.1 70B Instruct est un transformeur dense de 70 milliards de paramètres de Meta, optimisé pour le dialogue multilingue, la génération de code et l'utilisation d'outils. En tant que prédécesseur de Llama 3.3, il a posé les bases de l'architecture Llama 70B avec un affinage supervisé et un alignement RLHF. Le modèle prend en charge le "tool calling" et huit langues dont l'anglais, l'allemand, le français et l'espagnol. Avec une fenêtre de contexte de 128K, le "grouped-query attention" et le "flash attention", il se quantifie efficacement en GGUF pour une inférence auto-hébergée sur des configurations GPU à nœud unique.
Configuration matérielle
Facultatif — pour des recommandations de déploiement précises
| Quantification | Qualité | Taille | Adéquation |
|---|---|---|---|
| Q8_0 | Élevée | 69.82 GB | — |
| Q6_K | Élevée | 53.92 GB | — |
| Q5_K_M | Moyenne | 46.52 GB | — |
| Q5_K_S | Moyenne | 45.32 GB | — |
| Q4_K_M | Moyenne | 39.6 GB | — |
| Q4_K_S | Moyenne | 37.58 GB | — |
| Q3_K_M | Basse | 31.91 GB | — |
| Q3_K_S | Basse | 28.79 GB | — |
| Q3_K_XL | Basse | 35.45 GB | — |
| Q2_K | Basse | 24.56 GB | — |
| Q2_K_L | Basse | 25.52 GB | — |
| Q3_K_L | Basse | 34.59 GB | — |
| Q4_K_L | Basse | 40.33 GB | — |
| Q5_K_L | Basse | 47.13 GB | — |
| Q6_K_L | Basse | 54.38 GB | — |
Dernière mise à jour : 5 mars 2026