Meta Llama 3.1 70B Instruct
Meta
Code Multilingual Tool Calls
Meta Llama 3.1 70B Instruct ist ein dichter Transformer mit 70 Milliarden Parametern von Meta, optimiert für mehrsprachigen Dialog, Codegenerierung und Tool-Nutzung. Als Vorgänger von Llama 3.3 legte er die Grundlage für die 70B-Llama-Architektur mit überwachtem Feintuning und RLHF-Alignment. Das Modell unterstützt Tool Calling und acht Sprachen, darunter Englisch, Deutsch, Französisch und Spanisch. Mit einem 128K-Kontextfenster, Grouped-Query Attention und Flash Attention quantisiert es effizient zu GGUF für selbstgehostete Inferenz auf Single-Node-GPU-Setups.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| Q8_0 | Hoch | 69.82 GB | — |
| Q6_K | Hoch | 53.92 GB | — |
| Q5_K_M | Mittel | 46.52 GB | — |
| Q5_K_S | Mittel | 45.32 GB | — |
| Q4_K_M | Mittel | 39.6 GB | — |
| Q4_K_S | Mittel | 37.58 GB | — |
| Q3_K_M | Niedrig | 31.91 GB | — |
| Q3_K_S | Niedrig | 28.79 GB | — |
| Q3_K_XL | Niedrig | 35.45 GB | — |
| Q2_K | Niedrig | 24.56 GB | — |
| Q2_K_L | Niedrig | 25.52 GB | — |
| Q3_K_L | Niedrig | 34.59 GB | — |
| Q4_K_L | Niedrig | 40.33 GB | — |
| Q5_K_L | Niedrig | 47.13 GB | — |
| Q6_K_L | Niedrig | 54.38 GB | — |
Zuletzt aktualisiert: 5. März 2026