Meta Llama 3.1 8B Instruct
Meta
Code Multilingual Tool Calls
Meta Llama 3.1 8B Instruct ist ein dichter Transformer mit 8 Milliarden Parametern von Meta, entwickelt fuer Instruktionsbefolgung, Codegenerierung und mehrsprachige Aufgaben. Er bietet eine starke Balance aus Qualitaet und Effizienz in der Kategorie kleiner Modelle und uebertrifft viele 7B-Klasse-Alternativen in Standard-Benchmarks. Das Modell unterstuetzt Tool Calling und acht Sprachen, darunter Englisch, Deutsch und Franzoesisch. Mit einem 128K-Kontextfenster und Flash-Attention-Unterstuetzung laeuft es komfortabel auf einer einzelnen Consumer-GPU bei Q4-Quantisierungsstufen.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| FP32 | Volle Präzision | 29.92 GB | — |
| Q8_0 | Hoch | 7.95 GB | — |
| Q6_K | Hoch | 6.14 GB | — |
| Q5_K_M | Mittel | 5.34 GB | — |
| Q5_K_S | Mittel | 5.21 GB | — |
| Q4_K_M | Mittel | 4.58 GB | — |
| Q4_K_S | Mittel | 4.37 GB | — |
| Q3_K_M | Niedrig | 3.74 GB | — |
| Q3_K_S | Niedrig | 3.41 GB | — |
| Q3_K_XL | Niedrig | 4.45 GB | — |
| Q2_K | Niedrig | 2.96 GB | — |
| Q2_K_L | Niedrig | 3.44 GB | — |
| Q3_K_L | Niedrig | 4.03 GB | — |
| Q4_0_4_4 | Niedrig | 4.34 GB | — |
| Q4_0_4_8 | Niedrig | 4.34 GB | — |
| Q4_0_8_8 | Niedrig | 4.34 GB | — |
| Q4_K_L | Niedrig | 4.95 GB | — |
| Q5_K_L | Niedrig | 5.64 GB | — |
| Q6_K_L | Niedrig | 6.38 GB | — |
Zuletzt aktualisiert: 5. März 2026