Qwen3 8B
Qwen
Code Multilingual Thinking Tool Calls
Qwen3 8B ist ein dichter Transformer mit 8 Milliarden Parametern vom Qwen-Team bei Alibaba, der integrierte Denkfaehigkeiten zusammen mit Codegenerierung, Tool Calling und mehrsprachiger Unterstuetzung bietet. Er geht ueber Qwen2.5 hinaus mit verbessertem Schlussfolgern und unterstuetzt Chain-of-Thought-Inferenz in einem kompakten Formfaktor. Das Modell deckt 14 Sprachen ab, darunter Englisch, Chinesisch und Arabisch. Mit einem 40K-Kontextfenster und Flash Attention passt es auf eine einzelne Consumer-GPU und quantisiert effizient fuer kostenguenstige selbstgehostete Reasoning-Workloads.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| Q8_0 | Hoch | 8.11 GB | — |
| Q8_K_XL | Hoch | 10.08 GB | — |
| Q6_K | Hoch | 6.26 GB | — |
| Q6_K_XL | Hoch | 6.98 GB | — |
| Q5_K_M | Mittel | 5.45 GB | — |
| Q5_K_S | Mittel | 5.33 GB | — |
| Q5_K_XL | Mittel | 5.47 GB | — |
| Q4_K_M | Mittel | 4.68 GB | — |
| Q4_K_S | Mittel | 4.47 GB | — |
| Q4_K_XL | Mittel | 4.78 GB | — |
| Q4_1 | Mittel | 4.89 GB | — |
| Q3_K_M | Niedrig | 3.84 GB | — |
| Q3_K_S | Niedrig | 3.51 GB | — |
| Q3_K_XL | Niedrig | 4.01 GB | — |
| Q2_K | Niedrig | 3.06 GB | — |
| Q2_K_L | Niedrig | 3.19 GB | — |
| Q2_K_XL | Niedrig | 3.26 GB | — |
Zuletzt aktualisiert: 5. März 2026