Qwen2.5 14B Instruct
Qwen
Code Multilingual Tool Calls
Qwen2.5 14B Instruct ist ein dichter Transformer mit 14,77 Milliarden Parametern vom Qwen-Team bei Alibaba, feinabgestimmt für Instruktionsbefolgung, Codegenerierung und strukturierte Ausgabe. Er schließt die Lücke zwischen den 7B- und 72B-Klassen und liefert starkes Schlussfolgern sowie Langtext-Generierung bei gleichzeitiger Einsatzfähigkeit auf einer einzelnen Consumer-GPU. Das Modell unterstützt Tool Calling und deckt 14 Sprachen ab, darunter Englisch, Chinesisch, Japanisch und Arabisch. Mit einem 32K-Kontextfenster und Flash Attention lässt es sich gut ins GGUF-Format quantisieren für selbstgehostete Inferenz bei moderaten Hardwarekosten.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| FP16 | Volle Präzision | 27.51 GB | — |
| Q8_0 | Hoch | 14.62 GB | — |
| Q6_K | Hoch | 11.29 GB | — |
| Q5_K_M | Mittel | 9.78 GB | — |
| Q4_K_M | Mittel | 8.38 GB | — |
| Q4_0 | Mittel | 7.93 GB | — |
| Q3_K_M | Niedrig | 6.84 GB | — |
| Q2_K | Niedrig | 5.38 GB | — |
| Q5_0 | Niedrig | 9.56 GB | — |
Zuletzt aktualisiert: 5. März 2026