Qwen2.5 72B Instruct
Qwen
Code Multilingual Tool Calls
Qwen2.5 72B Instruct ist ein dichter Transformer mit 72,71 Milliarden Parametern vom Qwen-Team bei Alibaba, feinabgestimmt fuer Instruktionsbefolgung, Codegenerierung und mehrsprachige Aufgaben. Er konkurriert mit anderen fuehrenden 70B-Instruct-Modellen und unterstuetzt 14 Sprachen, darunter Englisch, Chinesisch, Arabisch und Japanisch. Das Modell bietet natives Tool Calling und strukturierte Ausgabefunktionen. Mit einem 32K-Kontextfenster und Grouped-Query Attention quantisiert es effizient fuer selbstgehostete Inferenz auf High-End-Consumer- oder Server-GPU-Konfigurationen.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| FP16 | Volle Präzision | 135.84 GB | — |
| Q8_0 | Hoch | 72.27 GB | — |
| Q6_K | Hoch | 55.76 GB | — |
| Q5_K_M | Mittel | 48.1 GB | — |
| Q4_K_M | Mittel | 40.97 GB | — |
| Q4_0 | Mittel | 38.51 GB | — |
| Q3_K_M | Niedrig | 33.02 GB | — |
| Q2_K | Niedrig | 25.45 GB | — |
| Q5_0 | Niedrig | 46.89 GB | — |
Zuletzt aktualisiert: 5. März 2026