Qwen2.5 7B Instruct
Qwen
Code Multilingual Tool Calls
Qwen2.5 7B Instruct ist ein dichter Transformer mit 7,62 Milliarden Parametern vom Qwen-Team bei Alibaba, feinabgestimmt fuer Instruktionsbefolgung, Codegenerierung und mehrsprachige Konversation. Er zaehlt zu den staerksten 7B-Instruct-Modellen mit einer breiten Sprachabdeckung von 14 Sprachen, darunter Englisch, Chinesisch, Japanisch und Arabisch. Das Modell unterstuetzt Tool Calling und strukturierte Ausgabe nativ. Mit einem 32K-Kontextfenster und Flash Attention laeuft es effizient auf Consumer-GPUs und quantisiert gut fuer leichtgewichtige selbstgehostete Deployments.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| FP16 | Volle Präzision | 14.19 GB | — |
| Q8_0 | Hoch | 7.54 GB | — |
| Q6_K | Hoch | 5.83 GB | — |
| Q5_K_M | Mittel | 5.08 GB | — |
| Q4_K_M | Mittel | 4.36 GB | — |
| Q4_0 | Mittel | 4.13 GB | — |
| Q3_K_M | Niedrig | 3.55 GB | — |
| Q2_K | Niedrig | 2.81 GB | — |
| Q5_0 | Niedrig | 4.95 GB | — |
Zuletzt aktualisiert: 5. März 2026