Qwen2.5 72B Instruct
Qwen
Code Multilingual Tool Calls
Qwen2.5 72B Instruct est un transformeur dense de 72,71 milliards de parametres de l'equipe Qwen d'Alibaba, affine pour le suivi d'instructions, la generation de code et les taches multilingues. Il rivalise avec les autres modeles instruct de 70B de premier plan tout en prenant en charge 14 langues dont l'anglais, le chinois, l'arabe et le japonais. Le modele offre le "tool calling" natif et des capacites de sortie structuree. Avec une fenetre de contexte de 32K et le "grouped-query attention", il se quantifie efficacement pour une inference auto-hebergee sur des configurations GPU haut de gamme grand public ou serveur.
Configuration matérielle
Facultatif — pour des recommandations de déploiement précises
| Quantification | Qualité | Taille | Adéquation |
|---|---|---|---|
| FP16 | Pleine précision | 135.84 GB | — |
| Q8_0 | Élevée | 72.27 GB | — |
| Q6_K | Élevée | 55.76 GB | — |
| Q5_K_M | Moyenne | 48.1 GB | — |
| Q4_K_M | Moyenne | 40.97 GB | — |
| Q4_0 | Moyenne | 38.51 GB | — |
| Q3_K_M | Basse | 33.02 GB | — |
| Q2_K | Basse | 25.45 GB | — |
| Q5_0 | Basse | 46.89 GB | — |
Dernière mise à jour : 5 mars 2026