Mistral Small 24B Instruct 2501
Mistral AI
Code Multilingual Tool Calls
Mistral Small 24B Instruct 2501 è un trasformatore denso da 23,57 miliardi di parametri di Mistral AI, ottimizzato per il seguimento di istruzioni, la generazione di codice e la conversazione multilingue. Si colloca in una classe di parametri intermedia che offre prestazioni elevate rispetto alle dimensioni, competendo con modelli più grandi da 30B in molti benchmark. Il modello supporta il "tool calling" e 10 lingue tra cui inglese, francese, cinese e giapponese. Con una finestra di contesto da 32K e "flash attention", funziona su una singola GPU consumer con quantizzazione Q4 per un'inferenza self-hosted efficiente.
Configurazione hardware
Facoltativo — per raccomandazioni di distribuzione precise
| Quantizzazione | Qualità | Dimensione | Adeguatezza |
|---|---|---|---|
| FP32 | Piena precisione | 87.82 GB | — |
| FP16 | Piena precisione | 43.92 GB | — |
| Q8_0 | Alta | 23.33 GB | — |
| Q6_K | Alta | 18.02 GB | — |
| Q5_K_M | Media | 15.61 GB | — |
| Q5_K_S | Media | 15.18 GB | — |
| Q4_K_M | Media | 13.35 GB | — |
| Q4_K_S | Media | 12.62 GB | — |
| Q4_0 | Media | 12.57 GB | — |
| Q4_1 | Media | 13.85 GB | — |
| Q3_K_M | Bassa | 10.69 GB | — |
| Q3_K_S | Bassa | 9.69 GB | — |
| Q3_K_XL | Bassa | 12.1 GB | — |
| Q2_K | Bassa | 8.28 GB | — |
| Q2_K_L | Bassa | 8.89 GB | — |
| Q3_K_L | Bassa | 11.55 GB | — |
| Q4_K_L | Bassa | 13.81 GB | — |
| Q5_K_L | Bassa | 16 GB | — |
| Q6_K_L | Bassa | 18.32 GB | — |
Ultimo aggiornamento: 12 marzo 2026