Mistral Small 24B Instruct 2501
Mistral AI
Code Multilingual Tool Calls
Mistral Small 24B Instruct 2501 es un transformador denso de 23.570 millones de parámetros de Mistral AI, optimizado para el seguimiento de instrucciones, la generación de código y la conversación multilingue. Ocupa una clase de parámetros intermedia que ofrece un rendimiento sólido en relación con su tamaño, compitiendo con modelos más grandes de 30B en muchos benchmarks. El modelo soporta "tool calling" y 10 idiomas, incluidos inglés, francés, chino y japonés. Con una ventana de contexto de 32K y "flash attention", cabe en una sola GPU de consumo con cuantización Q4 para inferencia autoalojada eficiente.
Configuración de hardware
Opcional — para recomendaciones de despliegue precisas
| Cuantización | Calidad | Tamaño | Ajuste |
|---|---|---|---|
| FP32 | Precisión completa | 87.82 GB | — |
| FP16 | Precisión completa | 43.92 GB | — |
| Q8_0 | Alta | 23.33 GB | — |
| Q6_K | Alta | 18.02 GB | — |
| Q5_K_M | Media | 15.61 GB | — |
| Q5_K_S | Media | 15.18 GB | — |
| Q4_K_M | Media | 13.35 GB | — |
| Q4_K_S | Media | 12.62 GB | — |
| Q4_0 | Media | 12.57 GB | — |
| Q4_1 | Media | 13.85 GB | — |
| Q3_K_M | Baja | 10.69 GB | — |
| Q3_K_S | Baja | 9.69 GB | — |
| Q3_K_XL | Baja | 12.1 GB | — |
| Q2_K | Baja | 8.28 GB | — |
| Q2_K_L | Baja | 8.89 GB | — |
| Q3_K_L | Baja | 11.55 GB | — |
| Q4_K_L | Baja | 13.81 GB | — |
| Q5_K_L | Baja | 16 GB | — |
| Q6_K_L | Baja | 18.32 GB | — |
Última actualización: 12 de marzo de 2026