Mistral Small 24B Instruct 2501
Mistral AI
Code Multilingual Tool Calls
Mistral Small 24B Instruct 2501 ist ein dichter Transformer mit 23,57 Milliarden Parametern von Mistral AI, optimiert für Instruktionsbefolgung, Codegenerierung und mehrsprachige Konversation. Das Modell bietet in seiner mittleren Parameterklasse eine starke Leistung im Verhältnis zur Größe und konkurriert mit größeren 30B-Modellen in vielen Benchmarks. Es unterstützt Tool Calling und 10 Sprachen, darunter Englisch, Französisch, Chinesisch und Japanisch. Mit einem 32K-Kontextfenster und Flash Attention passt es bei Q4-Quantisierung auf eine einzelne Consumer-GPU für effiziente selbstgehostete Inferenz.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| FP32 | Volle Präzision | 87.82 GB | — |
| FP16 | Volle Präzision | 43.92 GB | — |
| Q8_0 | Hoch | 23.33 GB | — |
| Q6_K | Hoch | 18.02 GB | — |
| Q5_K_M | Mittel | 15.61 GB | — |
| Q5_K_S | Mittel | 15.18 GB | — |
| Q4_K_M | Mittel | 13.35 GB | — |
| Q4_K_S | Mittel | 12.62 GB | — |
| Q4_0 | Mittel | 12.57 GB | — |
| Q4_1 | Mittel | 13.85 GB | — |
| Q3_K_M | Niedrig | 10.69 GB | — |
| Q3_K_S | Niedrig | 9.69 GB | — |
| Q3_K_XL | Niedrig | 12.1 GB | — |
| Q2_K | Niedrig | 8.28 GB | — |
| Q2_K_L | Niedrig | 8.89 GB | — |
| Q3_K_L | Niedrig | 11.55 GB | — |
| Q4_K_L | Niedrig | 13.81 GB | — |
| Q5_K_L | Niedrig | 16 GB | — |
| Q6_K_L | Niedrig | 18.32 GB | — |
Zuletzt aktualisiert: 12. März 2026