Devstral Small 2 24B Instruct 2512
Mistral AI
Code Multilingual Tool Calls
Devstral Small 2 24B Instruct 2512 ist ein dichter Transformer mit 24,01 Milliarden Parametern von Mistral AI, optimiert für agentenbasiertes Software-Engineering und dateiübergreifende Codebearbeitung auf Consumer-Hardware. Es erreicht 68,0% auf SWE-bench Verified und konkurriert mit Modellen, die fünfmal so groß sind. Das Modell unterstützt Tool Calling und 11 Sprachen, darunter Englisch, Französisch, Deutsch und Chinesisch. Mit einem 384K-Kontextfenster und Flash Attention läuft es auf einer einzelnen GPU und lässt sich mit GGUF-Quantisierung selbst hosten.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| Q8_0 | Hoch | 23.33 GB | — |
| Q8_K_XL | Hoch | 27 GB | — |
| Q6_K | Hoch | 18.02 GB | — |
| Q6_K_XL | Hoch | 19.36 GB | — |
| Q5_K_M | Mittel | 15.61 GB | — |
| Q5_K_S | Mittel | 15.19 GB | — |
| Q5_K_XL | Mittel | 15.61 GB | — |
| Q4_K_M | Mittel | 13.35 GB | — |
| Q4_K_S | Mittel | 12.62 GB | — |
| Q4_K_XL | Mittel | 13.51 GB | — |
| Q4_0 | Mittel | 12.57 GB | — |
| Q4_1 | Mittel | 13.85 GB | — |
| Q3_K_M | Niedrig | 10.69 GB | — |
| Q3_K_S | Niedrig | 9.69 GB | — |
| Q3_K_XL | Niedrig | 11.04 GB | — |
| Q2_K | Niedrig | 8.28 GB | — |
| Q2_K_L | Niedrig | 8.43 GB | — |
| Q2_K_XL | Niedrig | 8.65 GB | — |
Zuletzt aktualisiert: 6. März 2026