Granite 4.0 Tiny Base Preview
IBM
Code Multilingual
Granite 4.0 Tiny Base Preview ist ein feingranulares Mixture-of-Experts-Modell mit 6,67 Milliarden Parametern von IBM, entwickelt für effiziente Instruktionsbefolgung und Codegenerierung. Mit 62 Experten und 6 aktiven pro Token liefert es starkes Reasoning bei einem Bruchteil der Rechenkosten dichter Modelle gleicher Größe. Das Modell unterstützt Code-Aufgaben und mehrsprachige Konversation in 12 Sprachen, darunter Englisch, Chinesisch und Japanisch. Ein 128K-Kontextfenster mit Flash Attention ermöglicht Workflows mit langen Dokumenten und es quantisiert gut als GGUF für leichtgewichtige selbstgehostete Deployments.
Hardwarekonfiguration
Optional — für präzise Bereitstellungsempfehlungen
| Quantisierung | Qualität | Größe | Eignung |
|---|---|---|---|
| FP16 | Volle Präzision | 12.44 GB | — |
| Q8_0 | Hoch | 6.62 GB | — |
| Q6_K | Hoch | 5.11 GB | — |
| Q5_K_M | Mittel | 4.42 GB | — |
| Q5_K_S | Mittel | 4.3 GB | — |
| Q4_K_M | Mittel | 3.77 GB | — |
| Q4_K_S | Mittel | 3.56 GB | — |
| Q4_0 | Mittel | 3.53 GB | — |
| Q4_1 | Mittel | 3.91 GB | — |
| Q3_K_M | Niedrig | 2.98 GB | — |
| Q3_K_S | Niedrig | 2.71 GB | — |
| Q2_K | Niedrig | 2.28 GB | — |
| Q3_K_L | Niedrig | 3.2 GB | — |
| Q5_0 | Niedrig | 4.3 GB | — |
| Q5_1 | Niedrig | 4.68 GB | — |
Zuletzt aktualisiert: 5. März 2026