Granite 4.0 Tiny Base Preview
IBM
Code Multilingual
Granite 4.0 Tiny Base Preview è un modello "Mixture-of-Experts" a grana fine da 6,67 miliardi di parametri di IBM, progettato per il seguimento efficiente di istruzioni e la generazione di codice. Con 62 esperti e 6 attivi per token, offre un ragionamento solido a una frazione del costo computazionale dei modelli densi di dimensioni simili. Il modello supporta attività legate al codice e conversazione multilingue in 12 lingue tra cui inglese, cinese e giapponese. Una finestra di contesto da 128K con "flash attention" consente flussi di lavoro su documenti lunghi e si quantizza bene in formato GGUF per deployment self-hosted leggeri.
Configurazione hardware
Facoltativo — per raccomandazioni di distribuzione precise
| Quantizzazione | Qualità | Dimensione | Adeguatezza |
|---|---|---|---|
| FP16 | Piena precisione | 12.44 GB | — |
| Q8_0 | Alta | 6.62 GB | — |
| Q6_K | Alta | 5.11 GB | — |
| Q5_K_M | Media | 4.42 GB | — |
| Q5_K_S | Media | 4.3 GB | — |
| Q4_K_M | Media | 3.77 GB | — |
| Q4_K_S | Media | 3.56 GB | — |
| Q4_0 | Media | 3.53 GB | — |
| Q4_1 | Media | 3.91 GB | — |
| Q3_K_M | Bassa | 2.98 GB | — |
| Q3_K_S | Bassa | 2.71 GB | — |
| Q2_K | Bassa | 2.28 GB | — |
| Q3_K_L | Bassa | 3.2 GB | — |
| Q5_0 | Bassa | 4.3 GB | — |
| Q5_1 | Bassa | 4.68 GB | — |
Ultimo aggiornamento: 5 marzo 2026