Granite 4.0 Tiny Base Preview
IBM
Code Multilingual
Granite 4.0 Tiny Base Preview es un modelo "Mixture-of-Experts" de grano fino con 6.670 millones de parámetros de IBM, diseñado para el seguimiento eficiente de instrucciones y la generación de código. Con 62 expertos y 6 activos por token, ofrece un razonamiento sólido con una fracción del coste computacional de los modelos densos de tamaño similar. El modelo soporta tareas de código y conversación multilingüe en 12 idiomas, incluidos inglés, chino y japonés. Una ventana de contexto de 128K con "flash attention" permite flujos de trabajo con documentos largos y se cuantiza bien a GGUF para despliegues autoalojados ligeros.
Configuración de hardware
Opcional — para recomendaciones de despliegue precisas
| Cuantización | Calidad | Tamaño | Ajuste |
|---|---|---|---|
| FP16 | Precisión completa | 12.44 GB | — |
| Q8_0 | Alta | 6.62 GB | — |
| Q6_K | Alta | 5.11 GB | — |
| Q5_K_M | Media | 4.42 GB | — |
| Q5_K_S | Media | 4.3 GB | — |
| Q4_K_M | Media | 3.77 GB | — |
| Q4_K_S | Media | 3.56 GB | — |
| Q4_0 | Media | 3.53 GB | — |
| Q4_1 | Media | 3.91 GB | — |
| Q3_K_M | Baja | 2.98 GB | — |
| Q3_K_S | Baja | 2.71 GB | — |
| Q2_K | Baja | 2.28 GB | — |
| Q3_K_L | Baja | 3.2 GB | — |
| Q5_0 | Baja | 4.3 GB | — |
| Q5_1 | Baja | 4.68 GB | — |
Última actualización: 5 de marzo de 2026