Meta Llama 3.1 70B Instruct
Meta
Code Multilingual Tool Calls
Meta Llama 3.1 70B Instruct es un transformador denso de 70.000 millones de parámetros de Meta, optimizado para diálogo multilingüe, generación de código y uso de herramientas. Como predecesor de Llama 3.3, estableció los cimientos de la arquitectura Llama 70B mediante ajuste fino supervisado y alineamiento RLHF. El modelo soporta "tool calling" y ocho idiomas, incluidos inglés, alemán, francés y español. Con una ventana de contexto de 128K, "grouped-query attention" y "flash attention", se cuantiza eficientemente a GGUF para inferencia autoalojada en configuraciones GPU de un solo nodo.
Configuración de hardware
Opcional — para recomendaciones de despliegue precisas
| Cuantización | Calidad | Tamaño | Ajuste |
|---|---|---|---|
| Q8_0 | Alta | 69.82 GB | — |
| Q6_K | Alta | 53.92 GB | — |
| Q5_K_M | Media | 46.52 GB | — |
| Q5_K_S | Media | 45.32 GB | — |
| Q4_K_M | Media | 39.6 GB | — |
| Q4_K_S | Media | 37.58 GB | — |
| Q3_K_M | Baja | 31.91 GB | — |
| Q3_K_S | Baja | 28.79 GB | — |
| Q3_K_XL | Baja | 35.45 GB | — |
| Q2_K | Baja | 24.56 GB | — |
| Q2_K_L | Baja | 25.52 GB | — |
| Q3_K_L | Baja | 34.59 GB | — |
| Q4_K_L | Baja | 40.33 GB | — |
| Q5_K_L | Baja | 47.13 GB | — |
| Q6_K_L | Baja | 54.38 GB | — |
Última actualización: 5 de marzo de 2026