La cuantización es la decisión técnica con más impacto en cuánto hardware necesitas para correr un modelo de lenguaje. Reducir la precisión numérica con la que se almacenan los pesos puede recortar el requisito de VRAM hasta un 75%, pero no es una decisión gratuita: siempre hay una relación de compromiso entre memoria, velocidad y calidad de respuesta.
Qué significa “cuantizar” un modelo
Un modelo entrenado guarda sus parámetros como números en coma flotante, habitualmente en FP32 o FP16. Cuantizar consiste en representar esos mismos parámetros con menos bits — por ejemplo, enteros de 8 u 4 bits — reduciendo el tamaño en memoria a cambio de una pérdida de precisión numérica que, en la mayoría de los casos, tiene un efecto limitado sobre la calidad del resultado.
Comparativa de las precisiones más comunes
| Precisión | Bytes/parámetro | Memoria de pesos | Criterio de uso |
|---|---|---|---|
| FP16 / BF16 | 2 | 100 % (referencia) | Referencia de precisión de los pesos. |
| INT8 | 1 | ≈50 % | Validar calidad y aceleración en el motor elegido. |
| INT4 (GPTQ/AWQ) | 0,5 | ≈25 % | Ahorra más memoria; requiere evaluar la tarea concreta. |
El compromiso real: no es solo memoria
Reducir la precisión no solo ahorra VRAM, también afecta a:
- Velocidad de inferencia. En general, cuantizar acelera la inferencia porque hay menos datos que mover entre memoria y unidades de cómputo — aunque el efecto exacto depende del hardware y del motor de inferencia usado.
- Calidad de las respuestas. La degradación no es lineal ni homogénea: tareas de conocimiento general suelen tolerar bien INT8 e incluso INT4, mientras que tareas de razonamiento matemático o generación de código son más sensibles a la pérdida de precisión.
- Compatibilidad de hardware. No todas las GPUs aceleran igual de bien cada tipo de cuantización; algunas arquitecturas tienen soporte nativo para INT8 que otras no tienen.
Cómo decidir qué precisión usar
La pregunta correcta no es “¿qué cuantización es mejor?” sino “¿qué margen de calidad puedo permitirme para el hardware que tengo?”. Como referencia práctica:
- Si tienes VRAM suficiente para FP16, y la calidad es crítica (soporte a decisiones, entornos regulados), mantente en FP16.
- Si necesitas atender más solicitudes concurrentes o correr un modelo más grande con el mismo hardware, INT8 suele ser el punto de equilibrio razonable.
- INT4 tiene sentido cuando el hardware es la restricción dura (una sola GPU de gama media, entornos edge) y puedes validar que la tarea concreta tolera la pérdida de precisión.
En cualquier caso, la única forma fiable de saberlo es medir la calidad de las respuestas en tu propio caso de uso antes de desplegar en producción — las benchmarks genéricas orientan, pero no sustituyen una prueba con tus propios datos.
Cómo entra esto en el dimensionamiento
La precisión elegida es la primera variable que ajustamos en nuestra guía de cuánta VRAM necesita un modelo LLM, porque cambia directamente el tamaño de los pesos en memoria. Puedes comparar el impacto real para tu modelo concreto usando el Calculador LLM, que permite alternar entre precisiones y ver el margen de VRAM resultante al instante.