Antes de comprar una GPU o un servidor para IA local, la primera pregunta siempre es la misma: ¿me va a caber el modelo en memoria? No es una pregunta trivial — la respuesta depende de más factores de los que parece a simple vista, y equivocarse significa un servidor infrautilizado o, peor, uno que no puede ni cargar el modelo que necesitas.
Los tres componentes que ocupan VRAM
La memoria de una GPU dedicada a inferencia se reparte en tres bloques:
- Los pesos del modelo. Es el componente más grande y más fácil de estimar: depende del número de parámetros y de la precisión numérica con la que se cargan.
- La caché KV (key-value cache). Crece con el contexto (tokens de entrada + salida) y con el número de solicitudes concurrentes. En modelos con contextos largos, puede llegar a superar el peso del propio modelo.
- El espacio de ejecución (activations, buffers del motor de inferencia). Suele ser el componente más pequeño, pero conviene dejar un margen del 10-15% sobre el cálculo teórico.
Fórmula básica para los pesos del modelo
VRAM (pesos) ≈ nº de parámetros × bytes por parámetro
Los bytes por parámetro dependen de la precisión:
| Precisión | Bytes por parámetro | Pesos de 7B |
|---|---|---|
| FP16 / BF16 | 2 | ≈14 GB |
| INT8 | 1 | ≈7 GB |
| INT4 | 0,5 | ≈3,5 GB |
Esto explica por qué la cuantización es la primera palanca que se toca cuando un modelo “no cabe”: pasar de FP16 a INT4 puede reducir el requisito de VRAM a una cuarta parte, a cambio de una pérdida de calidad que conviene medir para cada caso de uso (lo tratamos en detalle en nuestra guía de cuantización).
Por qué la caché KV cambia todo el cálculo
Un error habitual es dimensionar solo por el tamaño del modelo y olvidar la caché KV. En producción, con varios solicitudes concurrentes y contextos largos (documentos, historiales de conversación), la caché KV puede convertirse en el componente dominante de la memoria — no el modelo en sí.
La caché KV depende de la longitud del contexto, de las secuencias simultáneas y de la arquitectura: capas, cabezas KV y dimensión de cabeza. También influye la precisión utilizada para la caché.
Esto es exactamente lo que profundizamos en nuestro artículo dedicado a la caché KV, porque es la variable que más sorprende a quien dimensiona un servidor por primera vez.
Ejemplo práctico
Ejemplo con pesos de 8.000 millones de parámetros en FP16, 32 capas, 8 cabezas KV y dimensión de cabeza 128. Para 20 secuencias simultáneas de 4.096 tokens, con KV a 16 bits y sin compartir prefijos:
- Pesos teóricos: ≈16 GB.
- Caché KV: 2 × 32 × 8 × 128 × 4.096 × 20 × 2 bytes = ≈21,47 GB.
- Reserva orientativa del 15 % sobre pesos y KV: ≈5,62 GB.
Total de este ejemplo: ≈43,1 GB de VRAM.
Son GB decimales y supuestos explícitos, no una medición. El motor, sus buffers y los metadatos pueden exigir más memoria. Una GPU de 24 GB no cubre este escenario completo; cuantizar, limitar el contexto o distribuir la carga cambia el resultado.
De la teoría a tu caso concreto
Estos cálculos son una aproximación útil para entender el problema, pero cada modelo tiene una arquitectura distinta (número de capas, cabezas de atención, tipo de atención) que afecta al resultado real. Para no tener que hacer el cálculo a mano, puedes usar el Calculador LLM de servidores.tech, que aplica esta misma metodología con los datos específicos de cada modelo y te devuelve un informe con el margen de memoria disponible.