Demanda frente a capacidad

Actualización 1.0-rfc2: la versión actual amplía estas fórmulas base con metadatos por grupos, reservas de host y software. Consulta el dimensionamiento actualizado y sus fuentes. Los perfiles anteriores siguen disponibles como alternativa manual.

Implementación propia para planificar inferencia, no un benchmark. Cada indicador expresa demanda / capacidad: menor es más margen; 100 % es el límite. No son porcentajes observados de uso.

Se toma el objetivo de tokens/s, no la velocidad estimada de GPU. Solicitudes/s por equipo = usuarios × objetivo tokens/s / respuesta media / equipos. Supone usuarios continuamente activos, reparto uniforme y omite tiempos de prompt y cola, por lo que es una aproximación conservadora de tráfico sostenido. La respuesta se limita a contexto menos prompt.

Perfiles automáticos (v0.8)

Los perfiles son supuestos editables, no mediciones ni benchmarks por SKU. CPU: escenario nativo 1.000–4.000 tokens/s por trabajador y conservador 250–1.000. Trabajadores efectivos = mínimo(núcleos seleccionados, trabajadores configurados); factor de escalado = trabajadores^0,7. Se comparte la misma base entre familias porque no hay evidencia para atribuir una clasificación IPC específica a cada SKU. No modela offload de capas en CPU. Un tokenizer o texto diferente puede quedar fuera del rango. Se puede sustituir por una medición agregada.

Disco: HDD 0,1–0,2; SATA SSD 0,3–0,5; SAS SSD 0,6–1; NVMe 2–6 GB/s por unidad. Son bandas de planificación propias, no máximos de interfaz ni prestaciones de un modelo. En modo independiente solo lee una unidad. En paralelo: unidades × 70 % de eficiencia si hay más de una, condicionado a pesos distribuidos y lector paralelo; controladora/PCIe pueden limitarlo. Una medición sustituye la velocidad total y no vuelve a multiplicarse.

El dial usa el extremo conservador. El tiempo de disco muestra ambos extremos. Añadir núcleos no acelera el perfil si ya se alcanza el número de trabajadores configurado.

Los formatos se filtran según las guías de producto de Lenovo Press: SE455 LP1724 (solo frontal, 4 SATA/NVMe); SR680 V4 LP2264 (8 NVMe); SR680 V3 LP1909 y SR685 LP1910 (16 NVMe); SR780 LP1980 (12 NVMe); SR650 LP2128 (8 SATA/SAS/NVMe o E3.S); SR675 LP1611 (según variante, 8 de 2,5 pulgadas —variante 4 hasta 4 NVMe—, 6 E1.S o 4 E3.S); GB300 LP2357 (hasta 8 E1.S por bandeja). Son límites de plataforma: backplane, controladora, cableado, ranuras y referencia concreta aún requieren validación. No se añaden unidades internas/M.2 de arranque. En GB300 es una referencia por bandeja, no el agregado del rack.

Referencias: Hugging Face: tokenizadores nativos y otras implementaciones; Lenovo: prestaciones de SSD por modelo. Estas fuentes no validan los coeficientes heurísticos del configurador.

CPU

Demanda de tokenización y detokenización = solicitudes/s × (tokens de prompt + tokens de respuesta). Se compara con el throughput medido de ambos procesos en el conjunto de CPU del equipo. La medición no se infiere de núcleos/TDP; el perfil automático solo aplica el supuesto de trabajadores descrito arriba. No incluye planificación del motor ni cálculo de capas descargadas. 0 activa el perfil automático de CPU.

RAM

Presupuesto de carga = una copia compartida de pesos + reserva de SO; si el mínimo de offload es mayor, se toma ese mínimo. Puede variar según mmap, copias por proceso y cargador. En memoria unificada se cuenta la carga LLM una sola vez más SO. Capacidades y demanda en GB decimales; el catálogo conserva sus capacidades nominales publicadas. Reserva inicial de SO: 8,589934592 GB.

Con offload: tráfico mínimo de pesos/s = mínimo de pesos descargados por equipo × pasos/s necesarios al objetivo. Pasos/s = tokens/s por usuario × usuarios de la réplica más ocupada / lote activo. GB/s usa bytes decimales. El dial muestra el mayor cociente entre capacidad y ancho de banda, cuando este se ha medido. No incluye KV de host, NUMA, PCIe, ni cálculo CPU. Por ello no se predice velocidad global de offload.

Disco

Tiempo mínimo de lectura fría = bytes de una copia de pesos / lectura efectiva del almacenamiento. Dial = tiempo de lectura / objetivo de segundos. No incluye inicialización, deserialización, transferencia a GPU, caché, copias concurrentes por réplica, dataset ni checkpoints. No se simula offload a disco. La velocidad introducida y el perfil no certifican una referencia de unidad compatible con Lenovo.

Red

API de inferencia: solicitudes/s × máximo(prompt, respuesta) × bytes por token × 8. Se toma la dirección más ocupada porque el puerto es full duplex. Capacidad = puerto más rápido de las tarjetas seleccionadas × eficiencia editable; no se suman puertos ni tarjetas. SR680a V4 considera la red integrada. Se supone que ese puerto se dedica a servir la API. No incluye TP/PP, almacenamiento por red ni entrenamiento distribuido. Sin puerto seleccionado se muestra pendiente, no capacidad cero.

Fuentes y límites

los valores medidos se aportan en el configurador. El gráfico no suma porcentajes de magnitudes diferentes ni garantiza que se alcance el objetivo de generación.

Consumo, emisiones y eficiencia

CO₂e (kg) = kWh × factor (g CO₂e/kWh) / 1000. El factor inicial de 108 g es una referencia aproximada de generación de España 2025, calculada con 29,5 millones de toneladas y 272.201 GWh del informe de Red Eléctrica; no representa necesariamente tu suministro, ni incluye ciclo de vida. Es editable. Tokens/kWh = tokens/s por usuario × usuarios × 3600 / kW medios de la solución (incluido PUE). Es una combinación orientativa de dos estimaciones; no una medida de eficiencia del hardware.

La comparación gráfica usa kWh y kg CO₂e por millón de tokens generados. Valores menores son mejores para la misma tarea. Los objetivos iniciales de 20 kWh y 2 kg son referencias editables de planificación, no umbrales científicos de eficiencia. La banda representa el rango de rendimiento: tono neutro dentro de la referencia, rojo por encima de la referencia y ámbar cuando la cruza. Referencia editable, no es un criterio de eficiencia. No se valora cuando falta potencia o velocidad. No incluye tiempo de prefill ni cola.