Infraestructura para tu LLM.
Selecciona un servidor Lenovo o genérico, configura sus componentes y explora la memoria que necesita tu modelo.
Catálogo actual: plataformas Lenovo y configuración genérica.
Configurar Host
8 Lenovo + GenéricoRed adicional, alimentación y condiciones físicas
Las tarjetas se agrupan por modelo y ubicación. Las cantidades indicadas no sustituyen la asignación de cada ranura, ancho PCIe y cable. Las opciones de almacenamiento y montaje se consultan en la ficha.
Requisitos y comprobaciones pendientes
Rendimiento de CPU, RAM, disco y red
Los perfiles calculan automáticamente un rango orientativo. Introduce una medición para sustituirlo; 0 usa el perfil. RAM conserva 0 como dato pendiente. Se analiza el objetivo solicitado, no una carga observada.
Disco: perfiles de interfaz/formato, no un catálogo de referencias de compra. Compatibilidad final de montaje pendiente. Red: se usa el puerto más rápido seleccionado para servir la API. Fórmulas, alcance y fuentes ↗
Planificación del host y llegada de solicitudes
Reservas editables por equipo. La CPU se compara tanto por núcleos físicos como por tokenización. El tráfico de entrada y salida se evalúa por separado en enlaces full dúplex.
Actívalo solo si el motor conserva esa caché en el host. Una cola sin caché no consume esta reserva. El tiempo de arranque compara carga solapada y serial; no incluye deserialización.
Software empresarial y servicios
Selecciona los componentes previstos. Los recursos locales se suman a la carga; los servicios externos se muestran aparte. Plazos y referencias: catálogo documentado, sin precios.
Reserva adicional de NIM / Triton
Solo se aplica al marcar el runtime. Es una reserva de este proyecto, no un requisito de la licencia NVIDIA AI Enterprise; evita repetir recursos ya incluidos en tu medición del motor.
Consumo energético
Supuestos editables, no una medición: CPU/GPU al 20 % del TDP en reposo más el 80 % proporcional a la carga indicada; 8 W por DIMM, 6 W por disco y 15 W por tarjeta de red. Incluye pérdidas de fuente. PUE 1 excluye refrigeración externa.
La potencia medida sustituye toda la estimación del equipo. En GB300 se requiere la potencia de la solución completa, no de una bandeja. El TDP es una referencia térmica: esta aproximación no predice el consumo de un motor LLM ni dimensiona fuentes.
Ver catálogo auditado, cobertura y fuentes ↗ · Selección para dimensionamiento; no es una lista de materiales certificada por Lenovo.
Define la carga LLM
Reparto entre GPU y residencia de la caché
Se calculan GPU homogéneas dentro de un equipo. GPU restantes forman réplicas completas. PP usa la etapa más grande y presupuesta embeddings en cada etapa. TP/PP requieren soporte del motor; no se simula paralelismo entre equipos.
Arquitectura del modelo
MHA, GQA, MQA y MLA comprimida. En los modelos precargados, embeddings y salida se presupuestan en BF16 (una matriz si se declaran pesos compartidos; dos en otro caso); ajusta este dato en personalizado según el archivo cuantizado. Para MoE introduce todos los parámetros, no solo los activos. No se modelan estados recurrentes, DSA ni atención lineal.
Cuantización, paginación y reservas del motor
Los metadatos dependen del formato y del motor. Estos controles hacen explícita la estimación; no certifican que un kernel admita la combinación.
Márgenes, ejecución y entrenamiento
AdamW: dos estados FP32 (8 bytes por parámetro entrenable), más gradientes y copia maestra opcional. No se aplica ZeRO ni checkpointing. Las réplicas no comparten memoria. El contexto base por GPU y el margen adicional son presupuestos independientes.
Qué calcula esta versión
Pesos y caché
Se separan pesos cuantizados y parámetros que conservan BF16. La KV depende de la arquitectura, contexto, residencia, bloques y prefijo reutilizado. El tamaño de lote ya no se confunde con todos los usuarios.
MHA/GQA/MQA: 2 × capas × cabezas KV × dimensión × tokens × bytes. MLA comprimida: capas × (dimensión latente + RoPE) × tokens × bytes. TP puede replicar cabezas KV; MLA se presupuesta replicada entre los rangos TP.
Pico por GPU
Se suman pesos, KV, activaciones, logits, entrenamiento, comunicación, motor y margen. TP divide pesos; PP reparte capas. Se presupuesta la etapa más grande, con embeddings en todas las etapas como cota conservadora.
Activaciones: 2 × K × tokens × dimensión oculta; entrenamiento añade las capas por etapa. K es editable. Sin atención eficiente se añade una matriz cuadrática aproximada. El prefill fragmentado limita buffers de inferencia, no la KV total.
Fuentes y límites
Estimación de memoria y rendimiento a partir de los parámetros del modelo, la carga y el hardware seleccionado. Los resultados son orientativos, no mediciones.
Velocidad orientativa para los modelos precargados con TP=1 y PP=1: se compara lectura de memoria y cálculo, con un rango de eficiencias. No es un benchmark. No hay ZeRO/FSDP, paralelismo entre equipos ni speculative decoding. Todas las memorias se expresan en GB decimales (1 GB = 1.000.000.000 bytes). Se usan las capacidades nominales publicadas; la memoria utilizable aplica la reserva seleccionada.
Ver fórmulas, supuestos y referencias ↗