Calculadora de GPU
¿Qué GPU para mi modelo?
Elija un modelo, su precisión, su contexto y su concurrencia. Vea la memoria GPU que necesita, línea por línea, y las GPU que lo admiten.
Calculadora
Necesita 19.5 GiB de memoria GPU. Confianza alta
| Pesos del modelo | 8.03B parameters × 2 bytes (16-bit (FP16 or BF16)) | 15.0 GiB |
|---|---|---|
| Caché KV | 2 × 32 layers × 8 KV heads × 128 head dim × 2 bytes × 4,096 tokens × 1 concurrent | 0.5 GiB |
| Margen adicional | 20 % of the figures above (activations, allocator, quantization scales) | 3.1 GiB |
| Runtime CUDA | 1 GiB per GPU (CUDA context and library workspaces) | 1.0 GiB |
| Total | 19.5 GiB |
| Memoria GPU | 1 GPU | 2 GPU | 4 GPU | 8 GPU |
|---|---|---|---|---|
| 24 GB por GPU | Cabe | Cabe en 1 | Cabe en 1 | Cabe en 1 |
| 48 GB por GPU | Cabe | Cabe en 1 | Cabe en 1 | Cabe en 1 |
| 80 GB por GPU | Cabe | Cabe en 1 | Cabe en 1 | Cabe en 1 |
Cada solicitud puede usar el contexto completo. Caché KV en 16 bits.
La memoria se calcula a partir de los datos publicados de cada modelo: pesos (parámetros × bytes por parámetro), caché KV (capas × cabezas KV × dimensión de cabeza × contexto × solicitudes), un margen del 20 % y 1 GiB de runtime CUDA. Es una estimación, no una medición: los frameworks reservan la memoria de forma distinta, la velocidad no se estima y los modelos de imagen solo cuentan sus pesos.