Calculateur GPU
Quel GPU pour mon modèle?
Choisissez un modèle, sa précision, son contexte et sa concurrence. Voyez la mémoire GPU nécessaire, ligne par ligne, et les GPU qui la contiennent.
Calculateur
Nécessite 19.5 GiB de mémoire GPU. Confiance élevée
| Poids du modèle | 8.03B parameters × 2 bytes (16-bit (FP16 or BF16)) | 15.0 GiB |
|---|---|---|
| Cache KV | 2 × 32 layers × 8 KV heads × 128 head dim × 2 bytes × 4,096 tokens × 1 concurrent | 0.5 GiB |
| Marge de surcharge | 20 % of the figures above (activations, allocator, quantization scales) | 3.1 GiB |
| Environnement CUDA | 1 GiB per GPU (CUDA context and library workspaces) | 1.0 GiB |
| Total | 19.5 GiB |
| Mémoire GPU | 1 GPU | 2 GPU | 4 GPU | 8 GPU |
|---|---|---|---|---|
| 24 Go par GPU | Convient | Tient sur 1 | Tient sur 1 | Tient sur 1 |
| 48 Go par GPU | Convient | Tient sur 1 | Tient sur 1 | Tient sur 1 |
| 80 Go par GPU | Convient | Tient sur 1 | Tient sur 1 | Tient sur 1 |
Chaque requête peut utiliser tout le contexte. Cache KV en 16 bits.
La mémoire est calculée à partir des caractéristiques publiées de chaque modèle : poids (paramètres × octets par paramètre), cache KV (couches × têtes KV × dimension de tête × contexte × requêtes), une marge de 20 % et 1 GiB pour l'environnement CUDA. C'est une estimation, pas une mesure : les frameworks réservent la mémoire différemment, la vitesse n'est pas estimée, et les modèles d'image ne comptent que leurs poids.