GPU-Rechner
Welche GPU für mein Modell?
Wählen Sie ein Modell, seine Präzision, den Kontext und die Parallelität. Sie sehen den benötigten GPU-Speicher, Zeile für Zeile, und die GPUs, die ihn fassen.
Rechner
Benötigt 19.5 GiB GPU-Speicher. Hohe Konfidenz
| Modellgewichte | 8.03B parameters × 2 bytes (16-bit (FP16 or BF16)) | 15.0 GiB |
|---|---|---|
| KV-Cache | 2 × 32 layers × 8 KV heads × 128 head dim × 2 bytes × 4,096 tokens × 1 concurrent | 0.5 GiB |
| Overhead-Puffer | 20 % of the figures above (activations, allocator, quantization scales) | 3.1 GiB |
| CUDA-Runtime | 1 GiB per GPU (CUDA context and library workspaces) | 1.0 GiB |
| Gesamt | 19.5 GiB |
| GPU-Speicher | 1 GPU | 2 GPUs | 4 GPUs | 8 GPUs |
|---|---|---|---|---|
| 24 GB pro GPU | Passt | Passt auf 1 | Passt auf 1 | Passt auf 1 |
| 48 GB pro GPU | Passt | Passt auf 1 | Passt auf 1 | Passt auf 1 |
| 80 GB pro GPU | Passt | Passt auf 1 | Passt auf 1 | Passt auf 1 |
Jede Anfrage kann den vollen Kontext nutzen. KV-Cache in 16 Bit.
Der Speicher wird aus den veröffentlichten Eckdaten jedes Modells berechnet: Gewichte (Parameter × Bytes pro Parameter), KV-Cache (Schichten × KV-Heads × Head-Dimension × Kontext × Anfragen), 20 % Puffer und 1 GiB CUDA-Runtime. Das ist eine Schätzung, keine Messung: Frameworks reservieren Speicher unterschiedlich, die Geschwindigkeit wird nicht geschätzt, und bei Bildmodellen zählen nur die Gewichte.