Die passende GPU für Ihr Modell

Öffnen Sie in der Konsole Catalog und dann Launch by workload. Geben Sie an, was Sie tun möchten, mit welchem Modell, und nennen Sie Budget und Präferenzen. Sie erhalten die Maschinen, auf die Ihr Workload passt, günstigste zuerst, jeweils mit Begründung.

Die Antwort ist eine Berechnung: Bei gleichen Eingaben ist sie immer gleich. Gebucht wird erst, wenn Sie bei einer Maschine auf Launch klicken.

Die drei Schritte

1. What you want to do: ein Modell ausführen, ein Modell fine-tunen, Bilder generieren oder ein Notebook öffnen.
2. Which model: Wählen Sie es aus der Liste, dann seine Präzision (16-Bit, 8-Bit oder 4-Bit), den Kontext pro Anfrage und die Zahl gleichzeitiger Anfragen. Für ein Notebook ohne Modell geben Sie den benötigten GPU-Speicher ein.
3. Budget and preferences: ein Budget, ein Höchstpreis pro Stunde, die Stufe (Secure, Community oder beide) und die Länder, in denen die Maschine laufen muss. EU umfasst alle Mitgliedstaaten der Europäischen Union.

Jedes Modell zeigt seine Parameterzahl, seine Lizenz und einen Link zu den Angaben, nach denen es dimensioniert wurde.

So wird der GPU-Speicher berechnet

Für ein Sprachmodell ist der Speicherbedarf die Summe aus vier Posten:

Jeder Wert stammt aus der veröffentlichten Konfiguration des Modells: Parameter, Schichten, KV-Heads, Head-Dimension, längster Kontext. Das Ergebnis zeigt jeden Posten mit ausgefüllter Formel.

Beispiel: Llama 3.1 8B in 16-Bit

Mit 4.096 Token Kontext und einer Anfrage gleichzeitig:

Eine GPU mit 24 GiB fasst das Modell, eine GPU mit 16 GiB nicht. In 4-Bit braucht dasselbe Modell etwa 6,1 GiB.

Der KV-Cache wächst mit dem Kontext und mit der Zahl der Anfragen: Bei 128.000 Token für eine Anfrage belegt er allein 15,6 GiB. Dimensionieren Sie den Kontext nach dem, was Ihre Anfragen tatsächlich nutzen.

Fine-Tuning

Fine-tune a model dimensioniert ein LoRA-Training. Das Basismodell bleibt eingefroren, trainiert werden kleine Adapter:

• LoRA auf einer 16-Bit- oder 8-Bit-Basis: die Basisgewichte plus Adapter mit Rang 16 auf den Attention-Projektionen, mit 16 Bytes pro trainierbarem Parameter (Gewicht, Gradient und AdamW-Zustände).
• QLoRA auf einer 4-Bit-Basis: die Basis in 4-Bit-NormalFloat, 4,127 Bit pro Parameter mit doppelter Quantisierung, plus dieselben Adapter.

Hinzu kommen die Aktivierungen für die eingegebene Sequenzlänge und Batchgröße, mit aktiviertem Gradient Checkpointing. Das Kontextfeld wird zu Sequence length, das Anfragenfeld zu Batch size.

Die Formeln stammen aus veröffentlichten Arbeiten: LoRA, QLoRA, ZeRO für die Optimizer-Zustände und Activation Recomputation.

Bildgenerierung

Eine Bild-Pipeline lädt mehrere Netze: den Denoiser, seine Text-Encoder und einen Autoencoder. Die Gewichte aller Netze werden exakt gezählt, dazu kommen Marge und Laufzeit. Die Marge ist für ein Bild in der nativen Auflösung des Modells ausgelegt; größere Bilder und Batches brauchen mehr. Deshalb haben Bildergebnisse eine niedrige Konfidenz.

Spracherkennung

Für Whisper wird der KV-Cache des Decoders auf sein 30-Sekunden-Fenster dimensioniert, für jeden gleichzeitigen Audiostream.

So wird eine Maschine geprüft

Eine Maschine passt, wenn ihr GPU-Speicher die Summe fasst:

• Auf einer GPU, wenn eine genügt.
• Über mehrere GPUs derselben Maschine bei einem Sprachmodell, das für eine GPU zu groß ist: Gewichte und KV-Cache werden per Tensor-Parallelität gleichmäßig aufgeteilt. Dazu muss die Zahl der Attention-Heads des Modells durch die Zahl der GPUs teilbar sein.
• Bildmodelle, Spracherkennungsmodelle und Fine-Tuning werden auf einer GPU geprüft.

Der GPU-Speicher einer Secure-Maschine stammt vom Rechenzentrum oder aus dem Datenblatt des Herstellers. Bei einer Community-Maschine ist es der Wert, den die Maschine des Anbieters meldet, ohne Prüfung durch Node Lodge.

Fehlt eine Angabe (die Maschine meldet ihren GPU-Speicher nicht, oder ein Modellwert ist nicht veröffentlicht), wird die Maschine ausgelassen. Keine Maschine wird auf Verdacht empfohlen.

Das Ergebnis lesen

• GPU memory needed: die Summe, Posten für Posten, mit den zugrunde liegenden Annahmen.
• Recommended machines: die passenden Maschinen, günstigste zuerst. Öffnen Sie eine Zeile für Why it fits und die Limits: Herkunft des Speicherwerts, knappe Marge, Buchungslimit, unterbrechbare Maschine.
• Budget covers: wie lange Ihr Budget auf dieser Maschine zu ihrem Tarif reicht.
• Confidence: hoch, mittel oder niedrig. Hoch für ein Sprachmodell in 16-Bit auf einer Maschine, deren Speicherwert vom Rechenzentrum stammt. Niedriger bei quantisierten Gewichten, bei einem auf mehrere GPUs verteilten Modell, bei einem Wert aus der Meldung eines Anbieters, bei knapper Marge sowie für Bildgenerierung und Fine-Tuning, die stärker von den Einstellungen abhängen.
• Alternatives: Maschinen, die passen, aber eine Präferenz verletzen (über Ihrem Preis, andere Stufe), und dasselbe Modell in geringerer Präzision, wenn das mehr oder günstigere Maschinen erschließt.
• Constraints applied: alles, was die Antwort berücksichtigt hat.

Maschinen außerhalb der gewählten Länder werden nie angeboten, auch nicht als Alternativen. Eine Maschine mit unbekanntem Standort gilt nicht als innerhalb dieser Länder.

Grenzen

• Die Geschwindigkeit wird nicht geschätzt. Token pro Sekunde oder Bilder pro Minute erscheinen erst, wenn sie auf der Maschine gemessen wurden.
• Die Eignung ist eine Berechnung. Frameworks unterscheiden sich: Ein Inferenzserver kann mehr Speicher reservieren als nötig, ein Trainingsskript zusätzliche Kopien vorhalten. Wenn Sie die Einstellungen des Frameworks ändern, behalten Sie die Marge im Blick.
• Nur sofort verfügbare Maschinen. Geprüft werden nur Community-Maschinen, die online sind, und Secure-Maschinen, die vorrätig sind.
• Community-Maschinen laufen auf der eigenen Hardware des Anbieters. Der Anbieter kann den Arbeitsspeicher der Sitzung lesen. Siehe Secure und Community.