Smart Launch
Sagen Sie, was Sie ausführen.Erhalten Sie die passende GPU.
Geben Sie ein Modell ein. Die echte Engine läuft in Ihrem Browser.
Smart Launch · the real engine, in your browser.
$ llama 3.1 70b 4-bit 32k
Llama 3.1 70B Instruct · 4-bit · 32,768 tokens · 1 at a time
Model weights 32.9 GiB
KV cache 10.0 GiB
Overhead margin 8.6 GiB
CUDA runtime 1.0 GiB
Needs 52.5 GiB
B300 270 GB fits
B200 180 GB fits
H200 141GB SXM 141 GB fits
RTX PRO 6000 96 GB fits
H100 80GB SXM 80 GB fits
H100 80GB PCIe 80 GB fits
A100 80GB SXM 80 GB fits
L40S 48 GB fits on 2
L40 48 GB fits on 2
RTX A6000 48 GB fits on 2
RTX A4000 16 GB fits on 4
Medium confidence. Same input, same answer.
Also: Llama 3.3 70B Instruct
Your turn: type a model, or help.
Die Antwort
Eine Berechnung. Nie geraten.
Ranking
Gemessene Leistung pro Dollar zuerst.
Begründung
Warum es passt, seine Grenzen, seine Konfidenz.
Standort
Nur die Länder Ihrer Wahl.
Umgebungen
Beim Start bereit. Per Digest fixiert.
- JupyterLab
- JupyterLab 4
- PyTorch
- PyTorch 2.9.0 · CUDA 12.8
- vLLM
- vLLM 0.11.0 · CUDA 12.8
- Ollama
- Ollama 0.12.6
Mit Budget starten.
Nie darüber hinaus abgerechnet.
Zugang anfragen.
Sagen Sie uns, was Sie ausführen möchten. Ihr Zugang kommt per E-Mail.