Smart Launch
Dites ce que vous exécutez.Obtenez le GPU adapté.
Tapez un modèle. Le vrai moteur tourne dans votre navigateur.
Smart Launch · the real engine, in your browser.
$ llama 3.1 70b 4-bit 32k
Llama 3.1 70B Instruct · 4-bit · 32,768 tokens · 1 at a time
Model weights 32.9 GiB
KV cache 10.0 GiB
Overhead margin 8.6 GiB
CUDA runtime 1.0 GiB
Needs 52.5 GiB
B300 270 GB fits
B200 180 GB fits
H200 141GB SXM 141 GB fits
RTX PRO 6000 96 GB fits
H100 80GB SXM 80 GB fits
H100 80GB PCIe 80 GB fits
A100 80GB SXM 80 GB fits
L40S 48 GB fits on 2
L40 48 GB fits on 2
RTX A6000 48 GB fits on 2
RTX A4000 16 GB fits on 4
Medium confidence. Same input, same answer.
Also: Llama 3.3 70B Instruct
Your turn: type a model, or help.
La réponse
Un calcul. Jamais une supposition.
Classement
La performance mesurée par dollar en tête.
Raisons
Pourquoi ça convient, ses limites, sa confiance.
Emplacement
Seulement les pays que vous choisissez.
Environnements
Prêts au lancement. Épinglés par empreinte.
- JupyterLab
- JupyterLab 4
- PyTorch
- PyTorch 2.9.0 · CUDA 12.8
- vLLM
- vLLM 0.11.0 · CUDA 12.8
- Ollama
- Ollama 0.12.6
Lancez avec un budget.
Jamais facturé au-delà.
Demandez l'accès.
Dites-nous ce que vous allez exécuter. Votre accès arrive par courriel.