Smart Launch
Diga qué ejecuta.Obtenga la GPU adecuada.
Escriba un modelo. El motor real se ejecuta en su navegador.
Smart Launch · the real engine, in your browser.
$ llama 3.1 70b 4-bit 32k
Llama 3.1 70B Instruct · 4-bit · 32,768 tokens · 1 at a time
Model weights 32.9 GiB
KV cache 10.0 GiB
Overhead margin 8.6 GiB
CUDA runtime 1.0 GiB
Needs 52.5 GiB
B300 270 GB fits
B200 180 GB fits
H200 141GB SXM 141 GB fits
RTX PRO 6000 96 GB fits
H100 80GB SXM 80 GB fits
H100 80GB PCIe 80 GB fits
A100 80GB SXM 80 GB fits
L40S 48 GB fits on 2
L40 48 GB fits on 2
RTX A6000 48 GB fits on 2
RTX A4000 16 GB fits on 4
Medium confidence. Same input, same answer.
Also: Llama 3.3 70B Instruct
Your turn: type a model, or help.
La respuesta
Un cálculo. Nunca una suposición.
Clasificación
Primero, el rendimiento medido por dólar.
Motivos
Por qué cabe, sus límites, su nivel de confianza.
Ubicación
Solo los países que elija.
Entornos
Listos al iniciar. Fijados por digest.
- JupyterLab
- JupyterLab 4
- PyTorch
- PyTorch 2.9.0 · CUDA 12.8
- vLLM
- vLLM 0.11.0 · CUDA 12.8
- Ollama
- Ollama 0.12.6
Lance con un presupuesto.
Nunca se factura más allá.
Solicite acceso.
Díganos qué va a ejecutar. Recibirá su acceso por correo electrónico.