Caso de uso · Inferencia de LLM
Un endpoint compatible con OpenAI, con vLLM.
Sirva LLM de pesos abiertos con vLLM en una GPU de centro de datos. API compatible con OpenAI por un túnel SSH, facturada por minuto.
$ curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env$ uv venv --python 3.12 --seed && source .venv/bin/activate$ uv pip install vllm --torch-backend=auto$ vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192Un endpoint compatible con OpenAI para su modelo, durante el tiempo que lo necesite.
Qué GPU
| Tamaño del modelo | 16 bits | Cuantizado en 8 o 4 bits |
|---|---|---|
| 7B a 8B | 24 GB como mínimo, 48 GB con holgura | 16 GB |
| 13B a 14B | 48 GB | 24 GB |
| 30B a 34B | 80 GB | 48 GB |
| 70B | Varias GPU (paralelismo de tensores) | 80 GB |
Cifra exacta para su modelo y su contexto: calculadora de GPU.
Pasos
-
Inicie una máquina con suficiente VRAM.
-
Siga la receta de vLLM.
-
Abra un túnel y llame a
http://localhost:8000/v1:ssh -N -L 8000:localhost:8000 ubuntu@203.0.113.42
Solicite acceso.
Díganos qué va a ejecutar. Recibirá su acceso por correo electrónico.