Cas d'usage · Inférence LLM

Un point de terminaison compatible OpenAI avec vLLM.

Servez des LLM à poids ouverts avec vLLM sur un GPU en centre de données. API compatible OpenAI par tunnel SSH, facturée à la minute.

Demander l'accès Démarrage rapide

ubuntu@nl-4f2a

$ curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env$ uv venv --python 3.12 --seed && source .venv/bin/activate$ uv pip install vllm --torch-backend=auto$ vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192

Fonctionne tel quel sur Ubuntu 24.04 · CUDA 12.8.

Un endpoint compatible OpenAI pour votre modèle, aussi longtemps que nécessaire.

Quel GPU

Taille du modèle	16 bits	Quantifié en 8 ou 4 bits
7B à 8B	24 Go minimum, 48 Go confortable	16 Go
13B à 14B	48 Go	24 Go
30B à 34B	80 Go	48 Go
70B	Plusieurs GPU (parallélisme de tenseurs)	80 Go

Valeur exacte pour votre modèle et votre contexte : calculateur de GPU.

Étapes

Démarrez une machine avec assez de VRAM.
Suivez la recette vLLM.
Ouvrez un tunnel et appelez http://localhost:8000/v1 :
```
ssh -N -L 8000:localhost:8000 ubuntu@203.0.113.42
```

Demandez l'accès.

Dites-nous ce que vous allez exécuter. Votre accès arrive par courriel.

Demander l'accès Se connecter