Zugang anfragen

Anwendungsfall · LLM-Inferenz

Ein OpenAI-kompatibler Endpoint mit vLLM.

Open-Weight-LLMs mit vLLM auf einer GPU im Rechenzentrum bereitstellen. OpenAI-kompatible API über einen SSH-Tunnel, minutengenau abgerechnet.

Zugang anfragen Schnellstart
ubuntu@nl-4f2a
$ curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env$ uv venv --python 3.12 --seed && source .venv/bin/activate$ uv pip install vllm --torch-backend=auto$ vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192
Läuft unverändert auf Ubuntu 24.04 · CUDA 12.8.

Ein OpenAI-kompatibler Endpoint für Ihr Modell, so lange Sie ihn brauchen.

Welche GPU

Modellgröße 16-Bit 8-Bit oder 4-Bit quantisiert
7B bis 8B mindestens 24 GB, komfortabel 48 GB 16 GB
13B bis 14B 48 GB 24 GB
30B bis 34B 80 GB 48 GB
70B Mehrere GPUs (Tensor-Parallelität) 80 GB

Genauer Wert für Ihr Modell und Ihren Kontext: GPU-Rechner.

Schritte

  1. Starten Sie eine Maschine mit genug VRAM.

  2. Folgen Sie dem vLLM-Rezept.

  3. Öffnen Sie einen Tunnel und rufen Sie http://localhost:8000/v1 auf:

    ssh -N -L 8000:localhost:8000 ubuntu@203.0.113.42

Zugang anfragen.

Sagen Sie uns, was Sie ausführen möchten. Ihr Zugang kommt per E-Mail.

Zugang anfragen Anmelden