Anwendungsfall · Fine-Tuning
Mit Ihren Daten trainieren. Die Gewichte behalten.
LoRA- und QLoRA-Fine-Tuning von Open-Weight-LLMs mit Hugging Face TRL auf einer GPU im Rechenzentrum. Trainieren, Adapter kopieren, Sitzung beenden.
$ curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env$ uv venv --python 3.12 --seed && source .venv/bin/activate$ uv pip install torch --torch-backend=auto && uv pip install "trl[peft]"$ trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \ --dataset_name trl-lib/Capybara --use_peft --output_dir qwen-loraPassen Sie ein Open-Weight-Modell mit LoRA an Ihre Daten an. Stundenlang trainieren, den Adapter behalten.
Welche GPU
| Basismodell | LoRA (16-Bit-Basis) | QLoRA (4-Bit-Basis) |
|---|---|---|
| Bis 3B | 24 GB | 16 GB |
| 7B bis 8B | 48 GB | 24 GB |
| 13B bis 14B | 80 GB | 48 GB |
| 30B bis 34B | Mehrere GPUs | 80 GB |
Genauer Wert für Ihr Modell: GPU-Rechner.
Schritte
- Starten Sie eine Maschine, on demand oder für den Lauf reserviert.
- Folgen Sie dem LoRA-Rezept.
- Kopieren Sie den Adapter heraus und beenden Sie dann die Sitzung.
Zugang anfragen.
Sagen Sie uns, was Sie ausführen möchten. Ihr Zugang kommt per E-Mail.