Demander l'accès

Cas d'usage · Fine-tuning

Entraînez sur vos données. Gardez les poids.

Fine-tuning LoRA et QLoRA de LLM à poids ouverts avec Hugging Face TRL sur un GPU en centre de données. Entraînez, copiez l'adaptateur, terminez la session.

Demander l'accès Démarrage rapide
ubuntu@nl-4f2a
$ curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env$ uv venv --python 3.12 --seed && source .venv/bin/activate$ uv pip install torch --torch-backend=auto && uv pip install "trl[peft]"$ trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \  --dataset_name trl-lib/Capybara --use_peft --output_dir qwen-lora
Fonctionne tel quel sur Ubuntu 24.04 · CUDA 12.8.

Adaptez un modèle à poids ouverts à vos données avec LoRA. Entraînez pendant des heures, gardez l’adaptateur.

Quel GPU

Modèle de base LoRA (base en 16 bits) QLoRA (base en 4 bits)
Jusqu’à 3B 24 Go 16 Go
7B à 8B 48 Go 24 Go
13B à 14B 80 Go 48 Go
30B à 34B Plusieurs GPU 80 Go

Valeur exacte pour votre modèle : calculateur de GPU.

Étapes

  1. Démarrez une machine, à la demande ou réservée pour la durée de l’entraînement.
  2. Suivez la recette LoRA.
  3. Copiez l’adaptateur hors de la machine, puis terminez la session.

Demandez l'accès.

Dites-nous ce que vous allez exécuter. Votre accès arrive par courriel.

Demander l'accès Se connecter