Anwendungsfall · Batch-Jobs
Tausende Dateien, eine Sitzung.
GPU-Batch-Jobs on demand oder für bis zu 30 Tage ausführen: Embeddings, Transkription, Evaluierung, Datenverarbeitung. Sie zahlen die genutzten Minuten.
$ rsync -avz ./job/ ubuntu@203.0.113.42:~/job/$ ssh ubuntu@203.0.113.42 'tmux new -d -s job "cd job && ./run.sh > run.log 2>&1"'$ ssh ubuntu@203.0.113.42 'tail -f ~/job/run.log'$ rsync -avz ubuntu@203.0.113.42:~/job/out/ ./out/Bringen Sie ein Skript und seine Eingaben mit, nehmen Sie die Ausgaben mit. Die Maschine wird am Ende gelöscht.
Welche GPU
| Job | Typischer VRAM |
|---|---|
| Embeddings, kleine Encoder | 16 GB |
| Speech-to-Text (Whisper large) | 16 bis 24 GB |
| Vision-Language-Captioning (7B) | 24 bis 48 GB |
| LLM-Evaluierung (7B bis 70B) | Siehe LLM-Inferenz |
Schritte
- Starten Sie eine Maschine.
- Laden Sie Code und Eingaben mit
rsynchoch und starten Sie den Job intmux. - Laden Sie die Ausgaben herunter und beenden Sie dann die Sitzung.
Zugang anfragen.
Sagen Sie uns, was Sie ausführen möchten. Ihr Zugang kommt per E-Mail.