Open-Source LLM Fine-Tuning für Entwickler

Du willst LLMs nicht nur nutzen, sondern sie perfekt auf deine spezifischen Anforderungen zuschneiden? In diesem Seminar lernst du, wie du Open-Source-Modelle wie Llama, Mistral oder Qwen professionell optimierst und in deine Infrastruktur integrierst. Wir gehen weit über einfaches Prompting hinaus: Du steigst tief in den kompletten Fine-Tuning-Lifecycle ein – von der strategischen Auswahl des Base Models bis zum sicheren Deployment.

Du meisterst Techniken wie LoRA und QLoRA, um Hardware-Ressourcen effizient zu nutzen, und lernst mit Direct Preference Optimization (DPO), dein Modell präzise auf Nutzerpräferenzen auszurichten. Ein besonderer Schwerpunkt liegt auf der Evaluation: Wir zeigen dir, wie du mit Golden Sets und LLM-as-a-Judge die Qualität deiner Ergebnisse messbar und reproduzierbar machst. Am Ende bringst du dein Modell mit vLLM oder TGI performant in den Betrieb, inklusive Quantisierung und effektivem Schutz gegen Prompt Injection. Werde zum Experten für produktionsreife KI-Lösungen!

Modell- und Trainingsstrategie festlegen

• Use-Case-Scoping: Chat, RAG, Tool-Use, Klassifikation

• Base Model Auswahl: Llama, Mistral, Qwen und Lizenzfallen

• Compute-Kalkulation: VRAM, Throughput, Kosten, Zeit

• PEFT vs. Full Fine-Tuning: wann sich was lohnt

Daten, die wirklich wirken

• Instruction-Datasets: Struktur, Prompt-Formate, Systemregeln

• Qualitätssicherung: Dedup, Leakage, Toxicity, PII

• Labeling-Workflows: Guidelines, Inter-Annotator-Checks

• Data Mixing: Domain, General, Safety, Hard Negatives

Supervised Fine-Tuning (SFT) mit PEFT

• LoRA/QLoRA: Rank, Alpha, Target Modules

• Tokenisierung, Packing, Sequence Length, Loss Masking

• Training mit Hugging Face Transformers + TRL

• Stabilität: LR-Schedules, Grad-Accumulation, Checkpoints

Preference Tuning: DPO statt Bauchgefühl

• Pairwise Preferences: Datenschema und Sampling

• DPO-Grundidee, Beta, Overfitting auf Präferenzen

• Alternativen: ORPO, IPO, Best-of-N Sampling

• Guardrails: Ablehnungen, Policy-Style, Safety-Prompts

Evaluation, die dich vor Überraschungen schützt

• Offline-Eval: Task-Suites, Regression Tests, Golden Sets

• LLM-as-a-Judge: Bias, Kalibrierung, Gegenchecks

• Halluzinationsmessung in RAG-Setups

• Monitoring-Metriken: Drift, Cost per Answer, Latency

Deployment & Betrieb

• Export: Adapter-Merge, Quantisierung (GPTQ/AWQ)

• Serving: vLLM/TGI, Batching, KV-Cache, Streaming

• Security: Prompt Injection, Data Exfiltration, Secrets

• Release-Prozess: Modellkarten, Versionierung, Rollback

Dieses Seminar richtet sich an Softwareentwickler, Machine Learning Engineers und Data Scientists, die den Schritt von der reinen API-Nutzung zum eigenen, optimierten Modell gehen wollen. Auch MLOps-Teams, die für das Serving und die Sicherheit von KI-Modellen in Produktumgebungen verantwortlich sind, erhalten hier das notwendige Rüstzeug für reproduzierbare und performante Deployments.

• Solide Python-Grundlagen und Erfahrung mit CLI/Git.

• Grundverständnis von Transformer/Tokenisierung und ML-Training (Begriffe wie Loss, Epoch, Overfitting).