Open-Source-LLMs lokal betreiben: Grundkurs

Du möchtest die Power von Large Language Models nutzen, ohne deine sensiblen Daten in die Cloud zu schicken? In unserem Seminar lernst du, wie du Open-Source-LLMs souverän auf deiner eigenen Hardware betreibst. Wir zeigen dir nicht nur, wie du eine lokale Laufzeit stabil einrichtest, sondern auch, wie du durch Quantisierung das Maximum aus deiner CPU und GPU herausholst. Du erfährst, wie Transformer-Modelle im Detail funktionieren und wie du durch präzises Prompting reproduzierbare Ergebnisse im JSON-Format erzwingst. Gemeinsam bauen wir eine lokale RAG-Pipeline auf, damit deine KI auf Basis deiner eigenen Dokumente antwortet – sicher, schnell und unabhängig. Erhalte volle Kontrolle über deine Workflows und etabliere professionelle Routinen für Evaluation und Datenschutz. Starte jetzt durch und mache dich unabhängig von großen Cloud-Anbietern.

LLM-Grundlagen für Open-Source-Stacks

• Transformer, Token, Kontextfenster, Sampling verständlich einordnen

• Inferenz vs. Training, Quantisierung und ihre Grenzen

• Modellformate und Laufzeit-Ökosystem: GGUF, safetensors

Lokale Laufzeit einrichten und vergleichen

• llama.cpp und Ollama: Installation, Modelle, Updates

• CPU vs. GPU: VRAM, RAM, Durchsatz, Latenz

• Basis-Tuning: Kontext, Temperatur, Top-p, Wiederholungsstrafen

Prompting, das reproduzierbar funktioniert

• System-, Entwickler- und Nutzer-Prompts sauber trennen

• Strukturierte Ausgaben: JSON, Tabellen, feste Schemas

• Fehlerbilder: Halluzinationen, Prompt Injection, Overconfidence

RAG lokal: Wissen anbinden statt raten

• Chunking, Embeddings, Retrieval, Re-Ranking als Pipeline

• Lokale Vektordatenbanken und Dateiquellen (PDF, Markdown)

• Qualität messen: Trefferquote, Zitierbarkeit, Kontextbudget

Evaluation und Betrieb

• Qualitätskriterien: Faktentreue, Konsistenz, Stil, Sicherheit

• Testsets, Prompt-Regression, einfache Benchmarks

• Logging, Datenschutz, Modell- und Prompt-Versionierung

Use-Cases, Grenzen, nächste Schritte

• Assistenz für Schreiben, Analyse, Code-Reviews, Support-Entwürfe

• Wann Cloud-Modelle sinnvoller sind, wann lokal gewinnt

• Roadmap: Tools, Fine-Tuning-Optionen, Governance

Dieser Kurs richtet sich an IT-Administratoren, DevOps-Verantwortliche und Softwareentwickler, die KI-Services souverän im eigenen Unternehmen bereitstellen möchten. Ebenso profitieren IT-Sicherheitsbeauftragte sowie Data Engineers davon, die RAG-Systeme unter strikten Datenschutzaspekten lokal aufbauen und evaluieren müssen.

• Grundverständnis von IT-Systemen (Dateisystem, Prozesse, Netzwerk) und sicherer Umgang mit der Kommandozeile.

• Hilfreich sind Basiskenntnisse in Python oder einer Skriptsprache, aber nicht zwingend.