LLM Security: Injections erkennen & abwehren Seminar

LLMs eröffnen neue Angriffsflächen, die klassische AppSec-Ansätze nicht abdecken: Prompt-Injection, Jailbreaking, manipulierte RAG-Quellen oder missbrauchte Agenten-Tools. In diesem zweitägigen Seminar lernst Du, wie diese Angriffe funktionieren und mit welchen technischen und organisatorischen Maßnahmen Du sie erkennst und abwehrst.

Ausgehend von den OWASP Top 10 for LLM Applications und der Architektur von Transformern arbeitest Du Dich durch direkte und indirekte Prompt-Injection-Techniken, Obfuscation-Varianten und Angriffe über externe Datenquellen und Vector-Stores. Darauf aufbauend behandelst Du Verteidigungsstrategien wie Input-Validierung, Output-Filter, System-Prompt-Härtung und Guardrails nach dem Defense-in-Depth-Prinzip.

Den Abschluss bildet der sichere Betrieb von LLM-Systemen im Alltag: Monitoring, Logging, Rate Limiting gegen Unbounded Consumption sowie eine Strategie für internes Red-Teaming, mit der Du Deine eigenen Anwendungen kontinuierlich auf Schwachstellen prüfen kannst.

LLM-Security-Grundlagen und OWASP-Risiken

• LLM-Architektur aus Sicherheitsperspektive

• Transformer, Tokenizer und Context Window

• AppSec-Unterschiede bei LLM-Anwendungen

• OWASP Top 10 for LLM Applications

• LLM-Lifecycle und kritische Kontrollpunkte

Prompt-Injection und Jailbreaking

• Direkte Prompt-Injection-Angriffe

• Jailbreaking gegen Sicherheitsrichtlinien

• Obfuscation und Payload-Varianten

• Automatisierte Tests gegen LLM-APIs

• Token-Manipulation und Prompt-Smuggling

Indirect Prompt Injection und RAG-Security

• Manipulierte externe Datenquellen

• Versteckte Instruktionen in Dokumenten

• RAG-Manipulation über Retrieval-Kontext

• Vector- und Embedding-Weaknesses

• Datenexfiltration durch Prompt-Hacking

Guardrails und Defense-in-Depth

• Input-Validierung und Output-Filter

• System-Prompt-Härtung

• Guardrails und Policy-Enforcement

• Erkennung adversarialer Eingaben

• Isolation von Tools und Berechtigungen

Sicherer Betrieb und Governance

• Monitoring von LLM-Interaktionen

• Logging sicherheitsrelevanter Ereignisse

• Rate Limiting gegen Unbounded Consumption

• Kontrollierte Agenten- und Tool-Nutzung

• Interne Red-Teaming-Strategie

Das Seminar richtet sich an IT-Sicherheitsbeauftragte, Security-Analystinnen und Security-Analysten sowie Penetration Testerinnen und Tester, die LLM-Anwendungen gezielt auf Schwachstellen prüfen wollen.

Ebenso angesprochen sind Softwareentwicklerinnen und Softwareentwickler, AI-Engineers und Data Scientists, die LLM-Anwendungen bauen oder betreiben, sowie DevSecOps-Ingenieurinnen und -Ingenieure mit Verantwortung für KI-Integrationen und API-Sicherheit.

Architektinnen und Architekten, die RAG-Systeme, Chatbots oder Agenten gegen Manipulation absichern müssen, finden im Seminar konkrete Verteidigungsstrategien für ihre Systeme.

Für die Teilnahme solltest Du Grundkenntnisse in Python mitbringen und sicher mit Entwicklungsumgebungen umgehen können. Außerdem wird ein Grundverständnis von LLMs, Prompts, Tokens und Context Window vorausgesetzt. Erfahrung mit REST-APIs, JSON und Web-Anwendungen ist hilfreich, aber keine zwingende Voraussetzung.