KI Securitykurs: Schutz vor bösartigen LLMs, WormGPT & Co.

Bösartige KI-Tools wie WormGPT und FraudGPT verändern nicht nur die Qualität von Phishing-Mails, sondern auch die Geschwindigkeit, mit der Angreifer ganze Kampagnen aufsetzen, variieren und automatisieren. In diesem Seminar analysierst du typische Angriffsketten, in denen LLMs für Reconnaissance, Pretexting, Malware-Lure, Helpdesk-Bypass oder Business Email Compromise eingesetzt werden. Du lernst, welche Verteidigungsmaßnahmen wirklich greifen, wenn Textqualität nicht mehr als Indikator taugt und Angriffe stark personalisiert sind. Ein Schwerpunkt liegt auf Prompt-Injection und indirekter Prompt-Injection in Chatbots, RAG-Systemen und Agenten-Workflows. Du erarbeitest, wie Angreifer über Dokumente, Links oder Tickets Anweisungen einschleusen, Daten abziehen oder Tool-Aufrufe missbrauchen. Darauf aufbauend entwickelst du Hardening-Maßnahmen wie Input- und Output-Filter, Guardrails, Zitier- und Quellenpflicht in RAG, sowie Secrets-Schutz für Tokens und API-Keys. Gleichzeitig baust du Detection-Ansätze: Welche Log-Quellen du brauchst, welche Signale in IdP, E-Mail, Proxy, EDR, DLP und GenAI-Telemetrie entstehen und wie daraus robuste Heuristiken und Playbooks für SOC und Incident Response werden. Am Ende kannst du GenAI-Use-Cases risikobasiert bewerten, Kontrollen priorisieren und Vorfälle so dokumentieren, dass Ursachen im Prozess und nicht nur im Modell sichtbar werden.

Bedrohungsbild: bösartige KI in der Praxis

• WormGPT, FraudGPT und ähnliche Modelle: Fähigkeiten und Grenzen

• Angriffsketten mit GenAI: von Recon bis Exfiltration

• Warum klassische Security-Kontrollen oft zu spät greifen

Prompt-Injection, Data Poisoning, Model Abuse

• Prompt-Injection in Chatbots, RAG und Agenten

• Indirekte Prompt-Injection über Dateien, Links, Tickets

• Poisoning von Trainingsdaten und Wissensbasen

• Abuse von Tools, Plugins und Actions

KI-gestütztes Phishing und Social Engineering

• Business Email Compromise mit LLM-Textqualität

• Deepfake Voice: Angriffsabläufe und Erkennungsmerkmale

• Pretexting, Smishing, MFA-Fatigue, Helpdesk-Bypass

Detection Engineering für GenAI-Angriffe

• Log-Quellen: E-Mail, IdP, EDR, Proxy, DLP, Chatbot-Telemetrie

• Signale und Heuristiken: Schreibmuster, TTPs, Anomalien

• Playbooks für SOC: Triage, Evidence, Eskalation

Hardening von LLM- und RAG-Systemen

• Input/Output-Filter, Content Policies, Guardrails

• Secrets-Schutz: Token, API-Keys, Prompt-Leaks verhindern

• RAG-Sicherheit: Quellenbewertung, Chunking, Zitierpflicht

• Least Privilege für Agenten und Tool-Aufrufe

Incident Response und Forensik bei KI-Missbrauch

• Beweissicherung: Prompts, Kontexte, Tool-Calls, Artefakte

• Root Cause: Lücke im Workflow statt nur im Modell

• Post-Incident Maßnahmen: Controls, Training, Monitoring

Governance, Risiko und Compliance

• Risikobewertung für GenAI-Use-Cases (Threat Modeling)

• Policy-Design: erlaubte Daten, erlaubte Tools, Freigaben

• Lieferkette: Anbieterprüfung, Datenflüsse, Verträge

• SOC-Analystinnen und SOC-Analysten, Incident Responder

• Security Engineers, Detection Engineers, Threat Hunter

• IAM-, E-Mail- und Endpoint-Security-Verantwortliche

• Architektinnen und Architekten für GenAI, RAG und Agenten

• Für alle, die KI-gestützte Angriffe erkennen, abwehren und untersuchen wollen

• Grundkenntnisse in IT-Security, gängigen Angriffsmethoden und Logging (z. B. E-Mail, IdP, EDR).

• Sicherer Umgang mit LLMs

• Hilfreich sind erste Berührungspunkte mit RAG, aber nicht zwingend.

Mit dieser KI Schulung im Bereich Cybersecurity lernst du, wie du Angriffe durch bösartige LLMs wie WormGPT früh erkennst, realistisch bewertest und wirksam abwehrst. Du baust ein praxisnahes Verständnis dafür auf, wie generative KI für Social Engineering und automatisierte Attacken missbraucht wird, und leitest daraus konkrete Schutzmaßnahmen für Prozesse und Systeme ab. Das spart Zeit in Analyse und Incident Response, reduziert Fehlalarme und stärkt die Sicherheitskultur im Team.