KI-Apps containerisieren mit Podman, Docker & Kubernetes

Wenn ein Modell im Notebook funktioniert, heißt das noch lange nicht, dass es im Betrieb stabil, reproduzierbar und sicher läuft. In diesem Seminar bringst du KI-Anwendungen in eine Form, die Teams zuverlässig ausrollen und betreiben können: als Docker-Container und als Kubernetes-Workloads. Du startest mit dem Aufbau sinnvoller Images für Inferenz und gegebenenfalls Training: Base-Image-Auswahl, Layering, Caching und ein Abhängigkeitsmanagement, das Builds reproduzierbar macht. Danach klärst du, wie Modellartefakte und Daten in der Praxis gehandhabt werden, ohne sie unkontrolliert in Images zu backen, und wie Konfiguration über Environment, ConfigMaps und Secrets sauber getrennt wird. Im nächsten Schritt geht es um Performance und GPU: Du verstehst die Treiber- und CUDA-Kompatibilität, setzt die NVIDIA Container Runtime richtig ein und lernst, wie Requests, Limits und IO die Latenz beeinflussen. Auf Kubernetes-Seite arbeitest du mit Deployments, Services und Ingress, richtest Readiness- und Liveness-Probes ein und gestaltest Rollouts so, dass Modellwechsel nicht zu Ausfällen führen. Du übst Muster wie Canary und Blue-Green, planst Batch-Inferenz als Jobs und denkst über Autoscaling mit HPA nach. Abgerundet wird der Kurs durch Security und Betrieb: Least Privilege, Rootless-Ansätze, Image-Scanning, SBOM, Netzwerk-Policies sowie Metriken und Logs, die dir bei Inferenzproblemen wirklich helfen. Am Ende kannst du eine KI-API containerisieren, im Cluster ausrollen und mit klaren Betriebsroutinen verantworten.

Container-Setup für KI-Workloads

• Docker-Images für Inferenz und Training: Base-Images, Layering, Caching

• Python-Abhängigkeiten reproduzierbar: Wheels, Lockfiles, Build-Strategien

• Modellartefakte und Daten: Mounts, Volumes, Object Storage Patterns

• Healthchecks, Logging und Konfiguration per Environment

Performance und GPU in Containern

• NVIDIA Container Runtime: Voraussetzungen und typische Stolperstellen

• CUDA-kompatible Images und Treiber-Matrix verstehen

• Batching, Concurrency und Warmup für Inferenz

• Ressourcenlimits: CPU, RAM, GPU und IO sinnvoll setzen

Kubernetes-Grundlagen für KI-Services

• Pods, Deployments, Services, Ingress: was du wirklich brauchst

• ConfigMaps und Secrets: Konfiguration ohne Image-Neubau

• Readiness/Liveness: saubere Rollouts ohne Ausfälle

• Autoscaling-Grundlagen: HPA, Requests und Limits

Deployment-Muster für Modelle und APIs

• REST/gRPC Inferenz-API containerisieren (z. B. FastAPI)

• Modellversionierung: Tags, Immutable Images, Registry-Strategie

• Blue-Green und Canary Releases für Modellwechsel

• Job-Workloads: Batch-Inferenz und Scheduled Jobs

Security, Compliance und Supply Chain

• Least Privilege: Rootless, Capabilities, Pod Security

• Image-Scanning und SBOM: Risiken sichtbar machen

• Secrets Handling: keine Keys im Image, Rotation verstehen

• Netzwerk-Policies und sichere Ingress-Konfiguration

Observability und Betrieb

• Metriken für KI: Latenz, Throughput, Fehler, Queueing

• Logs und Traces: Debugging von Inferenzproblemen

• Rollbacks und Incident-Playbooks für Deployments

• Kosten- und Kapazitätsdenken: Node Pools, GPU-Auslastung

Dieses Seminar richtet sich an ML Engineers und Data Scientists, die Verantwortung für den produktiven Betrieb ihrer Modelle übernehmen. Ebenso profitieren DevOps- und Platform-Engineers sowie Softwareentwickler und IT-Architekten, die moderne KI-Workloads in bestehende IT-Infrastrukturen integrieren und standardisierte Deployment-Prozesse etablieren möchten.

• Grundkenntnisse in Linux/CLI und Container-Grundlagen sind hilfreich.

• Erste Berührung mit Kubernetes oder Cloud-Networking ist von Vorteil, aber nicht zwingend.