DP-3028 – Implement Generative AI engineering with Azure Databricks

Mit generativer künstlicher Intelligenz (KI) in Azure Databricks kannst du die Möglichkeiten der Plattform nutzen, um fortgeschrittene Sprachmodelle zu erforschen, zu optimieren, zu bewerten und zu integrieren. Dank der Skalierbarkeit von Apache Spark und der kollaborativen Umgebung von Azure Databricks kannst du komplexe KI-Systeme entwickeln.

Mit DP-3028 lernst du, wie du LLM-basierte Anwendungen in Azure Databricks planst, entwickelst, feinabstimmst, evaluierst und betreibst. Inhalte sind u. a. RAG (Retrieval-Augmented Generation), Multi-Step-Reasoning, Responsible AI sowie LLMOps – also der durchgehende Lebenszyklus von Sprachmodellen von der Entwicklung bis zum Betrieb. Die Microsoft-Lernpfade und ILT-Kurse decken genau diese Bausteine ab.

Erste Schritte mit Sprachmodellen in Azure Databricks

• Generative KI verstehen

• Große Sprachmodelle (LLMs) verstehen

• Wichtige Komponenten von LLM-Anwendungen identifizieren

• LLMs für Aufgaben der natürlichen Sprachverarbeitung (NLP) verwenden

Retrieval Augmented Generation (RAG) mit Azure Databricks implementieren

• Die wichtigsten Konzepte eines RAG-Workflows erkunden

• Deine Daten für RAG vorbereiten

• Relevante Daten mit Vektorsuche finden

• Die abgerufenen Ergebnisse neu bewerten

Mehrstufiges Schlussfolgern in Azure Databricks implementieren

• Was sind mehrstufige Schlussfolgerungssysteme?

• LangChain erkunden

• LlamaIndex erkunden

• Haystack erkunden

• Das DSPy-Framework erkunden

Sprachmodelle mit Azure Databricks feinabstimmen

• Einführung

• Was ist Feinabstimmung?

• Bereite deine Daten für die Feinabstimmung vor

• Feinabstimmung eines Azure OpenAI-Modells

Bewerte Sprachmodelle mit Azure Databricks

• Vergleiche LLM- und traditionelle ML-Bewertungen

• Bewerte LLMs und KI-Systeme

• Bewerte LLMs mit Standardmetriken

• Beschreibe LLM-as-a-judge für die Bewertung

Überprüfe die Grundsätze für verantwortungsvolle KI für Sprachmodelle in Azure Databricks

• Was ist verantwortungsvolle KI?

• Identifizieren Sie Risiken

• Mindern Sie Probleme

• Verwenden Sie wichtige Sicherheitstools zum Schutz Ihrer KI-Systeme

Implementieren Sie LLMOps in Azure Databricks

• Wechseln Sie von herkömmlichen MLOps zu LLMOps

• Verstehen Sie Modellbereitstellungen

• Beschreiben Sie die Bereitstellungsfunktionen von MLflow

• Verwenden Sie Unity Catalog zur Verwaltung von Modellen

Datenanalysten, KI-Ingenieure und Datenwissenschaftler

Bevor du mit diesem Modul beginnst, solltest du dich mit grundlegenden KI-Konzepten und Azure Databricks vertraut machen.

Eventuell solltest du zunächst den Kurs AI-900 - Microsoft Azure AI Fundamentals oder DP-900 - Microsoft Azure Data Fundamentals besuchen.