Generative AI im neuen Azure AI Studio


Thomas Drilling27. November 2024

Gestalte deine KI-Reisen im Azure AI Studio neu und entdecke, wie generative KI deine Projekte revolutioniert!

Illustration eines leuchtenden, mit Schaltkreisen versehenen Gehirns über einer Plattform mit der Aufschrift „AI“ als Symbol für die Technologie der künstlichen Intelligenz

Generative AI-Funktionen in der Praxis

In zwei vorangegangen Artikeln habe ich dir gezeigt, was man grundsätzlich unter generativer AI versteht, wie du generative AI in Form von Copiloten mit und ohne Microsoft-Tools nutzen kannst und wie du das neue Azure AI Studio einrichtest. In diesem Beitrag zeige ich dir Nutzung generativer AI im AI Studio. Die vermittelten Kenntnisse sind wertvoll zur Zertifizierung AI 102 (Azure AI Engineer Associate).

Für die Nutzung generativer AI im Azure kannst du entweder …

  • eine Azure OpenAI -Ressource erzeugen und das Azure OpenAI-Studio verwenden

  • oder eine Ressource vom Typ „Azure OpenAI“, „Azure AI Service“, bzw. „Azure AI services multi-service-account“ und das Azure AI-Studio verwenden, je nach Kontext auch „Azure KI-Studio“ genannt.

Dieser Artikel konzentriert sich auf letztere. Wie im vorangegangenen Artikel erläutert kannst dazu …

  • … entweder mit dem Azure AI Studio starten und dort ein neues Projekt ablegen. Dies zieht das Aufsetzen eines Hubs und das Anlegen einer Ressource vom Typ „Azure AI services“ sowie eines verknüpften Speicherkontos und eines Schlüsseltresors nach sich.

Die von einer neuen Azure-AI-Projekt erzeugten Azure-RessourcenDie von einer neuen Azure-AI-Projekt erzeugten Azure-Ressourcen

… oder im Azure-Portal nach einer Ressource vom Typ „Azure KI Studio“ suchen und dort neuen AI-Hub erstellen („New Azure AI hub“). Danach wechselst du im AI Studio zu deinem Hub, dort zu „Alle Projekte“ und erstellst mit dem gleichnamigen Button ein „Neues Projekt“.

Erstellen eines neuen ProjektesErstellen eines neuen Projektes

So oder so kannst du dich danach im https://ai.azure.com AI Studio mit dem zugehörigen Organisationskonto anmelden und loslegen.

Ein neues Projekt wird erstelltEin neues Projekt wird erstellt

Deine Projekt-Übersicht sieht nun so aus:

Die Details eines neuen Projektes in der ÜbersichtDie Details eines neuen Projektes in der Übersicht

Da das neue AI Studio sämtliche in Azure verfügbaren KI-Services adressiert, wir uns aber hier mit generativer AI befassen wollen, bräuchtest du eigentlich eine Azure-Ressource von Typ „Azure OpenAI“. Allerdings wurde beim Anlegen des Hubs bereits eine Azure-Ressource vom Typ „Azure AI services“ erstellt, auf deren Basis du ebenfalls OpenAI-Funktionen, also generative AI nutzen kannst. Du kannst dir jetzt z. B. unter „Modellkatalog“ die verfügbaren Modelle ansehen. Du erkennst beim jeweiligen Modell auch den vorgesehenen Verwendungszweck, wie z. B. „Spracherkennung“, „Chat-Abschls“, „Sprachsynthese“ oder „Text-zu-Bild“.

Der mitgelieferte Modellkatalog bietet knapp 1800 direkt einsetzbare ModelleDer mitgelieferte Modellkatalog bietet knapp 1800 direkt einsetzbare Modelle

Dieser Modellkatalog in Azure AI Studio fungiert als dein Hub zur Bereitstellung und Erkundung einer Vielzahl von Modellen, die als Basis für deine generativen KI-Anwendungen dienen könnten. In Vergleich dazu stünde dir im Chat-Bot des Microsoft Copiloten nur „gpt-4“ zur Verfügung. Würdest du über „gtp-3.5“ hinausgehende Modelle beim Partner und Konkurrenten OpenAI verwenden wollen, müsstest du bei OpenAI ein Konto erstellen und einen kostenpflichtigen Plan erwerben.

Im Azure AI-Studio kannst du jedes verfügbare Modell verwenden. Die entstehenden Kosten werden dann über dein Azure-Abonnement nutzungsbasiert abgerechnet. Preis-Details zu den OpenAI-Features findest du auf der zugehörigen https://azure.microsoft.com/en-us/pricing/details/cognitive-services/openai-service/#pricing Preisseite von Microsoft.  Den „Tarif“ siehst du in der zugehörigen Azure-Ressource vom Typ „Azure AI services“. Hinzu kommen allerdings (je nach Modell) die Kosten für die Rechenleistung, die zur Bereitstellung und Ausführung der Modelle erforderlich ist. Manche Modelle erlauben z. B. auch einen serverlosen Betrieb.

Der „Tarifplan“ ist eine Eigenschaft der jeweiligen Azure-AI-RessourceDer „Tarifplan“ ist eine Eigenschaft der jeweiligen Azure-AI-Ressource

Derzeit stellt der Modellkatalog fast 1800 Modelle von Modellanbietern wie Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA und Hugging Face zur Verfügung, einschließlich Modelle, die Microsoft selbst trainiert hat. Modelle von anderen Anbietern als Microsoft, sind Nicht-Microsoft-Produkte, wie in den Microsoft-Produktbedingungen definiert und unterliegen den mit den Modellen gelieferten Geschäftsbedingungen. Im Detail gruppiert der Modellkatalog alle Modelle in Form von drei Sammlungen (Collections):

  • Exklusiv in Azure verfügbare Azure OpenAI-Modelle: Hierbei handelt es sich um die Flagship-Modelle von OpenAI, welche dank der Integration des AI Studios mit Azure OpenAI Service verfügbar sind. Microsoft unterstützt diese Modelle, bzw. deren Nutzung gemäß den zugehörigen Produktbedingungen und sichert die dort aufgelisteten https://www.microsoft.com/licensing/docs/view/Service-Level-Agreements-SLA-for-Online-Services SLAs für Azure OpenAI Service zu.

  • Kuratiert durch Azure AI: (Zusammengestellt von Azure KI): Hierbei handelt es sich um die beliebtesten Nicht-Microsoft-Modelle mit offener Gewichtung sowie um proprietäre Modelle, gepackt und optimiert für den nahtlosen Einsatz auf der Azure AI-Plattform. Das Verwenden dieser Modelle unterliegt den Lizenzbedingungen der jeweiligen Modellanbieter. Nutzt du Modelle dieser Kategorie in Azure KI Studio, unterliegt deren Verfügbarkeit ebenfalls der entsprechenden Azure-Vereinbarung zum Servicelevel (SLA) (siehe oben) und Microsoft bietet Unterstützung für Bereitstellungsprobleme. Modelle von Partnern wie Meta, NVIDIA oder Mistral AI dagegen kannst du in dieser Kategorie identifizieren, indem du im Katalog nach der Collection „Zusammengestellt von Azure KI“ filterst.

  • Offene Modelle aus dem Hugging Face-Hub: Hier findest du hunderte von Modellen aus dem „Hugging Face-Hub“ für echtzeitbasierte Rückschlüsse mit verwalteten Compute Services. Die in dieser Sammlung aufgelisteten Modelle wurden von https://huggingface.co/ Hugging Face erstellt. Für etwaige Hilfe musst du dich in diesem Fall an das https://discuss.huggingface.co/ Hugging Face-Forum oder den https://huggingface.co/support wenden.

Filtern im gut gefüllten ModellkatalogFiltern im gut gefüllten Modellkatalog

Azure AI Studio -Modelle bereitstellen

Die Optionen zur Bereitstellung des jeweiligen Modells sind modellabhängig und variieren. So kannst du einige Modelle mit der Option „verwaltete Compute Services“ bereitstellen, andere wiederrum kannst du mit Hilfe der serverlose APIs mit Abrechnung mit nutzungsbasierter Bezahlung bereitstellen. Dazu unten mehr.

Diagramm zum Vergleich von „Managed Compute“ und „Models as a Service“, mit Benutzerabonnement, Inferenzendpunkt, GPU und Azure Machine Learning Service.Die Bereitstellungsoptionen „Azure Verwaltet“ versus „Serverless“. (Quelle: Microsoft)

Wähle nun beispielsweise das Modell „gpt4“. Klickst du auf das Modell, findest du zunächst eine Modellbeschreibung und von hier aus die Option, das Modell bereitzustellen.

Screenshot von Microsoft Azure AI Studio, der die Details des GPT-4-Modells anzeigt, einschließlich Bereitstellungsoptionen und Modellversionen.Modellübersicht des gewählten Modells

Klicke dazu einfach auf „Bereitstellen“. Den vorgeschlagenen Bereitstellungsnamen leitet das System aus dem Modellnamen ab. In der Übersicht (Bereitstellungsdetails) siehst du die spezifische Modellversion, das zugeordnete Projekt, die verbundene Azure-AI-Ressource, den Authentifizierungstyp und den Ressourcenspeicherort. Mit einem Klick auf „Anpassen“ kannst du aber weiteren Einfluss nehmen.

Screenshot einer Webseite, die ein Pop-up-Fenster mit dem Titel „Modell bereitstellen gpt-4“ mit Modelleinstellungen und Konfigurationsoptionen zeigtBereitstellung anpassen

In den Anpassungen kannst du u. a. das Ratenlimit (Token pro Minute) anpassen oder den verwendeten Inhaltsfilter wählen.

Screenshot einer Weboberfläche mit Einstellungen für die Konfiguration eines GPT-4-Modells, mit Optionen für Modellname, Nutzungsgrenzen und PreisstufeRaten-Limit als Bereitstellungsoption

Klicke dann auf „Bereitstellen“. In der anschließend präsentierten Übersicht findest du u. a. die Ziel-URL für den Endpunkt und den Schlüssel zur programmatischen Verwendung. Ferner findest du hier auch nützliche Quick-Links u. a. zu Microsofts https://aka.ms/aoai-codesample-repository Repository mit Code-Beispielen.

Screenshot eines Microsoft Azure-Portals mit Details für eine Ressource mit dem Namen „gpt-4“ und Registerkarten für Details, Metriken sowie Rollen und Sicherheit.Erfolgreiche Bereitstellung in der Übersicht

Du kannst die Leistungsfähigkeit des Modells testen, indem du auf „Im Playground öffnen“ klickst. Du kannst jetzt das Modell im Chat testen und im rechten Teil des Playground-Fensters deine Eingaben machen. Im linken Teil des Fensters (Setup) kannst du die in diesem Artikel (Link) erläuterten Modell-Parameter anpassen oder (derzeit noch Vorschau) eigene Daten hinzufügen.

Screenshot einer Software-Oberfläche, die eine Chat-Spielwiese mit Einrichtungsoptionen auf der linken Seite und einen Textausgabebereich auf der rechten Seite zeigt.npassen der Modell-Parameter

Im Beispiel-Chat der Abbildung oben habe ich das KI-Modell gefragt, wie die für die Bereitstellung erforderliche Compute-Kapazität in Azure realisiert wird und ob diese Frage modellabhängig ist. In der Antwort ist die KI nicht ganz präzise. Du darfst dabei nämlich nie vergessen, dass es sich bei dieser Form generativer AI immer noch nur um ein großes Sprachmodell handelt, d. h. du musst gerade bei technischen Fragen in der Lage sein, die gelieferten Antworten einzuordnen und zu beurteilen. Wenn du es besser weist, frage weiter nach und setze das System unter Druck. So kannst du dessen Grenzen ausloten. Die Frage mit der Compute-Kapazität kannst du beispielsweise sehr einfach selbst verifizieren.

Während wir beispielsweise oben zuerst das Modell gewählt und es dann bereitgestellt haben, kannst du auch andersherum vorgehen und in das Menü „Bereitstellungen“ wechseln und von dort aus eine neue Bereitstellung starten mit einem Klick auf „Modell bereitstellen“. Hier wählst du im Klapp-Menü „Bereitstellen eines Basismodells“.

Screenshot einer Webseite, die eine Schnittstelle zur Modellbereitstellung in Azure Machine Learning zeigt, mit Optionen zur Erstellung und Verwaltung von ModellenEin anderer Weg, ein Modell bereitzustellen ausgehend von „Bereitstellungen“

Dann wählst du aus der Modellliste mit derzeit 1795 Modellen deinen Favoriten aus (hier gpt-4).

Ein Computerbildschirm, der eine Modellauswahlschnittstelle in Azure ML Studio anzeigt und das GPT-4-Modell für die Bereitstellung hervorhebt.Der Bereitstellung folgt bei diesem Weg das gewünschte Modell

Du kannst aber auch mit Filtern arbeiten, um dir für deinen Zweck geeignete Modelle anzeigen zu lassen. Klickst du beispielsweise auf Bereitstellungsoptionen hast du die Wahl zwischen von Azure „verwaltete Computeressourcen“ und „Serverlose API“.

Screenshot einer Modellbereitstellungsschnittstelle in Azure ML Studio. Das Fenster zeigt Modellauswahloptionen und Bereitstellungseinstellungen anModelle, die auf Basis der serverlosen API bereitgestellt werden

Auf diese Weise wird klar, dass die Chat-GPT-Basis-Modelle über die serverlose API bereitgestellt werden. Deswegen zahlst du auch nur für den Verbrauch.  Filterst du hingegen nach „Verwaltete Computeressourcen“ findest du z. B. die Modelle von Mistral, Microsoft oder OpenAI.

Screenshot einer Softwareoberfläche, die ein Modellauswahlfenster mit Optionen für verschiedene Modelle anzeigt, darunter „Phi-3.5 mini-instruct“.Modelle, die auf Basis von verwalteten Compute-Ressourcen bereitgestellt werden

Generative AI im neuen Azure AI Studio - Tipp:

Übrigens: Im „Azure Machine Learning-Studio“ könntest du auch Modelle auf Basis dedizierter Compute-Ressourcen bereitstellen.

Schulungen, die dich interessieren könnten