Azure KI Vision-Ressource zur Bildklassifizierung (Teil 1)

Bereitstellen einer Azure KI Vision-Ressource zur Bildklassifizierung (Teil 1)

Azure KI Vision ist eine Sammlung von Diensten, die Entwicklern dabei helfen, Anwendungen zu erstellen, die visuelle Daten verstehen und interpretieren können. Dieser und der folgende Beitrag bieten eine kleine Einführung in dieses faszinierende Thema. Du suchst den fundierten Einstieg in Azure KI? Dann empfehlen wir dir unsere Azure KI Schulungen!

Passende Schulungen

AI-102 – Designing and Implementing a Microsoft Azure AI Solution (AI-102T00)

AI-3002 – Entwickeln von Lösungen mit Azure KI Dokument Intelligenz

Der Dienst Azure KI Vision stellt vorab trainierte Modelle bereit, um Bilder zu analysieren und Erkenntnisse und Informationen daraus zu extrahieren. Das Angebot umfasst mehrere Dienste. Dazu gehören z. B. Computer Vision, Custom Vision oder Face API. Alle verwenden fortschrittliche Machine-Learning-Algorithmen, die Entwickler dabei unterstützten, Bilder und Videos zu analysieren und wertvolle Erkenntnisse zu gewinnen. In Summe bietet der Dienst folgende Funktionen:

• Generieren von Tags und Beschreibungen: mit Hilfe der mit diesem Feature verknüpften Algorithmen können Entwickler passende Beschriftungen für ein Bild bestimmen oder relevante „Tags“ identifizieren, die sich als Schlüsselwörter zur Angabe des Motivs verwenden lassen.
• Objekterkennung: hilft beim Erkennen des Vorhandenseins und der Position bestimmter Objekte im Bild.
• Personenerkennung: Hilft beim Erkennen des Vorhandenseins, der Position und der Merkmale von Personen in einem Bild.
• Kategorieermittlung: hilft beim Bestimmen, welche Kategorisierung für das Bild passend ist oder ob es bekannte Sehenswürdigkeiten enthält.
• Entfernen des Hintergrunds: Erkennt den Hintergrunds in einem Bild und ist in der Lage, das Bild mit transparentem Hintergrund auszugeben.
• Bildmetadaten-, Farb- und Typanalyse: hilft beim Bestimmen des Formats und der Größe eines Bildes sowie dessen vorherrschende Farbpalette oder erkennt, ob ein ClipArt enthalten ist
• Moderationsbewertung: mit diesem Modell kann die KI erkennen, ob ein Bild nicht jugendfreie oder gewalttätige Inhalte hat
• Generierung intelligenter Miniaturansichten: mit dieser Funktion ermittelt die KI den interessantesten Bereich im Bild, um mit dieser Information eine kleinere „Miniaturversion“ zu erstellen
• Optische Zeichenerkennung: hilft beim Erkennen von Text im Bild

Entwickler können Azure KI Vision als Einzeldienstressource bereitstellen oder die Azure KI Vision-API in einer Azure KI Services-Ressource für mehrere Dienste nutzen. Suche dazu im Azure Portal nach „Azure AI services“. Hier kannst du z. B. ein „Custom Vision“ erstellen oder die Gesichtserkennungs-API nutzen. Hast du noch keinen Azure AI Service Plan erstellt, kannst du das jetzt nachholen.

Entwickler bevorzugen meist die REST-API oder die unterstützten SDKs. Zur Analyse eines Bildes lässt sich beispielsweise die REST-Methode „Analyze Image“ oder die entsprechende Methode im SDK der jeweiligen Programmiersprache einsetzen. Hier gibst du dann die visuellen Funktionen an, welche in die Analyse einfließen sollen. Gibst du dabei Kategorien an, kannst du auch Details zu Prominenten oder Sehenswürdigkeiten einschließen. Allerdings ist für zur Erkennung von Prominenten die Genehmigung durch eine https://learn.microsoft.com/en-us/azure/ai-services/cognitive-services-limited-access Richtlinie für eingeschränkten Zugriff erforderlich. Die folgende Methode in C# gibt ein JSON-Dokument mit den angeforderten Informationen zurück.

using Azure.AI.Vision.Common;
using Azure.AI.Vision.ImageAnalysis;

var serviceOptions = new VisionServiceOptions(Environment.GetEnvironmentVariable("VISION_ENDPOINT"),new AzureKeyCredential(Environment.GetEnvironmentVariable("VISION_KEY")));

Passende Schulungen

AI-3003 – Entwickeln von Lösungen für die Verarbeitung natürlicher Sprache mit Azure KI Services

AI-3004 – Erstellen von Lösungen für maschinelles Sehen mit Azure KI Vision

using var imageSource = VisionSource.FromUrl(new Uri("<url>"));
var options = new ImageAnalysisOptions()
{

Features = ImageAnalysisFeature.Caption | ImageAnalysisFeature.Text,
Language = "en",
GenderNeutralCaption = true

};

using var analyzer = new ImageAnalyzer(serviceOptions, imageSource, options);
var result = analyzer.Analyze();

Du kannst Azure KI-Vision auch zum Berechnen und Erzeugen von Thumbnails verwenden. Du kannst mit Azure KI Vision Miniaturansichten mit unterschiedlichen Abmessungen (und Seitenverhältnissen) aus einem gegeben Quellbild erstellen. Zusätzlich kannst du dabei auch die Bildanalyse nutzen, um den interessantesten Bereich des Bildes, also das Hauptmotiv zu ermitteln. Diese Option ist nützlich, wenn sich beim inhaltsorientierten Zuschneiden auch das Seitenverhältnis ändert. Im Allgemeinen würde der Prozess etwa so ablaufen:

1. Störende Elemente: Der Azure KI Vision-Algorithmus entfernt störende Elemente aus dem Bild.
2. Identifizieren des relevanten Bereichs: Der relevante Bereich (Bildbereich mit den wichtigsten Objekten) wird identifiziert.
3. Zuschneiden des Bildes: Das Bild wird auf Grundlage des erkannten relevanten Bereichs zugeschnitten.

Das Seitenverhältnis wird entsprechend den Abmessungen des Zielminiaturbilds geändert. Die Azure KI Vision 3.2-API verwendet intelligentes Zuschneiden, um intuitive Bildminiaturansichten zu erstellen, die die wichtigsten Bereiche eines Bilds mit Priorität auf ggf. erkannten Gesichtern enthalten. Das Feature zum Generieren von Miniaturansichten ist über die APIs „Get Thumbnail“ (Miniaturansicht abrufen) und „Get Area of Interest“ (Relevanten Bereich abrufen) verfügbar. Du kannst diese API über ein natives SDK oder REST aufrufen.

Bildklassifizierung Beispiel

Hast du einen Azure-AI-Service-Plan erstellt kannst du z. B. im Browser das neue   https://customvision.ai  Custom Vision Portal von Microsoft aufrufen.

Meldest du dich hier mit einem Azure-Mandaten an, in dem du über einen Azure-AI-Service-Plan verfügst, kannst du nun mit „NEW PROJECT“ ein neues Custom-Version-Projekt starten.

Du kannst aber ebenso gut im Azure-Portal ausgehend von der Seite „Azure AI Services“ auf „Custom Vision“ klicken und dort ein neues „Custom Vision erstellen“.

Für Tests eignet sich der Tarif „Fee S0“. Du kannst abweichende Tarife für Training und Vorhersage wählen.

Noch einfacher gelingt hingegen der Einstieg in AI Vision mit dem neuen https://portal.vision.cognitive.azure.com Azure AI Vision Studio.

Wähle hier beispielsweise „Create smart-cropped images“ und klicke auf den Link „Please select a resource“ um sich mit der gewünschten Azure Subscription zu verbinden. Der Dienst steht momentan nur in „East US“, „West US“, “North Europe“, „West Europ“, „France Central“, „Korea Central“, und „Southeast Asia“ zur Verfügung.

Bei der Gelegenheit kannst du auch gleich – sofern nicht vorher geschehen – eine passende CognitiveServices-Ressource erstellen. Wir verwenden den Tarif „Free S0“.

Anschließend kannst du mit Thumbnail-Erstellung mit einem der bereitgestellten Demo-Bilder testen oder ein eigenes Bild hochladen. Das Ergebnis sollte etwa so aussehen:

Für Entwickler eher interessant: Am oberen Bildschirmrand befinden sich Links zur https://learn.microsoft.com/en-us/azure/ai-services/computer-vision/how-to/call-analyze-image-40?tabs=csharp&pivots=programming-language-csharp SDK Reference, zur Verwendung der https://centraluseuap.dev.cognitive.microsoft.com/docs/services/unified-vision-apis-public-preview-2023-02-01-preview/operations/61d65934cd35050c20f73ab6 REST-API  und zu weiteren SDK-Beispielen auf https://github.com/Azure-Samples/azure-ai-vision-sdk GitHub, mit denen wir uns im nächsten Teil befassen werden.

Azure KI Fazit

Azure AI Services, customvision.ai und Azure AI Vision Studio sind allesamt Dienste, die von Microsoft bereitgestellt werden, um KI-Lösungen zu entwickeln. Sie unterscheiden sich im Detail und Verwendungszweck.

1. Azure AI Services: Azure AI Services ist eine Sammlung von KI-Diensten, die von Microsoft Azure bereitgestellt werden. Es bietet eine Vielzahl von Diensten, einschließlich, aber nicht beschränkt auf, Custom Vision. Mit Azure AI Services kannst du deine eigenen Modelle erstellen und trainieren, ohne dass du über Data Science- oder ML-Kenntnisse verfügen musst.
2. customvision.ai: Customvision.ai ist eine spezifische Plattform innerhalb der Azure AI Services, die sich auf die Erstellung von Custom Vision-Projekten konzentriert. Es ermöglicht dir, deine eigenen Bildklassifizierungs- und Objekterkennungsmodelle zu erstellen und zu trainieren.
3. Azure AI Vision Studio: Azure AI Vision Studio ist ein Teil der Azure AI Services und ermöglicht es, benutzerdefinierte Bildbezeichnermodelle mit der neuesten Technologie von Azure zu erstellen.

Hier gehts zum 2. Teil Abfragen einer Azure KI Vision-Ressource zur Bildklassifizierung über das SDK mit C#