Inhaltssicherheit überwachen

In diesem Dokument wird beschrieben, wie Sie Einblicke in die Sicherheit von Inhalten aus Model Armor für unterstützte KI-Agents aufrufen.

Model Armor prüft die Anfragen und Antworten auf Sicherheitsrisiken wie indirekte Prompt-Injection-Angriffe, Lecks sensibler Daten und die Generierung oder Bereitstellung schädlicher Inhalte. Weitere Informationen finden Sie unter Model Armor.

Sie können die Ergebnisse von Model Armor-Vorgängen auf den folgenden Ebenen ansehen:

• Übersicht: Statistiken für alle unterstützten KI-Agents im Projekt
• Ansicht auf Agent-Ebene: Statistiken für einen einzelnen KI-Agenten

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Model Armor für ein oder mehrere Gateways in Ihrem Projekt konfigurieren
2. Wenn Sie Agenten überwachen möchten, die mit einem Google Cloud MCP-Server kommunizieren, konfigurieren Sie Model Armor mit MCP-Servern.
3. Tracing für Ihren Agenten einrichten

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Überwachen von Verstößen gegen die Inhaltsicherheit haben:

• Observability View Accessor (roles/observability.viewAccessor)
• Observability Analytics User (roles/observability.analyticsUser)
• Loganzeige (roles/logging.viewer)
• Zugriffsberechtigter für Logbetrachtung (roles/logging.viewAccessor)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Überwachen von Verstößen gegen die Inhaltsicherheit erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Verstöße gegen die Inhaltsicherheit zu überwachen:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Unterstützte KI-Agenten

Der Tab Sicherheit enthält Model Armor-Statistiken nur für die folgenden Agents:

• KI-Agenten, die in der Agent Runtime bereitgestellt werden und einem Gateway unterliegen, in dem Model Armor konfiguriert ist.
• In der Agent Runtime bereitgestellte Agenten, die mit einemGoogle Cloud MCP-Server kommunizieren.
• KI-Agents, die in der Agent Runtime in einem Projekt bereitgestellt werden, in dem Mindesteinstellungen für Model Armor konfiguriert sind.

Inhaltsstatistiken für unterstützte KI-Agents in einem Projekt ansehen (Übersicht)

So rufen Sie die Informationen zur Inhaltssicherheit für alle unterstützten KI-Agents in einem Projekt auf:

1. Rufen Sie in der Google Cloud Console den Tab Sicherheit der Gemini Enterprise Agent Platform auf.

   Gehen Sie zu Sicherheit.

2. Wählen Sie Ihr Projekt aus.

Wenn Sie auf dem Tab Sicherheit keine Informationen zur Sicherheit von Inhalten sehen und unterstützte KI-Agents in Ihrem Projekt haben, müssen Sie Tracing für Ihre Agents einrichten.

Statistiken zu Inhalten für einen KI-Agenten ansehen (Ansicht auf Agentenebene)

So rufen Sie die Statistiken zur Inhaltssicherheit für unterstützte Agents auf:

1. Rufen Sie in der Google Cloud Console die Agent-Registrierung auf.

   Zur Agent Registry

2. Wählen Sie Ihr Projekt aus.
3. Klicken Sie auf den Namen des Agents.
4. Klicken Sie auf die Registerkarte Sicherheit.

Anzahl der gemeldeten oder blockierten Interaktionen ansehen

Rufen Sie den Tab Sicherheit auf der obersten Ebene oder auf Agentenebene auf.

Auf dem Tab Sicherheit sehen Sie die Anzahl der Interaktionen, einschließlich der gekennzeichneten und blockierten Interaktionen. Auf dem Tab Sicherheit werden die folgenden Messwerte angezeigt:

• Interaktionen insgesamt: Die Gesamtzahl der Prompts und Antworten, die von Model Armor analysiert werden.
• Gekennzeichnete Interaktionen: Die Anzahl der Interaktionen, die gegen eine konfigurierte Richtlinie in Ihrer Model Armor-Vorlage oder Ihren Mindesteinstellungen verstoßen haben.
• Blockierte Interaktionen: Die Anzahl der Interaktionen, die blockiert wurden, wenn Sie Model Armor im Modus INSPECT_AND_BLOCK konfiguriert haben. Diese blockierten Interaktionen haben gegen Mindesteinstellungen oder Vorlagen verstoßen.

Verstöße gegen die Inhaltsrichtlinien überwachen

Rufen Sie den Tab Sicherheit auf der obersten Ebene oder auf Agentenebene auf.

Im Diagramm Verstöße im Zeitverlauf können Sie die Anzahl der erkannten Verstöße im Zeitverlauf beobachten.

Die erkannten Verstöße sind in die folgenden Bereiche unterteilt:

• Prompt Injections und Jailbreaks: Inhaltsverstöße, die auf das Vorhandensein von Prompts mit schädlichen Befehlen oder Jailbreak-Versuchen hinweisen. Weitere Informationen finden Sie unter Erkennung von Prompt Injection und Jailbreaking.
• Schädliche URL: Inhaltsverstöße, die auf das Vorhandensein schädlicher URLs hinweisen. Weitere Informationen finden Sie unter Erkennung schädlicher URLs.
• Verantwortungsbewusste Anwendung von KI: Inhaltsverstöße, die von Sicherheitsfiltern erkannt werden, z. B. Belästigung und Hassrede. Eine vollständige Liste der Kategorien für verantwortungsbewusste KI finden Sie unter Sicherheitsfilter für verantwortungsbewusste Anwendung von KI.
• Vertrauliche Daten: Inhaltsverstöße, bei denen vertrauliche Informationstypen oder benutzerdefinierte Informationstypen, die Sie definieren, vorhanden sind. Weitere Informationen finden Sie unter Schutz sensibler Daten.

Weitere Informationen zu diesen Detektoren finden Sie unter Model Armor-Filter.

Agenten mit den meisten Verstößen identifizieren

Rufen Sie den Tab auf höchster Ebene Sicherheit auf.

Auf dem Tab Sicherheit werden die zehn KI-Agenten mit den meisten Verstößen angezeigt. In der Liste sehen Sie die Agent-ID jedes Agents und die Anzahl der für diesen Agent erkannten Verstöße.

Wenn Sie die Model Armor-Statistiken für einen bestimmten Agent in der Liste aufrufen möchten, suchen Sie in der Agent Registry nach dem Agent anhand seiner Agent-ID. Rufen Sie dann den Tab Sicherheit auf Agentenebene für diesen Agenten auf.

Zur Agent Registry

Telemetriedaten mit SQL abfragen und analysieren

Wenn Sie Telemetriedaten aus Model Armor abfragen und analysieren möchten, verwenden Sie Observability Analytics. Dieser Dienst bietet eine SQL-basierte Abfrageschnittstelle.

1. Rufen Sie den Tab auf höchster Ebene Sicherheit auf.
2. Klicken Sie für die Ansicht, die Sie abfragen möchten, auf more_vert Weitere Diagrammoptionen > In Observability Analytics untersuchen.

Eine allgemeine Anleitung zur Verwendung von Observability Analytics finden Sie unter Telemetriedaten mit Observability Analytics abfragen und analysieren.

Daten zu Verstößen in eine PNG- oder CSV-Datei herunterladen

So laden Sie Daten zu Verstößen in eine PNG- oder CSV-Datei herunter:

1. Wählen Sie auf dem Tab Sicherheit in der Ansicht Verstöße im Zeitverlauf den Zeitraum aus, für den Sie Daten herunterladen möchten.
2. Klicken Sie auf more_vert Weitere Diagrammoptionen > Herunterladen.
3. Klicken Sie auf PNG herunterladen oder CSV-Datei herunterladen, um die Daten im gewünschten Format herunterzuladen.

Unstrukturierte Sicherheitslogeinträge im Log-Explorer ansehen

Wenn Sie im Log-Explorer Sicherheitslogeinträge mit Rohtext abfragen möchten, können Sie mit dem Feld logName nach Ergebnissen der Bereinigung von Model Armor-Inhalten suchen.

Führen Sie die folgenden Schritte aus, um diese Logs abzufragen:

1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

   Zum Log-Explorer

2. Klicken Sie auf den Umschalter Abfrage anzeigen.

3. Fügen Sie Folgendes in das Abfragefeld ein:

   logName="projects/PROJECT_ID/logs/modelarmor.googleapis.com%2Fsanitize_operations"
   

   Ersetzen Sie dabei PROJECT_ID durch die ID Ihres Projekts in Google Cloud .

4. Klicken Sie auf Abfrage ausführen.

Weitere Informationen dazu, wie sich Logging-Filter und Aktualisierungszeiträume auf Ihre Ergebnisse auswirken können, finden Sie auf der Seite „Gateway-Monitoring“ unter Warnung zur Aktualität von Logs.

Nächste Schritte