監控內容安全

本文說明如何透過 Model Armor 查看支援的 AI 代理程式內容安全洞察資料。

Model Armor 會篩選要求和回覆，找出安全風險，例如間接提示詞注入攻擊、敏感資料外洩，以及生成或提供有害內容。詳情請參閱「Model Armor」。

您可以在下列層級查看 Model Armor 作業的結果：

• 頂層檢視畫面：專案中所有支援的 AI 代理深入分析
• 代理程式層級檢視畫面：單一 AI 代理程式的洞察資料

事前準備

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自體驗產品的實際應用成效。新客戶還能獲得價值 $300 美元的免費抵免額，能用於執行、測試及部署工作負載。

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. 在專案中為一或多個閘道設定 Model Armor。
2. 如要監控與 Google Cloud MCP 伺服器通訊的代理程式，請使用 MCP 伺服器設定 Model Armor。
3. 為代理程式設定追蹤。

必要的角色

如要取得監控內容安全違規事項所需的權限，請要求管理員在專案中授予您下列 IAM 角色：

• 觀測能力檢視畫面存取子 (roles/observability.viewAccessor)
• Observability Analytics 使用者 (roles/observability.analyticsUser)
• 記錄檢視器 (roles/logging.viewer)
• 記錄檔檢視存取者 (roles/logging.viewAccessor)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備監控內容安全違規事項所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要監控內容安全違規事項，必須具備下列權限：

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

支援的代理

「安全性」分頁只會顯示下列代理的 Model Armor 洞察資料：

• 部署在 Agent Runtime 中，並由已設定 Model Armor 的閘道控管的代理。
• 部署在 Agent Runtime 中，並與 Google Cloud MCP 伺服器通訊的代理程式。
• 在專案的 Agent Runtime 中部署代理程式，並設定 Model Armor 底限設定。

查看專案中支援的 AI 代理程式內容洞察資料 (頂層檢視畫面)

如要查看專案中所有支援的 AI 代理程式的內容安全洞察資訊，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的 Gemini Enterprise Agent Platform「安全性」分頁。

   前往「安全性」頁面

2. 選取專案。

如果「安全性」分頁未顯示內容安全洞察，且專案中有支援的 AI 代理程式，請確認您已為代理程式設定追蹤功能。

查看 AI 代理的內容洞察資料 (代理層級檢視畫面)

如要查看支援代理程式的內容安全深入分析，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Agent Registry」頁面。

   前往 Agent Registry

2. 選取專案。
3. 按一下代理程式的名稱。
4. 按一下 [Security] (安全性) 分頁標籤。

查看已標記或封鎖的互動次數

前往頂層或代理商層級的「安全性」分頁。

在「安全性」分頁中，查看互動次數，包括已標記和封鎖的互動。「安全性」分頁會顯示下列指標：

• 互動總數：Model Armor 分析的提示詞和回覆總數。
• 標記的互動：違反 Model Armor 範本或底限設定中已設定政策的互動次數。
• 已封鎖的互動數量：如果您在 INSPECT_AND_BLOCK 模式中設定 Model Armor，系統會封鎖互動。這些遭到封鎖的互動違反了底限設定或範本。

監控內容安全違規事項

前往頂層或代理商層級的「安全性」分頁。

在「一段時間內的違規次數」圖表中，監控一段時間內偵測到的違規次數。

系統偵測到的違規事項會歸類到下列領域：

• 提示注入和越獄：內容違規事項，表示提示含有惡意指令或越獄嘗試。詳情請參閱「提示詞注入和越獄偵測」。
• 惡意網址：內容違規事項，指出存在惡意網址。詳情請參閱惡意網址偵測。
• 負責任的 AI 技術：安全篩選器偵測到的內容違規行為，例如騷擾和仇恨言論。如要查看負責任的 AI 類別完整清單，請參閱負責任的 AI 技術安全性篩選器。
• 敏感資料：內容違規事件涉及敏感資訊類型或您定義的自訂資訊類型。詳情請參閱「Sensitive Data Protection」。

如要進一步瞭解這些偵測器，請參閱「Model Armor 篩選器」。

找出違規次數最多的代理人

前往頂層「安全性」分頁。

「安全性」分頁會顯示違規次數最多的前 10 名代理。清單會顯示每個代理的代理 ID，以及該代理偵測到的違規次數。

如要查看清單中特定服務專員的 Model Armor 洞察資料，請前往 Agent Registry，然後依服務專員 ID 搜尋服務專員。然後前往該代理的代理層級「安全性」分頁。

前往 Agent Registry

使用 SQL 查詢及分析遙測資料

如要查詢及分析 Model Armor 的遙測資料，請使用 Observability Analytics，這項服務提供以 SQL 為基礎的查詢介面。

1. 前往頂層「安全性」分頁。
2. 如要查詢特定檢視區塊，請依序點按「更多圖表選項」more_vert>「在可觀測性分析中探索」。

如需 Observability Analytics 的一般使用說明，請參閱「使用 Observability Analytics 查詢及分析遙測資料」。

將違規資料下載為 PNG 或 CSV 檔案

如要將違規事項資料下載為 PNG 或 CSV 檔案，請按照下列步驟操作：

1. 在「安全性」分頁的「違規事項隨時間變化」檢視畫面中，選取要下載資料的期間。
2. 依序點選 more_vert「更多圖表選項」>「下載」。
3. 按一下「下載 PNG」或「下載 CSV」，即可下載所需格式的資料。

在記錄檔探索工具中查看非結構化安全性記錄項目

如要在 Logs Explorer 中查詢原始文字安全記錄項目，可以使用 logName 欄位搜尋 Model Armor 內容清除結果。

如要查詢這些記錄，請完成下列步驟：

1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

   前往「Logs Explorer」

2. 點選「Show query」(顯示查詢) 切換鈕。

3. 將下列內容貼入查詢欄位：

   logName="projects/PROJECT_ID/logs/modelarmor.googleapis.com%2Fsanitize_operations"
   

   將 PROJECT_ID 替換為 Google Cloud 專案 ID。

4. 點選「執行查詢」。

如要進一步瞭解記錄篩選器和更新間隔如何影響結果，請參閱閘道監控頁面上的記錄更新間隔警告。

後續步驟