View a markdown version of this page

Amazon Bedrock 支援的端點 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon Bedrock 支援的端點

端點是您的應用程式用來將推論請求傳送至 Amazon Bedrock 的 URL。Amazon Bedrock 提供兩個推論端點。您選擇的端點會決定可用的 APIs和功能。

對於大多數新應用程式，請使用 bedrock-runtime端點。當您特別需要目前只能在該處使用的功能bedrock-mantle時，請使用 ，例如伺服器端和預先設定的工具 （包括 Web 搜尋)、背景推論、專案或工作區。若要查看每個模型支援的端點，請參閱 端點可用性。下表比較兩個端點。

端點 支援的 APIs Description
bedrock-runtime.{region}.amazonaws.com (建議) InvokeModel/Converse/聊天完成/回應 API/訊息 API 區域特定的端點，用於使用 InvokeModel/Converse/Chat Completions/Responses/Messages APIs，對 Amazon Bedrock 中託管的模型提出推論請求。如需 Bedrock 原生操作的詳細資訊，請參閱 Amazon Bedrock 執行時間 API 操作。在此端點的路徑上呼叫 OpenAI 相容 APIs，而不是透過 AWS SDKs。 /openai/v1
bedrock-mantle.{region}.api.aws 回應 API/聊天完成 API/訊息 API 區域特定的端點，用於使用 OpenAI 相容端點和 Anthropic Messages API，對 Amazon Bedrock 中託管的模型進行推論請求。
注意

兩個端點都使用相同的基礎 Mantle 推論引擎，並受益於 Mantle 的零運算子存取 (ZOA) 設計。bedrock-mantle 名稱可識別端點表面，而不是不同的推論引擎。

使用 的現有應用程式會bedrock-mantle繼續獲得完全支援，不需要變更。這兩個端點只變更基本 URL 和 API 金鑰，並同時支援 OpenAI 相容回應和聊天完成 APIs 和 Anthropic Messages API，可讓您將現有的 OpenAISDK 程式碼庫帶入 Amazon Bedrock。

API 支援
API bedrock-runtime bedrock-mantle
InvokeModel supported not-supported
Converse / ConverseStream supported not-supported
聊天完成 (OpenAI 相容） supported supported
回應 API (OpenAI 相容） supported supported
訊息 API (Anthropic-native) supported supported
注意

訊息 API 可在兩個端點上使用，但兩個表面沒有相同的功能支援。尤其不支援 上的結構化輸出 ( output_config.format 參數） bedrock-mantle- 包含 的請求output_config.format會遭到 400 錯誤的拒絕。若要搭配 Anthropic Claude 模型使用結構化輸出，請呼叫 上的 Converse 或 InvokeModel APIsbedrock-runtime。

注意

在沒有相同功能支援的情況下，回應 API 也可用於兩個端點。在 bedrock-runtime 上：

  • 請求一律是同步的。 background=true 會因 400 錯誤而遭到拒絕。store 參數不受影響，並保留其預設值 true，因此存放的多轉對話可正常運作。

  • 伺服器端工具使用和預先設定的工具不可用，包括 Web 搜尋。用戶端工具可在兩個端點上使用。

  • 僅支援預設專案。請參閱 專案 (OpenAI 相容）。

  • 儲存的回應屬於 AWS 區域 提供它的 。擷取、取消或刪除它，以及繼續與 的對話previous_response_id，都由該區域處理。

推論功能
功能 bedrock-runtime bedrock-mantle
跨區域推論 （地理和全域設定檔） supported not-supported
具狀態的對話管理 supported supported
非同步 （長時間執行） 推論 not-supported supported
用戶端工具使用 supported supported
伺服器端工具使用 not-supported supported
預先設定的ready-to-use工具 not-supported supported
專案 僅限預設專案 supported
工作區 not-supported supported

身分驗證不會自行授予存取權。無論您是使用 SigV4 或 Bedrock API 金鑰，相關聯的 IAM 主體都必須具有必要動作的許可。如需完整的政策需求和範例，請參閱 執行模型推論的必要條件。

可運作
項目 bedrock-runtime bedrock-mantle
AWS SigV4 身分驗證 supported supported
Bedrock API 金鑰 （也適用於 OpenAI SDK) supported supported
推論的 IAM 授權 bedrock:InvokeModel 推論目標上的 ，以及回應 API 的預設專案；bedrock:InvokeModelWithResponseStream用於串流 bedrock-mantle:CreateInference
用量屬性 IAM 主體、每個請求中繼資料標記、應用程式推論設定檔 專案、工作區