Inferenza tramite Invoke API

L'API Invoke è disponibile solo sull'bedrock-runtimeendpoint. Amazon Bedrock offre le seguenti operazioni API per eseguire l'inferenza dei modelli con l'API Invoke:

InvokeModel— Invia una richiesta e genera una risposta. Il corpo della richiesta è specifico del modello. Per generare risposte in streaming, usa InvokeModelWithResponseStream.
StartAsyncInvoke— Invia un prompt e genera una risposta in modo asincrono che può essere recuperata in seguito. Consente di generare video.
InvokeModelWithBidirectionalStream –

Nota

Le restrizioni si applicano alle seguenti operazioni:InvokeModel,, eInvokeModelWithResponseStream. Converse ConverseStream Vedi Restrizioni API per i dettagli.

Per l’inferenza del modello, è necessario definire i seguenti parametri:

ID modello: ID o nome della risorsa Amazon (ARN) del modello o del profilo di inferenza da utilizzare nel campo modelId per l’inferenza. La tabella seguente descrive come trovare gli ID per diversi tipi di risorse:

Tipo di modello	Description	Ricerca dell’ID nella console	Ricerca dell’ID nell’API	Documentazione di riferimento
Modelli base	Modello di fondazione fornito da un provider.	Scegli Modelli base nel riquadro di navigazione a sinistra, cerca un modello e cerca l’ID modello.	Invia una ListFoundationModels richiesta GetFoundationModel o e `modelId` trovala nella risposta.	Per un elenco di ID, consulta Modelli di fondazione supportati in Amazon Bedrock.
Profilo di inferenza	Aumenta il throughput consentendo l’invocazione di un modello in più Regioni.	Scegli Cross-Region Inference dal riquadro di navigazione a sinistra e cerca un ID del profilo Inference.	Invia una ListInferenceProfiles richiesta GetInferenceProfile o e trovala `inferenceProfileId` nella risposta.	Per un elenco di ID, consulta Regioni e modelli supportati per i profili di inferenza.
Prompt	Prompt creato utilizzando Gestione prompt.	Scegli Gestione prompt nel riquadro di navigazione a sinistra, seleziona un prompt nella sezione Prompt, quindi cerca l’ARN del prompt.	Invia una ListPrompts richiesta GetPrompt o e `promptArn` trovala nella risposta.	Per informazioni sulla creazione di prompt in Gestione prompt, consulta Creare e archiviare prompt riutilizzabili con Gestione dei prompt in Amazon Bedrock.
Throughput allocato	Fornisce un livello di throughput più elevato per un modello a un costo fisso.	Scegli Throughput allocato nel riquadro di navigazione a sinistra, seleziona un throughput allocato e cerca l’ARN.	Invia una ListProvisionedModelThroughputs richiesta GetProvisionedModelThroughput o e `provisionedModelArn` trovala nella risposta.	Per informazioni sull’acquisto di throughput allocato per un modello, consulta Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock.
Modello personalizzato	Modello i cui parametri sono modificati rispetto a un modello di fondazione basato sui dati di addestramento.	Dopo aver acquistato throughput allocato per un modello personalizzato, segui i passaggi per trovare l’ID del throughput allocato.	Dopo aver acquistato throughput allocato per un modello personalizzato, segui i passaggi per trovare l’ID del throughput allocato.	Per informazioni sulla personalizzazione di un modello, consulta Personalizzazione del modello per migliorarne le prestazioni per il proprio caso d’uso. Dopo la personalizzazione, è necessario acquistare throughput allocato e utilizzarne l’ID.

Corpo della richiesta: contiene i parametri di inferenza per un modello e altre configurazioni. A ogni modello sono associati i propri parametri di inferenza. I parametri di inferenza per un modello personalizzato o allocato dipendono dal modello base da cui è stato creato. Per ulteriori informazioni, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

Invia una singola richiesta con InvokeModel

Si esegue l'inferenza su un singolo prompt utilizzando le operazioni InvokeModel e InvokeModelWithResponseStream API e specificando un modello. I modelli Amazon Bedrock si differenziano per l’accettazione di input di testo, immagini o video e per la possibilità di produrre output di testo, immagini o embedding. Alcuni modelli possono restituire la risposta in un flusso. Per controllare il supporto del modello per input, output e streaming, esegui una di queste operazioni:

Controlla il valore nelle colonne Modalità di input, Modalità di output o Streaming supportato per un modello in Modelli di fondazione supportati in Amazon Bedrock.
Inviate una GetFoundationModel richiesta con l'ID del modello e controllate i valori nel campo inputModalitiesoutputModalities, eresponseStreamingSupported.

Esegui l'inferenza del modello su un prompt inviando una InvokeModelWithResponseStream richiesta InvokeModel or con un endpoint di runtime Amazon Bedrock.

Nota

Le restrizioni si applicano alle seguenti operazioni:InvokeModel,InvokeModelWithResponseStream, Converse e. ConverseStream Vedi Restrizioni API per i dettagli.

I seguenti campi sono obbligatori:

Campo	Caso d’uso
modelId	Specificare il modello, il profilo di inferenza o il prompt di Gestione prompt da utilizzare. Per ulteriori informazioni su come trovare questo valore, consulta Inferenza tramite Invoke API.
body	Specificare i parametri di inferenza per un modello. Per informazioni sui parametri di inferenza per modelli diversi, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione. Se si specifica un prompt da Gestione dei prompt nel campo `modelId`, omettere questo campo (se lo si include, viene ignorato).

I seguenti campi sono facoltativi:

Campo	Caso d’uso
accept	Specificare il tipo di supporto per il corpo della richiesta. Per ulteriori informazioni, consulta Media Types sul sito web di Swagger.
contentType	Specificare il tipo di supporto per il corpo della risposta. Per ulteriori informazioni, consulta Media Types sul sito web di Swagger.
prestazioni ConfigLatency	Specificare se ottimizzare un modello per la latenza. Per ulteriori informazioni, consulta Ottimizzare l’inferenza del modello per la latenza.
guardrailIdentifier	Specificare un guardrail da applicare al prompt e alla risposta. Per ulteriori informazioni, consulta Testare il guardrail.
guardrailVersion	Specificare un guardrail da applicare al prompt e alla risposta. Per ulteriori informazioni, consulta Testare il guardrail.
trace	Specificare se restituire la traccia per il guardrail indicato. Per ulteriori informazioni, consulta Testare il guardrail.
Livello di servizio	Per specificare il livello di servizio per una richiesta. Per ulteriori informazioni, consulta Livelli di servizio per l'ottimizzazione delle prestazioni e dei costi.

Invocare esempi di codice del modello

Questo argomento fornisce alcuni esempi di base per l'esecuzione dell'inferenza utilizzando un singolo prompt con l'InvokeModelAPI. Per altri esempi con modelli diversi, consulta le seguenti risorse:

Scegli un esempio nell’argomento Esempi di codice per Amazon Bedrock Runtime utilizzando AWS SDK.
Consulta il riferimento ai parametri di inferenza per il modello desiderato in Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

Gli esempi seguenti presuppongono che tu abbia impostato l'accesso programmatico in modo tale da eseguire automaticamente l'autenticazione all'SDK per Python (Boto3) come impostazione predefinita quando esegui questi esempi. AWS CLI Regione AWS Per informazioni sulla configurazione dell’accesso alla programmazione, consulta Iniziare a utilizzare l’API.

Nota

Esamina i seguenti punti prima di provare gli esempi:

È possibile testare questi esempi nella Regione Stati Uniti orientali (Virginia settentrionale) (us-east-1), che supporta tutti i modelli utilizzati negli esempi.