Dokumentumba beágyazott képek megjelenítése az ügynöki visszakeresésben (előzetes verzió)

A forrásdokumentumaiba (például diagramokba, grafikonokba, infografikákba, beolvasott űrlapokba és termékképekbe) beágyazott képek megjelenítéséhez használja a képkiszolgálás funkciót (előzetes verzió) az ügynökalapú lekérés során, hogy a nagy nyelvi modell (LLM) a szöveg mellett a vizuális kontextust is figyelembe véve következtethessen, amikor választ szintetizál.

Amikor engedélyezi a képkiszolgálást, az Azure AI Keresés:

• Indexeléskor kinyeri a képeket a támogatott dokumentumokból, és egy ügyfél által biztosított Azure Blob-eszköztárolóban tárolja őket.

• Lekérdezéskor lekéri ezeket a képeket a lekérési művelet során, a base64 kódolja őket, és multimodális tartalomként injektálja őket a szintetizált választ eredményező LLM-parancssorba.

Ez a cikk bemutatja, hogyan engedélyezheti a rendszerkép-kiszolgálást egy tudásbázisban, felülbírálhatja kérésenként, megvizsgálhatja a rendszerkép-kiszolgáló statisztikákat, és megtervezheti a tárfiók életciklus-követelményeit.

Használat támogatása

Prerequisites

• Egy Azure AI Keresés szolgáltatás, amely egy LLM-et meghatározó tudásbázissal rendelkezik. A tudásbázisnak válaszszintézist kell használnia.

• Egy fájlalapú, indexelt tudásforrás, amely a assetStore fájljában egy ingestionParameters használatával van beállítva. Támogatott típusok:

  • Blob tudásbázis (Azure Blob Storage vagy Azure Data Lake Storage Gen2)
  • Indexelt OneLake-tudásbázis
  • Indexelt SharePoint tudásbázis

  A standard extrakciót használó blob-tudásbázisok esetében végezze el a blobok tudásbázisának előfeltételeit.

• A tudásforrás nem konfigurálhatja a(z) ingestionPermissionOptions elemet.

• Kinyerhető képeket tartalmazó forrásdokumentumok, például PNG-fájlok, JPEG-fájlok vagy beágyazott képekkel rendelkező PDF-fájlok.

• Microsoft Öntödei erőforrás egy olyan régióban, amelyet Azure Content Understanding támogat az Öntödei eszközökben, Azure OpenAI-beágyazási és multimodális csevegőmodellek üzembe helyezésével. Használja az erőforrásvégpontot a https://<resource-name>.services.ai.azure.com formátumban.

• A tudásbázis és a felügyelt tudásbázis létrehozására vagy frissítésére vonatkozó engedély. Konfiguráljon kulcs nélküli hitelesítést a keresési szolgáltatás közreműködője és a keresési index adat-közreműködői szerepköreivel, amelyek a felügyeleti műveleteket végrehajtó felhasználói vagy automatizálási identitáshoz vannak rendelve (ajánlott). Másik lehetőségként használjon rendszergazdai API-kulcsot.

• Engedély a lekérő művelet meghívásához. Rendelje hozzá a Keresési index adatolvasó szerepkört ahhoz az identitáshoz, amely lekéréses kérelmeket küld (ajánlott), vagy használjon lekérdezési API-kulcsot.

• A válaszszintézis során az LLM-hez irányuló kimenő hívásokhoz a keresési szolgáltatásnak rendelkeznie kell a felügyelt identitással és a Cognitive Services User jogosultságokkal az LLM-et üzemeltető Microsoft Foundry-erőforráson.

• Eszköztároló-hozzáféréshez konfigurálja a keresési szolgáltatás által felügyelt identitást az eszköztároló és az alkalmazáshozzáférés konfigurálása című szakaszban leírtak szerint.

• A 2026-08-01-preview REST API vagy egy ezzel egyenértékű Azure SDK előzetes csomag: .NET | Java | JavaScript | Python

Korlátok és megfontolások

• A képkiszolgálás az ügynöki lekérésben csak a(z) retrieve API-n keresztül érhető el. A klasszikus /docs/search lekérdezések nem biztosítanak dokumentumba ágyazott képeket az alsóbb rétegbeli válaszszintézishez egyéni megoldás vagy konfiguráció nélkül.

• A rendszerkép-kiszolgáló csak válaszszintézis kimeneti módban fut. A extractiveData kimeneti mód átugorja a képkiszolgálást.

• A képkiszolgálás csak azokra a fájlalapú, indexelt tudásforrásokra vonatkozik, amelyeknél a assetStore be van állítva, és az indexelt darabokhoz image_path értékek vannak kitöltve.

• Vegyes tudásbázisokban csak a támogatott tudásbázistípusok (blob, indexelt OneLake és indexelt SharePoint) biztosítják a dokumentumba ágyazott képeket az alsóbb rétegbeli válaszszintézishez. Más típusúak továbbra is hozzájárulhatnak a szövegföldeléshez.

• A képkiszolgálás nem támogatott azoknál a tudásforrásoknál, amelyek a dokumentumszintű engedélyek ingestionPermissionOptions használatával történő betöltésére szolgálnak, beleértve az ACL-eket, az RBAC-hatóköröket és a Microsoft Purview bizalmassági címkéit. Az eszköztároló létrehoz egy mögöttes tudástárat, és a tudástárak nem támogatják az engedélyöröklést.

• A lekérési válaszséma nem definiál mezőket a modellnek küldött egyes eszköztároló lemezkép-elérési utakhoz vagy képbájtokhoz. A imageServing tevékenység a lekért és a modellnek küldött képek összesített statisztikáit jelenti.

• A rendszerképekhez való hozzáférés a tárfiók szintjén, az indexelt tartalomhoz való hozzáféréstől függetlenül szabályozható. Bármely identitás, amely olvasási hozzáféréssel rendelkezik az objektumok tárolási fiókjához, lekérheti annak képeit.

• Ne tárolja a titkos kulcsokat (fiókkulcsokat, jogkivonatokat, kapcsolati sztringeket) a forrásdokumentumokban, mert a tartalom földelési adatként visszaadható.

• A rendszerkép-szolgáltatás növelheti a válaszszintézis késését a képletöltés és a multimodális tokenek feldolgozása miatt. Reprezentatív lekérdezések futtatása engedélyezett és letiltott képmegjelenítéssel, és a válasz késésének összehasonlítása a jelentett imageServing tevékenységgel.

• A Content Understanding különböző képeredményeket hozhat létre PDF- és DOCX-fájlokhoz. Ha konzisztens beágyazott képkinyerésre és verbális megjelenítésre van szükség, konvertálja a forrásdokumentumokat PDF-fájllá, vagy tesztelje az egyes forrásformátumokat reprezentatív tartalommal.

A képkiszolgálás működése

A rendszerkép-szolgáltatásnak két fázisa van:

• Indexelés: Ha egy tudásforráson szabványos tartalomkinyerést és egy objektumtárat konfigurál, a létrehozott Content Understanding-készség szemantikailag szegmentálja a dokumentumot, Markdownként megőrzi a táblázatokat, és a konfigurált LLM segítségével leírja a beágyazott ábrákat. Az ábraleírások a beágyazási képesség által vektorizált bővített Markdown részét képezik. A képesség képeket is kinyer a blobeszköz-tárolóba, és hivatkozásokat ad hozzá image_path az átfedésben lévő adattömbökhöz.

  Az eszköztároló konfigurálásakor a keresési szolgáltatás a tudásbázis mellett egy tudástárat is kiépít a kinyert képösszetevők megőrzéséhez. Ezt a tudástárat bármely máshoz hasonlóan megvizsgálhatja és kezelheti.

• Visszanyerés: Amikor a lekérési művelet engedélyezve van a képszolgáltatással, a keresési szolgáltatás lekéri a megfelelő képeket az eszköztárolóból, a base64 kódolja őket, és többmodális tartalomként tartalmazza őket a válaszszintézisi kérdésben.

Eszköztároló és alkalmazáshozzáférés konfigurálása

A képkiszolgálás három bizalmi határon ível át. Indexeléskor a keresési szolgáltatás képösszetevőket ír az eszköztárolóba. Lekérdezéskor a keresési szolgáltatás az eszköztárolóból olvassa ki a képeket. Az alkalmazás az eszköztárolóból is olvas, ha képeket kell renderelnie egy felhasználói felületen. Konfigurálja az egyes elérési utakat a minimális jogosultságú hozzáférés követéséhez.

Keresési szolgáltatás hozzáférése az eszköztárolóhoz

• A keresési szolgáltatáshoz használjon Microsoft Entra ID-t és egy felügyelt identitást. Rendelje hozzá az identitáshoz a Storage Blob Data Contributor szerepkört a tárfiók szintjén, mert az indexelő képartifaktumokat ír, a lekérési művelet pedig olvassa azokat. Amikor a forrás- és eszköztárolók megosztják ezt a fiókot, a szerepkör forrásblob olvasási hozzáférést is biztosít.

• Ne engedélyezze a névtelen nyilvános hozzáférést az eszköztároló tárolójában.

Alkalmazás hozzáférése képhivatkozásokhoz

A létrehozott index az eszköztárolóban lévő képekre mutató hivatkozásokat tárolja image_path . A lekérési válaszséma nem határoz meg dedikált mezőket a modellnek küldött egyes eszköztároló-rendszerkép-elérési utakhoz vagy képbájtokhoz. A választható sourceData adatok strukturált referenciaadatok, és image_path nem kötelezőek benne.

Indexelt rendszerkép megjelenítése az alkalmazásban:

1. Rendelje hozzá az alkalmazás identitását a Storage Blob Data Reader szerepkörhöz az eszköz tárfiók hatókörében.

2. Rendelje hozzá az alkalmazás identitását a Keresési index adatolvasó szerepkörhöz, hogy le tudja kérdezni a létrehozott indexet.

3. Szerezzen be egy engedélyezettet image_path a létrehozott indexből egy alkalmazás által vezérelt lekérdezésen vagy szolgáltatásvégponton keresztül.

4. Ellenőrizze, hogy a hivatkozás a várt tárolófiókra és adatok tárolójára mutat-e. A blobkeresés előtt utasítsa el a nem megbízható elérési utakat.

5. Kérje le az eredményként kapott blobnevet az eszköztárolóból az alkalmazás identitásának használatával.

Ez az elkülönítés lehetővé teszi annak szabályozását, hogy ki tekintheti meg a forrásképeket attól függetlenül, hogy ki hívhatja meg a lekéréses API-t.

Az eszköztároló konfigurálása egy tudásbázison

Konfigurálja a(z) assetStore elemet egy támogatott indexelt tudásforrás ingestionParameters elemében. Az eszköztároló egy ön tulajdonában lévő blobtároló, amelybe a keresési szolgáltatás képösszetevőket ír.

A forrásspecifikus utasításokért lásd:

• Blob-tudásbázis létrehozása
• Indexelt SharePoint tudásbázis létrehozása
• OneLake-tudásbázis létrehozása

Egy minimális blob-tudásbázis, amelyen engedélyezve van a rendszerkép-szolgáltatás, a következőképpen néz ki:

PUT https://{service-name}.search.windows.net/knowledgesources/my-blob-ks?api-version=2026-08-01-preview
Content-Type: application/json
Authorization: Bearer {{search-access-token}}

{
  "name": "my-blob-ks",
  "kind": "azureBlob",
  "azureBlobParameters": {
    "connectionString": "ResourceId=<storage-resource-id>",
    "containerName": "source-documents",
    "ingestionParameters": {
      "assetStore": {
        "connectionString": "ResourceId=<storage-resource-id>",
        "containerName": "image-assets"
      },
      "chatCompletionModel": {
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://{foundry-resource}.services.ai.azure.com",
          "deploymentId": "gpt-4o",
          "modelName": "gpt-4o"
        }
      },
      "embeddingModel": {
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://{foundry-resource}.services.ai.azure.com",
          "deploymentId": "text-embedding-3-large",
          "modelName": "text-embedding-3-large"
        }
      },
      "contentExtractionMode": "standard",
      "aiServices": {
        "uri": "https://{foundry-resource}.services.ai.azure.com"
      }
    }
  }
}

Konfigurációs eredmények

A assetStore, disableImageVerbalization és chatCompletionModel kombinációja azt határozza meg, hogy az indexelő mit tárol, és mit lát a modell lekérdezéskor:

• Eszköztároló + verbális (alapértelmezett):assetStore állítva, disableImageVerbalization balra, mint false, chatCompletionModel beállítva. Az indexelő megőrzi a képeket az eszköztárolóban, és az indexben tárolja a szöveges leírásokat. A lekérési tevékenység a(z) true elemet verbalizationUsed értékként jelentheti.

• Csak az Asset Store esetén:assetStore beállítva, disableImageVerbalization beállítva erre: true, chatCompletionModel nem szükséges. Az indexelő megőrzi a képeket az eszköztárolóban, de nem hoz létre szöveges leírásokat. A lekérési tevékenység a(z) false elemet verbalizationUsed értékként jelentheti.

• Nincs eszköztároló, modellkészlet:assetStore nincs beállítva, chatCompletionModel beállítva. Csak szöveges leírások, képösszetevők nélkül. A képkiszolgálás nem alkalmazható.

• Nincs eszköztároló, nincs modell: Nincs képfeldolgozás.

Eszköztároló konfigurációjának ellenőrzése

Várjon a betöltés befejezésére a folytatás előtt:

• Ellenőrizze az indexelő állapotát a Azure portálon vagy használja a Get Indexer állapota (REST API) lehetőséget.

• Ellenőrizze, hogy az indexelt adattömbök rendelkeznek-e kitöltött image_path mezővel. Ha image_path üres, ellenőrizze az indexelő állapotát, a tudásbázis-eszköztároló konfigurációját, a forrásdokumentum tartalmát és az eszköztároló tartalmát.

• Vizsgálja meg az erőforrástárolót. Látnia kell az indexelő által a betöltés közben létrehozott képblobokat.

Képkiszolgálás engedélyezése egy tudásbázison

Állítsa a tudásbázis definícióján belüli tudásforrás-hivatkozásban a(z) enableImageServing értékét true értékre. Ez a beállítás lesz az alapértelmezett minden olyan lekéréses kérelemnél, amely a tudásbázist célozza.

A tudásbázis definíciója azt az LLM-et is meghatározza, amelyet a lekérdezési időpontban történő válaszszintézishez használnak. Ez a beállítás független minden olyan chatCompletionModel beállítástól, amelyet a tudásforrás ingestionParameters elemén állít be, és amely az indexelés során a képek verbalizálását vezérli.

Ha a tudásbázisa több tudásforrásra hivatkozik, a(z) enableImageServing beállítást csak azokon a támogatott, fájlalapú indexelt típusokon állítsa be, amelyeknél a(z) assetStore be van állítva. A nem támogatott típusok (például a keresési index, a távoli SharePoint vagy a web) továbbra is támogatják a szöveg alapozását, de nem biztosítanak dokumentumba ágyazott képeket az alsóbb rétegbeli válaszszintézishez.

PUT https://{service-name}.search.windows.net/knowledgebases/my-kb?api-version=2026-08-01-preview
Content-Type: application/json
Authorization: Bearer {{search-access-token}}

{
  "name": "my-kb",
  "knowledgeSources": [
    {
      "name": "my-blob-ks",
      "enableImageServing": true
    }
  ],
  "outputMode": "answerSynthesis",
  "models": [
    {
      "kind": "azureOpenAI",
      "azureOpenAIParameters": {
        "resourceUri": "https://{foundry-resource}.services.ai.azure.com",
        "deploymentId": "gpt-4o",
        "modelName": "gpt-4o"
      }
    }
  ]
}

Képkiszolgáló engedélyezésének ellenőrzése

Küldjön egy kérést GET a tudásbázis végpontjának, és ellenőrizze, hogy a tudásbázis-referencia tartalmazza-e a referenciát "enableImageServing": true.

Lekérés képkiszolgálóval

Hívja meg a lekérési műveletet a tudásbázison. Ha kérésenként felül szeretné bírálni a tudásbázis alapértelmezését, állítsa be a enableImageServing értéket a megfelelő bejegyzésben, a knowledgeSourceParams alatt.

POST https://{service-name}.search.windows.net/knowledgebases/my-kb/retrieve?api-version=2026-08-01-preview
Content-Type: application/json
Authorization: Bearer {{search-access-token}}

{
  "retrievalReasoningEffort": { "kind": "medium" },
  "outputMode": "answerSynthesis",
  "includeActivity": true,
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "What's the wiring configuration shown in the installation guide?" }
      ]
    }
  ],
  "knowledgeSourceParams": [
    {
      "knowledgeSourceName": "my-blob-ks",
      "kind": "azureBlob",
      "enableImageServing": true
    }
  ]
}

Mi történik a lekéréskor?

Az egyező tartalomhoz társított képhivatkozások esetében a keresési szolgáltatás letölti a megfelelő képeket az eszköztárolóból, a base64 kódolja őket, és többmodális tartalomként továbbítja őket az alsóbb rétegbeli válaszszintézisi modellnek. Tekintse meg az összesített képkiszolgálási statisztikákat itt: activity.imageServing A pontos válaszalakzatot a Knowledge Retrieveal – Retrieve (REST API) referenciadokumentációjában találja.

A lekérési viselkedés ellenőrzése

A lekéréses válasz a következő képkiszolgáló jeleket képes biztosítani:

• Ha a(z) includeActivity értéke true, a activity tömb a tudásforrás imageServing tevékenységét jelzi, amikor a szolgáltatás képkiszolgálási műveleteket rögzít.

• Az imagesSentToModel érték nagyobb, mint 0 az azt jelenti, hogy a szolgáltatás képeket szolgáltatott az alsóbb rétegbeli válaszszintézisi modellhez.

Elsőbbségi szabályok

Ha a tudásbázis definíciója és a lekérési kérelem is meg van adva enableImageServing, a lekérési kérelem értéke elsőbbséget élvez. A teljes sorrend a következő:

1. A(z) knowledgeSourceParams[].enableImageServing értéke a lekérési kérésben (ha be van állítva).
2. Az egyező tudásbázis-referencia értéke a tudásbázis definíciójában (ha be van állítva).
3. false (az alapértelmezett).

Az alábbi táblázat a kilenc kombinációt foglalja össze.

Képkiszolgálási statisztikák vizsgálata

Amikor a képkiszolgálás fut, a lekérési válasz a imageServing tömbön belüli minden egyes tudásforráshoz tartalmaz egy activity szakaszt. Ebben a szakaszban összehasonlíthatja az eszköztárolóból lekért képeket a modellnek küldött képekkel.

"activity": [
  {
    "type": "azureBlob",
    "knowledgeSourceName": "my-blob-ks",
    "imageServing": {
      "verbalizationUsed": true,
      "imagesRetrieved": 5,
      "imagesSentToModel": 4,
      "totalImageSizeBytes": 248361
    }
  }
]

A mezők jelentése:

• verbalizationUsed: A szolgáltatás által jelentett, a lekérési tevékenységhez tartozó képleírási statisztika.

• imagesRetrieved: Az eszköztárolóból lekért képek száma.

• imagesSentToModel: Az alsóbb rétegbeli modellnek küldött képek száma.

• totalImageSizeBytes: A modellnek küldött képek teljes mérete bájtban.

Ha imagesRetrieved nagyobb, mint imagesSentToModel, nem minden lekért kép került elküldésre a modellnek.

Vizsgálja meg verbalizationUsed és imagesSentToModel függetlenül. A válasz beszámolhat mind a true elemről mint verbalizationUsed, mind pedig a modellnek küldött egy vagy több képről.

A képkiszolgálás tesztelése végponttól végpontig

A teljes beállítás teszteléséhez használja az alábbi minták egyikét:

• C# képkiszolgáló minta
• Python képkiszolgáló minta

A minták létrehoznak egy blob tudásforrást és egy tudásbázist, összehasonlítják a lekérési kérelmeket letiltott és engedélyezett képkiszolgálás mellett, és megvizsgálják a képkiszolgálási statisztikákat. Emellett egy független helyettesítőkarakteres indexlekérdezést is használnak, hogy kiválasszanak egy image_path-t, és letöltsék azt az eszközt. A példák kiválasztanak egy pontosvesszővel elválasztott hivatkozást, eltávolítanak egy leképezési előtagot, például a(z) 11.7: elemet egy relatív útvonalból, vagy URL-dekódolnak egy abszolút útvonalat, és eltávolítják annak kezdő tároló szegmensét. Ezek az átalakítások csak példaként szolgáló működést mutatnak, és nem a retrieve API garanciái. A kijelölt objektum nem bizonyítja, hogy ugyanaz a kép hozzájárult egy adott lekérési válaszhoz.

Egy tipikus A/B összehasonlító ellenőrzőlista:

• Válasszon egy olyan kérdést, amelyet csak egy diagram, grafikon vagy beolvasott kép alapján lehet megválaszolni.

• Futtassa a lekérő kérést a(z) enableImageServing: false használatával, és rögzítse a választ.

• Futtassa ugyanazt a lekérési kérelmet a(z) enableImageServing: true elemmel, és hasonlítsa össze a válaszokat, a késleltetést és a jelentett tevékenységet.

• A válaszkülönbségeket megfigyeléses A/B-jelekként kezelje, nem pedig annak bizonyítékaként, hogy a képek okozták a különbségeket. Az imagesSentToModel érték nagyobb, mint 0 az azt jelenti, hogy a szolgáltatás képeket adott a modellnek.

Erőforrások tisztítása

A tudásforrás törlése előtt törölje a tudásbázist. Ezen Azure AI Keresés-erőforrások törlése nem törli az Azure Storage-ban lévő forrásdokumentumokat vagy kivetített képfájlokat. Ezeket a blobokat csak akkor törölje külön, ha a megőrzött betöltési vagy lekérési folyamatnak még szüksége sincs rájuk.

Hibaelhárítás

Használja első diagnosztikai lépésként az imageServing című részből származó tevékenységblokkot. Az alábbi táblázat a gyakori tüneteket egyetlen ok feltételezése nélkül ellenőrzi.

Kapcsolódó tartalom

• Tudásbázis lekérdezése
• Válaszszintézis használata idézetalapú válaszokhoz
• Mi az a tudásforrás?
• A tudástár fogalmai