Suchdatenspeicher erstellen

Console

So verwenden Sie die Google Cloud Console, um einen Datenspeicher zu erstellen und Websites zu indexieren:

1. Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.

   KI-Anwendungen

2. Klicken Sie im Navigationsmenü auf Datenspeicher.

3. Klicken Sie auf Datenspeicher erstellen.

4. Wählen Sie auf der Seite Quelle die Option Websiteinhalte aus.

5. Wählen Sie aus, ob Sie die erweiterte Websiteindexierung für diesen Datenspeicher aktivieren möchten. Wenn Sie die erweiterte Websiteindexierung jetzt aktivieren, können Sie sie später nicht mehr deaktivieren.

   Die erweiterte Websiteindexierung bietet zusätzliche Funktionen wie die Zusammenfassung von Suchanfragen, die Suche mit Follow-ups und extraktive Antworten. Für die erweiterte Websiteindexierung fallen zusätzliche Kosten an. Außerdem müssen Sie die Inhaberschaft für jede Website bestätigen, die Sie indexieren. Weitere Informationen finden Sie unter Erweiterte Websiteindexierung und Preise.

6. Wenn Sie Erweiterte Websiteindexierung auswählen, wählen Sie eine der Indexierungsoptionen aus:

   Diese Auswahl kann später nicht mehr geändert werden.

   Option	Beschreibung
   Automatische URL-Erkennung und kontinuierliche Aktualisierungen	Dadurch werden die von Ihnen angegebenen URLs indexiert, sofern Google die entsprechenden Seiten kennt. Eine ganz neue Seite ist Google nicht bekannt, da der Google-Web-Crawler sie noch nicht gecrawlt hat. Nach der ersten Indexierung werden damit neue Seiten ermittelt und aktualisierte Seiten nach Möglichkeit aktualisiert. Das kann dazu führen, dass die Seiten relativ alt sind. Weitere Informationen finden Sie unter Webseiten mit automatischer und manueller Aktualisierung aktualisieren. Dadurch wird ein Datenspeicher erstellt, in dem Automatische Aktualisierung auf Aktiviert und Sitemap-Modus auf Erkennung festgelegt ist.
   Bestimmte URLs und Google bekannte URLs	Dadurch werden die Seiten in den Sitemaps und die Seiten, die mit den URL-Mustern übereinstimmen, indexiert, sofern Google die Seiten kennt. Da diese Option keine automatische Aktualisierung ermöglicht, müssen Sie den Index manuell aktualisieren und die Sitemap aktualisieren. Weitere Informationen finden Sie unter Manuelle Aktualisierung und Webseiten mithilfe von Sitemaps indexieren und aktualisieren. Dadurch wird ein Datenspeicher erstellt, in dem Automatische Aktualisierung deaktiviert und Sitemap-Modus auf Erkennung festgelegt ist.
   Bestimmte URLs aus der Sitemap und manuell angegebene URLs	So haben Sie die vollständige Kontrolle darüber, was indexiert wird. Die Indexierung basiert auf der Sitemap. Wenn Sie den Index aktualisieren müssen, lesen Sie den Hilfeartikel Webseiten mit Sitemaps indexieren und aktualisieren. Dadurch wird ein Datenspeicher erstellt, in dem Automatische Aktualisierung auf Deaktiviert und Sitemap-Modus auf Exakt festgelegt ist.

7. Geben Sie im Feld Einzuschließende Websites die URL-Muster ein, die den Websites entsprechen, die Sie in Ihren Datenspeicher aufnehmen möchten. Geben Sie pro Zeile ein URL-Muster ohne Kommatrennzeichen an. Beispiel: example.com/docs/*

8. Geben Sie im Feld Auszuschließende Websites URL-Muster ein, die Sie aus Ihrem Datenspeicher ausschließen möchten.

   Ausgeschlossene Websites haben Vorrang vor eingeschlossenen Websites. Wenn Sie also example.com/docs/* einschließen, aber example.com ausschließen, werden keine Websites indexiert.

   Weitere Informationen finden Sie unter Websitedaten im Hilfeartikel Daten für die Aufnahme vorbereiten.

9. Klicken Sie auf Weiter.

10. Wählen Sie einen Speicherort für Ihren Datenspeicher aus.

    • Wenn Sie einen einfachen Website Search-Datenspeicher erstellen, wird dieser immer auf global festgelegt.
    • Wenn Sie einen Datenspeicher mit erweiterter Websiteindexierung erstellen, können Sie einen Standort auswählen. Da die indexierten Websites öffentlich sein müssen, empfiehlt Google dringend, global als Standort auszuwählen. So wird die maximale Verfügbarkeit aller Such- und Antwortdienste gewährleistet und die Einschränkungen regionaler Datenspeicher werden aufgehoben.

11. Geben Sie einen Namen für den Datenspeicher ein.

12. Klicken Sie auf Erstellen. Agent Search erstellt den Datenspeicher und zeigt ihn auf der Seite Datenspeicher an.

13. Wenn Sie Informationen zu Ihrem Datenspeicher aufrufen möchten, klicken Sie in der Spalte Name auf den Namen des Datenspeichers. Die Seite für Ihren Datenspeicher wird angezeigt.

    • Wenn Sie die erweiterte Websiteindexierung aktiviert haben, wird eine Warnung angezeigt, in der Sie aufgefordert werden, die Domains in Ihrem Datenspeicher zu bestätigen.
    • Wenn Sie ein Kontingentdefizit haben (die Anzahl der Seiten auf den von Ihnen angegebenen Websites überschreitet das Kontingent „Anzahl der Dokumente pro Projekt“ für Ihr Projekt), wird eine zusätzliche Warnung angezeigt, in der Sie aufgefordert werden, Ihr Kontingent zu erhöhen.

14. Folgen Sie der Anleitung auf der Seite Website-Domains bestätigen, um die Domains für die URL-Muster in Ihrem Datenspeicher zu bestätigen.

15. So führen Sie ein Upgrade Ihres Kontingents durch:

    1. Klicken Sie auf Kontingent aktualisieren. Die Seite IAM & Verwaltung der Google Cloud Console wird angezeigt.
    2. Folgen Sie der Anleitung unter Kontingentanpassung anfordern in der Google Cloud -Dokumentation. Das zu erhöhende Kontingent ist Anzahl der Dokumente im Dienst Discovery Engine API.
    3. Nachdem Sie Ihren Antrag auf ein höheres Kontingentlimit eingereicht haben, kehren Sie zur Seite AI Applications zurück und klicken Sie im Navigationsmenü auf Datenspeicher.
    4. Klicken Sie in der Spalte Name auf den Namen des Datenspeichers. In der Spalte Status wird angezeigt, dass die Indexierung für die Websites, die das Kontingent überschritten haben, noch läuft. Wenn in der Spalte Status für eine URL Indexiert angezeigt wird, sind die Funktionen der erweiterten Websiteindexierung für diese URL oder dieses URL-Muster verfügbar.

    Weitere Informationen finden Sie auf der Seite „Kontingente und Limits“ unter Kontingent für die Indexierung von Webseiten.

Python

Weitere Informationen finden Sie in der Referenzdokumentation zur Agent Search Python API.

Richten Sie zur Authentifizierung bei Agent Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

Datenspeicher erstellen

from google.api_core.client_options import ClientOptions
from google.cloud import discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"
# location = "YOUR_LOCATION" # Values: "global"
# data_store_id = "YOUR_DATA_STORE_ID"


def create_data_store_sample(
    project_id: str,
    location: str,
    data_store_id: str,
) -> str:
    #  For more information, refer to:
    # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
    client_options = (
        ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
        if location != "global"
        else None
    )

    # Create a client
    client = discoveryengine.DataStoreServiceClient(client_options=client_options)

    # The full resource name of the collection
    # e.g. projects/{project}/locations/{location}/collections/default_collection
    parent = client.collection_path(
        project=project_id,
        location=location,
        collection="default_collection",
    )

    data_store = discoveryengine.DataStore(
        display_name="My Data Store",
        # Options: GENERIC, MEDIA, HEALTHCARE_FHIR
        industry_vertical=discoveryengine.IndustryVertical.GENERIC,
        # Options: SOLUTION_TYPE_RECOMMENDATION, SOLUTION_TYPE_SEARCH, SOLUTION_TYPE_CHAT, SOLUTION_TYPE_GENERATIVE_CHAT
        solution_types=[discoveryengine.SolutionType.SOLUTION_TYPE_SEARCH],
        # TODO(developer): Update content_config based on data store type.
        # Options: NO_CONTENT, CONTENT_REQUIRED, PUBLIC_WEBSITE
        content_config=discoveryengine.DataStore.ContentConfig.CONTENT_REQUIRED,
    )

    request = discoveryengine.CreateDataStoreRequest(
        parent=parent,
        data_store_id=data_store_id,
        data_store=data_store,
        # Optional: For Advanced Site Search Only
        # create_advanced_site_search=True,
    )

    # Make the request
    operation = client.create_data_store(request=request)

    print(f"Waiting for operation to complete: {operation.operation.name}")
    response = operation.result()

    # After the operation is complete,
    # get information from operation metadata
    metadata = discoveryengine.CreateDataStoreMetadata(operation.metadata)

    # Handle the response
    print(response)
    print(metadata)

    return operation.operation.name

Websites importieren

#     from google.api_core.client_options import ClientOptions
#
#     from google.cloud import discoveryengine_v1 as discoveryengine
#
#     # TODO(developer): Uncomment these variables before running the sample.
#     # project_id = "YOUR_PROJECT_ID"
#     # location = "YOUR_LOCATION" # Values: "global"
#     # data_store_id = "YOUR_DATA_STORE_ID"
#     # NOTE: Do not include http or https protocol in the URI pattern
#     # uri_pattern = "cloud.google.com/generative-ai-app-builder/docs/*"
#
#     #  For more information, refer to:
#     # https://cloud.google.com/generative-ai-app-builder/docs/locations#specify_a_multi-region_for_your_data_store
#     client_options = (
#         ClientOptions(api_endpoint=f"{location}-discoveryengine.googleapis.com")
#         if location != "global"
#         else None
#     )
#
#     # Create a client
#     client = discoveryengine.SiteSearchEngineServiceClient(
#         client_options=client_options
#     )
#
#     # The full resource name of the data store
#     # e.g. projects/{project}/locations/{location}/dataStores/{data_store_id}
#     site_search_engine = client.site_search_engine_path(
#         project=project_id, location=location, data_store=data_store_id
#     )
#
#     # Target Site to index
#     target_site = discoveryengine.TargetSite(
#         provided_uri_pattern=uri_pattern,
#         # Options: INCLUDE, EXCLUDE
#         type_=discoveryengine.TargetSite.Type.INCLUDE,
#         exact_match=False,
#     )