建立電子商務串流管道

在本教學課程中,您將建立 Dataflow 串流管道,轉換來自 Pub/Sub 主題和訂閱項目的電子商務資料,並將資料輸出至 BigQuery 和 Bigtable。本教學課程需要 Gradle

本教學課程提供端對端電子商務範例應用程式,可將網路商店的資料串流至 BigQuery 和 Bigtable。這個範例應用程式說明瞭串流資料分析和即時人工智慧 (AI) 的常見用途和最佳做法。請參閱本教學課程,瞭解如何動態回應顧客動作,以便即時分析及回應事件。本教學課程說明如何儲存、分析及以圖表呈現事件資料,進一步瞭解消費者行為。

您可以在 GitHub 上找到範例應用程式。如要使用 Terraform 執行本教學課程,請按照 GitHub 範例應用程式提供的步驟操作。

目標

  • 驗證傳入的資料,並盡可能套用修正內容。
  • 分析點擊流資料,計算指定時間範圍內每個產品的瀏覽次數。將這項資訊儲存在低延遲儲存空間。 應用程式接著就能使用這些資料,在網站上向顧客顯示瀏覽這項產品的人數訊息。
  • 使用交易資料輔助訂購商品:

    • 分析交易資料,計算特定期間內每項商品的總銷售量 (依商店和全球)。
    • 分析商品目錄資料,計算每個項目的進貨量。
    • 持續將這項資料傳遞至庫存系統,以用於庫存購買決策。
  • 驗證傳入的資料,並盡可能套用修正內容。 將任何無法修正的資料寫入無效信件佇列,以進行額外分析和處理。建立指標,代表傳送至無法傳送郵件佇列的傳入資料百分比,以供監控和發出快訊。

  • 將所有傳入資料處理為標準格式,並儲存在資料倉儲中,以供日後分析和製作圖表。

  • 將店內銷售交易資料去正規化,以便納入商店位置的緯度和經度等資訊。透過 BigQuery 中緩慢變更的資料表提供商店資訊,並使用商店 ID 做為鍵。

資料

應用程式會處理下列類型的資料:

  • 線上系統傳送至 Pub/Sub 的點擊流資料。
  • 地端部署或軟體即服務 (SaaS) 系統傳送至 Pub/Sub 的交易資料。