在本教學課程中,您將建立 Dataflow 串流管道,轉換來自 Pub/Sub 主題和訂閱項目的電子商務資料,並將資料輸出至 BigQuery 和 Bigtable。本教學課程需要 Gradle。
本教學課程提供端對端電子商務範例應用程式,可將網路商店的資料串流至 BigQuery 和 Bigtable。這個範例應用程式說明瞭串流資料分析和即時人工智慧 (AI) 的常見用途和最佳做法。請參閱本教學課程,瞭解如何動態回應顧客動作,以便即時分析及回應事件。本教學課程說明如何儲存、分析及以圖表呈現事件資料,進一步瞭解消費者行為。
您可以在 GitHub 上找到範例應用程式。如要使用 Terraform 執行本教學課程,請按照 GitHub 範例應用程式提供的步驟操作。
目標
- 驗證傳入的資料,並盡可能套用修正內容。
- 分析點擊流資料,計算指定時間範圍內每個產品的瀏覽次數。將這項資訊儲存在低延遲儲存空間。 應用程式接著就能使用這些資料,在網站上向顧客顯示瀏覽這項產品的人數訊息。
使用交易資料輔助訂購商品:
- 分析交易資料,計算特定期間內每項商品的總銷售量 (依商店和全球)。
- 分析商品目錄資料,計算每個項目的進貨量。
- 持續將這項資料傳遞至庫存系統,以用於庫存購買決策。
驗證傳入的資料,並盡可能套用修正內容。 將任何無法修正的資料寫入無效信件佇列,以進行額外分析和處理。建立指標,代表傳送至無法傳送郵件佇列的傳入資料百分比,以供監控和發出快訊。
將所有傳入資料處理為標準格式,並儲存在資料倉儲中,以供日後分析和製作圖表。
將店內銷售交易資料去正規化,以便納入商店位置的緯度和經度等資訊。透過 BigQuery 中緩慢變更的資料表提供商店資訊,並使用商店 ID 做為鍵。
資料
應用程式會處理下列類型的資料:
- 線上系統傳送至 Pub/Sub 的點擊流資料。
- 地端部署或軟體即服務 (SaaS) 系統傳送至 Pub/Sub 的交易資料。