Eksportowanie do BigQuery

Omówienie

Architektura obliczeniowa Earth Engine została zoptymalizowana pod kątem szybkiego i skalowanego przetwarzania obrazów (na podstawie pikseli). BigQuery jest podobnie zoptymalizowany pod kątem skalowanego przetwarzania danych tabelarycznych (wektorów) i zawiera wiele funkcji, które sprawiają, że jest on przydatnym uzupełnieniem Earth Engine.

Przykładowe przepływy pracy:

  • Wykonywanie dużych złączeń BigQuery na danych wygenerowanych w Earth Engine
  • Dodawanie adnotacji do danych wektorowych za pomocą statystyk pochodzących z obrazów na potrzeby dalszego przetwarzania w BigQuery
  • okresowy eksport danych z Earth Engine do tabeli BigQuery, do której można dołączać dane;

Jeśli znasz inne świetne przypadki użycia, daj nam znać.

Podstawy BigQuery

Earth Engine zapisuje dane w tabelach BigQuery, a wszystkie tabele znajdują się w zbiorach danych. Zadania eksportu kończą się niepowodzeniem, jeśli określony zbiór danych nie jest obecny w BigQuery. Więcej informacji znajdziesz w wprowadzeniu do zbiorów danych BigQuery.

Tworzenie zbioru danych

Zbiory danych mają wiele opcji dotyczących czasu utworzenia, w tym nazwę, region przechowywania i zachowanie po wygaśnięciu (oraz kilka innych, bardziej zaawansowanych opcji).

Istnieją różne mechanizmy tworzenia zbiorów danych, ale najprostszym sposobem na rozpoczęcie jest konsola Cloud:

  1. Otwórz stronę BigQuery w konsoli Cloud.
  2. Jeśli pojawi się taka prośba, kliknij „Włącz”, aby włączyć interfejs API.
  3. Na karcie „Obszar roboczy SQL” kliknij menu z 3 kropkami () obok projektu.
  4. Wybierz opcję „Utwórz zbiór danych”.
  5. Postępuj zgodnie z instrukcjami w przewodniku po konfiguracji.

Wszystkie opcje tworzenia i konfigurowania zbioru danych znajdziesz w dokumentacji BigQuery.

Uprawnienia

Oprócz standardowych ról i uprawnień wymaganych do korzystania z Earth Engine, wywołujący muszą też mieć odpowiednie uprawnienia BigQuery w projekcie lub zbiorze danych Cloud.

  • bigquery.tables.get
  • bigquery.tables.create
  • bigquery.tables.updateData
  • bigquery.tables.delete
  • bigquery.jobs.create

Każda z tych kombinacji wstępnie zdefiniowanych ról zarządzania tożsamościami i dostępem obejmuje niezbędne uprawnienia:

  • bigquery.dataEditor plus bigquery.jobUser
  • bigquery.dataOwner plus bigquery.jobUser
  • bigquery.user
  • bigquery.admin

Ceny

BigQuery to płatna usługa Google Cloud, więc za jej korzystanie (w tym za przechowywanie i analizę danych Earth Engine wyeksportowanych do BigQuery) będą naliczane opłaty.

Szczegółowe informacje o cenach funkcji eksportu do BigQuery w Earth Engine znajdziesz w sekcji dotyczącej cen poniżej.

Eksportuj konfigurację

Składnia

Edytor kodu (JavaScript)

Export.table.toBigQuery({
  collection: features,
  table: 'myproject.mydataset.mytable',
  description: 'put_my_data_in_bigquery',
  append: true,