Managed Service for Apache Airflow 환경 만들기

Managed Airflow (3세대) | Managed Airflow (2세대) | Managed Airflow (기존 1세대)

이 페이지에서는 Managed Airflow 환경을 만드는 방법을 설명합니다.

• 환경에 대한 자세한 내용은 환경 아키텍처를 참조하세요.
• Terraform을 사용하여 환경을 만드는 방법에 대한 자세한 내용은 환경 만들기(Terraform)를 참조하세요.

시작하기 전에

• Cloud Composer API를 사용 설정합니다. Managed Airflow에서 사용하는 서비스의 전체 목록은 Managed Airflow에 필요한 서비스를 참고하세요.

• 환경을 만드는 데 걸리는 시간은 약 25분입니다.

• Terraform으로 환경을 만드는 경우 Terraform에서 사용하는 서비스 계정에는 composer.environments.create 권한이 사용 설정된 역할이 있어야 합니다.

  Terraform의 서비스 계정에 대한 자세한 내용은 Google 제공업체 구성 참조를 확인하세요.

  Terraform을 사용하여 Managed Airflow 환경을 만드는 방법에 대한 자세한 내용은 Terraform 문서를 참고하세요.

  추가 매개변수에 대한 자세한 내용은 Terraform 인수 참조를 확인하세요.

• VPC SC: 보안 경계 내에 Managed Airflow 환경을 배포하려면 VPC SC 구성을 참고하세요. Managed Airflow와 함께 사용하는 경우 VPC 서비스 제어에 몇 가지 알려진 제한사항이 있습니다.

1단계: 환경의 서비스 계정 만들기 또는 선택

사용자는 환경을 만들 때 서비스 계정을 지정합니다. 이 서비스 계정을 환경의 서비스 계정이라고 합니다. 환경에서는 이 서비스 계정을 사용하여 대부분의 작업을 실행합니다.

환경의 서비스 계정은 사용자 계정이 아닙니다. 서비스 계정은 사용자가 아닌 애플리케이션 또는 가상 머신 (VM) 인스턴스에서 사용하는 특별한 유형의 계정입니다.

나중에는 환경의 서비스 계정을 변경할 수 없습니다.

프로젝트에 Managed Airflow 환경용 서비스 계정이 아직 없는 경우 만듭니다.

Terraform에서 환경의 서비스 계정을 만드는 확장된 예는 환경 만들기 (Terraform)를 참고하세요.

환경의 새 서비스 계정을 만들려면 다음 안내를 따르세요.

1. Identity and Access Management 문서에 설명된 대로 새 서비스 계정을 만듭니다.

2. Identity and Access Management 문서에 설명된 대로 역할을 부여합니다. 필요한 역할은 Composer 작업자 (composer.worker)입니다.

3. Google Cloud 프로젝트의 다른 리소스에 액세스하려면 해당 리소스에 액세스할 수 있는 추가 권한을 이 서비스 계정에 부여하세요. Composer 작업자 (composer.worker) 역할은 대부분의 경우 이 필수 권한 집합을 제공합니다. DAG 작동에 필요한 경우에만 이 서비스 계정에 추가 권한을 추가하세요.

2단계: 기본 설정

이 단계에서는 지정된 위치에 기본 매개변수로 Managed Airflow 환경을 만듭니다.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version IMAGE_VERSION \
    --service-account "SERVICE_ACCOUNT"

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-3-airflow-2.11.1-build.19 \
    --service-account "
example-account@example-project.
"

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "IMAGE_VERSION"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }