DAG 추가 및 업데이트 | Managed Service for Apache Airflow

기본 콘텐츠로 건너뛰기

기술 영역

AI 및 ML
애플리케이션 개발
애플리케이션 호스팅
컴퓨팅
데이터 분석 및 파이프라인
데이터베이스
분산, 하이브리드, 멀티 클라우드
업종별 솔루션
이전
네트워킹
모니터링 가능성 및 모니터링
보안
Storage

크로스 프로덕트 도구

액세스 및 리소스 관리
비용 및 사용량 관리
코드형 인프라
SDK, 언어, 프레임워크, 도구

/

콘솔

English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Managed Service for Apache Airflow

무료로 시작하기

개요 3세대 가이드 2세대 가이드 1세대 가이드 샘플 리소스 참조

기술 영역
- 더보기
크로스 프로덕트 도구
- 더보기
콘솔

Discover
Managed Service for Apache Airflow 개요
공동 책임 모델
Cloud Storage에 저장된 데이터
환경 아키텍처
시작하기
빠른 시작(콘솔)
빠른 시작(gcloud)
환경 만들기
환경 만들기(Terraform)
관리형 Airflow 서비스 사용 설정 및 사용 중지
DAG 관리
DAG 추가 및 업데이트
DAG, DAG 실행, 태스크 보기
DAG 예약 및 트리거
액세스 제어
보안 개요
보안 권장사항
액세스 제어
Airflow UI 액세스 제어
Google Cloud 태그 만들기 및 관리
다른 프로젝트의 리소스에 액세스
CMEK로 암호화 구성
Secret Manager 구성
맞춤 조직 정책 만들기
엔드포인트 사용 정책으로 환경 구성
리소스 위치 제한 구성
직원 ID 제휴를 활용한 액세스 환경
DAG 개발
로컬 Airflow 환경 실행
DAG 작성
Airflow 연산자 사용
Cloud Composer 원격 MCP 서버 사용
DAG 테스트
GitHub에서 DAG 테스트, 동기화, 배포
태스크 예약 문제 디버그
메모리 부족 및 스토리지 부족 DAG 문제 디버그
DAG 내 태스크 그룹화
다른 환경 및 프로젝트에서 DAG 트리거
Cloud Functions로 DAG 트리거
Cloud Functions 및 Pub/Sub 메시지를 사용하여 DAG 트리거
Airflow 액세스
Airflow CLI 액세스
Airflow 웹 인터페이스 액세스
Airflow REST API 액세스
Airflow 데이터베이스 액세스
Airflow 구성
환경 변수 설정하기
Airflow 구성 재정의
Airflow 연결 관리
Python 종속 항목 설치
커스텀 플러그인 설치
이메일 알림 구성
환경 모니터링
Airflow 로그 보기
감사 로그 보기
모니터링 대시보드 사용
Cloud Monitoring으로 환경 모니터링
주요 측정항목으로 환경 상태 및 성능 모니터링
Terraform을 사용한 교차 프로젝트 환경 모니터링
환경 최적화
환경 성능 및 비용 최적화
환경 확장
환경 확장 정보
환경 라벨 관리 및 환경 비용 분석
환경 관리
환경 업데이트
환경 업그레이드
환경 삭제
Airflow 데이터베이스 삭제
유지보수 기간 지정
커스텀 환경의 버킷 사용
환경 스냅샷 저장 및 로드
예약된 스냅샷 구성
환경 스냅샷으로 재해 복구
복원력이 우수한 환경 설정
복원력이 우수한 환경에서 장애 조치 테스트 수행
환경 버킷에 로그 저장 사용 설정
네트워킹 구성
비공개 IP 환경 정보
비공개 IP 네트워킹 구성
공유 VPC 네트워킹 구성
VPC 서비스 제어를 구성합니다.
관리형 Airflow 환경의 대규모 네트워크 구성
비공개로 사용되는 공개 IP 범위 구성
Private Service Connect 구성
IP 매스커레이드 에이전트 사용 설정
승인된 네트워크 구성
3세대로 이전
3세대로 이전 (이전 스크립트)
3세대로 이전
통합
Data Lineage 통합 사용 설정
관리형 Airflow로 Apache Spark용 서버리스 워크로드 실행
관리형 Airflow로 Dataflow 파이프라인 실행
Dataproc 클러스터에서 Hadoop 워드카운트 작업 실행
Google Cloud에서 데이터 분석 DAG 실행
AWS의 데이터를 사용하여 Google Cloud에서 데이터 분석 DAG 실행
Azure의 데이터를 사용하여 Google Cloud에서 데이터 분석 DAG 실행
통합 DBT 및 관리형 Airflow 운영 환경 만들기
Workflows와 비교한 Cloud Composer
관리 Airflow를 사용한 Dataproc 워크플로 템플릿
문제 해결
환경 생성 문제 해결
환경 업데이트 및 업그레이드 문제 해결
PyPI 패키지 설치 문제 해결
DAG 문제 해결
Airflow 스케줄러 문제 해결
DAG 프로세서 문제 해결
파일 동기화 문제 해결
Airflow 트리거 문제 해결
Airflow 웹 서버 문제 해결
알려진 문제