הפעלת סביבת Airflow מקומית באמצעות כלי CLI לפיתוח מקומי של Composer | Managed Service for Apache Airflow | Google Cloud Documentation

דילוג לתוכן הראשי

תחומים טכנולוגיים

‫AI ו-ML
פיתוח אפליקציות
אירוח אפליקציות
Compute
ניתוח נתונים וצינורות עיבוד נתונים
מסדי נתונים
סביבות מבוזרות, היברידיות ומרובות עננים (multi-cloud)
פתרונות לתעשייה
העברה
קשרים מקצועיים
ניראות ומעקב
אבטחה
Storage

כלים למכפלה וקטורית (cross product)

ניהול גישה ומשאבים
ניהול עלויות ושימוש
תשתית כקוד
‫SDK, שפות, frameworks וכלים

/

מסוף

English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Managed Service for Apache Airflow

התחלת תקופת ניסיון בחינם

סקירה כללית מדריכים לדור 3 מדריכים לדור השני מדריכים מדור ראשון דגימות משאבים חומרי עזר

תחומים טכנולוגיים
- עוד
כלים למכפלה וקטורית (cross product)
- עוד
מסוף

Discover
סקירה כללית על Managed Service for Apache Airflow
מודל האחריות המשותפת
נתונים שמאוחסנים ב-Cloud Storage
ארכיטקטורה של סביבה
מתחילים
מדריך למתחילים (מסוף)
מדריך למתחילים (gcloud)
יצירת סביבות
יצירת סביבות (Terraform)
הפעלה והשבתה של שירות Managed Airflow
ניהול של DAG
הוספה ועדכון של DAG
הצגת DAG, הפעלות DAG ומשימות
תזמון והפעלת DAG
בקרת הגישה
סקירה כללית על אבטחה
שיטות מומלצות לאבטחה
בקרת גישה
בקרת גישה לממשק המשתמש של Airflow
יצירה וניהול של תגים ב-Google Cloud
גישה למשאבים בפרויקט אחר
הגדרת הצפנה באמצעות CMEK
הגדרת Secret Manager
יצירת מדיניות ארגונית בהתאמה אישית
הגדרת הגבלות על מיקום המשאבים
גישה לסביבות באמצעות איחוד שירותי אימות הזהות של כוח העבודה
פיתוח תרשימי DAG
הפעלת סביבות Airflow מקומיות
כתיבת תרשימי DAG
שימוש באופרטורים של Airflow
שימוש בשרת MCP מרוחק של Cloud Composer
בדיקת תרשימי DAG
בדיקה, סנכרון ופריסה של קובצי DAG מ-GitHub
ניפוי באגים בבעיות בתזמון משימות
ניפוי באגים בבעיות ב-DAG שקשורות לחוסר זיכרון או לחוסר נפח אחסון
קיבוץ משימות בתוך DAG
הפעלת DAG בסביבות ובפרויקטים אחרים
הפעלת DAG באמצעות Cloud Functions
הפעלת DAG באמצעות Cloud Functions והודעות Pub/Sub
גישה ל-Airflow
גישה ל-Airflow CLI
גישה לממשק האינטרנט של Airflow
גישה ל-Airflow API בארכיטקטורת REST
גישה למסד הנתונים של Airflow
הגדרת Airflow
הגדרה של משתני סביבה
שינוי הגדרות Airflow
ניהול חיבורי Airflow
התקנת יחסי תלות של Python
התקנת פלאגינים בהתאמה אישית
הגדרת התראות באימייל
מעקב אחרי סביבות
צפייה ביומני Airflow
צפייה ביומני ביקורת
שימוש בלוח הבקרה של Monitoring
ניטור סביבות באמצעות Cloud Monitoring
מעקב אחר תקינות הסביבה והביצועים שלה באמצעות מדדים מרכזיים
ניטור סביבות בכמה פרויקטים באמצעות Terraform
אופטימיזציה של סביבות
אופטימיזציה של הביצועים והעלויות של הסביבה