Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
בדף הזה מובא מבוא קצר ל-Airflow ול-DAG, ומתוארות התכונות והיכולות של Managed Airflow.
מידע נוסף על תכונות חדשות בגרסאות של Managed Airflow זמין בנתוני הגרסה.
מידע על Managed Airflow
Managed Airflow הוא שירות מנוהל לתזמור תהליכי עבודה, שמאפשר ליצור, לתזמן, לנטר ולנהל צינורות עיבוד נתונים של תהליכי עבודה שפועלים בעננים ובמרכזי נתונים מקומיים.
Managed Airflow מבוסס על פרויקט הקוד הפתוח הפופולרי Apache Airflow ופועל באמצעות שפת התכנות Python.
שימוש ב-Managed Airflow במקום במופע מקומי של Apache Airflow מאפשר לכם ליהנות מהיתרונות של Airflow בלי צורך בהתקנה או בניהול. Managed Airflow מאפשר ליצור במהירות סביבות Airflow מנוהלות ולהשתמש בכלים מקוריים של Airflow, כמו ממשק האינטרנט העוצמתי של Airflow וכלי שורת הפקודה, כדי שתוכלו להתמקד בתהליכי העבודה ולא בתשתית.
ההבדלים בין הגרסאות של Managed Airflow
מידע נוסף על ההבדלים בין גרסאות עיקריות של Managed Airflow זמין במאמר סקירה כללית על ניהול גרסאות של Managed Service for Apache Airflow.
Airflow ו-DAG (תהליכי עבודה) של Airflow
בניתוח נתונים, תהליך עבודה מייצג סדרה של משימות להטמעה, לשינוי, לניתוח או לשימוש בנתונים. ב-Airflow, תהליכי עבודה נוצרים באמצעות DAG, או "גרפים אציקליים מכוונים".
DAG הוא אוסף של משימות שרוצים לתזמן ולהפעיל, והן מסודרות באופן שמשקף את הקשרים ויחסי התלות ביניהן. קובצי DAG נוצרים בקובצי Python, שבהם מוגדרת מבנה ה-DAG באמצעות קוד. המטרה של DAG היא לוודא שכל משימה מבוצעת בזמן הנכון ובסדר הנכון.
כל משימה ב-DAG יכולה לייצג כמעט כל דבר – לדוגמה, משימה אחת יכולה לבצע כל אחת מהפונקציות הבאות:
- הכנת נתונים להטמעה
- מעקב אחר API
- שליחת אימייל
- הפעלת צינור עיבוד נתונים
בנוסף להרצת DAG לפי לוח זמנים, אפשר להפעיל DAG באופן ידני או בתגובה לאירועים, כמו שינויים בקטגוריה של Cloud Storage. מידע נוסף זמין במאמר בנושא תזמון והפעלה של DAG.
מידע נוסף על DAG ומשימות מופיע במסמכי התיעוד של Apache Airflow.
סביבות Managed Airflow
סביבות Managed Airflow הן פריסות עצמאיות של Airflow שמבוססות על Google Kubernetes Engine. הם פועלים עם שירותים אחרים Google Cloud באמצעות מחברים שמובנים ב-Airflow. אפשר ליצור סביבה אחת או יותר בפרויקט Google Cloudאחד, בכל אזור נתמך.
Managed Airflow מספק Google Cloud שירותים שמריצים את תהליכי העבודה שלכם ואת כל רכיבי Airflow. הרכיבים העיקריים של סביבה הם:
אשכול GKE: רכיבי Airflow כמו מתזמני Airflow, מפעילים ועובדים פועלים כעומסי עבודה של GKE באשכול יחיד שנוצר עבור הסביבה שלכם, ואחראים לעיבוד ולביצוע של DAG.
האשכול מארח גם רכיבים מנוהלים אחרים של Airflow, כמו Composer Agent ו-Airflow Monitoring, שעוזרים לנהל את סביבת Managed Airflow, לאסוף יומנים לאחסון ב-Cloud Logging ולאסוף מדדים להעלאה ל-Cloud Monitoring.
שרת האינטרנט של Airflow: שרת האינטרנט מריץ את ממשק המשתמש של Apache Airflow.