התאמת סביבות

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך לשנות את גודל הסביבות של Managed Airflow.

דפים נוספים בנושא שינוי גודל:

שינוי גודל אנכי ואופקי

אפשרויות להרחבה אופקית:

  • משנים את המספר המינימלי והמקסימלי של העובדים.
  • משנים את מספר המתזמנים והטריגרים.

אפשרויות להגדלה אנכית:

  • שינוי של פרמטרים של ביצועים וקנה מידה של worker,‏ scheduler,‏ triggerer ושרת אינטרנט.
  • משנים את גודל הסביבה.

מגבלות על משאבים

רכיב מספר מינימלי מספר מקסימלי מינימום vCPU מעבד וירטואלי מקסימלי vCPU minimum step זיכרון מינימלי (GB) זיכרון מקסימלי (GB) הצעד המינימלי של זיכרון (GB) זיכרון מינימלי לכל vCPU‏ (GB) הזיכרון המקסימלי לכל vCPU‏ (GB) נפח אחסון מינימלי (GB) נפח אחסון מקסימלי (GB) הצעד המינימלי לאחסון (GB)
מתזמני משימות 1 10 ‫0.5 28 0.25 ‫0.5 80 - 1 6.5 0.05 10 -
Triggerers 0 10 ‫0.5 1 0.25 ‫0.5 80 - 1 6.5 - - -
שרת אינטרנט - - ‫0.5 28 0.25 1 80 - 1 6.5 0.05 10 -
עובדים 1 100 ‫0.5 28 0.25 ‫0.5 80 - 1 6.5 0.05 10 -

הגדרות קבועות מראש של סביבה

כשיוצרים סביבה ב- Google Cloud console, אפשר לבחור אחת משלוש הגדרות קבועות מראש של סביבה. ההגדרות הקבועות מראש האלה קובעות את ההגדרה הראשונית של הסביבה מבחינת קנה מידה וביצועים. אחרי שיוצרים את הסביבה, אפשר לשנות את כל הפרמטרים של קנה המידה והביצועים שמוגדרים מראש.

מומלץ לבחור הגדרות קבועות מראש על סמך ההערכות הבאות:

  • המספר הכולל של DAG שתכננתם לפרוס בסביבה
  • מספר מקסימלי של הפעלות DAG בו-זמניות
  • מספר מקסימלי של משימות בו-זמנית

הביצועים של הסביבה תלויים בהטמעה של גרפים ספציפיים של זרימות עבודה (DAG) שמופעלים בסביבה. בטבלה הבאה מפורטים אומדנים שמבוססים על צריכת המשאבים הממוצעת. אם אתם צופים שגרפי ה-DAG יצרכו יותר משאבים, כדאי להתאים את ההערכות בהתאם.

הגדרה קבועה מראש מומלצת סך כל תרשימי ה-DAG מספר מקסימלי של הרצות DAG בו-זמניות מספר מקסימלי של משימות בו-זמניות
קטן 50 15 18
בינוני 250 60 100
גדול 1000 250 400

לדוגמה, סביבה צריכה להריץ 40 קובצי DAG. כל ה-DAGs צריכים לפעול בו-זמנית, וכל אחד מהם צריך לכלול משימה פעילה אחת. במקרה כזה, הסביבה תשתמש בהגדרה קבועה מראש של Medium, כי המספר המקסימלי של הפעלות DAG ומשימות בו-זמניות חורג מההערכות המומלצות להגדרה הקבועה מראש של Small.

שינוי הפרמטרים של העובדים

אתם יכולים להגדיר את מספר העובדים המינימלי והמקסימלי בסביבה שלכם. ‫Managed Airflow משנה את גודל הסביבה באופן אוטומטי במסגרת המגבלות שהוגדרו. אפשר לשנות את המגבלות האלה בכל שלב.

אתם יכולים לציין את מספר המעבדים, נפח הזיכרון ושטח הדיסק שבהם משתמשים העובדים של Airflow בסביבה שלכם. כך אפשר לשפר את הביצועים של הסביבה, בנוסף להרחבה אופקית שמתקבלת משימוש בכמה תהליכי worker.

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

  3. עוברים לכרטיסייה Environment configuration (הגדרת הסביבה).

  4. בפריט Resources (משאבים) > Workloads configuration (הגדרת עומסי עבודה), לוחצים על Edit (עריכה).

  5. בחלונית Workloads configuration (הגדרת עומסי עבודה), משנים את הפרמטרים של Airflow workers:

    • בשדה Minimum number of workers (מספר העובדים המינימלי), מציינים את מספר העובדים של Airflow שהסביבה צריכה להריץ תמיד. מספר העובדים בסביבה לא יירד מתחת למספר הזה במהלך הפעולה הרגילה של הסביבה, גם אם מספר נמוך יותר של עובדים יכול לטפל בעומס.

    • בשדה Maximum number of workers (מספר העובדים המקסימלי), מציינים את המספר המקסימלי של עובדי Airflow שהסביבה יכולה להריץ. מספר העובדים בסביבה לא יעלה על המספר הזה, גם אם נדרש מספר גבוה יותר של עובדים כדי לטפל בעומס.

    • בשדות CPU,‏ Memory ו-Storage, מציינים את מספר המעבדים, הזיכרון והאחסון של העובדים ב-Airflow. כל עובד משתמש בכמות המשאבים שצוינה.

  6. לוחצים על Save.

gcloud

אלה הפרמטרים של Airflow worker שזמינים:

  • ‫--min-workers: מספר העובדים של Airflow שהסביבה צריכה להריץ תמיד. מספר העובדים בסביבה לא יירד מתחת למספר הזה, גם אם מספר נמוך יותר של עובדים יכול להתמודד עם העומס.
  • ‫--max-workers: המספר המקסימלי של עובדי Airflow שהסביבה יכולה להריץ. מספר העובדים בסביבה לא יעלה על המספר הזה, גם אם נדרש מספר גבוה יותר של עובדים כדי לטפל בעומס.
  • ‫--worker-cpu: מספר יחידות ה-CPU של עובד Airflow.
  • ‫--worker-memory: כמות הזיכרון של עובד Airflow.
  • ‫--worker-storage: כמות שטח הדיסק לעובד של Airflow.

מריצים את הפקודה הבאה ב-Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --min-workers WORKERS_MIN \
  --max-workers WORKERS_MAX \
  --worker-cpu WORKER_CPU \
  --worker-memory WORKER_MEMORY \
  --worker-storage WORKER_STORAGE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ENVIRONMENT_NAME: שם הסביבה.
  • ‫LOCATION: האזור שבו נמצאת הסביבה.
  • ‫WORKERS_MIN: המספר המינימלי של עובדי Airflow.
  • ‫WORKERS_MAX: המספר המקסימלי של עובדי Airflow.
  • ‫WORKER_CPU: מספר יחידות ה-CPU של העובד, ביחידות vCPU.
  • ‫WORKER_MEMORY: כמות הזיכרון של העובד.
  • ‫WORKER_STORAGE: גודל הדיסק של העובד.

דוגמה:

gcloud composer environments update example-environment \
  --location us-central1