Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Auf dieser Seite wird beschrieben, wie Sie Managed Airflow-Umgebungen skalieren.
Weitere Seiten zur Skalierung:
- Eine Anleitung zur Auswahl der optimalen Skalierungs- und Leistungsparameter für Ihre Umgebung finden Sie unter Umgebungsleistung und ‑kosten optimieren.
- Informationen zur Funktionsweise der Umgebungsskalierung finden Sie unter Umgebungsskalierung.
Vertikal und horizontal skalieren
Optionen für die horizontale Skalierung:
- Passen Sie die Mindest- und Höchstzahl der Worker an.
- Passen Sie die Anzahl der Planer, DAG-Prozessoren und Triggerer an.
Optionen für die vertikale Skalierung:
- Passen Sie die Skalierungs- und Leistungsparameter für Worker, Planer, Triggerer, DAG-Prozessor und Webserver an.
- Umgebungsgröße anpassen
Ressourcenlimits
| Komponente | Mindestanzahl | Maximale Anzahl | Mindestanzahl an vCPUs | Maximale vCPU | vCPU-Mindestschritt | Mindestspeicher (GB) | Maximaler Arbeitsspeicher (GB) | Minimaler Arbeitsspeicherschritt (GB) | Mindestspeicher pro 1 vCPU (GB) | Maximaler Arbeitsspeicher pro 1 vCPU (GB) | Mindestspeicherplatz (GB) | Maximaler Speicherplatz (GB) | Mindestschritt für Speicherplatz (GB) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Planer | 1 | 3 | 0,5 | 2 | 0,5 | 1 (2 in Airflow 3) | 8 | 0,25 | 1 | 8 | 0 | 100 | 1 |
| Trigger | 0 | 10 | 0,5 | 1 | 0,5 | 1 (2 in Airflow 3) | 8 | 0,25 | 1 | 8 | - | – | - |
| Webserver | - | - | 1 (unterstütztes Minimum) | 4 | 0, 5, 1 oder ein Vielfaches von 2 | 2 | 32 | 0,25 | 1 | 8 | 0 | 100 | 1 |
| Worker | 1 | 100 | 0,5 | 32 | 0, 5, 1 oder ein Vielfaches von 2 | 1 (2 in Airflow 3) | 256 | 0,25 | 1 | 8 | 0 | 100 | 1 |
| DAG-Prozessoren | 1 | 3 | 0,5 | 32 | 0, 5, 1 oder ein Vielfaches von 2 | 1 (2 in Airflow 3) | 256 | 0,25 | 1 | 8 | 0 | 100 | 1 |
Umgebungsvoreinstellungen
Beim Erstellen einer Umgebung in der Google Cloud Console können Sie eine von drei Umgebungsvoreinstellungen auswählen. Diese Voreinstellungen legen die anfängliche Skalierungs- und Leistungskonfiguration Ihrer Umgebung fest. Nachdem Sie Ihre Umgebung erstellt haben, können Sie alle Skalierungs- und Leistungsparameter ändern, die von einer Voreinstellung bereitgestellt werden.
Wir empfehlen, Voreinstellungen basierend auf den folgenden Schätzungen auszuwählen:
- Gesamtzahl der DAGs, die Sie in der Umgebung bereitstellen möchten
- Maximale Anzahl gleichzeitiger DAG-Ausführungen
- Maximale Anzahl gleichzeitiger Aufgaben
Die Leistung Ihrer Umgebung hängt von der Implementierung bestimmter DAGs ab, die Sie in Ihrer Umgebung ausführen. Die folgende Tabelle enthält Schätzungen, die auf dem durchschnittlichen Ressourcenverbrauch basieren. Wenn Sie davon ausgehen, dass Ihre DAGs mehr Ressourcen verbrauchen, passen Sie die Schätzungen entsprechend an.
| Empfohlene Voreinstellung | DAGs insgesamt | Maximale Anzahl gleichzeitiger DAG-Ausführungen | Maximale Anzahl gleichzeitiger Aufgaben |
|---|---|---|---|
| Klein | 50 | 15 | 18 |
| Mittel | 250 | 60 | 100 |
| Groß | 1000 | 250 | 400 |
| Sehr groß | 3.000 | 750 | 2.250 |
Eine Umgebung muss beispielsweise 40 DAGs ausführen. Alle DAGs müssen gleichzeitig mit jeweils einer aktiven Aufgabe ausgeführt werden. Diese Umgebung verwendet dann die Voreinstellung „Mittel“, da die maximale Anzahl gleichzeitiger DAG-Ausführungen und Aufgaben die empfohlenen Schätzungen für die Voreinstellung „Klein“ überschreitet.
Worker-Parameter anpassen
Sie können die Mindest- und Höchstanzahl an Workern für Ihre Umgebung festlegen. Managed Airflow skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.
Sie können die Anzahl der CPUs, den Arbeitsspeicher und den Speicherplatz angeben, die von Airflow-Workern in Ihrer Umgebung verwendet werden. So können Sie die Leistung Ihrer Umgebung zusätzlich zur horizontalen Skalierung, die durch die Verwendung mehrerer Worker bereitgestellt wird, steigern.
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie unter Ressourcen > Konfiguration der Arbeitslasten auf Bearbeiten.
Passen Sie im Bereich Arbeitslastkonfiguration die Parameter für Airflow-Worker an:
Geben Sie im Feld Mindestzahl an Workern die Anzahl der Airflow-Worker an, die Ihre Umgebung immer ausführen muss. Die Anzahl der Worker in Ihrer Umgebung unterschreitet diesen Wert während des regulären Betriebs der Umgebung nie, auch nicht, wenn eine niedrigere Anzahl von Workern die Last bewältigen kann.
Geben Sie im Feld Maximalzahl der Worker die maximale Anzahl der Airflow-Worker an, die in Ihrer Umgebung ausgeführt werden können. Die Zahl der Worker in Ihrer Umgebung überschreitet diesen Wert nie, auch wenn eine höhere Anzahl an Workern zur Verarbeitung der Last erforderlich ist.
Geben Sie in den Feldern CPU, Arbeitsspeicher und Speicher die Anzahl der CPUs, den Arbeitsspeicher und den Speicher für Airflow-Worker an. Jeder Worker verwendet die angegebene Menge an Ressourcen.
Klicken Sie auf Speichern.
gcloud
Die folgenden Airflow-Worker-Parameter sind verfügbar:
--min-workers: Die Anzahl der Airflow-Worker, die in Ihrer Umgebung immer ausgeführt werden müssen. Die Anzahl der Worker in Ihrer Umgebung unterschreitet diesen Wert nie, auch nicht, wenn eine niedrigere Anzahl von Workern die Last bewältigen kann.--max-workers: die maximale Anzahl an Airflow-Workern, die Ihre Umgebung ausführen kann. Die Anzahl der Worker in Ihrer Umgebung überschreitet diesen Wert nie, auch wenn eine höhere Anzahl an Workern zur Verarbeitung der Last erforderlich ist.--worker-cpu: die Anzahl der CPUs für einen Airflow-Worker.--worker-memory: Die Menge an Arbeitsspeicher für einen Airflow-Worker.