Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
En esta página, se explica cómo ajustar los parámetros de rendimiento y escala de tu entorno según las necesidades de tu proyecto para que obtengas un mejor rendimiento y reduzcas los costos de los recursos que no utiliza tu entorno.
- Para obtener información sobre cómo escalar tus entornos, consulta Escalado de entornos.
- Para obtener información sobre cómo funciona el escalamiento del entorno, consulta Acerca del escalamiento de entornos.
- Si deseas ver un instructivo para supervisar las métricas clave del entorno, consulta Supervisa el estado y el rendimiento del entorno con métricas clave.
Acerca del proceso de optimización
Realizar cambios en los parámetros de tu entorno puede afectar muchos aspectos de su rendimiento. Te recomendamos que optimices tu entorno en iteraciones:
- Comienza con los ajustes predeterminados del entorno.
- Ejecuta tus DAGs.
- Observa el rendimiento de tu entorno.
- Ajusta los parámetros de rendimiento y escala de tu entorno y, luego, repite el paso anterior.
Comienza con los ajustes predeterminados del entorno
Cuando creas un entorno en la consola de Google Cloud , puedes seleccionar uno de los ajustes predeterminados del entorno. Estos ajustes predeterminados establecen la configuración inicial de rendimiento y escalamiento de tu entorno. Después de crear el entorno, puedes cambiar todos los parámetros de rendimiento y escalamiento que proporciona un ajuste predeterminado.
Te recomendamos que comiences con uno de los ajustes predeterminados, según las siguientes estimaciones:
- Cantidad total de DAGs que planeas implementar en el entorno
- Cantidad máxima de ejecuciones simultáneas del DAG
- Cantidad máxima de tareas simultáneas
El rendimiento de tu entorno depende de la implementación de DAGs específicos que ejecutas en tu entorno. En la siguiente tabla, se enumeran las estimaciones basadas en el consumo promedio de recursos. Si esperas que tus DAG consuman más recursos, ajusta las estimaciones según corresponda.
| Ajuste predeterminado recomendado | DAGs totales | Cantidad máxima de ejecuciones simultáneas de DAG | Cantidad máxima de tareas simultáneas |
|---|---|---|---|
| Pequeño | 50 | 15 | 18 |
| Medias | 250 | 60 | 100 |
| Grandes | 1000 | 250 | 400 |
Por ejemplo, un entorno debe ejecutar 40 DAG. Todos los DAG deben ejecutarse al mismo tiempo con una tarea activa cada uno. Luego, este entorno usaría un ajuste predeterminado Medio, ya que la cantidad máxima de ejecuciones y tareas de DAG simultáneas supera las estimaciones recomendadas para el ajuste predeterminado Pequeño.
Ejecuta tus DAG
Una vez que se cree tu entorno, sube tus DAGs a él. Ejecuta tus DAG y observa el rendimiento del entorno.
Te recomendamos que ejecutes tus DAGs según un programa que refleje la aplicación real de tus DAGs. Por ejemplo, si deseas ejecutar varios DAG al mismo tiempo, asegúrate de verificar el rendimiento de tu entorno cuando todos estos DAG se estén ejecutando de forma simultánea.
Observa el rendimiento de tu entorno
En esta sección, se abordan los aspectos más comunes de la capacidad y el ajuste del rendimiento de Managed Airflow. Te recomendamos que sigas esta guía paso a paso, ya que primero se abordan las consideraciones de rendimiento más comunes.
Ir al panel de Monitoring
Puedes supervisar las métricas de rendimiento de tu entorno en el panel de supervisión de tu entorno.
Para ir al panel de Monitoring de tu entorno, haz lo siguiente:
En la consola de Google Cloud , ve a la página Entornos.
Haz clic en el nombre de tu entorno.
Ve a la pestaña Monitoring.
Supervisa las métricas de CPU y memoria del programador
Las métricas de CPU y memoria del programador de Airflow te ayudan a verificar si el rendimiento del programador es un cuello de botella en el rendimiento general de Airflow.
En el panel de Supervisión, en la sección Programadores, observa los grafos de Airflow de tu entorno:
- Uso total de CPU de los programadores
- Uso total de memoria de los programadores
Ajusta la configuración según tus observaciones:
Si el uso de la CPU del programador se mantiene constantemente por debajo del 30% al 35%, es posible que desees hacer lo siguiente: