Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (ancienne 1re génération)
Cette page explique comment mettre à niveau votre environnement vers une nouvelle version de Managed Airflow ou d'Airflow.
À propos des opérations de mise à niveau
Vous pouvez mettre à niveau la version Managed Airflow, la version Airflow ou les deux en même temps.
Lorsque vous modifiez la version d'Airflow ou de Managed Airflow utilisée par votre environnement :
Managed Airflow redéploie les composants de votre environnement à l'aide de nouvelles versions des images Managed Airflow.
Managed Airflow applique les modifications de configuration Airflow, telles que les packages PyPI personnalisés ou les remplacements d'options de configuration Airflow, si votre environnement en comportait avant la mise à niveau.
Managed Airflow met à jour la connexion Airflow
airflow_dbpour qu'elle pointe vers la nouvelle base de données Cloud SQL.
La mise à niveau ne modifie pas la manière dont vous vous connectez aux ressources de votre environnement, comme l'URL du bucket de votre environnement ou le serveur Web Airflow.
Limites des opérations de mise à niveau
Les opérations de mise à niveau sont soumises aux limites suivantes :
Les versions de Managed Airflow sont déployées progressivement dans toutes les régions compatibles avec Managed Airflow sur plusieurs jours. Il est possible que la dernière version d'une version en cours ne soit pas encore disponible dans votre région.
Vous ne pouvez pas revenir à une version antérieure de Managed Airflow ou d'Airflow.
Dans la console Google Cloud , vous ne pouvez effectuer la mise à niveau que vers les dernières versions compatibles de Managed Airflow (2e génération).
Dans Google Cloud CLI, l'API ou Terraform, vous pouvez mettre à niveau un environnement vers les dernières versions compatibles, vers trois versions précédentes de Managed Airflow (Gen 2), vers la dernière version de correctif de la version mineure précédente et vers les versions avec une chronologie de mise à niveau étendue. Il n'est pas possible de passer à d'autres versions de Managed Airflow (2e génération), même si elles sont toujours compatibles et peuvent être utilisées pour créer un nouvel environnement.
Exemple de choix de mise à niveau pour Google Cloud CLI, l'API et Terraform :
- Dernières versions :
composer-2.11.5-airflow-* - Trois versions précédentes de Managed Airflow (2e génération) :
composer-2.11.4-airflow-*,composer-2.11.3-airflow-*etcomposer-2.11.2-airflow-*. - Dernier correctif de la version mineure précédente de Managed Airflow (2e génération) :
composer-2.10.2-airflow-* - Versions d'Airflow géré (2e génération) avec un calendrier de mise à niveau étendu :
composer-2.10.2-airflow-*,composer-2.10.1-ariflow-*,composer-2.9.7-airflow-*et autres versions avec un calendrier de mise à niveau étendu.
- Dernières versions :
La version vers laquelle vous effectuez la mise à niveau doit être compatible avec la version Python actuelle de votre environnement.
Les limites de quota de l'API Compute Engine peuvent empêcher les mises à niveau. Dans la console Google Cloud , accédez à la page IAM et administration > Quotas et limites du système et vérifiez que le quota de l'API Compute Engine pour les processeurs n'est pas dépassé. Si le seuil de quota est presque atteint, demandez une extension de quota avant de procéder à l'opération de mise à niveau.
Vous ne pouvez pas mettre à niveau votre environnement si la base de données Airflow contient plus de 16 Go de données. Lors d'une mise à niveau, un avertissement s'affiche si la taille de la base de données Airflow dépasse 16 Go. Dans ce cas, effectuez la maintenance de la base de données pour réduire sa taille.
Si vous utilisez le mécanisme XCom pour transférer des fichiers, assurez-vous de l'utiliser conformément aux consignes d'Airflow. Le transfert de fichiers volumineux ou d'un grand nombre de fichiers à l'aide de XCom a un impact sur les performances de la base de données Airflow et peut entraîner des échecs lors du chargement d'instantanés ou de la mise à niveau de votre environnement. Envisagez d'utiliser des alternatives telles que Cloud Storage pour transférer de grands volumes de données.
Avant de commencer
Nous vous recommandons de créer un instantané de l'environnement pour pouvoir le recréer si nécessaire.
Votre compte doit disposer d'un rôle permettant de déclencher des opérations de mise à niveau d'environnement. De plus, le compte de service de l'environnement doit disposer d'un rôle doté d'autorisations suffisantes pour effectuer des opérations de mise à niveau. Pour plus d'informations, consultez la section Contrôle des accès.