Présentation de Managed Airflow | Managed Service for Apache Airflow

Passer au contenu principal

Domaines technologiques

IA et ML
Développement d'applications
Hébergement d'applications
Calcul
Analyses de données et pipelines
Bases de données
Solutions distribuées, hybrides et multicloud
Solutions par secteur d'activité
Migration
Mise en réseau
Observabilité et surveillance
Sécurité
Storage

Outils de produits croisés

Gestion des accès et des ressources
Gestion des coûts et de l'utilisation
Infrastructure as Code
SDK, langages, frameworks et outils

/

Console

English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Managed Service for Apache Airflow

Commencer l'essai gratuit

Aperçu Guides Gen 3 Guides Gen 2 Guides de 1re génération Exemples Ressources Référence

Domaines technologiques
- Plus
Outils de produits croisés
- Plus
Console

Découvrir
Présentation de Managed Service pour Apache Airflow
Modèle de responsabilité partagée
Données stockées dans Cloud Storage
Architecture des environnements
Premiers pas
Démarrage rapide (console)
Guide de démarrage rapide (gcloud)
Créer des environnements
Créer des environnements (Terraform)
Activer et désactiver le service Managed Airflow
Gérer les DAG
Ajouter et mettre à jour des DAG
Afficher les DAG, les exécutions de DAG et les tâches
Planifier et déclencher des DAG
Contrôler les accès
Présentation de la sécurité
Bonnes pratiques concernant la sécurité
Contrôle d'accès
Contrôle des accès à l'UI Airflow
Créer et gérer des tags Google Cloud
Accéder aux ressources d'un autre projet
Configurer le chiffrement avec CMEK
Configurer Secret Manager
Créer des règles d'administration personnalisées
Configurer des environnements avec la règle "Restreindre l'utilisation des points de terminaison"
Configurer des restrictions d'emplacement des ressources
Accéder aux environnements avec la fédération d'identité de personnel
Développer des DAG
Exécuter des environnements Airflow locaux
Écrire des DAG
Utiliser des opérateurs Airflow
Utiliser le serveur MCP distant Cloud Composer
Tester les DAG
Tester, synchroniser et déployer vos DAG depuis GitHub
Déboguer les problèmes de planification des tâches
Déboguer les problèmes de mémoire insuffisante et d'espace de stockage insuffisant dans les DAG
Regrouper des tâches dans des DAG
Déclencher des DAG dans d'autres environnements et projets
Déclencher des DAG avec Cloud Functions
Déclencher des DAG avec Cloud Functions et des messages Pub/Sub
Accéder à Airflow
Accéder à la CLI Airflow
Accéder à l'interface Web Airflow
Accéder à l'API REST Airflow
Accéder à la base de données Airflow
Configurer Airflow
Définir des variables d'environnement
Remplacer les configurations Airflow
Gérer les connexions Airflow
Installer des dépendances Python
Installer des plug-ins personnalisés
Configurer les notifications par e-mail
Surveiller des environnements
Afficher les journaux Airflow
Consulter les journaux d'audit
Utiliser le tableau de bord de surveillance
Surveiller des environnements avec Cloud Monitoring
Surveiller l'état et les performances de l'environnement à l'aide de métriques clés
Surveillance des environnements multiprojets avec Terraform
Optimiser des environnements
Optimiser les performances et les coûts de l'environnement
Faire évoluer des environnements
À propos du scaling d'environnement
Gérer les libellés d'environnement et répartir les coûts liés à l'environnement
Gérer les environnements
Mettre à jour des environnements
Mettre à niveau des environnements
Supprimer des environnements
Nettoyer la base de données Airflow
Spécifier des intervalles de maintenance
Utiliser un bucket d'environnement personnalisé
Enregistrer et charger des instantanés d'environnement
Configurer des instantanés programmés
Reprise après sinistre avec des instantanés d'environnement
Configurer des environnements très résilients
Effectuer des tests de basculement pour les environnements très résilients
Activer l'enregistrement des journaux dans le bucket de l'environnement
Configurer la mise en réseau
À propos des environnements d'adresse IP privée
Configurer un réseau IP privé
Configurer un réseau VPC partagé
Configurer VPC Service Controls
Configurer des réseaux à grande échelle pour les environnements Managed Airflow
Configurer des plages d'adresses IP publiques utilisées en mode privé
Configurer Private Service Connect
Activer l'agent de masquage d'adresses IP
Configurer les réseaux autorisés
Migrer vers la 3e génération
Migrer vers la 3e génération (script de migration)
Migrer vers la 3e génération
Intégrer
Activer l'intégration de la traçabilité des données
Exécuter des charges de travail Serverless pour Apache Spark avec Managed Airflow
Lancer des pipelines Dataflow avec Managed Airflow
Exécuter une tâche Hadoop de décompte de mots sur un cluster Dataproc
Exécuter un DAG d'analyse de données dans Google Cloud
Exécuter un DAG d'analyse de données dans Google Cloud à l'aide de données provenant d'AWS
Exécuter un DAG d'analyse de données dans Google Cloud à l'aide de données provenant d'Azure
Créer un environnement d'opérations DBT et Managed Airflow intégré
Comparaison entre Cloud Composer et Workflows
Modèles de workflow Dataproc avec Managed Airflow
Dépannage
Résoudre les problèmes de création d'environnement
Résoudre les problèmes liés aux mises à jour et aux mises à niveau d'environnement
Résoudre les problèmes liés à l'installation d'un package PyPI
Dépanner les DAG
Résoudre les problèmes avec le programmeur Airflow
Résoudre les problèmes liés au processeur DAG
Résoudre les problèmes de synchronisation de fichiers
Résoudre les problèmes avec le déclencheur Airflow
Résoudre les problèmes liés au serveur Web Airflow
Problèmes connus

IA et ML
Développement d'applications
Hébergement d'applications
Calcul
Analyses de données et pipelines
Bases de données