Solucionar problemas de DAGs | Cloud Composer

Ir al contenido principal

Áreas tecnológicas

IA y aprendizaje automático
Desarrollo de aplicaciones
Alojamiento de aplicaciones
Computación
Analíticas y flujos de datos
Bases de datos
Tecnologías distribuidas, híbridas y multinube
IA generativa
Soluciones por sector
Redes
Observabilidad y monitorización
Seguridad
Storage

Herramientas para varios productos

Gestión de accesos y recursos
Gestión de costes y uso
Infraestructura como código
Migración
SDK, lenguajes, frameworks y herramientas

/

Consola

English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Acceder

Data analytics
Cloud Composer

Empezar gratis

Introducción Guías de Composer 3 Guías de Composer 2 Guías de Composer 1 Ejemplos Recursos Referencia

Áreas tecnológicas
- Más
Herramientas para varios productos
- Más
Consola

Descubrir
Información general sobre Cloud Composer
Modelo de responsabilidad compartida de Cloud Composer
Datos almacenados en Cloud Storage
Arquitectura del entorno
Empezar
Guía de inicio rápido (consola)
Guía de inicio rápido (gcloud)
Crear entornos
Crear entornos (Terraform)
Habilitar e inhabilitar el servicio Cloud Composer
Gestionar DAGs
Añadir y actualizar DAGs
Ver DAGs, ejecuciones de DAG y tareas
Programar y activar DAGs
Controlar accesos
Información general sobre la seguridad de Cloud Composer
Prácticas recomendadas de seguridad
Control de acceso
Control de acceso a la interfaz de usuario de Airflow
Acceder a recursos de otro proyecto
Configurar el cifrado con CMEK
Configurar Secret Manager
Crear políticas de organización personalizadas
Configurar restricciones de ubicación de recursos
Acceder a entornos con la federación de identidades de Workforce
Desarrollar DAGs
Ejecutar entornos de Airflow locales
Escribir DAGs
Usar operadores de Airflow
Probar DAGs
Probar, sincronizar y desplegar tus DAGs desde GitHub
Depurar problemas de programación de tareas
Depurar problemas de falta de memoria y de almacenamiento en DAGs
Agrupar tareas dentro de DAGs
Activar DAGs en otros entornos y proyectos
Activar DAGs con Cloud Functions
Activar DAGs con Cloud Functions y mensajes de Pub/Sub
Acceder a Airflow
Acceder a la CLI de Airflow
Acceder a la interfaz web de Airflow
Acceder a la API REST de Airflow
Acceder a la base de datos de Airflow
Configurar Airflow
Establece variables de entorno:
Anular configuraciones de Airflow
Gestionar conexiones de Airflow
Instalar dependencias de Python
Instalar complementos personalizados
Configurar notificaciones por correo electrónico
Monitorizar entornos
Ver registros de Airflow
Ver registros de auditoría
Usar el panel de control de monitorización
Monitorizar entornos con Cloud Monitoring
Monitorizar el estado y el rendimiento del entorno con métricas clave
Monitorización de entornos entre proyectos con Terraform
Optimizar entornos
Optimizar el rendimiento y los costes del entorno
Entornos de escalabilidad
Información sobre el escalado del entorno
Gestionar las etiquetas de entorno y desglosar los costes de los entornos
Gestionar entornos
Actualizar entornos
Actualizar entornos
Eliminar entornos
Limpiar la base de datos de Airflow
Especificar ventanas de mantenimiento
Usar el contenedor de un entorno personalizado
Guardar y cargar capturas del entorno
Configurar capturas programadas
Recuperación tras fallos con instantáneas del entorno
Configurar entornos de alta resiliencia
Realizar pruebas de conmutación por error en entornos de alta resiliencia
Configurar la política de conservación de bases de datos
Habilitar el guardado de registros en el segmento del entorno
Configurar redes
Cambiar el tipo de red del entorno (IP privada o pública)
Habilitar o inhabilitar el acceso a una red de VPC
Habilitar el acceso a Internet al instalar paquetes PyPI
Configurar redes de VPC compartidas
Configurar Controles de Servicio de VPC
Integrar
Habilitar la integración del linaje de datos
Ejecutar cargas de trabajo de Serverless para Apache Spark con Cloud Composer
Iniciar flujos de procesamiento de Dataflow con Cloud Composer
Ejecutar una tarea de recuento de palabras de Hadoop en un clúster de Dataproc
Ejecutar un DAG de analíticas de datos en Google Cloud
Ejecutar un DAG de analíticas de datos en Google Cloud con datos de AWS
Ejecutar un DAG de analíticas de datos en Google Cloud con datos de Azure
Crear un entorno de operaciones integrado de dbt y Cloud Composer
Cloud Composer en comparación con Workflows
Plantillas de flujo de trabajo de Dataproc con Cloud Composer
Solucionar problemas
Solucionar problemas de creación de entornos
Solucionar problemas de actualizaciones del entorno
Solucionar problemas de instalación de paquetes de PyPI
Solucionar problemas de DAGs
Solucionar problemas del programador de Airflow
Solucionar problemas del procesador de DAGs
Solucionar problemas de sincronización de archivos
Solucionar problemas del activador de Airflow
Solucionar problemas del servidor web de Airflow
Solucionar problemas de tareas de KubernetesExecutor
Problemas conocidos

IA y aprendizaje automático
Desarrollo de aplicaciones
Alojamiento de aplicaciones
Computación
Analíticas y flujos de datos
Bases de datos
Tecnologías distribuidas, híbridas y multinube
IA generativa
Soluciones por sector
Redes
Observabilidad y monitorización
Seguridad
Storage

Gestión de accesos y recursos