Ir para o conteúdo principal
Documentação
Começar
Começar a usar o Google Cloud
Lista de produtos
Cloud Customer Care
Produtos em destaque
Agent Platform
Gerenciamento de APIs da Apigee
BigQuery
Compute Engine
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL
Gemini Enterprise
Google Kubernetes Engine
Looker
Ferramentas de vários produtos
Gerenciamento de recursos e acesso
Gerenciamento de custos e uso
Infraestrutura como código
SDK, linguagens, frameworks e ferramentas
Áreas de tecnologia
IA e ML
Desenvolvimento de aplicativos
Hospedagem de aplicativos
Computação
Pipelines e análises de dados
Bancos de dados
Distribuído, híbrido e multicloud
Soluções por setor
Migração
Rede
Observabilidade e monitoramento
Segurança
Storage
/
Console
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Cloud Dataflow
Comece sem custos financeiros
Visão geral
Guias
ML do Dataflow
Referência
Exemplos
Recursos
Documentação
Mais
Visão geral
Guias
ML do Dataflow
Referência
Exemplos
Recursos
Console
Descoberta
Visão geral do produto
Casos de uso
Modelo de programação para o Apache Beam
Começar
Para começar com o Dataflow
Guias de início rápido
Usar o builder de jobs
Usar um modelo
Criar pipelines
Visão geral
Usar o Apache Beam
Visão geral
Instalar ou atualizar o SDK do Apache Beam
Criar um pipeline em Java
Criar um pipeline em Python
Criar um pipeline em Go
Usar a interface do builder de jobs
Visão geral UI interface do job builder
Crie um job personalizado
Carregar e salvar arquivos YAML de job
Usar o editor YAML do builder de jobs
Empacotar e importar transformações
Tutorial: criar pipelines usando o formulário do builder na interface do job builder
Usar modelos
Sobre modelos
Executar um modelo de amostra
Modelos fornecidos pelo Google
Todos os modelos fornecidos
Criar funções definidas pelo usuário para modelos
Usar certificados SSL com modelos
Criptografar parâmetros de modelo
Modelos Flex
Usar modelos Flex para empacotar um pipeline
Executar modelos Flex
Criar e executar um exemplo de modelo Flex
Imagens de base dos modelos flexíveis
Modelos clássicos
Criar modelos clássicos
Executar modelos clássicos
Usar notebooks
Começar a usar os notebooks
Usar recursos avançados de notebook
E/S do Dataflow
E/S gerenciada
Práticas recomendadas de E/S
Apache Iceberg
E/S gerenciada para Apache Iceberg
Ler no Apache Iceberg
Gravar no Apache Iceberg
Gravação de streaming no Apache Iceberg com o catálogo REST do Lakehouse
Leitura de CDC do Apache Iceberg com o catálogo REST do Lakehouse
Apache Kafka
E/S gerenciada para Apache Kafka
Ler do Apache Kafka
Gravar no Apache Kafka
Usar o serviço gerenciado para Apache Kafka
Comparativos de performance: Apache Kafka para BigQuery
Comparativos de performance: Apache Kafka para Iceberg
Replicar dados do Kafka para o Serviço gerenciado para Apache Kafka
BigQuery
E/S gerenciada para BigQuery
Ler pelo BigQuery
Gravar no BigQuery
Gravar dados do serviço gerenciado para Apache Kafka no BigQuery
Bigtable
Ler do Bigtable
Gravar no Bigtable
Cloud Storage
Ler do Cloud Storage
Gravar no Cloud Storage
Gravar dados do Serviço gerenciado para Apache Kafka no Cloud Storage
Bancos de dados
E/S gerenciada para bancos de dados
Ler de bancos de dados
Gravar em bancos de dados
Pub/Sub
Ler do Pub/Sub
Gravar no Pub/Sub
Comparativos de performance: Pub/Sub para BigQuery
Enriquecer dados
Transformação de enriquecimento
Usar o Apache Beam e o Bigtable para enriquecer dados
Usar o Apache Beam e o BigQuery para enriquecer dados
Usar o Apache Beam e o Vertex AI Feature Store para enriquecer dados
Práticas recomendadas
Práticas recomendadas do Dataflow
Práticas recomendadas para pipelines de lotes grandes
Práticas recomendadas do Pub/Sub para o BigQuery
Executar pipelines
Implantar canais
Usar o Portable Runner
Configurar opções de pipeline
Definir opções de canal
Referência das opções de pipeline
Opções de serviço do Dataflow
Configurar VMs de worker
Usar VMs do Arm
Gerenciar dependências do pipeline
Definir o modo de streaming do pipeline
Usar aceleradores (GPUs/TPUs)
GPUs
Visão geral da GPU
Compatibilidade do Dataflow com GPUs
Práticas recomendadas para GPU
Executar um pipeline com GPUs
Métricas da GPU
Usar GPUs NVIDIA L4
Usar o serviço de multiprocessamento NVIDIA
Processar imagens de satélite com GPUs
Resolver problemas de GPUs
TPUs
Suporte do Dataflow para TPUs
Executar um pipeline com TPUs
Guia de início rápido: como executar o Dataflow em TPUs
Resolver problemas de TPUs
Usar contêineres personalizados
Visão geral
Criar imagens de contêiner personalizadas
Crie imagens de contêineres com várias arquiteturas
Executar um job do Dataflow em um contêiner personalizado
Resolver problemas com contêineres personalizados
Regiões
Monitoramento
Visão geral
Painel de monitoramento do projeto
Personalizar o painel de monitoramento
Monitorar jobs
Lista de jobs
Gráficos do job
Informações da etapa do job
Sobre o detector de gargalos
Detalhes da execução
Métricas do job
Custo estimado
Recomendações
Escalonamento automático
Usar o Cloud Monitoring
Usar alertas prontos para uso
Usar o Cloud Profiler.
Usar o rastreamento do OpenTelemetry
Logging
Geração de registros de auditoria para o Dataflow
Geração de registros de auditoria para pipelines de dados
Trabalhar com registros do pipeline
Controlar a ingestão de registro
Dados de amostra do pipeline
Ver linhagem de dados
Otimizar
Usar o Streaming Engine para jobs de streaming
Dataflow Shuffle para jobs em lote
Usar escalonamento e reequilíbrio automáticos
Escalonamento automático horizontal
Ajustar o escalonamento automático horizontal de streaming
Escala dinâmica de linhas de execução
Ajuste direito
Entender o rebalanceamento de trabalho dinâmico
Use o Dataflow Prime
Sobre o Dataflow Prime
Escalonamento automático vertical
Usar o Insights do Dataflow
Usar a programação flexível de recursos
Usar reservas do Compute Engine
Otimize os custos
Gerenciar
Atualizações do pipeline
Guia de upgrade
Atualizar um pipeline de streaming
Interromper um pipeline em execução
Pausar um job
Solicitar cotas
Migrar jobs entre projetos
Usar snapshots do Dataflow
Trabalhar com pipelines de dados
Usar o Eventarc para gerenciar jobs do Dataflow
Controle o acesso
Authentication
Papéis e permissões do Dataflow
Segurança e permissões
Especificar uma rede
Configurar regras de firewall e acesso à Internet
Usar chaves de criptografia gerenciadas pelo cliente
Usar restrições personalizadas
Guia de desenvolvimento do Dataflow
Planejar pipelines de dados
Ciclo de vida do pipeline
Desenvolver e testar pipelines
Projetar fluxos de trabalho de pipelines
Representação de dados em pipelines de streaming
Processamento único
Exemplo de cargas de trabalho do Dataflow
Aprendizado de máquina
Tutoriais do Python ML
Executar um LLM em um pipeline de streaming
Comércio eletrônico
Criar um pipeline de streaming de e-commerce
Padrões de tarefas do Java
Fazer streaming do Apache Kafka para o BigQuery
Fazer streaming do Pub/Sub para o BigQuery
Importar dados de catálogos externos do Iceberg para o Lakehouse sem fronteiras
Importar arquivos Parquet do armazenamento para o Lakehouse sem bordas
Importar tabelas do Delta Lake para o Lakehouse sem fronteiras
Cargas de trabalho com alto paralelismo de HPC
