Dataflow ML

O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

O Dataflow ML permite-lhe usar o Dataflow para implementar e gerir pipelines de aprendizagem automática (AA) completos. Use modelos de AA para fazer inferência local e remota com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar os dados para a preparação de modelos e para processar os resultados dos modelos.

Acerca do Dataflow ML

Previsão e inferência

Quer classificar imagens em tempo real, executar chamadas de inferência remotas ou criar um controlador de modelos personalizado, pode encontrar exemplos completos de ML do Dataflow.

Ver exemplos de utilização

Processamento de dados

Use a classe MLTransform para pré-processar dados para fluxos de trabalho de aprendizagem automática (ML). Ao combinar várias transformações de processamento de dados numa classe, a MLTransform simplifica o processo de aplicação de transformações de processamento de dados de ML do Apache Beam ao seu fluxo de trabalho.

Saiba mais

with pipeline as p:
  predictions = (
      p
      | beam.ReadFromSource('a_source')
      | RunInference(MODEL_HANDLER))

Transformação RunInference

A utilização de RunInference é tão simples como adicionar o código de transformação ao seu pipeline. Neste exemplo, MODEL_HANDLER é o objeto de configuração do modelo.

with beam.Pipeline() as p:
  transformed_data = (
    p
    | beam.Create(data)
    | MLTransform(...)
    | beam.Map(print))

Código MLTransform

Para preparar os dados para a preparação de modelos de ML, use MLTransform no seu pipeline. MLTransform envolve várias transformações de processamento de dados numa classe, o que lhe permite usar uma classe para uma variedade de tarefas de pré-processamento.

Previsão e inferência com modelos pré-preparados

Tenho um modelo do PyTorch

Use um modelo pré-preparado com o Pytorch.

Tenho um modelo scikit-learn

Use um modelo pré-preparado com o scikit-learn.

Tenho um modelo do TensorFlow

Use um modelo pré-preparado com o TensorFlow.

Tenho um controlador de modelo do Vertex AI

O Apache Beam tem suporte integrado para enviar pedidos para um ponto final do Vertex AI implementado remotamente. Este bloco de notas mostra como usar a transformação RunInference do Apache Beam para a classificação de imagens com a Vertex AI.

Quero usar vários modelos com preparação diferente no meu pipeline

Use a transformação RunInference com um controlador de modelos com chave para usar vários modelos na mesma transformação RunInference.

Tratamento de dados com MLTransform

Quero gerar incorporações de texto para o meu MDI/CE através do Vertex AI

Use a classe MLTransform do Apache Beam com a API Vertex AI text-embeddings para gerar incorporações de texto. As incorporações de texto são uma forma de representar texto como vetores numéricos, o que é necessário para muitas tarefas de processamento de linguagem natural (NLP).

Quero gerar incorporações de texto para o meu MDI/CE usando o Hugging Face

Use a classe MLTransform do Apache Beam com modelos do Hugging Face Hub para gerar incorporações de texto. A framework SentenceTransformers da Hugging Face usa Python para gerar incorporações de frases, texto e imagens.

Quero calcular um vocabulário a partir de um conjunto de dados

Calcular um vocabulário único a partir de um conjunto de dados e, em seguida, mapear cada palavra ou token para um índice inteiro distinto. Use esta transformação para alterar dados textuais em representações numéricas para tarefas de aprendizagem automática.

Quero dimensionar os meus dados para preparar o meu modelo de ML

Dimensione os seus dados para que os possa usar para preparar o seu modelo de ML. A classe MLTransform do Apache Beam inclui várias transformações de dimensionamento de dados.