使用 Spark BigQuery 连接器 | Managed Service for Apache Spark | Google Cloud Documentation

跳至主要内容

文档

开始使用

Google Cloud 使用入门
商品列表
Cloud Customer Care

精选产品

Agent Platform
Apigee API Management
BigQuery
Compute Engine
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL
Gemini Enterprise
交互的能力
Looker

跨产品工具

访问权限和资源管理
费用和用量管理
基础设施即代码
SDK、语言、框架和工具

技术领域

AI 和机器学习
应用开发
应用托管
计算
数据分析和流水线
数据库
分布式云、混合云和多云
行业解决方案
迁移
网络
可观测性和监控
安全
Storage

/

控制台

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Managed Service for Apache Spark

免费开始使用吧

概览指南参考文档示例资源

文档
- 更多
- 概览
- 指南
- 参考文档
- 示例
- 资源
控制台

概览
主要概念
Managed Service for Apache Spark 无服务器
- 概览
- Managed Service for Apache Spark 无服务器层级
集群上的 Managed Service for Apache Spark
比较无服务器部署和集群部署
GKE 上的 Managed Service for Apache Spark
开始使用
无服务器
- 创建无服务器 Spark 批量工作负载
集群
GKE
- 在 Kubernetes 上运行 Spark 作业
开发
无服务器
- 配置无服务器
- 创建批处理工作负载和会话
- 在 Lakehouse 运行时目录中创建包含元数据的 Apache Iceberg 表
- 转换数据并写入 Apache Iceberg
- 将 BigQuery 连接器与 Spark 搭配使用
  - 概览
  - 查询 BigQuery 表
- 在 BigQuery Studio 笔记本中运行 PySpark 代码
- 优化
集群
- 数据处理
  - 配置 Spark
    管理 Spark 依赖项
    自定义 Spark 环境
    启用并发写入
    提升 Spark 性能
    Tune Spark
    使用 Lightning Engine
  - 运行 Spark 作业
    使用控制台
    使用命令行
    
    使用 REST APIs Explorer
    创建集群
    运行 Spark 作业
    更新集群
    删除集群
    使用客户端库
  - 运行 Hadoop 作业
  - 编写及运行 Spark Scala 作业
  - 运行 Trino
  - 运行 Flink
  - 运行 Hive
  - Run Pig
  - 运行 HBase
  - 运行 Python
    配置 Python 环境
    使用 Python 版 Cloud 客户端库
  - 使用数据连接器
    
    使用 Spark BigQuery 连接器
    概览
    BigQuery 连接器代码示例
    使用 Cloud Storage 连接器
    使用 Spark Spanner 连接器
- 数据湖和湖仓
- 数据科学笔记本和界面
  - 使用笔记本
    概览
    在集群上运行 Jupyter 笔记本
    在笔记本上运行基因组分析
    使用 JupyterLab 扩展程序开发无服务器 Spark 工作负载
  - 使用组件网关
- 数据源和存储
- 管理和数据治理
  - 舰队管理
  - 沿袭
    启用 Spark 数据沿袭
    启用 Hive 数据沿袭
- 配置集群
  - 组件
    概览
    Delta Lake
    Docker
    Flink
    HBase
    Hive WebHCat
    Hudi
    Iceberg
    Jupyter
    猪
    Presto
    
    Ranger
    安装 Ranger
    
    使用 Ranger
    将 Ranger 与 Kerberos 搭配使用
    将 Ranger 与缓存和缩小范围搭配使用
    备份和恢复 Ranger 架构
    Solr
    Trino
    Zeppelin
    ZooKeeper
  - 聚类图片
    概览
    服务
    
    集群映像版本
    概览
    3.0.x 发布版映像版本
    2.3.x 发布版本映像
    2.2.x 发布版映像版本
    2.1.x 发布版本映像
  - 计算选项
    机器类型
    GPU
    满足最低 CPU 要求的平台
    灵活的虚拟机
    辅助工作器
    本地固态硬盘
    启动磁盘
    已挂接的 Hyperdisk
- 创建集群
- 管理集群
  - 设置过滤标签
  - 扩缩集群
  - 启动和停止集群
  - 自动扩缩集群
    概览
    启动和停止集群
    安排集群停止
  - 重新创建集群
  - 轮替集群
  - 更新和删除集群
  - 使用 SSH 连接到集群
  - 遵循最佳做法
    概览
    最大限度地提高集群和作业的灵活性和效率
  - 管理集群数据
    Hadoop 数据存储
    选择存储空间类型
    缓存集群数据
    分流 shuffle 数据
    查看集群日志
- 管理和编排作业
  - 作业生命周期
  - 重启作业
  - 使用工作流模板
    概览
    参数化
    使用 YAML 文件
    使用集群选择器
    使用内嵌工作流
  - 编排工作流
    GitHub 模板
    工作流安排解决方案
    使用工作流模板
    使用 Cloud Composer
    使用 Cloud Functions
    使用 Cloud Scheduler
GKE
管理和治理
无服务器
集群
监控和问题排查
无服务器
- 借助依托 AI 技术的 Gemini Cloud Assist 调查工作负载
- 监控无服务器工作负载和会话
- 排查无服务器工作负载和会话问题
  - 排查批次和会话创建失败问题
  - 排查批次和会话连接问题
集群
- 使用依托 AI 技术的 Gemini Cloud Assist 调查集群和作业
- 监控集群和作业
- 排查集群问题
  - 查看集群诊断数据
  - 排查集群创建问题
- 排查作业问题
GKE
- 启用 Kubernetes 日志记录
- 诊断 Kubernetes 集群
开发者资源
Managed Service for Apache Spark MCP 服务器
代码示例

开始使用
Google Cloud 使用入门
商品列表
Cloud Customer Care
精选产品
Agent Platform
Apigee API Management
BigQuery
Compute Engine
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL