どの選択をするかは、さまざまな要因によって決まります。
マウント ファイル システムとしての Cloud Storage（Cloud Storage FUSE）
次の理由から、Cloud Storage をマウント ファイル システム（Cloud Storage FUSE）として使用することを検討してください。
- トレーニング データが画像、テキスト、動画などの非構造化データの場合: Cloud Storage は、これらのタイプの大きなファイル（多くの場合、個々のファイル）の保存に適しています。
- トレーニング データが TFRecord などの形式で構造化されている場合: これらの ML 固有の形式には、通常 Cloud Storage が使用されます。
- 非常に大きなファイルを扱う場合: Cloud Storage FUSE は、ファイル全体をレプリカにダウンロードする必要がなく、データをトレーニング ジョブにストリーミングします。これにより、大規模なデータセットのデータ読み込みとジョブの起動時間を短縮できます。
- 分散トレーニングの実行時: Cloud Storage FUSE は、大きなファイルを連続的に読み取る際の高スループットを実現します。これは、複数のワーカーがデータを並行してアクセスする必要がある分散トレーニング シナリオで役立ちます。
- トレーニング コードで明示的な API 呼び出しを行うことなく、ローカル ファイル システムのように簡便に Cloud Storage データにアクセスしたい場合。
- スケーラブルなストレージが主なニーズであり、多数の小さなファイルへのランダム アクセスにおいてレイテンシがそれほど低くなくてもかまわない場合。
Agent Platform 上の Ray に固有
- Agent Platform 上の Ray からアクセスできる Cloud Storage バケットにデータを保存できます。
- Ray は Cloud Storage からデータを直接読み取ることができます。たとえば、 Spark on Ray を実行している場合は、Cloud Storage からファイルを読み取ることができます。
- Agent Platform は、Cloud Storage FUSE を使用して、Ray で実行されているトレーニング ジョブ内のローカル ファイル システムとして Cloud Storage バケットをマウントします。 これにより、Ray アプリケーションは標準のファイル I/O オペレーションを使用して、ローカル ディスク上にあるかのようにデータにアクセスできます。
- 最適なパフォーマンスを得るには、Ray クラスタを実行しているリージョンと同じリージョンの Cloud Storage バケットを使用することをおすすめします。
詳細
ネットワーク ファイル システム（NFS）共有
- リモート ファイルにローカル ファイルと同じように、非常に高いスループットと低レイテンシでアクセスする必要がある場合。これは、特定の種類のデータや、トレーニング中の複雑なファイル操作で重要になることがあります。
- Agent Platform 上の Ray クラスタなど、コンピューティング クラスタ内のすべてのノードでリモートファイルをすぐに利用できるようにする必要がある場合。
- Cloud Storage FUSE よりも強固に POSIX に準拠している可能性がある、より標準的なファイル システム インターフェースがアプリケーションにメリットをもたらす場合。
- 使用する既存の NFS インフラストラクチャが Virtual Private Cloud 内にある。
- ジョブまたはクラスタ間でファイルやディレクトリを共有し、一貫性のある低レイテンシでのアクセスを実現する必要があり、ファイル システム レベルで権限を管理することが望ましい。
Agent Platform 上の Ray に固有
- Agent Platform 上の Ray クラスタに NFS 共有をマウントすると、リモート ファイルにローカル ファイルのようにアクセスできます。
- これは、共有ファイル システムへの高スループットと低レイテンシのアクセスに役立ちます。
- Agent Platform SDK for Python を使用して Ray クラスタを作成するときに、サーバー、パス、マウント ポイントを指定して NFS マウントを設定できます。 マウントすると、Ray コードは標準のファイル操作を使用してこれらの NFS ボリュームの読み取りと書き込みを行うことができます。
詳細
マネージド データセット
- 一元化されたデータ マネジメントとガバナンス: マネージド データセットは、Agent Platform 内でデータセットを整理して管理するための一元的な場所を提供します。これにより、さまざまなプロジェクトや試験運用でのデータアセットの追跡とガバナンスが容易になります。