01 / データとトレーニング
どのパイプラインがどのデータでトレーニングできるか
トレーニングジョブはデータセットを読み取り、コンピュートを使用し、チェックポイントを出力します。アプリケーションは各データセットの読み取り、ジョブ開始、チェックポイントのエクスポート前に、機密性、テナント、同意、地域を属性として渡して問い合わせます。
- 主体
- エンティティとしてのトレーニングパイプライン、ML エンジニアとそのチーム。
- リソースとアクション
- データセット:
read。トレーニングジョブ:start。チェックポイント:export。 - 執行ポイント
- データセットを開く前のデータローダー、コンピュートを割り当てる前のジョブスケジューラ、およびエクスポート前のアーティファクトストア。
[service.ml-training]
[policy]
# Pipelines read only consented data from their own region
grant role training-pipeline read expr:^/datasets/ if consent == true && data_region == job_region
# Restricted datasets never enter training
deny role training-pipeline read expr:^/datasets/restricted/
grant role ml-engineer start /jobs/training if gpu_hours <= 64
grant role ml-engineer export expr:^/checkpoints/
[rolepolicy]
grant entity pipeline-churn training-pipeline
grant group ml-team ml-engineer
データセットごとに同意とリージョンをチェックし、制限付きデータへのアクセスを直接拒否し、ジョブ開始時に GPU 時間制限を適用します。