01 / 数据与训练
哪些流水线能用哪些数据训练?
训练任务要读数据集、用算力、写检查点。每次读取数据集、启动任务或导出检查点前,应用都会先请求授权,并传入数据敏感度、租户、同意状态和区域等属性。
- 主体
- 训练流水线(实体)、机器学习工程师及其团队。
- 资源与操作
- 数据集:
read。训练任务:start。检查点:export。 - 策略执行点
- 数据加载器打开数据集前、任务调度器分配算力前,以及制品库导出前。
[service.ml-training]
[policy]
# Pipelines read only consented data from their own region
grant role training-pipeline read expr:^/datasets/ if consent == true && data_region == job_region
# Restricted datasets never enter training
deny role training-pipeline read expr:^/datasets/restricted/
grant role ml-engineer start /jobs/training if gpu_hours <= 64
grant role ml-engineer export expr:^/checkpoints/
[rolepolicy]
grant entity pipeline-churn training-pipeline
grant group ml-team ml-engineer
逐数据集检查同意状态和区域,直接拒绝受限数据;启动任务时还会检查 GPU 小时数上限。