01 / 데이터 및 훈련
어떤 파이프라인이 어떤 데이터로 훈련할 수 있는가
훈련 작업은 데이터셋을 읽고, 컴퓨팅을 사용하며, 체크포인트를 저장합니다. 애플리케이션은 각 데이터셋 읽기, 작업 시작 및 체크포인트 내보내기 전에 민감도, 테넌트, 동의 및 리전을 속성으로 전달하여 확인합니다.
- 주체
- 엔티티로서의 훈련 파이프라인, ML 엔지니어 및 팀.
- 리소스 및 액션
- 데이터셋:
read. 훈련 작업:start. 체크포인트:export. - 집행 포인트
- 데이터셋을 열기 전의 데이터 로더, 컴퓨팅을 할당하기 전의 작업 스케줄러 및 내보내기 전의 아티팩트 저장소.
[service.ml-training]
[policy]
# Pipelines read only consented data from their own region
grant role training-pipeline read expr:^/datasets/ if consent == true && data_region == job_region
# Restricted datasets never enter training
deny role training-pipeline read expr:^/datasets/restricted/
grant role ml-engineer start /jobs/training if gpu_hours <= 64
grant role ml-engineer export expr:^/checkpoints/
[rolepolicy]
grant entity pipeline-churn training-pipeline
grant group ml-team ml-engineer
데이터셋별 동의 및 리전 확인, 제한된 데이터에 대한 직접 거부, 작업 시작 시 GPU 시간 제한 적용.