01 / Datos y entrenamiento
¿Qué canalizaciones pueden entrenar con qué datos?
Los trabajos de entrenamiento leen conjuntos de datos, usan computación y escriben puntos de control. La aplicación consulta antes de cada lectura de datos, inicio de trabajo y exportación de punto de control, pasando sensibilidad, inquilino, consentimiento y región como atributos.
- Sujetos
- Canalizaciones de entrenamiento como entidades; ingenieros de ML y sus equipos.
- Recursos y acciones
- Conjuntos de datos:
read. Trabajos de entrenamiento:start. Puntos de control:export. - Punto de aplicación
- El cargador de datos antes de abrir un conjunto de datos, el programador de trabajos antes de asignar computación y el almacén de artefactos antes de una exportación.
[service.ml-training]
[policy]
# Pipelines read only consented data from their own region
grant role training-pipeline read expr:^/datasets/ if consent == true && data_region == job_region
# Restricted datasets never enter training
deny role training-pipeline read expr:^/datasets/restricted/
grant role ml-engineer start /jobs/training if gpu_hours <= 64
grant role ml-engineer export expr:^/checkpoints/
[rolepolicy]
grant entity pipeline-churn training-pipeline
grant group ml-team ml-engineerConsentimiento y región verificados por conjunto de datos, datos restringidos denegados directamente y un límite de horas de GPU al iniciar el trabajo.