ABB: 2.3.3 Experimenttracking

Dienstbeschrijving

De dienst Experimenttracking legt ML‑experimenten vast en vergelijkt resultaten over teams en omgevingen. RWS levert dit met MLflow als kerncomponent voor run‑logging, artefactopslag, metrics/parameters, model‑versies en registry. De dienst biedt een selfservice UI/API, integratie met RH OpenShift AI (RHOSAI)notebooks/pipelines, beveiligde artefactopslag en auditeerbare herleidbaarheid van resultaten.

Doel en scope

• In scope: tracking van runs (metrics/params/tags), artefactbeheer (datasets, modellen, plots), Model Registry, reproducibility (conda/requirements), REST/CLI/SDK‑toegang, RBAC/SSO, audit/evidence, GitOps‑aansturing, observability/FinOps‑inzichten en (optioneel) auto‑logging uit populaire ML‑frameworks.

• Niet in scope: business‑specifieke experimentportalen, licentiebeheer voor commerciële modellen, en generieke data lake functionaliteit (wel koppelbaar).

Waardepropositie

• Herleidbaar & reproduceerbaar: elke run is te koppelen aan code/datasets/omgeving.

• Vergelijkbaar & deelbaar: consistente metrics en modelversies met promoties DEV→TST→PRD.

• Veilig & compliant: RBAC/SSO, versleuteling en audit‑sporen.

• Integreerbaar: notebooks/pipelines (RHOSAI), CI/CD en KServe voor uitrol.

Dienstonderdelen

1. MLflow Tracking Server met backend store (SQL) en artifact store (object storage/NFS).

2. MLflow Model Registry met stages (Staging/Production/Archived).

3. UI/API/SDK voor runbeheer, vergelijkingen en registraties.

4. Integraties: RHOSAI notebooks/pipelines, GitOps/CI, observability/SIEM, Kostbeheer.

5. Beveiliging: SSO/RBAC, secretbeheer (KMS/Vault), encryptie in rust/transport.

Servicelevels (richtwaarden)

Functionele Specificaties

Onderstaande eisen beschrijven wat de dienst levert. AC = acceptatiecriteria.

Platform & opslag

• FS‑PLAT‑001 Tracking/registry topologie
  Eis: MLflow Tracking Server en Model Registry draaien op OpenShift met HA‑profiel; backend store (bijv. PostgreSQL) en artifact store (S3‑compatibel of NFS) gescheiden.
  AC: Geen dataverlies bij pod/node‑fail; RPO=0 voor metadata; artefacten immutabel opgeslagen.

• FS‑PLAT‑002 Versleuteling & netwerk
  Eis: TLS 1.2+ in transport; encryptie at‑rest voor storage; private ingress en gecontroleerde egress.
  AC: Pentest zonder kritieke bevindingen; 0 ongeautoriseerde publieke endpoints.

Runs, artefacten & vergelijkingen

• FS‑RUN‑001 Run‑logging
  Eis: Vastleggen van parameters, metrics, tags, artefacten (plots, modellen, datasets‑manifest) en source(commit SHA, branch, image, omgeving).
  AC: 100% productie‑runs bevatten commit SHA en image‑digest; schema‑validatie in CI.

• FS‑RUN‑002 Vergelijking & selectie
  Eis: UI/API voor runs‑vergelijking met filters (tijd, tag, dataset, codeversie) en export.
  AC: Query’s P95 < 3 s op 10k runs (warme dataset); export reproducible CSV/JSON.

• FS‑RUN‑003 Reproducibility
  Eis: Vastleggen van omgeving (conda/requirements/docker image), random seeds en hardwareprofiel.
  AC: Re‑run produceert gelijkwaardig resultaat binnen tolerantie.

Model Registry & promoties

• FS‑REG‑001 Versies & stages
  Eis: Modellen worden geregistreerd met metadata (datasetversie, metrics, licentie, classificatie); stages Staging/Production/Archived.
  AC: 100% PRD‑modellen geregistreerd; stage‑wissel gelogd met eigenaar en reden.

• FS‑REG‑002 Gates & policies
  Eis: Gates op minimale metrics, bias/leakage‑checks en security‑scans vóór promotie.
  AC: Alleen green gates mogen naar Production; evidence beschikbaar.

Integraties (RHOSAI, CI/CD, serving)

• FS‑INT‑001 RHOSAI notebooks/pipelines
  Eis: Auto‑logging hooks voor populaire frameworks (optioneel) en pipeline‑stappen die runs/artefacten registreren.
  AC: ≥ 90% van pipelines registreert runs en artefacten; foutafhandeling aanwezig.

• FS‑INT‑002 GitOps/CI
  Eis: Link van run/registry naar Git commit/PR; automatische changelog en release notes.
  AC: Klikpad van model → commit in UI; audittrace compleet.

• FS‑INT‑003 Model serving (KServe)
  Eis: KServe deployments gebruiken registry‑versies (digest‑gepinnd) met canary/rollback en scale‑to‑zero.
  AC: 0 drift tussen gedeployde versie en registry; rollback < 2 min.

Security, privacy & governance

• FS‑SEC‑001 SSO/RBAC & secrets
  Eis: SSO‑authenticatie; RBAC op experimenten/registries; secrets via KMS/Vault.
  AC: 0 plaintext secrets; 100% admin‑acties gelogd.

• FS‑SEC‑002 Supply chain & signing
  Eis: Gesigneerde images en (optioneel) ondertekening van model‑artefacten; SBOM/attestaties voor images.
  AC: Niet‑ondertekende images geweigerd; evidence aanwezig.

• FS‑SEC‑003 Dataclassificatie‑labels
  Eis: Labels op datasets/modellen sturen zichtbaarheid en promoties; afdwinging via policies (OPA/ACM).
  AC: 0 policy‑overtredingen in audit; labels zichtbaar in UI/API.

Observability & FinOps

• FS‑OBS‑001 Telemetrie & KPI’s
  Eis: Dashboards voor runs/artefacten/latency, storageverbruik, successratio en registry‑events; export naar observability/SIEM.
  AC: Telemetrie‑gap < 60 s; MTTD < 5 min; retentie ≥ 13 mnd.

• FS‑FIN‑001 Kosten & opslag
  Eis: Koppeling naar Kostbeheer voor allocatie van compute/storage per tenant/project.
  AC: Maandrapport automatisch; afwijkingen >10% gemarkeerd.

Edge/disconnected

• FS‑EDGE‑001 Disconnected gebruik
  Eis: Lokale artifact‑caching en delayed sync; alleen whitelisted endpoints.
  AC: Geen dataverlies bij 48 uur offline; veilige resync na herstel.

Roadmaps

Mijlpaal 1

• Baseline MLflow: Tracking Server + backend store (SQL) + artifact store (object storage/NFS); basis‑UI, SSO‑integratie en GitOps‑paden; dashboards en auditlogging.

• Integratie RHOSAI: notebooks/pipelines loggen runs/artefacten; voorbeeldtemplates en golden paths gepubliceerd.

Mijlpaal 2

• Model Registry productie: promoties DEV→TST→PRD met gates (kwaliteit, bias/leakage, security); release notes en changelogs automatisch.

• Auto‑logging & cross‑team reuse: framework auto‑logging waar mogelijk; standaard tags/labels; portfolio‑overzichten voor vergelijkingen.

Mijlpaal 3

• Opschaling & governance: quota/levenscyclus voor artefacten; archivering/retentie; verbeterde lineage (code↔data↔model).

• CI/CD‑verdieping: PR‑checks die run‑evidence afdwingen; koppeling met model‑monitoring/drift.

Mijlpaal 4

• Volwassenheidsfase: self‑service registraties & promoties met policy‑optimalisatie; voorspellende opslag/compute‑planning.

• Federatie: (waar toegestaan) referentie‑architecturen en deelbare templates met andere overheden.

Landingslocaties

Waar de architectuuronderdelen landen binnen de infrastructuur, dit kan bijvoorbeeld een externe commerciële cloud zijn, een private cloud of een Rijkscloud. Hiervoor wordt de definitie in de ICT Strategie gebruikt.

Beschikbare SBBs 

Een overzicht van de oplossingen die beschikbaar zijn vanuit dit ABB en de beschrijving van de diensten die daarmee worden geleverd. Vul dit in wanneer de SBBs bekend zijn.

Koppelvlakken

Interfaces en afhankelijkheden tussen verschillende architectuurelementen. Dit zijn bijvoorbeeld de protocollen die kunnen worden gebruikt door andere bouwblokken die gebruik maken van het ABB.

Afhankelijkheden

Beschrijving waar dit ABB van afhankelijk is of welke ABBs afhankelijk zijn van het ABB. Dit geldt ook voor de verschillende serviceketens. Geef dit aan met links naar de architectuur elementen.

EIRA Koppeling

Dit bouwblok is gekoppeld binnen de EIRA aan: Vul hier de EIRA koppeling in.

Een overzicht van alle relevante EIRA bouwblokken staan hier: EIRA Technology & Physical