ABB: 2.3.2 AI/ML-platform

Dienstbeschrijving

De dienst AI/ML‑platform ondersteunt de ontwikkeling en uitrol van machine‑learning‑modellen over het hele traject: data‑exploratie, feature‑engineering, training, evaluatie, packaging, deployment en monitoring. De dienst wordt gerealiseerd met Red Hat OpenShift AI (RHOSAI) bovenop OpenShift en levert notebooks, pipelines, model registry en model serving (real‑time/batch) met GitOps‑aansturing, RBAC/SSO, audit/evidence en BIO/AVG‑conformewaarborgen.

Doel en scope

• In scope: multi‑tenant notebooks, experimenteer‑/artifacttracking, declaratieve pipelines, GPU‑/acceleratorprofielen, model registry en serving (KServe), datasetbeheer, observability/FinOps, security/supply‑chain en edge/disconnected inference.

• Niet in scope: ontwikkeling van basis‑AI‑modellen buiten platformdoeleinden, commerciële modelhosting buiten RWS‑beleid, en ad‑hoc scripts buiten Git.

Waardepropositie

• Snel naar productie: golden paths voor notebook→pipeline→serving met herhaalbare artefacten.

• Beheerst & aantoonbaar compliant: policies als code, traceability en auditeerbare beslissingen.

• Prestatie & schaal: GPU‑bewuste scheduling en autoscaling, inclusief scale‑to‑zero.

• Hybride & edge‑klaar: inzetbaar in DC/edge/cloud met disconnected profielen.

Functionele Specificaties

Onderstaande eisen beschrijven wat de dienst levert. AC = acceptatiecriteria.

Platform & multi‑tenancy (RHOSAI)

• FS‑PLAT‑001 Componenten & health
  Eis: Implementatie van RHOSAI (workbenches/notebooks, pipelines, model serving/registry) met KServe‑integratie.
  AC: Health Green na uitrol; drift detect ≤ 5 min; versies gedocumenteerd.

• FS‑PLAT‑002 Multi‑tenant isolatie
  Eis: Namespaces, quotas/limieten, netwerkisolatie en rolgebaseerde toegang per tenant.
  AC: Geen cross‑tenant access in tests; quota‑schendingen gelogd.

Notebooks & experimenteerflow

• FS‑NBK‑001 Notebook servers
  Eis: Selfservice notebooks met image‑catalogus (CPU/GPU), resourceprofielen, persistent home en secret‑injectie.
  AC: P95 opstart ≤ 60 s; 0 plaintext secrets; images gesigneerd.

• FS‑NBK‑002 Experiment & artifact tracking
  Eis: Registratie van runs, metrics, parameters en artefacten (datasets/models).
  AC: Reproduceerbare run met gelijk resultaat (binnen tolerantie) en volledige herkomst.

Data, features & storage

• FS‑DATA‑001 Dataconnectiviteit
  Eis: Connectors naar object storage (S3‑compatibel), file shares (NFS/SMB) en databases; dataset‑versiebeheer.
  AC: 90% van doelbronnen aangesloten; P95 ingest‑latentie ≤ 15 min.

• FS‑DATA‑002 Opslagprofielen
  Eis: Snelle block/file, object storage en NVMe‑scratch met encryptie at‑rest.
  AC: IO‑SLO gehaald; cleanup na job.

• FS‑DATA‑003 (Optioneel) Feature store
  Eis: Gestandaardiseerde feature‑definities en versies; online/offline sync.
  AC: Dataconsistentie‑checks slagen; latentie binnen SLO.

Pipelines & CI/CD

• FS‑PIPE‑001 Declaratieve pipelines
  Eis: Pipelines als code (Tekton/Argo‑achtig) met quality gates (tests, bias/leakage‑checks) en goedkeuringen.
  AC: Alleen green pipelines naar PRD; rollback < 2 min via Git.

• FS‑PIPE‑002 Reproducibility & caching
  Eis: Herhaalbare stappen met data/artefact‑cache en immutabele referenties.
  AC: Re‑run produceert gelijkwaardig model (binnen tolerantie); cache‑hit rate ≥ drempel.

Model registry & serving

• FS‑REG‑001 Registry & governance
  Eis: Model‑versies met metadata (bron, data‑range, metrics, licentie), promoties DEV→TST→PRD.
  AC: 100% PRD‑modellen geregistreerd; audit‑log compleet.

• FS‑SRV‑001 KServe realtime/batch
  Eis: Canary/blue‑green, autoscaling incl. scale‑to‑zero; ondersteuning voor ONNX/TensorFlow/PyTorch.
  AC: P95 latency binnen SLO; rollback < 2 min; cold‑start ≤ 5 s (referentie‑model).

Scheduling, GPU & resources

• FS‑GPU‑001 GPU‑enablement
  Eis: GPU‑drivers/operator, DCGM‑metrics en device plugins; labels via NFD.
  AC: GPU‑node Ready ≤ 15 min; metrics zichtbaar.

• FS‑GPU‑002 Fair‑share & prioriteiten
  Eis: Queueing/prioriteiten (Kueue/Volcano‑achtig), fair‑share en preemption‑regels.
  AC: Wachttijden binnen SLA; geen starvation.

Security, privacy & supply chain

• FS‑SEC‑001 SSO/RBAC & secrets
  Eis: SSO met least‑privilege; secrets via KMS/Vault; PAM voor break‑glass.
  AC: 0 plaintext secrets; 100% admin‑acties gelogd.

• FS‑SEC‑002 Signing & SBOM
  Eis: Ondertekening van images en model‑artefacten; SBOM/attestaties verplicht.
  AC: Niet‑ondertekende artefacten geweigerd; evidence aanwezig.

• FS‑SEC‑003 Dataclassificatie‑labels
  Eis: Labels op datasets/modellen sturen toegang en deployment‑policies.
  AC: 0 policy‑overtredingen in audit; labels zichtbaar in registry/serving.

Observability & FinOps

• FS‑OBS‑001 Dashboards & alerts
  Eis: GPU‑utilization, job‑wachttijden, model‑latency/accuracy en drift‑signalen; export naar observability/SIEM.
  AC: Telemetrie‑gap < 60 s; MTTD < 5 min; retentie ≥ 13 mnd.

• FS‑FIN‑001 Kosten/energie
  Eis: Koppeling met Kostbeheer (OpenCost/Kepler) en budgetten/alerts per tenant/job.
  AC: Maandrapport automatisch; afwijkingen >10% gemarkeerd.

Edge/disconnected

• FS‑EDGE‑001 Edge‑inference
  Eis: Packaging voor edge‑serving met lokale mirrors en vertraagde sync.
  AC: Geen dataverlies bij 48 uur offline; resync < 15 min.

Roadmaps

Mijlpaal 1

• Baseline RHOSAI: installatie met multi‑tenant notebooks, pipelines en KServe; GPU‑enablement en DCGM‑dashboards; policy‑bundels (BIO/CIS) en GitOps‑paden.

• Golden paths: referentieflow notebook→pipeline→serving; basis‑SLO’s en testdatasets.

Mijlpaal 2

• Productie‑adoptie: registry‑gedreven promoties, canary/blue‑green, bias/leakage‑checks in pipelines; queueing/prioriteiten operationeel.

• Governance: verplichte metadata/labels in registry; audit‑rapportages; budgetten/alerts via Kostbeheer.

Mijlpaal 3

• Uitbreiding: (optioneel) feature store; automatische driftdetectie en retraining‑triggers; model A/B‑tests.

• Edge‑profielen: gestandaardiseerde packaging en offline distributie.

Mijlpaal 4

• Volwassenheidsfase: self‑healing MLOps (drift detect & repair), voorspellende resources en standaard evidence‑pakketten.

• Federatie: (waar toegestaan) referentie‑architecturen en deelbare sjablonen met andere overheden.

Landingslocaties

Waar de architectuuronderdelen landen binnen de infrastructuur, dit kan bijvoorbeeld een externe commerciële cloud zijn, een private cloud of een Rijkscloud. Hiervoor wordt de definitie in de ICT Strategie gebruikt.

Beschikbare SBBs 

Een overzicht van de oplossingen die beschikbaar zijn vanuit dit ABB en de beschrijving van de diensten die daarmee worden geleverd. Vul dit in wanneer de SBBs bekend zijn.

Koppelvlakken

Interfaces en afhankelijkheden tussen verschillende architectuurelementen. Dit zijn bijvoorbeeld de protocollen die kunnen worden gebruikt door andere bouwblokken die gebruik maken van het ABB.

Afhankelijkheden

Beschrijving waar dit ABB van afhankelijk is of welke ABBs afhankelijk zijn van het ABB. Dit geldt ook voor de verschillende serviceketens. Geef dit aan met links naar de architectuur elementen.

EIRA Koppeling

Dit bouwblok is gekoppeld binnen de EIRA aan: Vul hier de EIRA koppeling in.

Een overzicht van alle relevante EIRA bouwblokken staan hier: EIRA Technology & Physical