ABB: 2.3.4 AI-ethiekmonitoring

Dienstbeschrijving

De dienst AI‑ethiekmonitoring controleert AI‑modellen op bias en andere ethische aspecten over de gehele levenscyclus (design → data → training → validatie → uitrol → monitoring). De dienst levert meting, rapportage en mitigatie van fairness‑risico’s, ondersteunt mens‑in‑de‑lus‑besluiten en borgt auditbare naleving (BIO/AVG en RWS‑beleid). Kerntechnologie is AI Fairness 360 (AIF360) als toolkit voor fairness‑metriek en mitigatie, geïntegreerd met OpenShift AI‑pijplijnen, registry en observability.

Scope
In scope zijn classificatie-, regressie- en generatieve modellen; datasets, features en prompts; fairness over gedefinieerde gevoelige attributen (bijv. geslacht, leeftijdscategorie, woonregio) volgens RWS‑juridisch/ethisch kader. De dienst voorziet in pre‑train, pre‑deploy en post‑deploy controles, model‑/datasetdocumentatie (Model Cards, Datasheets) en CI/CD‑gates.
Niet in scope: inhoudelijk beleid m.b.t. besluitvorming buiten IT (wel advies), en handmatige juridische beoordelingen (wel input/rapportages).

Functionele Specificaties

Onderstaande eisen beschrijven wat de dienst levert. AC = acceptatiecriteria.

Fairness‑definities & governance

• FS‑GOV‑001 Fairnesskader
  Eis: Vastgelegd kader met definities (o.a. Demographic Parity, Equal Opportunity, Equalized Odds, Predictive Parity) en drempels per use‑case.
  AC: Kader gepubliceerd; per model is gekozen definitie + drempel gedocumenteerd.

• FS‑GOV‑002 Gevoelige attributen
  Eis: Lijst toegestane attributen/afgeleiden conform wet‑ en regelgeving; dataminimalisatie.
  AC: Attributenlijst per project goedgekeurd; geen gebruik van niet‑toegestane attributen.

• FS‑GOV‑003 Model/Data‑documentatie
  Eis: Model Cards en Datasheets for Datasets verplicht met herkomst, beperkingen en risico’s.
  AC: 100% PRD‑modellen hebben actuele documentatie; audit OK.

Meting & rapportage (AIF360)

• FS‑MET‑001 Metriekbibliotheek
  Eis: Gebruik van AIF360 voor fairness‑metriek (SPD/DI, TPR/FPR‑gap, Calibrated PPV, Theil Index e.d.) op train/val/test én hold‑out‑groepen.
  AC: Rapport bevat metriek per groep en overall; regressie t.o.v. vorige release gesignaleerd.

• FS‑MET‑002 Evaluatie‑momenten
  Eis: Metingen op pre‑train, pre‑deploy (CI‑gate) en post‑deploy (periodiek/evt. near‑real‑time).
  AC: CI blokkeert deploy bij overschrijding drempel; post‑deploy rapport ≥ 1× per maand.

• FS‑MET‑003 Uitlegbaarheid
  Eis: Feature‑importance/SHAP‑achtige uitleg per model en per cohort.
  AC: Uitleg beschikbaar voor top‑N beslissingen; reviewers bevestigen begrijpelijkheid.

Mitigatie & experimenten

• FS‑MIT‑001 Bias‑mitigatie
  Eis: Pre‑processing (bijv. Reweighing), in‑processing (Adversarial Debiasing), en post‑processing (Equalized Odds, Calibrated Equalized Odds) via AIF360‑recepten.
  AC: Ten minste één mitigatieoptie getest wanneer drempel wordt overschreden; effect en trade‑off gerapporteerd.

• FS‑MIT‑002 Drempels & human‑in‑the‑loop
  Eis: Menselijke beoordeling verplicht bij grensgevallen of conflict tussen fairness en prestatie.
  AC: Besluit + motivatie gelogd; uitzonderingen hebben eigenaar en einddatum.

Integraties (platform, CI/CD, registry)

• FS‑INT‑001 OpenShift AI & pipelines
  Eis: Fairness‑stappen als pipeline‑tasks; resultaten naar artifact store/MLflow en dashboards.
  AC: ≥ 90% modellen doorlopen fairness‑tasks; evidence vindbaar per release.

• FS‑INT‑002 Registry & deploy‑gates
  Eis: Promotie naar Production alleen met groen fairness‑rapport of expliciete, tijdgebonden uitzondering.
  AC: 0 ongeautoriseerde promoties; alle exceptions voldoen aan workflow.

• FS‑INT‑003 Observability & SIEM
  Eis: Export van fairness‑events/metrics naar observability en SIEM; alerts bij regressie.
  AC: MTTD < 5 min; trendrapportages per tenant/gebruikscase.

Privacy & veiligheid

• FS‑SEC‑001 Dataminimalisatie & pseudonimisering
  Eis: Alleen noodzakelijke attributen; pseudonimisering/aggregatie voor evaluaties.
  AC: Audit zonder kritieke bevindingen; datalekpreventie‑controles actief.

• FS‑SEC‑002 Toegang & MFA
  Eis: SSO/RBAC en MFA voor beheer/uitzonderingen; onveranderbare auditlog.
  AC: 100% admin‑acties gelogd; MFA verplicht voor exception‑sign‑off.

Productierisico’s & drift

• FS‑DRF‑001 Data/Model drift
  Eis: Detectie van distributie‑/prestatie‑drift en her‑evaluatie van fairness bij significante drift.
  AC: Drift‑alert triggert fairness‑run; besluit vastgelegd.

• FS‑DRF‑002 Rollback & kill‑switch
  Eis: Rollback of kill‑switch bij ernstige fairness‑schendingen.
  AC: Actie ≤ 30 min na trigger; communicatie/runbook gevolgd.

Roadmaps

Mijlpaal 1

• Baseline: AIF360‑tooling geïntegreerd in ontwikkel‑ en validatiepijplijnen; basis‑metriekset (SPD/DI, TPR/FPR‑gap, PPV‑gap); Model Cards/Datasheets verplicht.

• CI‑gate: pre‑deploy fairness‑check met drempels per use‑case; opslag van rapporten/evidence.

Mijlpaal 2

• Productie‑monitoring: periodieke post‑deploy fairness‑runs, driftdetectie en alerts; dashboards per tenant/gebruikscase.

• Mitigatie‑bibliotheek: standaardrecepten (reweighing, adversarial debiasing, equalized odds) en human‑in‑the‑loop workflow; MFA‑beveiligde exception‑flow.

• Dataclassificatie‑koppeling: fairness‑filters en cohortanalyses gevoed door dataclassificatie‑labels uit gegevenscatalogus.

Mijlpaal 3

• Geavanceerde uitleg & simulaties: contra‑feitelijke analyses, what‑if scenarioplanning en fairness‑constraint tuning.

• Federatieve rapportage: (waar toegestaan) gedeelde benchmarks en best‑practices met andere overheden.

Mijlpaal 4

• Volwassenheidsfase: self‑healing ethiekmonitoring (automatische mitigatievoorstellen), voorspellende regressiedetectie en standaard evidence‑pakketten voor auditors.

• Continue verbetering: jaarlijkse herijking van drempels en definities op basis van impact/maatschappelijk kader.

Landingslocaties

Waar de architectuuronderdelen landen binnen de infrastructuur, dit kan bijvoorbeeld een externe commerciële cloud zijn, een private cloud of een Rijkscloud. Hiervoor wordt de definitie in de ICT Strategie gebruikt.

Beschikbare SBBs 

Een overzicht van de oplossingen die beschikbaar zijn vanuit dit ABB en de beschrijving van de diensten die daarmee worden geleverd. Vul dit in wanneer de SBBs bekend zijn.

Koppelvlakken

Interfaces en afhankelijkheden tussen verschillende architectuurelementen. Dit zijn bijvoorbeeld de protocollen die kunnen worden gebruikt door andere bouwblokken die gebruik maken van het ABB.

Afhankelijkheden

Beschrijving waar dit ABB van afhankelijk is of welke ABBs afhankelijk zijn van het ABB. Dit geldt ook voor de verschillende serviceketens. Geef dit aan met links naar de architectuur elementen.

EIRA Koppeling

Dit bouwblok is gekoppeld binnen de EIRA aan: Vul hier de EIRA koppeling in.

Een overzicht van alle relevante EIRA bouwblokken staan hier: EIRA Technology & Physical