ABB: 2.3.1 RAG-platform

Dienstbeschrijving

De dienst RAG‑platform maakt het stellen van vragen en het doorzoeken van data en informatie mogelijk via Retrieval‑Augmented Generation (RAG). Het platform gebruikt semantische zoektechnieken en grote taalmodellen (LLM’s) om brongetrouwe, met bronverwijzingen onderbouwde antwoorden te geven op basis van RWS‑data. Als functionele basis wordt de cloudfunctionaliteit van Cohesity Gaia gevolgd; de dienst wordt on‑premise aangeboden op RWS‑infrastructuur met identieke capability‑sets waar mogelijk.

Doel en scope

• In scope: semantisch zoeken in back‑ups en bestandsbronnen (NAS/SMB, S3/SmartFiles, SharePoint, databases/exports), vector‑indexering, RAG‑antwoordgeneratie met citaties, rol‑ en toegangsgebaseerde filtering (RBAC), auditing/forensics, eDiscovery/retentie, en integraties met IAM, CMDB/ITSM en SIEM.

• Niet in scope: ontwikkeling van applicatie‑specifieke prompts/agents per domein (optioneel add‑on), training van foundation‑modellen, en data‑bronnen die buiten de RWS‑compliance vallen.

Waardepropositie

• Snelle inzichten: natuurlijke taalvragen over jaren aan data met directe bronverwijzingen.

• Veilig & compliant: dataminimalisatie, RBAC‑aware antwoorden, logging en bewijslast voor audits.

• Kostenefficiënt: benut bestaande back‑ups/archieven; geen dubbele opslag.

• Hybride gereed: start op‑premise voor RWS; uitbreidbaar naar andere overheden/landsdelen.

Dienstonderdelen

1. Ingest & indexing: connectoren naar back‑ups, NAS/SMB, S3/SmartFiles, SharePoint; incrementele parsing en vectorisatie.

2. RAG‑engine: semantische retrieval + contextinjectie naar LLM; weergegeven met broncitaties en documentlinks/versies.

3. Beveiliging & governance: RBAC‑/ABAC‑filters, dataclassificatie/PII‑detectie, policy‑as‑code en exception‑beheer.

4. Observability & FinOps: query‑telemetrie, kwaliteits‑/driftmetingen, kosten‑/verbruiksrapportage.

5. Integraties: IAM/PKI, SIEM/SOC, ITSM/CMDB, DLP/EDR‑signalen, SmartFiles, Backup & Restore.

Servicelevels (richtwaarden)

Functionele Specificaties

Functionele specificaties

Onderstaande eisen beschrijven wat de dienst levert. AC = acceptatiecriteria.

Ingest, connectors & indexering

• FS‑ING‑001 Connectoren & formaten
  Eis: Ondersteuning voor back‑upcatalogus (Cohesity), NAS/SMB, S3/SmartFiles, SharePoint, PDF/Office/tekst, en (optioneel) database‑exports.
  AC: ≥ 95% van beoogde bronformaten geparseerd; failures gelogd met oorzaak en remedie.

• FS‑ING‑002 Incrementele indexering
  Eis: Near‑real‑time of batch‑gewijze update van vector‑indexen gesynchroniseerd met back‑up/bron‑wijzigingen.
  AC: Indexlag ≤ 24 uur (standaard) of ≤ 1 uur (kritieke datasets) per policy.

• FS‑ING‑003 Dataclassificatie & PII
  Eis: Automatische classificatie (gevoeligheid/PII) en label‑propagatie naar index en antwoorden.
  AC: 0 ongefilterde PII in antwoorden zonder passende autorisatie; audit‑evidence aanwezig.

Retrieval, generatie & waarheidsborging

• FS‑RAG‑001 RBAC‑aware retrieval
  Eis: Resultaten en context zijn beperkt tot documenten waarvoor de aanvrager toegang heeft.
  AC: 0 policy‑overtredingen in canary‑tests; alle queries gelogd met subject/bron.

• FS‑RAG‑002 Broncitaties & rationale
  Eis: Elk antwoord bevat citaties (document, versie, locatie) en link terug naar de bron.
  AC: ≥ 99% van antwoorden met ten minste één geldige bronverwijzing; dode links = 0.

• FS‑RAG‑003 Hallucinatie‑reductie & guardrails
  Eis: Gebruik van systeem‑prompts, contextlimieten, toxicity/PII‑filters en ‘don’t know’‑uitkomst.
  AC: Hallucinatie‑ratio < drempel in periodieke eval‑set; blokkering bij policy‑schending.

• FS‑RAG‑004 Meertaligheid
  Eis: Vragen/antwoorden in NL/EN; preserve original quotes uit bron.
  AC: Taaldetectie correct in ≥ 98% tests; geen onbedoelde vertaling van juridische teksten.

Beveiliging, privacy & compliance

• FS‑SEC‑001 Zero‑trust & versleuteling
  Eis: TLS 1.2+, versleuteling at‑rest, secrets via KMS/Vault, en key‑management met rotatie.
  AC: Geen verlopen certificaten in productie; 0 plaintext secrets in audits.

• FS‑SEC‑002 Audit & forensics
  Eis: Onveranderbare auditlog van queries, toegangen en antwoordcontext; export naar SIEM.
  AC: Retentie ≥ 13 maanden; forensics‑trace reproduceerbaar.

• FS‑SEC‑003 Dataminimalisatie & residency
  Eis: Data blijft binnen NL/EU‑grenzen; contextinvoer geminimaliseerd tot noodzakelijke passages.
  AC: Residency‑checks slagen; context ≤ ingestelde tokenlimiet.

Kwaliteit, observability & FinOps

• FS‑QOS‑001 Evaluatie‑suite
  Eis: Periodieke evaluatieset met domeinspecifieke vragen; kwaliteits‑KPIs (groundedness, citatie, precisie).
  AC: Scores ≥ drempel; regressie alarmeren en blokkeren bij release.

• FS‑OBS‑001 Telemetrie & dashboards
  Eis: Query‑metriek, latency, bronnenmix, afwijsredenen, kosten per query/tenant.
  AC: Dashboards up‑to‑date; maandrapport per domein.

Integraties & gebruiksmodellen

• FS‑INT‑001 eDiscovery & legal hold
  Eis: Markeren/uitsluiten van documenten in antwoordcontext conform legal‑hold/retentie.
  AC: Geen antwoorden die legal‑hold schenden; bewijs beschikbaar.

• FS‑INT‑002 Werkomgevingen
  Eis: Integraties met web‑UI en API; export van citaties naar tickets/rapporten.
  AC: API‑SLA gedocumenteerd; UI‑toegankelijkheid WCAG‑conform waar mogelijk.

Roadmaps

Mijlpaal 1

• Pilot RWS on‑premise van RAG‑platform op ondersteunde hardwareprofielen; aansluiting op bestaande back‑ups (Cohesity) en NAS/SmartFiles.

• Connectoren voor SharePoint en NAS/SMB; basis eDiscovery‑flows en SIEM‑export.

Mijlpaal 2

• Productie RWS met volledige citatie‑dekking, RBAC‑aware retrieval en kwaliteits‑evaluatieset; uitbreiden naar andere overheden (multi‑tenant/federatief).

• Uitbreidingen naar extra databronnen.

• Multi-factor authentication (MFA)
• DataClassificatie (BIGID) 

Mijlpaal 3

• Fleet‑brede uitrol met federated search over organisaties/domeinen waar juridisch toegestaan; FinOps‑dashboards en geautomatiseerde index‑lifecycle.

• Uitbreiding naar near‑real‑time indexering op kritieke datasets en geavanceerde guardrails.

Mijlpaal 4

• Volwassenheidsfase: self‑healing index‑pipelines, voorspellende kwaliteitsbewaking en proactieve datakwaliteitssignalen.

• Best‑practice pakketten voor andere overheden; referentie‑architecturen en audit‑evidence‑sets.

Landingslocaties

Waar de architectuuronderdelen landen binnen de infrastructuur, dit kan bijvoorbeeld een externe commerciële cloud zijn, een private cloud of een Rijkscloud. Hiervoor wordt de definitie in de ICT Strategie gebruikt.

Beschikbare SBBs 

Een overzicht van de oplossingen die beschikbaar zijn vanuit dit ABB en de beschrijving van de diensten die daarmee worden geleverd. Vul dit in wanneer de SBBs bekend zijn.

Koppelvlakken

Interfaces en afhankelijkheden tussen verschillende architectuurelementen. Dit zijn bijvoorbeeld de protocollen die kunnen worden gebruikt door andere bouwblokken die gebruik maken van het ABB.

Afhankelijkheden

Beschrijving waar dit ABB van afhankelijk is of welke ABBs afhankelijk zijn van het ABB. Dit geldt ook voor de verschillende serviceketens. Geef dit aan met links naar de architectuur elementen.

EIRA Koppeling

Dit bouwblok is gekoppeld binnen de EIRA aan: Vul hier de EIRA koppeling in.

Een overzicht van alle relevante EIRA bouwblokken staan hier: EIRA Technology & Physical