Input Functionele uitvraag

FR-BD-01

Ja

Data Governance

Om de bekendheid, de bereikbaarheid en de bruikbaarheid van data te vergroten en om vraag en aanbod bij elkaar te brengen, dient data governance te worden toegepast

Ja

Inregelen volgens huidige standaarden binnen de applicaties(zie CTD portal)

FR-BD-02

Ja

Ondersteun SQL bewerkingen

Zorg voor een moderne en robuuste basis middels compatibiliteit en betrouwbaarheid voor een breed scala aan SQL-gebaseerde bewerkingen.

Ja, door Integratie met Postgres 12

FR-BD-03

Ja

Schaalbare oplossing

De omgeving moet kunnen inspelen op een toenemende vraag en aanbod van data en moet toekomst vast worden neergezet.

Ja

Standaard dienst.

FR-BD-04

Ja

Flexibele toegang tot gegevens

De data moet op flexibele manieren worden ontsloten naar applicaties in de data centers.

Ja

Greenplum ontsluit via aangesloten applicaties

FR-BD-05

Ja

Open Data beleid

‘Open data’ moet beschikbaar komen/zijn voor (externe, niet RWS) gebruikers.

Ja

Greenplum ontsluit via aangesloten applicaties

FR-BD-06

Ja

Duurzame Toegankelijkheid

Gegevens moeten (gaan) voldoen aan duurzame toegankelijkheid waarbij naast toegankelijkheid tot gegevens tevens het beleid tot bewaartermijnen, vernietiging en overdracht moet worden gevolgd.

Ja

Standaard dienst.

FR-BD-07

Ja

Geospatial analyse

Oplossing moet ook Geospatial analyses mogelijk maken.

Ja

Met de integratie van PostGIS 3

FR-BD-08

Ja

Ongestructureerde data

Ondersteun de analyse van ongestructureerde data zoals afbeeldingen en video's.

Ja

FR-BD-09

Ja

Disaster Recovery

Ondersteun meerdere datacenters voor een efficiëntere dataherstel na systeemstoringen.​

Ja

FR-BD-10

Ja

Resource beheer

Ondersteun het effectief verdelen van werkdrukken, waardoor de prestaties zelfs onder zware belasting op peil blijven.

Ja

FR-BD-11

Ja

Rij niveau beveiliging

Voeg rij-niveau machtigingen toe, wat een fijnmazigere toegangscontrole biedt naast de bestaande rol-gebaseerde beveiliging en machtigingen op tabel- en kolomniveau.

Ja

FR-BD-12

Ja

Datafederatie

Bied mogelijkheden voor datafederatie, datasets uit bronnen zoals Amazon S3, Hadoop en relationele databases moeten parallel kunnen worden bevraagd.

Ja

FR-BD-13

Ja

Indexering

Ondersteuning voor meerdere indexsoorten, zoals B-tree, Hash, Bitmap en AI-gestuurde vectorindices. Dit om queryprestaties te optimaliseren voor zowel gestructureerde als ongestructureerde data​.

Ja

BE-BD-01

Ja

Service Level Productie: standaard beschikbaar

Standaard beschikbaarheid.

Een standaard beschikbare omgeving moet voldoen aan de volgende requirements:

·    95% Standaard beschikbaarheid

·    Enkelvoudige aansluiting

Ja

BE-BD-02

Ja

Service Level Non-productie: standaard beschikbaar

Standaard beschikbaarheid.

Een standaard beschikbare omgeving moet voldoen aan de volgende requirements:

·    99,5% Standaard beschikbaarheid

·    Enkelvoudige aansluiting

Ja

BE-BD-03

Ja

Service Level Dual Datacenter(LMW)

Active - Active

Ja

CA-BD-01

Ja

Greenplum,
8 segment hosts

Met de initiële afname (zie CA-GP-05) wordt verwacht dat dit afdoende is voor de gehele oplossing, de core licenties gelden voor de management nodes.

Ja

CA-BD-02

Ja

Greenplum, Geheugen: 512GB per segment host en master node

Met de initiële afname (zie CA-GP-05)  wordt verwacht dat dit afdoende is voor de gehele oplossing

Ja

CA-BD-03

Ja

Geheugen: 1024GB per server

Met de initiële afname (zie CA-GP-05)  wordt verwacht dat dit afdoende is voor de gehele oplossing

Ja

CA-BD-04

Ja

Pivotal BDS,

Operating Systeem partitie: totaal 256GB per node RAID 1

Met de initiële afname (zie CA-GP-05)  wordt verwacht dat dit afdoende is voor de gehele oplossing per node

Ja

CA-BD-05

Ja

Opslag: 2x 400 Tb

Toename sensordata.

Ja

CA-BD-06

Ja

Transactie volumes: onbekend

Zal tijdens initieel gebruik gemeten worden om een baseline te creëren

Ja

Pe-BD-01

Ja

Alle segment nodes gelijke capaciteit geven als bouwblok

Om een goed gebalanceerd GreenPlum cluster te hebben dienen alle segment nodes de zelfde resources (CPU/MEM/disk) te krijgen.

Ja

Inregelen in de infra

SE-BD-01

Ja

Standaard security

De omgeving moet minimaal voldoen aan standaard RWS security eisen. Dit gebeurt door het “security by design” proces.

Ja

Standaard dienst.

SE-BD-02

Ja

BIO-Compliant

Wettelijk moet het platform aan de BIO eisen voldoen. Normen selectie wordt ingevuld en de eventuele exceptie procedure gevolgd.

Let op applicaties die gebruik maken van de platformen moeten voor de niet platform onderdelen en de eigen data nog het BIO proces doorlopen.

Tijdens implementatie inregelen.

SE-BD-03

Nee

Risico Reductie Overzicht

Het is goed om een risico reductie overzicht te hebben om de mitigatie van risico’s te onderbouwen tot een aanvaardbaar rest risico.

Nee

SE-BD-04

Ja

Data security

·    Data moet geclassificeerd worden/zijn zodat data alleen uitgegeven kan worden op behoefte.

·    Het platform voorziet in data die ook gebruikt kunnen worden door derden. Het is noodzakelijk open data en besloten data gescheiden te houden.

·    Gevoelige data mag alleen aan geautoriseerde personen/instanties worden vrijgegeven.

Ja, zie OB-006

SE-BD-05

Ja

Toegang tot het platform/gegevens

·    Toegang tot de systemen moet gecontroleerd zijn

·    Rollen moeten gedefinieerd worden, in bv AD (role based access)

Ja

Toegang op basis van Kerberos (Active Directory).

SE-BD-06

Ja

Toegang tot het platform/gegevens

Security logging moet zijn ingeregeld

Ja, logging inregelen en koppelen aan SIEM (Splunk)

OP-BD-01

Ja

Geen aanvullende requirements

Volgt de RWS standaarden

Ja

Standaard dienst.

BR-BD-01

Ja

Alleen OS

Data Greenplum PROD uitsluiten van backup/restore.

Alleen het OS moet worden opgenomen in de standaard Snapshots en/of Backup/Restore voorziening. De overige data van greenplum PROD omgeving dient expliciet te worden uitgesloten van de standaard Snapshots en/of Backup/Restore voorziening.

Ja

NR-BD-01

Ja

Lifecycle management moet zijn ingeregeld

De systemen moeten voldoen aan de laatste (security) patches.

Ja

Standaard dienst.

NR-BD-02

Ja

Schaalbaarheid moet mogelijk zijn

De systeem moeten horizontaal en verticaal schaalbaar zijn

Ja, horizontaal schaalbaar dmv uitbreiding segment hosts

NR-BD-03

Ja

Disaster Recovery

Niet van toepassing voor standaard beschikbaarheid.

Ja

BUS-BD-01

Ja

Gekozen platform is Greenplum 7

Er is vanuit de business gekozen voor Greenplum 7 voor Data Suite

Ja

BUS-BD-02

Ja

GIS extensie is nodig

De CBIS applicatie heeft ook GEO informatie die in Greenplum opgeslagen dient te worden. Om dit mogelijk te maken moet de PostGIS extensie geïmplementeerd worden.

Ja, library implementeren op master

BUS-BD-03

Nee

R Data science package nodig voor Datalab

Om goed data analyses te maken heeft Greenplum een data science packages die het mogelijk maken om R of Python data science  uit te voeren op de opgeslagen data. Het datalab gebruikt op dit moment de R package. Gebruik van puur R en Python is security technisch momenteel onmogelijk binnen het RWS netwerk?!

Nee, SAS oplossing aanwezig

TES-BD-01

Ja

Virtuele OTA & BM P in 2 zones/datacenters

Bare metals voor segment hosts P , rest is virtueel VM’s voor OTA

Ja

TEC-BD-01

Ja

Gebruik Standaard Building Blocks

Er moet gebruik gemaakt worden van de standard infra building blocks en/of diensten.

Ja, nieuwe hardware bouwsteen voor Greenplum afgesproken

Architectuur & Basis

Het platform is gebaseerd op een massively parallel processing (MPP) architectuur.

Vereist om schaalbaar te kunnen werken met zeer grote datasets (>100 TB).

Het platform is gebaseerd op een open-source RDBMS en is volledig ANSI SQL-compatibel.

Voorkomen van vendor lock-in, benutten van PostgreSQL-ecosysteem.

Datatypes & Extensies

Ondersteuning voor relationele, semi-gestructureerde (JSON/XML/arrays) en ongestructureerde data (vector embeddings, tekst, beelden, video).

Eén platform voor alle data.

Native ondersteuning voor geospatiale data-analyse via een GIS-extensie.

Vereist voor locatiedata en geografische analyses.

Uitbreidbaarheid via PostgreSQL-extensies.

Flexibel uitbreiden met community/extensie-functionaliteit.

Partitionering & Indexering

Declaratieve RANGE-, LIST- en HASH-partitionering.

Flexibel data sharden en segmenteren.

Ondersteuning voor meerdere indexstrategieën, incl. B-Tree, Bitmap, BRIN, geospatiale indexen, vector indexen.

Voor optimale query performance.

Beveiliging & Governance

Ondersteuning voor row-level security en dynamische data-masking.

Cruciaal voor multi-user en privacygevoelige omgevingen.

Volledige integratie met bestaande identity- & accessmanagement (LDAP/OAuth/SAML).

Voor centraal gebruikersbeheer.

Deployment & Flexibiliteit

Het platform kan worden uitgerold op bare-metal, virtualisatie (vSphere), private cloud en public cloud.

Voorkomen van cloud lock-in, hybride strategie.

Ondersteuning voor multi-datacenter disaster recovery via log-archivering of replicatie.

Voor hoge beschikbaarheid en RPO/RTO-eisen.

AI & Zoekfunctionaliteit

Ondersteuning voor vector embeddings en semantische zoekopdrachten naast klassieke SQL-queries.

Noodzakelijk voor AI-gedreven use cases.

Ondersteuning voor hybrid search (keywords + embeddings).

Combinatie van klassieke BI en moderne AI-search.

Workload Management

Mogelijkheid tot fijnmazig resource management: CPU, geheugen, disk I/O throttling per workload/gebruiker.

Voor voorspelbare performance in multi-tenant scenario’s.

Openheid & Ecosysteem

Het platform is open-source (bij voorkeur Apache-licentie) en ondersteunt actieve community-ontwikkeling.

Transparantie, innovatie, vermijding van lock-in.