Back to treeOpen vault snapshot

Confluence workbench mirror

HLD - SAS Viya

Guarded rendering from the committed top-level `confluence/` mirror. No live source, personal data, or write action is available.

Kind
HLD
Version
38
Labels
0
Children
0
On this page
  1. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Introductie
  2. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Doel van het document
  3. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Management Samenvatting
  4. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Structuur van het document
  5. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Out of scope
  6. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Functionele Requirements
  7. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Non-Functionele Requirements
  8. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Beschikbaarheid
  9. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Capaciteit
  10. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Performance
  11. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Security.
  12. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Operationeel


High Level Design
Business Intelligence & Analytics - SAS Viya

 


Datum: 11 april 2025
Versie: 1.4
Status: DraftAuteurs: Robin Brouwer Stephan Minnaert Jacky Mattioli
Eigenaar: Lead Architect CIV Platformen

 
RWS confidentieel


Versie Nummer

Datum Aanpassing

Samenvatting wijzigingen

Status

Auteur

0.1

22-2-2021

Initiatie document


Stephan Minnaert

0.2

26-4-2021

Aanvullingen naar aanleiding gesprekken Lead Architect (Robin)


Stephan Minnaert

0.3

04-10-2021

Technology layer aangevuld n.a.v. gesprek met Stephan & Robin


Jacky Mattioli

0.4

08-11-2021

Review, opschoning en logisch model toegevoegd


Robin Brouwer

0.5

23-11-2021

Verwerken review Stephan en rondsturen team


Robin Brouwer

0.8

10-12-2021

Verwerken review team en


Robin Brouwer

0.9

14-12-2021

Gereed voor review leverancier


Robin Brouwer

1.0

9-2-2022

Definitief gemaakt na review SAS


Robin Brouwer

1.1

30-8-2022

Updaten Viya omgeving urls en diverse info


Jacky Mattioli

1.2

10-8-2023

Document updaten met de nieuwste info


Jacky Mattioli

1.3

5-12-2023

Verwerken review opmerkingen


Jacky Mattioli

1.4

11-04-2025

Kleine updates n.a.v. wijzigingen in omgevingen en toevoegen jumpbox info

Draft

Jacky Mattioli



Inhoudsopgave

Lijst van figuren
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link

Referenties
Dit document is gebaseerd op de volgende documenten:

  1. RWS, "Technisch Doel Architectuur 20140903 Volume 3 Systeemontwerp R3.1", v1.0, 01-sep-2014
  2. RWS, "Technisch Ontwerp RCA", PA3, 21-feb-2011
  3. RWS, "i-Strategie 2.0 Rijkswaterstaat verbindt", 24-juni-2019
  4. RWS, "Logische Enterprise Datawarehouse", 20-aug-2015
  5. RWS, "Doelarchitectuur Platformen_roadmap", 31-aug-2015
  6. CBP, "De meldplicht datalekken in de Wet bescherming persoonsgegevens (Wbp)", 09-dec-2015
  7. RWS, "Domein Architectuur Platformen", v1.0, 25-jan-2019
  8. Wikipedia, "https://en.wikipedia.org/wiki/MoSCoW_method", April 2019
  9. Damhof, "Het datakwadranten model – interview", 2016
  10. SAS, "SAS® Viya® Platform Administration", 202x.xx
  11. SAS, "SAS® Visual Analytics", 202x.xx
  12. SAS, "SAS® Studio", 202x.xx
  13. SAS, "Technical Architecture for Rijkswaterstaat", V1.6, 2015
  14. RWS, "Programma mandaat Centraal Toegangspunt Data 1.0 definitief", v1.0, mei-2019
  15. RWS, "Web ontsluiting Platformen" , v1.0 9 jun 2020

Introductie

Doel van het document

Het doel van dit document is het beschrijven van de 'architectural solution baseline' voor de infrastructuur voor het Business Intelligence - SAS van Rijkwaterstaat. De beschreven oplossing bevat voldoende informatie voor het maken van het detailed design, het implementatie plan, etc. Dit specifieke document beschrijft de introductie van SAS Viya. Het SAS Viya platform richt zich in de eerste fase op vervanging van de analytics componenten van het SAS 9.4 platform. De functionele bouwstenen zoals beschreven in de RIVA, veranderen met de vervanging van de software door het Viya platform.

Management Samenvatting


Productie kan gezien worden als kwadrant 1 en 2, waarbij de feiten een data kwaliteitsstempel hebben en gecontroleerd ter beschikking kunnen worden gesteld aan gebruikers/applicaties (kwadrant 1) en met tools gevisualiseerd kunnen worden naar (eind) gebruikers (kwadrant 2). Onbekende, nog niet beschreven datastreams kunnen in projecten geanalyseerd worden en opgebouwd worden of nieuwe rapportages/data inzichten kunnen worden onderzocht in kwadrant 4 en kan gezien worden als de ontwikkel en/of acceptatie omgevingen. Kwadrant 3 kan eigenlijk het best gezien worden als Silos of ad hoc ongecontroleerde data (databronnen die niet onder governance staan).
Business intelligence tools als beschreven in dit document leveren niet alleen de middelen om de data te kunnen analyseren, maar ook voor de opbouw en levering voor productie omgevingen. Tevens kunnen de tools gebruikt worden voor analyses en ontwikkeling van nieuwe trajecten in en over verschillende kwadranten heen.

Structuur van het document

Hoofdstuk 2 beschrijft de functionele requirements en de standaarden noodzakelijk voor de componenten 'solution building blocks (SBB)' in scope van dit document.
Hoofdstuk 3 beschrijft de non-functionele requirements. Deze geven de randvoorwaarden aan waaraan het system moet voldoen, zoals de gevraagde service levels voor de systemen, de eigenschappen van het systeem en de beperkingen waaraan het systeem (of delen van het systeem) moet voldoen.
Hoofdstuk 4 geeft een logisch overzicht en beschrijft de ontwerp besluiten ('architectural decisions') die gebruikt zijn bij het ontwerp van de oplossing.
Hoofdstuk 5 beschrijft het fysiek ontwerp van de oplossing.
Hoofdstuk 6 bevat de risico's, aanbevelingen en issues die van invloed kunnen zijn voor de oplossing.

Out of scope

De werkplek omgeving van de gebruiker is geen onderdeel van de scope van dit document.
De SAS 9.4 DMA-BI omgevingen (eigen HLD)
Huidige terminal servers en Datasources worden ook ingezet voor de nieuwe omgeving, maar worden zelf niet aangepast.

Functionele Requirements


Tabel 1: Functionele Requirements


ID

MoSCoW

Omschrijving

Motivatie

Voldaan

FR-BI-01

Must Have

Data Governance

Om de bekendheid, de bereikbaarheid en de bruikbaarheid van data te vergroten en om vraag en aanbod bij elkaar te brengen, dient data governance te worden toegepast

deels
Voor verschillende projecten wordt de gebuikte data wel in beeld gebracht, maar dit wordt vaak niet generiek gedaan. Het gebruik van een generiek platform levert wel de mogelijkheid om uniform te kunnen werken.

FR-BI-02

Must Have

Eén loket voor data: Databroker functie

Er moet één loket komen, waar eigenaren van data (bronhouders) hun data naartoe brengen en waar gebruikers hun data vandaan halen.

nvt
RWS Generieke productie data moet via het CTD worden ontsloten (geen onderdeel van SAS; SAS is een tool die daarbij gebruikt kan worden)

FR-BI-03

Must Have

Schaalbare oplossing

De omgeving moet kunnen inspelen op een toenemende vraag en aanbod van data en moet toekomst vast worden neergezet.

Ja
De omgeving is onder architectuur schaalbaar opgezet (dit HLD). De omgeving is schaalbaar binnen de capaciteit van kubernetes en het datacenter.

FR-BI-04

Must Have

Flexibele toegang tot gegevens

De data moet op flexibele manieren worden ontsloten (gebruik van verschillende media als web, mobile devices)

Ja
Binnen RWS kunnen zowel de web tier als SAS apps gebruikt worden. Voor ontsluiting naar tweeden wordt RWS IAM broker (ADFS) gebruikt.
Voor toegang derden is E-herkenning beschikbaar, dit is initieel niet noodzakelijk en heeft mogelijk contractuele impact.

FR-BI-05

Must Have

Open Data beleid

'Open data' moet beschikbaar komen/zijn voor externe niet RWS gebruikers.

deels
Data toegang via SAS wordt geregeld via het autorisatiemodel waarbij opendata voor iedereen zonder autorisatie beschikbaar is. Open data kan beschikbaar worden gesteld. De classificatie van de data wordt niet door de BI-tooling bepaald, maar door de business. Binnen de intake wordt de vraag wel gesteld, maar wordt er niet altijd een tag toegevoegd aan de data. Moet een standaard onderdeel worden van het CTD.

FR-BI-06

Must Have

Duurzame Toegankelijkheid

Gegevens moeten (gaan) voldoen aan duurzame toegankelijkheid waarbij naast toegankelijkheid tot (archief) gegevens tevens het beleid tot bewaartermijnen, vernietiging en overdracht moet worden gevolgd.

deels
SAS heeft (ETL) tools om dit te kunnen doen. Tijdens de intakes/projecten zal dit vaste vraag moeten zijn.

FR-BI-07

Should Have

Innovatie Lab

Er is behoefte aan een demonstratie- en experimenteerruimte voor innovatieve IV. Er komen regelmatig verzoeken om innovatieve IV te presenteren of uit te proberen. Daartoe is een IV-brede faciliteit met een flexibele inrichting noodzakelijk, waarin proeven, analyses en demonstraties kunnen worden uitgevoerd.

Ja
Innovatie heeft geen aparte omgeving gekregen omdat het optuigen van een omgeving voor alleen innovatie wel erg 'duur' is. Innovatie kan gebruik maken van de OAP omgevingen. De innovatie straat kan gebruik maken van alle producten van Viya binnen de OAP omgeving. Hier kan een aparte folder worden aangemaakt per project. Zodra er updates worden gepushed vanuit SAS worden deze zo snel mogelijk op de omgeving doorgevoerd.

FR-BI-08

Must Have

Rijkswaterstaat brede uitrol met fail-over

Vanuit IRN is aangegeven dat de scope van de omgeving moet worden uitgebreid tot een RWS brede omgeving die hoog beschikbaar moet zijn en waarbij failover functionaliteit wordt geboden.

nee
Zie 3.1


Non-Functionele Requirements

Dit hoofdstuk beschrijft de non-functionele requirements waaraan het system moet voldoen. Deze geven de randvoorwaarden aan waaraan het systeem moet voldoen, zoals de gevraagde service levels voor de systemen, de eigenschappen van het systeem en de beperkingen waaraan het systeem (of delen van het systeem) moet voldoen.
De requirements worden onderverdeeld in Service Level Requirements (Run-time requirements), Non- run time requirements en beperkingen
Deze paragraaf beschrijft de voorwaarden waaraan de systemen moeten voldoen (beschikbaarheid, capaciteit, performance, security, operational en Back-up en Recovery).
De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have)

Beschikbaarheid


Binnen een datacenter zijn de Kubernetes oplossingen hoog beschikbaar gemaakt mits de applicatie dit ondersteunt. Zie ook 3.6
Tabel 2: Beschikbaarheid

ID

MoSCoW

Omschrijving

Motivatie

Voldaan

BE-BI-01

Must Have

Service Level Productie: Hoog beschikbaar

Hoog beschikbaarheid.
<ac:structured-macro ac:name="unmigrated-wiki-markup" ac:schema-version="1" ac:macro-id="c22caf8f-2e69-4594-97a0-e0f0087c0861"><ac:plain-text-body><![CDATA[Volgens de technisch Doel Architectuur (zie referentie [1]) moet een hoog beschikbare omgeving voldoen aan de volgende requirements:
]]></ac:plain-text-body></ac:structured-macro>

  • 99,5% beschikbaarheid
  • Dubbele aansluiting met dubbele apparatuur

nee
Dit is niet voorzien in de voorlopige architectuur, Kubernetes oplossingen zijn HA binnen het Kubernetes cluster.

BE-BI-02

Must Have

Service Level Non-productie: standaard beschikbaar

Standaard beschikbaarheid.
(8:00 – 18:00)
<ac:structured-macro ac:name="unmigrated-wiki-markup" ac:schema-version="1" ac:macro-id="6786638f-a8b0-4571-931c-bcf635e19d6a"><ac:plain-text-body><![CDATA[Volgens de technisch Doel Architectuur (zie referentie [1]) moet een standaard beschikbare omgeving voldoen aan de volgende requirements:
]]></ac:plain-text-body></ac:structured-macro>

  • 99,5% Standaard beschikbaarheid
  • Enkelvoudige aansluiting

Ja
Enkelvoudig in 1 datacenter uitgevoerd met Kubernetes.


Capaciteit

Voor het BI&A platform wordt een omgeving gevraagd die een goede performance biedt met een goede user experience. Het platform maakt voornamelijk gebruik van productie data.
Om de
Tabel 3: Capaciteit

ID

MoSCoW

Omschrijving

Motivatie

Voldaan

CA-BI-01

Must Have

Kubernetes Cluster: aangeraden capaciteit is
4 dedicated Custom K8s clusters aangevraagd

Binnen de Custom clusters is het mogelijk de noodzakelijke masters en node pools bestaande uit 2 VM's te creëren.

Ja

CA-BI-02

Must Have

Kubernetes Cluster: een 5e dedicated Custom K8s cluster is aangevraagd

Deze cluster wordt ingericht om als Sandbox omgeving te dienen waarop updates van SAS Viya en ook K8s zelf eerst uitgerold en getest worden voordat het op de andere omgevingen worden uitgerold.

Ja

Voor de non-productie omgevingen worden servers met wat lagere capaciteit gebruikt. Dit is overlegd met de leverancier.

Performance

Niet gespecificeerd. De ervaring mag niet langzamer zijn dan de voorgaande SAS 9.4 omgeving, maar hier zijn geen getallen voor gespecificeerd.
Tabel 4: Perfomance

ID

Essentieel

Omschrijving

Motivatie

Voldaan

Pe-BI-01

Ja/Nee



Ja/nee/deels
<verwijzing/
uitleg>






Security.

De data binnen het BI-platform bevat naast 'open data' ook gevoelige data. Beveiligingsmaatregels moeten van toepassing zijn (BIO-compliancy).

Tabel 5: Security

ID

MoSCoW

Omschrijving

Motivatie

Voldaan

SE-BI-02

Must Have

Beveiliging van gevoelige/gesloten data.

Gevoelige data mag alleen aan geautoriseerde personen/instanties worden vrijgegeven.

Ja
Communicatie naar 'buiten' gaat met beveiligde verbindingen via het integratie platform (ESB)

  • Authenticatie/Autorisatie is ingericht op de systemen via de RWS IAM broker
  • Rapportages kunnen mogelijk persoonsgegevens bevatten. De verantwoordelijkheid hiervoor ligt bij de business.

 

SE-BI-01

Must Have

Open data gescheiden van gesloten data.

Het BI platform voorziet in data die ook gebruikt kunnen worden door derden. Het is noodzakelijk open data en gesloten data gescheiden te houden.

Ja
Data wordt bij voorkeur opgeslagen in databases. Toegang tot de data vindt plaats middels autorisatie hierop.
Binnen het SAS Viya platform is deze scheiding ook aanwezig. Autorisatie vind plaats op basis van projecten en toegang tot specifieke data.

SE-BI-03

Must Have

Security logging beschikbaar

Toegang tot de systemen moet gecontroleerd en logging moet zijn ingeregeld

Ja

  • Er wordt gebruik gemaakt van RWS hardened servers. Toegangs-monitoring is een standaard setting.
  • Toegang tot de (SAS Viya) applicaties is ingeregeld via de SAS Identities en SAS Logon.

 

SE-BI-04

Must Have

Aanleveren SSL key files

Bij configureren van de Viya clusters zijn niet alleen de SSL certificaten, maar ook de key files nodig. Dit moet worden aangeleverd vanuit Infra

Ja

 


Operationeel


Tabel 6: Operationeel

ID

MoSCoW

Omschrijving

Motivatie

Voldaan

OP-BI-01

Must Have

Security logging

Toegang tot de systemen moet worden gelogged (bijvoorbeeld failed login pogingen, laatste succesvolle login)

Ja
Er wordt gebruik gemaakt van RWS standaard building blocks (BIO compliant).
Security logs worden opgeleverd aan de SIEM oplossing

OP-BI-02

Should Have

Applicatie logging

Gebruik van de SAS Viya applicaties moet worden gelogged ten behoeve van de applicatie eigenaren.

Ja
Toegang tot SAS applicaties is ingeregeld via de SAS Logon en SAS Identities. De gegevens hiervan worden gelogd.
Applicatie logs worden opgeleverd aan de Splunk oplossing en beschikbaar gesteld aan de applicatie eigenaren.

OP-BI-03

Must Have

Technische logging

Voor technisch proactief beheer is een dashboard welke de gezondheid van de omgeving weergeeft noodzakelijk.

Ja
Voor de technische monitoring wordt vanuit CNAP Grafana dashboard geleverd en is er de mogelijkheid om ook additionele dashboards zelf samen te stellen. Er wordt voorlopig ook van Lens gebruik gemaakt terwijl er gekeken worden naar andere mogelijkheden voor additionele monitoring.

OP-BI-04

Should Have

Licentie gebruik logging

Het gebruik van de SAS Viya componenten ten opzichte van de ELA moet inzichtelijk zijn.

Nee
Onderzoek hoe dit in Flexera of Splunk meetbaar kan worden gemaakt.

OP-BI-05

Should Have

Bouwsteen afname logging per afnemer

De kosten van het platform worden verhaald op de afnemers aan de hand van het IVP kostprijsmodel per bouwsteen. Voor de doorbelasting is nu een handmatig rapportage die geautomatiseerd moet worden.

Nee
Onderzoek hoe dit in Splunk ingeregeld kan worden en als dashboard aan de klant gepresenteerd kan worden.

OP-BI-06

Must Have

Gebruik RWS Managed infra bouwstenen.

Standaardisatie en eenvoud in beheer/update mechanismen

Ja
Er wordt gebruik gemaakt van RWS infra technisch beheerde Kubernetes.


Back-up en Recovery


Tabel 7: Backup en Recovery

ID

Essentieel

Omschrijving

Motivatie

Voldaan

BR-BI-01

Must Have

Veiligstellen gegevens SAS Viya applicaties en SAS Viya data

SAS Viya heeft een backup and recovery methode voor het uitvoeren van een backup van alle content en configuratie van SAS Viya .

Ja
SAS Viya backup en recovery gebruiken voor SAS gegevens (content en configuratie). Daarnaast de servers zelf in de standaard backup procedure van RWS (Managed servers met standaard backup dienst). Data van applicaties wordt middels een standaard server backup geregeld.

BR-BI-02

Must Have

Veiligstellen van data

De database gegevens en bronnen dienen beschikbaar te zijn en worden veiliggesteld

Deels
Opbouw van rapportages, etc moet ten alle tijden opnieuw uitgevoerd kunnen worden vanaf de brondata. Het veiligstellen van de gegevens om rapportages, etc opnieuw op te bouwen moeten onderdeel zijn van het ontwikkeltraject van de applicatie/rapportage. Maar dit is niet specifiek een BI-platform zaak. (bronnen kunnen of veilig worden gesteld in de database(s) van of de bron of van de Big Data Suite.


Non Run-Time Requirements

Tabel 8: Non Run-Time requirements

ID

MoSCoW

Omschrijving

Motivatie

Voldaan

NR-BI-01

Must Have

Life-cycle en patch management

De systemen moeten voldoen aan de laatste (security) patches en life-cycle moet zijn ingericht

Ja
Doordat SAS Viya een cloud gebaseerd platform is gebaseerd op microservices kunnen updates vanuit het LCM oogpunt gemakkelijk doorgevoerd worden.
Er kan voor gekozen worden om niet altijd de laatste versie van een update te gebruiken.
Onderliggende Kubernetes infrastructuur valt buiten de scope van dit HLD

NR-BI-02

Must have

Schaalbaarheid

Zie :Unsupported Confluence link: FR-BI-03. Dit requirement is bij functional requirements beschreven.

Ja
Zie: Unsupported Confluence link: FR-BI-03

Systeem beperkingen

De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).

Beperking vanuit de Business

Tabel 9: Beperkingen vanuit de business

ID

MoSCoW

Omschrijving

Motivatie

Voldaan

BUS-BI-01

Must Have

RWS keuze voor BI-Platform: SAS

RWS heeft een Enterprise License Agreement (ELA) voor SAS. Deze dient te worden gebruikt. De keuze voor SAS is hiermee vastgelegd.

Ja
Dit document beschrijft het High Level Design gebaseerd op SAS software.

Technische standaarden

Tabel 10: Technische standaarden

ID

MoSCoW

Omschrijving

Motivatie

Voldaan

TES-BI-01

Must Have

Riva producten

Riva producten dienen te worden gebruikt in de oplossing indien deze van toepassing zijn.

Ja
Er wordt gebruik gemaakt van RWS infra technisch beheerde Kubernetes clusters.

TES-BI-02

Must Have

BIO compliancy

De omgeving moet BIO (Baseline Informatiebeveiliging Rijksdienst) compliant zijn.

Ja
Bio compliance S003022 / A009452_SAS - VIYA is opgevoerd in GRC control. (M240216004)

Technische beperkingen

De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 11: Technische beperkingen

ID

MoSCow

Omschrijving

Motivatie

Voldaan

TEC-BI-01

Must Have

Minimum system configuraties (CPU/Memory)

Er worden door de leverancier minimum requirements afgegeven waaraan het systeem minimaal moeten voldoen om succesvol te kunnen implementeren

Ja
We gaan er vooralsnog vanuit dat we aan de minimum requirements kunnen voldoen. Bij elke nieuwe update moet gecontroleerd wordt of de configuratie voldoet aan de requirements voor de nieuwe update.

TEC-BI-02

Must have

SAS distributed omgeving eisen

    • Voor een distributed omgeving zijn er ook minimum server aantallen nodig.

Ja
De servers worden tevens als architectuur building block voor het platform gedefinieerd.

TEC-BI-03

Must have

Shared disks

    • Om geïntegreerd te kunnen werken over de verschillende SAS-straten, dient er gebruikt gemaakt te worden van shared disks voor de clusters/straten.

Ja
Gebruik NFS shares tussen omgevingen.

Logisch ontwerp

Dit hoofdstuk beschrijft de grote lijnen (het high level design) voor het SAS Viya - Business Intelligence & Analytics platform van RWS. Het geeft de toekomstige situatie weer en beschrijft de besluiten die gebruikt zijn om tot de aangeven oplossing te komen.
De oplossing geldt voor zowel de short term als de mid-long term oplossing. Het grote verschil tussen de short en mid-long term is de manier waarop de data beschikbaar wordt gesteld voor verschillende doeleinden:
Op de korte termijn wordt gebruik gemaakt van de data zoals deze op het moment bij het huidige systeem in gebruik is. Data en data sets worden op het moment opgeslagen in de beschikbare databases (PostgreSQL, Oracle, Greenplum) en waar nodig in SAS datasets of de NFS shares.
SAS Viya is de vervanger van de SAS VA en SAS AA machines die nu op het SAS 9.4 platform draaien.
Huidige koppelingen naar de data zullen in de short term worden gekopieerd en worden gebruikt bij de nieuwe omgeving.
Het is de verwachting dat groeiende bekendheid van de beschikbare data binnen RWS de vraag naar snelle analyses van zeer grote hoeveelheden data (Big data analysis), zowel voor patroon identificaties als voorspellende analyses zal toenemen.
De nieuwe SAS omgeving wordt als managed omgeving opgezet. Dit sluit het beste aan om zoveel mogelijk volgens de RWS standaarden te werken.
Referentie tabel: Ontwerp besluiten
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link

SBB-BI-01 - Business Intelligence - SAS

Architectuur Overzicht

IT System Level

Het architectuur overzicht geeft een illustratie van de hoofdlijnen van de voorgestelde oplossing en bevat tevens een overzicht van de belangrijkste bouwcomponenten. Aantallen van servers, etc. zijn in dit overzicht niet weergeven. Het geeft de essentie van de oplossing weer.



Figuur 2: Architectureel overzicht voor BI&A

Omgeving en software bundel overzicht

Het BI&A platform wordt binnen Kubernetes geplaatst op meerdere clusters. Scheiding van omgevingen biedt verschillende voordelen.
Op hoofdlijnen zijn er 4 gebruik gebieden die onderscheiden moeten worden:

  • Acceptatie;
  • Ontwikkel;
  • Sandbox;
  • Self Service;
  • Productie (publicatie).

Deze gebruik gebieden hebben verschillende functionele eisen.
SAS biedt de Viya software aan volgens onderstaande (zie tabel) bundels en add-ons. Er is gekozen om op Productie, Accepatatie, Ontwikkel en Sandbox dezelfde bundels uit te rollen en de Self Service omgeving alleen voor reporting in te zetten. Een verdere verschil is dat SAS Studio Engineer is uitgerold op O, A, P en ook Sandbox en SAS Studio Analyst op SSBI.

Figuur 3: Viya software bundels

Data classificatie

System Context Diagram

Het BI&A-Platform bevat gegevens met een data classificatie in de range van 'open' tot (zeer) gevoelig. Toegang tot (gevoelige) data dient in overeenstemming te zijn met beveiligingsafspraken (BIO- & AVG-compliant). Uitvoer van (gevoelige) data naar internet dient 'secure' te verlopen.

Het system context diagram geeft het totale systeem weer als één entiteit en geeft de verbindingen naar externe entiteiten weer. Dit is met name relevant als koppelingen met actoren of systemen nader gedetailleerd moeten worden.

De lijst is niet uitputtend. Er komen regelmatig nieuwe koppelingen bij. 


Externe Entiteiten

Deze paragraaf beschrijft de karakteristieken van de hierboven aangegeven koppelingen.

(Rest)API

Beschrijving

Een verzameling definities waarmee een applicatie zowel naar binnen als naar buiten kan communiceren met andere data

Type

Webservice/API

Eigenaar

RWS of extern

Aantal gebruikers

Niet bekend

Aantal transacties

Niet bekend

Frequentie van de transacties

Dagelijks, meerdere keren

Hoeveelheid data

Sterk variërend van kleine berichten tot grote hoeveelheden data

Toegepaste security

Authenticeerbare logins SAML

Data Connector

Beschrijving

Connectie maken met databases vanuit Viya middels SAS/ACCESS module

Type

SAS specifiek

Eigenaar

RWS

Aantal gebruikers

Niet bekend

Aantal transacties

Niet bekend

Frequentie van de transacties

Dagelijks, meerdere keren

Hoeveelheid data

Groot

Toegepaste security

Rol Based Access (RBAC);
gebruik van AD / System user (voor applicaties)

CAS Library

Beschrijving

Interne SAS methodiek voor het connecten naar data, databases, etc

Type

SAS specifiek

Eigenaar

RWS

Aantal gebruikers

Niet bekend

Aantal transacties

Niet bekend

Frequentie van de transacties

Dagelijks, meerdere keren

Hoeveelheid data

Groot

Toegepaste security

Rol Based Access (RBAC);
gebruik van AD / System user (voor applicaties)

NFS Share

Beschrijving

Fysieke data opslag op Linux

Type

NFS

Eigenaar

RWS

Aantal gebruikers

Niet bekend

Aantal transacties

Niet bekend

Frequentie van de transacties

Dagelijks, meerdere keren

Hoeveelheid data

Groot

Toegepaste security

IP white listing

RWS IAM broker

Beschrijving

Beheer van rechten en instellingen in het RWS netwerk

Type

SAML/SCIM

Eigenaar

RWS IRN BOS/Infra

Aantal gebruikers

1

Aantal transacties

Onbekend

Frequentie van de transacties

Continu

Hoeveelheid data

Onbekend

Toegepaste security

SCIM

SAS DMA

Beschrijving

Data management / ETL

Type

SAS connect , NFS share of database

Eigenaar

RWS IRN IVP

Aantal gebruikers

1

Aantal transacties

Onbekend

Frequentie van de transacties

Continu

Hoeveelheid data

Onbekend

Toegepaste security

Service account (AD RWS) voor SAS connect, zie voorgaande connecties voor database en NFS

SAS_Ontwikkelaar

Beschrijving

RWS CIV OSR AOA BA ontwikkelteam

Type

Web interface

Eigenaar

RWS CIV OSR AOA

Aantal gebruikers

??

Aantal transacties

onbekend

Frequentie van de transacties

Onbekend

Hoeveelheid data

Niet van toepassing

Toegepaste security

RWS IAM broker (AD RWS)

SAS_Beheer

Beschrijving

BI (SAS) platform Beheerders

Type

Kubernetes jump server + Web interface

Eigenaar

RWS CIV IRN IVP

Aantal gebruikers

<20

Aantal transacties

Niet van toepassing

Frequentie van de transacties

Niet van toepassing

Hoeveelheid data

Niet van toepassing

Toegepaste security

RWS IAM broker (AD RWS)

SAS_Gebruiker

Beschrijving

Eindgebruikers van het platform

Type

Web interface

Eigenaar

RWS & KNMI

Aantal gebruikers

??

Aantal transacties

onbekend

Frequentie van de transacties

Onbekend

Hoeveelheid data

Niet van toepassing

Toegepaste security

RWS IAM broker (AD RWS, federatie naar KNMI/I&W)

Ontwerp beslissingen

Ontwerp besluit OB-BI-001: Installeer SAS Viya op de on-premise Kubernetes omgeving

ID

BI-001

Aandachtsgebied

Locatie

Status

Genomen

Onderwerp

Waar installeren/afnemen

Ontwerp besluit

Installeer SAS Viya op de on-premise Kubernetes omgeving

Probleem Omschrijving

De implementatie van SAS Viya kent meerdere mogelijkheden. Welke past tijdens het schrijven van de HLD het best.

Aannames

geen

Motivatie

Haalbaarheid migratie door ontwikkelaar van bestaande naar nieuwe omgeving

Opties

  1. Neem SAS Viya als SaaS af;
  2. Gebruik Grid kubernetes (Azure);
  3. Gebruik de on-premise Kubernetes (CNAP platform).

Onderbouwing genomen besluit

Op het moment van schrijven is de GRID kubernetes oplossing nog een los staande oplossing van de RWS datacenters en gepositioneerd voor tijdelijke, los staande onderzoek vraagstukken. Het is nog onduidelijk hoe deze oplossing voor een 24/7 oplossing die qua capaciteit constant is, interessant is. Zoals eerder aangegeven staat de gebruikte data in het RWS datacenter en is een hybride oplossing voor data analyse niet interessant. De data en bewerker moeten veilig en met een hoge bandbreedte (low latency) verbonden zijn. Hier is nog geen RIVA bouwsteen met ondersteuning voor ontwikkeld, de technische karakteristieken zijn nog niet uitgewerkt.

Voor deze implementatie is het RWS CNAP platform gekozen die bij de data in de RWS overheid datacenters staat.

Gevolgen besluit

Zie gerelateerde OB's, tijdelijke situatie.

Afgeleide requirements

geen

Gerelateerde OB's

OB-BI-002, OB-BI-005

Ontwerp besluit OB-BI-002: Vervallen


Ontwerp besluit OB-BI-003: Plaats ontwikkel, acceptatie en SSBI clusters in de productie zone

ID

BI-003

Aandachtsgebied

Locatie

Status

genomen

Onderwerp

Data gebruik

Ontwerp besluit

Plaats ontwikkel, acceptatie en SSBI clusters in de productie zone

Probleem Omschrijving

De ontwikkel, acceptatie en self service clusters zijn alle drie omgevingen waar nieuwe zaken worden ontwikkeld met productie (like) data en wat vanuit een OTAP principe niet in de productie zone thuishoort.

Aannames

Er is toestemming vanuit de applicatie eigenaren om productie data te gebruiken voor ontwikkel, acceptatie en self service.
Rapportages kunnen mogelijk persoonsgegevens bevatten. De verantwoordelijkheid hiervoor ligt bij de business.

Motivatie

Voorkomen complexiteit netwerk i.v.m. zone maatregelen zoals firewall regels.

Opties

  1. Plaats alle clusters in de ontwikkel zone
  2. Plaats alle clusters in de productie zone
  3. Gebruik 1 productie omgeving voor alle type gebruik

Onderbouwing genomen besluit

Omdat elk van de clusters een eigen type gebruik heeft en het productie cluster een hogere SLA en KPI moet leveren is het niet verstandig de productie omgeving te mixen met andere type gebruik. De ontwikkel, acceptatie en self service clusters zijn alle drie ontwikkel omgevingen en hebben allemaal de requirement om productie data te gebruiken. De self service omgeving wordt alleen gebruikt om rapportages te maken en heeft daarmee een andere licentie nodig dan de ontwikkel en acceptatie omgevingen. Hierdoor is het advies om alle drie clusters los van elkaar te implementeren en vanwege gebruik van productie data in de productie zone te plaatsen (Keuze 2.).

Gevolgen besluit

Meerdere omgevingen in de productie zone met elk eigen type gebruik (SLA,KPI)

Afgeleide requirements

geen

Gerelateerde OB's

geen


Ontwerp besluit OB-BI-004: NFS share

ID

BI-004

Aandachtsgebied

Storage

Status

genomen

Onderwerp

Delen met SAS 9.4

Ontwerp besluit

NFS share

Probleem Omschrijving

Het SAS platform bestaat uit 2 delen, SAS Viya op kubernetes en SAS 9.4 op VM's. Hoe kunnen deze twee samenwerken met ETL data?

Aannames

Geen


Motivatie

Data uitwisseling tussen beide omgevingen noodzakelijk

Opties

  1. Data duplicatie via NFS share
  2. Koppelen Viya aan SAS DMA BI

Onderbouwing genomen besluit

De huidige versie van SAS DMA BI moet geüpgraded worden om een koppeling mogelijk te maken. Wanneer deze upgrade wordt afgerond is nog onduidelijk en dus is voor optie 1 gekozen om met VIYA dezelfde data in te lezen.

Gevolgen besluit

  • Koppelen twee SAS-straten aan zelfde NFS share.
  • Na de upgrade onderzoek of deze methode aangepast dient te worden naar optie 2, herzien van dit besluit

Afgeleide requirements

Geen

Gerelateerde OB's

geen




Ontwerp besluit OB-BI-005: Gebruik SCIM om gebruikers in Viya op te voeren

ID

BI-005

Aandachtsgebied

IAM

Status

Genomen

Onderwerp

Autorisatie in Viya

Ontwerp besluit

Gebruik SCIM om gebruikers in Viya op te voeren

Probleem Omschrijving

Om autorisatie in de Viya applicatie mogelijk te maken moeten de gebruikers na aanloggen (authentiseren), bekend gemaakt worden in de applicatie en de juiste rechten toebedeeld krijgen (autorisatie). Welk principe kunnen we hier toepassen.

Aannames

Geen

Motivatie

Security kader: De applicatie moet in control zijn van wie wat doet.

Opties

  1. Opvoeren Viya gebruikers handmatig en koppelen authenticatie ticket
  2. Opvoeren Viya gebruikers automatiseren met het SCIM protocol
  3. Opvoeren Viya gebruikers automatiseren met MIM tool

Onderbouwing genomen besluit

De enige oplossing voor Viya om te koppelen met een identity management systeem is met het SCIM protocol. Dit protocol is op de Viya clusters toegepast door de RWS IAM broker en wordt ook getest voor gebruik door 2e (KNMI). Omdat de andere keuzes niet worden ondersteund is er gekozen om de implementatie van het SCIM protocol naar voren te halen.

Gevolgen besluit

SCIM connector via MIM plugin + bijbehorend budget.

Afgeleide requirements

geen

Gerelateerde OB's

OB-BI-001


Ontwerp besluit OB-BI-006: Volg de maandelijkse "Stable release" updates

ID

BI-006

Aandachtsgebied

Onderhoud

Status

Genomen

Onderwerp

Update interval

Ontwerp besluit

Volg de maandelijkse "Stable release" updates

Probleem Omschrijving

SAS Viya kent twee update intervallen maandelijk of halfjaarlijks. Welke past het beste bij Rijkswaterstaat beheer en gebruik?

Aannames

geen

Motivatie

Goede balans stabiele omgeving en gebruikers ervaring

Opties

  1. Halfjaarlijkse update, "Long term support"
  2. Maandelijkse update, "stable releases"

Onderbouwing genomen besluit

Er is op dit moment Full-support voor de gebruikte Kubernetes variant (Open-source Kubernetes) en er wordt ook gebruik gemaakt van de Ingress Controller (NGINX) die door CNAP op Kubernetes gesupport wordt.

Er is daarom gekozen om de stable release update cyclus te volgen. De releases vinden maandelijks plaats en kunnen elke maand tot elke 3 maanden geïnstalleerd worden (support per stable release is namelijk maximaal 3 maanden).

Het volgen van de stable release update cyclus stelt RWS in staat om de nieuwste features, wijzigingen in features en bug fixes te ontvangen. Dit houdt in dat RWS sneller gebruik kan maken van nieuwe functionaliteiten wanneer dit uitkomt in een nieuwe versie.

Er is niet gekozen voor de Long term support. De release hiervan vindt namelijk elk half jaar plaats en loopt wat betreft de versie 2 maanden achter op de stable release.

Het is altijd mogelijk om van de stable release update cyclus over te stappen naar de Long term support cyclus (en andersom), mocht dat wenselijk blijken in de toekomst.

Gevolgen besluit

Inregelen maandelijks update proces

Afgeleide requirements

Geen

Gerelateerde OB's

Geen


Ontwerp besluit OB-BI-007: Plaats container packages direct in Harbor voor distributie

ID

BI-007

Aandachtsgebied

Onderhoud

Status

Genomen

Onderwerp

Update methode

Ontwerp besluit

Plaats container packages direct in Harbour voor distributie

Probleem Omschrijving

SAS Viya heeft een eigen cliënt tool om de Viya sources te downloaden en in een repository te plaatsen voor uitrol naar Kubernetes.

Aannames

Geen

Motivatie

Goede balans stabiele omgeving en gebruikers ervaring

Opties

  1. Gebruik de SAS download tool
  2. Download direct in de RWS K8S distributie tool

Onderbouwing genomen besluit

Standaard levert de SAS Viya oplossing een package download tool die de kubernetes container packages ophaalt bij de SAS repository en in de RWS repository plaatst. Deze handeling is overbodig met Harbor, de CNAP kubernetes repository, en kan direct opgehaald worden. Hiermee worden de bestanden 1x opgehaald en direct in de repository geplaatst wat het netwerk ontlast en een beheer server met download tool overbodig maakt.

Gevolgen besluit

Inregelen package download in Harbor bij CNAP team

Afgeleide requirements

geen

Gerelateerde OB's

geen



Ontwerp besluit OB-BI-008: Twee verschillende software orders

ID

BI-008

Aandachtsgebied

Gebruik

Status

Te bepalen

Onderwerp

Software bundels

Ontwerp besluit

Gebruik twee verschillende software orders

Probleem Omschrijving

Voor de Self Service omgeving zijn niet alle functionaliteiten nodig, die wel noodzakelijk zijn voor de overige omgevingen. Het aanbieden van deze functionaliteiten in de Self Service omgevingen zou voor verwarring kunnen zorgen bij de gebruikers.

Aannames

geen

Motivatie

Goede balans stabiele omgeving en gebruikers ervaring

Opties

  1. Een software order met alle producten beschikbaar
  2. Twee software orders met verschillende producten.

Onderbouwing genomen besluit

Door twee verschillende SAS orders te gebruiken, kunnen de juiste functionaliteiten beschikbaar worden gesteld voor de specifieke omgeving. Hierdoor wordt voorkomen dat er verwarring ontstaat bij de gebruikers.

Gevolgen besluit


Afgeleide requirements

geen

Gerelateerde OB's

geen


Logisch Model

Deze paragraaf beschrijft de belangrijkste componenten waaruit de oplossing is opgebouwd.

 

Figuur 4: Logisch Model voor BI

Het BI-platform levert tevens data op die gebruikt wordt in business applicaties: Interactieve Monitor (IMO), Rijkswaterstaat Uniform programmeer Systeem (RUPS), Verkeerskundige Informatie en Adviezen Systeem (VIAS) en het Netwerkmanagement Informatie Systeem (NIS). Deze applicaties zijn niet direct onderdeel van deze HLD, maar maken dus wel gebruik van data die gerealiseerd/klaargezet wordt met behulp van deze omgeving. Daarnaast worden (interactieve) Topdesk rapportages gemaakt van Topdesk data.

Technology layer

Het fysieke ontwerp beschrijft de fysiek technische aspecten van de oplossing. Het geeft weer hoe de logische componenten beschreven in het logisch ontwerp technisch opgezet zijn en/of geplaatst worden op fysieke componenten/bouwstenen/nodes in de infrastructuur.

Cluster indeling per omgeving

CNAP platform, Kubernetes omgeving



Figuur 5: Kubernetes architectuur (Cloudbooster)
Om een grotere versie van deze afbeelding te zien, ga naar https://docs.cloudboostr.com/assets/Cloudboostr_2.png en klik op het pictogram om in te zoomen.
De Viya clusters maken gebruik van NGINX als ingress controller, ipv Traefik zoals op de Cloudbooster plaatje wordt aangegeven.

Schaalbaarheid van de Kubernetes clusters

Binnen de kubernetes clusters zijn de nodes niet automatisch schaalbaar. Om nodes toe te voegen, te verwijderen of aan te passen, moet er een ticket worden aangemaakt in de SSP onder: Startpagina > PDC IRN Infra > DATACENTER > IRI - Cloud Diensten > IRI Cloud Native Applicatie Platform > IRI CNAP - Kubernetes Cluster 

Jumpbox Linuxserver voor connectie met de Viya clusters

Om connectie te kunnen maken met de Viya clusters wordt gebruik gemaakt van een jumphost. Een beheerder kan de clusters 1 voor 1 benaderen met MobaXterm. Zelfs als een beheerder meerdere MobaXterm sessies opent, kan slechts 1 cluster tegelijkertijd worden benaderd.

JUMPHOST

OS

jumpbox-ivp.cnap-am4.intranet.rws.nl

Ubuntu 22.04.5 LTS (GNU/Linux 5.15.0-134-generic x86_64)

Aantal worker nodes per cluster, incl. CPU, Memory en Storage

Om mee te beginnen hebben de clusters de volgende specificaties. Met verloop van tijd kan het eventueel veranderen zoals de clusters groeien.

Worker Nodes

Productie

Ontwikkel

Acceptatie

SSBI

Sandbox

Aantal

19

15

15

12

11

CPU per node (stateful/stateless)

16 cores

16 cores

16 cores

16 cores

16 cores

CPU per node (restante nodes)

8 cores

8 cores

8 cores

8 cores

8 cores

Memory per node

64 GB

64 GB

64 GB

64 GB

64 GB

Temp (OS) storage per node

200 GB

200 GB

200 GB

200 GB

200 GB

Persistent (NFS) storage per cluster

2 TB

2 TB

2 TB

2 TB

1 TB

Workload node pools

Om de verschillende werkbelastingen elkaar niet te laten beïnvloeden zijn de volgende gescheiden node pool typen gecreëerd.

system

Deze workload omvat ondersteunende Kubernetes componenten die niet onderdeel zijn van SAS Viya.

stateless

Deze workload omvat webapplicaties en microservices. Stateless-toepassingen worden horizontaal geschaald om een hogere werklast aan te kunnen en een hogere beschikbaarheid te bieden.

stateful

Deze workload omvat open-source componenten die door SAS Viya worden gebruikt om kritieke informatie op te slaan die nodig is om de operationele integriteit te behouden.

CAS

SAS Cloud Analytic Services (CAS) is de primaire compute engine in SAS Viya.
Hoewel CAS een stateful proces is, heeft deze unieke kenmerken en vereisten voor de Kubernetes-infrastructuur. CAS is ontworpen om alle beschikbare middelen te gebruiken om elke aanvraag in de kortst mogelijke tijd te voltooien. Daarom kan CAS elke beschikbare node CPU-cores en RAM voor 100% gebruiken om grote hoeveelheden gegevens zo snel mogelijk te verwerken.

compute

Rekenprocessen zijn stateful processen die tot voltooiing worden uitgevoerd (dat wil zeggen, het zijn geen langlopende services). Ze leveren meerdere functies binnen een SAS Viya-implementatie, inclusief maar niet beperkt tot batchtaken, interactieve SAS Studio-sessies en parallelle rekenprocessen die worden uitgevoerd als onderdeel van een SAS Model Studio-workflow.

connect

SAS/CONNECT biedt klanten de mogelijkheid om SAS-rekenprocessen te starten binnen een lokale of externe SAS-omgeving. Deze node pool type wordt niet meer apart gedefinieerd.

MAS

Wanneer SAS Micro Analytic Service in een SAS Intelligent Decisioning omgeving wordt gebruikt, wordt het aangeroepen als een web applicatie met een REST interface. De REST interface (bekend als de SAS Micro Analytic Score service) maak voorziening voor een gemakkelijke integratie met client applicaties en voeg persistence en clustering toe voor schaalbaarheid en high availability.

Cluster omgevingen

Productie cluster indeling

Viya software bundels: SAS Viya Enterprise
Kubernetes cluster Locatie: CNAP Productie omgeving (AM4).
Indeling: am4-cnap-sas-viya-p

NAME

ROLES

INTERNAL-IP

EXTERNAL-IP

NODE POOL

cbr-env-sas-viya-p-master-0

control-plane

10.55.18.8

10.55.18.8


cbr-env-sas-viya-p-master-1

control-plane

10.55.18.9

10.55.18.9


cbr-env-sas-viya-p-master-2

control-plane

10.55.18.10

10.55.18.10


cbr-env-sas-viya-p-worker-0

<none>

10.55.18.200

10.55.18.200

SYSTEM

cbr-env-sas-viya-p-worker-1

<none>

10.55.18.201

10.55.18.201

SYSTEM

cbr-env-sas-viya-p-worker-2

<none>

10.55.18.202

10.55.18.202

STATELESS

cbr-env-sas-viya-p-worker-3

<none>

10.55.18.203

10.55.18.203

STATEFUL

cbr-env-sas-viya-p-worker-4

<none>

10.55.18.204

10.55.18.204

STATEFUL

cbr-env-sas-viya-p-worker-5

<none>

10.55.18.205

10.55.18.205

MAS

cbr-env-sas-viya-p-worker-6

<none>

10.55.18.206

10.55.18.206

CAS

cbr-env-sas-viya-p-worker-7

<none>

10.55.18.207

10.55.18.207

CAS

cbr-env-sas-viya-p-worker-8

<none>

10.55.18.208

10.55.18.208

CAS

cbr-env-sas-viya-p-worker-9

<none>

10.55.18.209

10.55.18.209

CAS

cbr-env-sas-viya-p-worker-10

<none>

10.55.18.210

10.55.18.210

CAS

cbr-env-sas-viya-p-worker-11

<none>

10.55.18.211

10.55.18.211

CAS

cbr-env-sas-viya-p-worker-12

<none>

10.55.18.212

10.55.18.212

CAS

cbr-env-sas-viya-p-worker-13

<none>

10.55.18.213

10.55.18.213

CAS

cbr-env-sas-viya-p-worker-14

<none>

10.55.18.214

10.55.18.214

CAS

cbr-env-sas-viya-p-worker-15

<none>

10.55.18.215

10.55.18.215

CAS

cbr-env-sas-viya-p-worker-16

<none>

10.55.18.216

10.55.18.216

COMPUTE

cbr-env-sas-viya-p-worker-17

<none>

10.55.18.217

10.55.18.217

STATELESS

cbr-env-sas-viya-p-worker-18

<none>

10.55.18.218

10.55.18.218

STATELESS


Externe componenten

Type

Size

NFS (persistent storage)

Isilon

2000 GB



Ontwikkel cluster indeling

Viya software bundels: SAS Viya Enterprise
Kubernetes cluster Locatie: CNAP Productie omgeving (AM4).
Indeling: am4-cnap-sas-viya-o

NAME

ROLES

INTERNAL-IP

EXTERNAL-IP

NODE POOL

cbr-env-sas-viya-o-master-0

control-plane

10.55.17.8

10.55.17.8


cbr-env-sas-viya-o-master-1

control-plane

10.55.17.9

10.55.17.9


cbr-env-sas-viya-o-master-2

control-plane

10.55.17.10

10.55.17.10


cbr-env-sas-viya-o-worker-0

<none>

10.55.17.200

10.55.17.200

SYSTEM

cbr-env-sas-viya-o-worker-1

<none>

10.55.17.201

10.55.17.201

SYSTEM

cbr-env-sas-viya-o-worker-2

<none>

10.55.17.202

10.55.17.202

STATELESS

cbr-env-sas-viya-o-worker-3

<none>

10.55.17.203

10.55.17.203

STATEFUL

cbr-env-sas-viya-o-worker-4

<none>

10.55.17.204

10.55.17.204

MAS

cbr-env-sas-viya-o-worker-5

<none>

10.55.17.205

10.55.17.205

CAS

cbr-env-sas-viya-o-worker-6

<none>

10.55.17.206

10.55.17.206

CAS

cbr-env-sas-viya-o-worker-7

<none>

10.55.17.207

10.55.17.207

CAS

cbr-env-sas-viya-o-worker-8

<none>

10.55.17.208

10.55.17.208

CAS

cbr-env-sas-viya-o-worker-9

<none>

10.55.17.209

10.55.17.209

CAS

cbr-env-sas-viya-o-worker-10

<none>

10.55.17.210

10.55.17.210

CAS

cbr-env-sas-viya-o-worker-11

<none>

10.55.17.211

10.55.17.211

STATELESS

cbr-env-sas-viya-o-worker-12

<none>

10.55.17.212

10.55.17.212

COMPUTE

cbr-env-sas-viya-o-worker-13

<none>

10.55.17.213

10.55.17.213

STATELESS

cbr-env-sas-viya-o-worker-14

<none>

10.55.17.214

10.55.17.214

STATEFUL


Externe componenten

Type

Size

NFS (persistent storage)

Isilon

2000 GB


Acceptatie cluster

Viya software bundels: SAS Viya Enterprise
Kubernetes cluster Locatie: CNAP Productie omgeving (AM4).
Indeling: am4-cnap-sas-viya-a

NAME

ROLES

INTERNAL-IP

EXTERNAL-IP

NODE POOL

cbr-env-sas-viya-a-master-0

control-plane

10.55.19.8

10.55.19.8


cbr-env-sas-viya-a-master-1

control-plane

10.55.19.9

10.55.19.9


cbr-env-sas-viya-a-master-2

control-plane

10.55.19.10

10.55.19.10


cbr-env-sas-viya-a-worker-0

<none>

10.55.19.200

10.55.19.200

SYSTEM

cbr-env-sas-viya-a-worker-1

<none>

10.55.19.201

10.55.19.201

SYSTEM

cbr-env-sas-viya-a-worker-2

<none>

10.55.19.202

10.55.19.202

STATELESS

cbr-env-sas-viya-a-worker-3

<none>

10.55.19.203

10.55.19.203

STATEFUL

cbr-env-sas-viya-a-worker-4

<none>

10.55.19.204

10.55.19.204

MAS

cbr-env-sas-viya-a-worker-5

<none>

10.55.19.205

10.55.19.205

CAS

cbr-env-sas-viya-a-worker-6

<none>

10.55.19.206

10.55.19.206

CAS

cbr-env-sas-viya-a-worker-7

<none>

10.55.19.207

10.55.19.207

CAS

cbr-env-sas-viya-a-worker-8

<none>

10.55.19.208

10.55.19.208

CAS

cbr-env-sas-viya-a-worker-9

<none>

10.55.19.209

10.55.19.209

CAS

cbr-env-sas-viya-a-worker-10

<none>

10.55.19.210

10.55.19.210

CAS

cbr-env-sas-viya-a-worker-11

<none>

10.55.19.211

10.55.19.211

STATELESS

cbr-env-sas-viya-a-worker-12

<none>

10.55.19.212

10.55.19.212

COMPUTE

cbr-env-sas-viya-a-worker-13

<none>

10.55.19.213

10.55.19.213

STATELESS

cbr-env-sas-viya-a-worker-14

<none>

10.55.19.214

10.55.19.214

STATEFUL


Externe componenten

Type

Size

NFS (persistent storage)

Isilon

2000 GB


SSBI cluster indeling

Viya software bundels: SAS Viya
Kubernetes cluster Locatie: CNAP Productie omgeving (AM4).
Indeling: am4-cnap-sas-viya-biss

NAME

ROLES

INTERNAL-IP

EXTERNAL-IP

NODE POOL

cbr-env-sas-viya-biss-master-0

control-plane

10.55.13.8

10.55.13.8


cbr-env-sas-viya-biss-master-1

control-plane

10.55.13.9

10.55.13.9


cbr-env-sas-viya-biss-master-2

control-plane

10.55.13.10

10.55.13.10


cbr-env-sas-viya-biss-worker-0

<none>

10.55.13.200

10.55.13.200

SYSTEM

cbr-env-sas-viya-biss-worker-1

<none>

10.55.13.201

10.55.13.201

SYSTEM

cbr-env-sas-viya-biss-worker-2

<none>

10.55.13.202

10.55.13.202

STATELESS

cbr-env-sas-viya-biss-worker-3

<none>

10.55.13.203

10.55.13.203

STATEFUL

cbr-env-sas-viya-biss-worker-4

<none>

10.55.13.204

10.55.13.204

CAS

cbr-env-sas-viya-biss-worker-5

<none>

10.55.13.205

10.55.13.205

CAS

cbr-env-sas-viya-biss-worker-6

<none>

10.55.13.206

10.55.13.206

CAS

cbr-env-sas-viya-biss-worker-7

<none>

10.55.13.207

10.55.13.207

CAS

cbr-env-sas-viya-biss-worker-8

<none>

10.55.13.208

10.55.13.208

CAS

cbr-env-sas-viya-biss-worker-9

<none>

10.55.13.209

10.55.13.209

CAS

cbr-env-sas-viya-biss-worker-10

<none>

10.55.13.210

10.55.13.210

COMPUTE

cbr-env-sas-viya-biss-worker-11

<none>

10.55.13.211

10.55.13.211

STATELESS


Externe componenten

Type

Size

NFS (persistent storage)

Isilon

2000 GB


Sandbox cluster indeling

Viya software bundels: SAS Viya Enterprise
Kubernetes cluster Locatie: CNAP Productie omgeving (AM2).
Indeling: am4-cnap-sas-viya-sandbox

NAME

ROLES

INTERNAL-IP

EXTERNAL-IP

NODE POOL

cbr-env-sas-viya-sandbox-master-0

control-plane

10.55.48.8

10.55.48.8


cbr-env-sas-viya-sandbox-master-1

control-plane

10.55.48.9

10.55.48.9


cbr-env-sas-viya-sandbox-master-2

control-plane

10.55.48.10

10.55.48.10


cbr-env-sas-viya-sandbox-worker-0

<none>

10.55.48.200

10.55.48.200

SYSTEM

cbr-env-sas-viya-sandbox-worker-1

<none>

10.55.48.201

10.55.48.201

SYSTEM

cbr-env-sas-viya-sandbox-worker-2

<none>

10.55.48.202

10.55.48.202

CAS

cbr-env-sas-viya-sandbox-worker-3

<none>

10.55.48.203

10.55.48.203

CAS

cbr-env-sas-viya-sandbox-worker-4

<none>

10.55.48.204

10.55.48.204

STATELESS

cbr-env-sas-viya-sandbox-worker-5

<none>

10.55.48.205

10.55.48.205

STATELESS

cbr-env-sas-viya-sandbox-worker-6

<none>

10.55.48.206

10.55.48.206

STATELESS

cbr-env-sas-viya-sandbox-worker-7

<none>

10.55.48.207

10.55.48.207

STATEFUL

cbr-env-sas-viya-sandbox-worker-8

<none>

10.55.48.208

10.55.48.208

STATEFUL

cbr-env-sas-viya-sandbox-worker-9

<none>

10.55.48.209

10.55.48.209

MAS

cbr-env-sas-viya-sandbox-worker-10

<none>

10.55.48.210

10.55.48.210

COMPUTE


Externe componenten

Type

Size

NFS (persistent storage)

Isilon

1000 GB


Autorisatie en Authenticate

<beschrijf hoe A&A is ingeregeld, voorbeeld:
Autorisatie en authenticatie gebeurt tegen de RWS Active Directory. De secure zone heeft geen Active Directory; servers in de secure zone worden achter de centrale ESB geplaatst. Toegang wordt gecontroleerd via de Access Management Reverse proxy server of zoals is aangegeven in Toegang derden. Setup volgt de regels zoals aangegeven in de beveiligingsafspraken.
>

Authenticatie

Authenticatie word ingeregeld voor VIYA door met het ADFS/SAML protocol gebruikers aan te melden via de RWS IAM Broker

Autorisatie

Autorisatie zoals het loopt via SCIM moet nog worden toegevoegd. Bijv. welke acties of configuratie afspraken er gemaakt zijn.

URL strategie



Omgeving

Cluster naam

Doelgroep

URL

Productie ^

am4-cnap-sas-viya-p

Intranet & Rijksweb

viya.rws.rijksweb.nl

Ontwikkel ^

am4-cnap-sas-viya-o

Intranet & Rijksweb

ontwikkel.viya.rws.rijksweb.nl

Acceptatie ^

am4-cnap-sas-viya-a

Intranet & Rijksweb

acceptatie.viya.rws.rijksweb.nl

SSBI

am4-cnap-sas-viya-biss

Intranet

ssbi.viya.intranet.rws.nl

Sandbox

am4-cnap-sas-viya-sandbox

Intranet & Rijksweb

sandbox.viya.rws.rijksweb.nl

^ De urls voor deze omgevingen zijn niet alleen binnen RWS bereikbaar, maar ook via de Rijksrotonde voor gebruikers die toegang hebben tot Viya.

Monitoring

Dit stuk moet nog anders, er moet een generiek IVP monitoring document komen gebaseerd op dit stuk en hier komt alleen het BI platform specifiek te staan.

LET OP dit is geschreven voor GIS en Integratie en nog niet specifiek voor BI op Kubernetes. Voor nu zo laten staan of bij voorkeur updaten.


In onderstaande overzicht wordt het monitor landschap bij Rijkswaterstaat weergegeven zoals toegepast bij de afdeling CIV. In het overzicht staan 4 actor disciplines met elk een eigen dashboard die vanuit drie verschillende inventarisaties, security – Infra – applicatie (Platform), worden gevoed. In dit hoofdstuk wordt het doel van elk type monitoring beschreven.

Figuur 6: Overzicht monitoring Platform

Security

Binnen het Security Information & Event Management(SIEM) platform (ten behoeve van het Security Operations Centre (SOC)) wordt alle log data vanuit alle domeinen en assets binnen Rijkswaterstaat verwerkt en beschikbaar gesteld voor de security analisten van het SOC. De security analisten zijn dan in staat om de systemen te monitoren op cyberincidenten/-aanvallen en daarbij het bijbehorende proces te beveiligen.
Om het platform volgens de BIO normen in te richten worden de applicatie logs volgens de SIEM (Splunk) aansluitwaarden opgeleverd.

IV Infra

Het platform wordt op IV Infra gemanagede server bouwstenen geïnstalleerd of als Infra Virtual Appliance (IVA). De managed server bouwstenen wordt door IV Infra tot aan het OS of Database beheerd en gemonitord, voor de IVA wordt een VM ter beschikking gesteld.
Basis monitoring bestaat uit het CPU-, Geheugen-, Schijfruimtegebruik op basis van thresholds naast een check of de server en database in de lucht zijn. Op het moment van schrijven wordt zowel Splunk als Nagios gebruikt.

IV Platform Technisch Beheer

Voor applicatie monitoring is er geen standaard product en wordt op dit moment voor Infra-applicatie specifieke zaken, zoals beschikbaarheid, Grafana dashboards (en ook Lens) gebruikt. De Grafana/Lens dashboards biedt de mogelijkheid aan de "buitenkant" van de applicatie te kijken en monitoent of de applicatie buiten de opgegeven thresholds loopt. Dit is waardevolle informatie voor beheer maar geeft nog niet aan waarom dit gebeurt en of er verbeteringen van de omgeving mogelijk zijn. Om meer pro actief en kwaliteit gericht te werken is een applicatie specifieke monitor tool nodig. Het totale doel van de api monitoring is om de performance, beschikbaarheid, kwaliteit en het gebruik van de omgeving inzichtelijk te maken en pro-actief te beheren. Vanwege de AVG gevoelige informatie over gebruik moet deze dienst intern worden gehost.
De volgende metrics worden verzameld en op de dashboard (Grafana/Lens) weergegeven:

  • Tool: Grafana / Lens
    • CPU gebruik
    • Mem gebruik
    • Disk gebruik (en ook specifiek folder gebruik zoals Temp)
    • Node gebruik
  • Tool: Splunk
    • Beschikbaarheid per bouwsteen product
    • Hoeveelheid gebruik per bouwsteen product
    • Baseline kwaliteit services tbv advisering afnemer
    • Flow tussen de servers

Platform afnemer

Voor de afnemers van de platform bouwstenen wordt dezelfde dashboard tool, Grafana, gebruikt maar dan met de gegevens over de afgenomen dienst. Hiervoor worden aparte groepen aangemaakt om alleen die gegevens die interessant zijn als afnemer beschikbaar te maken. Vanwege de AVG gevoelige informatie over gebruik moet deze dienst intern worden gehost.De volgende metrics worden op de dashboard weergegeven:

  • Beschikbaarheid per rapport
  • Hoeveelheid gebruik per rapport
  • Hoeveelheid Data gebruik
  • Gebruikte analyse capaciteit


De informatie vanuit Splunk is voor de klanten op dit moment niet beschikbaar. Dat komt door het feit dat de toegang verlenen betekent alle informatie kunnen inzien, ook die van andere klanten.
Er wordt eraan gedacht om de indexering in de logging toe te voegen, waardoor de splitsing van informatie en toegang mogelijk wordt. Dit vergt aanpassing van alle huidige logging.h3.

Management rapportage
Voor de up-time monitoring van het platform (in het kader van SLA) wordt er ook gebruik gemaakt van Prometheus. De visualisatie van beschikbaarheid/bereikbaarheid/up-time voor URL wordt in SAS en in Grafana beschikbaar gesteld.

Viability Assessment

Dit hoofdstuk beschrijft de bevindingen, risico's een aanbevelingen die het gevolg zijn van een 'viability assessment' . Een bevinding (en eventueel bijbehorend risico) kan alles zijn wat invloed heeft op een (succesvolle) oplevering van de beschreven oplossing, zoals:

  • De mogelijkheid om aan requirements van de oplossing te voldoen
  • De beschikbaarheid van de juiste vaardigheden
  • Het accepteren van de technische elementen van de oplossing door de stakeholders
  • De mogelijkheid om binnen budget te leveren en aan het tijdschema te voldoen
  • Onvoldoende herbruikbare componenten.

Het voorkomen van eventualiteiten en het nemen van beperkende maatregelen vallen onder de verantwoordelijkheid van het project.

Risico's

ID

Bevinding/Risco Beschrijving

Probability (H/M/L)

Effort / Kosten

Impact (H/M/L)

Aanbeveling ter voorkoming of beperking van het risico

Verantwoordelijk

Review Date

R01

Uitbreiding van het aantal gebruikers zorgt voor grotere systeembelasting op de clusters. Hoe makkelijk is dit op te schalen binnen de huidige architectuur.
Verwachting is dat het gebruik van SAS binnen RWS na de introductie van Viya gaat toenemen.

H

M

H

Uitbreiding cluster is handmatig via RFI naar Kubernetes beheer team. Om dit op tijd te detecteren moet capacity management ingeregeld zijn en proactieve (trend) monitoring aanwezig.

Technisch en functioneel beheer team.


R02

Er is geen 'technische speeltuin' voor IVP voorzien waar IVP innovatie gaan toepassen zonder de operatie te storen. Nieuwe functionaliteit zal op 1 van de bestaande clusters moeten plaatsvinden met mogelijke impact op dat cluster.

L

H

?

Afstemmen welke volgorde de clusters worden geüpdate, met afnemers een test&acceptatie plan en rollback aanwezig binnen de acceptatie periode van het eerste cluster.

IVP management


R03

Opvoeren gebruikers en uitdelen rechten vanuit de RWS IAM oplossing met het voor VIYA noodzakelijke SCIM protocol is nog geen product. Er zal eerst een PoC gedaan worden en als deze positief wordt afgerond ook als dienst word geleverd.
De verwachting is dat de SCIM connector werkt maar qua tijdslijn opleveren VIYA en dienstverlening SCIM uitdagend is.

L

L

H

geen

Project management



Issues

ID

Beschrijving bevinding/Issue

Prioriteit (H/M/L)

Aangegeven door

Verantwoordelijkheid Issue

Review Datum

Status
(Open, Closed, nieuw risico)

I01

Niet alle logging is geïmplementeerd waarbij:

  • de security logging verplicht is
  • applicatie informatief is voor afnemers
  • Licentie management handmatig is maar bij voorkeur ook automatisch, in onderzoek.
  • Bouwsteen gebruik, afhankelijk hoe doorbelasting. Onderzoek mogelijkheden VIYA zelf.

M

Architect

Technisch beheer team


open










Aannames

ID

Beschrijving bevinding/aanname

Confidence Level (H/M/L)

Impact (H/M/L)

Geïdentificeerd door:

Review Datum

Afsluit Datum
















Afhankelijkheden

ID

Beschrijving bevinding/afhankelijkheid

Invloed op planning

Noodzakelijk op datum

Eigenaar

Geassocieerd RisicoID

Sluit Datum





































Mirror provenance
Mirror source
confluence/spaces/INFRAARCH/pages/183567945/page.metadata.json
Storage source
confluence/spaces/INFRAARCH/pages/183567945/page.storage.xhtml
Access
Committed snapshot only