On this page
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Introductie
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Doel van het document
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Management Samenvatting
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Structuur van het document
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Out of scope
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Functionele Requirements
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Non-Functionele Requirements
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Beschikbaarheid
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Capaciteit
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Performance
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Security
- Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Systeem beperkingen
High Level Design
Business Intelligence - SAS
Datum: 28 april 2025
Versie:2.4
Status: Draft
Auteurs: Stephan Minnaert Jacky Mattioli
Eigenaar: Lead Architect CIV Platformen
RWS confidentieel
Versie Nummer | Datum Aanpassing | Samenvatting wijzigingen | Status | Auteur |
2.4 | 28-apr-2025 | Restante CPM referenties in plaatjes weghalen | Draft | Jacky Mattioli |
Inhoudsopgave
Lijst van figuren
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Referenties
Dit document is gebaseerd op de volgende documenten:
- RWS, "Technisch Doel Architectuur 20140903 Volume 3 Systeemontwerp R3.1", v1.0, 01-sep-2014
- RWS, "Technisch Ontwerp RCA", PA3, 21-feb-2011
- RWS, "i-Strategie 2.0 Rijkswaterstaat verbindt", jun-2019
- RWS, "Logische Enterprise Datawarehouse", 20-aug-2015
- RWS, "Doelarchitectuur Platformen_roadmap", 31-aug-2015
- CBP, "De meldplicht datalekken in de Wet bescherming persoonsgegevens (Wbp)", 09-dec-2015
- RWS, "Domein Architectuur Platformen", v1.0, 25-jan-2019
- Wikipedia, "https://en.wikipedia.org/wiki/MoSCoW_method", April 2019
- Damhof, "Het datakwadranten model – interview", 2016
- SAS, "SAS 9.4 - System Administration Guide", 2015 - 2023
- SAS, "SAS 9.4 Intelligence Platform - Web Application Administration Guide", 2013 - 2023
- SAS, "Technical Architecture for Rijkswaterstaat", V1.6, 2015
- RWS, "Programma mandaat Centraal Toegangspunt Data 1.0 definitief", v1.0, mei-2019
Introductie
Doel van het document
Het doel van dit document is het beschrijven van 'architectural solution baseline' voor de infrastructuur voor het Business Intelligence - SAS 9.4 van Rijkwaterstaat. De beschreven oplossing bevat voldoende informatie voor het maken van het detailed design, het implementatie plan, etc.
Management Samenvatting
Figuur 1: Parallelle paden voor ontwikkeling volgens het kwadrant van R. Damhof [9]
Productie kan gezien worden als kwadrant 1 en 2, waarbij de feiten een data kwaliteitsstempel hebben en gecontroleerd ter beschikking kunnen worden gesteld aan gebruikers/applicaties (kwadrant 1) en met tools gevisualiseerd kunnen worden naar (eind) gebruikers (kwadrant 2). Onbekende, nog niet beschreven datastreams kunnen in projecten geanalyseerd worden en opgebouwd worden of nieuwe rapportages/data inzichten kunnen worden onderzocht in kwadrant 4 en kan gezien worden als de ontwikkel/test omgevingen. Kwadrant 3 kan eigenlijk het beste gezien worden als Silos of ad hoc ongecontroleerde data (databronnen die niet onder gouvernance staan).
Business intelligence tools als beschreven in dit document leveren niet alleen de middelen om de data te kunnen analyseren, maar ook voor de opbouw en levering voor productie omgevingen. Tevens kunnen de tools gebruikt worden voor analyses en ontwikkeling van nieuwe trajecten in en over verschillende kwadranten heen. Business tools zijn dus inzetbaar over een gehele Ontwikkel, Test, Acceptatie en Productie (OTAP) traject.
Structuur van het document
Hoofdstuk 2 beschrijft de functionele requirements en de standaarden noodzakelijk voor de componenten 'solution building blocks (SBB)' in scope van dit document.
Hoofdstuk 3 beschrijft de non-functionele requirements. Deze geven de randvoorwaarden aan waaraan het system moet voldoen, zoals de gevraagde service levels voor de systemen, de eigenschappen van het systeem en de beperkingen die waaraan het systeem (of delen van het systeem) moet voldoen.
Hoofdstuk 4 geeft een logisch overzicht en beschrijft de ontwerp besluiten ('architectural decisions') die gebruikt zijn bij het ontwerp van de oplossing.
Hoofdstuk 5 beschrijft het fysiek ontwerp van de oplossing.
Hoofdstuk 6 bevat de risico's, aanbevelingen en issues die van invloed kunnen zijn voor de oplossing.
Out of scope
De werkplek omgeving van de gebruiker is geen onderdeel van de scope van dit document. Enterprise Guide wordt wel beschikbaar gesteld op de werkplek omgeving (KA desktop) van de gebruiker.
Nieuwe terminal servers en bestaande en nieuwe Datasources worden (ook) ingezet voor de nieuwe omgeving.
SAS Viya clusters en daarmee dus ook Visual en Advanced Analytics. (zie HLD - Business Intelligence and Analytics - SAS Viya vx.x).
Functionele Requirements
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
FR-BI-01 | Must Have | Data Governance | Om de bekendheid, de bereikbaarheid en de bruikbaarheid van data te vergroten en om vraag en aanbod bij elkaar te brengen, dient data governance te worden toegepast | Ja/nee/deels |
FR-BI-02 | Must Have | Eén loket voor data: Databroker functie | Er moet één loket komen, waar eigenaren van data (bronhouders) hun data naartoe brengen en waar gebruikers hun data vandaan halen. | Ja/nee/deels nvt |
FR-BI-03 | Must Have | Schaalbare oplossing | De omgeving moet kunnen inspelen op een toenemende vraag en aanbod van data en moet toekomst vast worden neergezet. | Ja/nee/deels |
FR-BI-04 | Must Have | Flexibele toegang tot gegevens | De data moet op flexibele manieren worden ontsloten (gebruik van verschillende media als web, mobile devices) | Ja/nee/deels |
FR-BI-05 | Must Have | Open Data beleid | 'Open data' moet beschikbaar komen/zijn voor (externe, niet RWS) gebruikers. | Ja/nee/deels |
FR-BI-06 | Must Have | Duurzame Toegankelijkheid | Gegevens moeten (gaan) voldoen aan duurzame toegankelijkheid waarbij naast toegankelijkheid tot (archief) gegevens tevens het beleid tot bewaartermijnen, vernietiging en overdracht moet worden gevolgd. | Ja/nee/deels |
FR-BI-07 | Should Have | Innovatie Lab | Er is behoefte aan een demonstratie- en experimenteerruimte voor innovatieve IV. Er komen regelmatig verzoeken om innovatieve IV te presenteren of uit te proberen. Daartoe is een IV-brede faciliteit met een flexibele inrichting noodzakelijk, waarin proeven, analyses en demonstraties kunnen worden uitgevoerd. | Ja/nee/deels |
FR-BI-08 | Must Have | Rijkswaterstaat brede uitrol met fail-over | Vanuit IRN is aangegeven dat de scope van de omgeving moet worden uitgebreid tot een RWS brede omgeving die hoog beschikbaar moet zijn en waarbij failover functionaliteit wordt geboden. | Ja/nee/deels |
Non-Functionele Requirements
Dit hoofdstuk beschrijft de non-functionele requirements waaraan het system moet voldoen. Deze geven de randvoorwaarden aan waaraan het system moet voldoen, zoals de gevraagde service levels voor de systemen, de eigenschappen van het systeem en de beperkingen waaraan het systeem (of delen van het systeem) moet voldoen.
De requirements worden onderverdeeld in Service Level Requirements (Run-time requirements), Non- run time requirements en beperkingen
Deze paragraaf beschrijft de voorwaarden waaraan de systemen aan moeten voldoen (beschikbaarheid,capaciteit, performance, security, operational en Back-up en Recovery). De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have)
Beschikbaarheid
Binnen een datacenter worden de VMWare services door VMHA hoog beschikbaar gemaakt. De non-productie (OTA) omgeving wordt opgebouwd in het andere datacenter ten opzichte van de productie omgeving. De resources van de OTA omgeving zullen zodanig worden afgestemd dat in geval van een Productie Datacenter failure, de resources van OTA gebruikt worden om productie te hosten. De resources van de OTA worden, in geval van een datacenter failure, gebruikt om productie te activeren op het andere datacenter. De data van productie wordt in beide datacenters opgeslagen.
Tabel 2: Beschikbaarheid
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
BE-BI-01 | Must Have | Service Level Productie: Hoog beschikbaar | Hoog beschikbaarheid.
| Ja/nee/deels |
BE-BI-02 | Must Have | Service Level Non-productie: standaard beschikbaar | Standaard beschikbaarheid.
| Ja/nee/deels |
Capaciteit
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
CA-BI-01 | Must Have | Metadata Server: Aangeraden capaciteit 4 cores, 16 GB mem voor productie | Er is gekeken naar de minimale server capaciteit voorgeschreven voor een distributed SAS omgeving. | Ja/nee/deels |
CA-BI-02 | Must Have | MidTier (Web): Aangeraden capaciteit 4 cores, 32 GB mem voor productie | Er is gekeken naar de minimale server capaciteit voorgeschreven voor een distributed SAS omgeving. | Ja/nee/deels |
CA-BI-04 | Must Have | Grid/Compute: Aangeraden (minimum) capaciteit 8 cores, 64 GB mem voor productie | Er is gekeken naar de minimale server capaciteit voorgeschreven voor een distributed SAS omgeving. | Ja/nee/deels |
Voor de non-productie omgevingen worden servers met lagere capaciteit gebruikt. Dit is overlegd met de leverancier.
Performance
Niet gespecificeerd. De ervaring mag niet langzamer zijn dan de eerste Sas omgeving, maar hier zijn geen getallen voor gespecificeerd. De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have)
Tabel 4: Perfomance … Performance testen opgesteld samen met Robert Spaans hier toevoegen zodra ze beschikbaar zijn
ID | Essentieel | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
Pe-BI-01 | Ja/Nee | Ja/nee/deels | ||
Security
De data binnen het BI-platform bevat naast 'open data' ook gevoelige data. Beveiligingsmaatregels moeten van toepassing zijn (BIR/BIO-compliancy). De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 5: Security
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
SE-BI-01 | Must Have | Open data gescheiden van gesloten data. | Het SAS platform voorziet in data die ook gebruikt kunnen worden door derden. Het is noodzakelijk open data en gesloten data gescheiden te houden. | Ja/nee/deels |
SE-BI-02 | Must Have | Beveiliging van gevoelige/gesloten data. | Gevoelige data mag alleen aan geautoriseerde personen/instanties worden vrijgegeven. | Ja/nee/deels
|
SE-BI-03 | Must Have | Security logging beschikbaar | Toegang tot de systemen moet gecontroleerd en logging moet zijn ingeregeld | Ja/nee/deels
|
Operationeel
De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 6: Operationeel
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
OP-BI-01 | Must Have | Security logging | Toegang tot de systemen moet worden gelogged (bijvoorbeeld failed login pogingen, laatste succesvolle login) | Ja/nee/deels |
OP-BI-02 | Must Have | Applicatie logging | Toegang tot de SAS applicaties moet worden gelogged | Ja/nee/deels |
OP-BI-03 | Must Have | RWS Managed Servers | Standaardisatie en eenvoud in beheer/update mechanismen | Ja/nee/deels |
OP-BI-03 | Should Have | SAS applicaties in 'straten' inrichten | SAS applicaties hebben verschillende lifecycles. Groepering van relevante applicaties vereenvoudigd beheer en verminderd impact op de business | Ja/nee/deels |
Back-up en Recovery
De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 7: Backup en Recovery
ID | Essentieel | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
BR-BI-01 | Must Have | Veiligstellen gegevens SAS applicaties en SAS data | SAS heeft een backup and recovery methode waarbij de metadata servers gebruikt wordt voor opslag van cruciale gegevens van SAS. | Ja/nee/deels |
BR-BI-02 | Must Have | Veiligstellen van data | De database gegevens en bronnen dienen beschikbaar te zijn en worden veiliggesteld | Ja/nee/deels |
Non Run-Time Requirements
De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 8: Non Run-Time requirements
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
NR-BI-01 | Must Have | Life-cycle en patch management | De systemen moeten voldoen aan de laatste (security) patches en life-cycle moet zijn ingericht | Ja/nee/deels |
NR-BI-02 | Must have | Schaalbaarheid | Zie :Unsupported Confluence link: FR-BI-03. Dit requirement is bij functional requirements beschreven. | Ja/nee/deels |
NR-BI-03 | Must Have | Disaster Recovery | Zie: Unsupported Confluence link: FR-BI-08 | Ja/nee/deels |
Systeem beperkingen
Beperking vanuit de Business
De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 9: Beperkingen vanuit de business
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
BUS-BI-01 | Must Have | RWS keuze voor BI-Platform: SAS | RWS heeft een Enterprise License Agreement (ELA) voor SAS. Deze dient te worden gebruikt. De keuze voor SAS is hiermee vastgelegd. | Ja/nee/deels |
Technische standaarden
De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 10: Technische standaarden
ID | MoSCoW | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
TES-BI-01 | Must Have | Riva producten | Riva producten dienen te worden gebruikt in de oplossing indien deze van toepassing zijn. | Ja/nee/deels |
TES-BI-02 | Must Have | BIR/BIO compliancy | De omgeving moet BIR (Baseline Informatiebeveiliging Rijksdienst) compliant zijn of BIO (Baseline Informatiebeveiliging Overheid) compliant zijn. | Ja/nee/deels |
Technische beperkingen
De requirements zijn ingedeeld volgens het MoSCoW principe (Must Have, Should Have, Could Have, Would have).
Tabel 11: Technische beperkingen
ID | MoSCow | Omschrijving | Motivatie | Voldaan |
|---|---|---|---|---|
TEC-BI-01 | Must Have | Minimum system configuraties (CPU/Memory) | Er worden door de leverancier minimum requirements afgegeven waaraan het systeem minimaal moeten voldoen om succesvol te kunnen implementeren | Ja/nee/deels |
TEC-BI-02 | Must have | SAS distributed omgeving eisen | Voor een distributed omgeving zijn er ook minimum server aantallen nodig. | Ja/nee/deels |
TEC-BI-03 | Must have | Shared disks | Om geïntegreerd te kunnen werken over de verschillende SAS-Straten, dient er gebruikt gemaakt te worden van shared disks voor de clusters/straten. | Ja/nee/deels |
Logisch ontwerp
Dit hoofdstuk beschrijft de grote lijnen (het high level design) voor het SAS - Business Intelligence platform (SAS 9.4) van RWS. Het geeft de toekomstige situatie weer en beschrijft de besluiten die gebruikt zijn om tot de aangeven oplossing te komen.
De oplossing geldt voor zowel de short term als de mid-long term oplossing. Het grote verschil tussen de short en mid-long term is de manier waarop de data beschikbaar wordt gesteld voor verschillende doeleinden:
Op de korte termijn wordt gebruik gemaakt van de data zoals deze op het moment bij het huidige systeem in gebruik is. Data en datasets worden op dit moment opgeslagen in o.a. Oracle databases en in SAS Datasets. De laatste worden op de SAS omgeving opgeslagen en niet in de database. Zware adhoc analyses en de advanced analytics (self service) mogelijkheden van SAS zijn verhuisd naar de SAS Viya platform.
Huidige koppelingen naar de data zullen in de short term worden gekopieerd en worden gebruikt bij de nieuwe omgeving. Voor beheer en toegang wordt gebruik gemaakt van nieuwe beheer servers in dc1.5 en clients worden beschikbaar gesteld op de KA desktop. Blijk het niet mogelijk om een of meerdere van de clients op de KA desktop uit te rollen, zal er met Infra overlegd worden om die clients dan toch op TAC servers (terminal servers) beschikbaar te maken.
Oracle is het prefered database platform voor SAS.
De geclusterde SAS systemen hebben shared disks nodig voor o.a. SAS configuraties, gedeelde projecten, en de SAS Grid werkzaamheden.
De nieuwe SAS omgeving wordt als managed omgeving opgezet. Dit sluit het beste aan om zoveel mogelijk volgens de RWS standaarden te werken.
Referentie tabel: Ontwerp besluiten
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
Unsupported Confluence link
SBB-BI-01 - Business Intelligence - SAS
Architectuur Overzicht
IT System Level
Het architectuur overzicht geeft een illustratie van de hoofdlijnen van de voorgestelde oplossing en bevat tevens een overzicht van de belangrijkste bouwcomponenten. Aantallen van servers, etc. zijn in dit overzicht niet weergeven. Het geeft de essentie van de oplossing weer.
Figuur 2: Architectuur overzicht voor SAS Business Intelligence Platform
Belangrijkste componenten
Deze paragraaf beschrijft de belangrijkste architectuur componenten op system niveau:
- Een Productie, Acceptatie, Test, Ontwikkel en Sandbox omgeving
- 3-tier setup: web, applicatie en database
- Ansible & GIT
- Virtuele servers
- Managed server setup
- Omgeving opgezet voor hoge performance/beschikbaarheid en groei
Data classificatie
System Context Diagram
Het system context diagram geeft het totale systeem weer als één entiteit en geeft de verbindingen naar externe entiteiten weer. Dit is met name relevant als koppelingen met actoren of systemen nader gedetailleerd moeten worden.
De lijst is niet uitputtend. Er komen regelmatig nieuwe koppelingen bij.
Context Diagram: DMA-BI
Externe Entiteiten van BI
Deze paragraaf beschrijft de karakteristieken van de boven aangegeven koppelingen.
GEO
Beschrijving | Informatie systemen voor GIS (Geografische Informatie Systemen) en GIV (Geografische Informatie Voorziening). |
|---|---|
Type | Web services of API |
Eigenaar | RWS |
Aantal gebruikers | Niet bekend |
Aantal transacties | Niet bekend |
Frequentie van de transacties | Frequent; meerdere keren per dag |
Hoeveelheid data | Niet bekend; varieert afhankelijk van de toepassing die de data gebruikt. |
Toegepaste security | Rol Based Access (RBAC); gebruik van AD / System user (applicaties) |
Mendix Applicaties
Beschrijving | Mendix is een ontwikkelplatform voor apps voor de verschillende platformen en ontsluit diverse databronnen. Het gaat om applicaties die gebouwd zijn mbv Mendix en een connectie moeten maken naar het SAS platform. |
|---|---|
Type | HTTP(s) voor gebruikers. Type Connectie van Mendix naar de onderliggende lagen is op het moment niet bekend (maar geprefereerd is API gebaseerd). |
Eigenaar | RWS |
Aantal gebruikers | Gebruikers van de Mendix applicaties die naar SAS moet. Aantal is niet bekend. |
Aantal transacties | Niet bekend |
Frequentie van de transacties | Niet bekend |
Hoeveelheid data | Niet bekend; varieert afhankelijk van de toepassing die de data gebruikt. |
Toegepaste security | Rol Based Access (RBAC); gebruik van AD / System user (voor applicaties) |
APEX Applicaties
Beschrijving | Applicaties die dmv APEX gebruik maken van de data die (ook) voor het SAS platform gebruik wordt. Er zijn op het moment een 12-tal APEX applicaties bekend: RWS Beheer, Dashboard, MADRAS, NISTIPS, NIS Beheer, DVM, RUPS, VIAS |
|---|---|
Type | APEX, In database code |
Eigenaar | RWS |
Aantal gebruikers | Batchuser(s), waarschijnlijk minimaal 1 per APEX applicatie |
Aantal transacties | Niet bekend |
Frequentie van de transacties | Niet bekend |
Hoeveelheid data | Niet bekend; varieert afhankelijk van de toepassing die de data gebruikt. |
Toegepaste security | Rol Based Access (RBAC). |
Postgres / Oracle / MySql
Beschrijving | Database ter ontsluiting van gegevens |
|---|---|
Type | ODBC |
Eigenaar | RWS |
Aantal gebruikers | SAS Batchuser(s) |
Aantal transacties | Niet bekend |
Frequentie van de transacties | Niet bekend |
Hoeveelheid data | Niet bekend |
Toegepaste security | Batch user/ system user; Roll Based Access |
BigData Platform
Beschrijving | Gegevensuitwisseling tussen SAS applicaties en de RWS Big Data Suite |
|---|---|
Type | API of DB connecties (JDBC/ODBC) of webservices HTTPS (Secure connecties) |
Eigenaar | RWS |
Aantal gebruikers | SAS Batchuser(s) |
Aantal transacties | Afhankelijk van de applicatie |
Frequentie van de transacties | Afhankelijk van de applicatie |
Hoeveelheid data | Afhankelijk van de applicatie |
Toegepaste security | Roll Based Access |
ESB
Beschrijving | Enterprise Service Bus – uitwisseling van data met externe bronnen |
|---|---|
Type | ODBC / webservice / SFTP |
Eigenaar | RWS |
Aantal gebruikers | Batchuser ? |
Aantal transacties | Niet bekend |
Frequentie van de transacties | Niet bekend |
Hoeveelheid data | Niet bekend |
Toegepaste security | Afhankelijk van applicatie |
LIMS
Beschrijving | Aanlevering van gegevens voor de laboratoria |
|---|---|
Type | FTP |
Eigenaar | ? |
Aantal gebruikers | Niet bekend |
Aantal transacties | Niet bekend |
Frequentie van de transacties | Niet bekend |
Hoeveelheid data | Niet bekend |
Toegepaste security |
Active Directory (AD)
Beschrijving | Beheer van rechten en instellingen in het RWS netwerk |
|---|---|
Type | LDAP, DNS, Kerberos |
Eigenaar | RWS |
Aantal gebruikers | |
Aantal transacties | |
Frequentie van de transacties | Continu |
Hoeveelheid data | |
Toegepaste security |
SAP
Beschrijving | Financiële gegevens vanuit het I&W SAP ten behoeve van advanced analyses en reporting voor bedrijfsvoering en AoA |
|---|---|
Type | Batchgewijs overhalen van data; FTP? |
Eigenaar | RWS |
Aantal gebruikers | Batch proces; functionele user |
Aantal transacties | Niet bekend |
Frequentie van de transacties | 1 x dag (momenteel) |
Hoeveelheid data | Niet bekend |
Toegepaste security | RBAC |
SAS_Admin (installer account)
Beschrijving | Beheerders van het SAS platform |
|---|---|
Type | ssh connectie over port 22 |
Eigenaar | RWS |
Aantal gebruikers | <20 |
Aantal transacties | Niet van toepassing |
Frequentie van de transacties | Niet van toepassing |
Hoeveelheid data | Niet van toepassing |
Toegepaste security | RBAC |
Ontwerp beslissingen
Ontwerp besluit OB-BI-001: Distributed SAS omgeving voor Productie en Acceptatie
ID | BI-001 | Aandachtsgebied | Implementatie |
|---|---|---|---|
Status | Open/genomen/vervallen | Onderwerp | Beschikbaarheid |
Ontwerp besluit | Het Platform wordt als 'SAS Distributed Environment' uitgerold | ||
Probleem Omschrijving | Het SAS platform moet makkelijk uit te breiden zijn en goede performance hebben. Ook moet het platform geschikt zijn om een hoog beschikbaar SLA aan te kunnen. | ||
Aannames | Geen | ||
Motivatie | Zo efficiënt mogelijk een omgeving creëren die tevens makkelijk kan worden uitgebreid indien noodzakelijk | ||
Opties |
| ||
Onderbouwing genomen besluit | Bij Keuze 2 wordt alles op 1 omgeving geïnstalleerd. Schaalbaarheid is beperkt tot de capaciteit van de server. Tevens is deze optie niet uit te breiden naar een hoog beschikbare vorm. De Non-distributed SAS omgeving is bij uitstek geschikt voor een Sandbox omgeving. | ||
Gevolgen besluit | Een Distributed SAS omgeving heeft een minimale configuratie set en heeft dus een minimum set van (virtuele) servers nodig. | ||
Afgeleide requirements | Geen | ||
Gerelateerde OB's | Unsupported Confluence link, Unsupported Confluence link | ||
Ontwerp besluit OB-BI-002: SAS processen in functionaliteitsgroepen opdelen
ID | BI-002 | Aandachtsgebied | Implementatie |
|---|---|---|---|
Status | Open/genomen/vervallen | Onderwerp | Beschikbaarheid |
Ontwerp besluit | Voor efficiënt gebruik van SAS, worden processen gescheiden in functionaliteitsgroepen: Advanced datamanagement | ||
Probleem Omschrijving | Sas heeft verschillende groeperingen van functionaliteit. Life cycle en verwachte groei zijn niet gelijk van de verschillende onderdelen. Wat is de beste keuze om scheiding toe te passen? | ||
Aannames | |||
Motivatie | Zo efficiënt mogelijk met resources omgaan, die tevens makkelijk kunnen worden aangepast met relatief lage impact voor de gebruiker. | ||
Opties |
| ||
Onderbouwing genomen besluit | Keuze 1 is gekozen, omdat deze oplossing de best schaalbare oplossing is, die tevens een hoge performance mogelijk maakt en daarnaast relatief makkelijk uit te breiden is naar een hoog beschikbare omgeving (indien noodzakelijk). | ||
Gevolgen besluit | |||
Afgeleide requirements | Geen | ||
Gerelateerde OB's | Unsupported Confluence link, Unsupported Confluence link | ||
Ontwerp besluit OB-BI-003: SAS Grid Computing voor DMA-BI
ID | BI-003 | Aandachtsgebied | Implementatie |
|---|---|---|---|
Status | Open/genomen/vervallen | Onderwerp | Beschikbaarheid |
Ontwerp besluit | Grid computing (geclusterde omgeving) wordt toegepast voor de DMA-BI domeinen. | ||
Probleem Omschrijving | De omgeving kan op verschillende wijze worden opgezet. | ||
Aannames | Geen | ||
Motivatie | Er moet een schaalbare omgeving komen met een hoge performance. Tevens moet het mogelijk zijn om de omgeving naar een high available oplossing te kunnen omzetten. | ||
Opties |
| ||
Onderbouwing genomen besluit | Keuze 1 levert de mogelijkheid om verschillende jobs te schedulen over verschillende nodes binnen het cluster. Daarnaast heeft een Grid setup extra mogelijkheden tov een geclusterd systeem zonder Grid. | ||
Gevolgen besluit | Het gebruik van SAS Grid heeft wel een minimale configuratie nodig en heeft dus een vaste minimale server set nodig. Zie ook issues in H7. | ||
Afgeleide requirements | Geen | ||
Gerelateerde OB's | Unsupported Confluence link, Unsupported Confluence link | ||
Ontwerp besluit OB-BI-004: Internet facing verbindingen lopen via de centrale ESB
ID | BI-005 | Aandachtsgebied | Implementatie |
|---|---|---|---|
Status | Open/genomen/vervallen | Onderwerp | Installatie |
Ontwerp besluit | Voor o.a beveiliging, dient connectie van buiten naar binnen (en van binnen naar buiten) via de centrale ESB te lopen. | ||
Probleem Omschrijving | Toegang voor derden moet gereguleerd worden ter beveiliging van RWS. | ||
Aannames | Geen | ||
Motivatie | De functionaliteit moet beschikbaar zijn om aan 3e partijen te kunnen leveren (wordt op het huidige platform ook al gedaan) | ||
Opties |
| ||
Onderbouwing genomen besluit | Optie 1 is gekozen. | ||
Gevolgen besluit | Routes moeten via de centrale ESB lopen | ||
Afgeleide requirements | Geen | ||
Gerelateerde OB's | Geen | ||
Ontwerp besluit OB-BI-005: Servers worden opgezet als managed
ID | BI-010 | Aandachtsgebied | Implementatie |
|---|---|---|---|
Status | Open/genomen/vervallen/ | Onderwerp | Beheer |
Ontwerp besluit | De SAS servers worden opgezet als managed servers. | ||
Probleem Omschrijving | RWS heeft verschillende 'smaken' mbt tot beheer van de servers: Managed en Un-managed (on your own) | ||
Aannames | Niet van toepassing. | ||
Motivatie | Managed servers legt in principe het beheer van OS bij de juiste partij. | ||
Opties |
| ||
Onderbouwing genomen besluit | Keuze 1 is gekozen. | ||
Gevolgen besluit | Tijdens de installatie wordt gewerkt om alles zo op te zetten dat de systemen onder managed kunnen worden uitgerold. Er geld een managed server, tenzij beleid. | ||
Afgeleide requirements | Geen | ||
Gerelateerde OB's | Geen | ||
Logisch Model
Deze paragraaf beschrijft de belangrijkste componenten waaruit de oplossing is opgebouwd.
Figuur 3: Logisch Model voor DMA-BI
Technology layer
Het fysieke ontwerp beschrijft de fysiek technische aspecten van de oplossing. Het geeft weer hoe de logische componenten beschreven in het logisch ontwerp technisch opgezet zijn en/of geplaatst worden op fysieke componenten/bouwstenen/nodes in de infrastructuur.
Technologie ontwerp per omgeving
Beheerservers, TAC-server en Stepping Stone
Details Beheerservers
Deze paragraaf beschrijft de details van de beheerservers. Alleen beheerders hebben toegang tot deze servers, geen ontwikkelaars of eindgebruikers.
Op de beheerservers zijn SAS Clients geïnstalleerd en ook tools als MobaXterm en SQLDeveloper en Lens, waarmee de beheerders de SAS omgevingen beheren, monitoren en onderhouden.
Server | Aantal Servers | Functie | Type | OS | #vCPU | vRAM (GB) | Storage GB |
|---|---|---|---|---|---|---|---|
System | |||||||
Beheerserver | 2 | Beheren, monitoren en instandhouden omgevingen + toegang tot Linux servers, Ansible en ansible yamls in Gitlab + toegang tot alle SAS Clients en andere beheer tools | VM | Windows | 4 | 32 | C:\ 90 |
Details TAC-server
Deze paragraaf beschrijft de details van de TAC-server die door de ontwikkelaars gebruik worden voor SAS Clients en andere tools die nodig zijn voor ontwikkelwerkzaamheden en niet op de Citrix desktop beschikbaar zijn.
Server | Aantal Servers | Functie | Type | OS | #vCPU | vRAM (GB) | Storage GB |
|---|---|---|---|---|---|---|---|
System | |||||||
TAC-server | 1 | Toegang voor ontwikkelaars tot SAS clients en DB tools die niet via Citrix beschikbaar gemaakt kunnen worden | VM | Windows | 4 | 48 | C:\ 50 |
Details Stepping Stone
Deze paragraaf beschrijft de details van de Stepping Stone server waarop de beheerders en ontwikkelaars eerst moet inloggen voordat ze van daar kunnen gaan naar de Beheerservers of de TAC-server. Er zijn verder geen andere applicaties of tooling beschikbaar voor gebruik op de Stepping Stone.
Server | Aantal Servers | Functie | Type | OS |
|---|---|---|---|---|
Stepping Stone | 1 | Toegang tot Beheer- en TAC-servers | VM | Windows |
Technology Model – Productie
Figuur 4: Technologie model voor productie
Details Technologie Nodes - Productie
Technologie Node | Aantal Nodes | Functie | Type | OS | #vCPU | vRAM (GB) | Storage in GB | ||
|---|---|---|---|---|---|---|---|---|---|
System | saswork / aatwork | NFS Share | |||||||
SAS Web-Tier | 1 | SAS Middle-Tier node (web) | VM | Linux | 4 | 32 | 100 |
| |
| 1 | Security en control | VM | Linux | 4 | 16 | 100 | ||
| 3 | Grid/Compute omgeving | VM | Linux | 24 | 64 | 150 | 1000/500 | |
| 1 | netscaler | |||||||
** Geclusterd systeem. Gedeelde disks noodzakelijk
.
Technologie Model – Acceptatie
SAS raad aan Ontwikkel, Test en Acceptatie fysiek gescheiden op te zetten en niet alleen logisch. RWS wil de acceptatieomgeving representatief hebben voor productie. De omgeving zal naar verwachting echter geen verbinding via internet hebben.
Voor de resources sizing is ervan uitgegaan dat de acceptatieomgeving 60% van het volume is van productie
Een 'Physical Model' voor de acceptatieomgeving is hieronder weergegeven (Figuur 5).
Figuur 5: Technologie model voor acceptatie
Details technologie Nodes - Acceptatie
Deze paragraaf beschrijft de details van iedere node en geeft de gewenste configuraties van de hardware aan.
Classificatie Acceptatie: Standaard beschikbaar
Tabel 2: Details technologie nodes acceptatie omgeving
Technologie Node | Aantal Nodes | Functie | Type | OS | #vCPU | vRAM (GB) | Storage in GB | ||
|---|---|---|---|---|---|---|---|---|---|
System | saswork | NFS Share | |||||||
SAS Web-Tier* | 1 | SAS Middle-tier node (Web) | VM | Linux | 4 | 32 | 150 |
| |
SAS Metadata | 1 | Security en control | VM | Linux | 4 | 16 | 100 | ||
SAS DMA-BI | 2 | Grid/Compute omgeving | VM | Linux | 8 | 64 | 100 | 500 | |
Loadbalancer | 1 | netscaler | |||||||
*Extra DNS Alias gewenst. Communicatie moet dan verlopen via deze DNS
Technologie Model – Test en Sandbox
Figuur 6: Technologie model voor test en sandbox
Details Technologie Nodes – Test en Sandbox
Deze paragraaf beschrijft de details van iedere node en geeft de gewenste configuraties van de hardware aan.
Classificatie Test en Sandbox: Standaard Beschikbaar
Tabel 3: Details technologie nodes test en sandbox omgevingen
Technologie Node | Aantal Nodes | Functie | Type | OS | #vCPU | vRAM (GB) | Storage in GB | ||
|---|---|---|---|---|---|---|---|---|---|
System | saswork | NFS Share | |||||||
SAS Web-Tier | 1 | SAS Middle-Tier nodes (web) | VM | Linux | 4 | 32 | 150 |
| |
SAS Metadata | 1 | Security en control | VM | Linux | 4 | 16 | 100 | ||
SAS DMA-BI | 1 | Compute omgeving | VM | Linux | 4 | 64 | 100 | 500 | |
SAS Web-Tier (Sandbox) | 1 | SAS Middle-Tier nodes (web) | VM | Linux | 4 | 32 | 150 |
| |
SAS Metadata (Sandbox) | 1 | Security en control | VM | Linux | 4 | 16 | 100 | ||
SAS DMA-BI (Sandbox) | 1 | Compute omgeving | VM | Linux | 8 | 64 | 100 | 100 | |
loadbalancer |
| netscaler | |||||||
Technologie Model – Ontwikkel
Voor de DMA-BI omgeving is eveneens een ontwikkelomgeving voorzien ten behoeve van de SAS ontwikkelaars die binnen RWS werkzaam zijn. Het volume voor de ontwikkel omgeving wordt begroot op 33 % van het productie volume van de DMA-BI omgeving. Het fysieke model voor de ontwikkelomgeving is hieronder weergegeven (Figuur 7).
Figuur 7: Technologie model voor ontwikkel
Details Technologie Nodes - Ontwikkel
Deze paragraaf beschrijft de details van iedere node en geeft de gewenste configuraties van de hardware aan.
Classificatie Ontwikkel: Standaard beschikbaar
Tabel 4: Details technologie nodes ontwikkel omgeving
Technologie Node | Aantal Nodes | Functie | Type | OS |
| vRAM (GB) | Storage in GB | ||
|---|---|---|---|---|---|---|---|---|---|
System | saswork | NFS Share | |||||||
SAS Web-Tier | 1 | SAS Middle-tier node (Web) | VM | Linux | 4 | 32 | 150 |
| |
SAS Metadata | 1 | Security en control | VM | Linux | 4 | 16 | 100 | ||
SAS DMA-BI | 1 | Compute omgeving | VM | Linux | 8 | 64 | 100 | 500 | |
Loadbalancer | 1 | netscaler | |||||||
Netwerk Overzicht
Deze paragraaf geeft een overzicht hoe de verschillende componenten van het ontwerp binnen het netwerk worden geplaatst.
Figuur 8: Netwerk overzicht voor DMA-BI OTAP
Connectie Technologie Nodes naar CMDB
De benodigde gegevens kan worden gevonden in de CMDB in TopDesk door op S003022 te zoeken in Modules > Nieuw Asset Management > middelenoverzicht.
Netwerk
Load balancers
LB node | Omgeving | Externe naam | Protocol | Poort | LB Principe (RR/LC/AW) | LB stickiness | Probe |
Ip? | Productie | https | 443 | Geen (1 node) | ?? | ?? | |
Ip? | Acceptatie | https | 443 | Geen (1 node) | ?? | ?? | |
Ip? | Test | https | 443 | Geen (1 node) | ?? | ?? | |
Ip? | Sandbox | https | 443 | Geen (1 node) | ?? | ?? | |
Ip? | Ontwikkel | https | 443 | Geen (1 node) | ?? | ?? |
Wide Area Networks
Firewalls
# | Bron | Doel | Protocol | Poort | Firewall aanpassing (Ja/Nee) | ||
|---|---|---|---|---|---|---|---|
Omgeving | Technologie Node | Omgeving | Technologie Node | ||||
1 | |||||||
Autorisatie en Authenticatie
Veel van de toegang tot de SAS systemen verloopt via de SAS metadata servers. Deze servers hebben een synchronisatie met de RWS active directory
De beveiliging van de SAS omgeving is beschreven: P:\civ\BI\BIR Audit.
De omgeving heeft een BIR compliancy en er is door CIVVV een serie tetst uitgevoerd.
SAS is in principe alleen toegankelijk voor interne gebruikers.
Autorisatie en authenticatie gebeurt tegen de RWS Active Directory. De secure zone heeft geen Active Directory; servers in de secure zone worden achter de centrale ESB geplaatst. Toegang wordt gecontroleerd via de Access Management Reverse proxy. Setup volgt de regels zoals aangegeven in de beveiligingsafspraken.
Release deployments
Voor het BI-Platform is het noodzakelijk dat rapportages en ontsluitingen via Scrum/Sprints kan verlopen. Security patches of wijzigingen op OS niveau moeten via reguliere change verzoeken lopen.
Releases zijn change plichtig en kunnen alleen uitgerold worden naar de volgende omgeving na succesvolle tests en goedkeuring ('technische wasstraat'). Waar mogelijk wordt de release zo veel mogelijk geautomatiseerd.
Voor die automatisering wordt onderscheid gemaakt tussen technische releases van het platform en applicatieve releases van gebruikers. Technische releases (hotfixes en toekomstige in-place upgrades) kunnen worden geautomatiseerd met Ansible. Voor het promoveren van applicaties wordt een oplossing gebouwd waarbij gebruik wordt gemaakt van ANT. Dit geldt overigens alleen voor de DMA-BI omgeving.
https://en.wikipedia.org/wiki/ANT_(network)
Viability Assessment
Dit hoofdstuk beschrijft de bevindingen, risico's een aanbevelingen die het gevolg zijn van een 'viability assessment' . Een bevinding (en eventueel bijbehorend risico) kan alles zijn wat invloed heeft op een (succesvolle) oplevering van de beschreven oplossing, zoals:
- De mogelijkheid om aan requirements van de oplossing te voldoen
- De beschikbaarheid van de juiste vaardigheden
- Het accepteren van de technische elementen van de oplossing door de stakeholders
- De mogelijkheid om binnen budget te leveren en aan het tijdschema te voldoen
- Onvoldoende herbruikbare componenten.
Het voorkomen van eventualiteiten en het nemen van beperkende maatregelen vallen onder de verantwoordelijkheid van het project.
Risico's
ID | Bevinding/Risco Beschrijving | Probability (H/M/L) | Effort / Kosten | Impact (H/M/L) | Aanbeveling ter voorkoming of beperking van het risico | Verantwoordelijk | Review Datum |
|---|---|---|---|---|---|---|---|
R01 | Compute node 1 in productie voor DMA-BI is een single point of failure | M | M | M | Aanbeveling minimaal op infra niveau dan een VMHA in te regelen. Of het aantal servers uitbreiden. | Solution Architect | 03-08-2016 |
Issues
ID | Beschrijving bevinding/Issue | Prioriteit (H/M/L) | Aangegeven door | Verantwoordelijkheid Issue | Review Datum | Status |
|---|---|---|---|---|---|---|
I04 | Grid heeft volgens SAS echt een shared filesystem nodig wat RWS (nog) niet heeft. NFS zou niet voldoen. | M | Solution Architect en SAS | Solution Architect in overleg met SAS | 03-08-2016 | Closed (2023) |
I07 | Failover is niet ingericht. Er is geen 2e datacentrum beschikbaar waar bij problemen naar toe kan worden geswitcht. Dit houd in dat zodra de productie omgeving down gaat vanwege een storing er geen backup wordt opgestart. Langdurige problemen hebben een evenredig lange downtime tot gevolg. | L | Lead + Solution architect | Closed (Gaan niet worden gedaan) | ||
I08 | Er ontbreekt een innovatie lab / sandbox omgeving voor IVP. | H | Lead + Solution architect | Solution Architect/IVP | Nieuw |
Aannames
ID | Beschrijving bevinding/aanname | Confidence Level (H/M/L) | Impact (H/M/L) | Geïdentificeerd door: | Review Datum | Afsluit Datum |
|---|---|---|---|---|---|---|
A03 | De huidige Beheer servers en TAC (terminal) servers kunnen niet worden hergebruikt voor resp. beheer en fat-client toegang voor de nieuwe omgeving. Er komen nieuwe beheer en tac servers in dc1.5 | H | L | Solution Architect | 03-08-2016 |
Afhankelijkheden
ID | Beschrijving bevinding/afhankelijkheid | Invloed op planning | Noodzakelijk op datum | Eigenaar | Geassocieerd RisicoID | Sluit Datum |
|---|---|---|---|---|---|---|
D02 | ||||||
D03 | ||||||
D04 | ||||||
D05 |
Mirror provenance
- Mirror source
- confluence/spaces/INFRAARCH/pages/183567939/page.metadata.json
- Storage source
- confluence/spaces/INFRAARCH/pages/183567939/page.storage.xhtml
- Access
- Committed snapshot only