Back to treeOpen vault snapshot

Confluence workbench mirror

Application Layer

Guarded rendering from the committed top-level `confluence/` mirror. No live source, personal data, or write action is available.

Kind
PAGE
Version
1
Labels
0
Children
0
On this page
  1. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.SBB-BD-01 - Big data
  2. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Architectuur Overzicht
  3. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.IT System Level
  4. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Belangrijkste componenten
  5. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Data classificatie
  6. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.System Context Diagram
  7. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.System Context
  8. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Externe Entiteiten van Greenplum DataSuite
  9. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Ontwerp besluiten
  10. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Ontwerp besluit OB-BD-001: Servers worden opgezet als infra managed
  11. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Ontwerp besluit OB-BD-002: Fysieke implementatie Greenplum Productie, OTA Virtueel.
  12. Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Unsupported Confluence macro: anchorUnsupported macro placeholder; source behavior is intentionally inert.No displayable parameters.Ontwerp besluit OB-BD-003: Dedicated netwerk switch

Dit hoofdstuk beschrijft de grote lijnen (het high level design) voor het Greenplum DataSuite platform van RWS. Het geeft de toekomstige situatie weer en beschrijft de besluiten die gebruikt zijn om tot de aangeven oplossing te komen.
De oplossing geldt voor zowel de korte termijn als de middel lange termijn oplossing.
De nieuwe omgeving wordt als beheerde omgeving opgezet om aan te sluiten bij de RWS standaarden.
Referentie tabel: Ontwerp besluiten
Unsupported Confluence link: Ontwerp besluit OB-BD-001: Servers worden opgezet als infra managed
Unsupported Confluence link: Ontwerp besluit OB-BD-002: Fysieke implementatie Greenplum Productie, OTA Virtueel.
Unsupported Confluence link: Ontwerp besluit OB-BD-003: Dedicated netwerk switch
Unsupported Confluence link: Ontwerp besluit OB-BD-004: Implementatie in twee datacenters voor specifieke MKS eisen.
Unsupported Confluence link: Ontwerp besluit OB-BD-005: Extra Greenplum ETL server
Unsupported Confluence link: Ontwerp besluit OB-BD-006: Gebruik alle segment hosts voor alle segmenten

SBB-BD-01 - Big data

Architectuur Overzicht

IT System Level

Het architectuur overzicht geeft een illustratie van de hoofdlijnen van de voorgestelde oplossing en bevat tevens een overzicht van de belangrijkste bouwcomponenten. Aantallen van servers, etc. zijn in dit overzicht niet weergeven. Het geeft de essentie van de oplossing weer.

Figuur 2: Architectureel overzicht voor DataSuite

Belangrijkste componenten

Deze paragraaf beschrijft de belangrijkste architectuur componenten op system niveau:

  • Horizontaal schaalbaar segment hosts;
  • Redundant master node implementatie;
  • Eigen ETL server om data te laden;
  • Primair fysieke servers voor P, virtuele server voor OTA;
  • Voor MKS implementatie uitvoering 2 productie omgevingen in verschillende datacenters/zones.
  • Managed server setup;


Data classificatie

De classificatie voor de business specifieke data welke op Greenplum wordt geplaatst wordt bepaald door de afnemers.

System Context Diagram

Het system context diagram geeft het totale systeem weer als één entiteit en geeft de verbindingen naar externe entiteiten weer. Dit is met name relevant als koppelingen met actoren of systemen nader gedetailleerd moeten worden.

System Context



Figuur 3: System Context Diagram voor Greenplum DataSuite

Externe Entiteiten van Greenplum DataSuite

Deze paragraaf beschrijft de karakteristieken van de boven aangegeven koppelingen.

Greenplum cliënt

Beschrijving

Greenplum cliënt

Type

TCP poort 5432 (PostgreSQL/PostGis)

Eigenaar

RWS

Aantal gebruikers

De volgende systemen maken gebruik van Greenplum:

  • SAS ESP Batchgebruiker
  • SAS (omgeveer 1200 eindgebruikers)
  • Cloud Foundry (CBIS)
  • Centraal Toegangspunt Data(CTD)
  • Diverse andere applicaties

Aantal transacties

Onbekend

Frequentie van de transacties

Onbekend

Hoeveelheid data

Onbekend

Toegepaste security

Role Based Access via AD

ETL source

Beschrijving

Ophalen, Transformeren en laden van data uit diverse database bronnen binnen RIjkswaterstaat

Type

Database connectie (bv Oracle,SQL,Postgres,Hadoop)

Eigenaar

RWS

Aantal gebruikers

Multiple

Aantal transacties

Onbekend

Frequentie van de transacties

Onbekend

Hoeveelheid data

Onbekend

Toegepaste security

LDAP bij de bron systemen

BI

Beschrijving

Business intelligence acties op de database door BI platform of andere applicaties binnen RWS

Type

Query

Eigenaar

RWS

Aantal gebruikers

Onbekend

Aantal transacties

Onbekend

Frequentie van de transacties

Continu

Hoeveelheid data

Onbekend

Toegepaste security

Active directory met Role Based Access (RBAC)

IAM

Beschrijving

Identity and Access Management. Beheer van rechten en instellingen in het RWS netwerk

Type

Kerberos

Eigenaar

RWS

Aantal gebruikers

12

Aantal transacties

Onbekend

Frequentie van de transacties

Continu

Hoeveelheid data

Onbekend

Toegepaste security

Active directory met Role Based Access (RBAC)

Big data_Admin

Beschrijving

Beheerders van het Greenplum platform

Type

Telnet/SSH connectie

Eigenaar

RWS (IRN)

Aantal gebruikers

< 20

Aantal transacties

Onbekend

Frequentie van de transacties

Onbekend

Hoeveelheid data

Onbekend

Toegepaste security

Role Based Access via AD




Ontwerp besluiten


Uitgangspunten ontwerpbesluiten:
001 Efficientie van je resources, motivatie huidige inrichting.
002 voor bare metals meegegaan met de standaard dozen, vereenvoudiging beheer.
003 Dual datacenter, geen special meer voor LMW rationalisatie landschap.

Ontwerp besluit OB-BD-001: Servers worden opgezet als infra managed

ID

BD-001

Aandachtsgebied

Implementatie

Status

Besluit genomen

Onderwerp

Beheer

Ontwerp besluit

De servers worden opgezet als infra managed servers

 

 

Probleem Omschrijving

RWS heeft verschillende mogelijkheden om servers te beheren: Managed en Un-managed (on your own)

 

 

Aannames

Niet van toepassing

 

 

Motivatie

Managed servers legt het beheer van OS bij de juiste partij.

 

 

Opties
  1. Managed servers
  2. Un-managed servers

 

 

Onderbouwing genomen besluit

Optie 1 is gekozen.
Bij optie 1 wordt patching en beheer van de OS gedaan door die partij (infra) met de juiste kennis en support in overleg met het applicatie beheer team (platformen). Er geld een managed server, tenzij beleid

Voor optie 2 heeft applicatie beheer total control over de applicatie en OS, maar is er geen uniform beheer van bv het OS. Hierdoor kunnen zaken anders worden ingericht dan de door security van RWS (BIR) aanbevolen normen.

 

 

Gevolgen besluit

Tijdens de installatie wordt gewerkt om alles zo op te zetten dat de systemen onder infra managed worden uitgerold.
Inregelen afspraken tussen platformen en infra over verantwoordelijkheden.

 

 

Afgeleide requirements

Geen

 

 

Gerelateerde OB's

Niet van toepassing.

 

 

Ontwerp besluit OB-BD-002: Fysieke implementatie Greenplum Productie, OTA Virtueel.

ID

BD-002

Aandachtsgebied

Implementatie

Status

Besluit genomen

Onderwerp

Installatie

Ontwerp besluit

Fysieke implementatie Greenplum voor productie, OTA virtueel.

 

 

Probleem Omschrijving

Rijkswaterstaat heeft als architectuur principe om alle servers te virtualiseren. Dit principe past niet bij de DataSuite oplossing Greenplum. Net als bij versie 6 is ook voor versie 7 een bare-metal implementatie aan te raden.

 

 

Aannames

Geen

 

 

Motivatie

Voldoen aan de Rijkswaterstaat architectuur standaarden.

 

 

Opties
  1. Virtuele implementatie Greenplum.
  2. Fysieke implementatie Greenplum
  3. Fysieke implementatie P, virtuele implementatie OTA

 

 

Onderbouwing genomen besluit

De 3e optie is gekozen op advies van leverancier wordt P op bare metal uitgevoerd. De gevraagde capaciteit per machine voor CPU, geheugen en opslag is te groot en past niet binnen de Rijkswaterstaat virtualisatie standaarden. Voor de OTA omgeving is het zonde van de capaciteit om hier BM voor te gebruiken, een gevirtualiseerde implementatie volstaat hier.

 

 

Gevolgen besluit

Nieuwe hardware bouwstenen benodigd volgens capaciteit requirements

 

 

Afgeleide requirements

GP-004

 

 

Gerelateerde OB's

Besluit genomen

 

 

Ontwerp besluit OB-BD-003: Dedicated netwerk switch

ID

BD-003

Aandachtsgebied

Implementatie

Status

Besluit genomen

Onderwerp

Installatie

Ontwerp besluit

Dedicated netwerk switch nodig

 

 

Probleem Omschrijving

De Greenplum oplossing is een gedistribueerde database en data intensief voor netwerk en opslag via een interconnect. Hoe kunnen we de performance van Greenplum borgen zonder teveel impact op de bestaande omgeving.

 

 

Aannames

geen

 

 

Motivatie

Gebruik zoveel mogelijk standaard RWS bouwstenen en virtualisatie.

 

 

Opties
  1. Extra eigen netwerk switch
  2. Inregelen Quality of service (QoS)

 

 

Onderbouwing genomen besluit

De 1e optie is gekozen om geen impact te hebben op bestaande gevirtualiseerde servers. Naast de impact is een dedicated switch in lijn m et de Pivotal referentie architectuur om een goede performance te garanderen.

 

 

Gevolgen besluit

Extra switch in datacenter voor de big data oplossing

 

 

Afgeleide requirements

geen

 

 

Gerelateerde OB's

GP-002, GP004

 

 

Ontwerp besluit OB-BD-004: Implementatie in twee datacenters voor specifieke MKS eisen.

ID

BD-004

Aandachtsgebied

Implementatie

Status

Besluit genomen

Onderwerp

Installatie

Ontwerp besluit

Implementatie P in twee datacenters.

 

 

Probleem Omschrijving

De gevraagde beschikbaarheid is als gevolg van gebruik door MKS-en niet standaard maar hoog beschikbaar.

 

 

Aannames

 

 

 

Motivatie

Toekomst vaste oplossing.

 

 

Opties
  1. Implementeer in 1 datacenter
  2. Implementeer in 2 datacenters
  3. Implementeer in 1 datacenter met specifieke MKS in 2e datacenter

 

 

Onderbouwing genomen besluit

De 2e optie is gekozen in tegenstelling tot bij de implementatie van Greenplum 6.
Vanuit een consolidatie perspectief is optie 2 waarbij in beide datacenters een gelijke omgeving staat voor P de beste oplossing. Workloads worden verdeelt over beide lokaties. Voor systemen die hoog beschikbaarheid vereisen kan data naar beide datacenters verstuurd worden waarbij betreffende systeem vervolgens kan bepalen waar de bewerking plaatsvindt, op deze manier is er altijd een fully operational uitwijkomgeving beschikbaar voor deze systemen. Er wordt op deze manier zo efficient mogelijk gebruik gemaakt van resources.

 

 

Gevolgen besluit

Hardware verdelen over 2 datacenters evenals de workloads.

 

 

Afgeleide requirements

 

 

 

Gerelateerde OB's

GP-003

 

 

Ontwerp besluit OB-BD-005: Extra Greenplum ETL server

ID

BD-005

Aandachtsgebied

Implementatie

Status

Besluit genomen

Onderwerp

Installatie

Ontwerp besluit

Eigen enkelvoudige ETL server

 

 

Probleem Omschrijving

Op dit moment gebruikt Rijkswaterstaat FME als standaard ETL server voor GEO data en SAS voor BI data. Zijn deze ETL tools ook bruikbaar voor Greenplum?

 

 

Aannames

geen

 

 

Motivatie

Toekomst vaste oplossing.

 

 

Opties
  1. Gebruik bestaande ETL oplossing (FME en SAS)
  2. Gebruik Greenplum ETL
  3. Combineer Greenplum ETL met bestaande ETL oplossingen (FME en SAS)

 

 

Onderbouwing genomen besluit

De 3e optie is gekozen. Het voordeel van de Greenplum ETL server is dat deze parallel kan weg schrijven en daarbij heel snel data kan laden. De bestaande ETL oplossingen kunnen gebruikt worden en hebben de voorkeur voor transformatie zoals beschreven in de RIVA. Dit onderdeel is vooralsnog niet MKS en kan alleen enkel worden uitgevoerd. ETL server wordt virtueel aangeboden in beide datacenters.

 

 

Gevolgen besluit

Extra Greenplum specifieke ETL server nodig

 

 

Afgeleide requirements

geen

 

 

Gerelateerde OB's

GP-002

 

 

Ontwerp besluit OB-BD-006: Gebruik alle segment hosts voor alle segmenten

ID

BD-006

Aandachtsgebied

Building Blocks

 

Status

Besluit genomen

Onderwerp

Configuratie

 

Besluit

Gebruik alle segment hosts voor alle segmenten

 

 

Probleem Omschrijving

Binnen RWS hebben we verschillende type data, kwalificatie en afdeling specifiek, maar ook performance of omgeving requirements. Hoe kunnen we dit inregelen met Greenplum.

 

 

Aannames

geen

 

 

Motivatie

Voldoen aan requirements van business en security.

 

 

Alternatieven
  1. Gebruik alle segment hosts voor alle segmenten
  2. Groepeer de segment hosts voor een specifiek doel (type segmenten)
  3. Implementeer verschillende Greenplum omgevingen

 

 

Keuze en Rechtvaardiging

Optie 1 is gekozen.
Door alle segment servers voor elk segment te gebruiken wordt maximaal gebruik gemaakt van de MPP. De functionele inrichting moet er voor zorgdragen dat de productie omgeving niet beïnvloed wordt door de andere omgevingen.

 

 

Gevolgen

Functioneel inrichten segment groepen voor OTAP en bijbehorende security
beheer hierop inrichten.

 

 

Gerelateerde OB's

geen

 

 



Logisch Model

Deze paragraaf beschrijft de belangrijkste componenten waaruit de oplossing is opgebouwd.

Figuur 4: Logisch Model voor BD

Mirror provenance
Mirror source
confluence/spaces/INFRAARCH/pages/206450366/page.metadata.json
Storage source
confluence/spaces/INFRAARCH/pages/206450366/page.storage.xhtml
Access
Committed snapshot only