ABB: MPP Extract, Transform, Load

Dienstbeschrijving

TOPdesk SelfServicePortal - IVP Data Suite

Functionele Specificaties

Voor gedetailleerde functionele specificatie zie H2 van het HLD: HLD - Big data platform v1.1

Het Greenplum database product levert de volgende functionaliteit:

• Greenplum, een Massive Parallel Processing Database (MPPDb) voor het analyseren van grote hoeveelheden data (OnLine Analytical Processing - OLAP).
• Open Source Support (OSS) voor:
  • Madlib, in database analytics library on large scale data set
  • Pivotal data science
  • R, Business inteligence taal
  • Solr, Tekst analytics
  • PXF, extension framework voor koppeling externe data bronnen
  • Cloud Data Flow
  • Postgis, spatial en geo graphische extensie voor Greenplum.

Roadmaps

Belangrijkste stap die momenteel voorbereid wordt is om terug te keren naar de Open Source versie van de Greenplum database. Sinds Broadcomm na de overname van VMware de Greenplum 7 omgeving weer closed source heeft gemaakt wordt dit voorbereid. 

Voor de meest actuele roadmap zie: Roadmap Data Suite

Landingslocaties

De Greenplum omgeving maakt zowel virtuele servers als bare metal hardware. Hierbij is de OTA omgeving virtueel ingericht en de Productie omgeving op eigen bare metal hardware. ETL processen worden afgehandeld op virtuel servers.

Oplossing draait in de datacenters van RWS en is daarmee een volledig intern draaiende oplossing. Vanwege de beschikbaarheidseisen is de deployement wel in 2 datacenters gerealiseerd.

Beschikbare SBBs 

Greenplum 7

Koppelvlakken

ABB: MPP Client Toegang

ABB: MPP Opslag

Afhankelijkheden

ABB: 2.1.1 Servervirtualisatie

EIRA Koppeling

Dit bouwblok is gekoppeld binnen de EIRA aan: Vul hier de EIRA koppeling in.

Een overzicht van alle relevante EIRA bouwblokken staan hier: EIRA Technology & Physical