Het huwelijk tussen datawarehouses en webservices

In discussies over datawarehouses worden termen gebruikt als OLAP (OnLine Analytical Processing), ETL (Extract Transform Load), analytics en datamining, maar zelden valt de term webservices. Jammer, want webservices heeft datawarehouses wel degelijk iets te bieden. Het toepassen van webservices in een datawarehouse-omgeving kan heel wat voordelen bieden en de mogelijkheden van een datawarehouse verrijken.

Laten we enkele voorbeelden geven.

Omdat een datawarehouse een op zichzelf staande omgeving is kunnen er ook externe gegevens in geplaatst worden; gegevens die niet uit de eigen productiesystemen komen. De voornaamste reden hiervoor is dat het in een analyse interessant kan zijn om eigen gegevens te combineren met externe gegevens. 

Het binnenhalen van die gegevens uit externe systemen is wel vaak een technologische uitdaging. Ze hebben alle hun eigen talen, formaten en API’s. Dus voor elk extern systeem moet er een op maat gemaakte koppeling gecreëerd worden, en dat is tijdrovend en duur. Met standaarden als SOAP (wat de eerste webservice-standaard was) wordt dat gemakkelijker gemaakt. De aanbieder van externe gegevens moet dan wel een SOAP-interface ontwikkelen. Maar als elke aanbieder dat doet, zal het probleem voor de datawarehouse eigenaars sterk vereenvoudigen.

Een tweede voorbeeld betreft het kopiëren van gegevens. Hier moet bij de opbouw van een datawarehouse altijd veel aandacht aan geschonken worden. Een proces dat altijd ingewikkelder blijkt te zijn dan dat het aanvankelijk lijkt. Veel organisaties kiezen daarom voor zogenaamde ETL-tools om hierbij te helpen. Een groot nadeel van deze producten is echter dat alle specificaties die ingevoerd moeten worden niet gestandaardiseerd zijn. 

Voor webservices is er een nieuwe standaard geïntroduceerd die luistert naar de naam BPEL4WS. Met deze taal, die in principe is bedacht voor het integreren van applicaties via SOAP-webservices, kan veel van de ETL-functionaliteit verkregen worden. Let wel, ook al is de standaard jong, er zijn al verscheidene producten op de markt die haar ondersteunen, waaronder Collaxa, Intalio, OpenStorm en SeeBeyond. En volgend jaar zullen we ongetwijfeld de implementaties van IBM en Microsoft krijgen.

Voor externe gebruikers die het datawarehouse met OLAP-tools over het Internet zouden willen benaderen, is een standaard ontwikkeld, XML/A genaamd. De A staat voor Analysis. Deze is gebaseerd op de SOAP standaard, en wordt al door enkele producten ondersteund. En dat is het derde voorbeeld waarin datawarehouse baat hebben bij webservices.

Het gebruik van portals neemt ook in de datawarehousewereld toe. Om portals te laten werken, zullen ze aan alle onderliggende systemen gekoppeld moeten worden, dus ook aan het datawarehouse. Net als bij de externe gegevens helpt SOAP hier bij. Dus als we een SOAP-interface op het datawarehouse implementeren, dan zal het eenvoudiger zijn om vanuit de portal het datawarehouse te benaderen. Maar er is een additionele standaard ontwikkeld genaamd WSRP (Web Services for Remote Portlets) die gebaseerd is op SOAP en die speciaal ontwikkeld is voor het integreren van systemen aan portals.

Het is eigenlijk jammer dat de datawarehousespecialist de wereld van de webservices nog niet ontdekt heeft. Het combineren van de twee geeft duidelijk een synergetisch effect. Het vermindert het gebruik van niet-gestandaardiseerde talen, het vereenvoudigt het ontwikkelen van koppelingen met de buitenwereld en verrijkt de mogelijkheden van een datawarehouse. Tijd dus om te gaan studeren!