Online datawarehouses (2)

De wijze waarop we datawarehouses karakteriseren zou in de komende jaren wel eens drastisch kunnen veranderen. Ze zullen zich gaan ontwikkelen van statistische via near-online naar volledig online datawarehouses. De drijvende kracht hierachter is niet de technologie of de leveranciers, maar de klanten zelf, die op zoek zijn gegaan naar additionele mogelijkheden om een hoger rendement uit hun gedane investering te halen.

Het eerste deel van dit verhaal stond in CM Corporate nummer 129 en was gewijd aan de eerste drie fasen waarop bedrijven hun datawarehouse zullen veranderen. Deze column richt zich op de volgende twee.

In fase vier worden gegevens niet meer door alle productie-applicaties in de productiedatabases ingevoerd, maar direct in het datawarehouse. In het invoerproces worden online alle opschoon- en filteracties uitgevoerd die normaliter in batch worden uitgevoerd. Vanuit het datawarehouse worden opgeschoonde gegevens doorgekopieerd naar de productiedatabases om ze onderling te synchroniseren. In feite is dan het datawarehouse niet de slaaf van de productiedatabase, maar andersom. Let wel, de bestaande productiedatabases worden niet verwijderd. Ze zijn nog steeds noodzakelijk voor al die applicaties waarvoor het te duur zou zijn om ze te converteren of die gewoonweg te oud zijn.

Een probleem dat wel opgelost zal moeten worden is dat de gegevens in het datawarehouse net zo snel en vaak gemuteerd zullen worden als in de productiedatabases. Voor rapportage-omgevingen is dat meestal ongewenst. Een oplossing moet bijvoorbeeld gevonden worden voor OLAP-gebruikers die nog steeds met een relatief stabiele database-inhoud willen werken. Maar hier zijn wel degelijk goede oplossingen voor te verzinnen.

Fase vijf is tenslotte voorspelbaar. De productiedatabases worden geheel afgeschaft en er blijft één database over: het datawarehouse. Eén database voor alle soorten gebruikers: dataentry en rapportage. Uiteraard zijn we dan niet terug bij af. Dit is wel eens gesuggereerd tijdens een conferentie toen ik dit onderwerp presenteerde. Het verschil met de oude architecturen is dat productiedatabases puur en alleen ontworpen zijn voor productie-applicaties en niet voor rapportage. Als we het datawarehouse correct ontwerpen, moet dat wel mogelijk zijn.

Uiteraard moeten we realistisch zijn; fase vijf ligt nog ver voor ons. Met de huidige databasetechnologie zal het uitermate moeilijk zijn om voor een dergelijke omgeving een goede performance te realiseren. De databaseserver moet dan twee totaal verschillende workloads tegelijkertijd afhandelen. Een technologie die hier mogelijkerwijs geschikt voor zal zijn is in-memory databases.

Als dit inderdaad de richting is waarin bedrijven hun datawarehouse zullen ontwikkelen om een hoger return-on-investment te behalen, dan moeten we daar nu al bij het ontwerp rekening mee houden. Dit zou concreet kunnen betekenen dat we enkele aannames, die we nu bij het ontwerpen maken, moeten laten vallen. Bijvoorbeeld, er wordt veel gedenormaliseerd. Eén van de problemen van denormaliseren is dat het tot inconsistente gegevens kan leiden bij mutaties en dat het de mutaties vertraagt. Omdat iedereen uitging van statische datawarehouses werd dat niet als gevaar gezien. Deze ontwerpbeslissingen kunnen dus in het verdere leven van het datawarehouse wel eens een obstakel gaan worden.

Een ander voorbeeld is dat veel van de algoritmen en logica die gebruikt worden bij het opschonen en filteren van de gegevens vastzitten in copy management tools. Uiteindelijk willen we deze in onze productie-applicaties hebben. Hopelijk zijn deze copy management tools 'open' genoeg om later deze algoritmen er uit te halen en opnieuw te gebruiken.

Wat is de huidige status? Zoals reeds vermeld in de vorige column hebben diverse bedrijven de eerste drie fasen reeds uitgevoerd, en sommigen zijn reeds bezig na te denken over wat nog meer mogelijk zou kunnen zijn. Bij mijn weten zijn er echter nog geen bedrijven die fase vier reeds bereikt hebben (indien dit wel het geval is, dan hoor ik dat graag). Van fase vijf kunnen we nu alleen nog maar dromen. Maar soms gaan ontwikkelingen sneller dan we denken, dus hou daar rekening mee.