Showstopper 3: De technologische puzzel

Zelfs met de perfecte technologie is er geen garantie voor succes in een datawarehouseproject. Al koopt u het duurste OLAP-product, de nieuwste databaseserver en het snelste ETL-product, dan nog kan uw project falen. De technologie die u inzet kan een showstopper zijn. Verkeerde technologie bestaat niet, maar wel verkeerd gekozen technologie.

Bij het selecteren van producten letten we er allemaal op dat ze qua functionaliteit minimaal voldoen aan onze technologische wensen, dat we binnen ons budget blijven en dat de financiële situatie en de kwaliteit van ondersteuning van de leverancier goed is. Het bestuderen van deze en andere klassieke facetten wordt door bijna niemand meer vergeten. Maar er zijn ook eisen die in het selectietraject wel eens vergeten worden, waardoor binnen een project problemen kunnen ontstaan.

Een belangrijke eis is dat de gekozen producten schaalbaar moeten zijn. Iedereen adviseert altijd om klein te beginnen, maar te kleine oplossingen zouden wel eens niet meer toereikend kunnen zijn als het aantal gebruikers of de hoeveelheid gegevens blijft groeien. Microsoft Access of FileMaker zijn te gebruiken als er nog maar honderd records in het datawarehouse zitten. Maar dit soort systemen begint toch te sputteren als we doorgroeien naar miljoenen en later miljarden records. 

Behalve analyseren van de schaalbaarheid van performance, moeten we zeker de schaalbaarheid van de functionaliteit bekijken. Veronderstel dat er besloten is een datawarehouse te ontwikkelen dat één keer per week met nieuwe gegevens bijgewerkt wordt. Het ETL-product (dat de gegevens geschikt maakt voor opslag in het warehouse en ze daarnaar verplaatst) dient dan krachtig genoeg te zijn om elk weekend op een batch-achtige wijze de gegevens van een hele week te kopiëren. 

Zeker voor datawarehouses geldt dat eisen veranderen. Stel dat we uiteindelijk de gegevens elk uur willen bijwerken. Is het ETL-product daar nog wel geschikt voor? Heeft het produt voldoende functionaliteit om in plaats van soms grote hoeveelheden gegevens, zeer frequent kleine hoeveelheden te kopiëren? Misschien is een EAI-product (Enterprise Application Integration – koppeling van toepassingen) dan meer geschikt, omdat deze categorie producten hierin gespecialiseerd is. Direct al met een EAI-product starten voorkomt dan een dure en tijdrovende migratie later.

Het uitdenken van een datawarehouseomgeving is als het oplossen van een puzzel. De verschillende stukjes moeten allemaal haarscherp passen. Elke leverancier vermeldt indrukwekkend lange lijsten van standaarden die hij ondersteunt. En daarmee suggereert hij dat alles vlekkeloos samenwerkt. Je zou haast denken dat het allemaal door Lego ontwikkeld is. 

De praktijk blijkt toch echter anders te zijn. Twee te koppelen producten ondersteunen bijvoorbeeld ODBC (een specificatie voor toegang tot databases), maar verschillende versies daarvan. Gegarandeerd dat dit problemen gaat geven. Eis altijd een proof-of-concept en laat anderen bewijzen dat de producten samenwerken.

De aanpak waarbij zoveel mogelijk producten van één en dezelfde hofleverancier betrokken worden, spreekt mij steeds vaker aan. Bij deze aanpak is er een grotere kans dat alle producten samenwerken. En als er toch iets hapert, is het duidelijk wie het probleem moet oplossen! Natuurlijk zullen we door deze aanpak niet voor elk puzzelstukje het beste product hebben, maar we hebben wel iets dat werkt. Soms is het pragmatische one-stop shopping te verkiezen boven de best-of-breed aanpak die technici vaak prefereren.

Indien producten gekoppeld worden, bestudeer dan grondig de kwaliteit van die koppeling. Sommige koppelingen zijn zo beperkt dat de mogelijkheden van één van de producten afgeknepen worden. 

Bijvoorbeeld, verscheidene relationele databaseservers zijn tegenwoordig uitgebreid met instructies die speciaal voor OLAP-toepassingen toegevoegd zijn. Het gebruik van deze instructies zal de snelheid zeker verbeteren. Als het OLAP-product, dat zijn gegevens uit deze databaseservers haalt, die nieuwe instructies niet aanroept, dan halen we niet het maximum uit onze investering in de databaseserver. Een koppeling die de functionaliteit beperkt, is als een huis met enkele deurloze kamers. Erg nuttig! 

Kortom, door de beste technologie in te schakelen, hebben we nog niet het beste datawarehouse. Maar zorg wel dat de keuze van technologie een gefundeerde is. Kijk naar de toekomst, naar de koppelingen en denk eens na over one-stop-shopping.