rudolf_kleurenbalk.png

De toekomst van datawarehousing

Het gebruik van informatie is steeds meer de onderscheidende factor voor het succes van organisaties. Meestal gebruiken we hiervoor datawarehousing en/of business intelligence. Beide bestaan al een flinke tijd als vakgebied en toch is business intelligence lang niet altijd een succes. Ik denk dat het veel sneller, beter en goedkoper kan door reporting als een service aan te bieden. Dit geldt met name voor iets kleinere organisaties (denk aan 100-500 medewerkers) en ook voor departementale projecten in grote organisaties.

Voor meer informatie, opmerkingen en belangstelling om op dit gebied samen te werken, kunt u contact met me opnemen.

Problematiek

We lopen tegen een aantal problemen aan:

  • Projecten duren te lang
  • Te duur. Dit komt door de lange duur van projecten, de benodigde infrastructuur, aanschaf van hard- en software, bij veel klanten een aparte fase voor architectuur en opzet.
  • Projecten worden te technisch, omdat techniek nu eenmaal een belangrijk onderdeel is van de rapportageomgeving en aanzienlijk verschilt van andere systemen, waar organisaties ervaring mee hebben.
  • De juiste mensen zijn niet te krijgen. Met name in kleinere organisaties is er niet genoeg (interessant) werk voor een specialist en de ervaringen met IT-ers of businessafdelingen die het datawarehouse erbij doen zijn wisselend.
  • Beheer is een knelpunt. Een datawarehouse loopt wel eens vast (min of meer onvermijdelijk) en het is belangrijk dat een beheerder weet wat te doen en dat hij daar voldoende prioriteit aangeeft. Hiervoor is een mix van business en technische vaardigheden nodig, die vaak ontbreekt, met name in kleinere organisaties. Vaak ook zijn ontwikkel- en beheersorganisatie te veel van elkaar gescheiden waardoor er niet is ontwikkeld met het oog op beheer.
  • Onderhoud moet flexibel zijn. Een rapportageomgeving genereert een stroom van kleine wensen, die snel moeten worden opgepakt en doorgevoerd. Dit vraagt dus om eigen mensen die vaak niet te vinden zijn,
  • Waar was het allemaal om begonnen? Vaak was dat flexibiliteit. De praktijk laat helaas zien dat die meestal ver te zoeken is.

Een deel van de problematiek komt voort uit het feit dat de tools en technieken zijn ontwikkeld met grote, complexe organisaties voor ogen. Daardoor lopen de projecten juist in kleinere organisaties vaak vast. De methoden voor grotere organisaties veroorzaken dan te veel overhead. Veel organisaties hebben een relatief eenvoudige informatievraag een beperkt aantal systemen en een beperkt integratieprobleem. En toch hebben ze behoefte aan datawarehouse technieken om het gebruik van informatie te verbeteren. De uitdaging is dus om een oplossing te vinden, die de techniek weghaalt uit de BI-projecten.

Oplossing

De oplossing is gebaseerd op het volgende:

Hardware en infrastructuur gedeeld.
Rapportage gaat het best op een gespecialiseerde infastructuur. Een rapportageomgeving laten draaien op een bestaande infastructuur voor operationele systemen leidt al snel tot problemen. De gespecialiseerde systemen, zoals datawarehouse appliances zijn vaak te groot voor organisaties, dus delen ligt voor de hand. Dit leidt tot razendsnelle performance en efficiënt te beheren systemen.

Operationeel beheer door een gespecialiseerde partij.
Een datawarehouse loopt wel eens vast en een ervaren beheerder kan die problemen meestal snel oplossen of aangeven wat er door de klant moet gebeuren. Zowel service als informatiekwaliteit is hierdoor veel hoger.

Weinig tot geen handmatige ontwikkeling.
Rapportages moeten snel operationeel kunnen zijn, en de applicatie moet eenvoudig te wijzigen zijn. Dit kan alleen door te standaardiseren en in principe geen handmatige ontwikkeling meer te doen. Dit levert een korte doorlooptijd op van wijzigigen en leidt daardoor ook tot een meer businessgerichte, incrementele aanpak. Het beperkte verlies aan maatwerk mogelijkheden wordt ruimschoots gecompsenseerd door de lage prijs en snelle doorlooptijden.

Rapportagetools naar keuze.
Verschillende wensen vraagen om verschillende rapportagetools. Vanwege hoge investering- en inrichtingskosten voor nieuwe tools, kiezen veel organisaties voor één of enkele standaardtools. Hierdoor vermindert het succes van een rapportageomgeving.

Kortom:
Een goede oplossing voor een goede prijs, maar zeker niet alles wat mogelijk is

Dienstverlening

De diensten komen er als volgt uit te zien:

1. Standaarddienst is het gebruik en beheer van de  rapportageomgeving:

  • Rapportages via webservices met Google-achtige responstijden
  • Operationeel beheer, bestaande uit
    a. Monitoring (laadwerk en technisch)
    b. Audit- en uitvalrapportages
    c. Terugkoppeling en advies, over datakwaliteitsissues
  • Autorisatie
  • Een beetje consultancy (paar dagen per jaar)

De prijs zal bestaan uit een vaste prijs en een bedrag per user.

2. Implementatie van de standaardoplossing. De klant zal zelf, al dan niet met behulp van een partner de informatiebehoefte en herkomst van de informatie al helder moeten hebben.

  • Fixed price
  • Aantal weken
  • Acceptatie na succesvol aantal keer laden

3. "Consultancy". Het is niet de bedoeling om zware consultancy aan te gaan bieden, daar zijn partners voor. Wel zal er klein onderhoud worden aangeboden, zoals:

  • Nieuwe rapportages
  • Kleine aanpassingen

Verder liggen nog aanvullende dienste voor de hand, zoals standaardoplossingen voor bepaalde tools, of businessoplossingen voor een specifieke branche en/of tool.

Techniek

Heel kort zak ik aangeven wat er technisch nodig is om deze diensten aan te kunnen bieden. Sommige van  de punten hieronder zijn nog onderwerp van stevige debatten in de markt. Elders op deze site kom ik ook terug op een aantal punten.

ETL

De ontwikkeling van de laadprocessen houdt rekening met beheersprocessen. ETL moet 100% worden gegenereerd, waardoor een strikte foutafhandeling en een standaard auditstrategie kan worden gehanteerd. Wat niet kan worden gegenereerd is maatwerk of doen we niet (want drijft zowel de ontwikkel- als beheerkosten op).

Rapportages

Gebruikers verwachten tegenwoordig Google-achtige responstijden en dat is met behulp van datawarehouse appliance ook zeker te bereiken. Bovendien vermindert een appliance de kosten voor tuning en beheer aanzienlijk. Ontsluiting gaat zo veel mogelijk via webservices.

Uitdagingen

Het zal duidelijk zijn dat er nog de nodige uitdagingen zijn. 100% genereren is de belangrijkste technische uitdaging, en daarnaast is vooral acceptatie van een gehoste oplossing een issue. Aan de andere kant wordt hosting voor business applicaties steeds normaler, dus waarom niet ook voor reporting?