Inleiding

Met de veranderingen van de complexiteit en de organisatorische impact van ICT-projecten is ook het aantal mogelijke rollen van een IT-auditor binnen projecten uitgebreid. Waar in het verleden een (periodieke) audit op een project het management voldoende zekerheid bood voor het welslagen van een project, onderkennen eindverantwoordelijken of toezichthouders meer en meer behoefte aan een continue betrokkenheid van IT-auditors. Deze behoefte komt voort uit de ontwikkeling die de organisaties zelf doormaken. De wijze waarop projecten worden gemanaged en beheerst, ontwikkelt zich de laatste jaren sterk. Eén van de huidige ontwikkelingen is de inrichting van een Project/Program Management Office (PMO). Het PMO ondersteunt de projectleiders en programmamanagers bij het management en de beheersing van IT-projecten door het uitvoeren van coördinatie, risicomanagement en andere taken.

Dit artikel geeft een beschouwing over de twee ontwikkelingen en een visie van de auteurs op de wijze waarop in de nabije toekomst de IT-auditor betrokken zal zijn bij het management en de beheersing van complexe IT-projecten. Allereerst wordt vanuit historisch perspectief ingegaan op de wijze waarop de betrokkenheid van de IT-auditor is ingevuld. Vervolgens wordt aandacht besteed aan het toenemend belang van een goede beheersing van IT-projecten en op de wijze waarop de organisaties daar invulling aan geven. In de laatste paragraaf worden enkele uitkomsten gegeven van een internationaal onderzoek dat is uitgevoerd door KPMG Information Risk Management. Het onderzoek geeft een beeld van de huidige positie van het PMO binnen organisaties en geeft aandachtpunten voor de verdere ontwikkeling van het PMO.

Historische ontwikkelingen in het beoordelen van projecten

In de afgelopen decennia heeft het vakgebied EDP-auditing zich verder ontwikkeld. Deze ontwikkeling is met name goed zichtbaar wanneer de betrokkenheid van de IT-auditor bij IT-projecten nader wordt beschouwd. In deze paragraaf wordt aan de hand van een aantal stappen in de tijd een overzicht gegeven van deze ontwikkeling.

In den beginne …

De IT-auditor werd bij de uitvoering van IT-projecten vooral betrokken om producten te beoordelen. Niet alleen op aspecten van interne controle, de oorspronkelijke expertise, maar ook op formele aspecten. In een enkel geval, meestal in de kantlijn van een productbeoordeling, leidde dat tot een beoordeling van de projectstatus of de projectbeheersing. De methoden zijn nog niet zo goed ontwikkeld. Wel is het gebied IT-projecten of Systeemontwikkeling ontdekt door het vakgebied EDP-auditing. De postdoctorale opleidingen besteden meer en meer aandacht aan het onderwerp.

Meer dan een decennium geleden

De IT-projecten worden groter en complexer. De nieuw te ontwikkelen informatiesystemen verbinden processen en dat leidt tot nieuwe problemen. Van het projectmanagement wordt steeds meer verlangd. Niet zelden tast de stuurgroep in het duister over de precieze status van het project en wordt er een IT-auditor bij betrokken om inzicht te geven in de status van het project en de kwaliteit van de projectbeheersing. Langzamerhand begint de beroepsgroep de methoden te ontwikkelen om audits uit te voeren. De methoden bestaan veelal uit checklists met aandachtspunten die vaak weer ontleend zijn aan de dan beschikbare methoden van systeemontwikkeling.

Het recente verleden

De IT-auditor heeft methoden tot zijn beschikking en wordt door de markt schoorvoetend erkend als specialist inzake projectbeheersing. Niet alleen wordt de auditor ingeschakeld bij het ontstaan van problemen, maar ook voor het leveren van extra zekerheid. Organisaties zijn zich ervan bewust dat het uitvoeren van een IT-project een complexe onderneming is die je er niet zomaar even bij doet. Het succesvol uitvoeren van IT-projecten vereist kennis en vaardigheden die niet voorhanden zijn. Een second opinion over een projectplan, over de opzet van de projectorganisatie, of over andere specifieke onderwerpen biedt de gewenste extra zekerheid. Vooruitstrevende organisaties regelen een periodieke beoordeling met vaste rapportage aan de stuurgroep. De rol van de IT-auditor is dan feitelijk om complexe projecten doorlopend inzichtelijk te maken voor de stuurgroep en het projectmanagement te verbeteren. Projectleiders profiteren mee wanneer zij openstaan voor de second opinion en kunnen deze hanteren om de projectbeheersing te verbeteren.

Heden

Niet alleen een beoordeling achteraf, maar ook een actieve betrokkenheid van de IT-auditor in het project als bewaker van de kwaliteit wordt gangbaarder. De IT-auditor heeft zijn plaats verdiend als expert op het gebied van projectbeheersing en risicomanagement en is niet slechts een theoreticus die de praktijk toetst aan een formele methode. Jarenlange ervaring zorgt ervoor dat de IT-auditor veel toegevoegde waarde kan bieden bij de uitvoering van IT-projecten. Niet zelden is een auditor zelf ook opgetreden als projectleider of heeft hij een vergelijkbare rol vervuld. De modder is vaak nog zichtbaar. Binnen het vakgebied trekt systeemontwikkeling steeds meer de aandacht. De IT-auditor raakt betrokken in het proces en rapporteert aan de stuurgroep of aan de projectleider.

De nabije toekomst

De beheersing en besturing van IT-projecten wordt professioneler opgepakt. Kennis en kunde die niet aanwezig is binnen de organisatie wordt ingehuurd en IT-auditors worden bijna standaard bij het project betrokken. Zij vervullen een doorlopende rol in het waarborgen van de kwaliteit en het beheersen van de risico’s. Feitelijk worden projecten geleid door een team van experts. Organisaties zijn zich ervan bewust dat een projectmanagementmethode niet voldoende is om een project te beheersen. De projectleiding zal ondersteund moeten worden op allerlei specialistische gebieden. Organisaties die één of meer omvangrijke projecten uitvoeren beschikken over een PMO van waaruit de projectbeheersing wordt ondersteund. Taken die binnen dit PMO worden uitgevoerd, zijn coördinatie, voortgangsbewaking en -rapportage, risicomanagement en het vaststellen van standaarden en procedures. Door actief te participeren binnen het PMO beschikt de IT-auditor over de mogelijkheid om bij het ontstaan van eventuele knelpunten deze direct te signaleren, daarover te rapporteren en verbetervoorstellen te doen. De praktijk leert dat deze proactieve houding in een aantal gevallen voorkomt dat onvoldoende uitgewerkte of afgewogen keuzen later in de projectrealisatie alsnog leiden tot aanpassingen tegen hoge(re) kosten.

Het toenemende belang van beheersing van complexe IT-projecten

De complexiteit en impact van IT-projecten heeft in de afgelopen decennia een opmerkelijke ontwikkeling doorgemaakt. Deze ontwikkeling is in diverse modellen beschreven. Eén van deze modellen is de aloude Nolan fasentheorie ([Nola92]). Deze theorie geeft inzicht in de wijze waarop de toepassing van IT binnen organisaties zich ontwikkelt. In de beginfasen wordt IT vooral ingezet als hulpmiddel en beheersingsinstrument en in latere fasen als verbeterinstrument en strategisch wapen. Deze fasentheorie geeft een goed inzicht in de evolutie van IT-projecten. De volgende factoren hebben een grote rol gespeeld bij de ontwikkeling van het belang van IT-projecten voor organisaties:

• Omvang. IT-projecten richten zich aanvankelijk op kleinschalige verbeteringen. Met het ontstaan en belangrijker het ontdekken van nieuwe mogelijkheden van toepassing van IT worden de IT-projecten ambitieuzer. Processen worden integraal verbeterd en de gehele bedrijfsvoering wordt integraal beschouwd en geautomatiseerd.
• Impact. De impact van een IT-project is direct gerelateerd aan de omvang van het deel van de organisatie dat wordt beïnvloed door het IT-project en aan het strategisch belang dat aan de wijziging wordt toebedacht. IT-projecten worden meer en meer ingezet voor de realisatie van strategische doelstellingen. Tijdige realisatie van de hiervoor benodigde veranderingen kan doorslaggevend zijn voor de ontwikkeling van de business.
• Complexiteit. De omvang en de impact verhogen direct de complexiteit van de IT-projecten. Door een sterke toename in het aantal belanghebbenden en onderlinge afhankelijkheden binnen het project neemt de organisatorische en sociale complexiteit sterk toe. Daarnaast worden steeds nieuwe technologieën toegepast. Talrijke en omvangrijke interacties met oudere systemen en platformen verhogen de technische complexiteit.

De toename van het belang van IT-projecten heeft geleid tot meer aandacht voor het projectmanagement. Het senior management van de organisatie is er nauw bij betrokken. In het algemeen is een stuurgroep ingericht die opdrachtgever is van het IT-project, de vorderingen van het project bewaakt en beslissingen neemt in het belang van de organisatie. Daarbij blijkt de praktijk vaak weerbarstiger dan de theorie ([Lof01]). Stuurgroepen hebben vaak niet de juiste samenstelling. Senior medewerkers nemen als vanzelfsprekend zitting in de stuurgroep, al te vaak zonder een heldere verantwoordelijkheid of beslissingsbevoegdheid. Steeds vaker wordt een stuurgroep begeleid door een externe deskundige.

Er is een duidelijke druk aanwezig bij de stuurgroepen om de taakuitvoering verder te verbeteren. Een belangrijke factor daarbij is de aandacht van de commissarissen voor de IT-veranderingen. Het toegenomen belang van IT-projecten en de omvang van de bijbehorende investeringen heeft geleid tot een toename in de aandacht van de commissarissen voor het management en de beheersing van IT-projecten. Met name bij grotere organisaties waar vele projecten tegelijkertijd worden uitgevoerd, wordt het management gedwongen tot het verder professionaliseren van het management en de beheersing van IT-projecten. Het begrip project governance doet zijn intrede. Van organisaties wordt verlangd dat zij een professioneel management en dito beheersing van IT-projecten hebben geïncorporeerd in de organisatie. IT-projecten zijn niet langer eenmalige gebeurtenissen die min of meer ad hoc worden gemanaged. Er is een continue stroom van IT-veranderingen die projectmatig worden uitgevoerd. Niet zelden zijn jaarlijks enkele honderden projecten onder handen. De organisatie dient hierop te zijn ingericht. Steeds vaker richten organisaties ter ondersteuning van het projectmanagement en de projectbeheersing een Program/Project Management Office in.

KPMG-onderzoek naar het Program/Project Management Office

Door KPMG Information Risk Management is in de zomer van 2002 een internationaal onderzoek uitgevoerd naar het functioneren van Program/Project Management Offices (PMO’s). Gedurende het onderzoek zijn interviews gehouden binnen 185 grotere ondernemingen uit diverse branches in een viertal regio’s (Noord-Amerika, Afrika, Europa en Australië). Het gemiddelde PMO uit het onderzoek stuurt 83 verschillende projecten aan met een totaalbudget van gemiddeld 105 miljoen euro.

In de praktijk wordt het PMO in toenemende mate een belangrijke rol toebedeeld in de beheersing van zowel de portfolio van ICT-projecten als de individuele projecten. De belangrijkste functies die binnen het PMO in dat kader worden uitgevoerd, zijn: ‘Coordination & Communication’, ‘Tracking & reporting’, ‘Risk Management’ en ‘Definition of Standards’. Het onderzoek had onder meer tot doel uit te zoeken hoe de deelnemers de volwassenheid, de organisatorische positie, de gehanteerde methodologie, certificatie, training, budgetten en resultaten van hun PMO evalueerden.

Hoewel sommige uitkomsten verrassend genoemd kunnen worden, bleek het overgrote deel van de uitkomsten een bevestiging van ons beeld dat veel PMO’s zich nog in het begin van hun ontwikkeling bevinden: 67% van de PMO’s kwalificeert zich als ‘immature’ of ‘established’, terwijl 35% zich als ‘grown up’ of ‘mature’ kwalificeert. Hierbij gaf overigens 67% van de respondenten aan dat ze de sterke behoefte onderkennen om het PMO verder te laten ontwikkelen naar een hogere mate van volwassenheid.

De lage volwassenheid van de PMO’s wordt mede bevestigd door de uitkomst dat 90% van de respondenten aangaf dat de belangrijkste taak van het PMO ‘Tracking & reporting’ was met ‘Coordination & Communication’ als een sterke tweede. Daarbij valt op dat 56% van de participanten de projectuitkomsten of projectprestaties niet vergelijkt met intern ontwikkelde of extern verworven ervaringscijfers. Ook het periodiek evalueren van de projectportfolio is geen gemeengoed binnen alle PMO’s. 30% van de PMO’s had geen periodiek projectportfolioproces waarbinnen periodiek op basis van de oorspronkelijke ‘Business case’ beslissingen worden afgedwongen met betrekking tot de Go, Hold of Cancel van de lopende projecten.

De PMO’s die zichzelf kwalificeerden als volwassen geven aan dat ze ‘Benefit realization’ en ‘Investment appraisal’ als één van hun belangrijkste taken beschouwen. Zij zien ‘Strategic alignment’ als de belangrijkste factor in het evalueren van de projectportfolio. De belangrijkste genoemde zaken die een organisatie zou moeten doen om de effectiviteit van het PMO te vergroten, zijn in tabel 1 weergegeven.

Tabel 1. Aspecten die de PMO-effectiviteit vergroten.

Van de respondenten geeft 87% aan dat het senior management van mening is dat het PMO een integraal onderdeel is van de organisatie en een belangrijke toegevoegde waarde heeft. De positie van het PMO binnen de organisatie verschilt sterk. In 34% van de gevallen rapporteert het PMO binnen de IT-organisatie. In de overige gevallen rapporteert het PMO aan de verantwoordelijke binnen de lijnorganisatie, in 37% aan de CEO, in 9% aan de COO en in 3% aan de CFO. In 17% van de gevallen wordt gerapporteerd binnen de business units of andere onderdelen van de organisatie, afhankelijk van de lopende projecten. Bij een nadere analyse valt op dat de volwassen PMO’s voornamelijk rapporteren aan de CEO of vergelijkbare functie binnen de organisatie. Deze hoge positionering binnen de organisatie past bij één van de kenmerken van grotere volwassenheid: deze PMO’s zijn in staat het totaalbeeld van alle onderhanden projecten te bewaken.

De gemiddelde omvang van het PMO blijkt sterk samen te hangen met de omvang van de organisatie. PMO’s binnen organisaties met een omzet van meer dan 10 miljard euro bestaan uit gemiddeld 44 medewerkers. PMO’s binnen een organisatie met een omzet tussen de 1 en 10 miljard euro tellen gemiddeld 39 personen. Bij organisaties met een omzet kleiner dan 1 miljard euro heeft het PMO een gemiddelde omvang van 12 personen. Volwassen PMO’s functioneren in het algemeen al acht jaar of langer. De medewerkers van volwassen PMO’s beschikken over een significant grotere ervaring dan die bij onvolwassen PMO’s. 77% van de respondenten gaf aan dat de medewerkers van het PMO over een ICT-achtergrond beschikken en 60% van de PMO-medewerkers heeft gemiddeld vijf jaar of meer ervaring op het gebied van programma- en projectmanagement. In het algemeen is er dus sprake van een ervaren bemensing van het PMO. Opvallend is dat slechts 27% van de respondenten over PMI®, Prince 2 of vergelijkbare certificeringen beschikt. 39% van de respondenten gaf aan dat zij dergelijke certificering daadwerkelijk waardevol achten.

De belangrijkste hulpmiddelen voor het PMO blijken in het algemeen te bestaan uit minder complexe en stand-alone hulpmiddelen. 79% geeft aan MS Project of soortgelijke pakketten hiervoor in te zetten. In 34% van de gevallen wordt aangegeven dat gebruik wordt gemaakt van web-based hulpmiddelen. De gebruikers van web-based hulpmiddelen waarderen de ondersteuning die ze hebben als veel effectiever dan de gebruikers van non-web-based hulpmiddelen.

De dilemma’s rondom projectrisico’s en de kans van slagen van projecten mogen als bekend worden beschouwd. Ook uit dit onderzoek komt naar voren dat zeker niet alle projecten succesvol zijn; 56% van de respondenten geeft aan dat men de afgelopen twaalf maanden te maken heeft gehad met mislukte projecten. Het gemiddelde verlies was 11,8 miljoen euro per project, het grootste verlies was 200 miljoen euro. De belangrijkste genoemde oorzaken van succes respectievelijk het mislukken van projecten zijn in tabel 2 weergegeven.

Tabel 2. Succes- en faalfactoren van projecten.

Uit het onderzoek komt tevens naar voren dat binnen organisaties waar sprake is van volwassen PMO’s met stringente naleving van richtlijnen en methodologie, minder mislukte projecten voorkomen. De door de respondenten weergegeven belangrijkste elementen voor de uitvoering van succesvolle projecten en de manier waarop in de toekomst succesvolle projecten kunnen worden gerealiseerd, zijn weergegeven in tabel 3.

Tabel 3. Elementen voor en manieren van succesvolle projectrealisering.

Wat wij als een verrassende uitkomst van het onderzoek beschouwen, is het feit dat 46% stelde dat hun hoogste prioriteit bij het beheersen van projecten het bereiken van de in de business case gestelde doelstellingen is. Wij hadden verwacht dat het binnen de gestelde tijd uitvoeren van het project (21%) of het binnen de gestelde budgetten uitvoeren (9%) een hogere prioriteit zou hebben. Het kan niet anders dan dat deze uitkomst nogmaals het huidige belang onderschrijft van ICT in de bedrijfsvoering.

Tot slot iets over de uitkomsten inzake kosten samenhangend met een PMO. De gemiddelde kosten van een volwassen PMO bedragen 2% van de totale projecten onder beheer. Voor het minder volwassen PMO geldt dat de kosten hoger zijn, bijna 3% van de projectkosten. Uit nadere analyse blijkt dat een belangrijk deel van het verschil is te verklaren uit ‘economy of scale’-effecten. Dit compenseert ruimschoots het feit dat meer volwassen PMO’s meer taken uitvoeren. Naarmate een PMO meer volwassen opereert kan dus een groter volume aan projecten op een hoger kwaliteitsniveau worden aangestuurd.

Conclusie

Het belang en de impact van IT-projecten zijn de afgelopen jaren sterk toegenomen. Organisaties hebben hierop gereageerd door het projectmanagement en de projectbeheersing te verbeteren. Tegelijkertijd is het besef gegroeid dat de benodigde kennis en ervaring niet langer bij één persoon aanwezig kan zijn, maar dat er een team van experts nodig is voor het management. Bij grotere organisaties doet het Program/Project Management Office zijn intrede. Vanuit het PMO wordt de projectleiding ondersteund en het projectmanagement verder versterkt.

De betrokkenheid van de IT-auditor bij IT-projecten heeft zich de afgelopen jaren ontwikkeld in aansluiting op de behoefte van organisaties. De oorspronkelijke ad-hocbetrokkenheid door middel van het beoordelen van producten is meer en meer geëvolueerd naar actieve en proactieve betrokkenheid. De IT-auditor kan vanuit zijn deskundigheid en ervaring een belangrijke bijdrage leveren aan het realiseren van een meer volwassen PMO binnen organisaties. Daarnaast kan hij binnen het PMO op een proactieve wijze enkele van de taken voor zijn rekening nemen. Door actief te participeren binnen het PMO heeft de IT-auditor de mogelijkheid om bij het ontstaan van eventuele knelpunten deze direct te signaleren, daarover te rapporteren aan verantwoordelijken en toezichthouders en daar waar relevant verbetervoorstellen te doen.