Vijf stappen naar effectieve KPI's
Doelgroep:
Dit artikel helpt CISO’s om de implementatie van hun cybersecuritystrategie te meten en hierop bij te sturen door het identificeren, meten en rapporteren van relevante KPI’s.
In samenwerking met:
Audit Dienst Rijk, NOREA en Van Oord
Definities:
Kritieke prestatie-indicatoren (KPI’s) zijn variabelen waaraan valt af te lezen of een organisatie op koers ligt ten opzichte van haar doelstellingen. Met KPI’s kan het management de voortgang beoordelen.
Key performance indicators (KPI’s) of ook wel in het Nederlands ‘kritische prestatie-indicatoren’ genoemd, helpen om effectief te sturen op digitale weerbaarheid. KPI’s geven inzicht of je op de goede weg bent en waar je eventueel moet bijsturen. Dit inzicht is idealiter gekoppeld aan een cybersecuritystrategie. Door de juiste KPI's te kiezen en effectief te gebruiken, kun je betere beslissingen nemen en je doelen uit je cybersecuritystrategie sneller bereiken. Heb je de informatie om te sturen beschikbaar, dan weet de organisatie waar het op moet inzetten om cybersecurity-incidenten te voorkomen en digitaal weerbaar te zijn.
Een KPI hoort te voldoen aan het SMART-principe:
Specifiek; is de doelstelling eenduidig?
Meetbaar; onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt?
Acceptabel; is deze acceptabel genoeg voor de doelgroep en/of het management?
Realistisch; is het doel haalbaar?
Tijdgebonden; wanneer (in de tijd) moet het doel bereikt zijn?
Een concrete cybersecuritystrategie beschrijft de richting van de inspanningen op de middellange tot lange termijn. Het beschrijft hoe de beveiligingsorganisatie de bedrijfsstrategie zal ondersteunen en mogelijk maken. Het helpt de organisatie ook bij het budgetteren en documenteren van de onderbouwing van strategische beslissingen en de toewijzing van middelen.
Achtergrond
Management, bestuurders en CISO’s hebben behoefte aan inzicht in digitale weerbaarheid. Als zij beschikken over de juiste informatie kunnen zij daar adequater op sturen. KPI’s gericht op het borgen van de digitale weerbaarheid van een organisatie zijn van grote toegevoegde waarde. Maar KPI’s zijn alleen nuttig als je de juiste hanteert. Ze verschillen per organisatie, omdat ze samenhangen met je cybersecuritytrategie en deze zal voor iedere organisatie anders zijn. Het is dus essentieel om zelf als organisatie de juiste KPI’s te identificeren. Alleen dan helpen kritieke prestatie-indicatoren (KPI’s) om te sturen op digitale weerbaarheid.
Daarnaast moeten KPI’s eenvoudig te meten zijn en de resultaten moeten eenduidig interpreteerbaar zijn. Door te sturen op de juiste KPI’s ondersteun je het verbeteren in een continue cyclus. Door de stappen in dit artikel toe te passen, heb je de bouwstenen om KPI’s effectief te gebruiken. Zo werk je aan op maat gemaakte KPI’s die je digitale weerbaarheid als organisatie verbeteren. De stappen zijn gebaseerd op geleerde lessen uit de praktijk en op wetenschappelijke publicaties.
Het stappenplan
Het stappenplan bestaat uit vijf stappen. Het doorlopen van deze stappen werkt als een kompas om effectief KPI’s te gebruiken. Door middel van een fictieve casus die als voorbeeld dient, maken we de stappen concreet. In de afbeeldingen staan de stappen uitgebeeld.
Stap 1: Krijg inzicht in de bedrijfsdoelstellingen
Inventariseer welke organisatiestrategieën er zijn. Hiermee is op het hoogste niveau in de organisatie bepaald hoe er met nieuwe impulsen om wordt gegaan. In een cybersecuritystrategie is bepaald hoe nieuwe en snel evoluerende cyberdreigingen, technologische vooruitgang en organisatieveranderingen bepalend zijn voor de organisatie op de lange termijn.
Een strategie is iets anders dan een Information Security Management Systeem (ISMS)*. Een ISMS is een mechanisme om structureel de effectiviteit van je cybersecuritymaatregelen en je strategie te monitoren.
Het ontbreken van een cybersecuritystrategie leidt tot een gebrek aan afstemming met bredere bedrijfsdoelstellingen waardoor er uiteindelijk niet effectief gestuurd wordt op de doelstellingen van een organisatie als geheel. Dit bemoeilijkt later in het proces het bepalen van effectieve cybersecurity KPI’s.
Indien er geen cybersecuritystrategie is, gebruik dan de uitgangspunten van de organisatiestrategie om verder te gaan met stap 2.
*De meeste organisaties vertrouwen voor hun cybersecurityaanpak op een plan do check act cyclus met vooraf bepaalde controles. Een ISMS documenteert of deze controls ook daadwerkelijk effectief zijn. Deze zijn vaak gericht op compliance, het scannen van de externe omgeving op trends en bedreigingen is meestal niet in scope. Lees hierover in het artikel over ISMS.
In deze casus laten we zien hoe JB-markt, een supermarkt, de stappen doorloopt. De CISO van JB-markt heeft van het management te horen gekregen dat zij het lastig vinden te bepalen of de organisatie digitaal weerbaar is. Hierom heeft de CISO besloten om met KPI’s richting het bestuur te rapporteren.
De huidige organisatiestrategie van JB-markt richt zich op het draaiende houden van de bedrijfsvoering en klanttevredenheid. Na een gesprek met de controller van JB-markt is het duidelijk dat veel KPI’s zijn gedefinieerd in percentages, dit is dus waar het management aan gewend is. Het richtpercentage voor lege schappen is dat minder dan 5 procent van alle schappen leeg mogen zijn. Het richtpercentage voor de klanttevredenheid is dat 90 procent van de ondervraagde klanten JB-markt zou aanraden aan vrienden en familie.
Stap 2: Definieer doelstellingen
Wanneer je strategie duidelijk is, valt deze op de delen in verschillende doelstellingen. Om te rapporteren op vooruitgang moet je als organisatie eerst duidelijk hebben wat je cybersecuritydoelstellingen zijn. Als je KPI’s gaat opstellen zonder dat deze te relateren zijn aan een duidelijke doelstelling, ben je aan het rapporteren zonder dat dit effectief is.
Uit de strategie in stap 1 zijn ook cybersecuritydoelstellingen af te leiden. De cybersecuritydoelstellingen van een organisatie zijn bijvoorbeeld: compliant zijn met cybersecurity-wetgeving, een bepaald volwassenheidsniveau bereiken volgens een gekozen methodiek, een specifieke cybersecuritynorm implementeren, effectief risicomanagement inrichten. Een combinatie van ambities is natuurlijk ook mogelijk.
Het is belangrijk dat de doelstellingen gedragen worden door de CISO, proces-eigenaren en het management. Integreer de cybersecuritydoelstellingen met je businessdoelstellingen. De kernvraag hierbij is wat het management wil weten om te kunnen bepalen of de organisatie digitaal weerbaar is.
Het is van belang om in het gesprek met het management te vragen naar hun behoeften.
Willen zij vooral inzicht hebben in de hoeveelheid risico die er gelopen wordt, of willen zij diepgaandere informatie over bijvoorbeeld bepaalde processen? Maak van deze behoeften een lijst, schrijf per behoefte op wat hier allemaal onder valt zodat je deze in de volgende stap kunt gebruiken om per behoefte KPI’s op te stellen.
JB-markt heeft een organisatiestrategie waarin klanttevredenheid bovenaan staat omdat dit de winst maximaliseert. Dit houdt onder meer in dat producten op tijd gemaakt moeten zijn en dat leveringen met een levertijd conform hetgeen aan de klant is beloofd, moeten worden afgehandeld. De CISO van JB-markt heeft in de cybersecuritystrategie opgenomen dat het risicomanagement zoveel mogelijk is geïntegreerd met de corporate (organisatiebrede) risicoanalyse en dat de organisatie bouwt aan een cybersecuritycultuur waarin incidenten gemeld worden.
a) Een bijpassende cybersecuritydoelstelling is dat je daarom streeft naar zo weinig mogelijk verstoringen in je systemen en applicaties, zodat dit geen risico vormt voor je productleveringen en hiermee het klanttevredenheidsniveau. Denk aan incidenten met je inkoopapplicatie, je bevoorradingsdatabase in de cloud en het uitvallen van je wifi.
- Een passende KPI is dat je wilt weten hoeveel incidenten je hebt. Hiermee stuur je op het omlaag brengen van dit aantal incidenten.
- Een tweede bijpassende KPI zou kunnen zijn dat incidenten in je infrastructuctuur die verstorend zijn binnen x uur opgelost zouden moeten zijn en incidenten die niet verstorend zijn binnen x dag(en) moeten zijn opgelost.
b) Een tweede cybersecuritydoelstelling die hoort bij deze strategie kan zijn dat je goed voorbereid bent op incidenten. Hiervoor neem je als doelstelling dat je minimaal drie keer per jaar een oefening wilt doen, inclusief een evaluatie.
Een KPI die past bij het voorbereid zijn op incidenten zou kunnen zijn dat je meet hoe vaak er oefeningen binnen je organisatie worden gedaan. Stel hierbij een streefgetal vast van een, twee of drie per jaar.
Stap 3: Ontwikkel KPI’s
Nu de organisatiedoelen op het gebied van cybersecurity zijn opgesteld, ga je brainstormen over de ontwikkeling van de KPI’s. Voor het opstellen van goede KPI’s moet je rekening houden met de SMART-principes. SMART staat voor specifiek, meetbaar, acceptabel, realistisch en tijdgebonden. Het is daarnaast ook belangrijk te onthouden wie je doelgroep is voor de KPI. Rapporteer je als CISO naar het bestuur of board, onthoud dan dat het belangrijk is om je te richten op het risicoprofiel van je organisatie. Wordt er aan jou gerapporteerd als CISO, weet dan dat het ook om werkinformatie gaat, zoals welke inspanning er is geleverd.
Sluit aan op de manier waarop er al gerapporteerd wordt aan de CEO of de board om de KPI’s zo nuttig mogelijk te maken. Ga een gesprek aan met een collega die meer weet van de organisatiestrategie, bijvoorbeeld een controller of risicomanager, om inzicht te krijgen in hoe andere CEO’s hun vooruitgang in KPI’s rapporteren.
Een KPI kan dus op verschillende niveaus worden toegepast. Het kan strategisch, tactisch en operationeel zijn. Het is wel van belang dat de operationele KPI’s de strategische KPI’s ondersteunen.
Specifiek:
Door je KPI specifiek te maken zorg je ervoor dat er geen onduidelijkheid ontstaat over wat je precies wilt bereiken.
Meetbaar:
Om goed te kunnen rapporteren moet het onderwerp van de KPI wel meetbaar zijn. Het is veel makkelijker om te rapporteren op kwantitatieve informatie dan op kwalitatieve informatie. Daarnaast kost het veel tijd om wel op kwalitatieve KPI’s te rapporteren. Het genereren van KPI’s op basis van kwalitatieve informatie is vaak niet te automatiseren, terwijl kwantitatieve KPI’s dit meestal wel zijn. Houd hierbij ook in de gaten dat je wel de gegevens moet hebben om op de KPI te kunnen rapporteren. Houd je organisatie op dit moment wel alle gegevens bij die je hierbij nodig hebt?
Acceptabel:
Wanneer je KPI’s opstelt, zorg er voor dat deze haalbaar zijn. Het is niet haalbaar om 100 procent van alle spam-e-mails uit te filteren, kies er dan bijvoorbeeld voor om het richtgetal op 95 procent te zetten.
Realistisch:
Door rekening te houden met de huidige situatie van je organisatie zorg je ervoor dat je KPI’s niet demotiverend werken en schep je geen verkeerde verwachtingen. Bijvoorbeeld: als je huidige Mean Time To Detect (MTTD) van kwetsbaarheden in je eigen code nu 9 maanden is, is het niet realistisch om deze binnen een kwartaal naar 6 maanden te krijgen.
Tijdsgebonden:
Om te zorgen dat je deadlines en doelen gehaald worden is het verstandig deze aan een tijdsspanne te binden. Door dit te doen houd je in de gaten of je op schema loopt of niet, daarnaast zorgt het er ook voor dat je met de meest recente informatie werkt, wat de KPI’s een beter en recent beeld laat schetsen.
Zoals in stap 2 aangegeven is een passende KPI die hoort bij zo weinig mogelijk verstoringen is dat je wilt weten hoeveel incidenten je hebt. Hiermee stuur je op het verlagen van het aantal incidenten.
Hiervoor is door JB-markt gekozen voor deze KPI’s:
- In de komende zes maanden willen we het aantal incidenten omlaag brengen van vijftig naar veertig in deze periode
- De gemelde incidenten willen wij gemiddeld binnen zes uur oplossen. Op het moment is de doorlooptijd gemiddeld 8.5 uur
- Als laatste willen we dat het percentage werknemers die hun cybersecurity cursus heeft afgerond van 75 procent naar 90 procent brengen in het komende jaar.
Stap 4: Rapporteer & implementeer
Nu de doelen van je organisatie duidelijk zijn en je hier KPI’s voor hebt gemaakt, is het tijd voor implementatie en rapportage. Je bepaalt samen met het management en de proceseigenaren welk definitief streefgetal je wilt nastreven voor een KPI. Dit streefgetal dient als een duidelijke stip op de horizon waar je op wilt sturen.
Het is belangrijk om vast te leggen hoe vaak een KPI gemonitord en gerapporteerd wordt. Dit kan dagelijks, wekelijks, of maandelijks gedaan worden. Het is noodzakelijk om hier afspraken over te maken en de rapportage die hierbij hoort op managementniveau te bespreken.
Kijk ook goed naar je ISMS (Information Security Management System) als je dat hebt als organisatie. Ook hier kan je een verwijzing maken naar de KPI’s die je hebt gedefinieerd en waarover gerapporteerd wordt.
Voor alle KPI’s zijn proceseigenaren bepaald. In een periodieke meeting rapporteren zij aan de CISO en geven zij een toelichting.
Bijvoorbeeld: voor de implementatie van de KPI’s heeft JB-markt ervoor gekozen om de incidentmanager te vragen wekelijks het aantal incidenten en de duur van de incidenten te rapporteren aan de CISO. De CISO verwerkt dit maandelijks in een dashboard met alle KPI’s. De CISO rapporteert maandelijks de KPI’s in het dashboard naar de board. Voor de cybersecurity cursus wordt het huidige platform waar de cursus op wordt gegeven gebruikt om het percentage afgeronde cursussen te zien.
Stap 5: Evalueer & verbeter
Nadat alle voorgaande stappen zijn gezet en er tijd voorbij is gegaan, is het tijd om je KPI’s te evalueren. Ga samen met enkele collega’s aan tafel en loop iedere KPI langs, klopt het nog ten opzichte van onze doelstellingen? Meet de KPI nog wat we verwachten? Als de KPI aangeeft dat het goed of slecht gaat, is dat inderdaad ook zo of moet het streefgetal op een bepaalde manier worden bijgesteld? Kan er verklaard worden waarom een streefgetal is behaald of juist niet? Waar moet je bijsturen in capaciteit of middelen om te zorgen voor dat een KPI positiever wordt?
Dit zijn allemaal belangrijke vragen in zo’n evaluatie. Een rapport van zo’n evaluatie is ook goed om mee te nemen richting het management, zij moeten hier vanuit hun verantwoordelijkheid over beslissen. Vraag wat zij van de KPI’s en streefgetallen vinden; geeft het de juiste inzichten?
Wanneer je denkt dat je KPI’s verbeterd kunnen worden, kijk dan vanaf welke stap je het proces weer opnieuw moet doorlopen. Dit kan stap 1 zijn, maar als je probleem ligt bij de implementatie kan dit ook stap 4 zijn. Kijk waar het probleem zich voordoet en ga op die manier terug naar de stap die je hierbij helpt.
Na een maand wordt er in het managementoverleg van JB-markt gekeken naar de KPI’s, maar er is te weinig tijd voorbijgegaan sinds het bijhouden van de KPI’s om een goed beeld te vormen. Na drie maanden blijkt dat de hoeveelheid incidenten al op 40 ligt. Het lijkt een probleem te worden. Uit een analyse blijkt echter dat er ook hele kleine incidenten, zoals het vergeten van wachtwoorden, worden gemeten die eigenlijk weinig zeggen over de digitale weerbaarheid van de organisatie.
De CISO gaat hierover in gesprek met het management en de definitie van een incident wordt aangepast waardoor vergeten wachtwoorden niet meer tellen als cybergerelateerd incident. Daarnaast blijkt dat het percentage van mensen die de cursus hebben afgerond van 75 procent inmiddels al 85 procent is. Door het meten van het percentage is het veel duidelijker geworden dat JB-markt goed op schema is met het uitvoeren van hun strategie.
Conclusie
KPI’s kunnen je als organisatie helpen om digitaal weerbaar te worden en te blijven. Doordat je uitgaat van je strategie, creëer je als organisatie inzicht in de onderdelen waarop je wilt bijsturen. Digitale weerbaarheid moet zoveel mogelijk onderdeel worden van de integrale strategie en doelstellingen van een organisatie. Belangrijk is om het management verantwoordelijk te maken voor deze sturing. Kijk hiervoor ook eens naar de publicatie: De vragen die een bestuurder kan stellen aan zijn CISO om het gesprek aan te gaan als CISO.