Apdex, wat is het en wat kun je ermee?

0

We weten allemaal dat applicaties snel en beschikbaar moeten zijn. Veel organisaties monitoren daarom actief de performance van hun belangrijkste applicaties en kunnen tijdig acteren als de performance verslechtert. De vraag die wij echter regelmatig krijgen is: ‘zijn mijn responstijden goed genoeg?’ Want met welke responstijden is een eindgebruiker tevreden? En bij welke responstijden draagt IT optimaal bij aan businessdoelen? Met de Apdex worden responstijden geïndexeerd, waardoor ze beter en breder bruikbaar worden.

Contextafhankelijk

Is een responstijd van 2 seconden snel? Of is 5 ook prima? Wanneer gaan eindgebruikers klagen of gaat er geld verloren? Helaas is het antwoord daarop niet eenduidig. Voor sommige applicaties geldt dat het technisch hoogst haalbare rond de 8 seconden ligt en dat dit in de beleving van de eindgebruikers prima is. loadingDenk bijvoorbeeld aan het 1 keer per dag inloggen op een VDI-omgeving.

Maar gaat het om een webshop? Dan blijkt uit onderzoek dat 40% van de bezoekers afhaakt bij een laadtijd boven de 3 seconden. Kortom: goede responstijden zijn afhankelijk van hun context. Met de Apdex kun je deze context kwantificeren en kwalificeren.

Wat is de Apdex?

De Apdex (application performance index) is een open industriestandaard voor het indexeren van performance. Meerdere organisaties hebben binnen de Apdex Alliance gezamenlijk een formule ontwikkeld op basis waarvan de indexatie plaats vindt. Het idee achter de Apdex is te kunnen meten of responstijden voldoen aan de verwachting van de eindgebruiker, de business of de IT-manager. Deze verwachtingen moeten worden gedefinieerd en worden omgezet naar grenswaarden binnen de formule.

Hoe werkt het?

Binnen de Apdex-formule worden responstijden verdeeld over drie bandbreedtes: ‘satisfied’, ‘tolerated’ en ‘frustrated’. Bijvoorbeeld:

  • Duurt het inloggen op applicatie X maximaal 4 seconden? Dan wordt die meting als satisfied gemarkeerd en krijgt de meting een waarde van 1 punt.
  • Duurt het inloggen tussen de 4,1 en 7 seconden? Dan wordt die meting als tolerated gemarkeerd en wordt de waarde een halve punt.
  • Metingen die langer duren dan 7,1 seconden worden als frustrated gezien. Deze meting krijgt 0 punten.

Het aantal punten wordt gedeeld door het aantal metingen en uitgezet op een schaal tussen 0 en 1. Bijvoorbeeld: er zijn 100 metingen uitgevoerd:

  • 60 metingen waren ‘satisfied’ en krijgen 1 punt (60*1= 60)
  • 30 metingen waren ‘tolerated’ en krijgen 0,5 punt (30*0,5= 15)
  • 10 metingen waren ‘frustrated’ en krijgen geen punt (10*0= 0)

berekening

Nu is een gewogen prestatiegetal berekend in de vorm van één enkel getal voor de hele applicatie voor een bepaald moment. Nu ontstaan nieuwe mogelijkheden. Bijvoorbeeld het normeren van tevredenheid: bij een Apdex-waarde van 0.85 kunnen gebruikers worden beschouwd als ‘tevreden’. Het doel is daarom om minimaal 0.85 te halen. Daarnaast kan de tevredenheid van gebruikers van verschillende applicaties onderling met elkaar worden vergeleken. De Apdex kan bovendien een belangrijk stuurmiddel opleveren voor de investering in specifieke slecht presterende applicaties.apdex-meter

Context toevoegen met grenswaarden

Om te bepalen wat de grenswaarden van de verschillende bandbreedtes van responstijden moeten zijn, is het belangrijk de eindgebruiker en/of business te betrekken. Per transactie wordt besproken welke waarden nodig, haalbaar en wenselijk zijn. Daarna is het eenvoudig om de gemeten prestaties door te rekenen naar een Apdexcijfer per applicatie of zelfs voor een hele keten.

Bijvoorbeeld een arts die gebruik maakt van een Elektronisch Patiënten Dossier. Niet alle transacties binnen deze applicatie hebben dezelfde grenswaarden:

  • De transactie inloggen gebeurt 1 keer per dag. Zowel de arts als de IT vinden het prima als dat tussen de 6 en 10 seconden duurt. Gezien de dossiers die geladen moeten worden is dit ook technisch te verklaren. De grenswaarden worden ingesteld als:arts
    • Satisfied: 1-7 seconden
    • Tolerated: 7-10 seconden
    • Frustrated meer dan 11 seconden
  • De transactie patiënt opzoeken wordt tientallen keren per dag uitgevoerd. Het is daarom van belang dat dit snel gebeurt, anders verliest de arts teveel tijd van zijn – al korte – consult.
    • Satisfied: 1-3 seconden
    • Tolerated: 4-5 seconden
    • Frustrated: meer dan 6 seconden

Niet voor alle transacties of ketens liggen de grenswaarden voor de hand. Gespecialiseerde partijen kunnen helpen logische waarden te bepalen op basis van ervaringen, het type applicatie, onderzoek en gesprekken met key users en functioneel beheer.

En dan?

Wanneer de grenswaarden zijn ingesteld kunnen deze automatisch worden berekend en worden getoond in een dashboard of meegenomen worden in rapportages. Zoals bij veel implementaties gaat het ook bij het gebruik van de Apdex niet alleen om het technische aspect. Ook de mensen en processen moeten vanaf het begin worden betrokken. Mensen moeten zich bewust zijn van wat de impact is van een laag Apdex-cijfer en processen moeten erop gericht zijn om snel verbetertrajecten te kunnen inzetten. De Apdex fungeert hierbij als glueware tussen mensen, processen en techniek: zowel de business, IT als het management kijken naar één waarheid die voor alle partijen begrijpelijk en relevant is.

Marcel Wigman is performance architect bij Ymor.
Inge Vollebregt
Ymor is dé onafhankelijke specialist op het gebied van IT Operations Analytics (ITOA). Door het samenbrengen van verschillende databronnen wordt diepgaand inzicht gecreëerd in de IT-omgeving, waarmee de IT voorspelbaar wordt. Met behulp van een framework van voorgeselecteerde producten en diensten ondersteunt Ymor bij het optimaliseren en bewaken van de IT-omgeving. De inzet van monitoring, validatie en regie helpt klanten te groeien van reactief naar preventief beheer, waarmee de business optimaal ondersteund wordt. Alle producten en diensten zijn flexibel toepasbaar om optimaal aan te sluiten bij de organisatiedoelstellingen.