Er moet me iets van het hart. Usability is niet de oplossing. Het is niet eens een echt antwoord, als ik eerlijk ben. Nee, meestal levert usability onderzoek juist meer vragen en onzekerheden op. Usability onderzoek levert niet het onomstotelijke wetenschappelijke bewijs, het geeft je niet gelijk of ongelijk. En vaak weet je vantevoren niet precies wat je ervan gaat leren. Daarover gaat dit artikel in de Usability Mythen serie.

Statistisch verantwoord?

Een vraag die vaak gesteld wordt is of een usability onderzoek wel betrouwbaar is. Of het nu gaat om een gebruikersonderzoek, webstatistieken of zelfs een expert review. Levert het wel statistisch significant bewijs? Zijn de cijfers wel betrouwbaar te extrapoleren naar de rest van het jaar, de doelgroep, de markt of de website?

Nee, meestal niet. Maar dat is ook niet erg. Het is simpelweg niet relevant en efficiënt om te verwachten dat usability onderzoek wetenschappelijk perfect te krijgen is. Laat dat maar aan wetenschappers over, die zijn daar toch beter in dan jij met je marketing team. Uit onderzoek blijkt bijvoorbeeld dat eyetracking heatmaps stabiel zijn bij meer dan 30 respondenten. Maar dat betekent niet dat je niks kunt leren van die eerste 29 gebruikers!

Matcht de doelgroep met respondenten?

Een vriend van mij is dokter en kon me wel schieten toen ik vertelde over het usability onderzoek van Eduhub waarbij we met 6 gebruikers testten. Hoe konden mijn conclusies nou ergens op slaan, die 6 mensen kwamen allemaal uit Groningen en hadden misschien wel hele rare achtergronden en denkbeelden!

Gelukkig zijn er bureaus die respondenten voor je regelen en daarbij rekening kunnen houden met je wensen omtrent geslacht, opleiding en interesses. Maar in mijn ervaring maakt het weinig uit of iemand MBO of Universiteit heeft afgerond. En zelfs of iemand 20 of 40 is, werkeloos of workaholic. De meeste mensen ondervinden de meeste usability problemen. Als jouw bestelproces vaag is,is het voor mij, mijn moeder en mijn (digibetische) vriendin ook vaag.

Factoren als internet ervaring en interesses zijn vaak belangrijker dan demografische kenmerken. Denk bijvoorbeeld aan de sites die iemand al gewend is te gebruiken, dat bepaalt misschien of de interactie patronen makkelijk of moeilijk te begrijpen zijn.

Is de methode wel te interpreteren?

Ook veel gehoord: “Maar deze cijfers kunnen met een beetje fantasie ook het tegenovergestelde aantonen!”. Bijvoorbeeld het hanteren van aantal pageviews per bezoek als succesfactor. Veel pageviews kan betekenen dat iemand heel tevreden is met de site, maar misschien kan de bezoeker juist niet vinden wat ‘ie zoekt… Zoals bij alle vormen van (online) onderzoek geldt dat je je aannames moet staven.

In het voorbeeld van de pageviews (uit webstatistieken) kun je met een enquete achterhalen of je bezoekers ook wel echt tevreden zijn. En andersom kun je je usability gebruikerstest resultaten staven door te kijken of je dezelfde patronen in je webstatistieken terugvindt.

En wat een usability expert zegt kan haaks staan op jouw eigen bevindingen. Bijvoorbeeld omdat jij een specifieke vreemde doelgroep hebt die zich anders gedraagt, of omdat je gebruikers al aan je site gewend zijn (denk aan het zooitje van Hyves). Wat je in eyetracking onderzoek leert kun je vaak op 10 manieren interpreteren. Het is dan zaak om de grote lijnen eruit te halen en te staven met andere cijfers en onderzoek om te zien of mensen inderdaad die oranje knop niet zien of depressief raken van jouw lange teksten.

Maakt het dan allemaal niks uit?

Ik wil niet zeggen dat het nutteloos is om te proberen respondenten te werven die in je doelgroep vallen. Die ringtone download website kun je beter niet met bejaarden testen. Van mij mag (moet!) je best nadenken over de betrouwbaarheid van cijfers en andere bevindingen.

Maar de tijd die je daarmee kwijt bent en de weerbarstigheid van praktijk vs. theorie zorgen ervoor dat je vaak beter je tijd kunt steken in andere dingen. Zoals het ontwerpen van verschillende varianten van webpagina’s om ze in kleine stappen te testen.

Usability onderzoek gaat wat mij betreft dus om het krijgen van inspiratie om verder mee te testen. Je ziet die ene gebruiker iets geks doen en vraagt je af wat dat betekent. Of je krijgt het gevoel dat iedereen eigenlijk helemaal geen behoefte heeft aan die coole nieuwe feature (dat gebeurde bij Eduhub…). Of je wordt weer even met je neus op feiten gedrukt die je eigenlijk al wist (goh, ze lezen die teksten toch wel, als ze eenmaal geïnteresserd zijn!).

Probeer niet teveel eisen te stellen aan de betrouwbaardheid van je usability onderzoek. Maar doé het gewoon, doe het vaak en kijk wat je ervan leert…