Usability mythe #4: Usability onderzoek geeft het antwoord

WetenschappersEr moet me iets van het hart. Usability is niet de oplossing. Het is niet eens een echt antwoord, als ik eerlijk ben. Nee, meestal levert usability onderzoek juist meer vragen en onzekerheden op. Usability onderzoek levert niet het onomstotelijke wetenschappelijke bewijs, het geeft je niet gelijk of ongelijk. En vaak weet je vantevoren niet precies wat je ervan gaat leren. Daarover gaat dit artikel in de Usability Mythen serie.

Statistisch verantwoord?

Een vraag die vaak gesteld wordt is of een usability onderzoek wel betrouwbaar is. Of het nu gaat om een gebruikersonderzoek, webstatistieken of zelfs een expert review. Levert het wel statistisch significant bewijs? Zijn de cijfers wel betrouwbaar te extrapoleren naar de rest van het jaar, de doelgroep, de markt of de website?

Nee, meestal niet. Maar dat is ook niet erg. Het is simpelweg niet relevant en efficiënt om te verwachten dat usability onderzoek wetenschappelijk perfect te krijgen is. Laat dat maar aan wetenschappers over, die zijn daar toch beter in dan jij met je marketing team. Uit onderzoek blijkt bijvoorbeeld dat eyetracking heatmaps stabiel zijn bij meer dan 30 respondenten. Maar dat betekent niet dat je niks kunt leren van die eerste 29 gebruikers!

Matcht de doelgroep met respondenten?

Een vriend van mij is dokter en kon me wel schieten toen ik vertelde over het usability onderzoek van Eduhub waarbij we met 6 gebruikers testten. Hoe konden mijn conclusies nou ergens op slaan, die 6 mensen kwamen allemaal uit Groningen en hadden misschien wel hele rare achtergronden en denkbeelden!

Gelukkig zijn er bureaus die respondenten voor je regelen en daarbij rekening kunnen houden met je wensen omtrent geslacht, opleiding en interesses. Maar in mijn ervaring maakt het weinig uit of iemand MBO of Universiteit heeft afgerond. En zelfs of iemand 20 of 40 is, werkeloos of workaholic. De meeste mensen ondervinden de meeste usability problemen. Als jouw bestelproces vaag is,is het voor mij, mijn moeder en mijn (digibetische) vriendin ook vaag.

Factoren als internet ervaring en interesses zijn vaak belangrijker dan demografische kenmerken. Denk bijvoorbeeld aan de sites die iemand al gewend is te gebruiken, dat bepaalt misschien of de interactie patronen makkelijk of moeilijk te begrijpen zijn.

Is de methode wel te interpreteren?

Ook veel gehoord: “Maar deze cijfers kunnen met een beetje fantasie ook het tegenovergestelde aantonen!”. Bijvoorbeeld het hanteren van aantal pageviews per bezoek als succesfactor. Veel pageviews kan betekenen dat iemand heel tevreden is met de site, maar misschien kan de bezoeker juist niet vinden wat ‘ie zoekt… Zoals bij alle vormen van (online) onderzoek geldt dat je je aannames moet staven.

In het voorbeeld van de pageviews (uit webstatistieken) kun je met een enquete achterhalen of je bezoekers ook wel echt tevreden zijn. En andersom kun je je usability gebruikerstest resultaten staven door te kijken of je dezelfde patronen in je webstatistieken terugvindt.

En wat een usability expert zegt kan haaks staan op jouw eigen bevindingen. Bijvoorbeeld omdat jij een specifieke vreemde doelgroep hebt die zich anders gedraagt, of omdat je gebruikers al aan je site gewend zijn (denk aan het zooitje van Hyves). Wat je in eyetracking onderzoek leert kun je vaak op 10 manieren interpreteren. Het is dan zaak om de grote lijnen eruit te halen en te staven met andere cijfers en onderzoek om te zien of mensen inderdaad die oranje knop niet zien of depressief raken van jouw lange teksten.

Maakt het dan allemaal niks uit?

Ik wil niet zeggen dat het nutteloos is om te proberen respondenten te werven die in je doelgroep vallen. Die ringtone download website kun je beter niet met bejaarden testen. Van mij mag (moet!) je best nadenken over de betrouwbaarheid van cijfers en andere bevindingen.

Maar de tijd die je daarmee kwijt bent en de weerbarstigheid van praktijk vs. theorie zorgen ervoor dat je vaak beter je tijd kunt steken in andere dingen. Zoals het ontwerpen van verschillende varianten van webpagina’s om ze in kleine stappen te testen.

Usability onderzoek gaat wat mij betreft dus om het krijgen van inspiratie om verder mee te testen. Je ziet die ene gebruiker iets geks doen en vraagt je af wat dat betekent. Of je krijgt het gevoel dat iedereen eigenlijk helemaal geen behoefte heeft aan die coole nieuwe feature (dat gebeurde bij Eduhub…). Of je wordt weer even met je neus op feiten gedrukt die je eigenlijk al wist (goh, ze lezen die teksten toch wel, als ze eenmaal geïnteresserd zijn!).

Probeer niet teveel eisen te stellen aan de betrouwbaardheid van je usability onderzoek. Maar doé het gewoon, doe het vaak en kijk wat je ervan leert…

14 gedachten over “Usability mythe #4: Usability onderzoek geeft het antwoord

  1. Ruben Timmerman Berichtauteur

    Het ging in dit geval om de “Mijn Eduhub” functionaliteit. Daar waren de reacties eensgezind op: “Ik zou zeker geen login aanmaken als ik gewoon een training wil zoeken”.

    We gaan die functionaliteit nog wel gebruiken, maar heel gefaseerd als onderdeel van andere conversiepunten zoals brochure aanvragen. Hier hebben we het natuurlijk in het interactie ontwerp proces al over gehad, dus in die zin is het niks nieuws.

    Maar de gebruikers in het onderzoek drukten mij met de neus op het feit dat we Mijn Eduhub pas moeten bouwen als we alle andere dingen af hebben, dat was toch waardevol voor me.

    Like

  2. Website ontwikkeling deventer

    Goed artikel. Het is kritiek op een deel van je eigen werkzaamheden natuurlijk, maar ik denk dat je volkomen gelijk hebt. Zo zit ik regelmatig bij klanten aan tafel waar er een discussie heerst over de zoekfunctie binnen de sites.

    Moet je die nou heel prominent in beeld tonen of juist niet? Een stem voor zegt ja natuurlijk als ze iets uit het verleden willen zoeken vind je dat niet gemakkelijk terug en een stem tegen zegt nee, als je website goed is hoeven ze helemaal niet te zoeken.

    Om te meten of het echt aan je site ligt zul je die gegevens ook moeten staven met de zoekwoorden die worden gebruikt. Vaak valt hier een hoop van te leren, maar ook deze kun je weer, wat je zegt, op 10 manieren uitlezen.

    Ik denk dat het A/B testen een heel erg interessante testmethode is. Ookal heeft die beperkingen.

    Zelf ben ik momenteel aan het testen met heatmaps. Deze laten mij eenvoudig zien waar mensen op de website op klikken en waar juist niet op. Ook deze manier kan ik op een eenvoudige manier veel informatie verzamelen over mijn website en haar bezoekers.

    Like

  3. Orhan

    Een beetje als wetenschap, het levert vaak meer vragen op dan antwoorden.

    Wat ik dan weer erg interessant vind, van welk eyetracking software / heatmap software maak(te) jij gebruik?

    Like

  4. Webmaster

    Je heb gelijk, vooral de zin; ‘Denk bijvoorbeeld aan de sites die iemand al gewend is te gebruiken, dat bepaalt misschien of de interactie patronen makkelijk of moeilijk te begrijpen zijn.’  Vind ik heel goed, daarvoor moet je wel goed je doelgroep weten, hoe oud ze zijn enzovoorts want het web is te groot om anders precies te zijn. Wel zou je kunnen voor grote algemene websites zoals google, hotmail ebay postbank  etc.

    Like

  5. Pingback: Betrouwbaarheid van usability-onderzoek : Flyers Internet Communicatie Weblog

  6. Pingback: Eduhub’s ontstaan: Persona’s, functionaliteiten, logo en de sales pitch - Frankwatching

  7. Vertaalbureau Engels

    Ook moet je niet vergeten dat de situatie vaak erg kunstmatig is. Ik heb toen ik nog studeerde wel eens meegewerkt aan kleine onderzoekjes over hoe bezoekers een website ervaren, maar als je achter een vreemde computer in een vreemde omgeving wordt gezet, en je moet een website ‘bezoeken’ die je anders nooit interessant zou vinden, dan lijkt het me niet echt representatief.

    Dus ik ben blij met je nuchtere conclusie 🙂

    Like

  8. Pingback: Interaction designer neccesities « Lablucy’s blog

  9. Pingback: Usability research « Lablucy’s blog

  10. Pingback: E-commerce research resources « Interaction design

  11. Pingback: Eduhub’s ontstaan: Persona’s, functionaliteiten, logo en de sales pitch - Usarchy

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s