Laten we het de usability onderzoek paradox noemen. Usability experts als Jakob Nielsen en Steve Krug zeggen dat usability testen simpel en goedkoop kan. Tegelijk vragen usability bureaus duizenden euro’s voor het uitvoeren van zulke tests. En het mooiste is dat de experts, mezelf incluis, stug volhouden dat usability tests simpel en makkelijk moeten kunnen.
Om een brug te slaan tussen deze schijnbare uitersten geef ik hier een aantal tips voor het opzetten van een usability onderzoek. Zoals altijd gaat het me daarbij niet om perfect wetenschappelijk verantwoorde methoden, maar om het gewoon fatsoenlijk uitvoeren van je test opzet zodat je er echt iets van kunt leren.
1. Werving deelnemers voor je onderzoek
Een veelgestelde vraag: hoeveel deelnemers moet ik in mijn test hebben en in hoeverre is het belangrijk dat hun profielen matchen met die van mijn doelgroep?
Mijn eerste neiging is om te zeggen dat de grootste usability problemen door iederen worden gevonden. Als jouw homepage voor een huisvrouw van 45 onduidelijk is, is dat waarschijnlijk ook zo voor een student van 25. Tegelijk is het natuurlijk niet verstandig jouw ringtone-download-paradijs te testen met bejaarden. Als je de mogelijkheid hebt, zoek dan deelnemers die zo dicht mogelijk bij de spreiding van je doelgroep komen. Als dat veel moeite kost, test dan liever met iemand die niet precies past, maar met wie je wel snel aan de slag kunt.
Zorg in ieder geval dat je testpersonen niet bekend zijn met je organisatie of product. Het is beter om de schoonmaker van de gang te trekken en die te laten testen, dan de webredacteur van de website die je test.
Verder is het goed om je deelnemers te vragen naar hun computer- en internetervaring. Probeer zowel ervaren mensen als beginners in je onderzoek mee te nemen. Zij kiezen vaak andere ingangen en nemen op basis van andere criteria beslissingen. Zorg dat je van elke deelnemer in ieder geval weet hoelang hij ervaring heeft met internet, hoeveel tijd hij elke week online is en welke dingen hij online (zowel voor werk als prive) doet. Dat geeft je al een heel behoorlijk beeld van de ervaring van die persoon en helpt je na afloop wellicht je bevindingen te verklaren.
Tot slot: er zijn speciale bureaus voor werving van testpersonen. Deze kosten vaak minder dan 100eur per deelnemer voor de werving (incl. onkostenvergoeding van 25-50eur), en die worden dan echt geselecteerd op jouw criteria. Voor sommige organisaties is dat een prima oplossing, veel usability bureaus gebruiken ook deze methode omdat het zelf werven van deelnemers veel tijd kost.
2. Een rustige testlocatie en testdeelnemer op haar gemak
Lege vergaderruimtes zijn vaak een fijne locatie voor een usability test. Je hebt genoeg ruimte en je wordt niet gestoord. Het mooiste is als je een setup kunt maken waarbij je niet bij de testpersoon op schoot hoeft te zitten, bijvoorbeeld door een monitor, keyboard en muist op een laptop aan te sluiten.
Jij, de observator, kijkt mee op de laptop terwijl de deelnemer zijn taken uitvoert via zijn toetsenbord en losse monitor als ware het een gewone desktop computer. Jij zit aan de kop van de tafel, de deelnemer 2 stoelen verderop zodat zij zich niet teveel bekeken voelt.
Herinner je deelnemer eraan dat niet zij, maar de website getest wordt en dat alle feedback nuttig is. Verder scheelt het als je duidelijk maakt dat de website niet jouw levenswerk is (ookal is het dat wel), en de deelnemer zich dus geen zorgen hoeft te maken over haar kritische opmerkingen of onkunde jouw gedrocht te bedienen.
Je kunt, om het echt netjes te doen, ook een uitleg op papier geven die de deelnemer kan doorlezen voordat de test begint. Dan weet je zeker dat je niks vergeet. Als je de deelnemer gaat opnemen, is het verstandig dit te vermelden en evt. zelfs te laten tekenen voor het feit dat je de beelden later kunt gebruiken om aan je opdrachtgever te laten zien.
Als je een intranet of andere werkapplicatie test, kijk dan of je gewoon bij de deelnemer aan zijn normale werkplek kunt zitten. Een natuurlijke omgeving is altijd beter dan een “laboratorium” setup, maar vanwege drukte en afleiding niet altijd de beste keuze.
3. Nuttige opdrachten voor de grootste winst
Vooraf schrijf je de opdrachten op die de deelnemer moet uitvoeren. Ga ervanuit dat je niet meer dan een uur de tijd hebt per deelnemer, hou je opdrachten dus beperkt. Kies 2 of 3 taken die echt belangrijk zijn voor het succes van je website.
Daarbij is het aan te raden de taken te verpakken in een scenario, een verhaaltje waarin de deelnemer zich kan verplaatsen. Voor het recente usability onderzoek van Eduhub was dit het scenario:
Je krijgt een promotie bij je huidige werkgever. In je nieuwe functie zul je vaak moet presenteren aan je onder- en bovengeschikten. Je hebt hier tijdens je opleiding wel mee geoefend maar dat is alweer een tijdje geleden en sindsdien heb je niet veel geoefend. Ga op zoek naar een geschikte cursus om je kennis en vaardigheden bij te spijkeren.
Dit is een heel brede opdracht, omdat Eduhub nog niet klaar is en we slechts met een prototype van de site konden testen. We wilden leren welke informatie de deelnemers nodig hadden en welke routes ze door de site zouden bewandelen. Als je nog in het beginstadium van een website zit, is het slim om niet te specifieke opdrachten te geven zodat je de deelnemer de ruimte geeft om jou te leren hoe zij denkt. Als je een bestaande website test kun je natuurlijk specifieker zijn om bepaalde functionaliteiten te testen.
Een aanrader is het om de deelnemer niet op je homepage te laten beginnen, maar met een lege browser. Het is leerzaam om te zien welke weg ze bewandelt: direct Google’en, welke keywords gebruikt ze, tikt ze je webadres in? Daarbij kan het ook leerzaam zijn de deelnemer eerst bij wat concurrenten te laten rondkijken zodat je ook daarvan leert wat wel en niet goed werkt. Bij de Eduhub test lieten we de deelnemers eerst 10 minuten zelf rondzoeken op internet om te kijken waar ze terecht zouden komen.
Pas altijd op dat je de opdrachten niet te specifiek maakt. Dus niet “Ga naar het onderdeel Abonnementen en schrijf je in voor de nieuwsbrief”, maar gewoon “Schrijf je in voor de nieuwsbrief”. Probeer hierbij uit te gaan van het doel van de gebruiker, niet van de uiteindelijke taak die op de website uitgevoerd moet worden.
4. Hardop denken en je manier van vraagstellen
Voor een simpele usability test vraag je de deelnemer altijd om zoveel mogelijk hardop te denken. Bij de meeste mensen gaat dit vrij natuurlijk. Je kunt daarnaast wat extra vragen stellen om dingen te verduidelijken. Als iemand bijvoorbeeld twijfelt op een pagina vraag je “Waar zoek je naar?” of “Wat verwacht je hier te vinden?”.
Als de deelnemer bijvoorbeeld zegt “Ik zie hier wel heel veel informatie”, vraag dan: “Welke informatie zie je allemaal staan?”. Dit klinkt triviaal, maar vaak hoor je dan dat iemand bepaalde dingen compleet over het hoofd ziet of gewoon niet begrijpt wat er staat.
Zorg dat je vragen altijd open zijn, dus niet met ja of nee te beantwoorden. Dus niet “Vind je deze homepage duidelijk?”, maar “Wat denk je dat je op deze website kunt doen?”.
Wees terughoudend met hulp aan de gebruiker, je wilt liever dat ze het zelf probeert op te lossen. Als er echt iets mis gaat (zoals bij een prototype ongetwijfeld gebeurt) kunje natuurlijk ingrijpen en even uitleggen dat sommige dingen nog niet werken zoals het hoor, en dat dit geen probleem is voor de test. Als een gebruiker “vastloopt”, probeer dan door vragen te stellen te achterhalen wat het probleem precies is en hoe het opgelost zou kunnen worden: “OK, we komen nu even niet verder, wat zou je nu het liefst willen zien om wel verder te kunnen?”.
5. Observaties vastleggen en verwerken
Zoals Nielsen zegt: “All you really need is a user and your notepad”. Schrijf je belangrijkste bevindingen natuurlijk op, maar zeker ook de vragen en opmerkingen van je testgebruikers. Als je de faciliteiten hebt kunnen een webcam en microfoon (in veel nieuwe laptops ingebouwd) helpen om de gezichtsuitdrukkingen op te nemen. Die zijn vooral nuttig in briefings aan anderen die de usability test niet hebben bijgewoond. Maar ook voor jezelf om een bepaald stuk nog eens terug te kijken en je eraan te herinneren hoe lastig een bepaald onderdeel voor de gebruiker was.
Verder is het leuk om het scherm van de gebruiker op te nemen met een screencapturing programma. Camtasia is hiervoor het meestgebruikte programma, en er zijn ook veel gratis programma’s die ongeveer hetzelfde doen. Dit is ook weer voor anderen goed om te zien, met name mensen die de website hebben ontworpen of gebouwd.
Noteer trouwens niet alleen de dingen die misgingen, maar juist ook wat goed ging. Al was het alleen al om aan de verantwoordelijken voor de website te laten zien dat sommige dingen die ze hebben gemaakt, juist goed zijn. Deze dingen zijn soms net zo leerzaam als de ontluisterende fouten, en bieden uitkomst als er een redesign komt (“Willen we deze feature wel veranderen, hij werkte immers goed in de test…”)
Vraag na afloop van de test nogmaals aan de gebruiker wat zij prettig of juist vervelend vond aan het gebruik van de site. En of er nog informatie of onderdelen ontbraken, of andere onverwachte dingen gebeurden.
Jouw ervaringen en tips?
Dit waren een paar dingen die mij zo te binnen schoten. Als je wat vaker gaat testen, lees dan een keer een boek over usability testing want dan krijg je toch wat meer informatie binnen đ
Verder ben ik benieuwd naar jullie praktische tips. Zowel van de professionele usability onderzoekers (die zich maar weinig laten horen! ;)) als de gelegenheidstesters. Wat moet een startende usability tester echt niet vergeten, en welke beginnersfout heb je zelf gemaakt?
usarchy.com 
Ruben, mooi stuk. Zelf zie ik graag een aanvulling op punt 3: de 1e opdracht die men uitvoert laat ik graag een eigen opdracht zijn. Dit doe je door een simpele vraag te stellen “wat zou je op deze website willen/kunnen doen?” en dit hen vervolgens uit laten voeren. Voordeel: natuurlijke manier van onderzoeken, en als veel deelnemers niet doen wat wel een belangrijk doel is van de website, is dit natuurlijk belangrijke informatie.
LikeLike
Prima verhaal, al mis ik de relatie van ’t geheel met de eerste alinea over de kosten đ
Bij punt 1:
“Als jouw homepage voor een huisvrouw van 45 onduidelijk is, is dat waarschijnlijk ook zo voor een student van 25.”
> Dat zou ik omdraaien.
Bij punt 3:
’t is inderdaad een heel goed idee om respondenten met een lege browser te laten beginnen. ’t Is ook cool om je prototype als zoekresultaat in een google-hack te zetten en ze zo helemaal via een natuurlijk weg erin te krijgen (of met een beetje pech en een slecht snippet helemaal niet đ ).
De vraag âĂĂșwat zou je op deze website willen/kunnen doen?âĂĂč is heel vrij en (denk ik) goed geschikt voor ‘fun’ sites. Ook op ‘utilitaire’ sites kan je beginnen met een ‘eigen opdracht’. Omdat het echter niet heel aannemelijk is dat iemand ‘zomaar’ een dergelijke site bezoekt proberen we in het voorgesprek altijd te vissen naar ‘iets wat je nu wilt weten over [onderwerp van site] / wat je nu moet regelen m.b.t. [onderwerp van site] / etcetera’, om vervolgens daarmee te starten.
LikeLike
Pingback: Nederlandse online marketing blog kermis #8 - 7 mei 2008 | Enthousiasmeren
Leuk om te lezen, het usability testen in a nutshell.
Je tip om Camtasia te gebruiken voor het observeren en vastleggen deel ik gedeeltelijk, mijn ervaring is dat het verwerken van die opnames nogal bewerkelijk kan zijn. Een scene eruit knippen t.a.v. de opdrachtgever kost wel heel wat tijd. Een veel beter product van dezelfde fabrikant is Morae (http://www.techsmith.com/morae.asp), specifiek gericht op usbaility testen incl de mogelijkheid om aantekeningen te maken wat dan direct een marker vormt in de opname. Maar goed deze tool zal je zeker kennen, vraag me alleen af waarom je Camtasia noemt, omdat Morae aanzienlijk meer kost?
Als je toch gebruik maakt van Camtasia is het aan te raden om bij je notities de systeemtijd, de klok die je in de statusbar zichtbaar hebt gemaakt op de pc van de testpersoon, te noteren dat maakt het iets beter terug te vinden.
Wat ik zelf ook altijd erg belangrijk vind bij het begeleiden van de testpersonen is om dit op maat te doen, aangepast aan de persoonlijkheid van de testpersoon. Bij de ene kan je direct achter de spiegelwand gaan zitten, bij de andere (onzekere) passief ernaast, persoon x heeft voldoende aan een toelichting op papier, persoon y geef ik alleen een mondelinge toelichting. Etc.
Het maken van aantekeningen kan het observeren in de weg zitten, doe dat dus slim en maak gebruik van afk’en en probeer de bevindingen meteen te categoriseren. Dit scheelt veel verwerkingstijd.
En tot slot de praktische tip om het goed te plannen, bepaal hoelang het uitvoeren van een opdracht mag duren (en kap het dan niet te bruut af…tact is the key) en hoelang de test totaal gaat duren, hoeveel tijd is er nodig om tussen de testpersonen te hebben? verwerk je het direct of pas na alle tests? Zorg dus dat je test planning ook usable is đ
LikeLike
Pingback: Marketeers weer los tijdens de blogkermis - Spotlight Effect - de communicatieblog van Nederland
Pingback: Online marketing kermis - mei 2008 : Flitter.nl - Online marketing weblog - Nieuwe media en online revoluties
Dit komt rechtstreeks uit het boek van Steve Krug allemaal? đ
LikeLike
Voor een nieuw te lanceren shop heb ik net 150 enqu?âątes onder vrienden en familie verspreid. Kostte welgeteld een paar uurtjes werk en 150 printjes. Niet bepaald een usability onderzoek (meer haalbaarheidsonderzoek) maar daarvoor neem ik straks gewoon weer dezelfde opzet. Vrienden en familie zijn snel tevreden (qua financi?ÂŽle vergoeding) en het is opmerkelijk hoe vaak ze ook nog eens precies in de doelgroep passen.
Aan de andere kant geloof ik ook wel een beetje in die ‘dure’ usability onderzoeken. Je zal maar een shop hebben met een paar miljoen omzet per jaar. Als die ‘button 50 pixels naar rechts’ echt 5% conversie uitmaakt dan ben je die kosten zo vergeten. Helaas geeft 90% van de mensen het geld uit aan het intrappen van open deuren maar goed, dat moeten ze zelf weten…
LikeLike
Mark: Dat kan inderdaad ook een leuke zijn voor een site met een wat meer exploratief karakter en een hele brede doelgroep, goeie!
Teun: de relatie met kosten zit hem er wat mij betreft in dat deze tips van toepassing zijn als je zelf een usability test gaat uitvoeren. Bijv het stuk over de test setup in een vergaderzaal met een laptop en een shareware screencapture programma. Dat kost allemaal niks tot weinig en geeft je toch een soort van professionele setup.
Mis je ergens nog iets, of heb je het idee dat dingen die ik noem toch veel geld kosten?
En leg die Google hack eens uit, wat doe je dan? Of maak je gewoon een fake Google pagina waar je steeds dezelfde results krijgt?
JasperR: dat is waar, videobewerking is neit altijd even makkelijk. Al begin ik iMovie voor OSX aardig door te krijgen en daarme kun je toch supersnel knippen en plakken. Maar als je met een interne opdrachtgever werkt is er toch niks mis mee om gewoon de hele video te pakken en daar doorheen te skippen a.d.h.v. momenten in de tijd die je zelf hebt opgeschreven?
Morae is wat je moet gebruiken als je inderdaad vaker dit soort werk doet, maar kost minimaal 2500$ en dan heb je nog maar 1 licentie. Camtasia heeft de belangrijkste functionaliteit ook en kost een fractie.
Je geeft goede tips mbt planning, daar moet je als observator wel scherp in zijn want soms kunnen deelnemers eindeloos los gaan terwijl jij minder tijd hebt en wel moet testen wat je wil testen đ
michel: Ik heb Don’t make me think al een tijd niet meer gelezen, heb deze tips eigenlijk uit mijn hoofd opgeschreven terwijl ik terugdacht aan eigen onderzoeken. Komt het erg overeen, of was jouw vraag niet retorisch?
Ulco: Cool om het zo te doen. Ik ben voor een usability onderzoek echter wel voor een kwalitatieve aanpak. Denk dat je meer eraan hebt om met 5-10 mensen even een half uurtje te gaan zitten en ze door je site heen te laten klikken, dan kun je ze meteen dingen vragen en dat is waar je vaak het meeste uithaalt. Helemaal mooi om het te combineren met jouw kwantitatieve aanpak of course…
LikeLike
Kosten:
Ik had het mooi gevonden als je de besparing wat concreter had gemaakt. Een leuke vergelijking tussen die “duizenden euro’s” en dit doe-het-zelf voorstel. Overigens juich ik het doe-het-zelven toe hoor! (Je zou m’n appartement eens moeten zien) đ
Google-hack:
De 2 google pagina’s nabouwen (lees Bestand -> Opslaan als -> Webpagina). Google’s resultaten ophalen via de Search API en deze, aangevuld met een resultaat dat verwijst naar het prototype, presenteren. Je krijgt inderdaad altijd dat ene resultaat verwijzend naar het protptype. De rest is afhankelijk van de query.
LikeLike
Prima post Ruben! Heerlijk om te zien dat er Nederlandstalig toch nog wel ergens over dit vakgebied wordt geblogd, al blijft de spoeling dun.
Ik heb ?©?©n aanvulling bij punt 1: Die webredacteur wil ik er toch wel graag bij hebben. Ik heb in het verleden een enkele keer meegedraaid met een uitgebreide usabilitytest en daarin zaten twee groepen testers: de uiteindelijke gebruikers en de “van de straat geplukte deelnemers” om het even heel oneerbiedig te zeggen. Die tweede groep werd ingezet zoals je inderdaad bij punt 1 beschrijft, maar die eerste groep is er om de eisen die ze zelf t.a.v. usability gesteld hebben te testen. In mijn veronderstelling komt een usabilitytest namelijk juist op de agenda te staan als in het voortraject blijkt dat er vanuit de gebruikersorganisatie eisen t.a.v. usability zijn gesteld. En die eisen kun je niet door groep 2 laten testen, althans niet allemaal. Daarvoor is wel kennis van de applicatie en organisatie nodig.
Ten slotte, wat betreft je eerste alinea, stug volhouden hoor, helemaal mee eens!
LikeLike
Pingback: MarcNext » Blog Archive » Testlinks voor 11-05-2008
Volgens mij vergeet je alleen de kosten van de interne medewerkers die een en ander moeten gaan uitvoeren. Bovendien kan ik je uit ervaring vertellen dat het veel training en vooral ervaring vergt om de resultaten van een usability test te bepalen, maar vooral om daaruit conclusies te trekken en nog moeilijker om aanbevelingen voor verbeteringen te geven. Dat lukt je vooral niet als je al betrokken en dus bevooroordeeld bent… zonder de nodige ervaring komt daar bovendien nog bij dat je aanbevelingen wlellicht het geconstateerde probleem oplossen maar niet de dieper liggende oorzaak. Ik kan me eigenlijk niet voorstellen dat je meent wat je schrijft.
LikeLike
Marnix: Als ik het niet meende schreef ik het niet op. En dat geldt ook voor mensen als Nielsen en Krug denk ik, hoor wat zij zeggen.
Wat betreft de kosten: ik zeg nergens dat websites bouwen goedkoop is. Wel ben ik ervan overtuigd dat, als je zelf usability onderzoek doet, je minder geld aan je site zult uitgeven. Simpelweg doordat je geen dingen bouwt die niet nodig blijken, en wel dingen bouwt die je later anders wellicht pas had gedaan.
Ik ben het niet met je eens dat je per se veel ervaring moet hebben om conclusies te kunnen trekken. Zeker het signaleren van problemen is voor de meeste mensen bij veel problemen vrij simpel. Het bedenken van een oplossing is een ander verhaal, daarvoor heb je zeker een interaction designer nodig. Maar daarover gaat dit stuk dan ook niet.
Vergeet niet: de klant (die dus wat mij betreft ook zelf onderzoek mag doen) bepaalt nu ook de briefing aan de webbouwer. Door zelf dichter bij de gebruikers te gaan staan, wordt die briefing beter. Het design en de implementatie moet door experts gedaan worden.
En just to be sure: ik zeg niet dat een usability expert geen waarde heeft of niet nodig is. Ik zeg alleen dat bedrijven meer onderzoek zelf moeten en kunnen doen. Ik ben benieuwd wat je van mijn stuk vindt met deze extra uitleg. Aanvullend kun je ook nog dit stuk lezen, dat op jouw lijf geschreven is: Usability Mythe #3: Usability is duur, eng en ingewikkeld.
LikeLike
Mijn ervaring is dat naarmate de website op een specifiekere doelgroep gericht is, het belangrijker is dat je proefgebruikers uit precies die doelgroepen hebt: mensen die sterk ge?Ănteresseerd zijn in de website. Die moet je werven. Factoren als leedftijd, opleiding en webervaring zijn dan minder van belang.
Het is altijd nuttig om die mensen eerst te vragen wat ze zelf op de website zouden willen zoeken of doen. Dat kan hele verrassende dingen opleveren. Laat ze het vervolgens zoeken of doen. Dat levert altijd bijzonder veel nuttige testresultaten op. Ik heb altijd moeite om over te gaan op het geven van opdrachten die ik als testleider zelf bedacht heb.
Zelf zit ik altijd naast de proefgebruiker en kijk mee naar hetzelfde scherm. Is nooit een probleem. Ik vraag ook vaak naar verduidelijking van wat de proefgebruiker doet of zegt. Daardoor ontstaan vaak gesprekjes, bijv. over hoe iets beter zou kunnen. Volgens de offici?ÂŽle hardopdenkmethode-leer zou dit het proces te veel verstoren, maar naar mijn ervaring gebeurt dit niet en levert het erg veel op. Na zo’n gesprekje gaat de proefgebruiker gewoon weer verder alsof er geen onderbreking van het hardopdenkproces heeft plaatsgevonden. Sterker nog: de proefgebruiker merkt dat er veel belangstelling is voor wat hij doet en zegt, en gaat daardoor nog meer informatie geven. Dat houdt hij ook best lang vol. Testsessies duren bij mij normaal meestal 1,5 – 2 uur, en dan kan ik er met moeite een eind aan maken.
Ik test meestal informatieve sites die niet, zoals commerci?ÂŽle sites, op een beperkt aantal taken gericht zijn (bijv. product uitzoeken en bestellen). Dan is het handig om meerdere opdrachten te verzinnen. Dan test je meer onderdelen. Het lukt meestal niet om een proefgebruiker alle opdrachten te laten uitvoeren. Per proefgebruiker kies je dan tijdens de testsessie welke opdrachten hij uitvoert. Omdat je vaak na 2 of 3 keer uitvoeren van een opdracht wel weet welke problemen optreden, hoef je die bij latere proefgebruikers niet meer te laten uitvoeren en kies je bij hen voor opdrachten die nog niet of weinig zijn uitgevoerd. Zo kun je vaak toch alle opdrachten laten uitvoeren.
Usabilit testen kan inderdaad snel en goedkoop. Zet 3 proefgebruikers achter de site, laat ze uit zichzelf dingen doen en opdrachten uitvoeren, noteer wat er mis gaat en je hebt een schat aan informatie hoe je de site kunt verbeteren. Daarom is het beter, zoals Krug en Nielsen ook beweren, de site op verschillende momenten een paar keer kort te testen, dan ?©?©n keer een test bij veel proefgebruikers uit te voeren.
Later in 2008 verschijnt bij Kluwer mijn boekje over websites testen bij gebruikers, een praktische handleiding. Daarin werk ik dit soort punten uit.
LikeLike
Absoluut een goed artikel! Dank je wel heb er zeker wat aan!
LikeLike
Goed, helder artikel, Ruben. Ik heb jarenlang in ons UX Team gewerkt, waarbij we de luxe hadden over een eigen lab. Fijn om te lezen dat waar jij over schrijft nog steeds actueel is.
Enkele aanvullingen:
Werving deelnemers voor je onderzoek
We kregen steeds meer aanvragen voor specifieke onderzoeken voor websites die gericht zijn op MKB’ers – dit blijkt een erg moeilijke doelgroep te zijn om te recruteren. Ze werken natuurlijk overdag in hun eigen zaak en als ze al kunnen dan kan het vaak pas ’s avonds. De doorsnee beloning voro het deelnemen aan een usability test (varierend van âŹÂ 50 – ⏠150) is voor iemand uit het MKB vaak niet interessant.
Tip: als je voor een opdracht mensen uit deze doelgroep moet (laten) recruteren, waarschuw je opdrachtgever dan voor de mogelijke risico’s: doorlooptijden, beperkt aantal mensen dat je waarschijnlijk kunt recruteren, etc.Â
Observatie
Omdat wij de luxe hebben van een groot lab met een grote observatieruimte, hebben wij ervaren dat het mee laten kijken van de opdrachtgever + marketeers + programmeurs + helpdeskmedewerkers van bijzondere toegevoegde waarde is. Iedereen kijkt er vanuit een eigen invalshoek naar toe en je kunt achteraf meteen een discussie voeren over hetgeen iedereen heeft kunnen zien. Je hebt hier niet eens een hele fancy omgeving voor nodig om dit te bereiken: wij hebben het meerdere malen gedaan met 2 ruimtes / hotelkamers. De ‘obseravtiekamer’ had dan een beamer om het camerabeeld en geluid op te volgen en een extra computerscherm met het beeld van de testpc.
Tip: betrek zoveel mogelijk disciplines bij de observatie.
Let op: hiervoor moet je wel groepsdiscussies kunnen leiden en het vergt meer tijdÂ
Testopdrachten
Wij lieten vaak de opzet voor de opdrachten maken door de kant van de opdrachtgever: zij hebben de inhoudelijke kennis. wat wij deden is daarna in discussie met de opdrachtgever over de opdrachten en ze daarna redigeren zodat ze niet te sturend zijn.
Opdrachten
Mijn ervaring is dat je vaak veel meer onderwerpen wilt onderzoeken dan mogelijk is. Wat ik deed is om alle onderwerpen in een matrix uitzetten tegen het aantal deelnemers zodat je een overzicht kunt bijhouden welke onderwerpen nog niet aan bod zijn gekomen.
Dan kun je samen met de opdrachtgever tijdens het onderzoek bepalen welke onderwerpen al dan niet nog aan bod hoeven komen.
Hardop nadenken vs surfen
Dit was een discussie waar we destijds nog geen pasklaar antwoord op hadden. Door het verwoorden van je gedachten kun je de vraag kunt stellen of deelnemers niet teveel daardoor worden geleid in hun handelingen. Als mensen niet hardop nadenken kunnen ze andere handelingen vertonen. Dit is vooral een discussie die speelt toen wij eye-tracking installeerden en zijn gebruiken. Benieuwd of deze discussie elders ook heeft gespeeld en wat de laatste zienswijzen hierop zijn
Dit was het voor even nu. Mocht mij nog wat te binnen schieten, dan post ik nog een berichtje.
LikeLike
Joris: Thanks voor je uitgebreide aanvullingen! Dat van die MKBers heb ik inderdaad ook gemerkt in onderzoeken voor Reed Business, maar wij lieten RB daar zelf de deelnemers optrommelen en dan was het zo gepiept đ MKBers vinden de beloning niet interessant, maar het usability onderzoek zelf wel…
Observatie: zeker waar, zoals in mijn recentere stuk betoogd; ik denk dat het leren van die observatie zelfs meer kan zijn dan de exacte bevindingen zelf. In Morae zit hiervoor een feature ingebouwd trouwens, om over het netwerk de beelden te delen.
Over hardop denken (en het zg. alternatief hardop denken achteraf met evt. eyetracking beelden erbij) is inderdaad het laatste woord nog niet gezegd. O.a. bij Marketingfacts is hierover gediscussieerd in het artikel Don’t make me think aloud.
LikeLike
Beste Ruben,
Ik ben bezig met afstuderen en kwam viavia bij jouw weblog uit. Echt super fijne informatie om mijn rapport te onderbouwen. Maar nu kwam ik Marketingfacts in dit verhaal tegen en ik vroeg mij af of jij al bekend bent met NaamlooZÂ of Lifehacking(beide netwerken met creatieve mensen o.a. op dit gebied). Lijkt me beide iets voor jou(o.a. marketingfacts is daar ook bij betrokken).
Groetjes Anita
Kijk voor meer informatie op:
http://naamlooz.nl/
LikeLike
Hi Anita,
Dank voor je positieve reactie. Ik ken ze beiden en schrijf zelf ook op Lifehacking.nl (nou ja, so far 1 artikel). Naamlooz mailings krijg ik maar ben er nog nooit heengeweest, kwam altijd slecht uit, en wonen in Zurich helpt ook niet echt momenteel đ
LikeLike
Pingback: Usability Research at ting
Pingback: Opdracht 2 - Belastingdienst at tingyuen
Interessant om te lezen. Veel van onze klanten doen usability onderzoek enkelen daarvan zijn de ‘usability bureaus’ in Nederland. Onze dienstverlening is juist het leveren van exact die deelnemers die voldoen aan het profiel dat de opdrachtgever wenst. Dus wij zorgen ervoor dat 8 moeders van kind tussen de 2 en 10 jaar en kopend in hogere kleding segment worden uitgenodigd voor een webtest van een high market kinderkleding webshop. Tussenpersonen voor de nieuwe site van een verzekeraar etc. In Amsterdam hebben we ook een studio met mirror-wall en DVD opname mogelijkheden waar de tests uitgevoerd kunnen worden. De deelnemers krijgen een vergoeding voor hun medewerking. Ons bureau rekent een fee voor het maken van een afspraak met iemand uit de juiste doelgroep. Dus ook voor de doe-het-zelver zijn ligt de weg naar goede deelnemers voor de test binnen handbereik. Als we iets voor je kunnen betekenen dan vernemen we het graag.
Merik te Grotenhuis CG Selecties
LikeLike