9 opvallende multivariate en A/B testen uit 2007

http://pagead2.googlesyndication.com/pagead/show_ads.jsMultivariate test met Google website optimizer Multivariatie en A/B testen zijn wat mij betreft de heilige graal van conversieverhoging. Met die testmethoden kun je onderzoeken welke vorm van een pagina het beste resultaat oplevert, door simpelweg alle combinaties tegelijk te testen. Ik heb met beide test methoden echter nog weinig ervaring. Veel van mijn opdrachtgevers zijn er nog niet klaar voor. Met Google’s Website Optimizer is multivariate (of multivariatie of multivariaat?) is dit testen echter heel makkelijk geworden. Meer uitleg vind je bij Netters, Netprofiler en Usabilityweb.

Jonathan Mendez heeft op zijn goede blog Optimize en Prophesize een overzicht gemaakt van zijn meest opvallende testresultaten van 2007:

  1. Wel tonen van hoofdnavigatie op landingspagina heeft grootste invloed op conversie.
    Vaak wordt gezegd dat je op landingspagina’s de navigatie moet weglaten, zodat alle aandacht naar de conversie call to action uitgaat. Eerder schreef ik met afschuwen over IMDB die ook zoiets doen.
    In deze test van Jonathan blijkt het tegenovergestelde: de hoofdnavigatie had van alle geteste factoren juist de grootste positieve invloed op conversie. Verklaring is dat mensen wel vertrouwen nodig hebben in de site, en door dde navigatie krijgen ze die. Daar blijkt immers ook uit om wat voor site het gaat, en dat kan bijdragen aan dat vertrouwen.
  2. Verschillende kleuren en vormen call to action’s nodig op verschillende pagina’s
  3. Best practices bestaan eigenlijk niet meer, is de conclusie van dit onderzoek van Marketingsherpa (registratie verplicht). Zelfs per pagina presteert de ene button beter dan de andere. Jonathan trekt deze conclusie, waar ik me in kan vinden:

    Bottom line is that the web is just too dynamic and evolving too fast as a medium to say what is good today will be good tomorrow. Or what worked for you will work me.

    This gives birth to a new best practice.

    ABT…always be testing.

    Behavioral targeting is hier natuurlijk een uitvloeisel van: Niet de pagina, maar de gebruiker is bepalend voor hoe alles eruit ziet. Als jij kennelijk vaker op rode knoppen klikt, krijg jij voortaan alleen nog maar rode knoppen!

  4. 3 bullets en een call to action hebben een hogere conversie dan een beschrijving van de dienst.
    Kun je niet ergens gewoon een paar bullets van maken? Kun je het op zijn minst testen?Bepaald geen verrassend resultaat. Zelfs als je niet helemaal uit kunt leggen wat je verkoopt kan je meer verkopen. Door slechts een kleine opsomming te geven die wel wordt gelezen, win je van een complete tekst die helemaal wordt genegeerd.
    Kijk eens naar je eigen site en beeld je in je dat alles van meer dan 2 regels wordt genegeerd. Kun je niet ergens gewoon een paar bullets van maken? Kun je het op zijn minst testen?
  5. Meer keus is minder conversie
    Het begrip Paradox of choice is dit jaar alom gehyped. Ook in usability gaat het meestal op. Als je meer opties geeft, wordt de totale conversie lager: mensen kiezen liever niks als het ze moeilijk wordt gemaakt. Jonathan noemt hier de cases die Barry Schwartz in zijn boek “The Paradox of choice: why more is less” aanhaalt.
    De truc is om op overzichtspagina’s het perfecte aantal opties te vinden. 1 optie is geen optie, maar op een gegeven moment slaat de twijfel toe en zijn er kennelijk teveel opties.
  6. Een (extreem) lange landingspagina werkt beter dan een korte
    SEOMoz hield een competitie: wie maakt de beste landingspagina? De winnaar was niet de meest concrete, korte pagina. Nee, het was een idioot lange pagina stampvol met redenen om te converteren, met onderaan een grote knop. Je gelooft je ogen niet, maar dit was de winnaar. De nummer 2 was echter zeer dichtbij, toch wel een ander soort pagina maar kennelijk ook goed voor de conversie.
  7. Opt-out i.p.v. opt-in verhoogt intentie
    Checkboxes bij routebeschrijving websiteDeze is wat ingewikkelder, maar wel heel interessant. Op een website voor routebeschrijvingen krijgt de gebruiker naast de gewone invulvelden 3 extra checkboxes om bij de route ook banken, restaurants en benzinestations te zien. Als die checkboxes allemaal aanstaan, worden er meer zoekopdrachten gedaan. Conclusie is dus dat mensen door die checkboxes meer intentie krijgen om zoekopdrachten te doen.

    Of misschien dat mensen het aanzetten van die checkboxes vermoeiend vinden, en daardoor minder zoekopdrachten doen… Jonathans verhaal over creating intent verhaalt hierover.

  8. Voordelen vervangen door groter plaatje verhoogt conversie
    Het grotere plaatje bij een product voegt in feite niets toe. Sterker nog, door de voordelen weg te halen lijkt er minder reden overtuigd te raken. Toch werd conversie hierdoor verhoogd.
    Experimenteer dus zelfs als het rationeel niet te verantwoorden is! Het gaat bij conversieverhoging niet om de redenen, maar om het resultaat.
  9. “Googleizing” de pagina i.p.v. marketing content verhoogt conversie
    Zoals hij het zelft zegt, “Googleizing” de pagina verhoogt zo’n beetje alle metrics. Ik kan het me goed voorstellen, zeker als de marketing content wordt verwijderd. Die komt immers “spammy” over, mensen overtuigen zichzelf liever dan dat ze overtuigd worden door gladde praatjes. Als je dan ook nog eens een zoekfunctie toevoegt (nog afgezien van het nut van de zoekfunctie!), kom je sneller als betrouwbaar over.
  10. De kleine lettertjes prominent weergeven verhoogt conversie
    Deze is ook prachtig: de kleine lettertjes die niemand zou willen lezen werden juist als gewone content duidelijk op de pagina geplaatst. Kennelijk verhoogde ook dit het vertrouwen van de gebruikers. Ik schreef ooit trouwens over de idiote gebruiksovereenkomsten die mensen zonder te lezen tekenen.

Conclusie: bezoekers weten meer dan je denkt

De conclusie die Jonathan uit zijn ervaringen trekt is misschien wel het interessantst. Gebruikers zijn niet afhankelijk van jouw content om te converteren. Waarschijnlijk hebben ze zich al eerder elders georiënteerd, en komen ze vooral voor de conversie naar jouw website. Jij kunt je dus beter focussen op de conversie zelf, in plaats van bezoekers te overtuigen met nog meer voordelen en eigenschappen.

Mijn aanbeveling: Wekken van vertrouwen, geven van energie en wegnemen van frictie is dus belangrijker dan het geven van informatie. Welke conclusies trekken jullie?

14 gedachten over “9 opvallende multivariate en A/B testen uit 2007

  1. Erik van der Veen

    Ik heb een vermoeden dat de best scorende landingspagina (punt 5) het in Nederland niet zo goed zou doen. Denk dat het “schreeuwerige” van deze pagina meer binnen de Amerikaanse cultuur past.

    Ik geloof zelf niet zo in hele lange pagina’s. Maar omdat de informatiebehoefte kort voor een aankoop dikwijls groot is, moeten antwoorden op eventuele vragen wel binnen handbereik zijn (via links).

    Bij punt 4 is het verstandig om de sitebezoekers een beetje te sturen met woorden als: aanrader, populair e.d. Daarnaast werken uitslagen uit consumententesten ook erg goed (beste koop consumentengids).

    Like

  2. Ton Wesseling

    Hoi Ruben. Mooie opsomming, maar er is een stuk meer gepresteerd afgelopen jaar op AB / MVT gebied (schuif eens aan bij de WAA meetings!), jammer alleen dat dat nog niet allemaal wordt gedeeld.

    Leuk resultaat uit een eigen case bij SNS Bank, zoals ook gepresenteerd op Emerce Insight Banking 2007 (preso pdf: http://www2.emerce.nl/insightbanking/emerceinsightbanking_snsbank.pdf video: http://www.emerce.nl/artikel.jsp?id=2023627) was dat het bleek dat een groene submit button (met witte tekst) binnen de toenmalige huisstijlomgeving van SNS Bank met 90% zekerheid op een zaterdag altijd beter converteerde dan een rode button met witte tekst, ongeacht welke van de 4 geteste tekst variaties op de button stonden. Opeen maandag echter was het verhaal precies andersom! Met 90% zekerheid converteerde daar, ongeacht de tekst, de rode button altijd beter dan de groene.

    Hieruit zou je kunnen concluderen dat de koper in het weekend behoefte heeft aan rust en een vriendelijke omgeving (met een beter in het toenmalige design passen call to action knop) en dat op maandag (1e werkdag) de drukte en stress ertoe noodzaakt tot een zeer duidelijke call to action knop. Je praat over conversieverschillen van wel 30%…

    Je pagina lijkt dus te moeten reageren op de gemoedstoestand van de bezoeker om de optimale conversie te halen 🙂 (uitdaging!)

    Je landingspagina opmerkingen zijn leuk (in tegenstelling tot wat veel bureaus nu bepleiten), maar zijn natuurlijk nooit 1 op 1 door te voeren. Idem voor bovenstaande resultaat voor SNS Bank moet je belangrijkste gedachte zijn dat je niet zelf kunt verzinnnen wat het beste converteert en dat je hier gewoon continue mee moet testen (en niet vergaderen). Resultaten van anderen zijn daarbij leuk om een richting te krijgen wat te testen, maar nooit leidend voor jouw website. Elke website heeft weer een eigen groep bezoekers met een net weer wat ander gedrag…

    Like

  3. Ruben Timmerman Berichtauteur

    Erik: thanks voor de tips, en welkom hier!

    Maarten: Geen enkele, en alle. In email marketing is a/b testen nog makkelijker dan online, want je stuurt de helft van de ontvangers gewoon een andere mail. Maar je kunt dus niet zeggen dat wat hier staat, ook in e-mail werkt. Hopelijk geeft dit je inspiratie om er zelf mee te experimenteren 🙂

    Like

  4. Erik van der Veen

    Dank je, Ruben. Vind overigens ook dat je er een goed en nuttig artikel van gemaakt hebt!

    Heb het bovengenoemde boek van Barry Schwartz zelf ook gelezen en vind het een absolute aanrader!

    Like

  5. Remi

    Hey Ruben,
    Bedankt voor dit handige lijstje.

    Hoe ga jij om met Google Website Optimizer, meteen 16 varianten door elkaar testen, of eerst met 2 of 4 varianten en dan uitbouwen?

    Like

  6. paul van oosterhout

    Het nadeel van a/b testen is dat je er nooit de beste pagina mee bouwt binnen een ronde. Je kiest de beste van de 2 die je maakt. Maar hoe weet ik nu precies bij a/b testen als ik meerdere dingen laat verschillen wat nu wat veroorzaakt?

    Alleen door continu te testen en te verbeteren wordt je alsmaar beter. Dat is denk ik ook het punt van Mendez…

    Maar wellicht bereik je nooit de optimale pagina…wel een veel betere…

    Like

  7. INDERT

    @ Paul

    Inderdaad het nadeel van A/B-testen zijn voornamelijk dat je dan je eventuele inkomsten verkleint en uitgaven vergroot in de periode dat je test en dat je dus verlies draait als de test helemaal geen positieve resultaat heeft opgeleverd. Heel frustrerend.

    Like

  8. Pingback: Multivariate en A/B testresultaten « Interaction Design

  9. Pingback: Gratis Website Optimalisatie gereedschap van Google

  10. Pingback: digitael.nl - design, usability en gebruikersvriendelijkheid » Blog Archive » Google Optimizer en Dynamische Websites

  11. Pingback: 3 Recessie-proof Usability Principes - Usarchy

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s