Kieskeurig.nl is weer terug in Google, na een penalty of een fout met de robots.txt. Over het hoe en waarom tast ik nog in het duister. Er worden alweer 962,000 pagina’s gevonden, en dat na maar een paar weken weg te zijn geweest. Het lijkt er dus op dat er handmatige interventie heeft plaatsgevonden waardoor alle pagina’s in een keer zijn teruggezet. Google zal niet in een dag bijna een miljoen pagina’s van een site opnieuw “crawlen”.

Ook is de site weer opgenomen in de Google Directory bij de prijsvergelijkingen. Dat ze daar niet in te vinden waren, was voor mij aanleiding te denken dat ze net als BMW en Ricoh onlangs ook een penalty gehad hebben. Maar, zoals Remi van Beekum van Traffic4U (dat verantwoordelijk is voor de zoekmachine advertenties van Kieskeurig, niet voor de optimalisatie) het zegt:

[…] maar ik heb nergens enig bewijs gevonden van spam of een penalty. En geen bewijs voor spam is in mijn ogen geen spam en dus geen penalty.

En daar zit natuurlijk wel wat in. Al vind ik ook dat het plotseling weer terugkomen in de index en verwijderd zijn uit de Google Directory ruikt naar een penalty. En die eventuele penalty zal dan wel onterecht geweest zijn, want ik heb er nog nooit iemand iets “penalty-achtigs” over Kieskeurig horen zeggen 🙂

Maar de hamvraag blijft…

Nog steeds rest de magische vraag: kun je door een verkeerd gebruik van de robots.txt ook uit de Google Directory gegooid worden? Dit zou in mijn ogen geen goed idee zijn. Om te beginnen is de Google Directory een kopie van DMOZ, dus de DMOZ editors dragen zorg voor de kwaliteit van Google’s Directory. Als Google die kwaliteit in twijfel gaat trekken door zelf ook de directory te gaan beheren, lijkt me het hek van de dam.

Bovendien is de kracht van een directory juist dat hij niet beïnvloed wordt door crawlers en algorithmen, maar alleen door mensen. Op basis van die aanname gebruiken zoekmachines directories ook voor het verhogen van de kwaliteit van hun zoekresultaten. Dat kan dus nooit gemixt worden!

Als iemand een antwoord op de hamvraag heeft, hoor ik het heel graag!