Bijgewerkt 8-2 / 15:00 / BMW en Ricoh weer terug
Bijgewerkt 7-2 / 22:30 / Reactie van Kieskeurig
Via een comment bij Marketingfacts viel mijn oog op een schijnbare Google penalty voor Kieskeurig.nl. De site is niet meer in de index te vinden. Marco geeft aan dat zijn tipper denkt dat het om een verkeerd gebruik van de robots.txt gaat.
…dus lijkt het me toch dat Kieskeurig een penalty heeft gehadIk kan op de site in ieder geval niks vinden dat als illegaal aangemerkt kan worden. Verder zou ik denken dat het verkeerd gebruik van robots.txt nog wel een resultaat moet opleveren, namelijk die uit de Google Directory. De huidige robots.txt van Kieskeurig ziet er in ieder geval keurig uit.
Dus dit wijst toch op een penalty…
Kieskeurig.nl is ook niet meer te vinden in de prijsvergelijkingen categorie bij de Google Directory. Die directory wordt gekopieerd van DMOZ, en daar is Kieskeurig nog wel te vinden.
Ook bij andere mirrors van DMOZ is Kieskeurig wel te vinden, zie dezelfde prijsvergelijkingen categorieen bij Excite en DMOZsearch.
Verwijdert Google sites met een penalty normaal ook uit de Google Directory? Ik kan helaas de betreffende categorie niet vinden in Yahoo en MSN.
Bij BMW.de is dit wel het geval, dus lijkt het me toch dat Kieskeurig een penalty heeft gehad. BMW.de is immers op dezelfde manier onvindbaar in de categorie waar ze normaal wel instaan. Bovendien stond BMW er in 2004 in ieder geval nog wel in…
Trouwens, MSN en Yahoo indexeren de Google Directory maar gedeeltelijk. Misschien is de linkstructuur te diep en ontoegankelijk, maar het is wat vreemd. Ask indexeert de directory zelfs helemaal niet. Andere tips om die categorie toch nog te vinden? (archive.org heeft hem ook niet)
Ook aardig is dit resultaat van Yahoo, dat rept van een alpha categorie. Raar dat dat gevonden is, zal wel een test zijn voor Google ofzo?
Als iemand snapt waarom de penalty is uitgereikt, laat het even weten in de comments! Of, als het geen penalty is en je snapt waarom de site niet meer vindbaar is in de search index en de Google Directory 😉
Bijgewerkt: misschien wel een reactie van Kieskeurig
In dezelfde comments op Marketingfacts reageert ene Henri:
Ik ben werkzaam bij http://www.kieskeurig.nl en de verwijdering uit Google heeft de volgende oorzaak (ter lering ende vermaek).
Onze content was meerdere malen geindexeerd (o.a. http://www.kieskeurig.nl, kieskeurig.nl en meerdere administratieve subdomeinen). Aangezien Google duplicate content niet prettig vindt, hebben we met robots.txt files aangegeven welke subdomeinen we wel en welke we niet geindexeerd willen hebben. Dit werkt prima voor de subdomeinen maar toen we middels een separate robots.txt file op http://kieskeurig.nl/robots.txt aangaven dat deze content verwijderd mocht worden en dit via de Google url removal tool opgaven zijn dus niet alleen de pagina’s onder http://kieskeurig.nl verwijderd maar ook die onder http://www.kieskeurig.nl
M.a.w. een robots.txt file op dit niveau overruled blijkbaar die op onderliggende niveaus (ook als die expliciet zijn opgegeven).
Het is nog onduidelijk hoe lang het gaat duren maar zonder interventie van Google Amerika gaat dit 6 maanden duren!
Toch vreemd dat de site ook uit de Google Directory is verdwenen. Is het niet gewoon een penalty voor dupe content dan? En/ of is de verdwijntruc toevallig?
Ik zou zeggen: normaal hoeft het zeker geen 6 maanden te duren als je een verkeerde robots.txt hebt neergezet. Een kwestie van nieuwe links aanmaken en een goede robots.txt, misschien opnieuw aanmelden. Misschien zelfs Google sitemaps proberen, hoewel ik daar nog niet veel nut van heb gezien (ondanks verwoed crawlen door Google).
Ik vind het nog steeds verwarrend, het ruikt naar een (onterechte) penalty, of die verwijdering uit de Google Directory moet ook volgen uit die robots.txt. Google biedt zelf uitleg over het verwijderen van pagina’s uit de index, en gebruik van de robots.txt daarvoor.
Als iemand me verder kan helpen met technische know how over dit soort gevalletjes, hou ik me aanbevolen. Waarschijnlijk was het in dit geval in ieder geval beter de pagina’s van het ongewenste domein kieskeurig.nl door te verwijzen (met een 301 redirect) naar http://www.kieskeurig.nl. Dan had Google het vast vanzelf uitgevonden.
Bijgewerkt 7-2 / 8:15
Zoals her en der te lezen heeft Ricoh.de ook recent een penalty gehad. Ook zij zijn niet meer in de Google Directory te vinden, maar nog wel in DMOZ. Kan ook toeval zijn, maar qua proces ziet het er hetzelfde uit als Kieskeurig. NB: Hoewel ik dus nog steeds niet beweer dat Kieskeurig iets verkeerd heeft gedaan!
Bijgewerkt 8-2 / 15:10
Ricoh.de en BMW.de zijn inmiddels weer terug in de index, en terug in de Google Directory. Kijken of dat voor Kieskeurig ook geldt. Overigens heeft Google Sitemaps een nieuwe feature gelanceerd waarmee robots.txt bestanden gechecked kunnen worden.
En ik kreeg net een mailtje van Kieskeurig waarin ze bevestigen dat Henri daar inderdaad werkt, mocht iemand daar aan twijfelen 😉
usarchy.com 
“Ik zou zeggen: normaal hoeft het zeker geen 6 maanden te duren als je een verkeerde robots.txt hebt neergezet. Een kwestie van nieuwe links aanmaken en een goede robots.txt, misschien opnieuw aanmelden. Misschien zelfs Google sitemaps proberen, hoewel ik daar nog niet veel nut van heb gezien (ondanks verwoed crawlen door Google).”
Als je URL’s weghaalt met de removal tool word je voor minimaal 180 dagen verwijderd uit de zoekmachine. Daarnaast denk ik dat je voorzichten moet zijn met het lukraak plaatsen van dit soort berichten, ten eerste omdat je er niet zeker van bent of het een penalty betreft, ten tweede omdat dit soort berichten de branche geen goed doen (zeker niet als ze niet bevestigd zijn).
Daarnaast wordt er een aannemelijke verklaring gegeven en kan duplicate content inderdaad een probleem voor kieskeurig zijn geweest, waar ze, helaas voor hen, verkeerd mee zijn omgegaan.
De 301 redirect was inderdaad de oplossing geweest voor kieskeurig, omdat dit ook de kracht (lees PR) van de domeinen (die ze separaat hebben opgebouwd) doorstuwd naar http://www.kieskeurig.nl.
LikeLike
Hi Dennis,
Een Google penalty hoeft, zoals je zelf ook zegt, niet te betekenen dat een bedrijf iets bewust fout heeft gedaan. Ik denk dat het goed kan dat kieskeurig vanwege een fout een penalty heeft gehad.
Er wordt veelover dit soort onderwerpen op fora gesproken, en een tijd geleden zijn er websites geweest die penalties kregen omdat andere websites hun content dupliceerden. Ik heb het bericht ook niet lukraak geplaatst, maar de mij bekende mogelijkheden bekeken en zo duidelijk mogelijk uitgelegd.
Zoals ik in het stukje schrijf kan ik niets illegaals ontdekken op de site.
Die 180 dagen gelden voor zover ik begrijp als maximum, niet als minimum. Er wordt daarover door Google alleen neit expliciet iets uitgelegd.
Reinclusion zou binnen 2 a 3 weken geregeld moeten zijn.
LikeLike
Hoi Ruben,
180 dagen is inderdaad ook het maximum 🙂 Uiteraard zijn er tussenwegen en een reinclusion request is een goede methode om een herindexering te bespoedigen. 2 a 3 weken is hierbij misschien ietwat optimistisch, maar het zou inderdaad binnen 180 dagen opgepakt kunnen worden.
Met het lukraak plaatsen van artikelen, en ik geloof best dat je onderzoek hebt verricht naar de eventuele reden van het verlies van indexatie, doelde ik eigenlijk op het feit dat communicatie met de getroffen partij hier wel onderdeel van zou moeten zijn, en niet achteraf aan een artikelen moet worden toegevoegd omdat de getroffene heeft gereageerd op een ander weblog. Weet je bijvoorbeeld zeker dat Henri wel een medewerker van Kieskeurig is?
Ik zeg dit alles niet om je aan te vallen o.i.d. maar ik ben van mening dat we voorzichtig moeten zijn met het plaatsen van dit soort artikelen.
LikeLike
Nee, ik weet inderdaad niet of hij bij Kieskeurig werkzaam is. Maar de informatie die hij geeft is wel zo gedetailleerd dat je daarvan uit kan gaan vind ik.
Die 2 a 3 weken is een schatting van meneer Matt Cutts trouwens, dus dat moet te doen zijn 🙂 Overigens ging dat over een echte reinclusion, die na een penalty geschied. Als het hier niet om een penalty maar alleen de foute robots.txt gaat kon het wel eens wat langer duren misschien.
Hier wat info over het aanvragen van reinclusion na een penalty:
http://www.mattcutts.com/blog/reinclusion-request-howto/
LikeLike
Trouwens, als robots.txt inderdaad de oorzaak was, is het wel gek dat alleen Google het heeft opgepikt. Misschien hebben ze alleen Googlebot dissallowed, maar dat zou ook raar zijn (of gewoon een beetje dom), omdat andere zoekmachines net zo goed een hekel aan duplicate content hebben.
Het kan ook nog zo zijn dat Google een veel hogere indexeringsfrequentie heeft dan MSN en Yahoo, maar ik merk dat hier niet. Of misschien verwijderen MSN en Yahoo URL’s niet actief als er later een robots.txt gevonden wordt die dat eigenlijk vraagt.
Leuk dat speculeren, en leerzaam! Van mij mag dat meer gebeuren in de NL blogosphere… Zeker met de grote invloed van spelers uit de branche op de grotere blogs. Overigens wordt speculatief nieuws over bijvoorbeeld Google door iedereen klakkeloos overgenomen, daar wordt weinig over geklaagd 🙂
LikeLike
Google geeft zeer snel penalties en heel vaak tenonrechte. Indien de link van je site bv op zeer veel pagina’s van een andere site komt (via reclame) kun je er al uitgegooird worden.
LikeLike
Da’s dan wel weer mooi natuurlijk. Reclame zegt namelijk niks over hoe zinnig de content van een site is. Het zegt hooguit iets over de waarde die de eigenaar van die site er zelf aan toekent. Links naar een site, waar de eigenaar niet zelf achter zit, vertellen daarentegen iets over de waarde die anderen er aan toekennen. Dus alleen die zijn echt interessant om de ranking op te baseren.
LikeLike
Een 301 is inderdaad de beste manier om dit op te lossen. Helaas ondersteunen zowel onze IBM/Domino software als onze CISCO hardware geen 301 (permanent) redirects (enkel 302 temp.). Het gebruik van een 302 levert helaas niet het gewenste effect op (hoewel ik al wel een tijdje signalen opvang dat Google dit onderscheid wil laten vallen). Voor ons was het gebruik van robots.txt dus de enige wijze zonder de betreffende subdomeinen helemaal af te sluiten.
Het rechtzetten van een penalty is helaas sneller te regelen (BMW in een week) dan het rechtzetten hiervan. We krijgen gelukkig veel ondersteuning vanuit Google Nederland maar het blijft momenteel afwachten in hoeverre men in Amerika bereid is ons te helpen.
Ik zal jullie op de hoogte houden van de ontwikkelingen.
PS: Wel een goed idee om voor plaatsing van een dergelijk artikel om een reactie te vragen.
LikeLike
Ha Henri,
Dank voor je reactie, verhelderend. Heb jij enig idee waarom jullie ook uit de Google Directory zijn verwijderd? Jij hebt het nu ook over een penalty, heb je confirmatie dat dit inderdaad een (onterechte) penalty is, en heb je enig idee van een reden?
Ulco mailde mij net dat je voor duplicate content noprmaal geen penalty kan krijgen, dus dat kan het eigenlijk niet zijn.
PS: Ik heb jullie een paar uur (ja, dat is kort :)) voor plaatsing gemaild, later bleek webmaster@kieskeurig.nl niet te werken dus nogmaals naar info@kieskeurig gemaild. Ik heb echter mijn best gedaan te benadrukken dat wat mij betreft een mogelijke penalty onterecht is, en dat ik niet zeker weet of het een penalty is.
LikeLike
Zowel BMW.de als Ricoh.de zijn weer terug in de Google Directory na de penalty. Dat betekent dus dat een penalty ook een Google Directory ban oplevert.
Dat maakt het weer iets waarschijnlijker dat Kieskeurig inderdaad een (onterechte?) penalty heeft gehad.
Henri, hou ons op de hoogte! 🙂
LikeLike
Ten eerste een paar details:
– Een 301 redirect met Domino is zeker wel mogelijk, ik heb even gezocht maar op het domino-forum van IBM staat voldoende info over hoe je dit kunt realiseren.
– Google zal nooit het onderscheid tussen een 301/302 redirect laten vallen, het zijn gewoon 2 compleet verschillende status codes. Met de nieuwe ‘Bigdaddy’ techniek zal wel de manier van interpretatie gewijzigd worden.
– Er bestaat inderdaad geen dup. content penalty, wel een dup. content filter. Het is wel goed om duplicate content tegen te gaan omdat duplicates de waarde van het orgineel afzwakken. Doe dit overigens niet via je robots.txt, op die manier krijgt het orgineel niet meer waarde maar zorg je er alleen maar voor dat de duplicate geen waarde heeft.
Dan mijn mening over wat er met Kieskeurig is gebeurd:
Het experimenteren met robots.txt / Google URL removal was gewoon stom en dat heeft ervoor gezorgd dat de site uit de index weg is en opnieuw geindexeerd moet worden. Ik gok dat over een paar dagen de pagina’s wel weer terugkomen. Hulp vanaf Google NL/US daarbij lijkt me een beetje onzinnig en ik kan me eerlijk gezegd ook niet voorstellen dat ze hieraan mee werken.
Het is gewoon een berg onkunde vanaf Kieskeurig waar ze nog lang niet vanaf zijn, ik kan nog een hele stapel opmerkingen over de site maken die ervoor zorgen dat deze niet scoort zoals hij zou kunnen. Zonder “Henri” te willen beledigen blijkt dat gebrek aan kennis ook wel uit zijn reacties.
LikeLike
Ook op het Domino forum zijn regelmatig mensen die denken dat ze alles weten. De oplossing die wordt besproken levert in tegenstelling tot wat wordt vermeld geen “301” maar een “302” op. De enige mij bekende mogelijkheid is het gebruik van de DSAPI (Een C-API voor Domino). Dit is een oplossing waarvan we besloten hebben dat het niet wenselijk is.
Achteraf gezien is het wellicht stom te noemen. Echter bij zowel Google als bij W3C heb ik nog nooit gelezen dat de robots.txt van kieskeurig.nl die van http://www.kieskeurig.nl zou overrulen (lijkt dus een eigen interpretatie van Google die ze volgens mij nergens communiceren).
Ik ben blij dat we ondanks onze onkunde met meer dan een miljoen pagina’s in Google stonden waarvan het grootste deel op de eerste pagina van de zoekresultaten was te vinden. Maar goed om te weten dat er volgens een echte expert nog veel te optimaliseren is. Blijft een mooi vak zoekmachine optimalisatie.
LikeLike
Ook een leuke:
Google cache van de Google Directory waar Kieskeurig nog netjes in staat
LikeLike
@Henri,
In het geval dat je dit nog leest. Ik weet dat als je in Domino een standaard external redirection toevoegd via web site rules dit een 302 oplevert. Aan de andere kant kun je wel vrij header-info toevoegen, dus 301 redirects. Werkt zelfs met wildcards dus is ideaal voor dit soort situaties lijkt mij.
Overigens kan ik ook wel een manier bedenken via server-mapping of door www als subdomein aan te maken. Het lijkt me trouwens dat de site met Java is gemaakt en je kan redirects natuurlijk ook gewoon hard-coded toevoegen.
Wat je met je laatste 2 regeltjes probeert te zeggen is me niet helemaal duidelijk. Het klinkt een beetje gefrustreerd maar aangezien net heel je site uit Google is weggevaagd kan ik me dat ook wel voorstellen. Kwantiteit is natuurlijk nooit een maatstaf voor kwaliteit, dat is wel een zwakte-argument.
LikeLike