Tweakers.net verwijdert zichzelf uit Google

Tweakers.net uit GoogleUpdate (13-4-2006): Na slechts een paar dagen compleet weg geweest te zijn, is vandaag de hele site weer in een keer terug. Dat moet met de hand gedaan zijn, want zelfs Google zal niet in een keer bijna 4 miljoen pagina’s indexeren. Interessant om dat te zien, maar uiteraard hoor je er van Google niets over…

Altijd genoeg nieuws als het om Google zoekresultaten gaat… Een collega (thanks Niels…) wees me op het feit dat Tweakers.net niet meer in Google te vinden is. Tweakers is een van de grootste Nederlandse websites, met honderdduizenden bezoekers per dag en een zeer fanatieke aanhang van “nerds” (waartoe ik mijzelf ook reken overigens).

Een snelle check van de http://www.tweakers.net/robots.txt geeft dit resultaat:

User-agent: *
Disallow: /

Mocht dat je niet veel zeggen, het betekent dat geen enkele (zoek)robot pagina’s mag bekijken van het complete domein tweakers.net. Dat betekent in de praktijk dat alle zoekresultaten verwijderd zullen worden.

Bij deze de million dollar question: Waarom? Ik zou zeggen, stem in de reacties op je favoriete optie.

  1. Het is een fout, vergelijkbaar met die van Kieskeurig. Tweakers.net wil niet meer dat mensen http://www.Tweakers.net intikken, maar gewoon de versie zonder www. Op http://tweakers.net/robots.txt staat namelijk:

    User-agent: *
    Disallow: /aanbod/beoordeel
    Disallow: /aanbod/list_ads/user
    Disallow: /aanbod/meldpunt
    Disallow: /aanbod/reageer
    Disallow: /aanbod/userstats
    Disallow: /ext/help
    Disallow: /ext/pricewatch
    Disallow: /ext/reageer
    Disallow: /ext/reg
    Disallow: /ext/robot
    Disallow: /ext/ssurvey
    Disallow: /ext/va
    Disallow: /gallery
    Disallow: /my.tnet
    Disallow: /nieuws/dag
    Disallow: /productsurvey/manager
    Disallow: /productsurvey/user
    Disallow: /reacties
    Disallow: /search
    Disallow: /stats

  2. Het is een publiciteitsstunt van de nieuwe Tweakers.net eigenaar VNU, om aandacht te trekken van Google-geile weblogs en misschien de occassional nieuws site.
  3. Tweakers is gehackt door een rancuneuze nerd, die geen nerd genoemd wil worden.

Ik gok toch op het eerste, nu maar afwachten wat er gebeurt… Ik heb ze ook om een reactie gevraagd, so far nog niks gehoord…

Bij deze is wederom bewijs geleverd dat Google zijn directory aanpast op basis van zijn spiders en robots.txt bestanden. Tweakers.net is namelijk niet meer te vinden op http://dir.google.com.
Ik vind dit een slechte gang van zaken, want een directory is iets dat door mensen wordt onderhouden.

11 gedachten over “Tweakers.net verwijdert zichzelf uit Google

  1. Krijn Hoetmer

    Als ze al iets als

    RewriteEngine On
    RewriteCond %{HTTP_HOST} ^www.tweakers.net [NC]
    RewriteRule ^(.*)$ http://tweakers.net/%{REQUEST_URI} [R=301,L]

    gebruiken (ze sturen in ieder geval een 301 header terug, als je http://www.tweakers.net gebruikt), heeft dit toch helemaal geen nut? GoogleBot volgt een 301 toch ook netjes?

    Like

  2. McVirusS

    @Niels: ik denk dat het niet helemaal is doorgekomen jouw bericht. Ik heb zelf iets kortere lijnen met Tweakers.net (heb er gewerkt als developer) en naar aanleiding van dit artikel staat nu die .plan op Tweakers.net.

    In ieder geval bedankt voor het melden!

    Like

  3. Niels

    Ik heb een aantal berichten @ area61 gedumpt. Daar zitten toch genoeg crewleden 😉 Maakt verder ook niet uit. Ben benieuwd hoelang het duurt voordat alles nu weer is geindexeerd.

    Like

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s