Update (13-4-2006): Na slechts een paar dagen compleet weg geweest te zijn, is vandaag de hele site weer in een keer terug. Dat moet met de hand gedaan zijn, want zelfs Google zal niet in een keer bijna 4 miljoen pagina’s indexeren. Interessant om dat te zien, maar uiteraard hoor je er van Google niets over…

Altijd genoeg nieuws als het om Google zoekresultaten gaat… Een collega (thanks Niels…) wees me op het feit dat Tweakers.net niet meer in Google te vinden is. Tweakers is een van de grootste Nederlandse websites, met honderdduizenden bezoekers per dag en een zeer fanatieke aanhang van “nerds” (waartoe ik mijzelf ook reken overigens).

Een snelle check van de http://www.tweakers.net/robots.txt geeft dit resultaat:

User-agent: *
Disallow: /

Mocht dat je niet veel zeggen, het betekent dat geen enkele (zoek)robot pagina’s mag bekijken van het complete domein tweakers.net. Dat betekent in de praktijk dat alle zoekresultaten verwijderd zullen worden.

Bij deze de million dollar question: Waarom? Ik zou zeggen, stem in de reacties op je favoriete optie.

1. Het is een fout, vergelijkbaar met die van Kieskeurig. Tweakers.net wil niet meer dat mensen http://www.Tweakers.net intikken, maar gewoon de versie zonder www. Op http://tweakers.net/robots.txt staat namelijk:
   

   User-agent: *
   Disallow: /aanbod/beoordeel
   Disallow: /aanbod/list_ads/user
   Disallow: /aanbod/meldpunt
   Disallow: /aanbod/reageer
   Disallow: /aanbod/userstats
   Disallow: /ext/help
   Disallow: /ext/pricewatch
   Disallow: /ext/reageer
   Disallow: /ext/reg
   Disallow: /ext/robot
   Disallow: /ext/ssurvey
   Disallow: /ext/va
   Disallow: /gallery
   Disallow: /my.tnet
   Disallow: /nieuws/dag
   Disallow: /productsurvey/manager
   Disallow: /productsurvey/user
   Disallow: /reacties
   Disallow: /search
   Disallow: /stats

2. Het is een publiciteitsstunt van de nieuwe Tweakers.net eigenaar VNU, om aandacht te trekken van Google-geile weblogs en misschien de occassional nieuws site.
3. Tweakers is gehackt door een rancuneuze nerd, die geen nerd genoemd wil worden.

Ik gok toch op het eerste, nu maar afwachten wat er gebeurt… Ik heb ze ook om een reactie gevraagd, so far nog niks gehoord…

Bij deze is wederom bewijs geleverd dat Google zijn directory aanpast op basis van zijn spiders en robots.txt bestanden. Tweakers.net is namelijk niet meer te vinden op http://dir.google.com.
Ik vind dit een slechte gang van zaken, want een directory is iets dat door mensen wordt onderhouden.