Google-spreekbuis Matt Cutts meldt vandaag op zijn blog dat de resultaten die voortkomen uit interne zoekresultaten via robots.txt door site-eigenaren moeten worden uitgesloten van indexering door Google. Dit kan gevolgen hebben voor vooral webshops en sites die overzichten van producten tonen. De pijn ligt bij de resultaat-pagina’s van interne zoekmachines.
In de guidelines van Google is hierover het volgende opgenomen: “Use robots.txt to prevent crawling of search results pages or other auto-generated pages that don’t add much value for users coming from search engines.”
SEO-guru Danny Sullivan gaat er op Search Engine Land uitgebreid op in. Het zou namelijk kunnen betekenen dat Google websites die hun zoekresultaten niet in de robots.txt hebben uitgesloten aan gaatpakken, getuige de volgende quote:
“It’s still good to clarify that Google does reserve the right to take action to reduce search results (and proxied copies of websites) in our own search results.”
Wat is er nou aan de hand? Laten we hetzelfde voorbeeld als Sullivan eens pakken, maar dan in Nederland.
Als je in google zoekt op “dvd spelers” staat kieskeurig.nl bovenaan en op plek twee vergelijk.nl.
Dit zou volgens de theorie van Sullivan een pagina zijn die niet voor zou mogen komen en in de robots.txt zou moeten worden uitgesloten. Dit zou dus voor vergelijk.nl een flinke klap kunnen zijn, aangezien veel pagina’s dan niet in Google naar voren zouden mogen komen. Vergelijk.nl gaf op de laatste Emerce Update aan dat zoekmachinemarketing voor hun extreem belangrijk is. Dit kan dus voor hun gevolgen hebben.
Kijk je naar het resultaat erboven, die van kieskeurig.nl, is dat een goed voorbeeld van een twijfelgeval. Hier is de pagina die getoond wordt niet het rechtstreekse resultaat van de zoek, maar moet de gebruiker na de zoek eerst kiezen voor het soort dvd-speler. Hier is dus onduidelijk of dit mag of niet.
Kort samengevat komt het erop neer dat pagina’s met zoekresultaten via de robots.txt zouden moeten worden uitgesloten. Maar er is veel onduidelijkheid over de exacte regels. Het is de moeite waard het stuk van Sullivan even helemaal te lezen en zo je eigen beeld te vormen en nadere uitleg te krijgen.
Benieuwd welk vervolg dit krijgt en wat de reacties hierop zullen zijn.
