[gullinews]

MSNBot, der Crawler von Microsofts Live Search identifiziert sich normalerweise mit einem eigenen User-Agent String. Dem Betreiber des Flashcounter-Services von Webmasterpro.de fiel nun ein Bot auf, der auf vielen Seiten hohen Traffic erzeugt. Dieser entpuppte sich als undercover MSNBot.

Normalerweise benutzen alle großen Suchmaschinen einerseits ihre Bots mit gängiger Kennung. Im Fall des MSNBot ist dies "msnbot/1.0 (+http://search.msn.com/msnbot.htm)". Neben diesem direkt erkennbaren existieren auch noch "Undercover-Bots", die von den Servern nicht als solche erkannt werden. Deren Aufgabe besteht darin, zu überprüfen, ob Suchmaschinencrawlern eventuell andere Inhalte präsentiert werden als dem Otto-Normalverbraucher.


weiterlesen

[Hollii]

Das macht MSN schon Jahrelang so. Genauso auch wie Google....

[rbrueckner]

Bei genauem lesen dieses Artikels wird sicher auch dir aufgefallen sein, dass erwähnt worden ist, dass dies gängige Praxis unter den Suchmaschinen ist. Beachte man hierzu auch folgenden Absatz:

Der MSNBot zeigt sich im Gegensatz zu anderen Marktgrößen wie dem Suchmaschinenmarktführer Google und seinem Kollegen Yahoo! viel häufiger undercover. Der MSNBot verschleiert 10mal häufiger seine Identität als der GoogleBot, welcher sich wiederum 10mal häufiger undercover zeigt als der von Yahoo!

Somit sollte klar sein, dass die Information darin besteht, dass die Statistiken enorm durch diesen Undercover-Crawler abgefälscht werden, in einem größeren Maße als es der Undercover-Googlebot