Poldis Blog - meine Welt

Alles und noch viel mehr!

 

(nicht so) gute Manieren eines Webspiders

Zu meiner täglichen Routine gehört es vor dem Frühstück E-Mails zu lesen, RSS-Feeds zu checken und nach dem Blog zu sehen (Statistiken, Spam löschen, …).

In letzter Zeit stört es mich dabei immer mehr das der Newskraft.de-Bot beim crawlen als http-refer(r)er “http://www.newskraft.de” angibt. Als User-Agent könnte ich das ja noch einsehen (auch wenn es nicht wirklich den User-Agent sondern nur den Betreiber angibt). Dadurch steht er recht weit oben in der Liste der TOP-Referrer. Dies lässt sich zwar ohne viel Aufwand beheben jedoch könnte man da dort auch etwas sinnvollen angeben. Wie wäre es zum Beispiel mit der URL die einen wirklich hergeleitet hat oder auch einfach gar nichts? (Ja liebe newskraftler das ist als Änderungsaufruf gedacht!)

Popularity: 79% [?]

Filed under : Blogging, Freizeit, Netzwerk, Software, Technik
By Poldi
On Monday, January 21st, 2008
At 17:03
Comments :
 

Leave a Reply