Ich habe gerade einen Bot realisiert wurde Crawlen diesem Blog zu. Dies bot identifiziert sich wie Twisted PageGetter. Während dieses Monats nur Twisted PageGetter hat 11,714 Zugriffe auf diese URL. Es kostet eine Menge meiner Bandbreite und Server-Ressourcen vergeudet, obwohl ich den unbegrenzten Bandbreite, aber übermäßige Hits natürlich fügt an den Server geladen, und es könnte die Stabilität des Servers reduziert.
Sie können die Server-Log, um herauszufinden, dieses Problem. Wenn Sie ähnliche Probleme mit Twisted PageGetter, können Sie diese Zeilen. Htaccess-Dateien auf Ihrem Server.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "Twisted PageGetter" [NC]
RewriteRule ^.*$ - [F,L]
Diese Codes werden Twisted PageGetter Bot ein 403 Forbidden Fehler, und es wird der Bot zu crawlen tiefer auf Ihrer Website. Wir hoffen, dass die Bot "get" Meine Botschaft und stoppen den Zugriff auf meine Website mehr.












1 Kommentar zu diesem Eintrag ↓
1 Blogulate / / Okt 7, 2007 at 12:14 pm
Hmmm .. havent gehört, dass vor ..
Schreibe einen Kommentar