Gatzet.com

Ich habe gerade einen Bot realisiert wurde Crawlen diesem Blog zu. Dies bot identifiziert sich wie Twisted PageGetter. Während dieses Monats nur Twisted PageGetter hat 11,714 Zugriffe auf diese URL. Es kostet eine Menge meiner Bandbreite und Server-Ressourcen vergeudet, obwohl ich den unbegrenzten Bandbreite, aber übermäßige Hits natürlich fügt an den Server geladen, und es könnte die Stabilität des Servers reduziert.

Sie können die Server-Log, um herauszufinden, dieses Problem. Wenn Sie ähnliche Probleme mit Twisted PageGetter, können Sie diese Zeilen. Htaccess-Dateien auf Ihrem Server.


RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "Twisted PageGetter" [NC]
RewriteRule ^.*$ - [F,L]


Diese Codes werden Twisted PageGetter Bot ein 403 Forbidden Fehler, und es wird der Bot zu crawlen tiefer auf Ihrer Website. Wir hoffen, dass die Bot "get" Meine Botschaft und stoppen den Zugriff auf meine Website mehr.

Geschrieben am 14. Juni 2007 Tags: Hosting

US $ 19.95 Ende Datum: Dienstag, Dez-23-2008 16:00:11 PST Sofort-Kaufen für nur: US $ 19.95 Sofort-Kaufen | Add to watch list

US $ 14.99 Ende Datum: Dienstag, Dez-23-2008 16:18:02 PST Sofort-Kaufen für nur: US $ 14.99 Sofort-Kaufen | Add to watch list

Produkt für Besucher aus dem Vereinigten Königreich

EUR 19,99 Ende Datum: Dienstag, Dez-23-2008 16:52:15 PST Sofort-Kaufen für nur: EUR 19,99 Sofort-Kaufen | Add to watch list

GBP 1,99 Ende Datum: Dienstag, Dez-23-2008 20:02:01 PST Sofort-Kaufen für nur: EUR 1,99 Sofort-Kaufen | Add to watch list