私はこのブログを過度にクロールされているボットを実現しました。 このボットツイストPageGetterとして自体を識別します。 今月中にはツイストPageGetterこのURLで11.714ヒットしている。 それは私の帯域幅は多くの費用とサーバーリソースを無駄にもかかわらず、帯域幅のヒットを明らかにサーバーの負荷が過剰に追加して、それは、サーバーの安定性がunmetered減少している。
この問題を解明するのいずれかをお客様のサーバーのログをチェックすることができます。 もしツイストPageGetterと同様の問題があれば、その次の行を追加することができます。 htaccessを使用したファイルをサーバー上で。
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "Twisted PageGetter" [NC]
RewriteRule ^.*$ - [F,L]
これらのコードをツイストPageGetterボットは、 403禁断のエラーを与えるだろうし、より深いお客様のサイトにクロールされるように、ボットが停止されます。 うまくいけば、ボット" "私のメッセージを受け取ると、もはや自分のサイトへのアクセスを停止します。
このエントリ↓の1件のコメント
12:14 1 Blogulate / / 2007年10月7日の午後
うーん.. haventのことを聞いたことの前に..
コメントを残しなさい