自宅でポンコツとはいえサーバー走らせてると、いや、ポンコツだからこそ、気になる負荷。短時間に大量にページを取得していく無意味なクロウラーにはうんざり、迷惑旋盤千万なので、ちょっとメモ。

BecomeBotというのがタチが悪い。

httpd.confのdirectry ディレクティブで

Deny from 64.125.84.

Deny from 64.124.85.

とやって、サーバーレベルでシャットアウトすることにしてみた。本好きのためのSNSの方には入れないものの、それ以外のわたしの個人コンテンツを数秒単位で次々大量に取得されたんじゃ、たまったものじゃない。robots.txtを見やしないし。なんでこんな行儀の悪いクロウラーが徘徊してるんだ？