WHITE OUT

クローラからのアクセスがやたら多い．
検索エンジンに引っかかるのは大いに結構だけど，
ここfreespaceは転送量に縛りがあって，それを越えるとエラーが表示される．

なかでも“Yahoo! Slurp”は一日の7割ほどを占めている．
と言うわけでrobot.txtに記述．

User-agent: *
Crawl-delay: 10

確かGoogleはrobots.txtじゃないと認識しなかったかな？と思いだし，
同文のrobots.txtもアップロード．

話がわかるクローラで良かった．
これで頭を悩ますのはトラックバックスパムだけ．
どうするか…．



記事を評価してください．（★１つ＝悪い、★５つ＝良い）

★★★★★ ★★★★☆ ★★★☆☆ ★★☆☆☆ ★☆☆☆☆

この記事の平均評価： 未評価 (0人）