2007,07,11, Wednesday
robot
クローラからのアクセスがやたら多い.
検索エンジンに引っかかるのは大いに結構だけど,
ここfreespaceは転送量に縛りがあって,それを越えるとエラーが表示される.
なかでも“Yahoo! Slurp”は一日の7割ほどを占めている.
と言うわけでrobot.txtに記述.
User-agent: *
Crawl-delay: 10
確かGoogleはrobots.txtじゃないと認識しなかったかな?と思いだし,
同文のrobots.txtもアップロード.
話がわかるクローラで良かった.
これで頭を悩ますのはトラックバックスパムだけ.
どうするか….
記事を評価してください.(★1つ=悪い、★5つ=良い) この記事の平均評価: 未評価 (0人)
検索エンジンに引っかかるのは大いに結構だけど,
ここfreespaceは転送量に縛りがあって,それを越えるとエラーが表示される.
なかでも“Yahoo! Slurp”は一日の7割ほどを占めている.
と言うわけでrobot.txtに記述.
User-agent: *
Crawl-delay: 10
確かGoogleはrobots.txtじゃないと認識しなかったかな?と思いだし,
同文のrobots.txtもアップロード.
話がわかるクローラで良かった.
これで頭を悩ますのはトラックバックスパムだけ.
どうするか….
記事を評価してください.(★1つ=悪い、★5つ=良い) この記事の平均評価: 未評価 (0人)
| Tech::Network | 09:54 | comments (0) | trackback (0) |
コメント
コメントする
トラックバックURL
http://www.white-out.biz/tb.php/164