NEWEST / < NEXT   BACK >

robot

クローラからのアクセスがやたら多い.
検索エンジンに引っかかるのは大いに結構だけど,
ここfreespaceは転送量に縛りがあって,それを越えるとエラーが表示される.

なかでも“Yahoo! Slurp”は一日の7割ほどを占めている.
と言うわけでrobot.txtに記述.

User-agent: *
Crawl-delay: 10

確かGoogleはrobots.txtじゃないと認識しなかったかな?と思いだし,
同文のrobots.txtもアップロード.

話がわかるクローラで良かった.
これで頭を悩ますのはトラックバックスパムだけ.
どうするか….



記事を評価してください.(★1つ=悪い、★5つ=良い)
この記事の平均評価: 未評価 (0人)

| Tech::Network | 09:54 | comments (0) | trackback (0) |

コメント

コメントする








トラックバックURL

http://www.white-out.biz/tb.php/164

トラックバック

NEWEST / PAGE TOP / < NEXT   BACK >

Weather

NEW ENTRIES

RECENT COMMENTS

SUBARU News

PROFILE


2010年08月25日 (Wed)
サーバ移転しました.
旧ページと記事IDが
異なります.

Twitter

ARCHIVES

<前月 2018年10月 次月>
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31    

CATEGORIES

SUBARU

OTHER

  • 処理時間 0.469065秒
  • RSS 2.0

    POWERED BY

    BLOGNPLUS(ぶろぐん+)
    RSS-ICON
    Get Firefox!
    Get Thunderbird!
    Take a deep breath!