■検索エンジンからの巡回ロボットの頻度を調整する

下記のテキストを「robots.txt」という名前で保存し、
サイトのあるウェブサーバーのトップレベルに置きます。

　User-agent: ロボット名
　Crawl-delay: 巡回頻度

(例)
yahooからの巡回を20分間隔にしたいとき

　User-agent: Slurp
　Crawl-delay: 20

※「Slurp」はYahoo!の検索エンジン用ロボットの名前です。

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
【ロボット名】と「Crawl-delay」パラメータの単位

Yahoo! JAPAN 【Slurp】 分単位）

Microsoft Live Search 【MSNBot】（秒単位）
Baidu 【Baiduspider】 （秒単位）
Ask.com 【Teoma】 ※ （単位不明）
NAVER 【Yetibot】 （秒単位）
Cuil 【Twiceler】 （単位不明）

Google 【Googlebot】 については［Googleウェブマスターツールにて調節可］
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++