robots.txt

robots.txtとは、検索エンジンのクローラーに対し、自サイトのページをクロールすべきか指示を飛ばすテキストファイルです。robots.txtはクローラーを制御するだけでなく、クローラーの巡回を必要なページのみに絞ることによるサーバー負荷の軽減といった副次的な効果も期待できます。