クローラー

クローラーとは、Web上にあるさまざまなサイトの情報を収集するロボットです。さまざまなWebサイトをクロールする（這いまわる）という意味で、クローラーという名前で呼ばれます。クローラーといっても検索エンジンによって種類が異なります。GoogleであればGooglebot、BingならBingbotなど、検索エンジン独自のクローラーが存在します。