クローラー

インターネット上の情報を自動で収集するプログラム。
単に「ロボット」と呼ばれたり、「ボット」「スパイダー」とも呼ばれる。
インターネットで検索をして表示される情報は、このクローラーが集めてきた情報である。
クローラーは各社が開発しており、例えばgoogleのクローラーは「グーグルボット」とよばれている。