クローラー

クローラーとは、各webサイトを巡回してページ情報を収集するプログラムです。
同じ意味を持つ言葉として、ロボット・スパイダー・サーチロボット・巡回プログラムなどがあります。