クローラー

WEB 上のあらゆるサイトを周期的に巡回し、文書や画像などの情報を取得して、自動的にデータベース化するプログラムのこと。主に検索エンジンのデータベース、インデックス作成に用いられる。