クローラー

Crawler>>Spider

スパイダー

検索エンジンの検索結果を高速で提供するために事前にWebを自動巡回し、検索結果で提供するための情報をキャッシュとして保存するインターネット・ロボットです。

>> さらに詳細な情報はこちら