sima2*blog

クローラーのホストによって行動が違うのでは？という話。
逆引きしてサブドメインがcrawler[1-9]であれば、ディープクロール、つまり深い階層まで達するクローラーで、crawler1[0-5]であれば、フレッシュクロール、何をしてるのか今ひとつ分からないボットだとか。

今もってる案件で来たのは
64.68.82.47　crawler11.googlebot.com
64.68.82.178 crawler14.googlebot.com
なので望み薄？確かにrobots.txtと/しか見に来てません。

Googlebot一覧：Google解体新書によると、

Deep Crawl：Deepbot（ディープクロール：ディープボット）
Crawl1 ～ Crawl9
IPが216.239.46.xのGooglebot（グーグルボット）。
Google Dance終了後に活動を開始、Webページをインデックスし、キャッシュ、PageRank（ページランク）、バックリンクを確定させる。
Main Crawl（メインクロール）と呼ばれることもある。