Crawleren henter sider til robotten. Den er lille, nysgerrig og altid sulten, og den går aldrig ind, hvor robots.txt siger nej. Den venter bare udenfor og læser alt det, de andre skriver om dig.

Den sover i sitemap.xml og bliver sur, når alle datoer er ændret i går. Så tror den ikke på noget af det.