Dotbot, indexá la Web y descargala a tu PC

El proyecto ha sido comprado por una empresa que vende herramientas SEO y ya no está disponible.

Dotbot es un proyecto muy particular, su idea es indexar la Web y permitirnos descargarla.

Uno de los archivos que permiten descargar tiene 22 GB y contiene información de 3.2 millones de páginas.

Desde Junio de 2008 ha indexado 30206235 dominios (hasta hoy 4 de Febrero de 2009), la verdad no probé de descargarlo aunque ofrecen uno de 2 MB, desgraciadamente estoy escribiendo en un iPod Touch así que no voy a probarlo, sepan disculparme.

Si no quieren ser indexados por este generador de problemas legales, pueden poner las siguientes líneas en su robots.txt y listo

“User-agent: dotbot

Disallow: /”