Ciber Geek > Internet > Dotbot, indexá la Web y descargala a tu PC

Dotbot, indexá la Web y descargala a tu PC

dotbot es un motor de indexacion creado con el unico fin de indexar toda la web y permitirnos descargarla a nuestra PC

El proyecto ha sido comprado por una empresa que vende herramientas SEO y ya no está disponible.

 

Dotbot es un proyecto muy particular, su idea es indexar la Web y permitirnos descargarla.

Uno de los archivos que permiten descargar tiene 22 GB y contiene información de 3.2 millones de páginas.

Desde Junio de 2008 ha indexado 30206235 dominios (hasta hoy 4 de Febrero de 2009), la verdad no probé de descargarlo aunque ofrecen uno de 2 MB, desgraciadamente estoy escribiendo en un iPod Touch así que no voy a probarlo, sepan disculparme.

Si no quieren ser indexados por este generador de problemas legales, pueden poner las siguientes líneas en su robots.txt y listo

“User-agent: dotbot

Disallow: /”

La idea es buena, no se hasta donde, porque los problemas legales que van a tener van a ser inagotables.
Deje su comentario