El MSNBot, el robotito que indexa páginas como loco para dotar de búsqueda propia a Microsoft, se está pegando un atracón con las páginas de mucha gente, esta incluida, hasta el punto que está teniendo efectos negativos sobre el rendimiento de unos cuantos sitios (este no, desde luego, aunque en lo que va de mes entre tres de sus robots se han comido algo así como 33 megas de ancho de banda). Dos soluciones: un correo a msnbot@microsoft.com para comentar cualquier incidencia, o poner en el robots.txt
User-Agent: msnbot
Crawl-Delay: 20
para decirle que se tome 20 segundos entre página y página. Vía.
Muy cierto; este robot come mas o menos 100 Mb de mi site mensualmente; es cierto que Microsoft quiere entrar fuertemente a competir contra Google; pero esto poco a poco se esta convirtiendo en un problema para los webmasters de otros sitios con ancho de banda limitado o lo que sirven sus webs desde servidores caseros (Ultimamente, muchisima gente)
Cuando finalmente llegue este buscador veremos una fuerta reacción de Google y de Yahoo, así que preparanse para gastar bastante bandwith a estos motores de búsqueda. Limitarlos es una opción, pero no conviene si queremos tener un buen posicionamiento, así que mejor a prepararse.