El documento robots.txt es una herramienta fundamental para cualquier página web que desea aparecer bien vista por los buscadores como Google . Opera como un instructivo para los crawlers , indicándoles qué secciones de tu plataforma pueden están crawleadas y cuáles se deben excluir . Una correcta configuración de este fichero ayuda a evitar