El archivo robots.txt, es un archivo que nos permitirá restringir el acceso a las arañas de los buscadores, las arañas de búsqueda de lo que se encargan es de rastrear todo un sitio web para indexarlo en su base de…