Que es el archivo robots.txt y como crear uno
El archivo robots.txt, es un archivo que nos permitirá restringir el acceso a las arañas de los buscadores, las arañas de búsqueda de lo que se encargan es de rastrear todo un sitio web para indexarlo en su base de datos, pero en ocasiones y sobre todo en SEO no siempre se quiere que se […]