Robots.txt

Es un archivo que indica a los rastreadores de los motores de búsqueda sobre qué páginas o áreas de un sitio web no deben ser incluidos en el indice de resultados. Esta información se almacena en el directorio matriz del sitio web.