El fichero robots.txt es una recurso esencial para cualquier sitio web que pretende aparecer bien vista por los motores de búsqueda como Google . Funciona como el directorio para los rastreadores , indicándoles qué áreas de tu plataforma pueden ser indexadas y cuáles se deben excluir . Una correcta configuración de este archivo ayuda a preven