Le fichier robots.txt est un fichier texte placé à la racine d’un site web pour donner des instructions aux moteurs de recherche sur les pages ou sections du site qu’ils sont autorisés à explorer ou non. Il aide à contrôler l’indexation du site et à protéger certaines parties du site des robots d’exploration.
Robot.txt
« Back to Glossary Index