Un crawler est un programme automatisé utilisé par les moteurs de recherche pour explorer et indexer les pages web. Les crawlers analysent le contenu d’un site et suivent les liens internes et externes pour découvrir de nouvelles pages à indexer dans les résultats de recherche. Le crawler de Google est appelé Googlebot.
Crawler
« Back to Glossary Index