Crawler : Définition d'un Crawler Web

Publié : Le 11 Avril 2014 à 14:47
Écrit par Axel
Publié par : Admin - Corrigé par : Admin
Article vu : 719 fois
Un "website crawler" est un programme qui parcoure le web d'une manière automatique dans le but de collecter des données pour un moteur de recherche.

Un crawler est un logiciel qui explore la toile

Un crawler est un programme ou script automatique qui explore la toile de manière systématique via des algorithmes complexes.

Les crawlers sont utilisés par les moteurs de recherche pour collecter des données sur les sites internet à indexer.

Les données recueillies par ces robots permettent aux moteurs de classer les pages web. Et ainsi de permettre une recherche rapide.

Comment fonctionne le robot

Le crawler fonctionne comme une araignée. C'est la raison pour laquelle les crawlers web sont aussi appelés spiders. Ils parcourent la toile, telles des araignées.

Quand un robot arrive sur votre site (un noeud de la toile), il scrute le texte de votre page ainsi que les liens hypertextes qui s'y trouvent.

Il télécharge le contenu du site. Plus précisémment il télécharge le code HTML.

Les données sont ensuite analysées et traitées en fonction d'un algorithme qui prend en compte une multitude de facteurs.

Publicité de nos partenaires e-commerce :

46,92 €
72,95 €
9,90 €

LDLC : D-Link DCS-932L

Loading...

Articles en rapport