Joueb.com
Envie de créer un weblog ?
ViaBloga
Le nec plus ultra pour créer un site web.
Débarrassez vous de cette publicité : participez ! :O)

Google renouvelle son index de plus en plus vite
--> 2 à 3 semaines

Google dispose de nombreux serveurs (peut-être près de 200 000 répartis dans plus de 60 data centers) avec une infrastructure en réseau qui représente une puissance de calcul de 600 téraflops (1000 milliards d'opérations par seconde).
Cet ensemble est maitenant plus puissant que les supercalculateurs de la NSA et de la NASA.

Coté indexation, quel impact sur le temps de traitement des quelques 10 milliards de pages web stockées sur ces serveurs ?
Sur GigaOm, Matt Cutts, ingénieur chez Google, explique que le temps nécessaire au renouvellement de tout  l'index de Google avait raccourci pour atteindre 2 à 3 semaines (et non aps 2 à 3 jours comme écrit) contre 1 mois en 2003. Le développement du hardware et des softs a permis d'accélerer la vitesse de crawl.
Toutefois on peut observer une différence de "traitement" selon la nature des documents. L'index de Google Images est ainsi renouvellé 3 fois par an, les blogs sur Google Blog Search 1 à 2 fois par jour, certaines pages du web sont visitées tous les 2 jours alors que d'autres, mises à jour par leur auteur moins fréquemment, bénéficient d'un passage des robots supérieur à 1 mois.

Christophe ASSELIN

Ecrit par slide68, le Jeudi 27 Juillet 2006, 21:22 dans la rubrique "Google".

Commentaires :

christophe
30-07-06 à 03:44

Lien croisé

OK Referencement > Conseiller en Référencement et Moteur de recherche : "Google renouvelle son index de plus en plus vite   (inFLUX)"

 
christophe
28-08-06 à 08:03

Lien croisé

affordance.info: C'est la rentrée : "Google : le billet du 4 août de Zorgloob résume l'essentiel : procès avec l'AFP, cours de l'action, nouvelles interfaces linguistiques, révélations sur le rafraîchissement du crawling (tous les 2-3 semaines - voir aussi le billet de Christophe Asselin), et une base de donnée de plus de mille milliards de mots tenant sur 6 DVD bientôt disponible (voir aussi chez Frédéric Martinet) ... A noter aussi le rachat de Neven vision, société spécialisée dans la reconnaissance faciale avec probablement un co"

 
christophe
02-09-06 à 09:58

Lien croisé

affordance.info : "Google : le billet du 4 août de Zorgloob résume l'essentiel : procès avec l'AFP, cours de l'action, nouvelles interfaces linguistiques, révélations sur le rafraîchissement du crawling (tous les 2-3 semaines - voir aussi le billet de Christophe Asselin), et une base de donnée de plus de mille milliards de mots tenant sur 6 DVD bientôt disponible (voir aussi chez Frédéric Martinet) ... A noter aussi le rachat de Neven vision, société spécialisée dans la reconnaissance faciale avec probableme"

 
christophe
29-04-08 à 06:26

Lien croisé

affordance.info: Archives Ouvertes : "Google : le billet du 4 août de Zorgloob résume l'essentiel : procès avec l'AFP, cours de l'action, nouvelles interfaces linguistiques, révélations sur le rafraîchissement du crawling (tous les 2-3 semaines - voir aussi le billet de Christophe Asselin), et une base de donnée de plus de mille milliards de mots tenant sur 6 DVD bientôt disponible (voir aussi chez Frédéric Martinet) ... A noter aussi le rachat de Neven vision, société spécialisée dans la reconnaissance faciale avec probablement"