Avec le projet Grub, le groupe Looksmart met en oeuvre une nouvelle façon de crawler le web pour un moteur de recherche. Grub est en effet un projet de Grid Computing (calcul partagé sur un réseau distribué de serveurs délocalisés) : chaque utilisateur internaute (vous, moi) peut télécharger sur le site Grub.org une application qui va permettre grâce à vos ressources et à la puissance de vos processeurs de crawler le web, plus vite. Vous paramétrez le soft selon votre vitesse de connexion et les heures désirées pour l'indexation du net. Le système visite 500 Urls puis se connecte avec le serveur Grub pour rapatrier les résultats. Actuellement, plus de 17500 internautes volontaires utilisent Grub et participent donc à cette indexation collaborative du web, chacun d'eux faisant office de serveur pour le moteur.

Les données capturées serviront notamment à enrichir le moteur Wisenut.

Autre intérêt : un webmaster peut crawler son propre site et envoyer au serveur Grub les données mises à jour, et ce aussi irrégulièrement qu'il le désire.

Grub vise à crawler quasiment chaque page du web quotidiennement plutôt qu'une partie du web tous les mois tous les 2 mois comme les autres moteurs qui ne disposent pas de la puissance nécessaire permise par le calcul partagé. Voir aussi: Grub, vers un rafraîchissement quotidien pour Wisenut ? [Source : Grub.org]