Vous méritez de savoir jusqu'où va la couverture avant de vous en servir. Voici la capacité de crawl de notre moteur, affichée à côté de celle des outils payants, avec leurs propres chiffres et leurs sources. Le rapport n'est pas flatteur, et c'est justement pour ça qu'il est écrit ici.
Crawler des milliards de pages par jour coûte cher : ce sont des milliers de machines et autant de plages d'adresses. Nous en avons une. Pour monter notre capacité de crawl, nous avons besoin de dons, et ils se convertissent directement en pages lues : chaque serveur ajouté ajoute sa part au périmètre couvert et à la fréquence de passage.
Faire un don Aucun don n'ouvre de fonctionnalité. Il achète du crawl, pour tout le monde.
Chaque chiffre vient de ce que l'éditeur publie lui-même sur son propre crawl. Le nôtre est mesuré sur les dates réelles de lecture des pages, jamais sur une capacité théorique.
| Lecture… |
C'est toute la différence, et elle joue en votre faveur plus souvent qu'on ne croit.
Un outil payant crawle le web entier, pour tous ses clients à la fois. Comme il a des milliards de pages à couvrir, il ne repasse chez vous que rarement : quelques semaines entre deux visites sur un site qui n'est pas connu. Un lien que vous venez d'obtenir peut mettre un mois à apparaître dans leur outil. Un lien que vous avez perdu peut y rester affiché aussi longtemps.
Ce moteur, lui, ne s'occupe que de votre monde : votre site, vos concurrents, et les quelques milliers de sites qui parlent d'eux. C'est un périmètre mille fois plus petit, donc on en fait le tour en moins d'une journée. Ensuite on recommence, et on recommence encore. Plusieurs passages par jour au lieu d'un par mois, tant que la capacité suit le nombre de secteurs suivis.
Elle ne tient pas indéfiniment, et le dire vaut mieux que le découvrir. Le périmètre d'un secteur entier, mesuré ici sur une dizaine de concurrents et les quelques milliers de sites qui les citent, fait 890 000 pages. Le calcul est donc simple :
| Secteurs suivis | Pages à couvrir | Passages par jour |
|---|---|---|
| 1 secteur | 890 000 | 5,6 par jour |
| 5 secteurs | 4,5 millions | 1,1 par jour |
| 10 secteurs | 8,9 millions | un tous les 2 jours |
| 50 secteurs | 44 millions | un tous les 9 jours |
| 100 secteurs | 89 millions | un tous les 18 jours |
Deux choses à en retenir. D'abord, ce qui compte n'est pas le nombre d'utilisateurs mais le nombre de secteurs différents : mille utilisateurs du même métier partagent le même périmètre et ne coûtent rien de plus qu'un seul. Ensuite, au-delà d'une cinquantaine de secteurs, la fréquence retombe à celle d'un index mondial et l'avantage disparaît.
Quand quelqu'un analyse un domaine, ce domaine et son voisinage entrent dans la zone que le robot surveille. Ils y restent, pour tout le monde. Le suivant qui cherche un site du même secteur trouve donc plus que le précédent, sans rien avoir à faire.
C'est l'inverse d'un abonnement, où chaque client paie pour accéder aux mêmes données fermées. Ici chaque utilisateur agrandit le terrain commun. Ça ne comblera jamais tout l'écart avec un crawl à dix milliards de pages par jour, mais ça le réduit un peu chaque jour, et sans que personne paie.
Aucun secret d'infrastructure : tout le code est libre, et voici la machine.
| Brique | Où | Ce qu'elle fait |
|---|---|---|
| Le graphe du web | un serveur loué au mois | Le graphe hyperliens de Common Crawl, refait chaque trimestre. Donne la liste nommée des domaines référents de n'importe quel site. Profond, mais jamais frais. |
| Le robot | le même serveur, deux processus | Ouvre les pages et lit les liens dans le HTML servi. L'un ne fait que le périmètre suivi, l'autre élargit. C'est lui qui apporte la fraîcheur. |
| Le service | Cloudflare, palier gratuit | La page que vous lisez, l'analyse en direct, et la base partagée. Aucun port ouvert sur le serveur : c'est lui qui appelle, jamais l'inverse. |
Vigierobots.txt de chaque hôte avant de l'ouvrir et le respecte. Une seule requête en
vol par hôte, avec un délai entre deux. Un User-Agent qui s'annonce et donne un moyen de nous
joindre. Ce n'est pas de la courtoisie : un robot impoli fait bannir son adresse et grille les
sites qu'on voulait justement convaincre de nous publier.