Pourquoi Internet a-t-il besoin d’une neutralité rampante ?

Aujourd’hui, une seule entreprise – Google – contrôle la quasi-totalité de l’accès mondial à l’information sur Internet. Leur monopole de recherche signifie des milliards de personnes, leur passerelle vers les connaissances et les produits, et l’accès au Web est entre les mains d’une seule entreprise. La plupart conviennent qu’un manque de concurrence dans la recherche est mauvais pour les individus, les communautés et la démocratie.

À l’insu de beaucoup, l’un des plus grands obstacles à la concurrence dans la recherche est le manque de neutralité en matière d’exploration. La seule façon de créer un moteur de recherche indépendant et de pouvoir concurrencer équitablement Big Tech est d’abord d’explorer Internet de manière efficace et efficiente. Cependant, le Web est un environnement activement hostile pour les reptiles des moteurs de recherche en plein essor, la plupart des sites Web n’autorisant que le reptile de Google et discriminant les autres reptiles des moteurs de recherche, tels que celui de Neva.

Ce problème critique mais souvent négligé a l’énorme impact que les nouveaux moteurs de recherche comme Neva n’offrent pas aux utilisateurs de véritables alternatives, ce qui réduit encore la concurrence de recherche. Comme la neutralité du net, nous avons besoin d’une approche de la neutralité rampante aujourd’hui. Sans changer les politiques et les comportements, les concurrents resteront à la recherche, une main derrière nous.

Commençons par le début. Une condition préalable à la concurrence dans la recherche est la création d’un index Web complet. En d’autres termes, la première étape de la création d’un moteur de recherche Neva consiste à “télécharger Internet” via la piste Neva, appelée Neva.

C’est là que les problèmes commencent. Dans la plupart des cas, les sites Web permettent un accès illimité aux reptiles Google et Bing, tout en discriminant les autres reptiles tels que Neva. Ces sites désactivent tout le reste dans leurs fichiers robots.txt ou (plus souvent) ne disent rien dans le fichier robots.txt, mais renvoient des erreurs aux autres reptiles au lieu du contenu. Le but peut être de filtrer les participants malveillants, mais le résultat est de jeter l’enfant avec l’eau du bain. Et vous ne pouvez pas soumettre de résultats de recherche si vous ne pouvez pas explorer le Web.

Cela oblige les start-up à consacrer énormément de temps et de ressources à la recherche de solutions. Par exemple, la politique de Neva est de “crawler votre site tant que votre fichier robots.txt autorise GoogleBot et ne désactive pas spécifiquement Neva”. Même après une telle solution, les composants WebPart contenant des résultats de recherche utiles restent inaccessibles à de nombreux moteurs de recherche.

Comme autre exemple, de nombreux sites Web autorisent souvent un reptile non Google via un fichier robots.txt et le bloquent autrement, soit par diverses erreurs (503s, 429s, etc.) soit en limitant la vitesse. Des solutions telles que “brouiller l’exploration en utilisant une banque d’IP proxy alternant périodiquement” doivent être mises en œuvre pour explorer ces sites. Les moteurs de recherche légitimes comme Neva ne veulent pas utiliser de telles solutions concurrentes.

Ces barrières sont souvent conçues pour les robots malveillants, mais leurs effets inhibent la concurrence de recherche légitime. Chez Neva, nous travaillons dur pour créer un reptile fonctionnel qui respecte les limites de vitesse et rampe à la vitesse minimale requise pour créer un excellent moteur de recherche. Google, quant à lui, a carte blanche. Il explore 50 milliards de pages par jour sur le Web. Il visite tous les sites Web tous les trois jours et facture la bande passante du réseau sur tous les sites Web. Il s’agit d’une taxe de monopole sur Internet.

Nous avons des crawlers heureux pour vous aider à ajouter votre robot à votre liste blanche. Grâce à eux, le crawl de Neva parcourt désormais des centaines de millions de pages par jour et atteindra bientôt des milliards de pages par jour. Cependant, cela nécessite toujours d’identifier les bonnes personnes pour les entreprises à qui vous pouvez parler, d’envoyer des e-mails et des appels à froid, et la bonne volonté des webmasters de s’appuyer sur les surnoms des webmasters, qui sont généralement ignorés. Correctif temporaire non évolutif.

L’obtention de la permission d’explorer ne devrait pas dépendre de qui vous connaissez. Il devrait y avoir des règles du jeu équitables pour tous ceux qui concourent et respectent les règles. Google a le monopole de la recherche. Les sites Web et les webmasters sont confrontés à un choix impossible. Laissez Google les explorer ou ne les affichez pas en évidence dans les résultats Google. En conséquence, le monopole de recherche de Google sur Internet renforce généralement son monopole, donnant un accès préférentiel à Googlebot.

Internet ne devrait pas être autorisé à discriminer les reptiles des moteurs de recherche sur la base de qui ils sont. Le reptile de Neva est capable d’explorer le Web avec la vitesse et la profondeur de Google. Il n’y a pas de restrictions techniques, seulement des forces de marché anticoncurrentielles qui rendent difficile une concurrence loyale. Et si les webmasters ont trop de travail supplémentaire à distinguer des mauvais robots qui ralentissent leurs sites web des moteurs de recherche légitimes, ceux qui ont carte blanche, comme GoogleBot, devraient être tenus de partager leurs données avec des acteurs responsables.

Les régulateurs et les décideurs politiques doivent intervenir s’ils se soucient de la concurrence dans la recherche. Le marché a besoin d’une neutralité rampante, semblable à la neutralité du net.

Vivek Raghunathan est le co-fondateur du moteur de recherche privé sans publicité Neva. Asim Shankar est le directeur de la technologie de Neva.

Leave a Comment