Lisez les articles derrière les paywalls en vous faisant passer pour Googlebot
- Catégorie: L'internet
Internet est à un point de basculement. L'augmentation continue du blocage des publicités a mis fin au modèle de revenus qui repose uniquement sur les dollars publicitaires pour exploiter des sites Web et des entreprises.
En particulier, les sites d'information ont commencé à expérimenter des moyens de diversifier les sources de revenus, et une option importante que des sites comme le Wall Street Journal, le Financial Times, le New York Times, les temps , ou Le Washington Post a implémenté ou testé le système de paywall.
Il existe différents types de paywalls, mais ils ont tous en commun de bloquer l'accès au contenu; cela peut se produire directement à l'ouverture du premier article, après qu'un certain nombre d'articles ont été lus sur le site, ou sous la forme d'un système d'extraits qui affiche le premier paragraphe au lecteur et en dessous des informations d'inscription pour lire le reste.
Paywalls peut ne pas toujours obliger les utilisateurs à payer de l'argent pour l'accès. Certains sites peuvent exiger que les utilisateurs s'inscrivent pour utiliser le site, mais ne chargeront pas les utilisateurs une fois qu'ils se sont inscrits.
Cela peut avoir du sens d'un point de vue commercial et peut être plus lucratif que de se battre avec des utilisateurs qui exécutent des bloqueurs de publicités, mais il y a un inconvénient à la fois pour le site payant et l'utilisateur bloqué.
Les sites perdent un pourcentage élevé de visiteurs s'ils implémentent un système de paywall. On ne sait pas à quel point le pourcentage est vraiment élevé, et il varie probablement d'un site à l'autre, mais il est probablement beaucoup plus élevé que le pourcentage de visiteurs qui s'abonnent au site après avoir eu le choix de s'abonner pour lire l'article souhaité.
Pour les utilisateurs, il peut être vraiment frustrant de suivre un lien vers un article intéressant juste pour ne pas pouvoir le lire une fois la ressource chargée; c'est une perte de temps pour beaucoup, surtout si aucun contenu n'est fourni avant de s'inscrire ou de s'abonner.
Masquer votre navigateur
Ce n'est un secret pour personne que les sites d'actualités permettent d'accéder aux agrégateurs d'actualités et aux moteurs de recherche. Si vous consultez Google Actualités ou Recherche par exemple, vous trouverez des articles provenant de sites avec des paywalls qui y sont répertoriés.
Dans le passé, les sites d'information permettaient l'accès aux visiteurs provenant de grands agrégateurs d'actualités tels que Reddit, Digg ou Slashdot, mais cette pratique semble être aussi bonne que morte de nos jours. Certains peuvent encore l'autoriser, mais il s'agit d'essais et d'erreurs, et la solution de contournement peut être arrêtée à tout moment.
Une autre astuce, coller le titre de l'article dans un moteur de recherche pour lire directement l'histoire mise en cache, ne semble plus fonctionner correctement et les articles sur les sites avec des paywalls ne sont généralement plus mis en cache.
Astuce: consultez le module complémentaire suivant que vous pouvez utiliser pour contourner les murs de paiement:
Agent utilisateur et référent
Vous vous demandez probablement comment les sites bloquent ou autorisent l'accès au contenu du site. Les méthodes se sont améliorées au fil des ans et il ne suffit plus de simplement changer le référent du navigateur en https://www.google.com/ pour avoir un accès complet au contenu d'un site.
Au lieu de cela, les sites utilisent divers contrôles qui incluent l'agent utilisateur, le référent et les cookies, et parfois même plus que cela, pour déterminer la légitimité de l'accès.
informations générales
La meilleure façon de masquer le navigateur est probablement de le faire passer pour Googlebot.
- Référent: https://www.google.com/
- User-Agent: Mozilla / 5.0 (compatible; Googlebot / 2.1; + http: //www.google.com/bot.html
Notez que l'option ne fonctionne plus sur les sites may. Il peut être préférable d'essayer de se faire passer pour de Twitter ou d'autres sites de médias sociaux.
Firefox
Les utilisateurs de Firefox ont besoin de deux modules complémentaires de navigateur pour cela: le premier, RefControl, pour modifier la valeur du référent lors de la visite de sites d'actualités, le second, Commutateur d'agent utilisateur , pour changer l'agent utilisateur du navigateur.
Mettre à jour : RefControl n'est plus disponible. Tu peux essaye ça alternative à la place. Fin
- Téléchargez et installez les deux extensions dans le navigateur Web Firefox.
- Appuyez sur la touche Alt et sélectionnez Outils> Options RefControl.
- Cliquez sur 'Ajouter un site', saisissez un nom de domaine sous site, sélectionnez une action personnalisée et saisissez https://www.google.com/ comme référent.
- Répétez cette opération pour tous les sites d'actualités auxquels vous souhaitez accéder (certains peuvent ne pas fonctionner même si vous apportez les modifications, alors gardez cela à l'esprit).
- Lorsque vous avez terminé, fermez la fenêtre de configuration.
- Appuyez à nouveau sur la touche Alt et sélectionnez Outils> Agent utilisateur par défaut> Modifier les agents utilisateur dans le menu.
- Sélectionnez Nouveau> Agent utilisateur et remplacez la chaîne dans le champ Agent utilisateur par Mozilla / 5.0 (compatible; Googlebot / 2.1; + http: //www.google.com/bot.html). Nommez-le Googlebot.
- Quittez le menu.
- Avant d'accéder à ces sites, appuyez sur Alt et sélectionnez Agent utilisateur par défaut> Googlebot.
C'est tout ce qu'il y a à faire. Il est un peu dommage qu'il n'y ait pas d'extension pour Firefox qui change automatiquement l'agent utilisateur en fonction des sites que vous visitez.
Google Chrome
Les utilisateurs de Google Chrome peuvent installer des extensions comme Commutateur d'agent utilisateur et Contrôle des référents qui sont disponibles pour que le navigateur fasse de même.
Il existe cependant une autre possibilité, celle de créer une extension personnalisée qui automatise le processus dans le navigateur.
Les instructions sont fournies sur Elaineou . Tout ce qu'il faut, en gros, est de créer un nouveau répertoire sur l'ordinateur local, de créer les deux fichiers background.js et manifest.json à l'intérieur, et de copier et coller le code trouvé sur le site dans les fichiers.
Vous devez activer le 'mode développeur' sur chrome: // extensions /, puis sélectionner 'charger l'extension décompressée' pour choisir le dossier dans lequel vous avez créé les deux fichiers pour charger l'extension dans Chrome.
Vous pouvez modifier la liste des sites pris en charge pour en ajouter de nouveaux.