Configurer un crawler php (Google) multi IP en passant par un proxy SQUID Article : Configurer un crawler php (Google) multi IP en passant par un proxy SQUID

Cours en ligne : mise en place de A à Z d'un serveur proxy permettant de télécharger rapidement des pages web en passant outre les limites par IP.

Voir cet article sur le site
- Admin
Auteur
« précédent suivant »
Pages: [1]

Auteur Sujet: Article : Configurer un crawler php (Google) multi IP en passant par un proxy SQUID  (Lu 2941 fois)

Admin

  • Newbie
  • Social3W Team
  • *
  • 16 Messages
    • Voir le profil
    • Test d'un site
Le 29 Avril 2014 à 11:42
Une petite remarque, attention pour votre proxy à commander avec votre serveur des ips non séquentielles (qui ne viennent pas du même bloc RIPE). Chez OVH vous devez commander des ipfailover 1 par 1.
« Modifié: 30 avril 2014, 18:38:58 par Admin »
IP archivée

3W Factory

  • Newbie
  • Membres
  • *
  • 1 Messages
    • Voir le profil
Le 19 Mai 2014 à 17:59
Merci pour ce tutoriel, cela nous l'avons utilisé pour les besoins de l'agence. C'est une configuration assez galère à mettre en place et à tester. Merci pour ce guide et le gain de temps ;)
IP archivée
Agence e-commerce 3W Factory : http://www.3w-factory.com/

Crocoracing

  • Newbie
  • Membres
  • *
  • 11 Messages
    • Voir le profil
Le 22 Décembre 2016 à 12:33
Attention dans la config /etc/squid3/squid.conf

Remplacer :
auth_param basic program /usr/lib/squid/ncsa_auth
     /etc/squid3/passwd

Par
auth_param basic program /usr/lib/squid3/basic_ncsa_auth /etc/squid3/passwd

Si vous avez une erreur au démarrage
IP archivée
Pages: [1]
« précédent suivant »