登錄 注冊

　　看到網上關于爬蟲的教程，有一個詞會出現得非常頻繁，不知道大家有沒有留意到，那就是ip代理池。今天IP海就要來給大家介紹ip代理池有什么用。

　　什么是用戶ip代理池?

　　用戶代理池就是將不同的用戶代理組建成為一個池子，隨后隨機調用。

　　作用：每次訪問代表使用的瀏覽器不一樣

　　import urllib.request

　　import re

　　import random

　　uapools=[

　　'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0',

　　'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',

　　'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',

　　'Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12',

　　]

　　def ua(uapools):

　　thisua=random.choice(uapools)

　　print(thisua)

　　headers=("User-Agent",thisua)

　　opener=urllib.request.build_opener()

　　opener.addheaders=[headers]

　　urllib.request.install_opener(opener)

　　for i in range(10):

　　ua(uapools)

　　thisurl="https://www.qiushibaike.com/text/page/"+str(i+1)+"/";

　　data=urllib.request.urlopen(thisurl).read().decode("utf-8","ignore")

　　pat='<div class="content">.*?<span>(.*?)</span>.*?</div>'

　　res=re.compile(pat,re.S).findall(data)

　　for j in range(len(res)):

　　print(res[j])

　　print('---------------------')

　　簡單的來說，ip代理池就是將可用的ip代理集中在一起，讓它們配置在我們爬蟲的程序當中，當一個IP失效之后，馬上又另外一個IP接著使用。