登錄 注冊

　　嘗試過網絡爬蟲的，可能會遇到過反爬蟲，這會讓我們的爬蟲中斷無法繼續訪問網站。這是因為我們的ip原因，如果你一直用同一個ip來訪問，訪問多了就會被加入到黑名單中。

　　那么，我們可以通過獲得ip代理來使用，通過動態ip代理來突破限制。今天，我們來學習一個抓取ip代理的教程。

　　這個爬蟲將通過解析免費代理的頁面獲取代理，之后存儲到jdb2中。每個爬蟲程序將使用協程的方式同步獲取代理。

　　解析頁面獲取數據，通過觀察頁面可以發現頁面上的數據都是以表格的形式進行排列的，我們使用調試功能查看一下源代碼。

　　通過觀察頁面我們可以通過bs4庫提供的功能進行頁面數據提取，也可以通過xapth進行頁面數據提取，以下代碼將通過xapth進行頁面數據與提取。

　　使用tornado來定義一個簡單的http服務，來提供http api獲取數據。

　　最后通過http://ip:8080/api?totle=10獲取指定個數的可用代理(支持get/post方法)。

　　雖然免費ip不花錢是很爽，但是大家也要盡量少用，因為免費的ip安全確實不大過關，而且連接也不夠穩定。