下?我就簡單跟?家講講Web Scraper爬?環(huán)境的搭建和在配置過程中遇到的問題。
Web Scrapter是?款基于Chrome內(nèi)核的瀏覽器插件,所以在配置Web Scraper前我們需要在電腦中安裝?持Chrome內(nèi)核的瀏覽器(可以選擇Chrome瀏覽器或者QQ瀏覽器,建議安裝Chrome),瀏覽器的選擇就不在這?做過多的對?,?家根據(jù)??情況選擇即可。
瀏覽器安裝好之后,我們就可以在瀏覽器中安裝Web Scraper插件了:
1、配置你的?絡(luò)環(huán)境,可以正常打開【Chrome?上應(yīng)?商店】即可(如果???絡(luò)訪問不了,可以在?上找?些能翻墻的VPN)
2、打開Chrome應(yīng)?商店,搜索"Web Scraper",如下圖
然后將Web Scraper添加?Chrome,環(huán)境就搭建成功了(如果?法打開?歌應(yīng)?商店,也可以??在百度上搜索離線安裝包,在開發(fā)者模式下進(jìn)?安裝,這?就不詳細(xì)說了)。
3、安裝完成后我們需要來驗證下效果,安裝完成后我們可以在瀏覽器上看到這樣?個圖標(biāo),看到這個就說嘛插件已經(jīng)安裝成功
然后打開我們需要爬取的?站,打開之后從「菜單-更多?具-開發(fā)者?具」進(jìn)?,如下圖:
打開之后就可以看到Web Scraper的選項卡了,后?就可以進(jìn)?數(shù)據(jù)爬取了。
注:如果在數(shù)據(jù)爬取過程中出現(xiàn)了限制訪問?站,可能是?站進(jìn)?了防刷檢測,這個時候你需要使?代理進(jìn)?訪問,可以選擇我們的流冠代理。