97久久综合亚洲色HEZYO,曰韩无码二三区中文字幕,免费超爽大片黄,国产女人爽的流水毛片

網(wǎng)站logo
×

首頁 > 最新資訊 > python爬蟲常用工具庫總結(jié)

python爬蟲常用工具庫總結(jié)

發(fā)布時間 2019-12-30

說起爬蟲，大家可能第一時間想到的是python，今天就簡單為大家介紹下pyhton常用的一些庫。
請求庫：實(shí)現(xiàn)基礎(chǔ)Http操作
urllib:python內(nèi)置基本庫，實(shí)現(xiàn)了一系列用于操作url的功能。
requests:基于 urllib 編寫的，阻塞式 HTTP 請求庫，發(fā)出一個請求，一直等待服務(wù)器響應(yīng)后，程序才能進(jìn)行下一步處理。(http://cn.python-requests.org/zh_CN/latest/)
selenium:自動化測試工具。一個調(diào)用瀏覽器的 driver，通過這個庫你可以直接調(diào)用瀏覽器完成某些操作。(https://www.seleniumhq.org/)
phantomjs:一個基于webkit的javascript API。（http://phantomjs.org/）
解析庫：從網(wǎng)頁中提取信息
lxml：支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。(http://lxml.de/)
beautifulsoup4:html 和 XML 的解析,從網(wǎng)頁中提取信息，同時擁有強(qiáng)大的API和多樣解析方式。(https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)
pyquery:jQuery 的 Python 實(shí)現(xiàn)，能夠以 jQuery 的語法來操作解析 HTML 文檔，易用性和解析速度都很好。(https://pythonhosted.org/pyquery/)
數(shù)據(jù)庫：數(shù)據(jù)存儲
web框架:
flask:輕量級的 web 服務(wù)程序，簡單，易用，靈活，主要來做一些 API 服務(wù)。做代理時可能會用到。(http://docs.jinkan.org/docs/flask/)
django:一個 web 服務(wù)器框架，提供了一個完整的后臺管理，引擎、接口等，使用它可做一個完整網(wǎng)站。(https://www.djangoproject.com/)
jupyter:能讓你非常方便的在數(shù)據(jù)探索過程中有良好的實(shí)時交互效果(http://jupyter.org/)
爬蟲框架
scrapy:很強(qiáng)大的爬蟲框架，可以滿足簡單的頁面爬?。ū热缈梢悦鞔_獲知url pattern的情況）。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數(shù)據(jù)。但是對于稍微復(fù)雜一點(diǎn)的頁面，如 weibo 的頁面信息，這個框架就滿足不了需求了。
crawley:高速爬取對應(yīng)網(wǎng)站的內(nèi)容，支持關(guān)系和非關(guān)系數(shù)據(jù)庫，數(shù)據(jù)可以導(dǎo)出為 JSON、XML 等。
portia:可視化爬取網(wǎng)頁內(nèi)容。
newspaper:提取新聞、文章以及內(nèi)容分析。
python-goose:java 寫的文章提取工具。
cola:一個分布式爬蟲框架。項(xiàng)目整體設(shè)計(jì)有點(diǎn)糟，模塊間耦合度較高