97久久综合亚洲色HEZYO,曰韩无码二三区中文字幕,免费超爽大片黄,国产女人爽的流水毛片

網(wǎng)站logo
×

首頁(yè) > 最新資訊 > 爬蟲(chóng)神器pyppeteer

爬蟲(chóng)神器pyppeteer

發(fā)布時(shí)間 2020-06-28

selenium之前呢有文章提到過(guò)，想必大家都有一定的了解，它雖然很好用，但是缺點(diǎn)也比較明顯，尤其是需要經(jīng)常更新對(duì)應(yīng)的驅(qū)動(dòng)。最近呢小編新發(fā)現(xiàn)一款web自動(dòng)化測(cè)試工具pyppeteer，它雖然比較單一，但在安裝配置和運(yùn)行效率方面比selenium要好很多。
pyppeteer是puppeteer的Python版本，puppeteer是谷歌基于node.js開(kāi)發(fā)的一個(gè)工具，它可以使我們通過(guò)JavaScript來(lái)控制Chrome執(zhí)行一些操作，功能非常強(qiáng)大，下面簡(jiǎn)單跟大家講解一下pyppeteer的安裝使用。
1、安裝
pyppeteer采用了async機(jī)制，所以必須使用Python3.5及以上版本，安裝步驟如下
pip install pyppeteer
使用時(shí)直接導(dǎo)入
import pyppeteer
2、使用

我們使用豆瓣電影排行榜https://movie.douban.com/chart來(lái)作為測(cè)試
 pyppeteer代碼如下：
import asyncio
from pyppeteer import launch
from lxml import etree

async def main():
browser = await launch()
page = await browser.newPage()
await page.goto('https://movie.douban.com/chart')
await page.waitForXPath('//table//a[@title]')
doc = etree.HTML(await page.content())
names = [element.attrib['title'] for element in doc.xpath('//table//a[@title]')]
print('Names: ', names)
await browser.close()

asyncio.get_event_loop().run_until_complete(main())
運(yùn)行結(jié)果如下：
Names:['想哭的我?guī)蟻?lái)貓的面具','午夜0時(shí)的吻','侵入者','默片解說(shuō)員']
代碼的大致意思了懂點(diǎn)程序的這里應(yīng)該都看得懂，我就不多說(shuō)了。通過(guò)上面的這個(gè)示例，我們看到pyppeteer比selenium要簡(jiǎn)潔的多，而且環(huán)境配置也方便，直接自動(dòng)幫我們實(shí)現(xiàn)了環(huán)境配置。本來(lái)還有一些詳細(xì)的講解，由于篇幅長(zhǎng)度限制，本篇先簡(jiǎn)單介紹下基礎(chǔ)的，后面再跟大家分享下其它的功能。