动态网页爬虫学习笔记
Selenium+chromedriver获取动态数据:
Selenium相当于是-一个机器人。可以模拟人类在浏览器上的一些行为,自动处理浏览器上的一些行为,比如点击,填充数据,删除cookie等。chromedriver 是-个驱动Chrome浏览器的驱动程序,使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。
以下列出了不同浏览器及其对应的driver:
1. Chrome: https:// sites google.com/a/chromium.org/chromedriver/downloads
2. Firefox: http://github.com/mozilla/geckodriver/releases
3. Edge: https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
4. Safari: https://webkit. org/blog/6900/webdriver-support-in-safari-10/
安装Selenium和chromedriver:
1.安装Selenium : Selenium 有很多语言的版本,有java、 ruby、 python等。我们下载python版本的就可以了。
pip install selenium
2.安装chromedriver :下载完成后,放到不需要权限的纯英文目录下就可以了。
页面等待:
现在的网页越来越多采用了Ajax技术,这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来,但是你的代码直接使用了这个WebElement,那么就会抛出NullPointer的异常。为了解决这个问题。所以Selenium提供了两种等待方式:一种是隐式等待、一种是显式等待。
1.隐式等待:
调用 driver. implicitly_wait。那么在获取不可用的元素之前,会先等待10秒中的时间。
示例代码如下:
driver = webdriver.Chrome(executable_path=driver_path) driver. implicitly_wait(10) #请求网页 driver.get("https://www . douban. com/")
2.显示等待:
显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间,如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_ conditions 期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。
示例代码如下:
from selenium import webdriver from selenium.webdriver.comon.by import By from selenium.webdriver.support.ui import WebDriverwait from selenium.webdriver.support import expected_ conditions as EC driver = webdriver.Firefox() driver.get("http://somedomain/ur1_that_delays_ loading" ) try: element=WebDriverWait(driver,10).until( EC. presence_ of_ element_ located((By.ID, "myDynamicElement")) ) finally: driver.quit()