爬虫学习03常用模块
一.requests
1. requests.get(url,headers)
2.requests.post(url, headers, data)
二.urllib
from urllib import request
1.request.urlretreieve(url, filename) 对url地址内的资源
三.lxml
from lxml import etree
1.etree.HTML()
四.selenium
1.什么是selenium:selenium是一个python的第三方模块,对外提供了控制浏览器的接口,可以让浏览器完成自动化的操作.
2.环境搭建:
1.安装: pip install selenium
2.获取一款浏览器的驱动程序(谷歌)
a.谷歌浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html
b.下载的驱动程序必须和浏览器的版本统一，根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应