Python爬虫是用Python编程bai语言实现的网络du爬虫，主要zhi用于网络数据的抓取和处理，dao相比zhuan于其他语言，Python是一门非常适合开发网络爬虫的编程语言，大量内置包，可以实现网络爬虫功能。

　　Python爬虫可以做的事情很多，如搜索引擎、采集数据、广告过滤等，Python爬虫还可以用于数据分析，在数据的抓取方面可以作用巨大!

　　网页之所以能够被爬取，主要是有以下三大特征：

　　网页都有唯一的URL(统一资源定位符，也就是网址)进行定位

　　网页都使用HTML(定位超文本标记语言)来描述页面信息

　　网页都使用HTTP/HTTPS(超文本传输协议)协议来传输HTML数据

　　因此，只要我们能确定需要爬取的网页 URL地址，通过 HTTP/HTTPS协议来获取对应的 HTML页面，就能提取 HTML页面里有用的数据。

　　在工具的选择上，任何支持网络通信的语言都可以写爬虫，比如 c++、 java、 go、 node等，而 python则是用的最多最广的，并且也诞生了很多优秀的库和框架，如 scrapy、 BeautifulSoup 、 pyquery、 Mechanize等。