pyspider是Binux做的一个爬虫架构的开源化实现，主要功能有 ：

　　抓取、更新调度多站点的特定的页面

　　需要对页面进行结构化信息提取

　　灵活可扩展，稳定可监控

　　pyspider以去重调度，队列抓取，异常处理，监控等功能作为框架，只需提供给抓取脚本，并保证灵活性。最后加上web的编辑调试环境，以及web任务监控，即成为了这套框架。pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫

　　各个组件间使用消息队列连接，除了scheduler是单点的，fetcher 和 processor 都是可以多实例分布式部署的。 scheduler 负责整体的调度控制

　　任务由 scheduler 发起调度，fetcher 抓取网页内容， processor 执行预先编写的python脚本，输出结果或产生新的提链任务(发往 scheduler)，形成闭环

　　每个脚本可以灵活使用各种python库对页面进行解析，使用框架API控制下一步抓取动作，通过设置回调控制解析动作。

　　以上就是python爬虫pyspider框架的一些介绍，没太看明白的小伙伴可以结合以上的图片，相信对于pyspider框架的理解有一定的帮助。

　　如果你现在想学习python，赢取高薪工作机会，非常简单，填写下面信息，学好python技术高薪工作机会唾手可得。