需求
万维网上有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是纵然是进化到21世纪的人类，依然只有两只手，一双眼，不可能去每一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，这就是爬虫。原理
传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；所以一个完整的爬虫一般会包含如下三个模块：- 网络请求模块
- 爬取流程控制模块
- 内容分析提取模块
网络请求
我们常说爬虫其实就是一堆的http(s)请求，找到待爬取的链接，然后发送一个请求包，得到一个返回包，当然，也有HTTP长连接(keep-alive)或h5中基于stream的websocket协议，这里暂不考虑，所以核心的几个要素就是：- url
- 请求header、body
- 响应herder、内容
URL
爬虫开始运行时需要一个初始url，然后会根据爬取到的html文章，解析里面的链接，然后继续爬取，这就像一棵多叉树，从根节点开始，每走一步，就会产生新的节点。为了使爬虫能够结束，一般都会指定一个爬取深度(Depth)。Http请求
http请求信息由请求方法(method)、请求头(headers)、请求正文(body)三部分组成。由于method一般是header中的第一行，也可以说请求头中包含请求方法，下面是chrome访问请求头的一部分：- Basic Auth
- Referer
- User-Agent
- Cookie
也有本地通过JS，根据服务端返回的某个信息进行处理生成的加密信息，设置在Cookie里面；
- JavaScript加密操作
- 自定义字段因为http的headers可以自定义地段，所以第三方可能会加入了一些自定义的字段名称或者字段值，这也是需要注意的。
流程控制
所谓爬取流程，就是按照什么样的规则顺序去爬。在爬取任务不大的情况下，爬取的流程控制不会太麻烦，很多爬取框架都已经帮你做了如scrapy，只需要自己实现解析的代码。但在爬取一些大型网站时，例如全网抓取京东的评论，微博所有人的信息，关注关系等等，这种上十亿到百亿次设置千亿次的请求必须考虑效率，否则一天只有86400秒，那么一秒钟要抓100次，一天也才8640w次请求，也需要100多天才能到达十亿级别的请求量。涉及到大规模的抓取，一定要有良好的爬虫设计，一般很多开源的爬虫框架也都是有限制的，因为中间涉及到很多其他的问题，例如数据结构，重复抓取过滤的问题，当然最重要的是要把带宽利用满，所以分布式抓取很重要，这时流程控制就会很重要，分布式最重要的就是多台机器不同线程的调度和配合，通常会共享一个url队列，然后各个线程通过消息通信，如果想要抓的越多越快，那么对中间的消息系统的吞吐量要求也越高。现在也有一些开源的分布式爬取框架如scrapy-redis就是一个重写了scrapy的调度模块、队列、管道的包，redis数据库是用来在分布式中做请求队列共享，scrapyd是用来部署scrapy的,scrapyd-api用来启动获取数据。内容分析提取
请求headers的Accept-Encoding字段表示浏览器告诉服务器自己支持的压缩算法（目前最多的是gzip），如果服务器开启了压缩，返回时会对响应体进行压缩，爬虫需要自己解压；过去我们常需要获取的内容主要来源于网页html文档本身，也就是说，我们决定进行抓取的时候，都是html中包含的内容，但是随着这几年web技术飞速的发展，动态网页越来越多，尤其是移动端，大量的SPA应用，这些网站中大量的使用了ajax技术。我们在浏览器中看到的网页已不全是html文档说包含的，很多都是通过javascript动态生成的，一般来说，我们最终眼里看到的网页包括以下三种：
- Html文档本身包含内容
- CSS选择器
- XPATH（这个值得学习一下）
- 正则表达式或普通字符串查找
- JavaScript代码加载内容
- Ajax／Fetch异步请求
爬虫技术的现状
语言
理论上来说，任何支持网络通信的语言都是可以写爬虫的，爬虫本身虽然语言关系不大，但是，总有相对顺手、简单的。目前来说，大多数爬虫是用后台脚本类语言写的，其中python无疑是用的最多最广的，并且页诞生了很多优秀的库和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。但是一般来说，搜索引擎的爬虫对爬虫的效率要求更高，会选用c++、java、go(适合高并发)，详情 排名前50的开源Web爬虫用于数据挖掘. 我在大学时代就用c++实现了一个多线程的框架，但是发现和python实现的爬虫效率提升并不明显，原因是，对于简单爬虫，瓶颈在于数据分析及提取，而网络效率和语言关系并不大。值得一提的是，在近几年node发展非常快， 使得javascript遍地开花，有些人也开始尝试用node做爬虫，但是，这其实和其它后台脚本语言没什么区别，也不如 python简单， 因为你依旧不能在node 里发起ajax请求，不能执行原网页的dom。因为node的javascript 执行环境和浏览器的执行环境并不相同。那么，难道就真的不能像在浏览器中一样用js写爬虫，用jquery提取内容吗？想法很大胆，我们暂且搁置。运行环境
爬虫本身不区分到底是运行在windows还是Linux，又或是OSX，但从业务角度讲，我们把运行在服务端(后台)的，称之为后台爬虫。而现在，几乎所有的爬虫都是后台爬虫。后台爬虫的三大问题
后台爬虫在大行其道的时候，也有着些许棘手的、到目前也没有什么好的解决方案问题，而归根结底，这些问题的根本原因是由于后台爬虫的先天不足导致，在正式讨论之前，我们先思考一个问题，“爬虫和浏览器有什么异同？”。相同点
本质上都是通过http/https协议请求互联网数据
不同点
- 爬虫一般为自动化程序，无需用用户交互，而浏览器不是
- 运行场景不同；浏览器运行在客户端，而爬虫一般都跑在服务端
- 能力不同；浏览器包含渲染引擎、javascript虚拟机，而爬虫一般都不具备这两者。
