之前有段时间曾做过一些网络爬虫，我也总结了一些心得分享一下。

在做网络爬虫的过程中，我更加深入体会了html，EL表达式等javaweb技术的本质原理，对提高我的编程水平的提升有了非常大的帮助。后期在爬虫优化中采用并行策略，提高系统效率。

从本质上看一切请求都是在获取数据，那么从技术实现角度来划分我个人觉得应该分为两点：

1. html文档数据。纯文本的网页。
2. ajax请求json或者其他数据。动态获取后台，组成的页面或组件。

下面仔细分析一下：

• 对于html文档，推荐使用jsoup来解析html元素。同时jsoup自身也具备数据获取功能，整个开发功能都特别简单。
• 对于ajax请求接口获取json获取其他数据可以推荐使用fastjson来解析数据。

在抓取数据过程中，比较难把握的一点是：

• 异常情况的处理。某一时刻因为机器响应迟钝或者网络情况不良或者请求参数异常等种种情况出现的异常情况，是否需要重试机制等等问题都是需要在前期规划好的。
• 取到数据后的解析办法。对于爬虫项目逻辑复杂的地方不在于取数据，而在于取到数据后的解析办法。
• 大数据的处理和存储。由于爬虫数据量比较多，所以对大数据的处理跟储存，也是需要考虑的部分。

我是抠豆年华，一位不愿透露姓名的网友。

欢迎关注。

欢迎在评论区留言提问。