2022年04月08日
今天来谈谈关于反爬虫的东西。
随着大数据时代的来临，无论是个人还是企业，对于数据的需求都越来越大。这种需求也催生了如今异常热门的数据产业，也催生了日益完善的网络数据采集技术。
这种需求的扩大， 同时让网络爬虫日益猖獗，猖獗到甚至影响到了网站和APP的正常运行。
高频的网络爬虫行为无异于DDOS(分布式拒绝服务)攻击，虽然法律可以治它，但是其过程之繁琐，还是不如先让网站自身充分地强大起来。
为了便于基础薄弱的同学理解，我们先看一个基本的网站访问链路图：
这其中包含了我们从个人电脑的浏览器上访问