2022年04月08日
kk-anti-reptile 是适用于基于 spring-boot 开发的分布式系统的反爬虫组件。原文http://33s.co/6s37
系统要求
基于 spring-boot 开发(spring-boot1.x, spring-boot2.x均可)
需要使用 redis
工作流程
kk-anti-reptile 使用基于 Servlet 规范的的 Filter 对请求进行过滤，在其内部通过 spring-boot 的扩展点机制，实例化一个 Filter，并注入到 Spring 容器 F
2022年04月08日
爬虫原理我是爬虫，每天穿越互联网，爬行我需要的一切。谢谢你HTTP协议，因为它，世界各地的网站和浏览器都可以连接到通信，我也使用它HTTP协议，获取我想要的数据。我只需要伪装成浏览器，发送到服务器HTTP你可以通过请求获得网页HTML文件。然后，我再按HTML格式规范，分析图片、链接，表单 等待我关注的信息。 &nb