课程亮点
✓
HTTP协议与请求库精讲
✓
多种解析技术（正则/XPath/CSS选择器）
✓
主流反爬策略与应对方案
✓
JS逆向与动态渲染处理
✓
分布式爬虫架构设计
✓
真实项目全流程实战
课程介绍
本课程涵盖网络爬虫核心知识点与实战项目，包括HTTP协议、请求库、解析库、反爬策略、JS逆向、APP抓包、分布式爬虫等。
已完结，详细课表请咨询讲师获取。
课程大纲
1.1 课程导学与爬虫工程师职业前景
1.2 Python 基础环境搭建
1.3 HTTP/HTTPS 协议详解
1.4 Request/Response 报文结构
1.5 Requests 库快速入门
1.6 Requests 高级用法（Session/Cookie/代理）
1.7 urllib 与 httpx 库对比
1.8 实战：爬取静态网页数据
2.1 正则表达式基础与实战
2.2 正则表达式高级用法（分组/贪婪/非贪婪）
2.3 BeautifulSoup4 使用详解
2.4 XPath 语法与 lxml 库
2.5 CSS 选择器解析
2.6 JSON 数据解析与处理
2.7 数据存储（CSV/MySQL/MongoDB/Redis）
2.8 实战：多站点数据采集与存储
3.1 常见反爬策略概述
3.2 User-Agent 与 Headers 伪装
3.3 Cookie 反爬与登录态维持
3.4 IP 封禁与代理池搭建
3.5 验证码识别（图形/滑块/点选）
3.6 字体反爬与 CSS 偏移反爬
3.7 频率控制与请求策略
3.8 实战：突破某站多重反爬
4.1 浏览器开发者工具使用
4.2 JS断点调试与堆栈分析
4.3 Ajax/Fetch 请求抓取
4.4 JS加密参数定位与还原
4.5 Selenium 自动化入门
4.6 Playwright 现代自动化方案
4.7 无头浏览器与反检测
4.8 实战：JS逆向某平台搜索接口
5.1 Charles/Fiddler 抓包工具使用
5.2 手机代理设置与证书安装
5.3 SSL Pinning 绕过
5.4 APP 接口协议分析
5.5 mitmproxy 编程抓包
5.6 实战：APP数据采集全流程
6.1 Scrapy 框架入门与进阶
6.2 Scrapy 中间件与管道
6.3 Scrapy-Redis 分布式爬虫
6.4 异步爬虫（asyncio + aiohttp）
6.5 爬虫部署与定时任务
6.6 数据清洗与可视化
6.7 综合实战项目一
6.8 综合实战项目二
6.9 课程总结与爬虫工程师进阶路线