- 详细介绍
- 相关信息
Python爬虫 爬虫请求管理
一.课程介绍
1.爬虫中的请求管理课程概要.mp4
二.请求管理简介
2.请求管理简介.mp4
3.请求去重管理简介.mp4
4.去重方案代码调用.mp4
5.请求去重的判断依据与实现逻辑.mp4
6.请求去重代码初步实现.mp4
7.请求判断依据数据处理逻辑分析.mp4
8.请求判断依据数据处理逻辑实现.mp4
9.请求去重模块测试(一) .mp4
10.请求去重模块测试(二) .mp4
11.请求缓冲与调度管理分析.mp4
12.请求调度原理分析.mp4
三.队列与Python
13.python中临时队列介绍.mp4
14.python中持久化队列介绍.mp4
15.基于redis实现队列的原理. mp4
16.基于redis实现FIFO、LIFO队列.mp4
17.基于redis实现优先级队列的原理.mp4
18.基于redis的优先级队列实现.mp4
19.redis共享资源竞争问题.mp4
20.redis共享资源竞争问题解决方案.mp4
21.redis分布式锁实现原理.mp4
22.redis分布式锁注意实现以及死锁.mp4
23.redis分布式锁实现.mp4
24.redis分布式锁使用测试与bug调试.mp4
25.redis分布式锁实现(补充) .mp4
26.解决redis优先级队列中的资源竞争问题.mp4
27.redis优先级队列测试与总结.mp4
28.请求管理整体实现方案分析.mp4
29.请求管理代码实现分析.mp4
30.请求管理模块使用测试.mp4
四.消息队列与Python
32.消息队列介绍.mp4
33.kafka工作原理介绍(一) .mp4
34.kafka工作原理介绍(二) .mp4
35.kafka工作原理介绍(三) .mp4
36.kafka工作环境搭建介绍.mp4
37.利用docker-compose启动kafka.mp4
38.confluent-kafka-python安装与使用.mp4
39.Docker中利用桥接网络模式启动kafka.mp4
40.kafka的分区特征介绍.mp4
41.向指定的分区生产和消费数据mp4
42.kafka的消费者组的特征.mp4
43.kafka中消费者数量与topic分区数之间的关系.mp4
44.abbitmq工作原理介绍.mp4
45.rabbitmq工作环境搭建介绍.mp4
46.基于pika实现生产者与消费者.mp4
47.rabbitmq中队列的特征.mp4
48.rabbitmq中消费者的ack确认机制.mp4
49.rabbitmq中的直连交换机.mp4
50.rabbitmq中的主题交换机.mp4
51.rabbitmq中的扇形交换机.mp4
52.rabbitmq中的首部交换机.mp4
53.消息队列与请求管理实现总结.mp4
五.断点績爬与增量抓取
54.利用请求管理实现断点续爬、增量抓取的思路分析.mp4
六.总结
