doc: 增加快手爬虫的描述

This commit is contained in:
Relakkes 2023-11-26 21:50:08 +08:00
parent 9faa4f4eec
commit d59113668f
2 changed files with 5 additions and 4 deletions

View File

@ -4,8 +4,8 @@
# 仓库描述
**小红书爬虫****抖音爬虫** ...。
目前能稳定抓取小红书的视频图片、评论、点赞、转发等信息,抖音的视频、图片、评论、点赞等信息。
**小红书爬虫****抖音爬虫** **快手爬虫**...。
目前能抓取小红书、抖音、快手的视频、图片、评论、点赞、转发等信息。
原理:利用[playwright](https://playwright.dev/)搭桥保留登录成功后的上下文浏览器环境通过执行JS表达式获取一些加密参数
通过使用此方式免去了复现核心加密JS代码逆向难度大大降低。
@ -25,6 +25,7 @@
- [x] 抖音滑块模拟滑动实现准确率不太OK
- [x] 抖音指定关键爬取
- [x] 抖音指定帖子爬取
- [x] 快手指定关键词爬取
- [x] 支持登录成功后的上下文浏览器环境保留
- [x] 代理池实现(手机号+IP
- [x] 并发执行爬虫请求
@ -33,7 +34,7 @@
## 待实现
- [ ] 快手爬虫实现
- [ ] 快手登录(二维码、手机号)
## 使用方法

View File

@ -9,4 +9,4 @@ RELATION_DB_PWD = os.getenv("RELATION_DB_PWD", "123456") # your relation db pas
RELATION_DB_URL = f"mysql://root:{RELATION_DB_PWD}@localhost:3306/media_crawler"
# save data to database option
IS_SAVED_DATABASED = True # if you want to save data to database, set True
IS_SAVED_DATABASED = False # if you want to save data to database, set True