小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬虫
Go to file
Relakkes c0a783fa35 fix: 修复登录二维码扫描不上的bug 2023-06-13 14:09:50 +08:00
images feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
libs feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
media_platform feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
.gitattributes feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
.gitignore feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
LICENSE Initial commit 2023-06-09 20:14:34 +08:00
README.md fix: 修复登录二维码扫描不上的bug 2023-06-13 14:09:50 +08:00
base_crawler.py feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
main.py feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
requirements.txt feat: 小红书笔记搜索,评论获取done 2023-06-12 20:37:24 +08:00
utils.py fix: 修复登录二维码扫描不上的bug 2023-06-13 14:09:50 +08:00

README.md

!!免责声明:!!

本仓库的所有内容仅供学习和参考之用,禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究,不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任,本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

仓库描述

这个代码仓库是一个利用playwright的爬虫程序 可以准确地爬取小红书、抖音的笔记、评论等信息原理是利用playwright登录成功后保留登录成功后的上下文浏览器环境通过上下文浏览器环境执行JS表达式获取一些加密参数再使用python的httpx发起异步请求相当于使用Playwright搭桥免去了复现核心加密JS代码逆向难度大大降低。

主要功能

  • 爬取小红书笔记、评论
  • To do 爬取抖音视频、评论

技术栈

  • playwright
  • httpx
  • Web逆向

使用方法

  1. 安装依赖库 pip install -r requirements.txt
  2. 安装playwright浏览器驱动 playwright install
  3. 运行爬虫程序 python main.py --platform xhs --keywords 健身
  4. 打开小红书扫二维码登录

运行截图

小红书运行截图

参考

本仓库中小红书代码部分来自ReaJason的xhs仓库感谢ReaJason