19 KiB

Raw Blame History

免责声明：

大家请以学习为目的使用本仓库，爬虫违法违规的案件：https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China

本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

点击查看更为详细的免责声明。点击跳转

仓库描述

小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫...。
目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。

原理：利用playwright搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低

功能列表

平台	关键词搜索	指定帖子ID爬取	二级评论	指定创作者主页	登录态缓存	IP代理池	生成评论词云图
小红书	✅	✅	✅	✅	✅	✅	✅
抖音	✅	✅	✅	✅	✅	✅	✅
快手	✅	✅	✅	✅	✅	✅	✅
B 站	✅	✅	✅	✅	✅	✅	✅
微博	✅	✅	❌	❌	✅	✅	✅

使用方法

创建并激活 python 虚拟环境

# 进入项目根目录
cd MediaCrawler

# 创建虚拟环境
# 注意python 版本需要3.7 - 3.9 高于该版本可能会出现一些依赖包兼容问题
python -m venv venv

# macos & linux 激活虚拟环境
source venv/bin/activate

# windows 激活虚拟环境
venv\Scripts\activate

安装依赖库

pip install -r requirements.txt

安装 playwright浏览器驱动

playwright install

运行爬虫程序

### 项目默认是没有开启评论爬取模式，如需评论请在config/base_config.py中的 ENABLE_GET_COMMENTS 变量修改
### 一些其他支持项，也可以在config/base_config.py查看功能，写的有中文注释

# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
python main.py --platform xhs --lt qrcode --type search

# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
python main.py --platform xhs --lt qrcode --type detail
  
# 打开对应APP扫二维码登录
  
# 其他平台爬虫使用示例，执行下面的命令查看
python main.py --help

数据保存

支持保存到关系型数据库（Mysql、PgSQL等）
- 执行 python db.py 初始化数据库数据库表结构（只在首次执行）
支持保存到csv中（data/目录下）
支持保存到json中（data/目录下）

开发者服务

MediaCrawler视频课程：

课程介绍飞书文档链接：https://relakkes.feishu.cn/wiki/JUgBwdhIeiSbAwkFCLkciHdAnhh 如果你想很快入门这个项目，或者想了具体实现原理，我推荐你看看这个视频课程，从设计出发一步步带你如何使用，门槛大大降低

同时也是对我开源的支持，如果你能支持我的课程，我将会非常开心～
知识星球：沉淀高质量常见问题、最佳实践文档、多年编程+爬虫经验分享，提供付费知识星球服务，主动提问，作者会定期回答问题 (每天 1 快钱订阅我的知识服务)

星球精选文章：

感谢下列Sponsors对本仓库赞助

通过注册安装这个款免费的Sider ChatGPT插件帮我获得一定奖励💰，这个插件我用了大半年，作为谷歌上最火的一款插件，体验非常不错。

安装并注册该浏览器插件之后保留一天即可，我就可以获得3元的推广奖励，谢谢大家，支持我继续开源项目。

成为赞助者，展示你的产品在这里，联系作者wx：yzglan

MediaCrawler爬虫项目交流群：

如果二维码过期，可以直接添加我的微信号：yzglan（备注来自：github），拉你进项目交流群

图片展示不出来可以加作者微信: yzglan

运行报错常见问题Q&A

遇到问题先自行搜索解决下，现在AI很火，用ChatGPT大多情况下能解决你的问题免费的ChatGPT

➡️➡️➡️ 常见问题

dy和xhs使用Playwright登录现在会出现滑块验证 + 短信验证，手动过一下

项目代码结构

➡️➡️➡️ 项目代码结构说明

代理IP使用说明

➡️➡️➡️ 代理IP使用说明

词云图相关操作说明

➡️➡️➡️ 词云图相关说明

手机号登录说明

➡️➡️➡️ 手机号登录说明

爬虫入门课程

我新开的爬虫教程Github仓库 CrawlerTutorial ，感兴趣的朋友可以关注一下，持续更新，主打一个免费.

项目贡献者

感谢你们的贡献，让项目变得更好！（贡献比较多的可以加我wx，免费拉你进我的知识星球，后期还有一些其他福利。）

_{程序员阿江-Relakkes}	_leantli	_Rosyrain	_{Bao Zhuhan}	_zhounan	_helloteemo
_Ermeng	_PeanutSplash	_HIRO	_{Henry He}	_{leonardoqiuyu}	_jayeeliu
_{Wenbo Lu}	_ZhouXsh	_ZuWard	_Zendrix	_{zhangzhenpeng}	_{Sam Tan}
_xbsheng	_Martin	_zhihuiio	_Ren	_{Wang Tianci}	_Styunlen
_Schofi	_Klu5ure	_Kermit	_KEXNA	_{Jian Chang}	_AuYeung
_tianqing	_{Jingyang Kang}