小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频｜评论爬虫、微博帖子｜评论爬虫

Go to file

Relakkes 17e70ac2c1 chore: update ads wrong text		2024-09-26 15:41:32 +08:00
.github/workflows	docs: 在线文档support & 知识付费栏目汇聚	2024-09-19 16:54:19 +08:00
base	fix: xhs note detail error	2024-09-02 21:45:12 +08:00
cache	feat: cache impl done	2024-06-02 19:57:13 +08:00
cmd_arg	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
config	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
constant	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
docs	chore: update ads wrong text	2024-09-26 15:41:32 +08:00
libs	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
media_platform	fix: 修复知乎搜索关键词bug，相关的issue #435	2024-09-13 16:01:34 +08:00
model	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
proxy	fix: 解决IpInfoModel循环导入依赖问题	2024-08-12 00:14:50 +08:00
schema	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
store	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
test	feat: cache impl done	2024-06-02 19:57:13 +08:00
tools	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
.gitattributes	feat: 小红书笔记搜索，评论获取done	2023-06-12 20:37:24 +08:00
.gitignore	docs: 在线文档support & 知识付费栏目汇聚	2024-09-19 16:54:19 +08:00
LICENSE	docs:更新许可证协议，不允许商用。	2024-04-03 12:34:34 +08:00
README.md	docs: update README.md	2024-09-20 15:57:06 +08:00
async_db.py	feat: db数据存储重构完成	2024-04-06 22:11:10 +08:00
db.py	fix: 修复windows系统下初始化表结构编码问题	2024-08-07 01:02:35 +08:00
main.py	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
mypy.ini	feat: 完善类型注释，增加 mypy 类型检测	2023-07-16 17:57:18 +08:00
package-lock.json	docs: 在线文档support & 知识付费栏目汇聚	2024-09-19 16:54:19 +08:00
package.json	docs: 在线文档support & 知识付费栏目汇聚	2024-09-19 16:54:19 +08:00
recv_sms.py	feat: cache impl done	2024-06-02 19:57:13 +08:00
requirements.txt	fix: lost pyexecjs dependecy in requirements.txt	2024-09-08 19:23:11 +08:00
var.py	feat: 增加搜索词来源渠道	2024-08-23 08:29:24 +08:00

README.md

免责声明：

大家请以学习为目的使用本仓库，爬虫违法违规的案件：https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China

本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

点击查看更为详细的免责声明。点击跳转

仓库描述

小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫，百度贴吧爬虫，知乎爬虫...。
目前能抓取小红书、抖音、快手、B站、微博、贴吧、知乎等平台的公开信息。

原理：利用playwright搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低

MediaCrawlerPro 版本已经迭代出来了，相较于开源版本的优势：

多账号+IP代理支持（重点！）
去除Playwright依赖，使用更加简单
支持linux部署（Docker docker-compose）
代码重构优化，更加易读易维护（解耦JS签名逻辑）
完美的架构设计，更加易扩展，源码学习的价值更大

MediaCrawler仓库白金赞助商: 【MangoProxy】全球IP代理白金推荐，支持210+国家 MangoProxy

功能列表

平台	关键词搜索	指定帖子ID爬取	二级评论	指定创作者主页	登录态缓存	IP代理池	生成评论词云图
小红书	✅	✅	✅	✅	✅	✅	✅
抖音	✅	✅	✅	✅	✅	✅	✅
快手	✅	✅	✅	✅	✅	✅	✅
B 站	✅	✅	✅	✅	✅	✅	✅
微博	✅	✅	✅	✅	✅	✅	✅
贴吧	✅	✅	✅	✅	✅	✅	✅
知乎	✅	❌	✅	❌	✅	✅	✅

MediaCrawler使用教程文档

MediaCrawler在线文档

开发者服务

MediaCrawler源码剖析课程：
- 抖音课程链接（仅支持安卓）：https://v.douyin.com/iYeQFyAf/
- B站课程链接：https://www.bilibili.com/cheese/play/ss16569
(备注：视频课程介绍飞书文档链接：https://relakkes.feishu.cn/wiki/JUgBwdhIeiSbAwkFCLkciHdAnhh (如果你想很快入门这个项目，或者想了具体实现原理，我推荐你看看这个视频课程，从设计出发一步步带你如何使用，门槛大大降低))
知识星球：MediaCrawler相关问题最佳实践、爬虫逆向分享、爬虫项目实战、多年编程经验分享、爬虫编程技术问题提问。

星球精选文章(部分)：

感谢下列Sponsors对本仓库赞助

成为赞助者，可以将您产品展示在这里，每天获得大量曝光，联系作者微信：yzglan

打赏

如果觉得项目不错的话可以打赏哦。您的支持就是我最大的动力！

打赏时您可以备注名称，我会将您添加至打赏列表中。

打赏-微信打赏-支付宝

查看打赏列表 MediaCrawler捐赠名单

爬虫入门课程

我新开的爬虫教程Github仓库 CrawlerTutorial ，感兴趣的朋友可以关注一下，持续更新，主打一个免费.

star 趋势图

如果该项目对你有帮助，帮忙 star一下 ❤️❤️❤️，让更多的人看到MediaCrawler这个项目

参考

xhs客户端 ReaJason的xhs仓库
短信转发参考仓库
内网穿透工具 ngrok

免责声明

1. 项目目的与性质

本项目（以下简称“本项目”）是作为一个技术研究与学习工具而创建的，旨在探索和学习网络数据采集技术。本项目专注于自媒体平台的数据爬取技术研究，旨在提供给学习者和研究者作为技术交流之用。

2. 法律合规性声明

本项目开发者（以下简称“开发者”）郑重提醒用户在下载、安装和使用本项目时，严格遵守中华人民共和国相关法律法规，包括但不限于《中华人民共和国网络安全法》、《中华人民共和国反间谍法》等所有适用的国家法律和政策。用户应自行承担一切因使用本项目而可能引起的法律责任。

3. 使用目的限制

本项目严禁用于任何非法目的或非学习、非研究的商业行为。本项目不得用于任何形式的非法侵入他人计算机系统，不得用于任何侵犯他人知识产权或其他合法权益的行为。用户应保证其使用本项目的目的纯属个人学习和技术研究，不得用于任何形式的非法活动。

4. 免责声明

开发者已尽最大努力确保本项目的正当性及安全性，但不对用户使用本项目可能引起的任何形式的直接或间接损失承担责任。包括但不限于由于使用本项目而导致的任何数据丢失、设备损坏、法律诉讼等。

5. 知识产权声明

本项目的知识产权归开发者所有。本项目受到著作权法和国际著作权条约以及其他知识产权法律和条约的保护。用户在遵守本声明及相关法律法规的前提下，可以下载和使用本项目。

6. 最终解释权

关于本项目的最终解释权归开发者所有。开发者保留随时更改或更新本免责声明的权利，恕不另行通知。

README.md Unescape Escape