qnloft
/
MediaCrawler
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
333 Commits 2 Branches 0 Tags 21 MiB
Commit Graph

47 Commits

Author SHA1 Message Date
Relakkes 7229d29123 feat: xhs update 2024-08-04 14:54:03 +08:00
Wenbo Lu 9fb8f42f69 fetch_creator_notes_detail, id ->note_id 2024-07-26 21:55:31 +08:00
Relakkes 573ca9a659 feat: xhs笔记详情更新 2024-07-25 00:44:46 +08:00
AuYeung 1fd7827e36 When the query has no content, terminate the loop early 2024-07-18 20:44:40 +08:00
helloteemo 6545a15ff3 feature: 支持小红书图片、视频下载 2024-07-11 22:56:30 +08:00
Relakkes d3eeccbaac feat: logger record current search page 2024-06-24 22:24:51 +08:00
nelzomal eace7d1750 improve base config reading command line arg logic 2024-06-09 18:51:36 +08:00
程序员阿江-Relakkes a341dc2aff
Merge pull request #229 from Tianci-King/main 
feat(core): 新增控制爬虫参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数…
 2024-04-13 13:37:35 +08:00
leantli ad01dfba95 feat: 轻量化支持爬取小红书二级评论 2024-04-12 17:32:20 +08:00
Tianci-King 1115b0d90c feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字 2024-04-12 00:52:47 +08:00
leantli 81a9946afd feat: 支持爬取小红书二级评论 2024-04-11 17:16:13 +08:00
leantli 68a60faa7f chore: 简化判断方式 2024-04-04 00:11:22 +08:00
leantli 133f978477 fix: 修复爬取视频/帖子最大数设置值较低导致不爬取的问题 2024-04-03 12:18:23 +08:00
Relakkes 67ec49498a refactor: rename xhs to xiaohongshu 2024-03-30 21:17:33 +08:00
Relakkes 96309dcfee fix: 小红书创作者功能数据获取优化 2024-03-17 14:50:10 +08:00
Relakkes 59cd9f67a0 feat: 支持评论模式是否开启爬取选项 2024-03-16 11:52:42 +08:00
jayeeliu@gmail.com 61ba8c5cc7 feat: 小红书支持通过博主ID采集笔记和评论，小红书type=search时支持配置按哪种排序方式获取笔记数据，小红书笔记增加视频地址和标签字段 2024-03-02 01:49:42 +08:00
Relakkes e0f9a487e4 refactor: 代码优化 2024-01-16 00:40:07 +08:00
Relakkes 894dabcf63 refactor: 数据存储重构，分离不同类型的存储实现 2024-01-14 22:06:31 +08:00
Relakkes e31aebbdfb fix: 修复代理Bug 2024-01-13 15:50:02 +08:00
Relakkes aba9f14f50 refactor: 规范日志打印 
feat: B站指定视频ID爬取（bvid）
 2023-12-23 01:04:08 +08:00
Relakkes 273c9a316b fix: 修复日志打印时参数格式错误 2023-12-22 23:10:44 +08:00
Relakkes 2e032d09dc refactor: xhs add log 2023-12-19 23:05:12 +08:00
peanutsplash f17a85305e 添加功能:(哔哩哔哩,快手,小红书)每个视频/帖子抓取评论最大条数限制,评论关键词筛选 2023-12-13 23:53:12 +08:00
Relakkes 97d7a0c38b feat: Bilibili comment done 2023-12-09 21:10:01 +08:00
Relakkes 1cec23f73d feat: 代理IP功能 Done 2023-12-08 00:10:04 +08:00
Relakkes a6e877de42 fix: 修复B站搜索Field命名 bug 
refactor: ping接口统一更换为pong
 2023-12-05 22:54:47 +08:00
Relakkes 986179b9c9 feat: 增加 IP 代理的最新实现 2023-12-02 16:14:36 +08:00
Relakkes 81bc8b51e2 feat: 抖音支持指定视频列表爬去 2023-11-18 22:07:30 +08:00
Relakkes 098923d74d refactor: 优化代码-变量名 2023-11-18 15:53:10 +08:00
Relakkes 700946b28a feat: 小红书增加指定帖子爬取功能 
fix: 修复程序一些异常 bug
refactor: 优化部分代码逻辑
 2023-11-18 13:38:11 +08:00
xiaoniu ad69e63d5f fix: get phone from phone pool when ENABLE_IP_PROXY is False 2023-08-31 14:00:57 +08:00
Relakkes 9177c38521 feat: 支持数据保存到CSV中 2023-08-16 19:49:41 +08:00
JayeeLiu 925f0a1bc4 去掉搜索结果列表中的推荐搜索词（mode_type in ['rec_query', 'hot_query']） 2023-08-01 10:29:00 +08:00
Relakkes 1d3c2359e0 fix: 修复部分变量命名语义不明确 2023-07-30 21:30:26 +08:00
Relakkes 4ff2cf8661 refactor: 优化代码 2023-07-29 15:35:40 +08:00
Relakkes 03565d61c6 fix: issue #19 2023-07-25 20:22:22 +08:00
Relakkes e75707443b feat: 增加配置项支持自由选择数据是否保存到关系型数据库中 2023-07-24 20:59:43 +08:00
Nanmi 745e59c875 feat: 完善类型注释，增加 mypy 类型检测 2023-07-16 17:57:18 +08:00
Relakkes e5bdc63323 feat: xhs增加并发控制参数 2023-07-15 22:25:56 +08:00
Relakkes 2398a17e21 refactor: 优化抖音Crawler部分代码 
fix: 日志初始化错误修复
 2023-07-15 21:30:12 +08:00
Relakkes dad8d56ab5 feat: issue #14 
refactor: 优化小红书crawler流程代码
 2023-07-15 17:11:53 +08:00
Relakkes b8093a2c0f refactor:优化部分代码 
feat: 增加IP代理账号池
 2023-06-27 23:38:30 +08:00
Relakkes 1085a2a769 fix: 增加小红书登录两种形态下弹窗的兼容代码 2023-06-22 22:43:26 +08:00
ubuntu 79a0296312 handby&catch exception 2023-06-17 15:14:58 +08:00
Relakkes 8206f83639 feat: 小红书增加手机号自动登录模式 2023-06-16 20:10:29 +08:00
NanmiCoder e82dcae02f feat: 小红书笔记搜索，评论获取done 
docs: update docs

Create .gitattributes

Update README.md
 2023-06-12 20:37:24 +08:00