Commit Graph

25 Commits

Author SHA1 Message Date
Relakkes e940a41033 refactor: 移除评论中指定数量和过滤特定关键词的逻辑 2024-01-17 23:02:05 +08:00
Relakkes e0f9a487e4 refactor: 代码优化 2024-01-16 00:40:07 +08:00
Relakkes 4dfa0d3fbf feat: 数据保存支持JSON格式 2024-01-14 22:40:01 +08:00
Relakkes 894dabcf63 refactor: 数据存储重构,分离不同类型的存储实现 2024-01-14 22:06:31 +08:00
Relakkes 38d6f10bf0 feat: 微博二维码登录done 2023-12-30 18:54:21 +08:00
Relakkes eee81622ac feat: 微博支持评论 & 指定帖子 2023-12-25 00:02:11 +08:00
Relakkes aba9f14f50 refactor: 规范日志打印
feat: B站指定视频ID爬取(bvid)
2023-12-23 01:04:08 +08:00
Relakkes f85fd97d25 fix: #10 2023-12-16 00:12:20 +08:00
peanutsplash f17a85305e 添加功能:(哔哩哔哩,快手,小红书)每个视频/帖子抓取评论最大条数限制,评论关键词筛选 2023-12-13 23:53:12 +08:00
Relakkes 97d7a0c38b feat: Bilibili comment done 2023-12-09 21:10:01 +08:00
Relakkes 385662a7b6 doc: 新增代理IP使用文档 2023-12-09 00:06:57 +08:00
Relakkes 1cec23f73d feat: 代理IP功能 Done 2023-12-08 00:10:04 +08:00
peanutsplash ab1a10bac1 添加功能:抖音每个视频抓取评论最大条数限制,抖音评论关键词筛选 2023-12-05 11:21:47 +08:00
Relakkes dfb1788141 feat: 快手视频评论爬取done;数据保存到DB、CSV done 2023-11-26 21:43:39 +08:00
Relakkes 81bc8b51e2 feat: 抖音支持指定视频列表爬去 2023-11-18 22:07:30 +08:00
Relakkes 098923d74d refactor: 优化代码-变量名 2023-11-18 15:53:10 +08:00
Relakkes 700946b28a feat: 小红书增加指定帖子爬取功能
fix: 修复程序一些异常 bug
refactor: 优化部分代码逻辑
2023-11-18 13:38:11 +08:00
Relakkes 9177c38521 feat: 支持数据保存到CSV中 2023-08-16 19:49:41 +08:00
Relakkes 1d3c2359e0 fix: 修复部分变量命名语义不明确 2023-07-30 21:30:26 +08:00
Relakkes 4ff2cf8661 refactor: 优化代码 2023-07-29 15:35:40 +08:00
Relakkes e75707443b feat: 增加配置项支持自由选择数据是否保存到关系型数据库中 2023-07-24 20:59:43 +08:00
Nanmi 745e59c875 feat: 完善类型注释,增加 mypy 类型检测 2023-07-16 17:57:18 +08:00
Relakkes e5bdc63323 feat: xhs增加并发控制参数 2023-07-15 22:25:56 +08:00
Relakkes dad8d56ab5 feat: issue #14
refactor: 优化小红书crawler流程代码
2023-07-15 17:11:53 +08:00
Relakkes b8093a2c0f refactor:优化部分代码
feat: 增加IP代理账号池
2023-06-27 23:38:30 +08:00