nelzomal
|
eace7d1750
|
improve base config reading command line arg logic
|
2024-06-09 18:51:36 +08:00 |
程序员阿江-Relakkes
|
c8dbc0bf3d
|
Merge pull request #278 from ZuWard/main
抖音二级评论
|
2024-06-07 13:04:18 +08:00 |
|
Relakkes
|
4bba1447f8
|
feat: cache impl done
|
2024-06-02 19:57:13 +08:00 |
ZuWard
|
0ba68809a5
|
抖音二级评论
|
2024-05-29 06:35:37 +08:00 |
|
Relakkes
|
478db4cc4b
|
feat: 抖音指定创作者done
|
2024-05-28 01:07:19 +08:00 |
|
Relakkes
|
df1e4a7b02
|
refactor: 抖音登录态检测不在抛出警告，可能会误导使用者
|
2024-05-27 22:44:35 +08:00 |
|
Relakkes
|
764bafc626
|
feat: 抖音登录态检测逻辑更新支持
|
2024-05-23 22:15:14 +08:00 |
|
Relakkes
|
e64df93edd
|
feat: 由于xhs和dy现在检测playwright二维码登录了，大概率会出现滑块或者手机验证，增加登录态检测时间为5min，预留足够的时间手动过验证码。
|
2024-05-15 23:23:30 +08:00 |
|
Relakkes
|
5681dd6925
|
fix: #237
|
2024-04-17 23:32:17 +08:00 |
|
Relakkes
|
87eb8aa6a7
|
fix: #230
|
2024-04-13 20:18:04 +08:00 |
Tianci-King
|
1115b0d90c
|
feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字
|
2024-04-12 00:52:47 +08:00 |
chunpat
|
6422500e32
|
Remove duplication Qrcode Show
|
2024-04-05 21:24:06 +08:00 |
leantli
|
68a60faa7f
|
chore: 简化判断方式
|
2024-04-04 00:11:22 +08:00 |
|
leantli
|
133f978477
|
fix: 修复爬取视频/帖子最大数设置值较低导致不爬取的问题
|
2024-04-03 12:18:23 +08:00 |
|
Relakkes
|
e950e0d6e3
|
feat: add abstract api client to all platform
|
2024-03-30 21:27:25 +08:00 |
|
Relakkes
|
59cd9f67a0
|
feat: 支持评论模式是否开启爬取选项
|
2024-03-16 11:52:42 +08:00 |
|
Relakkes
|
149b6bcdc8
|
fix: 修复抖音关键词搜索为中文的情况下，有bug
|
2024-03-03 19:36:36 +08:00 |
|
Relakkes
|
384c8f9f7e
|
fix: issue #140
|
2024-02-26 23:47:02 +08:00 |
|
Relakkes
|
e940a41033
|
refactor: 移除评论中指定数量和过滤特定关键词的逻辑
|
2024-01-17 23:02:05 +08:00 |
|
Relakkes
|
894dabcf63
|
refactor: 数据存储重构，分离不同类型的存储实现
|
2024-01-14 22:06:31 +08:00 |
|
Relakkes
|
e31aebbdfb
|
fix: 修复代理Bug
|
2024-01-13 15:50:02 +08:00 |
|
Relakkes
|
aba9f14f50
|
refactor: 规范日志打印
feat: B站指定视频ID爬取（bvid）
|
2023-12-23 01:04:08 +08:00 |
peanutsplash
|
5c6a636352
|
fix-bug:修复抖音评论筛选
|
2023-12-14 00:55:06 +08:00 |
|
peanutsplash
|
f17a85305e
|
添加功能:(哔哩哔哩,快手,小红书)每个视频/帖子抓取评论最大条数限制,评论关键词筛选
|
2023-12-13 23:53:12 +08:00 |
|
Relakkes
|
97d7a0c38b
|
feat: Bilibili comment done
|
2023-12-09 21:10:01 +08:00 |
|
Relakkes
|
1cec23f73d
|
feat: 代理IP功能 Done
|
2023-12-08 00:10:04 +08:00 |
|
Relakkes
|
c530bd4219
|
feat: 代理IP缓存到redis中
|
2023-12-06 23:49:56 +08:00 |
|
Relakkes
|
a6e877de42
|
fix: 修复B站搜索Field命名 bug
refactor: ping接口统一更换为pong
|
2023-12-05 22:54:47 +08:00 |
|
peanutsplash
|
ab1a10bac1
|
添加功能:抖音每个视频抓取评论最大条数限制,抖音评论关键词筛选
|
2023-12-05 11:21:47 +08:00 |
|
Relakkes
|
986179b9c9
|
feat: 增加 IP 代理的最新实现
|
2023-12-02 16:14:36 +08:00 |
|
Relakkes
|
81bc8b51e2
|
feat: 抖音支持指定视频列表爬去
|
2023-11-18 22:07:30 +08:00 |
|
Relakkes
|
700946b28a
|
feat: 小红书增加指定帖子爬取功能
fix: 修复程序一些异常 bug
refactor: 优化部分代码逻辑
|
2023-11-18 13:38:11 +08:00 |
|
Relakkes
|
9177c38521
|
feat: 支持数据保存到CSV中
|
2023-08-16 19:49:41 +08:00 |
|
Relakkes
|
c1a3f06c7a
|
fix: issue #32
|
2023-08-16 13:58:44 +08:00 |
|
Relakkes
|
1d3c2359e0
|
fix: 修复部分变量命名语义不明确
|
2023-07-30 21:30:26 +08:00 |
|
Relakkes
|
bf659455bb
|
fix: issue #22
|
2023-07-30 20:43:02 +08:00 |
|
Relakkes
|
4ff2cf8661
|
refactor: 优化代码
|
2023-07-29 15:35:40 +08:00 |
|
Relakkes
|
e75707443b
|
feat: 增加配置项支持自由选择数据是否保存到关系型数据库中
|
2023-07-24 20:59:43 +08:00 |
|
Nanmi
|
745e59c875
|
feat: 完善类型注释，增加 mypy 类型检测
|
2023-07-16 17:57:18 +08:00 |
|
Relakkes
|
e5bdc63323
|
feat: xhs增加并发控制参数
|
2023-07-15 22:25:56 +08:00 |
|
Relakkes
|
2398a17e21
|
refactor: 优化抖音Crawler部分代码
fix: 日志初始化错误修复
|
2023-07-15 21:30:12 +08:00 |
|
Relakkes
|
e5f4ecd8ec
|
fix: issue #12
|
2023-07-03 19:34:37 +08:00 |
|
Relakkes
|
57437719bf
|
feat: 抖音三种方式登录实现 & 抖音滑块模拟滑动实现
|
2023-07-01 23:10:47 +08:00 |
|
Relakkes
|
b8093a2c0f
|
refactor:优化部分代码
feat: 增加IP代理账号池
|
2023-06-27 23:38:30 +08:00 |
|
Relakkes
|
a7c7f9533d
|
feat: 抖音评论done
|
2023-06-25 21:09:20 +08:00 |
NanmiCoder
|
e82dcae02f
|
feat: 小红书笔记搜索，评论获取done
docs: update docs
Create .gitattributes
Update README.md
|
2023-06-12 20:37:24 +08:00 |