56 Commits

Author	SHA1	Message	Date
Relakkes	9fe3e47b0f	chore: 增加代码学习声明，严格禁止非法、禁止商业、不当用途	2024-10-20 00:43:25 +08:00
Relakkes	7b5b099636	feat: update douyin abogus params	2024-09-27 14:58:10 +08:00
Relakkes	c70bd9e071	feat: 增加搜索词来源渠道	2024-08-23 08:29:24 +08:00
Relakkes	04cbe549af	fix: 修复抖音关键词搜索bug	2024-08-20 03:09:42 +08:00
Relakkes	548271e537	fix: 修复抖音中文搜索关键二次编码问题	2024-07-16 01:33:58 +08:00
Relakkes	f8096e3d58	feat: 抖音abogus参数更新	2024-07-14 03:20:05 +08:00
Relakkes	d3eeccbaac	feat: logger record current search page	2024-06-24 22:24:51 +08:00
Relakkes Yang	a0e5a29af8	fix: weibo bug	2024-06-17 00:25:48 +08:00
522109452	6080c22a3d	feat: base_config 增加抖音发布时间配置 ... fix: 抖音排序类型枚举值 fix: 抖音offset计算问题	2024-06-14 14:13:39 +08:00
xueyueben	576c8e8d9f	fix: 修复抖音筛选发布时间和排序失效问题	2024-06-13 11:46:25 +08:00
nelzomal	eace7d1750	improve base config reading command line arg logic	2024-06-09 18:51:36 +08:00
程序员阿江-Relakkes	c8dbc0bf3d	Merge pull request #278 from ZuWard/main ... 抖音二级评论	2024-06-07 13:04:18 +08:00
Relakkes	4bba1447f8	feat: cache impl done	2024-06-02 19:57:13 +08:00
ZuWard	0ba68809a5	抖音二级评论	2024-05-29 06:35:37 +08:00
Relakkes	478db4cc4b	feat: 抖音指定创作者done	2024-05-28 01:07:19 +08:00
Relakkes	df1e4a7b02	refactor: 抖音登录态检测不在抛出警告，可能会误导使用者	2024-05-27 22:44:35 +08:00
Relakkes	764bafc626	feat: 抖音登录态检测逻辑更新支持	2024-05-23 22:15:14 +08:00
Relakkes	e64df93edd	feat: 由于xhs和dy现在检测playwright二维码登录了，大概率会出现滑块或者手机验证，增加登录态检测时间为5min，预留足够的时间手动过验证码。	2024-05-15 23:23:30 +08:00
Relakkes	5681dd6925	fix: #237	2024-04-17 23:32:17 +08:00
Relakkes	87eb8aa6a7	fix: #230	2024-04-13 20:18:04 +08:00
Tianci-King	1115b0d90c	feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字	2024-04-12 00:52:47 +08:00
chunpat	6422500e32	Remove duplication Qrcode Show	2024-04-05 21:24:06 +08:00
leantli	68a60faa7f	chore: 简化判断方式	2024-04-04 00:11:22 +08:00
leantli	133f978477	fix: 修复爬取视频/帖子最大数设置值较低导致不爬取的问题	2024-04-03 12:18:23 +08:00
Relakkes	e950e0d6e3	feat: add abstract api client to all platform	2024-03-30 21:27:25 +08:00
Relakkes	59cd9f67a0	feat: 支持评论模式是否开启爬取选项	2024-03-16 11:52:42 +08:00
Relakkes	149b6bcdc8	fix: 修复抖音关键词搜索为中文的情况下，有bug	2024-03-03 19:36:36 +08:00
Relakkes	384c8f9f7e	fix: issue #140	2024-02-26 23:47:02 +08:00
Relakkes	e940a41033	refactor: 移除评论中指定数量和过滤特定关键词的逻辑	2024-01-17 23:02:05 +08:00
Relakkes	894dabcf63	refactor: 数据存储重构，分离不同类型的存储实现	2024-01-14 22:06:31 +08:00
Relakkes	e31aebbdfb	fix: 修复代理Bug	2024-01-13 15:50:02 +08:00
Relakkes	aba9f14f50	refactor: 规范日志打印 ... feat: B站指定视频ID爬取（bvid）	2023-12-23 01:04:08 +08:00
peanutsplash	5c6a636352	fix-bug:修复抖音评论筛选	2023-12-14 00:55:06 +08:00
peanutsplash	f17a85305e	添加功能:(哔哩哔哩,快手,小红书)每个视频/帖子抓取评论最大条数限制,评论关键词筛选	2023-12-13 23:53:12 +08:00
Relakkes	97d7a0c38b	feat: Bilibili comment done	2023-12-09 21:10:01 +08:00
Relakkes	1cec23f73d	feat: 代理IP功能 Done	2023-12-08 00:10:04 +08:00
Relakkes	c530bd4219	feat: 代理IP缓存到redis中	2023-12-06 23:49:56 +08:00
Relakkes	a6e877de42	fix: 修复B站搜索Field命名 bug ... refactor: ping接口统一更换为pong	2023-12-05 22:54:47 +08:00
peanutsplash	ab1a10bac1	添加功能:抖音每个视频抓取评论最大条数限制,抖音评论关键词筛选	2023-12-05 11:21:47 +08:00
Relakkes	986179b9c9	feat: 增加 IP 代理的最新实现	2023-12-02 16:14:36 +08:00
Relakkes	81bc8b51e2	feat: 抖音支持指定视频列表爬去	2023-11-18 22:07:30 +08:00
Relakkes	700946b28a	feat: 小红书增加指定帖子爬取功能 ... fix: 修复程序一些异常 bug refactor: 优化部分代码逻辑	2023-11-18 13:38:11 +08:00
Relakkes	9177c38521	feat: 支持数据保存到CSV中	2023-08-16 19:49:41 +08:00
Relakkes	c1a3f06c7a	fix: issue #32	2023-08-16 13:58:44 +08:00
Relakkes	1d3c2359e0	fix: 修复部分变量命名语义不明确	2023-07-30 21:30:26 +08:00
Relakkes	bf659455bb	fix: issue #22	2023-07-30 20:43:02 +08:00
Relakkes	4ff2cf8661	refactor: 优化代码	2023-07-29 15:35:40 +08:00
Relakkes	e75707443b	feat: 增加配置项支持自由选择数据是否保存到关系型数据库中	2023-07-24 20:59:43 +08:00
Nanmi	745e59c875	feat: 完善类型注释，增加 mypy 类型检测	2023-07-16 17:57:18 +08:00
Relakkes	e5bdc63323	feat: xhs增加并发控制参数	2023-07-15 22:25:56 +08:00