Commit Graph

131 Commits

Author SHA1 Message Date
Relakkes df0f5c1113 feat: 百度贴吧子评论done 2024-08-07 04:13:15 +08:00
Relakkes 1208682a9a fix: 评论移除html标签内容 2024-08-07 02:39:50 +08:00
Relakkes 026d81e131 feat: 百度贴吧一级评论done 2024-08-07 02:34:56 +08:00
Relakkes 3c98808409 feat: 贴吧搜索重构 2024-08-07 01:01:21 +08:00
Relakkes 1b585cb215 temp commit 2024-08-06 19:21:34 +08:00
Relakkes d347cf5a2c feat: 帖子搜索 & 移除登录代码使用IP代理 2024-08-06 03:37:55 +08:00
Relakkes a87094f2fd feat: 百度贴吧架子 & 登录done 2024-08-05 18:51:51 +08:00
Relakkes 1c2237a66f fix: 微博登录问题修复
feat: 微博二级评论
2024-08-05 00:48:42 +08:00
Relakkes 7229d29123 feat: xhs update 2024-08-04 14:54:03 +08:00
Wenbo Lu 9fb8f42f69 fetch_creator_notes_detail, id ->note_id 2024-07-26 21:55:31 +08:00
Relakkes 573ca9a659 feat: xhs笔记详情更新 2024-07-25 00:44:46 +08:00
程序员阿江-Relakkes 100b8e3496
Merge pull request #346 from Jasonyang2014/xhs-search-optimization
小红书查询没有结果时跳出循环
2024-07-18 22:14:47 +08:00
AuYeung 1fd7827e36 When the query has no content, terminate the loop early 2024-07-18 20:44:40 +08:00
ZhouXSh 3b2cc44750 新增B站创作者(UP主)信息爬取 2024-07-18 20:11:51 +08:00
Relakkes 548271e537 fix: 修复抖音中文搜索关键二次编码问题 2024-07-16 01:33:58 +08:00
程序员阿江-Relakkes 13ee7bdf95
Merge pull request #336 from helloteemo/feature/bilibli_video_download
feat: 支持bilibili视频下载
2024-07-15 23:05:58 +08:00
helloteemo d686d17f9b feat: 支持bilibili视频下载 2024-07-15 19:40:17 +08:00
Relakkes f8096e3d58 feat: 抖音abogus参数更新 2024-07-14 03:20:05 +08:00
helloteemo b95dc2c125 fix: 小红书下载新版本使用>3.10特性, 降低使用版本 2024-07-12 09:50:03 +08:00
helloteemo 6545a15ff3 feature: 支持小红书图片、视频下载 2024-07-11 22:56:30 +08:00
helloteemo e71690a985 fix: 解决小红书图片水印问题 2024-07-11 17:39:48 +08:00
Relakkes d3eeccbaac feat: logger record current search page 2024-06-24 22:24:51 +08:00
Relakkes Yang a0e5a29af8 fix: weibo bug 2024-06-17 00:25:48 +08:00
522109452 6080c22a3d feat: base_config 增加抖音发布时间配置
fix: 抖音排序类型枚举值
fix: 抖音offset计算问题
2024-06-14 14:13:39 +08:00
程序员阿江-Relakkes bea9193405
Merge pull request #301 from Hiro-Lin/main
添加快手指定创作者主页抓取视频、评论、二级评论的功能
2024-06-13 21:14:19 +08:00
HIRO 1d224999af fix 二级评论爬取bug 2024-06-13 15:57:09 +08:00
HIRO fd7407cc29 Merge branch 'kuaishou' 2024-06-13 14:54:01 +08:00
HIRO a001556ba7 快手指定创作者主页和二级评论 2024-06-13 14:49:07 +08:00
xueyueben 576c8e8d9f fix: 修复抖音筛选发布时间和排序失效问题 2024-06-13 11:46:25 +08:00
nelzomal 111e08602c feat: support bilibili creator 2024-06-12 16:48:19 +08:00
nelzomal eace7d1750 improve base config reading command line arg logic 2024-06-09 18:51:36 +08:00
程序员阿江-Relakkes c8dbc0bf3d
Merge pull request #278 from ZuWard/main
抖音二级评论
2024-06-07 13:04:18 +08:00
Relakkes 4bba1447f8 feat: cache impl done 2024-06-02 19:57:13 +08:00
ZuWard 0ba68809a5 抖音二级评论 2024-05-29 06:35:37 +08:00
Relakkes 478db4cc4b feat: 抖音指定创作者done 2024-05-28 01:07:19 +08:00
Relakkes df1e4a7b02 refactor: 抖音登录态检测不在抛出警告,可能会误导使用者 2024-05-27 22:44:35 +08:00
Nan Zhou 0cad36e17b support bilibili level two comment 2024-05-26 14:10:57 +08:00
Relakkes 764bafc626 feat: 抖音登录态检测逻辑更新支持 2024-05-23 22:15:14 +08:00
Relakkes e64df93edd feat: 由于xhs和dy现在检测playwright二维码登录了,大概率会出现滑块或者手机验证,增加登录态检测时间为5min,预留足够的时间手动过验证码。 2024-05-15 23:23:30 +08:00
Henry He a2dca888ac fix: 修复 f-string 双引号问题 2024-04-26 11:02:55 +08:00
bigfa 99d53cd945 fix:兼容网页端上传的图片原图获取 2024-04-24 14:16:35 +08:00
Relakkes 5681dd6925 fix: #237 2024-04-17 23:32:17 +08:00
Relakkes 487afc8e0c refactor: 修改导报顺心 2024-04-17 23:13:40 +08:00
Relakkes 87eb8aa6a7 fix: #230 2024-04-13 20:18:04 +08:00
程序员阿江-Relakkes a341dc2aff
Merge pull request #229 from Tianci-King/main
feat(core): 新增控制爬虫参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数…
2024-04-13 13:37:35 +08:00
leantli ad01dfba95 feat: 轻量化支持爬取小红书二级评论 2024-04-12 17:32:20 +08:00
Tianci-King 1115b0d90c feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字 2024-04-12 00:52:47 +08:00
leantli 81a9946afd feat: 支持爬取小红书二级评论 2024-04-11 17:16:13 +08:00
Er_Meng 9cd6efb916 使用isort对引用进行格式化排序 修改微博获取图片默认配置关闭 2024-04-10 09:54:28 +08:00
Er_Meng 16413c3074 新增对微博博客内照片获取的支持 文件存放路径data/weibo/images 2024-04-09 17:21:52 +08:00