qnloft
/
MediaCrawler
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
355 Commits 2 Branches 0 Tags 21 MiB
Commit Graph

67 Commits

Author SHA1 Message Date
Relakkes ab7d8142af feat: weibo支持指定创作者主页 2024-08-24 05:52:11 +08:00
Relakkes f371675d47 fix: xhs指定笔记ID获取方式增加解析html方式，原来的由于xsec_token导致失效 2024-08-11 22:37:10 +08:00
Relakkes 3f42368c02 feat: 百度贴吧done 2024-08-08 14:19:32 +08:00
Relakkes df0f5c1113 feat: 百度贴吧子评论done 2024-08-07 04:13:15 +08:00
Relakkes 026d81e131 feat: 百度贴吧一级评论done 2024-08-07 02:34:56 +08:00
Relakkes 1b585cb215 temp commit 2024-08-06 19:21:34 +08:00
Relakkes a87094f2fd feat: 百度贴吧架子 & 登录done 2024-08-05 18:51:51 +08:00
Relakkes 573ca9a659 feat: xhs笔记详情更新 2024-07-25 00:44:46 +08:00
Relakkes 548271e537 fix: 修复抖音中文搜索关键二次编码问题 2024-07-16 01:33:58 +08:00
helloteemo 6545a15ff3 feature: 支持小红书图片、视频下载 2024-07-11 22:56:30 +08:00
3DRX c3a313563a Update comment 2024-07-11 17:53:04 +08:00
522109452 6080c22a3d feat: base_config 增加抖音发布时间配置 
fix: 抖音排序类型枚举值
fix: 抖音offset计算问题
 2024-06-14 14:13:39 +08:00
HIRO fd7407cc29 Merge branch 'kuaishou' 2024-06-13 14:54:01 +08:00
HIRO a001556ba7 快手指定创作者主页和二级评论 2024-06-13 14:49:07 +08:00
程序员阿江-Relakkes 131e68334d
Merge branch 'main' into main 2024-06-12 21:53:41 +08:00
程序员阿江-Relakkes 551e00c093
Merge pull request #295 from nelzomal/bili_creator 
feat: support bilibili creator
 2024-06-12 21:44:59 +08:00
nelzomal 111e08602c feat: support bilibili creator 2024-06-12 16:48:19 +08:00
Rosyrain 7048f040c9 完成词云图生成函数并添加至存储逻辑中 2024-06-12 15:33:39 +08:00
nelzomal 985ea93caf add few arg cmds 2024-06-12 10:53:03 +08:00
Relakkes 3c7c678d7a feat: 抖音db存储增加parent_comment_id 2024-06-07 13:32:58 +08:00
Relakkes 4bba1447f8 feat: cache impl done 2024-06-02 19:57:13 +08:00
Relakkes 6c4116f240 feat: abstract cache class implementation 2024-06-02 11:16:18 +08:00
Nan Zhou 94d24a9530 feat: improve db config 2024-05-30 15:35:05 +08:00
Relakkes 478db4cc4b feat: 抖音指定创作者done 2024-05-28 01:07:19 +08:00
Relakkes 764bafc626 feat: 抖音登录态检测逻辑更新支持 2024-05-23 22:15:14 +08:00
Relakkes 704ee8cf9d docs: update README.md 2024-05-12 23:28:50 +08:00
Relakkes d0efd4e4f0 feat: 快代理实现 2024-04-17 23:12:41 +08:00
程序员阿江-Relakkes a341dc2aff
Merge pull request #229 from Tianci-King/main 
feat(core): 新增控制爬虫参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数…
 2024-04-13 13:37:35 +08:00
leantli ad01dfba95 feat: 轻量化支持爬取小红书二级评论 2024-04-12 17:32:20 +08:00
Tianci-King 1115b0d90c feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字 2024-04-12 00:52:47 +08:00
leantli 81a9946afd feat: 支持爬取小红书二级评论 2024-04-11 17:16:13 +08:00
Er_Meng 9cd6efb916 使用isort对引用进行格式化排序 修改微博获取图片默认配置关闭 2024-04-10 09:54:28 +08:00
Er_Meng 16413c3074 新增对微博博客内照片获取的支持 文件存放路径data/weibo/images 2024-04-09 17:21:52 +08:00
Relakkes dde3c0429e refactor: IP代理池重构 2024-04-06 10:58:35 +08:00
xbsheng 2d24cf0f44 chore: 修改错别字 2024-04-04 17:32:23 +08:00
Relakkes 96309dcfee fix: 小红书创作者功能数据获取优化 2024-03-17 14:50:10 +08:00
Relakkes 59cd9f67a0 feat: 支持评论模式是否开启爬取选项 2024-03-16 11:52:42 +08:00
jayeeliu@gmail.com 61ba8c5cc7 feat: 小红书支持通过博主ID采集笔记和评论，小红书type=search时支持配置按哪种排序方式获取笔记数据，小红书笔记增加视频地址和标签字段 2024-03-02 01:49:42 +08:00
ccgo 4f5f83d3fa feat: 增加sqlite配置示例 2024-02-22 00:07:40 +08:00
Relakkes e940a41033 refactor: 移除评论中指定数量和过滤特定关键词的逻辑 2024-01-17 23:02:05 +08:00
Relakkes e0f9a487e4 refactor: 代码优化 2024-01-16 00:40:07 +08:00
Relakkes 4dfa0d3fbf feat: 数据保存支持JSON格式 2024-01-14 22:40:01 +08:00
Relakkes 894dabcf63 refactor: 数据存储重构，分离不同类型的存储实现 2024-01-14 22:06:31 +08:00
Relakkes 38d6f10bf0 feat: 微博二维码登录done 2023-12-30 18:54:21 +08:00
Relakkes eee81622ac feat: 微博支持评论 & 指定帖子 2023-12-25 00:02:11 +08:00
Relakkes aba9f14f50 refactor: 规范日志打印 
feat: B站指定视频ID爬取（bvid）
 2023-12-23 01:04:08 +08:00
Relakkes f85fd97d25 fix: #10 2023-12-16 00:12:20 +08:00
peanutsplash f17a85305e 添加功能:(哔哩哔哩,快手,小红书)每个视频/帖子抓取评论最大条数限制,评论关键词筛选 2023-12-13 23:53:12 +08:00
Relakkes 97d7a0c38b feat: Bilibili comment done 2023-12-09 21:10:01 +08:00
Relakkes a136ea2739 refactor: delete account_config.py 2023-12-09 13:56:18 +08:00