Commit Graph

23 Commits

Author SHA1 Message Date
Relakkes a87094f2fd feat: 百度贴吧架子 & 登录done 2024-08-05 18:51:51 +08:00
nelzomal eace7d1750 improve base config reading command line arg logic 2024-06-09 18:51:36 +08:00
Relakkes e367129b5f fix: 修复pr#229的小bug 2024-04-13 13:48:29 +08:00
Tianci-King 1115b0d90c feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字 2024-04-12 00:52:47 +08:00
jayeeliu@gmail.com 61ba8c5cc7 feat: 小红书支持通过博主ID采集笔记和评论,小红书type=search时支持配置按哪种排序方式获取笔记数据,小红书笔记增加视频地址和标签字段 2024-03-02 01:49:42 +08:00
ccgo c09f9fef68 fix: 增加db.close(),解决抓取命令执行完不退出的问题 2024-02-22 00:11:41 +08:00
Relakkes 894dabcf63 refactor: 数据存储重构,分离不同类型的存储实现 2024-01-14 22:06:31 +08:00
Relakkes eee81622ac feat: 微博支持评论 & 指定帖子 2023-12-25 00:02:11 +08:00
Relakkes c5b64fdbf5 feat: 微博爬虫帖子搜索完成 2023-12-24 17:57:48 +08:00
Relakkes 1cec23f73d feat: 代理IP功能 Done 2023-12-08 00:10:04 +08:00
Relakkes 5aeee93fc5 feat: B站爬虫签名实现 2023-12-03 00:30:10 +08:00
Relakkes 986179b9c9 feat: 增加 IP 代理的最新实现 2023-12-02 16:14:36 +08:00
Relakkes f08b2ceb76 feat: 1、命令行支持快手 2、快手playwright 代码 done 2023-11-24 00:04:33 +08:00
Relakkes 81bc8b51e2 feat: 抖音支持指定视频列表爬去 2023-11-18 22:07:30 +08:00
Relakkes 700946b28a feat: 小红书增加指定帖子爬取功能
fix: 修复程序一些异常 bug
refactor: 优化部分代码逻辑
2023-11-18 13:38:11 +08:00
Relakkes 4ff2cf8661 refactor: 优化代码 2023-07-29 15:35:40 +08:00
Relakkes e75707443b feat: 增加配置项支持自由选择数据是否保存到关系型数据库中 2023-07-24 20:59:43 +08:00
Relakkes 2398a17e21 refactor: 优化抖音Crawler部分代码
fix: 日志初始化错误修复
2023-07-15 21:30:12 +08:00
Relakkes b8093a2c0f refactor:优化部分代码
feat: 增加IP代理账号池
2023-06-27 23:38:30 +08:00
Relakkes 1085a2a769 fix: 增加小红书登录两种形态下弹窗的兼容代码 2023-06-22 22:43:26 +08:00
ubuntu 79a0296312 handby&catch exception 2023-06-17 15:14:58 +08:00
Relakkes 8206f83639 feat: 小红书增加手机号自动登录模式 2023-06-16 20:10:29 +08:00
NanmiCoder e82dcae02f feat: 小红书笔记搜索,评论获取done
docs: update docs

Create .gitattributes

Update README.md
2023-06-12 20:37:24 +08:00