jayeeliu@gmail.com
|
61ba8c5cc7
|
feat: 小红书支持通过博主ID采集笔记和评论，小红书type=search时支持配置按哪种排序方式获取笔记数据，小红书笔记增加视频地址和标签字段
|
2024-03-02 01:49:42 +08:00 |
ccgo
|
4f5f83d3fa
|
feat: 增加sqlite配置示例
|
2024-02-22 00:07:40 +08:00 |
Relakkes
|
e940a41033
|
refactor: 移除评论中指定数量和过滤特定关键词的逻辑
|
2024-01-17 23:02:05 +08:00 |
|
Relakkes
|
e0f9a487e4
|
refactor: 代码优化
|
2024-01-16 00:40:07 +08:00 |
|
Relakkes
|
4dfa0d3fbf
|
feat: 数据保存支持JSON格式
|
2024-01-14 22:40:01 +08:00 |
|
Relakkes
|
894dabcf63
|
refactor: 数据存储重构，分离不同类型的存储实现
|
2024-01-14 22:06:31 +08:00 |
|
Relakkes
|
38d6f10bf0
|
feat: 微博二维码登录done
|
2023-12-30 18:54:21 +08:00 |
|
Relakkes
|
eee81622ac
|
feat: 微博支持评论 & 指定帖子
|
2023-12-25 00:02:11 +08:00 |
|
Relakkes
|
aba9f14f50
|
refactor: 规范日志打印
feat: B站指定视频ID爬取（bvid）
|
2023-12-23 01:04:08 +08:00 |
|
Relakkes
|
f85fd97d25
|
fix: #10
|
2023-12-16 00:12:20 +08:00 |
peanutsplash
|
f17a85305e
|
添加功能:(哔哩哔哩,快手,小红书)每个视频/帖子抓取评论最大条数限制,评论关键词筛选
|
2023-12-13 23:53:12 +08:00 |
|
Relakkes
|
97d7a0c38b
|
feat: Bilibili comment done
|
2023-12-09 21:10:01 +08:00 |
|
Relakkes
|
a136ea2739
|
refactor: delete account_config.py
|
2023-12-09 13:56:18 +08:00 |
|
Relakkes
|
385662a7b6
|
doc: 新增代理IP使用文档
|
2023-12-09 00:06:57 +08:00 |
|
Relakkes
|
1cec23f73d
|
feat: 代理IP功能 Done
|
2023-12-08 00:10:04 +08:00 |
|
peanutsplash
|
ab1a10bac1
|
添加功能:抖音每个视频抓取评论最大条数限制,抖音评论关键词筛选
|
2023-12-05 11:21:47 +08:00 |
|
Relakkes
|
d59113668f
|
doc: 增加快手爬虫的描述
|
2023-11-26 21:50:08 +08:00 |
|
Relakkes
|
dfb1788141
|
feat: 快手视频评论爬取done；数据保存到DB、CSV done
|
2023-11-26 21:43:39 +08:00 |
|
Relakkes
|
81bc8b51e2
|
feat: 抖音支持指定视频列表爬去
|
2023-11-18 22:07:30 +08:00 |
|
Relakkes
|
098923d74d
|
refactor: 优化代码-变量名
|
2023-11-18 15:53:10 +08:00 |
|
Relakkes
|
700946b28a
|
feat: 小红书增加指定帖子爬取功能
fix: 修复程序一些异常 bug
refactor: 优化部分代码逻辑
|
2023-11-18 13:38:11 +08:00 |
|
Relakkes
|
9177c38521
|
feat: 支持数据保存到CSV中
|
2023-08-16 19:49:41 +08:00 |
|
Relakkes
|
1d3c2359e0
|
fix: 修复部分变量命名语义不明确
|
2023-07-30 21:30:26 +08:00 |
|
Relakkes
|
bf659455bb
|
fix: issue #22
|
2023-07-30 20:43:02 +08:00 |
|
Relakkes
|
4ff2cf8661
|
refactor: 优化代码
|
2023-07-29 15:35:40 +08:00 |
|
Relakkes
|
e75707443b
|
feat: 增加配置项支持自由选择数据是否保存到关系型数据库中
|
2023-07-24 20:59:43 +08:00 |
|
Nanmi
|
745e59c875
|
feat: 完善类型注释，增加 mypy 类型检测
|
2023-07-16 17:57:18 +08:00 |
|
Relakkes
|
e5bdc63323
|
feat: xhs增加并发控制参数
|
2023-07-15 22:25:56 +08:00 |
|
Relakkes
|
dad8d56ab5
|
feat: issue #14
refactor: 优化小红书crawler流程代码
|
2023-07-15 17:11:53 +08:00 |
|
Relakkes
|
b8093a2c0f
|
refactor:优化部分代码
feat: 增加IP代理账号池
|
2023-06-27 23:38:30 +08:00 |