qnloft
/
MediaCrawler
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Merge branch 'NanmiCoder:main' into main

This commit is contained in:
Ermeng 2024-04-10 09:51:14 +08:00 committed by GitHub
parent 16413c3074 cab91474ad
commit 52c720591f
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194
2 changed files with 3 additions and 3 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
docs/常见问题.md
View File

@ -1,10 +1,10 @@
## 常见程序运行出错问题 ## 常见程序运行出错问题
Q: 爬取抖音报错: `execjs._exceptions.ProgramError: SyntaxError: 缺少 ';'` <br> Q: 爬取抖音报错: `execjs._exceptions.ProgramError: SyntaxError: 缺少 ';'` <br>
A: 该错误为缺少 nodejs 环境这个错误安装 nodejs 环境即可，版本为：`v16.8.0` <br> A: 该错误为缺少 nodejs 环境，这个错误可以通过安装 nodejs 环境来解决，版本为：`v16.8.0` <br>
Q: 可以指定关键词爬取吗？<br> Q: 可以指定关键词爬取吗？<br>
A: 在config/base_config.py 中 KEYWORDS 参数用于控制需爬取的关键词 <br> A: 在config/base_config.py 中 KEYWORDS 参数用于控制需要爬取的关键词 <br>
Q: 可以指定帖子爬取吗？<br> Q: 可以指定帖子爬取吗？<br>
A：在config/base_config.py 中 XHS_SPECIFIED_ID_LIST 参数用于控制需要指定爬取的帖子ID列表 <br> A：在config/base_config.py 中 XHS_SPECIFIED_ID_LIST 参数用于控制需要指定爬取的帖子ID列表 <br>

2
store/douyin/douyin_store_impl.py
View File

@ -89,7 +89,7 @@ class DouyinDbStoreImplement(AbstractStore):
aweme_detail: Dict = await query_content_by_content_id(content_id=aweme_id) aweme_detail: Dict = await query_content_by_content_id(content_id=aweme_id)
if not aweme_detail: if not aweme_detail:
content_item["add_ts"] = utils.get_current_timestamp() content_item["add_ts"] = utils.get_current_timestamp()
if aweme_detail.get("title"): if content_item.get("title"):
await add_new_content(content_item) await add_new_content(content_item)
else: else:
await update_content_by_content_id(aweme_id, content_item=content_item) await update_content_by_content_id(aweme_id, content_item=content_item)