Initial commit: XHS crawler with dedup and content extraction

2026-01-09 16:07:07 +08:00
commit 83472e3af1
16 changed files with 3652 additions and 0 deletions
@@ -0,0 +1,50 @@
+# Python
+__pycache__/
+*.py[cod]
+*$py.class
+*.so
+.Python
+env/
+venv/
+ENV/
+.venv
+
+# 小红书采集器运行时生成
+data/crawled_ids.json
+data/storage_state*.json
+data/*.xlsx
+data/uploads/
+
+# 采集输出
+output/
+out/
+
+# 日志文件
+logs/*.log
+logs/app.log
+*.log
+
+# 临时文件
+*.tmp
+*.bak
+*.swp
+*~
+
+# 操作系统
+.DS_Store
+Thumbs.db
+desktop.ini
+
+# IDE
+.vscode/
+.idea/
+*.iml
+.pyc
+.pyo
+
+# Docker volumes（如果使用）
+data volumes/
+
+# 环境变量（可能包含敏感信息）
+.env
+.env.local