浅念 8f2a73c5d4 feat(site-import): 抓取编排与内存任务表 ...

crawler：BFS ≤10 页（深度 ≤2）+ 入口双重门（非 html 零页/SPA 空壳）+
薄子页跳过 + CSS/logo 15s 追抓（MIME+魔数双验 ≤2MB → base64 data URL）
+ 总文本 <1K 内容不足 + 主色默认 #066fc0 回退；logo 相对路径对入口绝对化。
task：(slug, task_id) 联合索引内存表 + 30 分钟惰性清理 + 强引用防 GC +
全平台并发 ≤2（复活同占名额）+ 频控 3 次/15min（新建与 retry 同计，
SlidingWindowCounter 同款独立实例）+ 7 分钟总超时兜底（生成段超时标
generate 可 retry=generate 复活不重抓）+ 内容不足三触发失败文案映射。
conftest 增 autouse 复位夹具（任务表/频控单例跨测试隔离）。

Co-Authored-By: Claude Code <noreply@anthropic.com>

2026-10-20 20:57:50 +08:00

..

engine

feat(site-import): 两段生成器与数字校验器

2026-10-20 20:10:16 +08:00

platform

feat(site-import): 抓取编排与内存任务表

2026-10-20 20:57:50 +08:00

__init__.py

feat: jc 引擎主线搬入 app/engine（315 测试基线全绿：320 去掉 admin 5 用例）

2026-10-12 16:25:32 +08:00

main.py

feat(limits): 限流器过期键周期清扫（内存上限铁律）

2026-10-19 18:59:22 +08:00