ai-kefu-admin

xinyouhe/ai-kefu-admin

Fork 0

Commit Graph

Author	SHA1	Message	Date
浅念	e1e97dac2c	fix(site-import): FetchError 白话化映射（spec §6 行1）+ 预算语义注记 _pipeline 增 FetchError 分支（先于通用异常兜底）：入口页不可达/超时—— 最高频真实失败路径——映射白话文案「网站打不开或响应太慢——检查 URL」 + phase=crawl（不可 retry）；ImportTask docstring 的抓取失败归档口径同步对齐。crawler 模块 docstring 注记 MAX_PAGES 预算语义（只计成功入编页，链接农场广度消耗由总超时/并发/频控三层兜底）。 Co-Authored-By: Claude Code <noreply@anthropic.com>	2026-10-20 21:16:46 +08:00
浅念	8f2a73c5d4	feat(site-import): 抓取编排与内存任务表 crawler：BFS ≤10 页（深度 ≤2）+ 入口双重门（非 html 零页/SPA 空壳）+ 薄子页跳过 + CSS/logo 15s 追抓（MIME+魔数双验 ≤2MB → base64 data URL） + 总文本 <1K 内容不足 + 主色默认 #066fc0 回退；logo 相对路径对入口绝对化。 task：(slug, task_id) 联合索引内存表 + 30 分钟惰性清理 + 强引用防 GC + 全平台并发 ≤2（复活同占名额）+ 频控 3 次/15min（新建与 retry 同计， SlidingWindowCounter 同款独立实例）+ 7 分钟总超时兜底（生成段超时标 generate 可 retry=generate 复活不重抓）+ 内容不足三触发失败文案映射。 conftest 增 autouse 复位夹具（任务表/频控单例跨测试隔离）。 Co-Authored-By: Claude Code <noreply@anthropic.com>	2026-10-20 20:57:50 +08:00

Author

SHA1

Message

Date

浅念

e1e97dac2c

fix(site-import): FetchError 白话化映射（spec §6 行1）+ 预算语义注记

_pipeline 增 FetchError 分支（先于通用异常兜底）：入口页不可达/超时——
最高频真实失败路径——映射白话文案「网站打不开或响应太慢——检查 URL」
+ phase=crawl（不可 retry）；ImportTask docstring 的抓取失败归档口径
同步对齐。crawler 模块 docstring 注记 MAX_PAGES 预算语义（只计成功入编
页，链接农场广度消耗由总超时/并发/频控三层兜底）。

Co-Authored-By: Claude Code <noreply@anthropic.com>

2026-10-20 21:16:46 +08:00

浅念

8f2a73c5d4

feat(site-import): 抓取编排与内存任务表

crawler：BFS ≤10 页（深度 ≤2）+ 入口双重门（非 html 零页/SPA 空壳）+
薄子页跳过 + CSS/logo 15s 追抓（MIME+魔数双验 ≤2MB → base64 data URL）
+ 总文本 <1K 内容不足 + 主色默认 #066fc0 回退；logo 相对路径对入口绝对化。
task：(slug, task_id) 联合索引内存表 + 30 分钟惰性清理 + 强引用防 GC +
全平台并发 ≤2（复活同占名额）+ 频控 3 次/15min（新建与 retry 同计，
SlidingWindowCounter 同款独立实例）+ 7 分钟总超时兜底（生成段超时标
generate 可 retry=generate 复活不重抓）+ 内容不足三触发失败文案映射。
conftest 增 autouse 复位夹具（任务表/频控单例跨测试隔离）。

Co-Authored-By: Claude Code <noreply@anthropic.com>

2026-10-20 20:57:50 +08:00

2 Commits