xinyouhe/cms-website
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
136 Commits 1 Branch 0 Tags
fa27a3a308b83c0759bc6580f9a18a62b2cb252f
Commit Graph

9 Commits

Author SHA1 Message Date
浅念 fa27a3a308 fix(build): validation_issues 分批插入；import/build 报告写序对齐 HTML 先；canonical mismatch evidence 修正 
- validation_issues 落库改分批（VALIDATION_ISSUES_CHUNK=1000 行/批循环）：
  单 INSERT 占位符上限（pg ~65535 ÷ 6 列）会被超大 issue 集撞穿；
  run 行先落、批次间无序依赖。新增测试：1101 坏链注入 → 全量 1101 行
  落库、收口 VALIDATION_FAILED（非 GATE_INTERNAL）
- import 域报告写序换 HTML 先（与 build 域对齐——json 在则 html 必在）
- gates canonical 指错分支 evidence 改 kind:'canonical-mismatch'
  （mismatch 语义不再误用 missing 键；缺席分支保持 missing:'canonical'）
- build.html 尾换行对齐 import 域
- 计划文档 Task 9 补审查遗留清单（helper 迁移/Plan 5 前置门禁面）

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-22 13:07:01 +08:00
浅念 a7177afde7 feat(import): HTML 报告与错误封顶；orchestrator 抽取 
- report-html.ts：renderImportReportHtml（Plan 2 Task 6 模板纪律——全动态文本
  转义/静态骨架无 script/分组固定序渲染/封顶注记），import.html 与 import.json
  同 try 原子落盘（同 REPORT_WRITE_FAILED 失败口径）
- 报告 issues 封顶（Task 6 推迟项）：REPORT_ISSUES_CAP=10k——flat 清单与
  issueGroups 各组同限截断 + issuesTruncated 计数；终态判定（succeeded_with_issues）
  在全量长度上做，截断不吞终态事实；counts/sanitize 始终完整
- orchestrator.ts 抽取（审查触发器 import.service 849 行）：orchestratedPipeline/
  mergeOutcomes/sumCounts/trySyncFinish 迁出为纯函数 over ctx；契约类型单源
  import.service.ts 不动；既有测试全绿即证零行为变更
- 测试 +8：单元 7（恶意 payload 转义/结构/分组序/封顶注记/渲染不改输入）+
  集成 1（10_003 条注入：截断计数/JSON 原文保留/HTML 转义/终态判定）；333 全绿

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 21:20:12 +08:00
浅念 fa6e8a35dc chore(import): 终验三处一行补完——fact-12 JSDoc 分层和解、flush 措辞、tsbuildignore 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 20:40:30 +08:00
浅念 77687e2330 fix(import): 失败报告部分冲刷；列表路径校验（建行前）；JSDoc 求和措辞；reason 归档 
Task 6 质量评审四项修复：

- 失败报告部分冲刷（Fix 1）：orchestratedPipeline 分派/finish 包 try/catch——
  中途抛错时把可安全取得的部分产出冲入 ctx.report 后重抛：term/content 的
  finish 是纯返回（已算成复用、未算成就地补算 trySyncFinish，自身抛错放弃
  该部分不掩盖原错）、已收集的 adapter 问题/清洗统计、进度计数
  eventsDispatched（orchestrator 键，仅失败路径出现——成功路径不占 18 键面）。
  media/route finish 依赖库与先序产物，失败路径不调用（其键缺席如实反映）。
- 列表路径校验（Fix 3）：ImportErrorCode 增 INVALID_LIST_PATH；解析期防线
  移至阶段 2.5（建 job 行前——建行/置 running 后再抛会留悬挂行）；复用
  route-writer 导出的 isSafePath；normalizeListPath 自带安全拒绝（写入器
  自调用位双覆盖）。CLI 无需新码（既有 ImportError 通道按 code 呈现）。
- JSDoc 求和措辞（Fix 2）：content-writer/media-writer 的 counts 键契约
  注记由"返回值覆盖同名键 CLOBBER"改为"同名键求和（Task 6 钉死——防覆盖
  安全网）"，与 ImportPipelineOutcome.counts 契约对齐。
- reason 归档（Fix 4）：分派循环对 unsupported/error 事件把 reason/issue
  推入 adapter 问题组（此前被静默丢弃）。

测试：import-full 增 2 例（手构流 3 事件后爆炸 → failed + eventsDispatched=3
+ 部分 content/term 计数 + unsupported/error reason 双归档；--products-path
/../x/ 等 → INVALID_LIST_PATH 零 job 行）。全量 325 通过；typecheck/lint 干净。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 20:34:43 +08:00
浅念 8003de336b feat(import): 全链编排与导入报告 
Task 6（Plan 3）：四家写入器汇流为默认编排管道。

- import.service：注入 events/pipeline 缺席时走真实事件流（runWxrAdapter
  惰性 async generator，mapConfig.locale=site.default_locale 前置事实 8）；
  分派严格串行 content→term→media→route（禁 Promise.all）；finish 硬序
  term(sync)→content(sync)→media(await)→route(await)；counts 由 ⊕ 覆盖
  改为逐 key 求和聚合；新增 stale 回收（同站点 queued/running >24h 一条
  SQL 置 stale）；报告新增 paths/productsPath+newsPath、issueGroups 六组、
  sanitize 清洗统计（事件流 changedRows/byDiffType 聚合）、adapterTiming。
- content-writer：NULL-entry 收编（快照行在而 content_entry 空，五列先验
  三分支：无先验新建挂接/同 checksum 挂接 skipped/异 checksum 挂接新版本）。
- route-writer：attachment 降级汇总按去重 sourceId 计（重跑仍必现）；
  normalizeListPath 导出；writeAttachmentRoute 返回 written/resolved/blocked。
- 四家写入器 identity 收敛共享基类型 WriterContext =
  Pick<ImportJobContext,'db'|'siteId'|'connectionId'>（type-only import，
  无运行时环依赖）。
- CLI import 增 --products-path/--news-path（前置事实 9，缺省 /products/
  /news/）记入 job 报告。
- 测试：tests/integration/import-full.test.ts 6 例（全链 zh-CN 接线证明
  +published 全 NULL/报告四域计数+sanitize+分组/幂等重跑零写语义/
  无 media 快照域缺失不失败/NULL-entry 收编/stale 回收/REPORT_WRITE_FAILED
  遗留补测）；import-job 契约测试钉死 counts 求和（100⊕3=103）。
  全量 323 通过；typecheck/lint 干净。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 20:08:06 +08:00
浅念 fe72df3afa chore(import): unsupported/failed 分项计数与键契约 JSDoc；NULL-entry 缝注释；lineage 语义注记 
审查 cheap riders 四项：handleUnmappable 分项 unsupportedRecords/
failedRecords（按事件计——拆分只在分派点可知，Task 6 无从重derive，测试
对拍两键）；ImportPipelineOutcome.counts 键契约注记（跨写入器扁平全局
命名空间、同名 CLOBBER 不求和、各键归属声明、Task 4 勿复用 'skipped'）；
六列 NULL-entry 已知死角缝注释（23505 → Task 6 收编）；态 1 checksum-diff
的 import_job_id lineage 语义注记（source_records 留建行 job、新 job 记
content_revisions）。296 全绿；typecheck/lint 通过。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 18:19:37 +08:00
浅念 191c275713 feat(import): term 物化与缺失自建 
Plan 3 Task 2：createTermWriter 管道写入器——双源物化分类域。
- wp:term 事件：taxonomies（key→object_type 映射 + public_base_path 前置事实 9
  常量）+ terms（source_id=term_id 字符串）
- row 的 taxonomyRefs miss 时自建（source_id=auto:<nicename>、slug=nicename；
  phase2-smoke 实证真实 WXR 的 wp:term 表缺 category/post_tag 整域）；同 nicename
  多次引用只建一条（内存 (taxonomy,slug) 索引 + UNIQUE 兜底）
- 单遍流式 + 收编：WXR 文档序 items 先于 wp:term——row 先到自建、wp:term 后到
  就地 UPDATE 扶正 source_id/name，两种顺序终态一致（测试钉死顺序无关性）
- content_terms：is_primary 每 (entry, taxonomy) 首个 true 余 false（WP 单主分类
  近似）；row 无 content entry → term 仍物化、关联跳过 + issue（禁静默）
- ctx 加法扩展 events: AsyncIterable<AdapterEvent>（测试手构注入，Task 6 接真流）
- Task 1 遗留两行：ImportErrorCode 补 REPORT_WRITE_FAILED、ctx.db 事务边界 JSDoc

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 16:19:00 +08:00
浅念 eb188da5c2 fix(import): 复用口径忠实化；管道 Outcome 契约与 succeeded_with_issues；报告写入时序；stale 警告 
评审修复（Plan 3 Task 1 复审）：
- 复用路径只返回 job 锚定字段（jobId/status/reused/siteId/mapping_version/
  report_path），快照/版本块仅在非复用时解析返回——复用结果不再回显编造数据
- ImportPipeline 契约钉死：返回 Promise<ImportPipelineOutcome>
  （{ counts, issues }）；服务按"累加器 ⊕ 返回值"合并（counts 同键返回值
  覆盖、issues 累加器在前），issues 非空 → succeeded_with_issues；
  ctx.report 即累加器（管道抛错时部分产出仍入报告）
- 报告时序：mkdir + tmp 写入 + rename 先于终态行更新——report_path 落库
  即文件存在；写失败 → failed（REPORT_WRITE_FAILED），不挂悬空路径
- CLI 复用命中非终态（queued/running）→ 崩溃残留警告（重试需显式换 --key）
- 管道抛 ImportError 保留原 code 入 error_code，summary 冠 [pipeline]
- 确定性 23505 探针：未提交孪生 job 行事务内持唯一键触发真实 PG 唯一
  冲突 → 败者复用既有 job
- 报告补 idempotencyKey / attempt 字段
- 计划文档 Task 6 增补 stale 回收决策项（ADR-017）

测试 282 通过（279 + 3：Outcome 合并/ImportError 前缀/23505 探针）；
typecheck 四段链 + lint 全绿。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 15:56:00 +08:00
浅念 0e8b2b5356 feat(import): job 骨架与生命周期 
Plan 3 Task 1：sf import 命令骨架 + import_jobs 生命周期（空管道，Task 6 接真实管道）。

- import.service.ts（零装饰器）：createImportJob——站点/快照解析（缺省按 (connection,
  kind='wxr') 选最新；三快照绑定按前置事实 13 记入报告，job 行不扩列）、幂等建行
  （默认 key=site+wxr快照+三语义版本；重复提交复用既有 job 不重跑，并发撞唯一约束
  重查收敛）、状态推进 queued→running→succeeded/failed（attempt/started_at/finished_at/
  error_code/error_summary）、报告落 artifacts/import/<jobId>/reports/import.json
  （全四版本块：adapter/mapping/sanitizer/parser；job 行落 mapping_version）
- 可预期错误带 code：SITE_NOT_FOUND / SNAPSHOT_NOT_FOUND / NO_WXR_SNAPSHOT /
  PIPELINE_FAILED——解析期失败零 job 行
- adapter 事件加法式补 postId（前置事实 12）：unsupported/error 事件可选携带
  String(postId)，缺失时键缺席不硬造 source_id；row 事件与报告聚合零影响、不触发版本 bump
- canonicalJson 提取至 apps/api/src/common/canonical.ts 共享导出（前置事实 6），
  register 侧改 import 零行为变更（既有清单哈希测试守护）
- sf CLI + import 命令（--site/--snapshot/--key/--connection），输出 job 摘要与版本块
- 测试：tests/integration/import-job.test.ts（5 例：生命周期观察/最新快照解析/幂等复用
  与并发收敛/可预期失败零落行/failed 路径）+ adapter postId 3 例 + canonical 单测 6 例
  （265→279 全绿）；typecheck 四段链/lint 绿；临时库 CLI 冒烟（register→import→复用）通过

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 15:30:42 +08:00