xinyouhe/cms-website
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
120 Commits 1 Branch 0 Tags
5686c5c8baa47a9564c0a4e1afc9b826a0b7b37a
Commit Graph

21 Commits

Author SHA1 Message Date
浅念 0e8b2b5356 feat(import): job 骨架与生命周期 
Plan 3 Task 1：sf import 命令骨架 + import_jobs 生命周期（空管道，Task 6 接真实管道）。

- import.service.ts（零装饰器）：createImportJob——站点/快照解析（缺省按 (connection,
  kind='wxr') 选最新；三快照绑定按前置事实 13 记入报告，job 行不扩列）、幂等建行
  （默认 key=site+wxr快照+三语义版本；重复提交复用既有 job 不重跑，并发撞唯一约束
  重查收敛）、状态推进 queued→running→succeeded/failed（attempt/started_at/finished_at/
  error_code/error_summary）、报告落 artifacts/import/<jobId>/reports/import.json
  （全四版本块：adapter/mapping/sanitizer/parser；job 行落 mapping_version）
- 可预期错误带 code：SITE_NOT_FOUND / SNAPSHOT_NOT_FOUND / NO_WXR_SNAPSHOT /
  PIPELINE_FAILED——解析期失败零 job 行
- adapter 事件加法式补 postId（前置事实 12）：unsupported/error 事件可选携带
  String(postId)，缺失时键缺席不硬造 source_id；row 事件与报告聚合零影响、不触发版本 bump
- canonicalJson 提取至 apps/api/src/common/canonical.ts 共享导出（前置事实 6），
  register 侧改 import 零行为变更（既有清单哈希测试守护）
- sf CLI + import 命令（--site/--snapshot/--key/--connection），输出 job 摘要与版本块
- 测试：tests/integration/import-job.test.ts（5 例：生命周期观察/最新快照解析/幂等复用
  与并发收敛/可预期失败零落行/failed 路径）+ adapter postId 3 例 + canonical 单测 6 例
  （265→279 全绿）；typecheck 四段链/lint 绿；临时库 CLI 冒烟（register→import→复用）通过

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 15:30:42 +08:00
浅念 2a0d830520 docs: 阶段2收尾——ADR-016/typecheck链/阶段3移交清单/README 
- ADR-016：saxes ^6.0.0（勘误：计划曾误写 ^0.9）/commander ^14 根依赖/清洗三件套
  同 range + 镜像直调 launder.naughtyHref/tsx ^4 CLI 直吃 TS；跨包接线（根 tsconfig
  paths 三方消费、build 侧 dist+prebuild、tsconfig 双链型并存）；根 engines 升
  >=22.12（对齐 sanitize-html 2.18 engines，CI node 22 与本机 24 均满足）
- 根 typecheck 链扩为四段：追加 pnpm --filter @sf/adapter-wp typecheck
- Plan 2 文末新增"移交阶段 3 清单"定稿（7 项：taxonomyRefs 自建缺失 term、
  media_bundle 映射、connection 库级唯一索引、REST 重审项、导入消费接口、
  Task 0.2 cms 备份续传携带、versions.ts bump 纪律）；Task 9 与验收节勾选
- README：快速开始加 pnpm sf 示例；目录结构/文档导航/当前状态更新为阶段 2 完成
- 三绿：lint / typecheck（四段）/ test 263 全部通过（数量不变）

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 13:34:15 +08:00
浅念 586d715455 feat(source): 输入登记服务与 sf CLI（content-addressed 快照） 
- registerSource(db, input)：wxr/sitemap/媒体目录三类输入登记为 content-addressed
  快照——流式 copy+sha256 单遍双算（64KB 块），副本落
  storage/snapshots/<kind>/<sha256前2>/<sha256>（文件）或 <sha256>/（媒体整树），
  后续任务只读副本；UNIQUE(site,kind,sha256) 幂等（重复登记复用既有行）
- media_bundle 哈希钉死：排序相对路径（'/' 归一）+ 每文件 sha256 → canonical
  JSON（键排序无空白）→ 再 sha256；不含 mtime、不依赖遍历顺序；完整清单
  （path/bytes/sha256）入 metadata jsonb；符号链接（含 junction）跳过并记录
- site 按 key select-then-insert upsert（23505 竞态重查）；connection 判重键
  (site_id,name) 为应用层 select-then-insert（表无库级唯一，注释注明）
- 路径安全：输入 realpath 后须在 allowedRoots 白名单内（缺省 storage/incoming），
  ENOENT/越界/类型不符抛带 code 的 SourceRegisterError；全部输入先校验后摄取，
  任何失败零落库零复制
- 报告落 artifacts/register/<runId>/reports/register.json（runId=时间戳+随机；
  输入清单/哈希/大小/耗时）
- scripts/sf.ts（commander）：wxr:probe 只读诊断（任意可读路径，IO/损坏文件出
  报告不崩——Task 6 fatalError 契约）出 JSON/HTML 报告；source:register 调服务
  出摘要。CLI 机制钉死：根 devDep tsx + 根 script sf + commander 根依赖，TS 源码
  直连（@sf/* 经 tsconfig paths，不经 dist）
- source.module.ts：Nest 注册 SourceRegisterService（standalone context 用）；
  register.service.ts 刻意零装饰器（CLI/测试直 import 不拉 reflect-metadata）
- launder 类型垫片改经 triple-slash 引用随 html.ts 进任意编译程序（apps/api 与
  根程序直连适配器源码的新场景）；apps/api 增 @sf/adapter-wp workspace 依赖与
  paths 映射（register.service 消费 ADAPTER_VERSION 单源）
- 测试 +7（tests/integration/source-register.test.ts，临时库 + tmpdir storage/
  报告根 finally 清理）：三输入登记/清单哈希定义对拍/重复登记幂等/mtime 排除/
  副本布局与内容一致/路径安全六分支/junction 跳过/报告契约；全套 260 绿

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 12:31:15 +08:00
浅念 073b9ca39c fix(adapter-wp): IO 错误归入 fatalError；rowErrors 封顶；timings 契约与纯 term 流测试；PARSER 版本漂移保险 
审查修复（Task 6 质量审查 5 项）：
- Fix 1：Node 系统错误（Error 且 code 字符串——ENOENT/EACCES 等 IO 形态）与 WxrError
  同路记入 fatalError（message 含 code 与 path），报告不上抛保留已聚合部分；无 code 的
  程序 bug 仍原样上抛；模块头契约注释同步修正
- Fix 2：rowErrors 固化封顶 10_000 条 + rowErrorsTruncated 计数（超出只计数不固化，
  防对抗性输入使报告体积失去上界；counts/byDiffType 统计维度不受截断影响）；HTML
  渲染追加截断说明行
- Fix 3：timings 注入契约测试（多 chunk 流消费完成后外部对象 parseMs>0/sanitizeMs>=0）
- Fix 4：纯 wp:term 流测试（counts 空对象/rows=0/terms 计数）
- Fix 5：PARSER_VERSION 漂移保险（createRequire 读 saxes/package.json，主版本不一致
  即爆红，fail loud）

247 → 253 测试全绿；tsc/lint/build 绿。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 12:04:15 +08:00
浅念 6573b8b326 feat(adapter-wp): 全链组装与导入前报告 
- src/versions.ts：ADAPTER/MAPPING/SANITIZER_VERSION 三常量（bump 语义 JSDoc 冻结：
  映射表/清洗白名单实质变更才 bump 对应项，三者独立演进）+ PARSER_VERSION（saxes 硬编码）
- src/adapter.ts：runWxrAdapter 串联 parseWxrStream→mapItem→sanitizeBodyHtml 为
  AsyncGenerator<AdapterEvent>；term 旁路直通；bodyHtml 为空跳过清洗零 diff；
  changed 用 html!==input（Task 5 移交：diffs.length===0 ≠ 未变更）；validateUniversalRow
  加法式契约复检（不动 contracts）；解析/清洗分段计时（parser.next() await 窗口归属解析）
- src/report.ts：runWxrAdapterReport 聚合（首条版本块/按 sourceType Created-Skipped(无
  变化)-Failed-Unsupported/清洗统计按 diff.type+changedRows/行级错误 rawLocation+message
  +excerpt/致命 WxrError 记 fatalError 不上抛——wxr:probe 消费通道）；renderReportHtml
  所有动态文本经 escapeHtml（<>&"'，Task 5 移交的标记注入面防线）
- test/adapter.test.ts：19 用例（mini 全链/changed 语义/报告结构/恶意样本转义/
  unsupported-error 汇聚/wppop 失败贯通/JSON 可序列化/致命解析错误交付确定性）

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 11:44:55 +08:00
浅念 7506fef875 fix(adapter-wp): srcset 审计精确化（parse-srcset）；false 形态防御；复用 launder.naughtyHref；等价测试参数化 
审查修复四项：srcset 逐候选审计改用 parse-srcset 同库实现（data: 逗号内嵌
URL 不再误切；全候选被拒/解析异常/零候选→整属性删除记账，含空 srcset）；
deriveMirrorView 对 false/缺省形态 fail fast（allowedTags/allowedAttributes
的 false=库全放行语义与镜像空集解释相反，修正原注释）；URL 判定复用
launder.naughtyHref（sanitize-html 2.18 同一实现路径，删手写镜像）；
仪表化等价测试参数化为 15 个对抗样本（实体/控制字符/NULL/URL 注释走私、
未引号/重复属性、深嵌套、srcset 形态）。测试 204→228。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 11:18:39 +08:00
浅念 8dd6eaf1b6 feat(adapter-wp): HTML 白名单清洗与差异收集 
sanitize-html@^2（MIT）白名单清洗 + onOpenTag 观察钩子按文档序收集 SanitizeDiff[]
（镜像判定从 SANITIZE_CONFIG 单源推导；仪表化与清洗输出字节等价，测试钉死）。
白名单决策冻结：h1/布局标签/内联样式/iframe 拒绝（diff 留痕），外链 img 含
1x1 追踪像素本切片保留（远程依赖报告归 Task 6，路径重写归阶段 3）。
测试 184→204。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 10:39:37 +08:00
浅念 4c4c43f7d9 fix(adapter-wp): 原型键防御与对抗测试；meta 冲突策略统一（单值先者+issue/phpRaw 清理）；extras 原型污染防御；config 校验；prebuild 依赖固化 
- Fix 1：routes/STATUS_MAP 查键一律 Object.hasOwn 守卫（'constructor'/
  'valueOf' 等继承键裸索引命中函数值绕过 undefined 检查）+ 对抗测试
- Fix 2：prebuild 脚本先建 contracts dist（fresh-clone build 不再 TS2307，
  亦防 stale dist 静默编译；已实测 rm -rf dist 后全链成功）
- Fix 3：单值 meta（thumbnail/seo×2）重复→先者胜出+issue（WP 单值语义，
  首个占位即便值非法不被顶替）；wppop 重复→最后一次决定终态（成功清
  phpRaw/失败清 wppop_sections，两键互斥）；三方策略 JSDoc 冻结
- Fix 4：extras 改 null 原型字典——'__proto__' meta 不再被 setter 静默
  吞掉（测试钉死自有键+JSON 往返）；gallery 累积语义明确
- Fix 5：typeRoutes 空字符串路由值 → TypeError fail fast
- 173→184 测试全绿；typecheck/lint/build 绿

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 10:10:03 +08:00
浅念 c99bbbb29e feat(adapter-wp): WXR→UniversalRow 映射器（status 值域/悬空保留/unsupported 分流） 
- mapItem 纯函数：WxrItem → MappedResult 三分支（row/unsupported/error），
  DEFAULT_TYPE_ROUTES/STATUS_MAP/META_KEYS 三冻结表导出
- Plan 1 移交落实：status 值域表驱动（未知→unknown+issue）；property 断言
  （isUniversalRow+refs 形状非空）测试钉死
- Task 3 审查移交：postId null→error（不产 row 不猜）；-7 原样；-0 归一 '0'
- taxonomyRefs 锚点=category @nicename（=term slug，Task 8 实数据核对后冻结）
- 悬空 gallery 203/204 原样保留；wppop 解析失败→extras.phpRaw+issue（不崩不丢）
- Task 2 审查移交补测四例：d: 键拒绝/NUL 往返/s:1:"0"→Map/1MB<50ms 烟雾
- tsconfig.build.json：src 首次引 @sf/contracts 后 build 经 contracts dist
  声明解析（rootDir TS6059；typecheck/vitest/tsx 仍 src 直连，ADR-016 归口）
- 142→173 测试全绿；typecheck/lint 绿

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 09:45:34 +08:00
浅念 8edbbad45b fix(adapter-wp): 内存上界注释纠正；错误前事件排空确定化；post_id 严格解析；嵌套畸形 fail-fast；类型收紧与测试钉 
审查修复六项（wxr-stream）：
- 内存上界表述纠正：saxes 按节点内部缓冲整个 text/CDATA 节点，对抗性
  单字段文件峰值 ≤ maxWxrBytes 的 UTF-16 表示（约 2×），并非与文件
  大小解耦；maxFieldLength/maxCdataLength 封顶的是本模块缓冲与产出
  字段长度
- parser.write/close 抛错前先排空待 yield 队列再重抛：错误前已完成
  事件的交付不依赖 chunk 划分（测试钉死单 chunk 与 7 字节切块一致）
- wp:post_id / wp:term_id 严格解析：整串十进制 + Number.isSafeInteger，
  否则 null（表驱动测试：''/'0x10'/'12abc'/超安全域 → null）
- 嵌套 item/wp:term 立即 WxrParseError（fail-fast，防外层截断产出）
- Target.field 经 Exclude 收窄为纯文本字段，消除 as string 断言
- 测试钉死：提前 break 销毁上游流、text+CDATA 混合累计、限额错误
  message 含行列位置

142 测试全绿（新增 12）。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 09:21:41 +08:00
浅念 25e8b9cb5c feat(adapter-wp): saxes 流式 WXR 解析器 
parseWxrStream(readable, {limits, now}) → AsyncGenerator<WxrEvent>：
逐 chunk 喂入 saxes（^6.0.0，ISC；计划所写 ^0.9 不存在于版本历史），
item/term 按文档序交错产出；任一时刻只持有当前聚合状态 + 单 chunk 内
待 yield 队列，绝不收集已产出 item 列表（峰值内存与文件大小解耦）。

- 字段：postId(数值解析)/postType/status/postName/link/title/
  contentEncoded/excerptEncoded/postDate/postModified/attachmentUrl/
  creator + metas{key,value}[] + categories{domain,nicename,value}[] +
  rawLocation(wxr://item/<n>、wxr://term/<n>)
- 错误体系照 PhpError 先例：WxrError 基类；WxrParseError 带 saxes
  行列位置（error 事件同步抛出时捕获）；WxrLimitError 按 kind 区分
- 限额：bytes/items/terms/depth/cdata/fieldLength（先检查后追加，
  超限内容永不入缓冲）/metaPerItem/time（可注入时钟）——超限即抛，
  不静默截断
- 实体防线（测试钉死）：saxes 实体表固定为五预定义 + 数字引用，
  DOCTYPE 内部/SYSTEM 实体不注册——引用即 WxrParseError，替换文本
  不进产出；纯字符串解析，全程无网络 I/O
- 跨 chunk 喂入（7 字节/块）与单 chunk 产出一致（StringDecoder 处理
  多字节边界）；畸形 XML（提前闭合/截断）→ WxrParseError 带行列

130 测试全绿（新增 22）。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 08:55:11 +08:00
浅念 4f90b63c61 fix(adapter-wp): phpValueToJson 辅助与 JSON 陷阱警示；错误上下文摘录；PhpError 公共基类 
复审修复：新增 phpValueToJson（Map→字符串键普通对象，递归；bigint 分支
冻结为抛 TypeError 不静默转换），PhpValue JSDoc 警示 Map 直接
JSON.stringify 会静默变 {}；两类错误 message 附 offset ±20 码元原文
摘录（控制字符转义、120 字符封顶）；PhpError 公共抽象基类，两子类
互不 instanceof 的既有断言保持通过。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 08:37:08 +08:00
浅念 5550952fdb feat(adapter-wp): PHP serialize 受限解析器 
只支持 i/b/d/s/a 四类型的单指针递归下降解析器：深度与元素数双限额
（默认 DEFAULT_WXR_LIMITS phpMaxDepth=8/phpMaxElements=1000，超限抛
PhpLimitError 按 kind 区分），长度前缀/结构错误一律抛 PhpParseError
（含 offset），尾随垃圾抛错。a: 形状推断：连续 0 起整数键→密集数组，
否则 Map。s: 按 UTF-8 字节宽度取串（含代理对），中文 postmeta 准确。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 08:23:32 +08:00
浅念 ec898f6e0a docs(plan): P2 Task 1 勾选；tsconfig 双链型注释（ADR-016 待记） 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 08:16:18 +08:00
浅念 dc4557cccf feat(adapter-wp): 包骨架与限额契约 
Plan 2 Task 1：@sf/adapter-wp 包骨架（照 contracts 先例：build extends +
rootDir "." + exclude test）+ WxrLimits 十字段限额契约与 DEFAULT_WXR_LIMITS
值域冻结（设计基线 §7.2）+ 跨包接线。

跨包接线（一份 paths 三方消费）：
- 根 tsconfig compilerOptions.paths 把 @sf/contracts、@sf/adapter-wp 映射到
  各自 src/index.ts；adapter tsconfig extends 根 tsconfig 使包级 tsc 读同一
  份 paths（extends 相对路径按声明处解析，映射始终落在仓库根）
- 根 vitest.config.ts resolve.alias 指向同一映射（vitest 不读 tsconfig paths）
- adapter 加 @sf/contracts workspace:* 依赖；三方均直连 src，不经 dist
  （已实测：移走 contracts dist 后 vitest 与包级 tsc 仍全绿）
- 根 devDependencies 加 @types/node@^22（对齐 apps/api 钉 22）：alias 的
  fileURLToPath 辅助需 node 类型，此前根程序靠 apps/api 传递 @types 才有
  node 全局，属偶合

限额类型锁（照 contracts 单源派生先例）：DEFAULT_WXR_LIMITS as const
satisfies WxrLimits + _LIMIT_KEYS 键集与 keyof WxrLimits 双向咬合断言；
timeBudgetMs 以可注入时钟（构造函数 now()）测试于 Task 3、实测覆盖于 Task 8。

验证：pnpm test 78 绿（75+3）；pnpm --filter @sf/adapter-wp exec tsc
-p tsconfig.json --noEmit exit 0（--listFiles 证实 contracts 经 src 解析）；
根 typecheck 链与 pnpm lint 绿；build 产物形状核验后清理。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-21 08:05:08 +08:00
浅念 494beadf94 chore: 终审 Minor 清理——@types/node 钉 22、contracts 构建排除测试、helpers 盲区注记、计划收口注记 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-20 21:08:34 +08:00
浅念 3c32becba6 chore: 收尾清账——type:module/gitattributes/engines/lint/CI/根typecheck覆盖 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-20 20:56:26 +08:00
浅念 d650490ed4 fix(contracts): Kind/Policy 单源派生冻结锁；status 整数+域校验；key 放宽注释 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-20 18:47:42 +08:00
浅念 c8c4336da7 feat(contracts): Route/Render/Theme Manifest 契约 v1 冻结 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-20 18:36:45 +08:00
浅念 31cd7ed7f4 fix(contracts): 守卫收紧必填字段类型与对象形状；修复包级 test 脚本；补齐守卫测试与 REQUIRED 类型锁 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-20 18:26:42 +08:00
浅念 857389e68b feat(contracts): UniversalRow 契约 v1 冻结 + 守卫 + 测试 
Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-10-20 18:15:47 +08:00