cms-website

xinyouhe/cms-website

Fork 0

Commit Graph

Author	SHA1	Message	Date
浅念	c28c1655a4	fix(source): DB 事务化；storageRoot 入 metadata；siteCreated 与并发测试；CLI 体验与校验小修评审修复（4 项 Important + 8 项 Minor）： - DB 事务化：site→connection→snapshots 全部落库包进 db.transaction 单事务（"任何失败零落库"字面成立）；助手改收 Pick<select\|insert\|execute> 结构类型（tx 与直连 db 通用）。并发撞唯一约束不在事务内补查（语句失败后续查 25P02），改为 registerSource 层事务级重试（≤3 次，第二次 select 命中复用分支） - connection 并发：select-then-insert 无约束可兜底，事务内 pg_advisory_xact_lock (siteId:name) 串行化同键登记（kind 枚举扩展推迟 REST 通道，注释注明） - storageRoot 绝对路径固化进每条 snapshot metadata 与报告 inputs（快照不可变，事后无法补写——永久缺口封堵） - ensureSite 返回 created；RegisterResult.siteCreated；CLI 站点已存在时提示 --name/--locale/--origin 未生效 - 媒体复制期逐文件 sha 复核（copyAndHash 对拍清单，源中途变更 → COPY_FAILED） - 空媒体目录拒绝（EMPTY_MEDIA_DIR） - CLI：PATH_NOT_ALLOWED 追加 --allow 提示；--origin 经 new URL 校验（http/s）、 --locale 语言标签形状校验，fail fast；开跑打印生效白名单（审计） - makeRunId 服务导出、CLI 复用；.tmp 残留手工清理策略写入文件头注释 - 测试 +2：并发同输入恰好一组行/双方同 id/新建标志恰一（3 次重跑稳定）； isUniqueViolation 形状单测（drizzle cause.code / 裸 code / 其他）全套 263 绿；typecheck / lint 绿；CLI 冒烟对临时库验证事务路径、siteCreated 输出、defaults 落库（en-US / https://qa.example）、白名单打印与校验报错 Co-Authored-By: Claude Code <noreply@anthropic.com>	2026-10-21 13:06:48 +08:00
浅念	586d715455	feat(source): 输入登记服务与 sf CLI（content-addressed 快照） - registerSource(db, input)：wxr/sitemap/媒体目录三类输入登记为 content-addressed 快照——流式 copy+sha256 单遍双算（64KB 块），副本落 storage/snapshots/<kind>/<sha256前2>/<sha256>（文件）或 <sha256>/（媒体整树），后续任务只读副本；UNIQUE(site,kind,sha256) 幂等（重复登记复用既有行） - media_bundle 哈希钉死：排序相对路径（'/' 归一）+ 每文件 sha256 → canonical JSON（键排序无空白）→ 再 sha256；不含 mtime、不依赖遍历顺序；完整清单（path/bytes/sha256）入 metadata jsonb；符号链接（含 junction）跳过并记录 - site 按 key select-then-insert upsert（23505 竞态重查）；connection 判重键 (site_id,name) 为应用层 select-then-insert（表无库级唯一，注释注明） - 路径安全：输入 realpath 后须在 allowedRoots 白名单内（缺省 storage/incoming）， ENOENT/越界/类型不符抛带 code 的 SourceRegisterError；全部输入先校验后摄取，任何失败零落库零复制 - 报告落 artifacts/register/<runId>/reports/register.json（runId=时间戳+随机；输入清单/哈希/大小/耗时） - scripts/sf.ts（commander）：wxr:probe 只读诊断（任意可读路径，IO/损坏文件出报告不崩——Task 6 fatalError 契约）出 JSON/HTML 报告；source:register 调服务出摘要。CLI 机制钉死：根 devDep tsx + 根 script sf + commander 根依赖，TS 源码直连（@sf/* 经 tsconfig paths，不经 dist） - source.module.ts：Nest 注册 SourceRegisterService（standalone context 用）； register.service.ts 刻意零装饰器（CLI/测试直 import 不拉 reflect-metadata） - launder 类型垫片改经 triple-slash 引用随 html.ts 进任意编译程序（apps/api 与根程序直连适配器源码的新场景）；apps/api 增 @sf/adapter-wp workspace 依赖与 paths 映射（register.service 消费 ADAPTER_VERSION 单源） - 测试 +7（tests/integration/source-register.test.ts，临时库 + tmpdir storage/ 报告根 finally 清理）：三输入登记/清单哈希定义对拍/重复登记幂等/mtime 排除/ 副本布局与内容一致/路径安全六分支/junction 跳过/报告契约；全套 260 绿 Co-Authored-By: Claude Code <noreply@anthropic.com>	2026-10-21 12:31:15 +08:00

Author

SHA1

Message

Date

浅念

c28c1655a4

fix(source): DB 事务化；storageRoot 入 metadata；siteCreated 与并发测试；CLI 体验与校验小修

评审修复（4 项 Important + 8 项 Minor）：
- DB 事务化：site→connection→snapshots 全部落库包进 db.transaction 单事务
  （"任何失败零落库"字面成立）；助手改收 Pick<select|insert|execute> 结构类型
  （tx 与直连 db 通用）。并发撞唯一约束不在事务内补查（语句失败后续查 25P02），
  改为 registerSource 层事务级重试（≤3 次，第二次 select 命中复用分支）
- connection 并发：select-then-insert 无约束可兜底，事务内 pg_advisory_xact_lock
  (siteId:name) 串行化同键登记（kind 枚举扩展推迟 REST 通道，注释注明）
- storageRoot 绝对路径固化进每条 snapshot metadata 与报告 inputs（快照不可变，
  事后无法补写——永久缺口封堵）
- ensureSite 返回 created；RegisterResult.siteCreated；CLI 站点已存在时提示
  --name/--locale/--origin 未生效
- 媒体复制期逐文件 sha 复核（copyAndHash 对拍清单，源中途变更 → COPY_FAILED）
- 空媒体目录拒绝（EMPTY_MEDIA_DIR）
- CLI：PATH_NOT_ALLOWED 追加 --allow 提示；--origin 经 new URL 校验（http/s）、
  --locale 语言标签形状校验，fail fast；开跑打印生效白名单（审计）
- makeRunId 服务导出、CLI 复用；.tmp 残留手工清理策略写入文件头注释
- 测试 +2：并发同输入恰好一组行/双方同 id/新建标志恰一（3 次重跑稳定）；
  isUniqueViolation 形状单测（drizzle cause.code / 裸 code / 其他）

全套 263 绿；typecheck / lint 绿；CLI 冒烟对临时库验证事务路径、siteCreated
输出、defaults 落库（en-US / https://qa.example）、白名单打印与校验报错

Co-Authored-By: Claude Code <noreply@anthropic.com>

2026-10-21 13:06:48 +08:00

浅念

586d715455

feat(source): 输入登记服务与 sf CLI（content-addressed 快照）

- registerSource(db, input)：wxr/sitemap/媒体目录三类输入登记为 content-addressed
  快照——流式 copy+sha256 单遍双算（64KB 块），副本落
  storage/snapshots/<kind>/<sha256前2>/<sha256>（文件）或 <sha256>/（媒体整树），
  后续任务只读副本；UNIQUE(site,kind,sha256) 幂等（重复登记复用既有行）
- media_bundle 哈希钉死：排序相对路径（'/' 归一）+ 每文件 sha256 → canonical
  JSON（键排序无空白）→ 再 sha256；不含 mtime、不依赖遍历顺序；完整清单
  （path/bytes/sha256）入 metadata jsonb；符号链接（含 junction）跳过并记录
- site 按 key select-then-insert upsert（23505 竞态重查）；connection 判重键
  (site_id,name) 为应用层 select-then-insert（表无库级唯一，注释注明）
- 路径安全：输入 realpath 后须在 allowedRoots 白名单内（缺省 storage/incoming），
  ENOENT/越界/类型不符抛带 code 的 SourceRegisterError；全部输入先校验后摄取，
  任何失败零落库零复制
- 报告落 artifacts/register/<runId>/reports/register.json（runId=时间戳+随机；
  输入清单/哈希/大小/耗时）
- scripts/sf.ts（commander）：wxr:probe 只读诊断（任意可读路径，IO/损坏文件出
  报告不崩——Task 6 fatalError 契约）出 JSON/HTML 报告；source:register 调服务
  出摘要。CLI 机制钉死：根 devDep tsx + 根 script sf + commander 根依赖，TS 源码
  直连（@sf/* 经 tsconfig paths，不经 dist）
- source.module.ts：Nest 注册 SourceRegisterService（standalone context 用）；
  register.service.ts 刻意零装饰器（CLI/测试直 import 不拉 reflect-metadata）
- launder 类型垫片改经 triple-slash 引用随 html.ts 进任意编译程序（apps/api 与
  根程序直连适配器源码的新场景）；apps/api 增 @sf/adapter-wp workspace 依赖与
  paths 映射（register.service 消费 ADAPTER_VERSION 单源）
- 测试 +7（tests/integration/source-register.test.ts，临时库 + tmpdir storage/
  报告根 finally 清理）：三输入登记/清单哈希定义对拍/重复登记幂等/mtime 排除/
  副本布局与内容一致/路径安全六分支/junction 跳过/报告契约；全套 260 绿

Co-Authored-By: Claude Code <noreply@anthropic.com>

2026-10-21 12:31:15 +08:00

2 Commits