浅念 0e8b2b5356 feat(import): job 骨架与生命周期
Plan 3 Task 1:sf import 命令骨架 + import_jobs 生命周期(空管道,Task 6 接真实管道)。

- import.service.ts(零装饰器):createImportJob——站点/快照解析(缺省按 (connection,
  kind='wxr') 选最新;三快照绑定按前置事实 13 记入报告,job 行不扩列)、幂等建行
  (默认 key=site+wxr快照+三语义版本;重复提交复用既有 job 不重跑,并发撞唯一约束
  重查收敛)、状态推进 queued→running→succeeded/failed(attempt/started_at/finished_at/
  error_code/error_summary)、报告落 artifacts/import/<jobId>/reports/import.json
  (全四版本块:adapter/mapping/sanitizer/parser;job 行落 mapping_version)
- 可预期错误带 code:SITE_NOT_FOUND / SNAPSHOT_NOT_FOUND / NO_WXR_SNAPSHOT /
  PIPELINE_FAILED——解析期失败零 job 行
- adapter 事件加法式补 postId(前置事实 12):unsupported/error 事件可选携带
  String(postId),缺失时键缺席不硬造 source_id;row 事件与报告聚合零影响、不触发版本 bump
- canonicalJson 提取至 apps/api/src/common/canonical.ts 共享导出(前置事实 6),
  register 侧改 import 零行为变更(既有清单哈希测试守护)
- sf CLI + import 命令(--site/--snapshot/--key/--connection),输出 job 摘要与版本块
- 测试:tests/integration/import-job.test.ts(5 例:生命周期观察/最新快照解析/幂等复用
  与并发收敛/可预期失败零落行/failed 路径)+ adapter postId 3 例 + canonical 单测 6 例
  (265→279 全绿);typecheck 四段链/lint 绿;临时库 CLI 冒烟(register→import→复用)通过

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-21 15:30:42 +08:00

SiteForge

WordPress 站点到静态站点迁移引擎:读取 WXR/Sitemap/媒体归档 → 清洗入不可变内容库 → 主题化构建为自包含静态站点(Astro),全程可审计、可复现、契约冻结。

快速开始

前置:Node.js >= 22.12、Docker、corepack。

corepack enable                      # 激活 pnpm(或自行安装 pnpm@10)
pnpm install                         # 安装依赖
pnpm db:up                           # 启动 PostgreSQL 16(宿主端口 5434,等 healthcheck 就绪)
pnpm db:migrate                      # 开发库全量迁移(apps/api/drizzle)
pnpm db:test                         # 一键验收:起库 + 跑全部测试(测试用临时库,开发库零写入)

WXR 适配器(阶段 2)速览——pnpm sf CLI(tsx 直吃 TS,无需构建):

pnpm sf wxr:probe --wxr path/to/export.xml   # 只读诊断:流式解析→映射→清洗→计数报告(不入库)
pnpm sf source:register --site <key> --wxr <path> [--sitemap <path>] [--media <dir>]   # 快照登记(content-addressed、幂等)

日常质量门(等价于 CI):

pnpm lint && pnpm typecheck && pnpm test

说明:集成测试由 vitest globalSetup 自动创建临时库 sf_test_<ts> 并注入 DATABASE_URL_TEST,结束即 DROP——勿在 .env 手动设置该变量。

目录结构

apps/api/            NestJS standalone 骨架 + Drizzle schema/迁移(21 表,数据库约束即规格)+ source 快照登记
packages/contracts/  UniversalRow / Route / Render / Theme 跨源契约(冻结,变更须升版)
packages/adapter-wordpress/  WXR 适配器(saxes 流式解析 + PHP unserialize + 映射 + HTML 白名单清洗,纯函数无 DB)
tests/               单元 + 集成测试(fixtures:WXR/Sitemap/媒体样例)
infra/               docker-compose:PostgreSQL 16(端口 5434,避开 cms 项目 5433)
scripts/             migrate-test.sh 等运维脚本 · sf.ts(source:register / wxr:probe CLI)
docs/                adr/ 决策记录 · evidence/ 基线证据 · superpowers/ 规格与计划

文档导航

  • 设计基线(表结构/技术决策/阶段划分):docs/superpowers/specs/2026-10-20-siteforge-vertical-slice-design-v2.md
  • 阶段 0+1 实施计划:docs/superpowers/plans/2026-10-20-slice-foundation-phase0-1.md
  • 架构决策记录(ADR-001~016):docs/adr/
  • 基线证据(环境/真实 WXR):docs/evidence/

当前状态

  • 阶段 1 已完成:契约冻结、21 表数据模型全量落地(不可变触发器/唯一约束/CHECK 均落数据库并被 75 项测试锁定)、空环境一键启动+迁移验收通过。
  • 阶段 2 已完成:WXR 流式适配器(saxes 流式解析 → PHP unserialize → UniversalRow 映射 → HTML 白名单清洗 → 导入前报告)、source:register 快照登记(content-addressed、幂等)与 pnpm sf CLI;263 测试全绿,真实 hesupipe WXR(5.5MB)冒烟 18 项计数对照全过(峰值堆 62MiB < 100MiB,证据见 docs/evidence/phase2-smoke.md)。
  • 下一步:阶段 3——内容/分类/媒体入库(source_records 落库、稳定身份 upsert、checksum skip、route_registry 生成);输入清单见 Plan 2 文末"移交阶段 3 清单"。
S
Description
No description provided
Readme 203 KiB