浅念 25e8b9cb5c feat(adapter-wp): saxes 流式 WXR 解析器
parseWxrStream(readable, {limits, now}) → AsyncGenerator<WxrEvent>:
逐 chunk 喂入 saxes(^6.0.0,ISC;计划所写 ^0.9 不存在于版本历史),
item/term 按文档序交错产出;任一时刻只持有当前聚合状态 + 单 chunk 内
待 yield 队列,绝不收集已产出 item 列表(峰值内存与文件大小解耦)。

- 字段:postId(数值解析)/postType/status/postName/link/title/
  contentEncoded/excerptEncoded/postDate/postModified/attachmentUrl/
  creator + metas{key,value}[] + categories{domain,nicename,value}[] +
  rawLocation(wxr://item/<n>、wxr://term/<n>)
- 错误体系照 PhpError 先例:WxrError 基类;WxrParseError 带 saxes
  行列位置(error 事件同步抛出时捕获);WxrLimitError 按 kind 区分
- 限额:bytes/items/terms/depth/cdata/fieldLength(先检查后追加,
  超限内容永不入缓冲)/metaPerItem/time(可注入时钟)——超限即抛,
  不静默截断
- 实体防线(测试钉死):saxes 实体表固定为五预定义 + 数字引用,
  DOCTYPE 内部/SYSTEM 实体不注册——引用即 WxrParseError,替换文本
  不进产出;纯字符串解析,全程无网络 I/O
- 跨 chunk 喂入(7 字节/块)与单 chunk 产出一致(StringDecoder 处理
  多字节边界);畸形 XML(提前闭合/截断)→ WxrParseError 带行列

130 测试全绿(新增 22)。

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-21 08:55:11 +08:00
2026-10-21 08:41:17 +08:00
2026-10-20 20:56:26 +08:00

SiteForge

WordPress 站点到静态站点迁移引擎:读取 WXR/Sitemap/媒体归档 → 清洗入不可变内容库 → 主题化构建为自包含静态站点(Astro),全程可审计、可复现、契约冻结。

快速开始

前置:Node.js >= 22、Docker、corepack。

corepack enable                      # 激活 pnpm(或自行安装 pnpm@10)
pnpm install                         # 安装依赖
pnpm db:up                           # 启动 PostgreSQL 16(宿主端口 5434,等 healthcheck 就绪)
pnpm db:migrate                      # 开发库全量迁移(apps/api/drizzle)
pnpm db:test                         # 一键验收:起库 + 跑全部测试(测试用临时库,开发库零写入)

日常质量门(等价于 CI):

pnpm lint && pnpm typecheck && pnpm test

说明:集成测试由 vitest globalSetup 自动创建临时库 sf_test_<ts> 并注入 DATABASE_URL_TEST,结束即 DROP——勿在 .env 手动设置该变量。

目录结构

apps/api/            NestJS standalone 骨架 + Drizzle schema/迁移(21 表,数据库约束即规格)
packages/contracts/  UniversalRow / Route / Render / Theme 跨源契约(冻结,变更须升版)
tests/               单元 + 集成测试(fixtures:WXR/Sitemap/媒体样例)
infra/               docker-compose:PostgreSQL 16(端口 5434,避开 cms 项目 5433)
scripts/             migrate-test.sh 等运维脚本
docs/                adr/ 决策记录 · evidence/ 基线证据 · superpowers/ 规格与计划

文档导航

  • 设计基线(表结构/技术决策/阶段划分):docs/superpowers/specs/2026-10-20-siteforge-vertical-slice-design-v2.md
  • 阶段 0+1 实施计划:docs/superpowers/plans/2026-10-20-slice-foundation-phase0-1.md
  • 架构决策记录(ADR-001~015):docs/adr/
  • 基线证据(环境/真实 WXR):docs/evidence/

当前状态

  • 阶段 1 已完成:契约冻结、21 表数据模型全量落地(不可变触发器/唯一约束/CHECK 均落数据库并被 75 项测试锁定)、空环境一键启动+迁移验收通过。
  • 下一步:阶段 2——WXR 适配器(流式 SAX 解析 → UniversalRow),计划基于阶段 1 经验另立。
S
Description
No description provided
Readme 203 KiB