fix(sync): 同步链路审计修复——水位边界白拉/全量无超时/群活跃窗判定源
全项目数据同步审计发现四漏洞(前项为证据): ① 消息增量边界白拉(证据:昨夜 wa-messages fetched=53,682 而真实新消息 仅 321 条,99.4% 是白拉白写的已入库旧消息)——云客 chatRecords/msg-chats 的 start 参数是 inclusive(返回 ts>=start 含边界),四个消息实体(微信 1:1/WA 1:1/微信群/WA 群)统一在归一化后过滤 ts<=watermark 的边界行, 不计数不写库(省 99% 写放大,计数从此反映真实新增) ② full_sync_all.sh 无超时——极端情况(常态 10-20h)拖进次日相位把 02:00 全量又挤掉(前两天事故同型);加 22h 上限 ③ 周日 full-history 无超时——4 实体全历史可能 24h+,必挤周一;单实体 加 6h 上限 ④ 群消息活跃窗判定源是昨晚 full 的 chat_group.last_chat_time 快照—— 「昨天安静、今天突然活跃」的群会被 24h 窗口漏到明晚;4h 序列在 group-messages 前加 chatroom-stats 全窗(~1min)刷新群活跃判定源 722 测试绿(4h 序列断言 9→10 命令+chatroom-stats 位序)。 Co-Authored-By: Claude Code <noreply@anthropic.com>
This commit is contained in:
@@ -602,7 +602,7 @@ class SyncScheduler:
|
||||
if not bash:
|
||||
logger.error("page sync 'full': bash not found on PATH")
|
||||
return
|
||||
commands = [([bash, "scripts/full_sync_all.sh"], None)] # (args, timeout)——full 不设超时(全量本身 10-20h)
|
||||
commands = [([bash, "scripts/full_sync_all.sh"], 22 * 3600)] # 22h 上限:防极端情况拖进次日相位(全量常态 10-20h)
|
||||
elif kind == "messages":
|
||||
# 2026-09-10 调度根治(用户报「员工列表时间差 2 天」):
|
||||
# ① 序列头部刷员工账号表(accounts ~1min)——员工列表「数据
|
||||
@@ -621,6 +621,10 @@ class SyncScheduler:
|
||||
("wa-friends", None, 2400),
|
||||
("messages", 24, 4800),
|
||||
("wa-messages", 24, 4800),
|
||||
# chatroom-stats 全窗(~1min):刷 chat_group.last_chat_time——
|
||||
# 群消息活跃窗的判定源。不加则窗口用的是昨晚 full 的快照,
|
||||
# 「昨天安静、今天突然活跃」的群会被窗口漏到明晚(2026-09-10)
|
||||
("chatroom-stats", None, 1800),
|
||||
("group-messages", 24, 4800),
|
||||
("wa-group-messages", 24, 2400),
|
||||
("moments", None, 2400),
|
||||
@@ -666,7 +670,8 @@ class SyncScheduler:
|
||||
"99999",
|
||||
"--full-history",
|
||||
],
|
||||
None, # 每周对齐不设超时
|
||||
6 * 3600, # 单实体 6h 上限(2026-09-10:防周日的全历史
|
||||
# 对齐拖进周一,把 02:00 full 又挤掉——同类事故根治)
|
||||
)
|
||||
for e in entities
|
||||
]
|
||||
|
||||
Reference in New Issue
Block a user