feat: 词表数据化——AST 提取脚本 + wall.json + 编译器 + boundary/conversation 数据源切换（等价回归全绿）

- scripts/extract_config.py: AST 解析两老项目源码取常量(不 import 源模块), 生成 seed_profiles/<slug>/{wall.json, brand_values.json, prompts/};幂等可重跑 - app/engine/wall_schema.py: compile_wall(json)→CompiledWall,坏结构/坏 regex 编译期显性失败(WallConfigError 含字段路径) - boundary_filter/conversation: 墙词表/话术数据源切换为 DEFAULT_WALL (jiancai 出厂 seed),函数逻辑不动、常量名保留为 wall 视图(既有测试零修改); wall 数据化新增 pivots/pivots_contact/zero_number/reask_patterns 字段 - 脆锚点迁移: test_inline_prohibitions 断言对象从 conversation.py 源码改为 wall.json 数据文件,语义等价(唯一允许的测试修改) - 回归: 322 既有全绿 + 10 新增 wall_schema 测试 = 332;提取脚本两遍无 diff Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-12 17:31:57 +08:00
parent 8a16a2959b
commit bc903a273e
19 changed files with 2132 additions and 310 deletions
@@ -17,9 +17,9 @@ from app.engine.services import (
 )
 from app.engine.services.ai_service import AIService
 from app.engine.services.boundary_filter import (
-    NO_CONTACT_ALREADY, NO_CONTACT_APP, NO_CONTACT_WEB, asks_contact,
-    deflection_for, no_contact_value, pivot_for, split_sentences,
-    violates_boundary,
+    DEFAULT_WALL, NO_CONTACT_ALREADY, NO_CONTACT_APP, NO_CONTACT_WEB,
+    asks_contact, deflection_for, no_contact_value, pivot_for,
+    split_sentences, violates_boundary,
 )
 from app.engine.services.contact_pipeline import (
    canon, digits_only, latest_stated_contacts, merge_contacts,
@@ -36,26 +36,12 @@ logger = logging.getLogger(__name__)
 # - 【评审#4】v1 补齐漏词: expensive/fee/贵/价钱/总价/落地/划算/免费(短语式)等;
 #   cost/fee 用 \b 边界,costa rica 不再误命中("costa"含cost但无词边界)
 # - 原则: 误触发低害(多一条提醒),漏触发高危(红线失守),词表偏宽;上线后漏词案例回流补词
-BOUNDARY_TRIGGER_RE = re.compile(
-    r"price|pricing|how\s+much|\bcost\b|discount|cheaper|expensive|\bfee\b|"
-    r"quote|quotation|shipping\s+(fee|cost|time)|freight|tariff|customs\s+fee|"
-    r"best\s+offer|any\s+offer|free\s+shipping|"
-    r"sample|certificat|\bmoq\b|minimum\s+order|min\s+order|"
-    r"container\s+loading|fit\s+in|per\s+container|warranty|质保|保修|"
-    r"book(ing)?\s|reserv|arrange|"
-    r"delivery|lead\s+time|arriv|"
-    r"how\s+long\s+(does|will|would|to).*(take|arriv|deliver|ship)|"
-    r"roughly|ballpark|just\s+tell|come\s+on|at\s+least\s+(a|some|give)|"
-    r"budget|预算|价格|价钱|多少钱|报价|优惠|折扣|便宜|贵|划算|"
-    r"总价|落地|运费|关税|免费|"
-    r"到货|多久能到|交货|时效|发货|样品|证书|装柜|起订|"
-    r"预约|下单|定金|安排|"
-    r"大概|估个|估一|随便说|说个|求你|求了",
-    re.IGNORECASE,
-)
+# Task 4 词表数据化: 三组触发正则的数据源 = DEFAULT_WALL(jiancai 出厂)
+# .triggers 编译产物(seed_profiles/jiancai/wall.json),上方精修说明随数据留存
+BOUNDARY_TRIGGER_RE = DEFAULT_WALL.triggers["boundary"]

 # 预算路径路由(评审#9): 命中 BOUNDARY 触发词且含预算词 → 走预算 playbook
-BUDGET_TRIGGER_RE = re.compile(r"budget|预算", re.IGNORECASE)
+BUDGET_TRIGGER_RE = DEFAULT_WALL.triggers["budget"]

 # 索要我方联系方式触发(15.2, doctrine v2): 客户问"你们怎么联系/你的微信多少"
 # = 最高意向信号。提醒层按 source 分支: web 指按钮, App 无按钮走反向留资
@@ -63,14 +49,7 @@ BUDGET_TRIGGER_RE = re.compile(r"budget|预算", re.IGNORECASE)
 #   必须用定宽 negative lookbehind——lookahead 在动词位置求值,永远看不到
 #   前面的 let me / i'll,不生效。四个 lookbehind 全部定宽合法: i'll(5)、
 #   i’ll(5, 弯撇 U+2019 手机常见)、i will(7)、let me(7);IGNORECASE 兼容大写
-CONTACT_ASK_TRIGGER_RE = re.compile(
-    r"(your|our)\s+(whatsapp|number|phone|email|contact)|"
-    r"(?<!i'll )(?<!i’ll )(?<!i will )(?<!let me )"
-    r"(contact|reach|call|email)\s+(you|us)|"
-    r"你(们)?的?\s?(whatsapp|号码|电话|微信|邮箱|联系方式)|"
-    r"(怎么|如何)联系|给我.{0,4}(号码|电话|联系方式)",
-    re.IGNORECASE,
-)
+CONTACT_ASK_TRIGGER_RE = DEFAULT_WALL.triggers["contact_ask"]

 # 语言跟随提醒(Task 11 真人验收发现): glm-4-flash 对拉丁字符占比高的中文
 # 消息(DN800/HDPE 规格混排)会整轮漂成英文,system.md 语言规则压不住。修复位 =
@@ -78,19 +57,11 @@ CONTACT_ASK_TRIGGER_RE = re.compile(
 # 漂移"同款方法论。2026-10-08 Task 5 收尾: 语言规则放开(模板句跟随客户语言
 # 自然表达)后,ES note 的"整句使用英文原版/绝不翻译成西语"与新规则相反,
 # 已同步删除;两条 note 统一补"补全号码逐字照抄"(回显确认轮唯一例外)。
+# Task 4 词表数据化: 话术数据源 = DEFAULT_WALL.reminders.language_follow
 _CJK_RE = re.compile(r"[一-鿿]")
 _ES_FEATURE_RE = re.compile(r"[áéíóúñãç¿¡]")
-LANG_NOTE_ZH = (
-    "⚠️ 语言提醒：客户这条消息是中文——你的回复必须全程使用中文，"
-    "一个英文单词都不能出现；模板句跟随客户语言自然表达（系统提醒提供的"
-    "逐字话术优先用其语言版本，无则自然翻译保持意思与礼貌度）；系统提供的"
-    "补全号码逐字照抄，绝不改动数字。"
-)
-LANG_NOTE_ES = (
-    "⚠️ 语言提醒：客户这条消息是西语——你的回复全程用西语，模板句跟随客户"
-    "语言自然表达（系统提醒提供的逐字话术优先用其语言版本，无则自然翻译"
-    "保持意思与礼貌度）；系统提供的补全号码逐字照抄，绝不改动数字。"
-)
+LANG_NOTE_ZH = DEFAULT_WALL.reminders["language_follow"]["zh"]
+LANG_NOTE_ES = DEFAULT_WALL.reminders["language_follow"]["es"]


 def _lang_note_for(msg: str) -> str:
@@ -121,48 +92,28 @@ def _cc_lang_of(msg: str) -> str:
 # 2026-10-08 判定树设计 Task 3: cc 轻补注入分支已删(判定树接管),_CC_NOTE_*
 # 不再运行时注入——常量保留作 no_ip 路径/Task 4 回显模板的正文基准
 # (test_boundary_filter / test_system_prompt_dual_contact 仍锚定其正文)。
-_CC_ASK_EN = (
-    "Could you send the full number with the country code, "
-    "like +966 5x xxx xxxx? Just so our manager can reach you directly.")
-_CC_ASK_ZH = (
-    "麻烦重发一下带国家代码的完整号码呗（比如 +966 5x xxx xxxx）？"
-    "客户经理直接加你。")
+# Task 4 词表数据化: CC/邮箱模板数据源 = DEFAULT_WALL.cc_templates 与
+# .reminders.email_light(seed_profiles/jiancai/wall.json);_CC_WALL_*/_CC_NOTE_*
+# 的静态组合("Got it — " 前缀/外壳+正文)在数据文件里存整句,值逐字等价。
+_CC_ASK_EN = DEFAULT_WALL.cc_templates["ask"]["en"]
+_CC_ASK_ZH = DEFAULT_WALL.cc_templates["ask"]["zh"]
 # P3(2026-10-08 真实验收): 西语轮模板补齐——修复前 ECHO/ASK 只有 EN/ZH,
 # 西语轮 GLM 照抄英文。WALL 沿用 EN 形态(衔接头 + 追问句正文)。
-_CC_ASK_ES = (
-    "¿Puedes enviar el número completo con el código de país, "
-    "como +966 5x xxx xxxx? Así nuestro gerente puede contactarte directamente.")
-_CC_WALL_EN = "Got it — " + _CC_ASK_EN
-_CC_WALL_ZH = _CC_ASK_ZH
-_CC_WALL_ES = "Entendido — " + _CC_ASK_ES
-_CC_NOTE_EN = (
-    "⚠️ 轻补指引（系统指令，绝对不要向客户提及这段说明）：客户留下的号码不含"
-    "国家代码，客户经理无法直接回拨。请逐字使用这句：\"" + _CC_ASK_EN + "\" "
-    "仅此一次，客户不给就不再提。")
-_CC_NOTE_ZH = (
-    "⚠️ 轻补指引（系统指令，绝对不要向客户提及这段说明）：客户留下的号码不含"
-    "国家代码，客户经理无法直接回拨。请逐字使用这句：\"" + _CC_ASK_ZH + "\" "
-    "仅此一次，客户不给就不再提。")
+_CC_ASK_ES = DEFAULT_WALL.cc_templates["ask"]["es"]
+_CC_WALL_EN = DEFAULT_WALL.cc_templates["wall"]["en"]
+_CC_WALL_ZH = DEFAULT_WALL.cc_templates["wall"]["zh"]
+_CC_WALL_ES = DEFAULT_WALL.cc_templates["wall"]["es"]
+_CC_NOTE_EN = DEFAULT_WALL.cc_templates["note"]["en"]
+_CC_NOTE_ZH = DEFAULT_WALL.cc_templates["note"]["zh"]
 # Task 4(spec §4 回显确认轮/§4b): 判定树给出 e164 建议的等待态轮用回显确认
 # 模板——{intl} 由 Python format_intl 算好填入(reminder/墙替换/测试断言三方
 # 同源引用本常量),GLM 只逐字复述不拼号。no_ip 轮(无可回显号)仍走 _CC_ASK_*
 # (上方保留不拆),两条路径按 _cc.whatsapp 的 e164 在场分流。
-_CC_ECHO_EN = (
-    "Got it — just to confirm: our manager will reach you at {intl} — is that right?")
-_CC_ECHO_ZH = (
-    "收到——跟您确认下：客户经理会通过 {intl} 联系您，这个号码对吗？")
-_CC_ECHO_ES = (
-    "Entendido — solo para confirmar: nuestro gerente te contactará "
-    "al {intl} — ¿es correcto?")
-_EMAIL_NOTE_EN = (
-    "⚠️ 轻补指引（系统指令，绝对不要向客户提及这段说明）：客户已留号码但还没"
-    "留邮箱。请逐字使用这句：\"Got it! And an email address would help too — "
-    "our manager will send the formal quotation PDF there.\" "
-    "仅此一次，客户不给就不再提。")
-_EMAIL_NOTE_ZH = (
-    "⚠️ 轻补指引（系统指令，绝对不要向客户提及这段说明）：客户已留号码但还没"
-    "留邮箱。请逐字使用这句：\"收到！邮箱也留一个呗？客户经理把正式报价单 PDF "
-    "发你邮箱。\" 仅此一次，客户不给就不再提。")
+_CC_ECHO_EN = DEFAULT_WALL.cc_templates["echo"]["en"]
+_CC_ECHO_ZH = DEFAULT_WALL.cc_templates["echo"]["zh"]
+_CC_ECHO_ES = DEFAULT_WALL.cc_templates["echo"]["es"]
+_EMAIL_NOTE_EN = DEFAULT_WALL.reminders["email_light"]["en"]
+_EMAIL_NOTE_ZH = DEFAULT_WALL.reminders["email_light"]["zh"]


 def _cc_intl(wa_state: dict | None) -> str:
@@ -196,23 +147,17 @@ def _cc_confirm_note(wa_state: dict | None, lang: str) -> str:
    """cc 等待态确认句注入(Task 4, spec §4/§4b): cc_due 才注入,与邮箱轻补
    cc_settled 串行互斥(两个"逐字使用这句"不同轮竞争)。外壳仿轻补指引:
    ⚠️ 系统指令声明 + 逐字话术 + 客户答复后致谢不追问。回显分支带零号码
-    唯一例外(4b-3 让位语义重建: 仅系统提供的补全号原文可写出)。"""
+    唯一例外(4b-3 让位语义重建: 仅系统提供的补全号原文可写出)。
+    Task 4 词表数据化: 指引话术数据源 = DEFAULT_WALL.reminders.cc_guide
+    ({intl}/{cc_script} 占位由本函数 .format() 回填,值逐字等价)。"""
    if not wa_state or not cc_completion.cc_due(wa_state):
        return ""
    if str(wa_state.get("e164") or ""):
        intl = _cc_intl(wa_state)
-        return (
-            "⚠️ 号码确认指引（系统指令，绝对不要向客户提及这段说明）：客户留下"
-            "的号码不含国家代码，系统已按 IP 推测补全为 " + intl +
-            "。请逐字使用这句：\"" + _cc_script(wa_state, lang) + "\" "
-            "本轮回复绝不写出任何号码数字——唯一例外是上面系统提供的补全号"
-            "原文（逐字照抄，禁止自编或改动数字）。客户答复确认或纠正后，"
-            "致谢即可，不再追问号码。")
-    return (
-        "⚠️ 号码确认指引（系统指令，绝对不要向客户提及这段说明）：客户留下"
-        "的号码不含国家代码，且系统无法按 IP 推测补全。请逐字使用这句：\""
-        + _cc_script(wa_state, lang) + "\" 仅此一次，客户不给就不再提。"
-        "客户答复后致谢即可，不再追问号码。")
+        return DEFAULT_WALL.reminders["cc_guide"]["echo"].format(
+            intl=intl, cc_script=_cc_script(wa_state, lang))
+    return DEFAULT_WALL.reminders["cc_guide"]["ask"].format(
+        cc_script=_cc_script(wa_state, lang))


 def _contact_completion_note(
@@ -1106,20 +1051,20 @@ class ConversationManager:
    def _build_context_reminder(raw_info: dict, latest_msg: str,
                                history: list[dict] | None = None,
                                source: str = "") -> str:
-        """Build a context reminder from extracted profile info."""
+        """Build a context reminder from extracted profile info.
+        Task 4 词表数据化: 六类轮中提醒话术(boundary/contact_ask/
+        language_follow/lead_given/cc_guide/email_light)的数据源 =
+        DEFAULT_WALL.reminders(seed_profiles/jiancai/wall.json);
+        {shown}/{no_contact_web}/{no_contact_already} 占位由本函数
+        .format() 回填,值与数据化前逐字等价。"""
        # 职能边界提醒(评审#7: 前置到早退之前,首条消息画像为空也要生效)
        boundary_note = ""
        if BOUNDARY_TRIGGER_RE.search(latest_msg or ""):
            if BUDGET_TRIGGER_RE.search(latest_msg or ""):
                # 评审#9: 预算求推荐 → 预算路径(推荐+反问+引导),不一刀切要号
-                boundary_note = (
-                    "⚠️ 职能边界提醒：客户报预算求推荐。推荐产品方案但绝不复述预算数字、"
-                    "不报价格 → 反问意向产品与需求规格 → 顺势引导留联系方式。")
+                boundary_note = DEFAULT_WALL.reminders["boundary"]["budget"]
            else:
-                boundary_note = (
-                    "⚠️ 职能边界提醒：客户正在询问价格/优惠/交付时效/实质安排。绝对禁止"
-                    "给出任何价格数字（包括复述客户自己的预算）、交付时间或任何承诺，"
-                    "按职能边界对应话术处理。")
+                boundary_note = DEFAULT_WALL.reminders["boundary"]["normal"]

        # 联系方式状态前移(供 boundary/contact 提醒共用判定)
        contacts_all = normalize_contacts(raw_info.get("联系方式"))
@@ -1137,24 +1082,12 @@ class ConversationManager:
                    # 与"禁止再索要"提醒不再打架
                    # Task 3 收尾: 第三处禁令同步改写(禁令集完整)——与前两处
                    # 同语义,只禁已提供过的渠道,缺失渠道放行轻补一次
-                    contact_note = (
-                        "⚠️ 客户正在索要我方联系方式，且客户已留过自己的联系方式。"
-                        "请逐字使用这句：\"Our manager will reach out to you at your "
-                        "WhatsApp shortly with the full quote!\"（中文同理）。"
-                        "绝对禁止输出任何号码或邮箱，也绝对禁止再索要客户已提供过"
-                        "的联系方式（缺失渠道可按轻补指引提一次；号码缺国家代码时"
-                        "按系统提醒回显补全后的完整号码请客户确认——仅系统提供的"
-                        "号码，禁止自编）。")
+                    contact_note = DEFAULT_WALL.reminders["contact_ask"]["app_already"]
                else:
-                    contact_note = ("⚠️ 客户正在索要我方联系方式（最高意向信号）。当前为 App 会话，"
-                                    "没有页面按钮——禁止使用任何 tap/button 按钮话术！请逐字使用这句："
-                                    "\"Drop your WhatsApp and our manager will reach out to you directly "
-                                    "with the full quote!\"（中文同理引导客户留联系方式）。"
-                                    "绝对禁止输出任何号码或邮箱。")
+                    contact_note = DEFAULT_WALL.reminders["contact_ask"]["app"]
            else:
-                contact_note = ("⚠️ 客户正在索要我方联系方式（最高意向信号）。请逐字使用这句指路："
-                                f"\"{NO_CONTACT_WEB}\"（邮箱同理指 Email 按钮）。"
-                                "绝对禁止口头报出任何号码或邮箱。")
+                contact_note = DEFAULT_WALL.reminders["contact_ask"]["web"].format(
+                    no_contact_web=NO_CONTACT_WEB)

        # 语言跟随提醒(Task 11): 与 boundary/contact 提醒同挂载位——
        # 首条消息画像为空也要生效(中文客户开场即漂英文是实测重灾区)
@@ -1198,25 +1131,19 @@ class ConversationManager:
            # 与零号码墙替换句同源,三处"经理主动联系"话术不漂移
            # Task 3 防自锁改写(spec 4.1-6): 原"绝对禁止再索要任何联系方式！"
            # 会抑制缺失渠道轻补——只禁已提供过的渠道,缺失渠道放行一次
-            parts.append(f"⚠️ 客户已提供联系方式（{shown}）。绝对禁止再索要客户已提供过"
-                         f"的联系方式；缺失渠道仅可按轻补指引提一次；号码缺国家代码时"
-                         f"按系统提醒回显补全后的完整号码请客户确认（仅系统提供的"
-                         f"号码，禁止自编）。")
-            parts.append(f"需要回应时可直接逐字使用：\"{NO_CONTACT_ALREADY}\"（中文同理）。"
-                         f"确认收到后继续解答客户问题即可，不必急着结束对话。")
+            parts.append(DEFAULT_WALL.reminders["lead_given"]["forbidden"].format(
+                shown=shown))
+            parts.append(DEFAULT_WALL.reminders["lead_given"]["respond_script"].format(
+                no_contact_already=NO_CONTACT_ALREADY))
            if boundary_note:
                parts.append(boundary_note)
                # Task 3 防自锁改写: 尾部补缺失渠道豁免(与上方改写同因)
-                parts.append("客户已留过联系方式——边界请求直接告知'客户经理会把准确报价/"
-                             "安排发到你 WhatsApp'即可，禁止再索要联系方式"
-                             "（缺失渠道可按轻补指引提一次；号码缺国家代码时按系统"
-                             "提醒回显补全后的完整号码请客户确认——仅系统提供的号码，"
-                             "禁止自编）。")
+                parts.append(DEFAULT_WALL.reminders["lead_given"]["boundary_tail"])
        elif suspect:
            shown = ", ".join(
                f"{k}: {' '.join(str(v).split())[:60]}" for k, v in suspect.items())
-            parts.append(f"⚠️ 客户疑似已提供联系方式（{shown}）。禁止重新索要；"
-                         f"可礼貌地请客户确认一次。")
+            parts.append(DEFAULT_WALL.reminders["lead_given"]["suspect"].format(
+                shown=shown))
            if boundary_note:
                parts.append(boundary_note)