结果验证框架与复盘机制

上线不是终点，是一个新的观察起点。没有系统性验证的上线，只是花了钱做了个实验，然后不知道学到了什么。

两阶段验证节奏：第 2 周与第 4 周

第 2 周验证的核心任务

第 2 周不是做结论，是做早期信号扫描。这个阶段要回答：系统是否稳定运行？用户是否在使用？有没有出现意外的负面信号？

重点看护栏指标是否触发、用户行为是否与预期一致、客服/运营有没有反馈异常。如果这个阶段发现问题，还有时间干预，成本最低。

第 4 周复盘的三段结构

目标 vs 实际：逐指标对比，不要只看"整体趋势好"，要具体到每一个指标的达成情况。

问题拆解：对未达标的指标，要区分是"产品问题"还是"数据/模型问题"还是"推广/触达问题"。三类问题的解法完全不同，混在一起只会越讨论越乱。

下一版方向：复盘的输出必须是可执行的决策，而不是"继续优化"。要明确下一版要改什么、验证什么、放弃什么。

复盘报告生成器

from dataclasses import dataclass, field
from typing import List, Dict, Optional
from enum import Enum
class IssueType(Enum):
PRODUCT   = "产品设计问题"
MODEL     = "模型/数据问题"
REACH     = "推广/触达问题"
EXTERNAL  = "外部因素"
UNKNOWN   = "待定位"
class VerificationStage(Enum):
WEEK2 = "第 2 周早期验证"
WEEK4 = "第 4 周结果复盘"
@dataclass
class MetricResult:
name: str
target: float
actual: float
unit: str = "%"
def achievement_rate(self) -> float:
if self.target == 0:
return 0.0
return self.actual / self.target * 100
def is_achieved(self) -> bool:
return self.achievement_rate() >= 90  # 90% 以上视为达成
def label(self) -> str:
rate = self.achievement_rate()
if rate >= 100:
return "✅ 超额达成"
elif rate >= 90:
return "✅ 基本达成"
elif rate >= 60:
return "⚠️  部分达成"
else:
return "🚨 未达成"
@dataclass
class Issue:
description: str
issue_type: IssueType
severity: str        # "高" / "中" / "低"
next_action: str
@dataclass
class RetrospectiveReport:
product_name: str
version: str
stage: VerificationStage
launch_date: str
report_date: str
metric_results: List[MetricResult] = field(default_factory=list)
issues: List[Issue] = field(default_factory=list)
next_version_decisions: List[str] = field(default_factory=list)
positive_findings: List[str] = field(default_factory=list)
def add_metric(self, m: MetricResult):
self.metric_results.append(m)
def add_issue(self, i: Issue):
self.issues.append(i)
def add_decision(self, d: str):
self.next_version_decisions.append(d)
def _metrics_summary(self):
achieved = sum(1 for m in self.metric_results if m.is_achieved())
total = len(self.metric_results)
print(f"\n  【目标 vs 实际】（达成率 {achieved}/{total}）")
for m in self.metric_results:
print(f"    {m.label()} {m.name}：目标 {m.target}{m.unit}，"
f"实际 {m.actual}{m.unit} "
f"（达成率 {m.achievement_rate():.1f}%）")
def _issues_summary(self):
if not self.issues:
print("\n  【问题拆解】暂无记录问题。")
return
print(f"\n  【问题拆解】（共 {len(self.issues)} 项）")
for i, issue in enumerate(self.issues, 1):
print(f"    {i}. [{issue.issue_type.value}][严重度:{issue.severity}]")
print(f"       问题：{issue.description}")
print(f"       行动：{issue.next_action}")
def _decisions_summary(self):
if not self.next_version_decisions:
print("\n  【下一版方向】待定")
return
print(f"\n  【下一版方向】")
for d in self.next_version_decisions:
print(f"    • {d}")
def render(self):
print(f"\n{'='*64}")
print(f"  复盘报告 | {self.product_name} {self.version}")
print(f"  阶段：{self.stage.value}")
print(f"  上线日期：{self.launch_date}  |  复盘日期：{self.report_date}")
print(f"{'='*64}")
if self.positive_findings:
print(f"\n  【正向发现】")
for p in self.positive_findings:
print(f"    + {p}")
self._metrics_summary()
self._issues_summary()
self._decisions_summary()
print(f"\n{'='*64}\n")
# ── Demo ──────────────────────────────────────────────────────
report = RetrospectiveReport(
product_name="AI 简历筛选助手",
version="v1.0",
stage=VerificationStage.WEEK4,
launch_date="2024-02-01",
report_date="2024-03-01",
)
report.positive_findings = [
"HR 日均处理简历量从 80 份提升至 210 份，效率提升显著",
"系统稳定性良好，上线 4 周零故障",
]
report.add_metric(MetricResult("HR 使用率",        70.0,  58.0))
report.add_metric(MetricResult("简历初筛准确率",   85.0,  81.0))
report.add_metric(MetricResult("平均筛选耗时",     3.0,   4.2,  "分钟"))
report.add_metric(MetricResult("HR 满意度评分",    4.2,   3.7,  "分"))
report.add_metric(MetricResult("投诉率",           1.0,   0.6))
report.add_issue(Issue(
description="部分 HR 表示不理解 AI 给出的筛选理由，不敢相信结果",
issue_type=IssueType.PRODUCT,
severity="高",
next_action="下一版在结果页增加可解释性说明，展示 top3 匹配依据"
))
report.add_issue(Issue(
description="应届生简历匹配率偏低，算法对无工作经验候选人识别不足",
issue_type=IssueType.MODEL,
severity="中",
next_action="补充应届生样本数据，下一版模型专项优化"
))
report.add_decision("优先解决可解释性问题，下一版核心目标：HR 使用率提升至 75%")
report.add_decision("应届生简历场景单独建模，Q2 完成数据补充")
report.add_decision("放弃自动发送拒信功能，保留人工确认环节（用户信任不足）")
report.render()

两阶段验证对比

本章 checklist

• 上线计划中是否已预定第 2 周和第 4 周的验证节点，而不是"等数据稳定了再看"
• 第 2 周验证是否聚焦在早期信号和护栏指标，而不是急着下结论
• 第 4 周复盘是否区分了三类问题来源：产品设计、模型数据、推广触达
• 复盘结论是否落到了具体可执行的下一版决策，而不是停留在"继续优化"
• 是否有记录正向发现，而不是只复盘问题——成功模式同样需要被沉淀

本章小结

• 上线后的验证应分两阶段：第 2 周做早期信号扫描，第 4 周做完整结果复盘，节奏不对会导致问题发现过晚或结论失真。
• 复盘的核心结构是三段式：目标 vs 实际、问题拆解（区分问题来源）、下一版方向，缺少任何一段都会让复盘失去价值。
• 复盘的输出必须是可执行的决策，"继续优化"不是结论，指定具体改什么、验证什么、放弃什么才是。

本章完：下一章进入 03-发现真实问题，从结果回溯到源头——如何在需求阶段就发现真实问题，而不是被表面需求带跑。