AI 产品监控仪表盘设计

监控不是放一堆图表。好的监控仪表盘要回答一个问题：现在产品状态正常吗？如果不正常，问题出在哪一层？

四层监控体系

监控仪表盘设计系统

"""
AI 产品监控仪表盘设计系统
含指标定义、告警阈值和异常诊断路径
"""
from dataclasses import dataclass, field
from enum import Enum
class MetricLayer(Enum):
USER_OUTCOME = "用户结果层"
AI_QUALITY = "AI 质量层"
SYSTEM_STABILITY = "系统稳定层"
BUSINESS_ROI = "经营效益层"
class AlertLevel(Enum):
GREEN = "正常"
YELLOW = "关注"
RED = "告警"
@dataclass
class MonitorMetric:
"""监控指标定义"""
name: str
layer: MetricLayer
description: str
formula: str            # 计算公式
target: str             # 目标值
yellow_threshold: str   # 关注阈值
red_threshold: str      # 告警阈值
review_frequency: str
diagnosis_path: str     # 出问题时怎么排查
@dataclass
class AlertConfig:
"""告警配置"""
metric_name: str
current_value: float
target_value: float
yellow_pct: float = 0.9   # 低于目标90%触发关注
red_pct: float = 0.75     # 低于目标75%触发告警
def level(self) -> AlertLevel:
if self.current_value >= self.target_value * self.yellow_pct:
return AlertLevel.GREEN
elif self.current_value >= self.target_value * self.red_pct:
return AlertLevel.YELLOW
return AlertLevel.RED
def status_line(self) -> str:
lvl = self.level()
icon = {"正常": "✅", "关注": "⚠️", "告警": "🔴"}[lvl.value]
gap = self.current_value - self.target_value
gap_str = f"+{gap:.1f}" if gap >= 0 else f"{gap:.1f}"
return (
f"{icon} [{lvl.value}] {self.metric_name}: "
f"当前 {self.current_value:.1f}  目标 {self.target_value:.1f}  差值 {gap_str}"
)
class AIDashboardDesign:
"""AI 产品监控仪表盘设计"""
CORE_METRICS: list[MonitorMetric] = [
MonitorMetric(
"任务完成率", MetricLayer.USER_OUTCOME,
"用户发起的对话中，AI 成功完成用户任务的比例",
"成功完成对话数 / 总对话数",
"≥ 80%",
"70–80%（观察原因）",
"< 70%（立即排查）",
"每日",
"先看转人工率是否同步上升 → 再看 AI 质量层拒答率 → 再看知识库覆盖率",
),
MonitorMetric(
"转人工率", MetricLayer.USER_OUTCOME,
"触发人工接管的对话占总对话的比例",
"触发人工接管对话数 / 总对话数",
"< 15%（过高说明 AI 能力不足或置信度设置过低）",
"15–25%",
"> 25%",
"每日",
"检查转人工触发原因分布 → 是否有大量「置信度低」触发 → 调整置信度阈值或扩充知识库",
),
MonitorMetric(
"正确回答率", MetricLayer.AI_QUALITY,
"AI 给出的回答中，内容准确、无幻觉的比例（需采样评估）",
"人工抽检正确数 / 抽检总数（每周100条）",
"≥ 85%",
"75–85%",
"< 75%",
"每周采样评估",
"对错误回答按错误类型分类 → 知识缺失/检索失败/生成偏差，针对性修复",
),
MonitorMetric(
"平均响应延迟", MetricLayer.SYSTEM_STABILITY,
"从用户发送消息到 AI 完整返回的时间",
"P95 响应时间（毫秒）",
"< 3000ms",
"3000–5000ms",
"> 5000ms",
"实时监控",
"检查模型调用延迟 vs 检索延迟 vs 网络延迟 → 定位瓶颈层",
),
MonitorMetric(
"单次对话成本", MetricLayer.BUSINESS_ROI,
"平均每次 AI 对话消耗的 API 成本",
"月度 API 费用 / 月度总对话数",
"< ¥0.5 / 次",
"¥0.5–1.0 / 次",
"> ¥1.0 / 次",
"每周",
"检查 token 用量是否异常 → 是否有超长对话 → 是否可以优化 Prompt 减少 token",
),
MonitorMetric(
"系统成功率", MetricLayer.SYSTEM_STABILITY,
"AI 系统调用成功（无超时、无报错）的比例",
"(总调用 - 失败调用) / 总调用",
"≥ 99.5%",
"98–99.5%",
"< 98%",
"实时监控",
"检查模型服务状态 → 网络稳定性 → 降级策略是否触发",
),
]
@classmethod
def print_metrics(cls):
print("=== AI 产品核心监控指标 ===\n")
for layer in MetricLayer:
layer_metrics = [m for m in cls.CORE_METRICS if m.layer == layer]
print(f"【{layer.value}】")
for m in layer_metrics:
print(f"  {m.name}  目标: {m.target}  频率: {m.review_frequency}")
print(f"    公式: {m.formula}")
print(f"    告警(⚠️): {m.yellow_threshold}")
print(f"    告警(🔴): {m.red_threshold}")
print(f"    排查路径: {m.diagnosis_path}\n")
@classmethod
def simulate_dashboard(cls, values: list[float]) -> None:
"""模拟一次看板快照"""
targets = [80, 15, 85, 3000, 0.5, 99.5]
# 任务完成率和正确回答率越高越好，转人工率越低越好
higher_is_better = [True, False, True, False, False, True]
print("=== 仪表盘快照（当前状态）===\n")
for i, metric in enumerate(cls.CORE_METRICS):
val = values[i]
target = targets[i]
if not higher_is_better[i]:
# 对于越低越好的指标，反转逻辑
cfg = AlertConfig(metric.name, target * 2 - val, target)
else:
cfg = AlertConfig(metric.name, val, target)
print(f"  {cfg.status_line()}")
# 演示
AIDashboardDesign.print_metrics()
# 模拟一个上线一周后的看板状态
print("\n" + "=" * 50)
simulated_values = [
76.5,   # 任务完成率 76.5%（关注）
12.3,   # 转人工率 12.3%（正常）
82.0,   # 正确回答率 82%（关注）
2800,   # 平均延迟 2800ms（正常）
0.38,   # 单次成本 ¥0.38（正常）
99.7,   # 系统成功率 99.7%（正常）
]
AIDashboardDesign.simulate_dashboard(simulated_values)

指标层次与诊断路径

本章 checklist

• 我是否为 AI 产品定义了至少覆盖「质量」和「结果」两层的监控指标
• 我是否为每个关键指标设定了告警阈值，而不是靠人工定期检查
• 我是否定义了指标异常时的诊断路径，而不是只知道「有问题」
• 我是否安排了每周至少一次的人工采样评估，而不只靠自动化指标
• 我是否避免了「只看使用量」的误区，把结果指标放在核心位置

本章小结

• 好的监控仪表盘要能回答「哪一层出了问题」，而不只是「有没有问题」
• AI 产品需要四层指标：用户结果、AI 质量、系统稳定、经营效益
• 告警阈值和诊断路径必须提前定义，出问题时才能快速响应

下一节：03-迭代闭环与AB测试框架 — 如何用数据驱动 AI 产品的持续迭代，以及 AI 产品 A/B 测试的关键注意事项。