高风险场景的 AI 引入策略

医疗、金融、法律、客服——这些场景的共同点是：一旦 AI 出错，代价不是"用户体验差"，而是真实的人身、财产或法律损失。但这不代表 AI 不能进入这些场景，而是进入的方式必须完全不同。

高风险场景的 AI 引入路径

三种人机协作模式

AI 辅助型（Human-in-the-Loop）：AI 生成建议，人类做最终决策。适用于极高风险场景，AI 的价值是提升信息质量和决策速度，不承担判断责任。

AI 主导 + 人工抽检型：AI 自动处理，人工按比例抽检审核。适用于高风险但高频的场景（如贷款反欺诈）。抽检比例随模型可信度动态调整。

AI 自动 + 异常触发型：AI 完全自动，但预设触发条件，超出阈值时自动升级到人工。适用于中风险场景，实现效率与安全的平衡。

渐进式上线计划模型

from dataclasses import dataclass, field
from typing import List, Optional, Callable
from enum import Enum
class RiskLevel(Enum):
EXTREME = "极高风险"   # 手术/刑事/核安全
HIGH    = "高风险"     # 医疗辅助/贷款审批
MEDIUM  = "中风险"     # 投诉处理/合规检查
LOW     = "低风险"     # 推荐/搜索/内容生成
class HumanLoopMode(Enum):
FULL_HUMAN    = "人类完全决策（AI 仅供参考）"
MANDATORY_REVIEW = "AI 推荐 + 强制人工复审"
SAMPLING_CHECK   = "AI 决策 + 人工比例抽检"
EXCEPTION_ONLY   = "AI 自动 + 异常触发人工"
FULL_AUTO        = "AI 完全自动"
@dataclass
class RolloutPhase:
phase_name: str
coverage_pct: float       # 流量覆盖百分比
human_loop_mode: HumanLoopMode
human_review_rate: float  # 人工介入比例 0.0-1.0
error_threshold: float    # 触发熔断的错误率上限
duration_days: int        # 预期持续天数
go_criteria: str          # 进入下一阶段的准入条件
fallback_plan: str        # 熔断时的回退方案
def describe(self):
print(f"\n  📌 阶段：{self.phase_name}")
print(f"     流量覆盖：{self.coverage_pct:.0f}%")
print(f"     人机协作模式：{self.human_loop_mode.value}")
print(f"     人工介入率：{self.human_review_rate*100:.0f}%")
print(f"     熔断阈值：错误率 > {self.error_threshold*100:.1f}%")
print(f"     预期时长：{self.duration_days} 天")
print(f"     进入下阶段条件：{self.go_criteria}")
print(f"     回退方案：{self.fallback_plan}")
@dataclass
class CircuitBreaker:
"""熔断机制"""
error_rate_threshold: float
consecutive_errors_threshold: int
cooldown_days: int
def check(self, current_error_rate: float, consecutive_errors: int) -> bool:
"""返回 True 表示需要触发熔断"""
return (current_error_rate > self.error_rate_threshold or
consecutive_errors >= self.consecutive_errors_threshold)
def describe(self):
print(f"\n  【熔断机制配置】")
print(f"  错误率超过 {self.error_rate_threshold*100:.1f}% 或")
print(f"  连续错误 ≥ {self.consecutive_errors_threshold} 次 → 触发熔断")
print(f"  熔断后冷静期：{self.cooldown_days} 天")
@dataclass
class HighRiskRolloutPlan:
scenario_name: str
risk_level: RiskLevel
domain: str
phases: List[RolloutPhase] = field(default_factory=list)
circuit_breaker: Optional[CircuitBreaker] = None
compliance_notes: List[str] = field(default_factory=list)
def add_phase(self, phase: RolloutPhase):
self.phases.append(phase)
def set_circuit_breaker(self, cb: CircuitBreaker):
self.circuit_breaker = cb
def simulate_rollout(self,
observed_errors: List[float],
observed_consecutive: List[int]):
"""模拟每个阶段是否触发熔断"""
print(f"\n  【上线过程模拟】")
cb = self.circuit_breaker
for i, phase in enumerate(self.phases):
err = observed_errors[i] if i < len(observed_errors) else 0.0
consec = observed_consecutive[i] if i < len(observed_consecutive) else 0
triggered = cb.check(err, consec) if cb else False
status = "🚨 触发熔断，执行回退" if triggered else "✅ 正常推进"
print(f"  {phase.phase_name}：错误率 {err*100:.1f}% → {status}")
if triggered:
print(f"    回退方案：{phase.fallback_plan}")
break
def report(self):
print(f"\n{'='*64}")
print(f"  高风险场景 AI 引入计划")
print(f"  场景：{self.scenario_name}")
print(f"  领域：{self.domain}")
print(f"  风险等级：{self.risk_level.value}")
print(f"{'='*64}")
print(f"\n  共 {len(self.phases)} 个上线阶段：")
for phase in self.phases:
phase.describe()
if self.circuit_breaker:
self.circuit_breaker.describe()
if self.compliance_notes:
print(f"\n  【合规要求】")
for note in self.compliance_notes:
print(f"  ⚖️  {note}")
print(f"{'='*64}\n")
# ── Demo ──────────────────────────────────────────────────────
plan = HighRiskRolloutPlan(
scenario_name="AI 辅助贷款信用评分",
risk_level=RiskLevel.HIGH,
domain="消费金融"
)
plan.add_phase(RolloutPhase(
phase_name="内测阶段（第 1-2 周）",
coverage_pct=1,
human_loop_mode=HumanLoopMode.MANDATORY_REVIEW,
human_review_rate=1.0,
error_threshold=0.05,
duration_days=14,
go_criteria="AI 建议与人工决策一致率 ≥ 85%，无重大偏差案例",
fallback_plan="全量回退到纯人工审批"
))
plan.add_phase(RolloutPhase(
phase_name="小流量验证（第 3-6 周）",
coverage_pct=10,
human_loop_mode=HumanLoopMode.SAMPLING_CHECK,
human_review_rate=0.3,
error_threshold=0.03,
duration_days=28,
go_criteria="错误率持续 2 周低于 2%，抽检无系统性偏差",
fallback_plan="降回 1% 流量并恢复全量人工复审"
))
plan.add_phase(RolloutPhase(
phase_name="扩量阶段（第 7-12 周）",
coverage_pct=50,
human_loop_mode=HumanLoopMode.EXCEPTION_ONLY,
human_review_rate=0.05,
error_threshold=0.02,
duration_days=42,
go_criteria="错误率稳定低于 1.5%，用户投诉率无明显上升",
fallback_plan="回退至小流量验证阶段配置"
))
plan.set_circuit_breaker(CircuitBreaker(
error_rate_threshold=0.03,
consecutive_errors_threshold=5,
cooldown_days=7
))
plan.compliance_notes = [
"每笔 AI 决策需留存决策依据日志，保存不少于 5 年（金融监管要求）",
"因 AI 拒贷的用户必须能获取人工复议渠道",
"模型不得使用种族、性别、地域作为评分特征（公平性合规）",
]
plan.report()
# 模拟上线过程
plan.simulate_rollout(
observed_errors=[0.02, 0.025, 0.035],     # 第三阶段错误率超阈值
observed_consecutive=[0, 1, 6]
)

三种人机协作模式对比

本章 checklist

• 是否对目标场景完成了风险等级定义，而不是笼统说"这个场景有风险"
• 是否根据风险等级选择了对应的人机协作模式，而不是默认全自动
• 上线计划中是否包含了渐进式扩量的多个阶段，每阶段有明确的准入条件
• 是否设置了熔断机制和具体的回退方案，而不是"出问题再说"
• 合规要求（数据留存、申诉机制、公平性）是否在上线前就设计进产品，而不是后补

本章小结

• 高风险场景的 AI 引入核心原则是"最小权限原则"：先给 AI 最低的决策权，随着可信度提升再逐步扩大，而不是默认全量自动。
• 人机协作模式应根据风险等级选择：极高风险用"人类完全决策"，高风险用"强制复审"，依此类推——错误配对会同时损失效率和安全。
• 熔断机制不是可选项，是高风险场景的标配——没有回退方案的 AI 上线，是在赌运气而不是做产品。

本章完：下一章进入 06-AI产品核心结构，从场景判断进入产品结构设计层——AI 产品的输入、处理、输出和反馈闭环应该怎么设计。