LLM 生产趋势

LLM 生产工程正在快速演进。本章梳理关键趋势，帮助团队提前布局。

趋势全景

推理优化趋势

推测解码

"""
推测解码概念示意
"""
from dataclasses import dataclass
@dataclass
class SpeculativeDecodingConfig:
"""推测解码配置"""
draft_model: str          # 小模型（7B）
target_model: str         # 大模型（70B）
num_speculative_tokens: int = 5    # 每次投机生成的 token 数
acceptance_threshold: float = 0.8  # 接受阈值
def speculative_decode_step(draft_model, target_model, context: str, k: int = 5):
"""
推测解码一步：
1. 小模型生成 k 个候选 token
2. 大模型并行验证
3. 接受前缀中匹配的 token，拒绝后从大模型重采样
加速比：2-3x（取决于 draft 模型与 target 的一致率）
"""
# Step 1: Draft 模型快速生成 k 个 token
draft_tokens = []
for _ in range(k):
token = "draft_token"  # draft_model.generate(context, max_new_tokens=1)
draft_tokens.append(token)
# Step 2: Target 模型并行验证（一次 forward pass）
# 大模型一次性评估所有候选 token 的概率
accepted = []
for token in draft_tokens:
# 如果大模型同意小模型的预测，接受
accepted.append(token)
# 一旦大模型拒绝某个 token，停止接受
return accepted

技术对比

小模型复兴

Serverless LLM

"""
Serverless LLM 抽象层
"""
from dataclasses import dataclass
from enum import Enum
class ScalingMode(Enum):
SCALE_TO_ZERO = "scale_to_zero"     # 完全无请求时缩到 0
MIN_INSTANCES = "min_instances"      # 保留最少实例
AUTO_SCALE = "auto_scale"           # 根据队列深度自动扩缩
@dataclass
class ServerlessConfig:
"""Serverless 配置"""
model: str
scaling_mode: ScalingMode = ScalingMode.AUTO_SCALE
min_replicas: int = 0
max_replicas: int = 10
target_queue_depth: int = 5        # 每实例目标队列深度
cold_start_timeout_s: float = 30.0  # 冷启动超时
class ServerlessLLM:
"""Serverless LLM 服务"""
# 冷启动时间参考
COLD_START_ESTIMATES = {
"7b": 15,     # 秒
"13b": 25,
"70b": 60,
}
def __init__(self, config: ServerlessConfig):
self.config = config
self._instances = 0
def estimate_cold_start(self) -> float:
"""预估冷启动时间"""
for size_key, seconds in self.COLD_START_ESTIMATES.items():
if size_key in self.config.model.lower():
return seconds
return 30.0  # 默认
def calculate_replicas(self, queue_depth: int) -> int:
"""计算需要的实例数"""
if queue_depth == 0 and self.config.scaling_mode == ScalingMode.SCALE_TO_ZERO:
return 0
needed = max(1, queue_depth // self.config.target_queue_depth)
return min(
max(needed, self.config.min_replicas),
self.config.max_replicas,
)

LLMOps 工具链成熟度

未来展望

本章小结

延伸阅读：LLM 评估与测试指南 · AI Agent 实战指南