视觉 Agent 与高级应用

让 AI 不只是"看"，还能"做"——视觉 Agent 用眼睛理解世界，用工具执行任务。

视觉 Agent 架构

Computer Use Agent

"""
Computer Use Agent: 用视觉模型操作电脑
Claude Computer Use / GPT-4o 驱动
"""
from dataclasses import dataclass
@dataclass
class ComputerUseAgent:
"""电脑操作 Agent"""
# Claude Computer Use 示例
CLAUDE_EXAMPLE = """
import anthropic
client = anthropic.Anthropic()
# Claude 3.5 Sonnet Computer Use
response = client.beta.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=4096,
tools=[
{
"type": "computer_20241022",
"name": "computer",
"display_width_px": 1920,
"display_height_px": 1080,
"display_number": 0,
},
{
"type": "bash_20241022",
"name": "bash",
},
{
"type": "text_editor_20241022",
"name": "str_replace_editor",
}
],
messages=[{
"role": "user",
"content": "打开浏览器，搜索今天的天气"
}],
betas=["computer-use-2024-10-22"],
)
# 响应包含：截图分析 + 操作指令
for block in response.content:
if block.type == "tool_use":
print(f"操作: {block.name}")
print(f"参数: {block.input}")
"""
# 关键能力
CAPABILITIES = {
"屏幕理解": "识别 UI 元素、按钮、输入框、菜单",
"坐标定位": "精确到像素的点击坐标",
"操作规划": "多步骤任务分解与执行",
"状态追踪": "截图验证操作结果",
"错误恢复": "操作失败时自动重试或换路径",
}
# 方案对比
SOLUTIONS = {
"Claude Computer Use": {
"模型": "Claude 3.5/4 Sonnet",
"能力": "截图 → 理解 → 操作",
"精度": "⭐⭐⭐⭐",
"特点": "原生工具支持、API 直接调用",
},
"GPT-4o + 自定义": {
"模型": "GPT-4o",
"能力": "screenshot → analyze → pyautogui",
"精度": "⭐⭐⭐",
"特点": "需自定义操作层",
},
"Open Interpreter": {
"模型": "多模型",
"能力": "自然语言 → 代码执行",
"精度": "⭐⭐⭐",
"特点": "开源、社区活跃",
},
}
agent = ComputerUseAgent()
print("=== Computer Use Agent ===")
print("\n关键能力:")
for cap, desc in agent.CAPABILITIES.items():
print(f"  {cap}: {desc}")
print("\n方案对比:")
for name, info in agent.SOLUTIONS.items():
print(f"\n  {name} ({info['模型']}):")
print(f"    精度: {info['精度']}")
print(f"    特点: {info['特点']}")

多模态对话系统

"""
多模态对话系统：支持文本 + 图片 + 文件的交互
"""
class MultimodalChatSystem:
"""多模态对话系统"""
def __init__(self):
self.history: list[dict] = []
def process_message(self, text: str = None,
images: list[str] = None,
files: list[str] = None) -> dict:
"""处理多模态消息"""
# 构建消息内容
content = []
if text:
content.append({"type": "text", "text": text})
if images:
for img in images:
content.append({
"type": "image_url",
"image_url": {"url": img, "detail": "auto"},
})
if files:
for f in files:
content.append({
"type": "file",
"source": {"type": "file", "path": f},
})
message = {"role": "user", "content": content}
self.history.append(message)
return {
"content_types": {
"text": bool(text),
"images": len(images or []),
"files": len(files or []),
},
"history_length": len(self.history),
"model_selection": self._select_model(images, files),
}
def _select_model(self, images, files) -> str:
"""根据输入选择模型"""
if files:
return "claude-sonnet-4-20250514"  # 原生 PDF
if images:
return "gpt-4o"  # 视觉能力强
return "gpt-4o-mini"  # 纯文本用小模型
def design_patterns(self) -> dict:
"""多模态对话设计要点"""
return {
"输入预处理": [
"图片压缩到合理分辨率 (1568px max)",
"PDF 按页拆分，超长文档分批",
"音频先转文本再交互",
],
"上下文管理": [
"图片 token 成本高，历史消息只保留文本",
"首次图片分析后缓存结果",
"使用摘要压缩长对话",
],
"UX 设计": [
"支持拖拽上传 + 粘贴图片",
"实时显示处理进度",
"区分'看图回答'和'图片+文字理解'",
],
}
# 演示
chat = MultimodalChatSystem()
result = chat.process_message(
text="这张图里有什么问题？",
images=["https://example.com/screenshot.png"],
)
print(f"模型选择: {result['model_selection']}")
print(f"内容类型: {result['content_types']}")
print("\n=== 设计要点 ===")
for area, points in chat.design_patterns().items():
print(f"\n{area}:")
for p in points:
print(f"  - {p}")

行业应用方案

"""
多模态 AI 行业应用
"""
class IndustryApplications:
"""行业应用方案"""
APPLICATIONS = {
"电商": {
"场景": [
"以图搜物：拍照找同款商品",
"智能客服：发图片描述问题",
"商品理解：自动生成标题和描述",
"质检：自动检测商品图片质量",
],
"技术栈": "CLIP + GPT-4o + 商品知识库",
"代码思路": """
# 以图搜物
user_image → CLIP encode → 向量检索 → Top-K 商品
→ GPT-4o 对比分析 → 推荐结果
""",
},
"医疗": {
"场景": [
"医学影像辅助：X 光/CT 初筛",
"病历文档理解：扫描件结构化",
"检查报告解读：指标异常提醒",
"远程问诊：图片+文字描述",
],
"技术栈": "专用医学模型 + Claude PDF",
"注意": "⚠️ 医疗 AI 需要严格的合规审批",
},
"制造": {
"场景": [
"产品质检：缺陷检测与分类",
"设备巡检：仪表读数识别",
"安全监控：异常行为检测",
"文档处理：工单/图纸解析",
],
"技术栈": "YOLOv8 + VLM + 边缘部署",
"代码思路": """
# 产品质检
产线摄像头 → 抓帧 → YOLOv8 检测缺陷区域
→ VLM 分析缺陷类型 → 告警 + 统计
""",
},
"教育": {
"场景": [
"作业批改：手写识别 + 评分",
"智能题解：拍照搜题 + 步骤解析",
"课件理解：PPT/PDF 内容提取",
"无障碍：图片/视频内容描述",
],
"技术栈": "OCR + GPT-4o + 知识图谱",
},
"金融": {
"场景": [
"证件识别：身份证/营业执照 OCR",
"合同审查：条款提取与风险分析",
"财报解析：图表数据提取",
"反欺诈：证件照伪造检测",
],
"技术栈": "Claude PDF + 结构化输出",
},
}
@classmethod
def get_solution(cls, industry: str) -> dict:
return cls.APPLICATIONS.get(industry, {"error": "未收录该行业"})
# 展示
print("=== 多模态 AI 行业应用 ===")
for industry, info in IndustryApplications.APPLICATIONS.items():
print(f"\n📌 {industry}:")
for s in info["场景"]:
print(f"   {s}")
if "技术栈" in info:
print(f"   技术栈: {info['技术栈']}")

无障碍与包容性

"""
多模态 AI 在无障碍领域的应用
"""
class AccessibilityAI:
"""无障碍 AI 解决方案"""
SOLUTIONS = {
"图片描述": {
"场景": "视觉障碍用户理解图片内容",
"实现": "VLM 自动生成 alt text",
"prompt": (
"为视觉障碍用户描述这张图片，"
"重点说明：1) 主要内容 2) 文字信息 "
"3) 情感氛围 4) 实用信息"
),
},
"视频字幕": {
"场景": "听力障碍用户观看视频",
"实现": "Whisper 转录 + 说话人分离",
},
"文档朗读": {
"场景": "视觉障碍用户阅读 PDF",
"实现": "OCR → 结构理解 → TTS",
},
"手语翻译": {
"场景": "手语与文字/语音互译",
"实现": "视频理解 + 手语数据集",
"状态": "研究中，尚未成熟",
},
}
print("=== 无障碍应用 ===")
for name, info in AccessibilityAI.SOLUTIONS.items():
print(f"  {name}: {info['场景']}")
print(f"    实现: {info['实现']}")

本章小结

下一章：部署、优化与最佳实践。