Files
CyberStrikeAI/docs/VISION.md
T
2026-06-03 17:08:59 +08:00

1.7 KiB
Raw Blame History

视觉分析(analyze_image

概述

  • 工具名analyze_imageMCP 内置)
  • 行为:读取本地图片 → imaging 缩放/JPEG 压缩 → 调用独立 Vision 模型 → 返回纯文本给 Agent
  • 上下文:图片字节不会写入对话历史;仅路径与文字摘要进入 Agent 上下文

配置(config.yamlvision

vision:
  enabled: true
  model: qwen-vl-max   # 必填
  api_key:             # 留空 → openai.api_key
  base_url:            # 留空 → openai.base_url
  provider:            # 留空 → openai.provider
  max_image_bytes: 5242880
  max_dimension: 2048
  jpeg_quality: 82
  max_payload_bytes: 524288
  skip_preprocess_below_bytes: 2097152  # 低于 2MB 且长边<=max_dimension 时原图直传;0=始终 JPEG 压缩
  detail: low          # low | high | auto
  timeout_seconds: 60
  # allowed_roots: [] # 额外绝对路径根

enabled: false 时不注册工具。

Web 设置

系统设置 → 基本设置 → 视觉分析(analyze_image 可配置启用开关、视觉模型、API Key/Base URL(留空复用 OpenAI)、预处理参数;保存并应用 后写入 config.yaml 并重新注册 MCP 工具。

路径白名单

默认可读:

  • 进程工作目录(cwd)及其子路径
  • chat_uploads/
  • agent.result_storage_dir(默认 tmp/
  • vision.allowed_roots 中配置的绝对路径

Agent 使用

系统提示已说明:遇图片调用 analyze_image,勿用 read_file 读二进制图。

multi_agent.eino_middleware.tool_search_always_visible_tools 建议包含 analyze_image

合规

启用后图片会发往 Vision API 配置的上游;敏感环境请使用可信网关或保持 enabled: false