dsh-plugin-multimodal

@shinjiyu · 视觉与多模态

检测有风险提示无安装脚本

让纯文本 DeepSeek 支持贴图，用视觉 sidecar 转文字再交主模型处理，不改动原生视觉模型行为。

v0.1.0版本

GitHub 源码安装安装方式

2026-08-16最近更新

3Star

dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal查看仓库

插件介绍

根据仓库资料整理 · commit b9b82a6

主要功能

在纯文本 DeepSeek 线路下，Web GUI 粘贴图片时通过视觉 sidecar 将图片转成文字后再交给主模型。
若主模型本身支持视觉（如 Claude/GPT 或自建视觉网关），图片原样传递，不经过转换。
提供 see_image 工具，供 agent 读取磁盘上的本地截图文件。
视觉 sidecar 的接口地址、Key、模型和提示词均可通过环境变量配置，未设置时回退到 OPENAI_* 变量。
通过 cordis.patch.yml 注入 llm/tools/attachments/systemPrompt，不修改官方 DeepSeek adapter 或 runtime。

适合什么时候用

使用官方纯文本 DeepSeek 线路，但需要在 Web 里直接粘贴报错截图让模型理解内容。
需要 agent 读取本地磁盘上保存的截图文件辅助排查问题。

安装后会多出什么

Agent 工具see_image

使用前需要

需要一个真正支持视觉的模型作为 sidecar（如 glm-4.5v），纯文本模型不可用。
需配置 DSH_VISION_BASE_URL 与 DSH_VISION_API_KEY（或回退使用 OPENAI_BASE_URL/OPENAI_API_KEY）。
安装或更新后需重启 dsh web，旧会话的工具表不会自动更新。
依赖 cordis.patch.yml 对 llm/tools/attachments/systemPrompt 的注入机制。

在 GitHub 阅读完整 README

权限与能力

安装后它能碰到什么

不覆盖任何 dsh-base 宿主行：不接管沙箱、审批、凭据等能力。

宿主能力

Agent 控制凭据环境变量文件系统外部网络

能力是范围不是结论：很多能力是功能所需。

基本信息

仓库shinjiyu/dsh-plugin-multimodal安装方式GitHub 源码安装（需 allowBuilds）安装提示源码安装会在你的机器上执行 prepare 构建，需要 allowBuilds 授权；建议用 github:shinjiyu/dsh-plugin-multimodal#b9b82a6 锁定本次检测的 commit。收录日期2026-08-15固定 commitb9b82a61859d · 2026-08-16

dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal