dsh-llm-vision-bridge

@Einskyle · 视觉与多模态
检测未发现问题无安装脚本来源一致

为纯文本 DeepSeek 桥接视觉能力:聊天贴图先由本地/云端视觉模型转成文字描述,再交给 DeepSeek 回答

v0.1.2版本
npm 预构建包安装方式
2026-08-14最近更新
4 · 126Star · 周下载
dsh plugin --profile web add dsh-llm-vision-bridge查看仓库

插件介绍

根据仓库资料整理 · commit 5a8e317

主要功能

  • 注册原生 LLM provider(deepseek-vision),图片准入、路由、会话压缩全部走 harness 原生机制,无需前端拦截。
  • 无图片请求直接透传给回退 provider(默认 deepseek-official),零额外开销。
  • 每张贴图先由视觉模型(如 pi-ai/llama.cpp 上的 Qwen3-VL)生成描述文本,再替换为文字块交给 DeepSeek 续写回答。
  • LRU 描述缓存:同一图片+提示词不会重复调用视觉模型,历史回放与会话压缩也不会重跑。
  • 支持 503/429 自动重试,容忍单卡独占调度导致的视觉网关排队。
  • 失败策略可配置:插入失败提示继续对话,或直接使当轮失败。

适合什么时候用

  • 本地部署 llama.cpp/pi-ai 视觉模型,希望聊天时贴图仍由 DeepSeek 文本模型回答的用户。
  • 希望图片保留在本地/内网处理、不上传公有云多模态模型的隐私敏感场景。
  • 想用云端视觉 API(如 DashScope、Zhipu、OpenAI)做图片理解,同时继续用 DeepSeek 生成正文回复的用户。

安装后会多出什么

界面Settings → Models 新增 provider「DeepSeek(视觉桥接)」,含 deepseek-v4-flash / deepseek-v4-pro 模型。 · Settings → Models → llm-vision-bridge 配置面板(fallbackProvider、visionProvider、重试与失败策略等)。

使用前需要

  • 需要在 pi-ai adapter(Settings → Models → llm-pi-ai)配置一个视觉模型路由,默认使用本地 llama.cpp 上的 Qwen3-VL。
  • 若改用云端视觉 API(DashScope/Zhipu/OpenAI/OpenRouter 等),需在对应 provider 配置 apiKeyEnv 凭证,否则会报 MISSING_CREDENTIAL。
  • 依赖 @deepseek-ai/cordis、@deepseek-ai/dsh-llm、@deepseek-ai/dsh-settings、@deepseek-ai/schemastery 等 peerDependencies。
  • 需将主模型手动切换为 deepseek-vision,才能通过 host 的图片准入检查发送图片。

在 GitHub 阅读完整 README

权限与能力

安装后它能碰到什么
不覆盖任何 dsh-base 宿主行:不接管沙箱、审批、凭据等能力。
宿主能力
Agent 控制
能力是范围不是结论:很多能力是功能所需。

基本信息

仓库Einskyle/dsh-llm-vision-bridgenpmdsh-llm-vision-bridge@0.1.2安装方式npm 预构建包收录日期2026-08-14固定 commit5a8e31788f4b · 2026-08-14
dsh plugin --profile web add dsh-llm-vision-bridge