mirror of
https://github.com/kuaifan/dootask.git
synced 2026-08-01 10:55:59 +00:00
60 lines
2.0 KiB
Markdown
60 lines
2.0 KiB
Markdown
---
|
||
id: ai-assistant.multimodal.concept
|
||
title: AI 助手多模态（图片输入）
|
||
type: concept
|
||
feature: ai-assistant
|
||
scope: end-user
|
||
locale: zh
|
||
aliases:
|
||
- AI 看图
|
||
- 上传图片给 AI
|
||
- 视觉模型
|
||
- AI 多模态
|
||
- AI 识图
|
||
- AI 看截图
|
||
related_tools: []
|
||
related_pages: []
|
||
prerequisites:
|
||
- 当前模型支持视觉输入（如 gpt-4o / claude-3.5-sonnet / gemini-1.5-pro）
|
||
negative:
|
||
- 仅图片，不支持视频 / 音频 / 文档
|
||
- 一次最多 5 张图片
|
||
- 图片会被压缩到长边 1568px JPEG，原图不保留
|
||
- 切到不支持视觉的模型后发图会上游报错
|
||
last_verified: v1.7.90
|
||
---
|
||
|
||
# AI 助手多模态（图片输入）
|
||
|
||
## 定义
|
||
多模态指 AI 助手允许用户在对话中**同时附带图片**。图片以 base64 拼到 `content` 数组（`{type: 'image_url', image_url: {url: dataUrl}}`），与文本一起发给视觉模型解析。
|
||
|
||
## 三种添加方式
|
||
1. **点击图片按钮**：浮窗底部图片图标，弹系统文件选择器
|
||
2. **拖放**：把图片拖到浮窗，松手上传
|
||
3. **粘贴**：在输入框 Ctrl/Cmd + V 粘贴剪贴板里的图片
|
||
|
||
## 数量与大小约束
|
||
- 单次最多 5 张（`maxImages`），超出 toast「最多上传 5 张图片」
|
||
- 自动压缩：长边 ≤ 1568px、统一转 JPEG
|
||
- 原文件不上传，只上传压缩后的 dataUrl
|
||
|
||
## 视觉模型要求
|
||
- 必须选视觉模型才能正确解析（`openai:gpt-4o`、`claude:claude-3-5-sonnet`、`gemini:gemini-1.5-pro` 等）
|
||
- 非视觉模型（如 `deepseek:deepseek-chat`、`grok:grok-2`）通常忽略图片或上游报错
|
||
|
||
## 持久化
|
||
- 图片随会话一起保存
|
||
- 服务端转存到 `public/uploads/assistant/YYYYMM/{userid}/xxx.jpg`
|
||
- 再次打开会话通过 `serverImageMap` 拿回 URL 显示
|
||
|
||
## 不支持
|
||
- 不支持视频 / PDF / 音频；只接受 `image/*` MIME
|
||
- 不支持单张超大图保持原始分辨率
|
||
- 不支持拖到收起的浮按钮上（先展开）
|
||
- 不支持「不压缩直发」开关
|
||
|
||
## 相关
|
||
- [[ai-assistant.image-upload.howto]]
|
||
- [[ai-assistant.model-switch.howto]]
|