多模态转写
概述
多模态转写工具能利用多模态 AI 模型，从图片、音频、视频和 PDF 文档中自动提取文本内容。你可以把它理解为一个"万能文字提取器"——不管是图片里的文字、视频里的对话、音频里的语音，还是 PDF 里的内容，它都能帮你转写成可编辑的文本。
核心场景
你有张截图想提取里面的文字？有一段会议录音想转成文字稿？有份 PDF 文档想快速提取内容？多模态转写就是帮你做这些事的。
核心功能
- 四模态支持：覆盖图片、音频、视频、PDF 文档的转写，一个工具搞定所有媒体类型
- 智能预处理：自动对长图切片、对大视频压缩抽帧，确保模型能准确识别内容
- 任务队列管理：支持批量提交转写任务，实时监控进度，失败自动重试
- 结果自由编辑：转写结果支持在线编辑、保存、复制、下载，还能直接发送到 AI 聊天
- 复读自动检测：自动识别并处理模型输出中的循环复读现象，避免无意义的重复内容
快速上手
准备工作
在开始之前，你需要在 服务配置 标签页中设置一个支持多模态的 AI 模型。
TIP
具体配置方法请参考下方的 功能详解 - 服务配置 部分。需要先配置好 LLM 服务，才能进行转写。
首次转写 5 步走
第一步：打开工具
在主页中点击 多模态转写 卡片进入工具。默认会展示 工作台 标签页。
TODO: 截图 - 工具整体界面，标注三个标签页（工作台、任务监控、服务配置）
第二步：导入文件
将文件拖放到工作台的预览区域，或点击 选择文件 按钮来选取文件。
支持的格式：
- 图片：
.png、.jpg、.jpeg - 音频：
.mp3、.wav - 视频：
.mp4、.mkv - 文档：
.pdf - 纯文本：
.txt、.md（会自动展示内容，无需转写）
TODO: 截图 - 工作台预览区，展示拖放区域和选择文件按钮
第三步：开始转写
文件导入后，点击工具栏的 开始转写 按钮。你也可以先打开右上角的 自动转写 开关，这样文件导入后会立即自动开始转写。
TODO: 截图 - 标注工具栏的"开始转写"按钮和"自动转写"开关
第四步：等待处理
转写过程会在后台进行。你可以在 任务监控 标签页查看进度，或在 工作台 右侧编辑区等待结果出现。
TODO: 截图 - 任务监控页面的任务列表，展示不同状态的任务
第五步：使用结果
转写完成后，右侧编辑器会显示结果。你可以：
- 编辑：直接在编辑器中修改内容
- 保存：将修改后的内容保存到本地文件
- 复制：一键复制到剪贴板
- 下载：下载为
.md文件 - 发送到聊天：将结果直接发送到 AI 聊天会话
TODO: 截图 - 右侧结果编辑器，标注复制、保存、下载、发送到聊天等操作按钮
功能详解
工作台
工作台是转写任务的核心操作界面，采用"左预览 + 右编辑"的双栏布局。
预览区（左栏）
展示当前选中的文件内容：
- 图片：直接显示图片预览，点击可放大查看
- 视频：内置视频播放器，支持播放控制
- 音频：内置音频播放器，支持播放控制
- PDF/文档：显示文件图标和基本信息
- 纯文本：直接展示文件内容，无需转写
预览区顶部显示文件名和"移除文件"按钮，方便切换文件。
TODO: 截图 - 工作台左栏预览区，展示图片预览示例
结果区（右栏）
展示转写后的文本内容，使用代码编辑器提供舒适的阅读和编辑体验。支持语法高亮（转写结果默认 Markdown 格式）。
顶部工具栏提供以下操作：
| 操作 | 说明 |
|---|---|
| 保存 | 将编辑后的内容保存到文件 |
| 复制结果 | 一键复制到剪贴板 |
| 发送到聊天 | 将结果发送到 AI 聊天会话 |
| 下载 | 将结果下载为 .md 文件 |
TODO: 截图 - 右栏结果编辑器，展示转写完成的Markdown内容
快捷配置面板
点击工具栏的 配置 按钮，可以展开快捷配置面板。这里的设置仅对本次转写生效，不会影响全局配置。
- 快速选择模型：选择一个专门用于本次转写的模型（可选）
- 临时追加提示词：输入额外的指令来引导本次转写，例如"请以更正式的语气转写"或"着重提取关键技术术语"
TODO: 截图 - 展开快捷配置面板，标注模型选择器和提示词输入框
任务监控
当你有多个文件需要批量转写时，任务监控页面可以帮你统一管理所有转写任务。
统计卡片
页面顶部展示五张统计卡片，直观了解当前任务队列概况：
- 总任务：所有提交过的任务数量
- 正在处理：当前正在执行的任务数
- 等待中：排队等待处理的任务数
- 已完成：成功完成的任务数
- 失败：执行失败的任务数
TODO: 截图 - 任务监控页面的统计卡片
任务列表
任务列表以表格形式展示每个任务的详细信息：
| 列 | 说明 |
|---|---|
| 文件名称 | 显示文件名和资产ID，点击可预览文件 |
| 状态 | 队列中 / 处理中（显示进度百分比）/ 已完成 / 失败 / 已取消 |
| 耗时 | 任务的执行耗时 |
| 创建时间 | 任务创建的时间 |
| 操作 | 预览、查看错误、重试、取消、查看结果等 |
任务操作
针对不同状态的任务，提供不同的操作按钮：
| 状态 | 可用操作 |
|---|---|
| 队列中 / 处理中 | 取消任务 |
| 已完成 | 查看结果 |
| 失败 | 查看错误详情 / 重试任务 |
| 已取消 | 重试任务 |
重试任务时，你可以：
- 指定一个不同的模型来重试
- 添加附加提示词来引导转写
- 开关"复读检测"功能
TODO: 截图 - 重试任务弹窗，标注模型选择、提示词输入、复读检测开关
页面顶部还有一个 清空已结束任务 按钮，可以一键清理已完成、失败和已取消的任务，保持列表整洁。
服务配置
在使用转写功能之前，需要先在此页面配置好 AI 模型和相关参数。配置项按功能分组，以折叠面板展示。
基础服务配置
- 兜底转写模型：选择一个全局默认的多模态模型。当图片、音频、视频等分类未配置独立模型时，将使用此模型。
- 自动开始转写：开启后，文件导入资产库后立即加入转写队列。
- 启用复读处理：自动检测并处理模型输出中的循环复读现象。
- 连续重复阈值：同一行或同一句话连续出现的次数超过此值将视为复读（默认 3 次）
- 全局片段阈值：文本中任意片段出现的总次数超过此值将视为复读（默认 5 次）
- 复读白名单：包含这些片段的内容不会被判定为复读，适用于固定格式的输出
- 通用转写 Prompt：全局默认的提示词模板，用于指导模型如何转写。支持
{filename}变量。
TODO: 截图 - 基础服务配置折叠面板
性能与并发控制
- 最大并发任务数：同时进行的转写任务数量（默认 2），较大的并发数能加速批量处理
- 执行延迟：每个任务开始前的等待时间（默认 300ms），用于控制请求频率，避免触发 API 限流
- 最大重试次数：转写失败时的自动重试次数（默认 2 次）
- 超时时间：单个转写任务的最大等待时间（默认 120 秒）
TODO: 截图 - 性能与并发控制折叠面板
各模态独立配置
针对图片、音频、视频、文档四种模态，分别提供独立的配置项：
通用配置项（所有模态共有）：
| 配置项 | 说明 |
|---|---|
| 独立模型 | 为当前模态指定专用模型，留空则使用兜底模型 |
| Prompt | 当前模态专用的提示词模板 |
| 温度 | 控制输出的随机性，越低越确定性（默认 0.2） |
| 最大 Token | 转写结果的最大 token 数 |
图片特有配置：
- 启用智能切片：对于长图（如聊天记录截图），自动识别空白区域进行切分，避免模型丢失细节
- 宽高比阈值：图片长宽比超过此值时触发智能切图（默认 3:1）
- 最小切片高度：切片的最小高度，防止切图太碎（默认 800px）
TODO: 截图 - 图片转写配置折叠面板
音频特有配置：
- 启用音频压缩：当音频体积超过限制时，自动压缩以减少上传体积（需配置 FFmpeg）
- 体积限制：音频体积限制（默认 10MB），超过将尝试压缩
- 目标比特率：压缩后的音频比特率，较低可显著减小体积但损失音质
视频特有配置：
- FFmpeg 路径：指定 FFmpeg 可执行文件路径（音频/视频压缩功能依赖）
- 启用视频压缩：当视频体积超过限制时自动压缩
- 体积限制：视频体积限制（默认 10MB），超过将尝试压缩
- 最大帧率：压缩后的最大帧率（默认 12 FPS）
- 最大分辨率：压缩后的最大分辨率（默认 720p）
- 启用 GPU 加速：使用 NVIDIA GPU 加速压缩（需硬件支持）
- 自动调整分辨率：当目标体积过小时，自动降低分辨率以保持画质
TODO: 截图 - 视频转写配置折叠面板，标注FFmpeg路径配置
文档特有配置：
- 文档配置相对简单，只有通用的模型、Prompt、温度和最大 Token 设置
TODO: 截图 - 文档转写配置折叠面板
一键重置：底部提供"重置"按钮，可将所有配置恢复为默认值。
高级用法
批量转写
想一次性处理多个文件？直接在工作台逐文件导入并开始转写，或通过资产管理系统批量导入文件到资产库（可设置自动开始转写）。
在 任务监控 页面可以查看所有任务的队列和执行情况。
与 AI 聊天联动
转写结果可以一键发送到 AI 聊天窗口，让你能基于转写后的内容继续与 AI 对话。在工作台右侧结果区点击 发送到聊天 按钮即可。
自定义 Prompt 模板
如果你有特定的转写需求，可以在 服务配置 中自定义 Prompt 模板。系统内置的默认模板已经覆盖了大多数场景，但你完全可以按需调整：
## 任务
对媒体内容进行高精度多模态文本化转录。正在处理文件：{filename}。
## 核心原则
1. **视觉优先**：仅转录和描述视觉/听觉上明确存在的内容...
...每个模态都可以设置独立的 Prompt 模板，让你能针对不同媒体类型做精细控制。
重试时指定模型
当某个转写任务失败时，你可以在重试时选择一个不同的模型来尝试。这在某些模型对特定类型内容处理不佳时非常有用——比如一个模型对图片文字识别不好，换个模型可能就好了。
常见问题
Q：为什么我的转写一直停在"处理中"？
可能的原因：
- 模型服务响应慢：检查 LLM 服务是否正常工作，可以尝试在 AI 聊天中测试同一模型
- 文件体积过大：大文件需要先进行压缩/预处理，特别是视频文件，首次处理可能需要一定时间
- 并发数限制：如果同时有多个任务在跑，新任务会排队等待。可以在 服务配置 中调整"最大并发任务数"
Q：转写结果出现大量重复内容怎么办？
这可能是模型产生了"复读"现象。你可以：
- 确保启用了"复读检测"功能（默认开启）
- 在 服务配置 中调整"连续重复阈值"和"全局片段阈值"
- 如果某些固定格式的内容总是被误判，可以将其添加到"复读白名单"中
Q：视频转写太慢了，怎么加速？
视频转写涉及到压缩、抽帧等预处理步骤，确实比较耗时。可以尝试：
- 在 服务配置 > 视频转写配置 中降低"最大分辨率"和"最大帧率"来减少预处理负载
- 如果硬件支持，开启"GPU 加速"来加快压缩速度
- 减少"体积限制"，让视频压缩得更小
- 在 服务配置 > 性能与并发控制 中增加"最大并发任务数"
Q：为什么音频/视频转写需要 FFmpeg？
当音频或视频文件体积超过设定的"体积限制"时，系统需要使用 FFmpeg 对文件进行压缩，以减小上传到 AI 模型的体积。如果未配置 FFmpeg 路径，体积超标的媒体文件会尝试直接上传——但可能会因文件过大而失败。
你可以在 FFmpeg 官网 下载并安装，然后在 服务配置 > 视频转写配置 中指定路径。
Q：转写结果可以保存到哪里？
转写结果会自动保存为资产的"衍生数据"，存放在资产目录下。在工作台中，你可以：
- 点击 保存 按钮将当前编辑的内容保存到文件中
- 点击 下载 按钮将结果下载为
.md文件到本地 - 通过 资产管理系统 查看和管理所有资产的转写结果
提示
转写结果以 Markdown 格式保存，方便后续编辑和阅读。