Skip to content

附件转写

附件转写模块是实现“全模型多模态支持”的核心。它能自动提取图片、音视频及文档中的文本,并将其注入对话上下文。

基础服务与策略

  • 启用转写功能: 总开关。
  • 兜底转写模型: 当图片、视频等未配置独立模型时使用的保底模型。必须具备 Vision 或 Audio 能力。
  • 转写触发策略:
    • 智能判断 (Smart): 仅当当前会话模型原生不支持该附件(如用 GPT-4o-mini 处理视频)时才触发。
    • 总是转写 (Always): 无论模型能力如何,都强制提取文本。适用于需要对附件内容进行正则清洗或永久留档的场景。
  • 自动开始: 附件拖入后立即在后台静默转写,利用你的编辑时间提前完成任务。

复读处理 (Anti-Hallucination)

针对某些模型在转写长内容时可能出现的“幻觉复读”:

  • 连续重复阈值: 限制同一行/句的连续出现次数。
  • 全局片段阈值: 限制任意片段在全文中的总出现次数。
  • 白名单: 允许特定固定格式(如页码、版权声明)触发重复。

媒体处理与压缩

  • FFmpeg 路径:
    • 说明: 配置本地 ffmpeg.exe 的路径。
    • 作用: 只有配置了此路径,系统才能执行音视频压缩、抽帧及格式转换。
  • 智能切图:
    • 说明: 自动检测长图中的空白区域并进行物理切分。
    • 优势: 解决模型对超长图(如网页长截图)识别模糊的问题。
  • 视频压缩策略:
    • 限制: 设置上传体积阈值(如 20MB)。
    • 加速: 支持启用 NVIDIA GPU (nvenc) 硬件加速,大幅提升大视频的处理速度。

性能控制

  • 并发控制: 设置同时进行的任务数。建议设为 3-5,避免占用过多系统资源。
  • 执行延迟: 任务开始前的随机等待时间,有效规避 API 的 429 (Too Many Requests) 限制。

提示

关于如何配置 FFmpeg 以及针对不同附件类型的最佳 Prompt 实践,请参考 附件转写指南

Released under the Apache-2.0 License.