Skip to content

续写与智能补全

LLM Chat 提供了强大的内容延续功能,利用 AI 的预测能力协助你突破创作瓶颈。这些功能涵盖了从助手回复的延续到输入框内的实时灵感接力。

1. 助手续写 (Assistant Continue)

当模型的回复因为 Token 限制被截断,或者你希望模型在当前思路的基础上进一步深入时,可以使用“续写”功能。

核心机制

  • 非破坏性生成:续写不会覆盖原始消息,而是会创建一个新的分支节点。
  • 上下文继承:系统会自动将当前消息的内容作为“前缀”(Prefix/Prefill)发送给模型,确保生成的内容与现有文本严丝合缝。
  • 状态感知:如果模型支持原生“前缀补全”特性(如 DeepSeek、Claude),续写将极其精准;对于其他模型,系统会通过 Prompt 指引实现类似效果。

操作方式

  1. 在任意一条助手消息上,点击右键或点击消息工具栏的 更多 (Menu) 按钮。
  2. 选择 续写消息 (Continue)
  3. 指定模型续写:如果你发现当前模型续写效果不佳,可以选择“选择模型续写”,临时调用能力更强的模型(如 Claude 3.5 Sonnet)来接力完成长文本。

2. 输入补全 (Input Copilot)

输入补全功能将 AI 引入你的写作过程,在输入框内提供实时的文思辅助。

功能特性

  • 上下文感知:补全请求不仅包含输入框已有的文字,还会参考当前对话的上下文,确保补全建议符合逻辑。
  • 流式回填:补全内容会以流式方式直接追加到输入框中,你可以随时观察生成过程。
  • 轻量级请求:补全使用独立的临时请求,不占用对话历史,不产生冗余的消息节点。

使用方法

  1. 在输入框工具栏中点击 更多 (MoreHorizontal) 按钮。
  2. 选择 智能补全 (Sparkles)
  3. AI 将根据你当前输入的文字生成后续内容并自动填入。

提示

你可以在“更多”菜单中选择 指定补全模型。建议使用响应速度快、指令遵循能力强的模型(如 GPT-4o-mini)作为补全助手,以获得最佳的“随写随出”体验。

3. 灵感接力 (Inspiration Relay)

灵感接力是一种特殊的续写模式,允许 AI 站在“用户”的视角继续书写消息。

场景应用

  • 角色换位:在进行角色扮演(RP)或创意写作时,如果你不知道下一步该如何行动,可以让 AI 帮你构思一段用户的后续动作或对白。
  • 长文拆分:当你有一段复杂的指令需要分步完善时,可以先写个开头,由 AI 接力完成细节描述。

触发方式

  • 在任意一条 用户消息 上,点击工具栏的 更多 -> 续写消息
  • 系统会识别出当前是用户节点,并引导 AI 延续该节点的语气和内容进行扩写。

4. 交互细节说明

  • 终止生成:续写和补全过程中,你可以随时点击工具栏上的 停止 (Abort) 按钮中断生成。
  • Token 统计:续写生成的 Token 消耗会独立记录在该消息节点的元数据中。
  • 历史记录:续写产生的每一个版本都会作为对话树的一个分支被保留,你可以通过消息顶部的分支切换器在不同版本的续写结果间跳转。

相关阅读

Released under the Apache-2.0 License.