续写与智能补全
LLM Chat 提供了强大的内容延续功能,利用 AI 的预测能力协助你突破创作瓶颈。这些功能涵盖了从助手回复的延续到输入框内的实时灵感接力。
1. 助手续写 (Assistant Continue)
当模型的回复因为 Token 限制被截断,或者你希望模型在当前思路的基础上进一步深入时,可以使用“续写”功能。
核心机制
- 非破坏性生成:续写不会覆盖原始消息,而是会创建一个新的分支节点。
- 上下文继承:系统会自动将当前消息的内容作为“前缀”(Prefix/Prefill)发送给模型,确保生成的内容与现有文本严丝合缝。
- 状态感知:如果模型支持原生“前缀补全”特性(如 DeepSeek、Claude),续写将极其精准;对于其他模型,系统会通过 Prompt 指引实现类似效果。
操作方式
- 在任意一条助手消息上,点击右键或点击消息工具栏的 更多 (Menu) 按钮。
- 选择 续写消息 (Continue)。
- 指定模型续写:如果你发现当前模型续写效果不佳,可以选择“选择模型续写”,临时调用能力更强的模型(如 Claude 3.5 Sonnet)来接力完成长文本。
2. 输入补全 (Input Copilot)
输入补全功能将 AI 引入你的写作过程,在输入框内提供实时的文思辅助。
功能特性
- 上下文感知:补全请求不仅包含输入框已有的文字,还会参考当前对话的上下文,确保补全建议符合逻辑。
- 流式回填:补全内容会以流式方式直接追加到输入框中,你可以随时观察生成过程。
- 轻量级请求:补全使用独立的临时请求,不占用对话历史,不产生冗余的消息节点。
使用方法
- 在输入框工具栏中点击 更多 (MoreHorizontal) 按钮。
- 选择 智能补全 (Sparkles)。
- AI 将根据你当前输入的文字生成后续内容并自动填入。
提示
你可以在“更多”菜单中选择 指定补全模型。建议使用响应速度快、指令遵循能力强的模型(如 GPT-4o-mini)作为补全助手,以获得最佳的“随写随出”体验。
3. 灵感接力 (Inspiration Relay)
灵感接力是一种特殊的续写模式,允许 AI 站在“用户”的视角继续书写消息。
场景应用
- 角色换位:在进行角色扮演(RP)或创意写作时,如果你不知道下一步该如何行动,可以让 AI 帮你构思一段用户的后续动作或对白。
- 长文拆分:当你有一段复杂的指令需要分步完善时,可以先写个开头,由 AI 接力完成细节描述。
触发方式
- 在任意一条 用户消息 上,点击工具栏的 更多 -> 续写消息。
- 系统会识别出当前是用户节点,并引导 AI 延续该节点的语气和内容进行扩写。
4. 交互细节说明
- 终止生成:续写和补全过程中,你可以随时点击工具栏上的 停止 (Abort) 按钮中断生成。
- Token 统计:续写生成的 Token 消耗会独立记录在该消息节点的元数据中。
- 历史记录:续写产生的每一个版本都会作为对话树的一个分支被保留,你可以通过消息顶部的分支切换器在不同版本的续写结果间跳转。
相关阅读: