LLM AI 服务 — 高级配置

本篇详细介绍网络微调、多密钥负载均衡和深度模型配置等进阶功能。如果你还没有创建过渠道，请先阅读基础配置。

网络设置

在渠道编辑区展开「网络设置」折叠面板即可进入。折叠标题栏会实时显示当前配置摘要（如"自动 · 放宽证书 · 2 个请求头"）。

网络方案

通过单选按钮组切换，有三种策略：

方案	按钮标签	行为说明
自动选择	`自动选择`	默认推荐。使用后端 Rust 代理，支持底层网络微调，可绕过 CORS，并自动处理本地文件协议（`appdata://`）。
后端代理	`后端代理`	强制通过后端 Rust 代理。支持放宽证书校验、强制 HTTP/1.1 等底层配置，可绕过 CORS。
原生请求	`原生请求`	强制使用前端原生请求（`fetch`）。不支持底层网络微调，受限于浏览器安全策略（CSP、CORS）。

💡 选择"原生请求"后，下方的「代理行为」选项会自动隐藏，因为前端请求无法控制底层 TLS 行为。

代理行为

仅在选择「自动」或「后端代理」时显示：

选项	效果
放宽证书校验	跳过 TLS 证书链验证，允许自签名证书。适用于本地部署的 API 服务或内网代理。
强制 HTTP/1.1	禁用 HTTP/2 协商，强制使用 HTTP/1.1。解决某些旧版 API、Nginx 反代或隧道的兼容问题。

自定义请求头

点击「编辑请求头」按钮打开专用对话框，该对话框提供：

预设模板（点击卡片一键应用）：

预设名称	包含的请求头	适用场景
丰富的信息	`User-Agent`, `sec-ch-ua`, `sec-ch-ua-mobile`, `sec-ch-ua-platform`, `sec-fetch-*`, `x-title` 等	模仿常见客户端，避免被反爬机制拦截
超时控制	`x-stainless-timeout`, `x-stainless-retry-count`	长时间运行的请求（如大模型推理）
压缩支持	`accept-encoding: gzip, deflate, br, zstd`	启用多种压缩算法减少传输体积
来源标识	`http-referer`, `origin`	标识请求来源（按需填写自己的域名）

手动编辑：

点击「添加」增加新行，每行包含 Key 和 Value 两个输入框
点击行尾的红色删除按钮移除单条
点击「清空」一键移除所有请求头
右上角显示实时统计 已填写/总数

⚠️ 某些请求头可能被 API 提供商忽略或覆盖。建议仅添加必要的请求头。

高级端点

点击「编辑端点」按钮打开专用对话框，可以为不同 API 操作指定自定义路径或完整 URL。

路径规则：

填写相对路径（如 /v1/chat/completions）→ 自动拼接到渠道的 API 基础地址
填写完整 URL（以 http 开头）→ 直接使用该地址，忽略基础地址
留空 → 使用系统根据 API 格式类型自动计算的默认端点

可配置的端点分类：

分类	端点名称	默认路径	说明
核心功能	聊天补全 (Chat)	`/v1/chat/completions`	最常用，对话请求的入口
	文本补全	`/v1/completions`	经典补全接口
	模型列表	`/v1/models`	获取可用模型清单
	嵌入 (Embeddings)	`/v1/embeddings`	向量嵌入
图像功能	图像生成	`/v1/images/generations`	文生图
	图像编辑	`/v1/images/edits`	图像局部编辑
	图像变体	`/v1/images/variations`	图像变体生成
音频功能	语音合成 (TTS)	`/v1/audio/speech`	文字转语音
	语音转文字 (STT)	`/v1/audio/transcriptions`	语音识别转文字
	语音翻译	`/v1/audio/translations`	语音翻译为其他语言
视频与高级	视频生成	`/v1/videos`	文生视频
	视频状态查询	`/v1/videos/{video_id}`	支持 `{video_id}` 占位符
	重排 (Rerank)	`/v1/rerank`	文档重排序
其他	内容审查	`/v1/moderations`	内容安全检测

底部提供「清空全部」按钮一键重置所有自定义端点为默认值。

多密钥管理与负载均衡

当渠道配置了多个 API Key 时（密钥框中逗号分隔或通过管理弹窗添加），密钥框下方会显示「已配置 N 个密钥」以及「管理密钥状态」链接。

密钥状态管理弹窗

点击「管理密钥状态」打开全功能管理界面，顶部标题栏显示渠道名称和密钥总数。

统计卡片

弹窗顶部有三张统计卡片，实时呈现密钥池健康状况：

卡片	颜色	含义
健康可用	🟢 绿	当前可正常轮询使用的密钥数量
手动禁用	⚪ 灰	用户主动暂停使用的密钥数量
熔断禁用	🟡 橙	因连续报错被系统自动禁用的密钥数量

每张卡片下方有进度条直观显示占比。

全局设置栏

统计卡片下方的设置栏包含两个核心控制：

设置项	控件	说明
自动熔断禁用	开关	开启后，系统检测到密钥报错（如 HTTP 429 频率限制）时将自动暂时禁用该密钥
自动恢复时长	下拉选择	设定熔断后多久自动尝试重新启用。可选：不自动恢复 / 30秒 / 1分钟 / 2分钟 / 5分钟 / 10分钟

自动恢复仅在「自动熔断禁用」开启时生效（关闭时下拉框变灰）。

工具栏

提供筛选、搜索和批量操作功能：

左侧：

状态筛选下拉：全部状态 / 健康可用 / 手动禁用 / 熔断禁用
搜索框：按密钥内容模糊搜索
测试模型下拉：选择用于连通性测试的模型（默认选中第一个）

右侧：

导入按钮 ⬆：打开批量导入弹窗，支持换行或逗号分隔粘贴多个密钥，自动去重
导出按钮 ⬇：一键将所有密钥复制到剪贴板（换行分隔）
重置按钮 🔄：重置所有自动禁用（熔断）的密钥状态，恢复为可用
批量操作下拉菜单：
- 启用全部
- 禁用全部
- 测试选中（需先勾选密钥 + 选择测试模型）
- 删除选中
- 移除所有损坏密钥（清理熔断态的密钥）

密钥表格

表格列说明：

列	内容
☑ 复选框	用于批量操作的多选
索引	`#1`, `#2`... 密钥在配置中的顺序
状态	标签显示：`可用`（绿）/ `手动禁用`（灰）/ `已熔断`（红）
密钥	脱敏显示（前6位...后4位），鼠标悬停可查看完整内容
健康度	显示累计错误次数，有错误时橙色高亮
最后报错/备注	熔断时显示错误信息+禁用时间；手动禁用显示"手动暂停使用"；正常显示上次使用时间
操作	测试（▶）/ 启用或禁用（⏸/▶）/ 重置熔断（🔄，仅熔断态）/ 移除（🗑）

单密钥操作

每行操作按钮功能：

测试：使用选定的测试模型对该密钥发起一次连通性检查
启用/禁用：手动切换密钥的启用状态
重置熔断：清除错误计数和熔断标记，恢复为可用状态
移除：从配置中永久删除该密钥及其状态数据

负载均衡策略

系统采用轮询策略（Round-Robin）：

按密钥列表顺序依次使用健康的密钥
跳过所有「手动禁用」和「熔断禁用」的密钥
如果当前密钥请求失败且触发熔断，立即切换到下一个健康密钥重试
若所有密钥都不可用，请求将失败并向用户提示

深度模型配置

模型列表面板

渠道编辑区底部的「模型配置」区域，提供完整的模型生命周期管理：

顶部操作栏：

显示当前已添加模型总数
从 API 获取：自动调用渠道的 /models 端点拉取可用模型列表
手动添加：打开空白模型编辑对话框
清空：删除该渠道下所有模型（需确认）

分组折叠列表：

模型自动按分组聚合显示（分组名来自模型元数据规则匹配或手动设定）
每个分组标题显示分组名和模型数量，点击可折叠/展开
分组标题右侧有「删除分组」按钮（删除该分组内所有模型）

单个模型卡片显示：

模型图标（自动匹配或自定义）
显示名称 + 模型 ID（等宽字体）
能力图标条（最多显示 4 个，超出以 ... 折叠，悬停弹出完整列表）
操作按钮：测试 ▶ / 编辑 ✏️ / 删除 🗑

从 API 获取模型

点击「从 API 获取」后打开模型选择对话框：

功能：

搜索框：按模型 ID 或名称搜索
能力筛选下拉：按能力标签筛选（AND 逻辑，必须同时满足所有选中能力）
全选/取消全选：快速选中或取消当前可见的所有模型
复制数据下拉：
- 复制适配后 JSON：经过系统处理后的模型元数据
- 复制原始响应：API 返回的原始 JSON 数据

模型列表：

按分组折叠展示，每个分组可独立全选
已存在于渠道中的模型标记为「已存在」（灰色，不可重复添加）
点击模型卡片切换选中状态（蓝色高亮边框）
底部显示已选数量，确认后批量添加

模型编辑对话框

点击「手动添加」或模型卡片上的编辑按钮，打开模型详细配置对话框（75% 宽度，75vh 高度）：

基本信息

字段	说明
模型 ID	API 调用时使用的真实标识符（如 `gpt-4o`、`claude-sonnet-4-20250514`）。右侧有「应用预设」按钮
显示名称	在 UI 中展示的友好名称（如 `GPT-4o`）
分组	可选。归入哪个分组（如 `GPT-4 系列`）
描述	可选。模型的简短描述信息
模型图标	可选。自定义图标路径或 URL，也可点击「选择预设」从图标库中挑选。留空则使用全局规则自动匹配

应用预设功能：输入模型 ID 后点击按钮，系统会根据模型元数据配置中的规则自动填充：

显示名称（根据 ID 格式化：去路径前缀、连字符转空格、首字母大写）
分组名
图标
模型能力开关

Token 限制

字段	控件	说明
上下文窗口	预设下拉 + 数字输入	模型可处理的最大 Token 总数（含输入和历史消息）
输出限制	预设下拉 + 数字输入	单次响应最大输出 Token 数（含推理 Token）

上下文窗口预设值：1K / 2K / 4K / 8K / 16K / 32K / 64K / 128K / 200K / 256K / 500K / 1M / 2M / 4M / 10M / 20M / 50M

输出限制预设值：2K / 4K / 8K / 16K / 32K / 64K / 128K / 256K

也可以直接在右侧数字输入框中填写任意精确数值。

模型能力开关

以网格布局展示所有可用能力，每个能力卡片包含：开关 + 图标 + 标签 + 信息图标（悬停显示详细说明）。

完整能力列表：

能力	图标	说明
视觉		支持图像输入 (Vision Language Model)
思考		启用模型的'思考'或'推理'模式
联网		支持实时联网搜索获取最新信息
工具		支持 Function Calling / Tool Use
代码		支持代码解释器执行代码
图像生成		支持文本到图像的生成
视频生成		支持文本到视频的生成
音乐生成		支持文本到音乐的生成
语音生成		支持文本到语音的生成 (TTS)
迭代微调		支持通过多轮对话持续优化生成结果
对话接口		是否使用对话接口实现生成功能（如生图）
音频		支持音频输入或输出
视频		支持视频输入
文档		支持原生文档格式处理（如 PDF）
计算机		支持模拟用户操作计算机 (Computer Use)
文件		支持文件搜索和分析功能
JSON		支持强制输出 JSON 对象格式
FIM		支持 Fill In the Middle 补全（代码补全场景）
续写		支持对话前缀续写，可从指定前缀继续生成
嵌入		支持生成文本嵌入向量 (Embedding)
重排		支持对文档或结果进行重排序 (Rerank)

图片输入限制

字段	控件	说明
最大输入尺寸	预设下拉 + 数字输入	图片输入的最大像素尺寸（宽或高），超出将自动等比缩放。0 或清空即不限制

预设值：1024 / 2048（Qwen/OpenAI）/ 4096 / 8192（Gemini）/ 不限制

常见参考：Qwen/OpenAI = 2048，Claude = 8000，Gemini = 8192

思考能力配置

当模型支持深度推理时，通过单选按钮组选择配置模式：

模式	说明
无	不启用思考能力配置
开关模式	在 Agent 参数面板中显示简单的开/关切换
预算模式	允许设置思考 Token 预算（如 Claude 的 `max_tokens` 分配）
等级模式	提供等级选择（如 OpenAI o1 的 `reasoning_effort`）

选择「等级模式」时，下方会出现「可用等级」多选框，可选择或自定义输入等级值：

预设选项：low / medium / high / max
支持手动输入自定义等级名称（回车确认添加）

默认后处理规则

配置该模型在 LLM Chat 工具中默认启用的后处理逻辑，这些规则会作为默认值与智能体的具体配置合并使用。

可用的后处理规则包括：

自动提取代码块
思维链过滤
其他由插件提供的处理器

此配置仅适用于 LLM Chat 工具，不会影响其他功能模块。

自定义参数

通过内置代码编辑器（支持 JSON 语法高亮和行号显示）输入模型专属的 API 参数。

使用场景：

设置供应商特有的参数（如 Anthropic 的 anthropic_version）
覆盖默认的请求参数（如固定 temperature、top_p）
添加实验性功能参数

格式要求：

必须是合法的 JSON 对象
留空表示不附加任何额外参数
输入无效 JSON 时编辑器下方会显示红色错误提示
这些参数将与标准请求参数合并发送

示例：

json

{
  "temperature": 0.7,
  "top_p": 0.9,
  "repetition_penalty": 1.05
}

价格配置

用于对话时的成本预估（功能暂未实装）：

字段	格式	说明
输入价格	`$` + 每百万 Token 价格	如 `0.01` 表示 $0.01/1M
输出价格	`$` + 每百万 Token 价格	如 `0.03` 表示 $0.03/1M
请求价格	`$` + 每次请求价格	可选，固定的单次请求费用
图像价格	`$` + 每张图像价格	可选，每张图像的处理费用

渠道特有配置

部分 API 格式类型会在基本信息和网络设置之间显示额外的「渠道特有配置」区域（带虚线分割线标注）。这些是该 API 格式专属的选项，由系统根据所选的 API 格式类型动态渲染。

连接测试

AIO Hub 提供三个层级的连接测试能力：

测试类型	触发方式	测试对象
渠道级测试	API Key 旁的「测试连接」按钮	使用第一个模型 + 第一个密钥
单模型测试	模型列表中模型卡片上的 ▶ 按钮	指定模型 + 第一个密钥
单密钥测试	密钥管理弹窗中每行的 ▶ 按钮	选定的测试模型 + 指定密钥

测试过程中按钮会显示加载动画，完成后通过消息提示反馈结果（成功/失败及错误信息）。

常见问题

Q：「自动选择」和「后端代理」有什么区别？

「自动选择」在绝大多数情况下等同于后端代理，但会额外自动处理本地文件协议（如 appdata:// 路径的资产引用）。如果你不确定，保持默认的「自动选择」即可。

Q：自定义请求头中应该填什么？

大多数用户不需要配置自定义请求头。以下场景可能需要：

API 提供商要求额外的认证头（如 x-api-key）
需要模仿浏览器 User-Agent 绕过反爬
需要添加请求追踪标识（如 x-request-id）

Q：模型 ID 和显示名称的区别？

模型 ID 是发送给 API 的实际值（如 claude-sonnet-4-20250514），必须与服务商文档一致。显示名称 仅用于 UI 展示（如 Claude Sonnet 4），可以随意自定义。

Q：为什么开启了视觉能力但对话中还是不能上传图片？

请确认以下两点：

模型编辑对话框中「视觉」开关已打开
对话工具中当前选中的正是该模型（而非同渠道的其他模型）

Q：自动熔断后密钥会永远不可用吗？

不会。如果你配置了「自动恢复时长」（如 5 分钟），系统会在设定时间后自动尝试重新启用。你也可以在密钥管理弹窗中手动点击「重置熔断状态」按钮立即恢复。

返回：基础配置 · 设置概览

LLM AI 服务 — 高级配置 ​

网络设置 ​

网络方案 ​

代理行为 ​

自定义请求头 ​

高级端点 ​

多密钥管理与负载均衡 ​

密钥状态管理弹窗 ​

统计卡片 ​

全局设置栏 ​

工具栏 ​

密钥表格 ​

单密钥操作 ​

负载均衡策略 ​

深度模型配置 ​

模型列表面板 ​

从 API 获取模型 ​

模型编辑对话框 ​

基本信息 ​

Token 限制 ​

模型能力开关 ​

图片输入限制 ​

思考能力配置 ​

默认后处理规则 ​

自定义参数 ​

价格配置 ​

渠道特有配置 ​

连接测试 ​

常见问题 ​

Q：「自动选择」和「后端代理」有什么区别？ ​

Q：自定义请求头中应该填什么？ ​

Q：模型 ID 和显示名称的区别？ ​

Q：为什么开启了视觉能力但对话中还是不能上传图片？ ​

Q：自动熔断后密钥会永远不可用吗？ ​