Skip to content

模型路由

Gemini CLI 包含一个模型路由功能,可以在模型失败时自动切换到备用模型。此功能默认启用,在主模型不可用时提供弹性。

工作原理

模型路由由 ModelAvailabilityService 管理,它监控模型健康状况并根据定义的策略自动将请求路由到可用模型。

  1. 模型失败: 如果当前选择的模型失败(例如,由于配额或服务器错误),CLI 将启动回退过程。

  2. 用户同意: 根据失败情况和模型的策略,CLI 可能会提示你切换到备用模型(默认情况下始终提示你)。

  3. 模型切换: 如果批准,或者策略允许静默回退,CLI 将在当前轮次或会话的剩余时间使用可用的备用模型。

模型选择优先级

Gemini CLI 使用的模型由以下优先级顺序确定:

  1. --model 命令行标志: 启动 CLI 时使用 --model 标志指定的模型将始终被使用。
  2. GEMINI_MODEL 环境变量: 如果未使用 --model 标志,CLI 将使用 GEMINI_MODEL 环境变量中指定的模型。
  3. settings.json 中的 model.name 如果以上都未设置,将使用 settings.json 文件中 model.name 属性指定的模型。
  4. 默认模型: 如果以上都未设置,将使用默认模型。默认模型是 auto

aicodex 文档网站