网关选型
1. 背景介绍
当前我们需要一个网关系统，用于接入和统一管理树根其他团队的服务，协调权限管理，并尽可能提供 LLM 的适配能力。因此，我们需要一个网关尽可能满足以下需求：
- 高性能，由高性能的底层构建
- 稳定可靠，经过市场验证
- 提供可视化的 UI，容易入门并轻松管理
- 支持 LLM 的流式传输能力
- 较强的可观测性，尽可能提供 AI 设施的观测性
从以下方面讨论：
- 技术选型
- 技术架构
- API 注册方式
- 流式处理
- UI 支持
- 可扩展性
- 可观测性
- 部署复杂度
- 学习复杂度
我们考虑以下部署场景：
- 单台机器，简易的 Docker / Docker Compose 部署，无负载均衡
- 多台机器，Kubernetes 部署，有负载均衡策略
我们提供的方案尽可能覆盖全部的部署场景，从单机到多机，从 Docker 到 Kubernetes。
比较云原生网关对于大模型系统的适用性
| 维度 | Portkey | Kong | APISIX |
|---|---|---|---|
| 模型覆盖 | 1600+ 模型 [1] | 主流云厂商 [2] | 依赖插件扩展 [3] |
| 安全控制 | 虚拟密钥系统 [4] | PII 脱敏 [5] | 基础认证 [3:1] |
| 监控粒度 | 请求级分析 [4:1] | 跨平台聚合 [2:1] | 原始日志 [3:2] |
| 部署复杂度 | SaaS/私有化 [1:1] | 企业级方案 [5:1] | 轻量开源 [3:3] |
| 典型场景 | 多模型混合部署 | 合规敏感型企业 | 自定义扩展需求 |
Kong
Kong 是一个通用网关，为 LLM 提供插件支持，以便使用 Token 计数。[6]
Portkey AI Gateway
这是一个 AI 专用的网关，支持大多数模型。支持诸如绘图、视觉、语音等多模态模型。[7]
Portkey AI Gateway 支持虚拟密钥以便进行密钥管理。[8]
Apache APISIX
Apache APISIX 是一个开源的云原生 API 网关，支持多种插件和功能。它通过插件支持 LLM。