AI Gateway 是什么？您现在就需要它吗？

8 months ago

本文转载自 The New Stack。

图片来源：由 THINK A 在 Shutterstock 上发布

如果您正在阅读本文，想必您已经尝试过 AI 应用，或者在当前从事的工作中试用过 AI 应用。从 GitHub Copilot 到 Microsoft Office Copilot 再到 ChatGPT 等工具，AI 发展日新月异，已经从“我们总有一天会实现”的憧憬阶段迈进到“您有何 AI 策略？”的应用阶段。

各种规模的企业都正快速采用 AI 技术，以增强最终用户体验、降低运维成本并提升竞争优势。围绕 AI 流程和工作流构建的全新应用类别不断涌现。与大多数新应用和服务一样，OpenAI 或不同云提供商提供的 AI 服务也是通过 API 交付和使用。

AI Gateway 是一类专门的系统，用于管理、保护并观测激增的 AI 流量和应用需求，正迅速成为一种重要的产品类别。那么，什么是 AI Gateway？您现在就需要它吗？

什么是 AI Gateway：快速定义

AI Gateway 是一种专用设备或解决方案，旨在管理并简化应用和 AI 模型之间的交互，尤其是在大型语言模型 (LLM) 及其他 AI 服务领域。它不仅充当 AI 流量的集中控制点，为应用访问各种 AI 后端和模型提供统一接口，而且还便于运维和安全团队进行安全防护、治理、可观测性及成本等方面的管理。

大多数 AI Gateway 都具有以下功能：

安全防护与合规性

AI 安全防护至关重要，必不可少。AI 应用可能会被用于处理客户数据或其他形式的个人身份信息，而且往往涉及重要的公司专有数据。越来越多的第三方 AI bot 企图在未经授权的情况下使用公开暴露的数据进行训练。

网关同时实施身份验证和零信任防护，有助于确保 AI 服务和 API 访问的安全。

面对各种风险，AI Gateway 逐渐成为一种新型防火墙，可帮助 AI 服务的消费者和提供者管理安全凭证。

网关同时实施身份验证和零信任防护，有助于确保 AI 服务和 API 访问的安全。它还提供了一个授权层，可确保仅获批用户才能访问特定服务，或者根据定义的策略批准使用服务。这些策略会根据地理位置、业务部门、角色、基础设施提供商或基础设施类型来限制使用。

就特定 AI 提示词管理而言，AI Gateway 能够实现提示词安全防护、验证和模板生成。它通过将一系列功能整合到单个控制平面，简化了提示词管理，而无需对本地开发环境或不同的模型系统或 AI 应用进行更新。这对于负责任和合规地使用 AI 至关重要，因为它可以防止开发人员围绕受限主题构建 AI 集成或在提示词中设置错误的上下文。

此外，AI Gateway 还可用作 AI 数据的防火墙或数字防丢失系统。全功能 AI Gateway 能够防止模型中毒、模型被盗及针对 AI 系统的其他新兴网络安全威胁。

负载均衡和集中式消费管理

如果您还没有 AI 负载均衡器，那么可能需要一个。AI 应用可能高度依赖数据和计算。如果不对 AI 应用流进行管理，那么在等待管道中资源不足的上游部分完成作业时，成本高昂的 GPU 会处于闲置状态。对于面向消费者的产品来说，AI 应用的延迟是一大致命问题 —— 用户等待聊天机器人响应的时间越长，他们就越有可能退出聊天。

接下来是消费问题。如今，大多数企业都在使用多种 AI 模型即服务产品。这些产品大多通过其云提供商或其他第三方服务提供。AI Gateway 提供了一个集中式平台，用于管理企业内不同团队和应用的 AI 消费情况。这种集中式管理有助于保持对 AI 流量的控制并确保负责任且合规的 AI 使用。

AI Gateway 提供了一个集中式平台，用于管理不同团队和应用的 AI 消费情况。

通过提供统一的控制平面和负载均衡器，AI Gateway 支持企业轻松管理所有 AI 消费和可观测性信息。在 AI 领域，消费是以 token 而非交易或数据量进行度量，因此有所不同。

不过，token 的简单度量并不精确：某些类型的查询需要更多 token，而同一提示词所需的 token 数量也可能会随时间而变化。换言之，试想一下，如果您的标准应用对同一请求返回不同数量的数据？这就是 AI 的特殊之处 —— 消费可能更难预测和控制。

简化开发人员工作流程

如今，可供开发人员和平台运维团队选择的 AI 集成和 API 解决方案多种多样。来自云提供商的 API 可简化消费体验，而 AI Gateway 则有助于轻松管理 AI API 并提供单一的集成管理点。

AI Gateway 支持多种 AI 服务，并提供单个 API 接口，以供开发人员访问所需的 AI 模型。端点可能允许开发人员访问 OpenAI 提供的各种模型，以及 Hugging Face 上数千种精调的开源模型和工具。AI Gateway 可自动加入需要访问 AI 服务的团队。

AI 蔓延是个泥潭，您肯定不希望开发人员陷入其中。

这种统一的 API 端点简化了开发工作流程，并加速了集成流程，可让开发人员专注于构建 AI 应用，而非管理复杂集成。

正如开发人员在开发软件时希望有多种框架和开源模块可供选择一样，AI 开发人员也越来越希望有多种可用模型和 AI 服务，以便更快速、更适当地定制应用。AI 蔓延是个泥潭，您肯定不希望开发人员陷入其中。

成本优化、监控及可观测性

AI Gateway 可让企业从 AI 使用中学习如何管理和降低成本。网关能够提供有关每个模型已用配额情况的洞察，从而实现高效的资源配置和成本控制。这种透明度支持用户有效管理 AI 资源使用，可确保最佳利用率，避免浪费（例如为闲置 GPU 付费）。

更高级的 AI Gateway 可通过对每个作业使用上下文，将合适类型的 AI 计算作业定向到最经济的基础设施。例如，需要大规模扩展和吞吐量的最关键作业可能会被定向到容量最高的 GPU 集群，而更简单的推理作业则可能被定向到更靠近最终用户但性能较低的 GPU。

优化的另一面是可观测性和监控。AI Gateway 能够集中管理 AI 可观测性，甚至可以将数据发送到第三方日志/指标收集器。这有助于更轻松地捕获所生成的全部 AI 流量，可进一步确保数据合规性，并支持快速识别使用中的任何异常情况。这些异常有些与安全防护领域的常见异常重合，但大部分是 AI 流量的特有异常，因为 AI 的消费模式不同，所以表明出现问题的异常情况也不同。

例如，在生产环境中应用上的 AI 推理可能看起来与正常应用流量没什么不同，但 AI 模型训练和微调可能就看起来高度波动，并产生大量流量和相关计算作业，需要密切监控，以确保 GPU 不会因在低效的数据管道中等待而被浪费。

治理 AI 乱象

更糟糕的是，许多单点产品只关注一两个问题，而不像更全面的 AI Gateway 一样力求解决一系列问题。还有一些厂商只是给 API 网关配置了一些 AI 特定功能，就将其称为 AI Gateway 。

现有一些开源项目提供了上述某些功能。例如，许多机器学习运维平台和服务为开发团队使用 AI 创建了统一的 API 端点。

为了获得所有功能而将许多不同的产品拼凑在一起，最终将造成无法解决的麻烦，而且成本会更高。正如 API 管理集中于 API 网关上一样，AI 管理也将由全面的 AI Gateway 接手。

出色的 AI Gateway 将帮助解决 AI“乱象”问题，为企业采用 AI 铺平道路，助力更规范、更安全、更经济地部署这一强大的新技术。