作者|RenatoLosio
译者|明知山
策划|Tina
Cloudflare最近宣布AIGateway已普遍可用。AIGateway作为管理和扩展生成式AI工作负载的统一接口，让开发人员能够监控和控制AI应用程序。
AIGateway是一个AIOps平台，为管理和扩展生成式AI工作负载提供了统一的接口。它作为服务和推理提供者之间的代理，无论模型位于何处。
来源：Cloudflare博客
Cloudflare产品经理KathyLiao、高级产品经理MichelleChen和产品总监PhilWittig在博客中写道：
我们与许多构建AI应用程序的开发人员和组织进行了交谈，有一件事很明确：他们希望获得更多关于他们的AI的可观察性、控制性和工具化。这些是许多人工智能提供商所缺乏的东西，因为他们更专注于模型开发而不是平台特性。
将应用程序连接到AIGateway使其能够通过分析和日志来监控用户的交互，并提供缓存、速率限制、请求重试和模型回退等扩展功能。Liao、Chen和Wittig补充道：
只需要一行代码，你就可以解锁一组针对性能、安全性、可靠性和可观察性的强大功能，可以将其视为你的AI工作负载的控制面板。
除了CloudflareWorkersAI外，宣布普遍可用新的AIGateway还支持多个第三方提供商，包括OpenAI、GoogleVertexAI、AzureOpenAI、HuggingFace、AmazonBedrock和Anthropic。Eesel的联合创始人AmoghSarda在评论中说：
我很想看到它的实际运行情况。我相信将会有一些有趣的方式来测试它的敏感数据检测能力。
AIGateway仪表盘可以显示请求数量、令牌和运行应用程序相关成本等指标。它还可以跟踪单个请求，提供有关提示词、响应、提供者、时间戳以及请求是否成功的信息。
AIGateway并不是Cloudflare在AI领域发布的唯一一个公告，它还提供了面向AI的防火墙预览和普遍可用的WorkersAI，其中包括几项旨在简化开发人员构建和部署AI应用程序的功能。分析师和顾问JanakiramMSV在一篇文章中写道：
Cloudflare通过不断改进其边缘网络的功能来挑战亚马逊云科技(AWS)。亚马逊的无服务器平台AWSLambda尚未支持基于GPU的模型推理，它的负载均衡器和API网关也尚未针对AI推理端点做出更新。
Credexium创始人BrendanSkousen在评论中写道：
我最近开发的AI工具集成了Cloudflare的服务。我会用Cloudflare替换特定于平台的API端点，无论是我自己的API还是使用像AIGateway或Web3Gateway这样的东西。为什么呢？因为它几乎是免费的，并且包含了安全的分析等功能。在构建LLM应用程序时，实时日志记录、缓存和速率限制是必不可少的功能。
AIGateway当前的核心功能在所有的Cloudflare计划中都是免费的，但未来的高级功能，如持久日志记录和秘钥管理将需要付费。
查看英文原文：
https://www.infoq.com/news/2024/06/cloudflare-ai-gateway/
德国再次拥抱Linux：数万系统从windows迁出，能否避开二十年前的“坑”？
“都是调用的GPT？”ChatGPT、Claude、Perplexity、Gemini同时都宕机了
股票跌了99%，巴菲特差点吓出心脏病！纽交所数据库bug造成万亿美元市值蒸发，技术专家：他们的IT水平不行
这个离开大厂去AI创业的互联网大佬，带着他的“KillerAgent”来了
