标签： 智能体管理

引言：当 AI 需要证明自己的价值

读完这篇关于 Showboat 和 Rodney 两款新工具的介绍，我感受到一种前所未有的务实。文章探讨了 AI 辅助开发中的一个关键挑战：确保编程智能体不仅能编写代码，还能证明代码有效。

这不是简单的代码生成，而是从代码到演示的最后一公里。当 AI 能够生成代码时，如何证明代码有效，成为我们必须面对的问题。

Showboat：让智能体构建基于 Markdown 的演示文档

文章首先介绍了 Showboat，它允许智能体通过 CLI 命令构建基于 Markdown 的演示文档。这个工具让我对 AI 的演示能力有了新的认识。

Showboat 的原理：

• 智能体通过 CLI 命令调用 Showboat
• Showboat 将代码和结果转换为 Markdown 格式
• 生成可读性强的演示文档

Showboat 的优势：

• 自动化：智能体可以自动生成演示文档
• 可读性：Markdown 格式易于阅读和理解
• 可维护：演示文档可以随代码一起维护

Showboat 的挑战：

• 需要设计合理的 CLI 接口
• 需要确保演示文档的准确性
• 需要处理复杂的演示场景

这个工具的意义在于：让智能体能够自动生成演示文档，证明代码的有效性。

Rodney：浏览器自动化的 CLI 封装

文章介绍了 Rodney，它是一个用于浏览器自动化的 CLI 封装工具，使智能体能够与 Web 界面进行交互。这个工具让我对 AI 的交互能力有了新的认识。

Rodney 的原理：

• 智能体通过 CLI 命令调用 Rodney
• Rodney 封装了浏览器自动化功能
• 智能体可以与 Web 界面进行交互

Rodney 的优势：

• 易用性：CLI 接口简单易用
• 灵活性：可以与各种 Web 界面交互
• 可扩展：可以扩展支持更多的 Web 界面

Rodney 的挑战：

• 需要处理各种 Web 界面的复杂性
• 需要确保交互的稳定性
• 需要处理动态内容的变化

这个工具的意义在于：让智能体能够与 Web 界面交互，进行端到端的测试和演示。

测试驱动开发（TDD）：引导智能体的有效方法

文章认为，虽然测试驱动开发（TDD）在引导智能体方面非常有效，但手动或视觉验证仍然必不可少。这个观点让我对 AI 测试有了新的认识。

TDD 的优势：

• 明确需求：测试用例明确了代码的需求
• 自动验证：可以自动验证代码的正确性
• 重构安全：重构时可以快速发现问题

TDD 的局限：

• 无法覆盖所有场景：测试用例无法覆盖所有可能的场景
• 无法验证用户体验：测试用例无法验证用户体验
• 无法发现隐性问题：测试用例无法发现隐性的问题

手动验证的必要性：

• 用户体验：手动验证可以评估用户体验
• 边界场景：手动验证可以测试边界场景
• 隐性问题：手动验证可以发现隐性问题

这个观点的意义在于：TDD 和手动验证不是对立的，而是互补的。只有结合两者，才能确保代码的质量。

详尽帮助文本：赋能智能体的关键

文章指出，通过提供具有详尽帮助文本的工具，开发者可以赋能智能体自主记录进度并执行无障碍审计或 UI 测试。这个观点让我对 AI 工具设计有了新的认识。

详尽帮助文本的作用：

• 指导智能体：帮助智能体理解工具的用途和使用方法
• 减少错误：减少智能体使用工具时的错误
• 提升效率：提升智能体使用工具的效率

自主记录进度：

• 智能体可以记录自己的工作进度
• 便于开发者了解智能体的工作状态
• 便于调试和优化

无障碍审计或 UI 测试：

• 智能体可以执行无障碍审计
• 智能体可以执行 UI 测试
• 提升代码的可访问性和用户体验

这个观点的意义在于：通过提供详尽的帮助文本，可以赋能智能体，让智能体更加自主地完成任务。

增强对 AI 生成产物的信心：最终目标

文章的最终目标是：通过提供具有详尽帮助文本的工具，赋能智能体自主记录进度并执行无障碍审计或 UI 测试，最终在增强对 AI 生成产物信心的同时，减轻人工监督的负担。这个目标让我对 AI 的未来有了新的认识。

增强信心：

• 通过自动演示文档，增强对代码有效性的信心
• 通过端到端测试，增强对代码质量的信心
• 通过无障碍审计，增强对代码可访问性的信心

减轻负担：

• 智能体可以自动生成演示文档，减轻人工编写文档的负担
• 智能体可以自动执行测试，减轻人工测试的负担
• 智能体可以自动记录进度，减轻人工监督的负担

这个目标的意义在于：让 AI 不仅仅是生成代码，而是证明代码有效，增强我们对 AI 生成产物的信心。

深度思考：从代码到演示的最后一公里是什么？

读完这篇文章，我一直在思考一个问题：从代码到演示的最后一公里是什么？

第一，不是代码生成。代码生成只是第一步，不是终点。从代码到演示的最后一公里是证明代码有效。

第二，不是简单测试。简单测试只能验证代码的基本功能，不能证明代码的有效性。从代码到演示的最后一公里是端到端的验证。

第三，不是人工验证。人工验证成本高、效率低，无法应对大规模的代码生成。从代码到演示的最后一公里是自动化验证。

从代码到演示的最后一公里是：通过自动化的演示文档、端到端的测试、无障碍的审计，证明代码的有效性，增强我们对 AI 生成产物的信心。

实践启示：如何让智能体证明自己？

作为从业者，我们需要思考如何让智能体证明自己。

第一，提供详尽帮助文本。为工具提供详尽的帮助文本，赋能智能体自主使用工具。

第二，实现自动演示文档。通过 Showboat 等工具，让智能体自动生成演示文档。

第三，实现端到端测试。通过 Rodney 等工具，让智能体执行端到端的测试。

第四，实现无障碍审计。让智能体执行无障碍审计，提升代码的可访问性。

第五，实现自动记录进度。让智能体自动记录工作进度，便于开发者了解智能体的工作状态。

这些方法不是一蹴而就的，需要长期投入和持续优化。但只有这样，才能让智能体证明自己，增强我们对 AI 生成产物的信心。

总结：从代码到演示，跨越最后一公里

这篇文章让我深刻认识到，从代码到演示的最后一公里是 AI 辅助开发的关键挑战。Showboat 和 Rodney 这两款工具，为我们提供了跨越最后一公里的方法。

作为从业者，我们需要：

• 理解最后一公里的挑战：认识到代码生成只是第一步，证明代码有效才是关键
• 提供详尽帮助文本：为工具提供详尽的帮助文本，赋能智能体自主使用工具
• 实现自动演示文档：通过 Showboat 等工具，让智能体自动生成演示文档
• 实现端到端测试：通过 Rodney 等工具，让智能体执行端到端的测试
• 实现无障碍审计：让智能体执行无障碍审计，提升代码的可访问性

从代码到演示的最后一公里不是遥不可及的目标，而是正在发生的现实。Showboat 和 Rodney 这两款工具，为我们展示了跨越最后一公里的方法。未来，智能体将不仅仅是生成代码，而是证明代码有效，增强我们对 AI 生成产物的信心。

---

来源：介绍 Showboat 和 Rodney：让智能体能够演示其构建的成果

引言：当推理服务需要极致优化

读完这篇关于 Google 的 Vertex AI 团队如何通过实施 GKE Inference Gateway 来解决生成式 AI 推理扩展挑战的文章，我感受到一种前所未有的专业。文章详细介绍了该解决方案如何超越标准的负载均衡，引入”双层智能”：负载感知路由和内容感知路由。

这不是简单的负载均衡，而是推理服务的极致优化。当 AI 推理服务需要处理海量请求时，如何降低延迟、提升吞吐量，成为关键挑战。

超越标准负载均衡：双层智能的引入

文章首先指出，GKE Inference Gateway 超越了标准的负载均衡，引入了”双层智能”。这让我思考一个问题：为什么标准负载均衡不够用？

标准负载均衡：

• 原理：根据服务器的负载情况，将请求分发到不同的服务器
• 策略：轮询、最少连接、随机等
• 优势：简单，易于实现
• 挑战：无法考虑请求的特性和服务器的状态

双层智能：

• 负载感知路由：监控 KV 缓存利用率等实时指标
• 内容感知路由：根据提示词前缀转发请求以最大化缓存命中
• 优势：智能路由，提升效率
• 挑战：实现复杂，需要实时监控

这种双层智能的意义在于：从简单的负载分发，转向智能的路由决策，大幅提升推理服务的效率。

负载感知路由：实时监控 KV 缓存利用率

文章介绍了负载感知路由，它监控 KV 缓存利用率等实时指标。这让我对推理服务的负载管理有了新的认识。

KV 缓存的作用：

• 原理：缓存键值对，减少重复计算
• 优势：提升推理速度，降低延迟
• 挑战：需要合理管理缓存

负载感知路由的策略：

• 监控 KV 缓存利用率
• 将请求分发到 KV 缓存利用率较低的服务器
• 避免某些服务器过载

这种路由策略的意义在于：通过实时监控和智能路由，避免服务器过载，提升整体推理效率。

内容感知路由：根据提示词前缀转发请求

文章介绍了内容感知路由，它根据提示词前缀转发请求以最大化缓存命中。这让我对推理服务的缓存优化有了新的认识。

提示词前缀的作用：

• 原理：提示词的前缀往往决定了后续的生成方向
• 优势：相同前缀的提示词可以共享缓存
• 挑战：需要识别相似的前缀

内容感知路由的策略：

• 分析提示词的前缀
• 将具有相似前缀的请求分发到同一服务器
• 最大化缓存命中率

这种路由策略的意义在于：通过智能的内容分析，最大化缓存命中率，大幅提升推理速度。

两种流量特征：上下文密集型 vs 突发性

文章详细介绍了该架构如何处理两种不同的流量特征——上下文密集型的编程任务和突发性的聊天负载。这让我对推理服务的流量特征有了新的认识。

上下文密集型任务：

• 特点：需要处理长上下文，计算量大
• 示例：编程任务、文档生成
• 优化策略：优先使用 KV 缓存，减少重复计算

突发性负载：

• 特点：请求突然增加，需要快速扩展
• 示例：聊天应用、实时翻译
• 优化策略：快速扩展服务器，应对突发流量

这两种流量特征的意义在于：不同的任务需要不同的优化策略，只有针对性地优化，才能达到最佳效果。

多目标调优：平衡多个优化目标

文章提到，该架构通过多目标调优来优化推理服务。这让我对推理服务的优化目标有了新的认识。

优化目标：

• 延迟：降低首字延迟（TTFT）和尾部延迟
• 吞吐量：提升每秒处理的请求数
• 成本：降低计算资源成本
• 质量：保证推理结果的质量

多目标调优的挑战：

• 目标冲突：降低延迟可能增加成本
• 权衡取舍：需要在多个目标之间找到平衡
• 动态调整：根据流量特征动态调整策略

这种多目标调优的意义在于：不是单一目标优化，而是多目标平衡，找到最优解。

上游准入控制：防止系统过载

文章提到，该架构通过上游准入控制来防止系统过载。这让我对推理服务的流量控制有了新的认识。

准入控制的原理：

• 监控系统的负载情况
• 当系统接近过载时，拒绝新的请求
• 防止系统崩溃

准入控制的优势：

• 保护系统：防止系统过载崩溃
• 保证质量：在系统负载高时，保证现有请求的质量
• 提升用户体验：避免系统崩溃导致的全部失败

这种准入控制的意义在于：通过主动的流量控制，保护系统稳定性，提升用户体验。

生产成果：延迟降低 35%，尾部延迟改善 52%

文章提到，Vertex AI 取得了显著的生产成果，包括首字延迟（TTFT）缩短 35%，P95 尾部延迟改善 52%，以及前缀缓存命中率从 35% 翻倍至 70%。这些成果让我对推理优化的效果有了具体的认识。

首字延迟（TTFT）缩短 35%：

• 意义：用户等待第一个 Token 的时间缩短 35%
• 体验：用户感受到的响应速度大幅提升

P95 尾部延迟改善 52%：

• 意义：95% 的请求延迟改善 52%
• 体验：大部分用户的体验大幅提升

前缀缓存命中率从 35% 翻倍至 70%：

• 意义：缓存命中率翻倍，重复计算大幅减少
• 效率：推理效率大幅提升

这些生产成果的意义在于：通过双层智能、多目标调优、上游准入控制等技术，实现了推理服务的极致优化。

深度思考：推理优化的核心是什么？

读完这篇文章，我一直在思考一个问题：推理优化的核心是什么？

第一，不是简单的负载均衡。推理优化的核心是智能路由，根据请求的特性和服务器的状态，做出最优的路由决策。

第二，不是单一目标优化。推理优化的核心是多目标平衡，在延迟、吞吐量、成本、质量等多个目标之间找到平衡。

第三，不是静态的配置。推理优化的核心是动态调整，根据流量特征和系统状态，动态调整优化策略。

推理优化的核心是：通过智能路由、多目标调优、动态调整等技术，实现推理服务的极致优化。

实践启示：如何优化推理服务？

作为从业者，我们需要思考如何优化推理服务。

第一，实施双层智能。通过负载感知路由和内容感知路由，实现智能路由。

第二，监控实时指标。监控 KV 缓存利用率等实时指标，为智能路由提供数据支持。

第三，分析流量特征。分析上下文密集型任务和突发性负载的流量特征，针对性地优化。

第四，多目标调优。在延迟、吞吐量、成本、质量等多个目标之间找到平衡。

第五，实施准入控制。通过上游准入控制，防止系统过载，保护系统稳定性。

这些方法不是一蹴而就的，需要长期投入和持续优化。但只有这样，才能实现推理服务的极致优化。

总结：推理优化需要系统级创新

这篇文章让我深刻认识到，推理优化需要系统级创新。从标准负载均衡到双层智能，从单一目标到多目标平衡，从静态配置到动态调整，推理优化正在经历一场系统级的创新。

作为从业者，我们需要：

• 理解双层智能的理念：认识到智能路由是推理优化的核心
• 监控实时指标：监控 KV 缓存利用率等实时指标，为智能路由提供数据支持
• 分析流量特征：分析不同任务的流量特征，针对性地优化
• 多目标调优：在多个目标之间找到平衡，实现最优解
• 实施准入控制：通过上游准入控制，防止系统过载，保护系统稳定性

推理优化不是简单的技术升级，而是系统级的创新。只有通过智能路由、多目标调优、动态调整等技术，才能实现推理服务的极致优化。

---

来源：GKE Inference Gateway 如何优化 Vertex AI 的延迟