用共享运行时托管大量等待中的编码 Agent

Rui 用一个 Zig Host 共享网络、工具执行和持久化能力,每个 Agent 不再启动独立运行时;公开 Linux 等待态基准中,100 个 Agent 仅占 2.5 MB 私有内存。
实战评级
已达成公开 Linux model-wait 基准中,100 个等待中的 Agent 合计占 2.5 MB 私有内存。
只证明等待态内存;活跃执行、工具调用与模型服务开销需另测。
- 具体怎么做
- Node.js 应用通过 TypeScript 客户端启动一个 Rui Host,并把会话状态放进 SQLite 或 MySQL;多个 Session 共享网络和执行容量,同时可接内置工具或 MCP。任务崩溃或重启后,从保存的对话状态恢复,而不是为每个 Agent 保留一个独立进程。
- 做到了什么
- 项目在指定 Linux 版本与 revision 5014980 的 model-wait 基准中启动 100 个等待模型回复的 Agent,测得总私有内存 2.5 MB。
- 上手要点
- 数字只覆盖等待态与公布的 Linux 测量方法,不代表 100 个 Agent 同时执行工具或推理时的内存。模型供应商调用仍可能产生费用。
你可以这样试
使用 Rui用 Rui 建立【Agent 数量】个 Session,所有会话共用一个 Host,并将状态保存到【SQLite/MySQL 路径】。让每个 Agent 执行【任务类型】,记录等待模型时、并发调用工具时和恢复崩溃后的私有内存、总内存、完成率与耗时。把等待态与活跃态分开报告,并保存可复现的版本号和测量命令。