天度 AI 实战库浏览全部案例 ↗

并行运行本地编程智能体会话

开发者能够同时运行多达10个编程智能体会话,利用Claude Code和RTX 3090上的本地模型以及缓存上下文,用于日常开发工作。

使用工具Claude Code
具体怎么做
Roark66在每台配备24GB内存的RTX 3090上运行编程智能体,同时使用Claude Code与本地模型。它们同时可保持10个智能体会话处于活跃状态,但同一时间最多只有5个会话处于活动状态。由于它们负责推理过程,因此会将完整上下文缓存到RAM中,并可将缓存保存到磁盘,从而无需重新完整读取闲置的会话。
做到了什么
在内存中缓存约 15 个完整上下文后,其本地缓存利用率可达 95% 或更高。他们表示,每周使用约 13 亿个输入令牌的成本高达数千美元,按 API 价格计算。
上手要点
云缓存在 5 分钟或 1 小时后会失效,因此闲置的 50 万上下文会被重新视为完整输入进行计费;本地缓存则能避免此问题,但需有足够的内存来存储这些上下文。

你可以这样试

使用 Claude Code

我想同时处理仓库中 [path] 下的 [N] 项独立任务。针对每项任务,都创建独立的 git worktree 和分支,独立进行开发、运行测试,并总结变更内容。这些任务分别是:[task 1]、[task 2]、[task 3]。当每个分支都有可通过的差异报告供我审核时,就停止后续操作,不要进行合并。