使用智能体优化 CUDA 内核,并进行基准测试与性能分析
AI智能体运行C++ CUDA测试框架,获取基准数据,并使用Nsight进行性能分析以优化内核,该框架由LangGraph构建。
- 具体怎么做
- 用户提供工作负载描述,或提供自己的签名、参考信息、内核及输入示例。LangGraph智能体提出内核和启动配置修改建议。C++框架利用NVRTC进行编译,并通过CUDA驱动API运行程序。Python工具对输出结果进行验证,并计时每个候选方案的执行时间。失败的方案会在迭代预算内得到修复。可选标志可启用Nsight Compute性能分析及NVIDIA文档查询功能。
- 做到了什么
- README文件显示,在RTX 3060笔记本电脑显卡上进行float32 GEMM运算时效果良好,第二次运行则延续了第一次最佳内核的性能。文中未提供加速数值,也未与cuBLAS进行对比。
- 上手要点
- 生成的输入脚本会在您的机器上直接运行,且API使用量(默认使用 GPT-5 Mini)会被计费。生成的参考内容并不能作为正确性的独立验证。
你可以这样试
使用 Claude Code优化 [文件路径] 中的 CUDA 内核,用于 [操作,如矩阵乘法]。构建测试框架以验证正确性,对基准版本进行性能测试,使用 Nsight 进行性能分析,并逐一尝试改进措施,仅保留通过正确性的改进项。当找到更快速版本时停止,并记录每次修改及其带来的性能提升情况。