查询了两年间的 WHOOP 和血液检测数据
作者构建了一个 Claude 智能体,该智能体能回答关于 WHOOP生物识别数据及从电子邮件附件中提取的实验室结果的问题,并在30个问题上与 Databricks Genie 智能体进行了对比。
- 具体怎么做
- 作者保留了由 WHOOP 导出数据及 Claude 解析的实验室 PDF 所构建的 Databricks 表,并将 Genie 智能体替换为小型 Claude 智能体。该智能体编写 SQL 代码,通过只读 SQL 工具执行,读取行数据,然后可再次进行查询。答案由 Claude Opus 评分员根据30道手工审核的参考 SQL 进行评分。
- 做到了什么
- 每个智能体在涉及作者金表中的两个日期错误的问题上均失败。数据修复后,Sonnet的正确率从47%提升至90%,Genie则从47%提升至67%。
- 上手要点
- 样本量较小(每种配置测试一次,共30道题),由 Claude 评判器对 Claude 的回答进行评分。Sonnet 每道题的成本约为0.017美元,而 Opus 则为0.062美元。
你可以这样试
使用 Claude我正在上传[WHOOP导出数据/可穿戴设备数据]以及[日期范围]内的血液检测PDF文件。将实验室数值整理成表格,按日期与生物指标对应起来,然后回答:[问题,例如:在最后两次检测结果之前,我的心率变异性和睡眠状况发生了什么变化?]。展示每个答案对应的具体数值,并标注任何不确定或非医疗建议的内容。最后提出3个可以询问医生的后续问题。