基于电子健康记录（EHR）数据训练的AI模型已展现出显著价值，帮助研究人员从临床数据中发现模式，从而改善疾病预测并实现个性化护理。如今，研究人员正探索当AI模型能够从更多健康数据模态中学习时，将如何构建对人类健康更完整的理解。

一个典型案例来自健康技术与平台公司Verily Health。该公司与NVIDIA及美国国立卫生研究院（NIH）的“All of Us”研究项目合作，开发了首个整合EHR与基因组数据的多模态基础模型。这一工作为多模态AI如何融合多种健康数据源以推进精准医疗提供了早期范例。

连接人类健康的多重维度

尽管仅基于临床数据训练的模型仍极具价值，但整合影像、基因组学等额外模态代表了重要进步。

“电子健康记录捕捉了患者故事的重要片段，但它们只是其中一个章节，”Verily数据科学高级经理Jonathan Amar解释道。“要真正理解疾病风险，AI需要从人类健康的多重维度学习，包括我们出生时的生物学特征以及我们经历的临床体验。”

据Amar介绍，将EHR数据与基因组信息结合尤其有前景，因为它能在症状出现前揭示遗传性疾病的潜在风险。连接健康数据中“先天”与“后天”的维度，并理解它们如何相互影响，长期以来一直是医疗AI面临的最大挑战之一。

多模态基础模型的实践应用

为测试整合方法的潜力，Verily的研究团队尝试将EHR与基因组数据结合到单一基础模型中。

基础模型特别适合整合多样化的健康数据模态以识别复杂疾病风险模式，因为它们能从大规模、多样化的数据集中学习广泛模式，再针对特定预测任务进行微调。随着更大规模的多模态数据集变得可用，基础模型将为AI创造新机会，发现仅靠单一健康数据源难以察觉的关联。

但这种方法并非没有挑战。Amar指出：“有几个因素在起作用——首先是整合静态遗传数据与动态临床病史的复杂性。它们是根本不同类型的数据，结构差异很大。此外，同时处理两者所需的计算负载，大多数基于CPU的工作流程无法承受。”

另一层复杂性在于，许多患者通常无法获得基因组数据。这正是像“All of Us”研究项目这样的国家级倡议——收集包括基因组数据在内的多模态数据——为开发更细致、更精准的健康理解模型打开了新大门。

Amar解释了他们的方法：“我们能够将遗传风险评分（基于DNA预测个体患某种疾病可能性的测量指标）与EHR数据整合到单一基础模型中，由NVIDIA GPU提供算力——结果令人振奋。”

当遗传风险信息被加入模型后，其识别2型糖尿病高风险人群的能力显著提升。通过更准确地发现更多真实病例，同时减少错误警报，模型性能得到明显增强。该模型还能在临床上有意义的5至10年时间框架内预测风险，而非仅关注短期预测。

在计算方面，通过使用NVIDIA NeMo AutoModel，模型预训练效率比在相同H100 GPU上使用Hugging Face Accelerate提高了三倍。这转化为更快的洞察获取速度和更快的迭代周期，适应复杂研究环境的需求。

这一开创性模型现已通过GitHub以Forecast™ 1.0的形式向所有研究人员开放。Forecast 1.0让全球研究团队能够在安全的可信研究环境（TRE）中，直接加速他们自己的疾病风险发现流程。

为未来奠定基础

在此案例中，结合EHR与基因组数据提高了2型糖尿病预测的精度。但其意义远超单一疾病或基因组学范畴。

这项工作为多模态基础模型如何整合人类健康的多个维度——包括可穿戴设备数据、临床笔记、医学影像和患者报告结果——以推进精准医疗提供了早期蓝图。

为实现这一未来，Verily持续研究和改进其预测及生成模型。通过不断扩展相关、多维度的数据集——包括丰富的非结构化临床笔记——并致力于逐步演进Forecast™模型。通过持续丰富模型学习的数据集，Forecast将捕捉到越来越高清、动态的患者健康图景。

“通过整合两种通常不匹配的数据类型，我们展示了多模态AI如何改善疾病预测，同时为未来纳入更多健康数据模态奠定基础，”Amar强调。“这为药物生物标志物发现、诊断风险分层和卫生系统精准医疗项目等领域提供了可能性预览。”

如需深入了解Verily-NVIDIA项目，包括多模态基础模型背后的技术、方法和结果，可下载白皮书。