Databricks 利用人工智能推进澳大利亚的癌症研究和基础设施

在澳大利亚,Peter MacCallum 癌症中心和基础设施和建筑公司 John Holland Group 已转向云数据和 AI 平台 Databricks 来解决严重的数据碎片问题,这些问题阻碍了他们从业务数据中获取见解的能力。

上个月在澳大利亚悉尼举行的 Databricks 数据 + AI 世界巡演上,两家组织的技术领导者均表示,他们面临着孤立数据、竞争业务领域、数据集成问题和遗留系统等挑战,这促使人们需要寻求云数据解决方案。

Peter MacCallum 癌症中心整合数据以使用人工智能

Peter Mac 的遗留数据基础设施限制了其有效利用大数据和其广泛的临床和研究业务。传统技术还危及了其改善癌症患者生活的使命,包括使用人工智能改善临床决策并加速生物学见解和药物发现。

数据基础设施问题

会议期间,Peter Mac 癌症研究部门生物信息学核心设施负责人 Jason Li 表示:

  • Peter Mac 正在处理各种孤立的数据和遗留系统。
  • 癌症中心运营中临床和研究数据的复杂性和数量给数据存储和数据分析等领域带来了挑战。
  • 道德、隐私和安全问题都是 Peter Mac 数据治理和任何未来人工智能用例部署的关键因素。
  • 临床和研究部门之间的整合使数据治理挑战变得复杂,因为每个部门都有不同的数据要求。

看:

Li 表示,Peter Mac 选择 Databricks 来帮助其协调整个中心的数据并支持包括人工智能在内的高级分析,同时满足医疗保健领域的数据安全和隐私要求。

扩展到新的人工智能用例

Peter Mac 首先通过 AI 转型试点项目测试了 Databricks 平台的 AI 潜力:

  • 该中心创建了一个端到端的人工智能生命周期,其中涉及将深度学习应用于十亿像素全幻灯片图像的分析,以量化乳腺癌预后的新生物标志物。
  • Databricks 支持人工智能生命周期——从最初的数据摄取到模型部署和监控——李说这使得项目时间和成本高效;
  • 该项目的结果可能对改善乳腺癌预后有“巨大的希望”。

Li 表示,整个项目的速度是一个很大的优势:“我们估计,通过 Databricks,我们将开发过程加快了五倍,并将利益相关者之间的沟通开销减少了十倍,使我们能够更早地将创新推向市场,造福患者。”

人工智能战略现在包括未来的项目

人工智能已成为 Peter Mac 战略的重要组成部分。 Databricks 在另外三个用例中为癌症中心提供支持:基因组学、放射肿瘤学和癌症成像。此外,彼得·麦克是:

  • 将人工智能计划扩展到主流生物信息学,其中包括涉及大样本量和大量基因组数据的群体遗传学项目。
  • 应用大型语言模型和检索增强生成的进步从临床和放射学报告中提取知识。
  • 计划未来在基因组学和转录组学研究中实施法学硕士,分析RNA或转录组以在癌症研究中保持竞争力。

约翰·霍兰德 (John Holland) 旨在统一整个建筑运营的数据

与此同时,John Holland 在 2023 年管理了 80 个大型基础设施项目,价值 132 亿澳元。不过,该公司数据和分析主管 Travis Rousell 表示,其遗留数据仓库环境分散且难以整合。

看:

“我们遇到了历史上每个人都遇到过的数据仓库和数据问题的所有典型问题,”Rousell 说。 “我们的遗留数据仓库环境是在 20 多年的时间里逐步构建的。它慢慢地演变和发展,我们创建了这组真正的数据孤岛。”

Rousell 补充道:“我们可以在此基础上构建 BI [商业智能] 和报告,但是将这些数据结合在一起,以便能够深入了解正在发生的活动和行为的流程,从而推动整个业务的变革,这对我们来说是一个非常困难的过程。”

提供有用见解的统一数据平台

John Holland 着手创建一个统一的数据平台,以释放数据的商业价值。这是该集团通过现代数据和数字实践推动行业创新和竞争优势的努力的一部分,也是更广泛的数字化转型推动的一部分。

该组织力求:

  • 提供整个企业的统一、集成的数据视图。
  • 跨单独管理的项目管理数据治理。
  • 重点关注数据工程而不是平台工程。

成本节省来自更好的数据管理

迄今为止,John Holland 已向 Databricks 的数据湖交付了多个核心业务流程,包括项目管理、项目运营、项目控制、安全和车队分析。

Rousell 表示,由于使用 Databricks,John Holland 实现了:

  • 与传统环境相比,同类工作流程的平台基础设施成本降低了 46%;
  • 通过构建新的数据产品和模型,将数据工程开发工作量和时间减少了 30%。
  • 将 600 多名用户迁移到通过 Databricks 数据湖房配置的数据产品。

IT 成为 John Holland 业务的推动者

Rousell 表示,Databricks 确保 IT 和技术不会限制业务的进展。

“我认为,对我来说,我们通过这样做所实现的最重要的事情是我们在 John Holland 内部创建了这种‘是’的数据文化,”Rousell 解释道。 “从历史上看,提供新的创新产品的困难意味着我们不得不忍受大型缓慢的项目,并且业务交付不足。

“现在,如果企业有一个想法,我们可以说是;我们可以为他们部署一个数据工作区,使他们能够访问所需的所有功能和工具,并且他们可以快速构建它。”