Highlights & News

发表日期： 2024年12月05日

11月22日至23日，中国科学院香港创新研究院人工智能与机器人创新中心（CAIR）在香港科学园高锟会议中心成功举办了第二届香港具身智能医疗科技论坛The Second Clinical-driven Robotics and Embodied AI TEchnology (CREATE) Symposium。论坛期间，CAIR正式发布多模态手术大模型CARES Copilot 2.0。这一版本深度结合了临床需求和前沿技术，推动医疗行业向智能化、高效化更近一步。CARES Copilot 2.0 一经发布便引起广泛关注，多家知名媒体纷纷对其进行报道和专访，介绍其在医疗领域的创新应用及未来前景。以下是部分专访内容：

《南华早报》Huawei's AI Chips Fill Nvidia-sized Hole in Medical Research in Hong Kong

在英伟达(NVIDIA)高端AI芯片被限制出口后，香港医疗研究领域的多个项目面临技术空缺。而为应对这一挑战，CAIR采用了华为昇腾(Ascend)处理器，推出全新升级版CARES Copilot2.0，为医生提供精准支持，全面提高医疗服务质量。CAIR主任刘宏斌教授表示，CARES Copilot 2.0 基于 Meta Platforms 的 Llama 3 开源大型语言模型 (LLM)，并使用华为 Atlas 800T A2 服务器进行训练，现已被广州中山大学附属第一医院和香港威尔斯亲王医院所使用。

华为芯片令CARES Copilot的训练速度得到显著提升：由原本的1-2个月，到后来的1周。刘宏斌教授表示，华为的计算能力可以支持CAIR在医疗领域AI模型的开发需求，但在生态系统方面，英伟达仍处于领先地位。他说：“如果只是论实现功能，我认为国产（芯片）完全可以满足需求。”

原文链接：
https://www.cair-cas.org.hk/article/388

《界面新闻》中科院香港创新院发布具身智能手术大模型，可用于手术指导

今年3月，多模态手术大模型CARES Copilot 1.0发布，可以在手术阶段自动识别病灶和解剖结构，以识别和辅助医生的功能为主。而CARES Copilot 2.0的突破性主要在四方面：提供高效医学搜索与内容生成功能，帮助医疗专业人士快速检索与生成结构化医学报告；提供药物相互作用、适应症与禁忌症等多层次查询，利用AI技术自动解析并生成精准用药建议；能快速生成针对呼吸系统诊断的详细且专业的手术报告；基于大语言模型技术，集成数字人定位、机器人运动控制与三维重建，实现全自动超声检查。

在1.0版本，CARES Copilot使用3000多本国内外的神经外科教材以及指南训练作为数据进行训练。刘宏斌教授表示，2.0版本的数据大幅增加，“1.0只有神经外科一个科室的数据，2.0增加了呼吸科、超声科、麻醉科等科室数据”。在手术领域，具身智能技术正逐步渗透到微创手术和手术机器人中。2.0大模型主要聚焦术中的人机交互，即大模型在手术过程中要跟医生进行互动、理解医生的提问，进一步聚焦具身应用。基于多科室的数据训练，CARES Copilot 2.0也进一步完善手术指导功能。例如在神经外科中，可以进行手术导航，给医生一些实时的提醒，比如应该看哪个部位、重点关注核磁影像上的哪个区域；麻醉科中，可以实现输血决策，在术中指导如何输血。

CAIR展厅中展出了正在打造的具身智能（Embodied AI）手术室。虽然称之为“手术室”，更多是智能的技术集合体，包括微创手术机器人、部署在边缘计算系统上的AI大模型、内窥镜、手术室监控摄像头、超声等实时影像设备。中心人员介绍指，该系统已经完成了四次的尸体实验。刘宏斌教授表示，手术室可能会在CARES Copilot 3.0时发布。

原文链接：
https://m.jiemian.com/article/12028953.html

《36氪》CAIR医疗大模型CARES Copilot 2.0正式发布，应用场景丰富至多科室

刘宏斌教授指出，根据1.0版本在多家医院的不同科室进行的测试和反馈，优化后的CARES Copilot 2.0，一方面增强回答可靠性与可追溯性，强化模型检索功能，并添加搜索功能，为医生提供方案的同时，标注信息来源。另一方面，赋予模型处理多种模态信息能力，例如药单、核磁和超声信息等。CARES Copilot 1.0在今年3月份已在神经外科开放应用，如今拓展至呼吸科，未来将推广至急诊等科室等。

商业化方面，CARES Copilot正在探索两种模式，其一是纯软件服务收费模式，为医生解决痛点后采用如按月付费的模式；其二是与医疗器械公司合作，让大模型简化器械操作，使医疗器械更易使用。展望未来，刘宏斌教授表示，进一步小型化模型，使其与手术室医疗器械结合，从而实现智能交互；同时亦将以研发为核心，通过与企业合作及推广技术，进而获取临床需求及改进技术，以此打造正向循环生态。

原文链接：
https://36kr.com/newsflashes/3051267627551616

《第一财经》大模型打入手术领域，距离实现人机交互还有多远？

随着ChatGPT等大模型落地，AI在医疗领域的应用更是被按下加速键，逐渐从影像进一步延伸到手术领域。刘宏斌教授表示，希望通过大模型来指导医生，将大模型的能力与机器人应用相结合。例如，神经外科医生通过观察内窥镜图像进行手术，如果内窥镜视野的调整由机器人来完成，医生就可以腾出一只手进行其他操作。此外，年轻医生在术中可能面临定位困难或迷路的情况，大模型能够学习并理解手术步骤，对关键解剖结构进行定位与分区，标注危险区域，并提供手术步骤的指导。在刘宏斌教授看来，人工智能的目标是增强而非取代人类，为医生提供“超人”能力。在大模型的加持下，医生与机器人无缝互动、共同协作，打造更高效和安全的手术环境。

不过，刘宏斌教授亦认为，整个手术大模型行业发展仍处于初级发展阶段，真正距离人机交互的医疗场景实现还有很长距离要走。“我们需要与医疗器械企业合作，后者提供设备端口接入大模型。近年来，医疗器械企业在人工智能医疗产品的开发方面表现活跃，但完全依靠企业自主研发并不现实，该领域需要长周期的投入。手术大模型的真正突破需要临床医生、学术研究者和产业界的紧密合作，三方协作才能实现真正有意义的创新。”刘宏斌教授表示，在手术垂类大模型方面，中国团队与国际的头部阵营并跑。中国本身有数据优势，如果能够把数据优势发挥出来，后劲发展很足。

原文链接：
https://m.yicai.com/news/102378082.html

《每日经济新闻》医疗服务立项带火AI医疗概念股，我们离人机交互的医疗场景还有一段距离

11月23日，CARES Copilot大模型迭代到2.0版本，主要聚焦术中的人机交互。刘宏斌教授介绍，以前做手术规划要翻书，决定术式后还有一系列注意事项，如肿瘤的位置、怎样开缺口，现在大模型能帮助完成这部分工作；1.0版本时，临床医生用得最多的功能是手术规划。另外，神经外科手术时间很长，医生在术中遇到一些问题需要解答也是翻书，现在可以语音互动，大模型来给出答案。此外，2.0版本还嵌入了手术导航等模块，给医生一些实时的提醒，比如应该看哪个部位、重点关注核磁影像上的哪个区域、在术中指导如何输血等。

“我们希望能用大模型指导医生，正在做大模型的能力与机器人的应用结合。”刘宏斌教授表示，神经外科医生看着内窥镜的图像做手术，如果内窥镜视野调整由机器人来完成，医生就可以腾出一只手。另外，年轻医生可能遇到的术中困难是定位、术中迷路，大模型学会理解手术步骤，可以对一些重要的解剖结构定位、分区，点亮危险区域，提供手术步骤指导。

不过尽管越来越多AI辅助技术进入临床应用，但距离人机交互的医疗场景实现还有较长距离。刘宏斌教授表示，如果能以医疗垂域大模型赋能，来结合机械臂扫图，未来医生所使用的超声检查可以像手机拍照一般简单。他还举例，传统手术室中医生想有一个好助手，但这样的好助手很难找，可行的方式是机器人经过跟医生的交互学习后，熟悉其操作方式和习惯用语，担任助手的角色。现在，他们已经在与临床医生一起开发这个功能，这也对连续学习能力提出要求。

原文链接：
https://m.nbd.com.cn/shendu/2024-11-25/3659489.html