English
导航菜单
近日，第26届医学图像计算与计算机辅助介入国际会议（26th International Conference on Medical Image Computing and Computer Assisted Intervention, MICCAI 2023）在加拿大温哥华举行，上海交通大学电子信息与电气工程学院人工智能研究院杨小康教授、沈为副教授指导的2021级博士研究生杨辰凭借在快速高质量人体组织重建方面的研究《Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues》获 MICCAI 2023 青年科学家奖。该奖项每年从中稿文章中评选出5篇最佳论文，授予一作作者。今年共有2250篇投稿文章，中稿文章730篇。
论文：Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues
作者：Chen Yang, Kailing Wang, Yuehao Wang, Xiaokang Yang, Wei Shen(通讯作者)
论文链接: https://arxiv.org/abs/2305.19906
代码地址: https://github.com/Loping151/ForPlane
MICCAI是医学图像计算与计算机辅助介入领域最大、最有影响力的国际学术会议，涵盖医学成像、人工智能、计算机视觉、外科机器人和医疗应用的扩展现实技术等多个跨学科领域。MICCAI青年科学家奖的候选名单需要经过三轮论文评审产生，包括专家盲审、主席团评审和评审团评审。评审委员会根据论文的质量与评分，来评选出最终的获奖论文。该奖项是对青年研究人员撰写的高质量论文的认可。
在外科手术中，从内窥镜视频中重建可变形组织是医学图像计算领域极其重要和极具潜力的研究方向。高质量的组织重建可以帮助外科医生识别和避开关键结构，如血管、神经等，同时也可以更好地帮助医生观察判断肿瘤、肿大淋巴结等病变。然而，对现有的方法来说，准确识别以及将结构和病变可视化仍是一项挑战，同时这些方法需要耗费大量时间训练和推理，大大地限制了在手术中的实际应用。
针对以上问题，团队提出了一种名为“LerPlane (Linear interporalation Plane )”的新方法，在单一视点的情况下，能够快速且准确地重建4D手术场景。通过将四维动态手术场景拆解为一个静态场和一个动态场的叠加形式来建模四维时空，从而有效降低重建难度；通过将静态场和动态场进一步分解为六个有限分辨率的特征平面来建模，从而降低重建的计算开销；通过设计一种新颖的自适应采样方案为不同组织区域赋予不同的采样权重，重点关注更难重建的区域，实现计算的高效分配。整体的训练流程如下图所示:
研究创新点包括：
1. LERPLANE提出一个与时域无关的静态场（图1中static field）和一个与时域相关的动态场（图1中dynamic field）来重建4D手术场景，每个场均由三个互相正交的有限分辨率特征平面构成，将连续的动态手术过程建模成静态场和动态场的组合，大大地减轻了动态组织重建的工作负担。
2. 对于时空中的任意一点，Lerplane将其投影到对应平面上并通过线性插值获取其对应特征，并进行特征融合，这一方式能够将优化整个连续时空变成了优化有限分辨率的特征平面，大大降低了优化难度，使Lerplane能够使用轻量级的神经网络重建手术场景，有效地减少了对算力的占用，极大地提高了收敛的速度。
3. 提出了一种新颖的自适应采样方案，在手术器械频繁遮挡或组织大幅度运动的区域实现了更大的采样概率，使得这些“困难画面”的重建效果更好，显著地增强了该区域的重建细节。（如图1所示）
图1.LERPLANE重建4D手术场景流程
为了证明Lerplane的快速高质量重建能力，研究团队在DaVinci机器人手术视频上进行了大量的实验，并和当前SOAT的方法：E-DSSR (MICCAI 2021)和EndoNeRF (MICCAI 2022, Young Scientist Award)进行了对比。
实验表明，基于SLAM的E-DSSR方法在完全重建手术场景方面存在困难，画面不完整、并有嘈杂点，数值性能较差；基于NeRF的EndoNeRF方法能够高度保真地重建可变性组织，但耗时长，需要14小时左右进行优化，限制了在手术中的应用。与上述方法相比，本文提出的LerPlane仅需3分钟的优化时间，便能获得与EndoNeRF相媲美的结果，速度提升了近280倍。进一步地，在10分钟的优化时间下，LerPlane在所有度量标准上均优于E-DSSR和EndoNeRF，如表1所示。
表1.不同方法在EndoNeRF数据集上的表现，PSNR，SSIM，LPIPS，FLIP一般用来衡量重建的图像质量，其中PSNR，SSIM越高越好，LPIPS，FLIP越低越好
图2. 与其他SOTA的重建结果比较，Lerplane在保证高速收敛的同时能够最大程度地保留组织的纹理细节
本文提出的Lerplane方法，在加速计算优化的同时，面对各种非刚性变形的情况，仍能获得高质量的结果，在医学领域的实践应用中具有广阔的前景，如支持外科手术的术中可视化，有效帮助外科医生掌握手术情况；提供完整的4D手术过程，帮助医学生更好地学习培训；能够逆向解析手术过程，从而合成高质量仿真数据用于机器人手术算法训练等。
地址：上海市东川路800号学院概况
邮编：200240 邮箱：seiee@sjtu.edu.cn
Copyright © 2022上海交通大学电子信息与电气工程学院 版权所有
欢迎关注上海诚聘英才公众号