臺大研究成果系列報導—重點科技研究學院蕭輔仁助理教授:新擴散模型Med-DDPM提升3D腦部合成影像還原度

臺大重點科技研究學院合聘的醫學院助理教授蕭輔仁與研究團隊,引入一種名為Med-DDPM的擴散模型,專為3D語義腦部MRI合成而設計,以解決人工智慧 (AI) 在醫療保健領域,尤其是在醫學影像方面,會面臨的數據稀缺和隱私問題。該模型通過整合語義條件來有效應對數據稀缺和隱私問題,這包括將條件圖像按通道方式連接到模型輸入,從而在圖像生成中實現控制。此研究成果已於今年發表於IEEE Journal of Biomedical and Health Informatics期刊。

在醫學影像合成任務中,生成對抗網絡 (GAN) 是一種廣泛使用的方法,但它們面臨著訓練不穩定、模式崩潰和梯度消失等問題。此外,許多GAN技術主要集中在二維 (2D) 圖像上,這無法滿足醫學影像中的三維 (3D) 數據需求。一種常見的方法是生成2D切片並將其堆疊以創建3D圖像,這可能會導致空間不一致性並忽略3D上下文信息。合成有意義的高分辨率3D合成醫學圖像,特別是針對大腦等複雜器官,仍然具有挑戰性。

然而,最近擴散模型 (Diffusion Model) 在生成高質量、現實圖像方面取得領先地位,引起探索其在醫學影像領域潛在應用的興趣。多項研究已經探討使用擴散模型進行3D醫學影像合成,而團隊之前的工作3D-DDPM是文獻中首次應用擴散模型進行3D腦部MRI無條件合成,展示其優於GAN模型的優勢。

為解決醫學影像領域中有限標註數據和隱私問題的挑戰,研究團隊提出一種新的方法,Med-DDPM,將分割遮罩 (Segmentation Mask) 納入計算過程中,以實現像素級可控的3D腦部MRI合成。此方法使得生成高分辨率、語義引導的3D腦部圖像成為可能,並具有擴展到醫學領域內各種圖像到圖像翻譯任務的潛力。研究中使用原始臨床腦部MRI數據進行實驗,特別是考察合成圖像對腫瘤分割任務性能的影響,使用3D U-Net模型進行測試。結果顯示,Med-DDPM展示比現有3D腦部影像合成方法更優越的穩定性和性能。它能生成多樣且解剖結構一致的高視覺保真度圖像。在腫瘤分割任務中,Med-DDPM的dice得分達到0.6207,接近真實圖像的0.6531,並且優於基線模型。結合真實圖像後,它進一步將分割準確率提高到0.6675,展示此方法在數據增強方面的潛力。這個模型首次在3D語義腦部MRI合成中使用擴散模型,生成高質量圖像。其語義條件特性還顯示出在生物醫學影像中實現圖像匿名化的潛力,解決數據和隱私問題。

研究成果全文:https://ieeexplore.ieee.org/document/10493074

To Top