近日，醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院雷柏英、汪天富教授團(tuán)隊(duì)在知名期刊IEEE Transactions on Medical Imaging（影響因子8.9）上發(fā)表題為“FAMF-Net: Feature Alignment Mutual Attention Fusion with Region Awareness for Breast Cancer Diagnosis via Imbalanced Data”的學(xué)術(shù)論文。深圳大學(xué)博士生柳懿垚為第一作者，教授汪天富、特聘教授雷柏英為通訊作者，深圳大學(xué)為第一作者單位和通訊單位。

多模式超聲圖像中乳腺癌的自動準(zhǔn)確分類對于提高患者的診療效果、節(jié)約醫(yī)療資源至關(guān)重要。在深入研究中，多模態(tài)超聲圖像的融合經(jīng)常遇到諸如錯(cuò)位、互補(bǔ)信息利用有限、特征融合的可解釋性差以及樣本類別不平衡等挑戰(zhàn)。為解決上述問題，團(tuán)隊(duì)引入了一種特征對齊相互關(guān)注融合方法（FAMF-Net），該方法能有效融合未對準(zhǔn)的多模態(tài)乳腺超聲圖像，并優(yōu)化了不平衡數(shù)據(jù)上的乳腺腫瘤分類效果。具體而言，該方法通過平移變換在類激活圖（CAM）上應(yīng)用區(qū)域感知對齊（RAA），解決圖像錯(cuò)位問題，實(shí)現(xiàn)了更好的特征交互融合。其次，引入了一種互注意力融合（MAF）機(jī)制，以交互方式融合B模式特征和剪切波彈性圖像特征，針對兩種模態(tài)的邊緣和顏色特征進(jìn)行針對性優(yōu)化，從而實(shí)現(xiàn)了兩種模態(tài)特征的可解釋和有效融合。最后，設(shè)計(jì)了一種基于強(qiáng)化學(xué)習(xí)的動態(tài)優(yōu)化策略（RDO）來調(diào)整損失函數(shù)的權(quán)重，減輕數(shù)據(jù)不平衡對分類性能的不利影響。該方法的有效性在團(tuán)隊(duì)基于臨床獲得的數(shù)據(jù)集和公開數(shù)據(jù)集均得到了驗(yàn)證。

上述研究依托于廣東省生物醫(yī)學(xué)信息檢測與超聲成像重點(diǎn)實(shí)驗(yàn)室和醫(yī)學(xué)超聲關(guān)鍵技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室開展，并得到了國家自然科學(xué)基金、廣東省自然科學(xué)基金、深圳市自然科學(xué)基金、博士后基金、粵港科技合作資助計(jì)劃、香港研究資助局一般研究基金等項(xiàng)目的資助。

原文鏈接：https://ieeexplore.ieee.org/abstract/document/10742894