該研究由Jiashu Han、Kunzan Liu、Keith B. Isaacson、Kristina Monakhova、Linda G. Griffith及Sixian You共同完成,文章題為《System- and sample-agnostic isotropic three-dimensional microscopy by weakly physics-informed, domain-shift-resistant axial deblurring》,于2025年1月在線發(fā)表于《Nature Communications》。
重要發(fā)現(xiàn)
01核心貢獻(xiàn):突破軸向分辨率瓶頸的新框架
SSAI-3D的核心貢獻(xiàn)是構(gòu)建了一套不依賴特定系統(tǒng)或樣本的各向同性三維成像解決方案,解決了傳統(tǒng)光學(xué)顯微鏡軸向分辨率差、域轉(zhuǎn)移(訓(xùn)練與測試數(shù)據(jù)分布差異)導(dǎo)致模型泛化差等關(guān)鍵問題。其核心思路是將各向同性分辨率恢復(fù)轉(zhuǎn)化為半盲去模糊問題,借助預(yù)訓(xùn)練的自然場景去模糊網(wǎng)絡(luò)(NAFNet),通過自監(jiān)督學(xué)習(xí)和稀疏微調(diào),讓模型適配不同顯微鏡和生物樣本的成像特性。
02實驗過程:從數(shù)據(jù)生成到模型優(yōu)化的創(chuàng)新設(shè)計
在技術(shù)實現(xiàn)上,SSAI-3D分為兩步。第一步是生成自監(jiān)督訓(xùn)練數(shù)據(jù)集:先對高分辨率橫向圖像進(jìn)行去噪,再用25種不同尺寸(高斯核標(biāo)準(zhǔn)差3-7像素)和方向(旋轉(zhuǎn)-45°至45°)的點擴(kuò)散函數(shù)(PSF)進(jìn)行人工模糊,構(gòu)建“模糊圖像-清晰圖像”配對數(shù)據(jù)。這種基于弱物理信息的合成方式,不依賴精確的光學(xué)模型,卻能讓網(wǎng)絡(luò)學(xué)習(xí)顯微鏡的普遍模糊規(guī)律,增強(qiáng)對未知像差和噪聲的魯棒性。
第二步是稀疏微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò):采用含約1.5億參數(shù)的NAFNet作為基礎(chǔ)(該網(wǎng)絡(luò)已在5萬張自然圖像上訓(xùn)練,具備強(qiáng)大去模糊能力),通過“手術(shù)網(wǎng)絡(luò)”(6層MLP)篩選出對顯微鏡圖像適配最關(guān)鍵的10%層進(jìn)行微調(diào),凍結(jié)其余90%層以保留自然場景學(xué)習(xí)到的去模糊能力。“手術(shù)網(wǎng)絡(luò)”通過14種零射指標(biāo)(如激活值均值、梯度標(biāo)準(zhǔn)差等)評估各層重要性,確保微調(diào)高效且不引發(fā)過擬合。
03實驗結(jié)論:在多樣場景中驗證的高穩(wěn)健性在真實生物樣本中,SSAI-3D適配多種顯微鏡(光片、共聚焦、寬場、非線性顯微鏡)和樣本類型:對活的人血腦屏障類器官,能清晰恢復(fù)血管內(nèi)皮細(xì)胞結(jié)構(gòu);對新鮮人子宮內(nèi)膜組織(含定向膠原和極性腺體,低橫向-軸向相似性),可準(zhǔn)確還原腺體軸向細(xì)節(jié);對小鼠胡須墊組織,通過二次諧波成像(SHG)恢復(fù)的纖維結(jié)構(gòu)更清晰。
此外,在系統(tǒng)缺陷(如空間變化PSF、低光噪聲)測試中,SSAI-3D優(yōu)勢顯著。當(dāng)PSF因像差呈空間變化,或圖像含高斯與泊松噪聲時,其結(jié)構(gòu)相似性(SSIM)遠(yuǎn)高于SelfNet和CARE,甚至在軸向分辨率比橫向差7倍時,仍能保持一定恢復(fù)能力。
創(chuàng)新與亮點
01突破傳統(tǒng)方法的固有局限
傳統(tǒng)軸向去模糊方法存在諸多瓶頸:監(jiān)督學(xué)習(xí)需配對的各向同性數(shù)據(jù)(難獲。,GAN類無監(jiān)督方法易崩潰生成虛假結(jié)構(gòu),CARE等方法依賴精確PSF模型(而真實成像中PSF因像差、散射呈空間變化),且多數(shù)方法假設(shè)橫向-軸向相似(對極性組織失效)。
SSAI-3D則實現(xiàn)多重突破:無需精確PSF模型,通過多樣化PSF合成數(shù)據(jù)適配普遍模糊規(guī)律;不依賴橫向-軸向相似性,借助預(yù)訓(xùn)練網(wǎng)絡(luò)的強(qiáng)泛化能力,在低相似性樣本(如腺體、纖維)中仍穩(wěn);通過稀疏微調(diào)(僅修改約1500萬參數(shù)),訓(xùn)練時間比現(xiàn)有方法縮短2.5-3.5倍,且避免全量微調(diào)導(dǎo)致的域轉(zhuǎn)移敏感問題。
02技術(shù)創(chuàng)新:弱物理信息與稀疏學(xué)習(xí)的結(jié)合例如,在小鼠全腦成像中,SSAI-3D恢復(fù)的神經(jīng)元結(jié)構(gòu)與硬件校正的mesoSPIM顯微鏡結(jié)果接近,神經(jīng)元提取準(zhǔn)確率達(dá)97%;在mitochondria成像中,其測量的DNApuncta體積與多視角共聚焦結(jié)果高度一致,為下游生物分析(如細(xì)胞結(jié)構(gòu)量化、疾病相關(guān)形態(tài)變化檢測)提供可靠數(shù)據(jù)。
總結(jié)與展望
SSAI-3D通過弱物理信息自監(jiān)督學(xué)習(xí)和稀疏微調(diào),突破了傳統(tǒng)光學(xué)顯微鏡軸向分辨率低、模型泛化差的局限,實現(xiàn)了跨系統(tǒng)、跨樣本的各向同性三維成像。其優(yōu)勢在于無需精確光學(xué)模型、不依賴樣本結(jié)構(gòu)假設(shè)、訓(xùn)練高效,已在多種顯微鏡和生物樣本中驗證了高穩(wěn)健性。未來,隨著技術(shù)優(yōu)化(如處理更強(qiáng)軸向分辨率差異、適配相干成像的復(fù)雜PSF),SSAI-3D有望成為神經(jīng)科學(xué)、發(fā)育生物學(xué)、癌癥研究等領(lǐng)域的核心工具,助力揭示三維生物結(jié)構(gòu)與功能的深層關(guān)聯(lián)。
DOI:10.1038/s41467-025-56078-4.