2025年1月，全球数字医疗顶尖期刊《Npj Digital Medicine》杂志发表论文《Fusing multispectral information for retinal layer segmentation》本研究突破性地利用光学相干层析成像（Optical Coherence Tomography, OCT）设备扫描的原始数据开展光谱学分析，并融合人工智能技术，提出了一种创新的通用型方法。该方法能够显著提升基于深度学习的视网膜层分割精度，为高致盲性眼底疾病的早期发现、精准诊断和及时治疗提供了有力支持，具有重要的临床应用价值。
研究背景
在高致盲性眼底疾病的早期阶段，视网膜层厚度的变化是关键的病理特征之一。因此，精准量化视网膜层厚度对于视网膜疾病的早期诊断至关重要。然而，近年来基于深度学习的视网膜层分割精度已逐渐逼近极限。究其原因，算法研究人员在开展分割研究时，仅能依赖OCT图像中呈现的视网膜层结构纹理信息，而OCT设备厂商出于技术保密的考虑，未能提供视网膜层的原始扫描数据，这在很大程度上限制了相关研究的进一步突破。
研究方法
本研究针对视网膜层OCT图像中包含的多光谱信息（Multi-Spectral Information, MSI），从获取、验证及应用三个阶段开展了实验。
首先，在MSI的获取阶段（如图（a）所示），通过高斯整形的方式在原始光谱上截取不同光谱范围的子光谱，并生成相应的子光谱图像。
其次，在MSI的验证阶段（如图（b）所示），在获取子光谱图像的基础上，通过任意两张子光谱图像间的视网膜各层对应比值，证明了视网膜各层存在光谱差异。
最后，在MSI的应用阶段（如图（c）所示），通过构造MSI编码器，将多光谱图像组合中包含的光谱信息进行提取应用到一般的视网膜层分割方法中，为MSI在一般视网膜层分割方法上的应用提供了通用手段。
图 1 MSI的原理和应用。
（a）显示了如何从原始光谱中获得多光谱图像
（b）显示了在三个不同子带光谱图像中获取MSI
（c）显示了MSI在一般RLS方法框架中的应用。
研究结果
1.MSI显著提升视网膜层分割精度
在可见光（VMS）和近红外（NIMS） 两个光谱范围的独立数据集上，实验结果一致表明：融合MSI的视网膜层分割精度，显著优于传统仅基于OCT图像结构纹理的分割精度。其中，在定量指标mIoU上，各方法融合MSI后最高提升1.40个百分点。在定性指标上，各方法融合MSI后对于分割结果中的假阳性错误、类内类间分割错误均有明显的改善作用。
图 2多光谱图像与单光谱图像相比RLS精度提高的定量描述。
（a）-（d）显示了Enet、ReLayNet、TransUnet和AttU_net四种方法在不同光谱组合下的精度比较。
横轴中的No.1、No.2和No.3表示No.1中心波长542 nm、No.2中心波长584 nm和No.3号中心波长627 nm，光谱谱宽为63 nm。
No.1&2、No.2&3以及No.1&3分别表示No.1和No.2的组合、No.2和No.3的组合、以及No.1和No.3的组合。
图 3 RLS多光谱方法的定性描述。
（a）-（d）显示了基于四种方法（Enet、ReLayNet、TransUnet和AttU_net）在不同光谱组合下的分割结果对比。
图中的红色虚线框将明显的类内类间错误进行了标注。
（e）–（h）显示了Enet、ReLayNet、TransUnet和AttU_net四种方法的预测值和GT之间的绝对误差分布，一些区域使用局部放大图像进行标注。
2.影响MSI效果的关键因素
探究光谱数量的实验结果表明，在不同光谱范围的数据集中，随着子光谱图像数量的增加RLS精度都是先增长，光谱数量超过3以后趋于稳定。探究光谱组合的实验结果表明，在不同的光谱组合中包含的多光谱信息对视网膜层分割精度的影响程度不同。其中，NIS-OCT数据集的最佳组合为Raw&No.3&5&7，在mIoU指标上比最差组合高0.76%，VS-OCT数据集的最佳组合为Raw&No.1&4&7，比最差组合高0.76%。探究光谱谱宽的实验结果表明，NIS-OCT数据集的最佳子光谱谱宽为原始光谱0.05倍，VS-OCT数据集的最佳子光谱谱宽为原始光谱0.15倍。
图 4 MSI在NIMS数据集中提高RLS精度的主要影响因素。
（a）探索了将不同数量的近红外光谱图像顺序添加到原始光谱图像中。水平轴上的Raw表示原始光谱图像（中心波长844 nm，光谱谱宽173 nm），而&No.7、&No.5-7、&No.3-7和&No.1-7分别表示将光谱谱宽为8.6nm的第7、第5至7、第3至7和第1至7光谱图像添加到原始光谱图像中，No.1（中心波长778 nm），No.2（中心波长800 nm），No.3（中心波长821 nm），No.4（中心波长843 nm），No.5（中心波长865 nm），No.6（中心波长886 nm）和No.7（中心波长908 nm)。
（b）探索了将不同谱宽的近红外光谱图像顺序添加到原始图像中，横坐标表示原始图像光谱谱宽的倍数。
（c）探索了在原始图像上顺序添加不同组合的近红外光谱图像。
3.应用于通用方法的普适性
将MSI融合框架（包含MSI编码器）应用于五种不同的主流RLS模型（ReLayNet, EMV-Net, SegFormer, LightReSeg, AttUnet）。在VMS和NIMS两个数据集上，所有模型的性能都得到了显著提升。如NIMS上，AttUnet的mIoU提升了1.15%，在VMS上，LightReSeg的mIoU提升了0.73%。经过统计显著性检验（Wilcoxon秩和检验）证实了这种提升是显著的（p<0.05）。这充分证明了MSI融合策略是一种通用、有效的提升手段，不受特定模型或光谱范围的限制。
4.结论
这项研究首次系统性地探索并证实了：
·融合多光谱信息（MSI） 能有效突破当前仅依赖结构信息的深度学习视网膜层分割（RLS）的性能瓶颈，显著提升分割精度，为解决层内错误和层间边界模糊提供了新方案。·光谱图像的数量、谱宽和组合是影响MSI效果的核心因素，其中存在最佳谱宽范围，且最优光谱组合的筛选是未来重要方向。·所提出的MSI融合框架能无缝集成到多种现有的RLS深度学习方法中，并在可见光和近红外光谱范围内均表现出稳定的性能提升。·对研究者： 提供了提升RLS精度的新维度（光谱信息），为开发更高精度的眼科AI诊断工具奠定基础。未来可基于MSI进行病灶精分割和疾病分类研究。对OCT设备商： 研究揭示了现有设备忽略的关键信息维度（MSI）。强烈呼吁制造商开源设备采集的原始光谱数据。提供MSI功能几乎无需额外硬件成本，却能成为设备的重要技术亮点和竞争优势，推动整个OCT领域的技术升级。对患者： 更精准的视网膜层分割意味着更早、更准确地发现视网膜层厚度的细微变化，有助于在致盲性眼病早期进行干预，甚至逆转疾病进程，守护宝贵的视力。
这项研究不仅是一项技术突破，更是对OCT成像信息利用方式的一次革新。随着MSI的价值被认识和应用，我们期待一个更精准、更智能的眼科诊断新时代的到来！
