【东南大学-朱鹏飞组-ICML25】用于退化的多模态图像融合的任务门控多专家协作网络
文章：Task-Gated Multi-Expert Collaboration Network for Degraded Multi-Modal Image Fusion
代码：https://github.com/LeeX54946/TG-ECNet
单位：东南大学
一、问题背景
多模态图像融合是安防监控、应急救援等场景的核心支撑技术，通过融合可见光与红外图像的互补信息，能显著提升复杂环境下的视觉感知能力。但实际应用中，成像设备易受外界干扰：
可见光图像常面临噪声、模糊、雾霭等混合退化；
红外图像因传感器特性，易产生明暗交替的条纹噪声；
传统“先修复后融合”方案成本高、信息损耗大，现有一体化模型应对复杂退化能力不足，导致融合图像质量差、下游任务鲁棒性低。
二、方法创新
针对上述痛点，研究团队提出任务门控多专家协作网络（TG-ECNet），以“一体化框架+智能适配”思路实现退化图像的修复与融合，核心创新包括三点：
1. 统一任务框架
首次将多模态图像修复与融合任务整合到单一端到端模型中，避免传统串联方案的信息断裂问题，实现“一次输入、双重优化”的高效处理。
2. 任务感知门控与多专家协作
退化感知门控：自动识别输入图像的退化类型（噪声、模糊、条纹等），动态选择最优专家组进行针对性修复；
融合感知门控：通过多专家协作，智能权衡不同模态的特征贡献，精准聚合互补信息，兼顾修复效果与融合质量。
3. 两阶段训练策略
第一阶段：聚焦修复任务，优化模型对各类退化的处理能力；
第二阶段：专注融合任务，在不干扰修复效果的前提下，提升多模态特征整合精度，实现双任务的平衡优化。
4. 大规模基准数据集
构建含3万余组数据的DeMMI-RF数据集，覆盖6种退化类型（高/中/低高斯噪声、雾霭、散焦模糊、条纹噪声），包含无人机、驾驶等多视角场景，为相关研究提供可靠基准。
三、实验结果
在DeMMI-RF和EMS两大数据集上，TG-ECNet全面超越DRMF、Text-IF等主流模型，表现亮眼：
1. 定量指标领先
在CC（相关性）、PSNR（峰值信噪比）、MS-SSIM（结构相似度）等核心指标上均排名第一，其中PSNR达30.58，显著高于传统模型的29.5左右，说明图像质量与结构完整性更优。
2. 复杂场景表现突出
极端噪声场景：能有效降噪并保留细节，而其他模型易出现模糊或噪声残留；
雾霭+模糊混合退化：平衡去雾与去模糊效果，避免颜色失真；
红外条纹噪声：精准抑制条纹同时，完整保留热目标信息，融合图像更清晰自然。
3. 下游任务鲁棒性强
将融合结果输入YOLOv5（目标检测）和Grounded-SAM（分割）模型，mAP50达0.969，分割准确率显著优于其他方法，能精准识别目标轮廓，避免误分、漏分。
四、优势与局限
核心优势
适配性强：无需提前定义退化类型，自动适配多种单一及混合退化场景；
效率更高：端到端框架减少中间环节，模型参数160.86M，兼顾性能与部署可行性；
实用性广：覆盖无人机、驾驶等多视角数据，适配安防、救援等实际应用场景。
现存局限
模型对超极端混合退化（如强噪声+厚雾+重度模糊）的处理效果仍有提升空间；
相比部分轻量模型，推理速度虽满足实用需求，但在实时性要求极高的场景（如高速移动目标监控）需进一步优化。
五、一句话总结
TG-ECNet通过任务门控与多专家协作机制，构建了退化多模态图像修复与融合的一体化框架，在复杂场景下实现了融合质量与下游任务鲁棒性的双重突破，为安防、救援等领域的高可靠视觉感知提供了新方案。