案例类别：人工智能+跨学科融合
课程名称：数字信号处理 适用专业：光电信息科学与工程
开课学院：理学院 主讲教师：徐林丽
技术类型：深度学习
应用场景：恶劣天气下的海上航行视觉辅助
案例简介
我国沿海港口受不同程度的雨雾干扰是广泛且普遍存在的，海雾导致空气压力、温度及湿度等参数改变，并使雷达回波信号模糊，从而引发航行安全监管环节薄弱问题。本教学案例提出“雾海明眸”—雨雾环境下海上航行智能滤波成像方法，通过《数字信号处理》教学中滤波器的构造理论讲解，使用轻量化Transformer网络设计透过海雾成像的高清数字滤波器。融入深度学习算法，通过多阶段恢复策略求解逆向数字滤波器，构建多阶段滤波网络模型以重建出雨雾环境下的高清成像场景。实际应用中，构建“采集-处理-反馈”的全链接实时响应机制，并将处理后的数据实时反馈至监控平台，保证航行过程中的视觉清晰，弥补雷达传感方案的不足，以适应海上航行更完整的安全管控。
一、背景
1. 海上航行发展态势
海上航行去雨雾处理技术经历了从单一技术向融合技术、从静态到动态、从人工干预到智能化处理的发展。与此同时，多传感器融合技术在海上航行去雾的应用也日益广泛，通过融合可见光、红外、雷达等多种传感器数据，能有效提升雨雾环境下的目标识别和定位精度，现有船用红外夜视系统和船用雷达如图1所示。然现有基于多传感器融合的航行辅助系统虽然性能较好，由于需要配备激光雷达、红外热像仪等多种昂贵设备，体积大、成本高、维护难，难以在中小型船舶上普及应用。
图1 船用红外夜视系统和船用雷达
数字信号处理应用方面，2020年以前，基于物理模型的去雨雾滤波方法占据主导地位，然在复杂的海上环境中的效果有限。随着近几年人工智能技术的不断兴起与发展，其在海上航行领域也得到了有效的应用，如AOD-Net、MSCNN等模型在去雨雾领域展现出了较好的性能，但在处理非均匀雾霾和保留图像细节方面仍有提升的空间。随着Transformer架构在计算机视觉领域的广泛应用，在处理复杂海雾场景时表现出明显的优势，因此，基于Transformer的海上图像去雨雾方法逐渐成为研究的热点。
2. 现存隐患
我国海外贸易发展迅速，船舶航行的技术与港口作业能力也在不断地提升，但面对复杂雨雾天气时，仍存在很多的安全隐患和技术难题。大多数船舶在恶劣天气下的感知设备仍以雷达为主，如图2所示，图2（a）是在雾天海事场景采集的点云图，图2（b）是在晴天海事场景采集的点云图。两者相比可以发现在雾天实际采集的点云特征会因为雾气对激光信号的散射、衰减，点云分布稀疏且噪音多，目标轮廓模糊，而晴天实际采集的点云，信号清晰、密集，目标轮廓和细节完整。且雷达在雨雾天气中易受到水汽干扰，信号衰减等问题，目标识别容易出现模糊甚至丢失情况。高性能的多传感器系统的价格昂贵、能耗大、维护难，导致很多中小型船舶很难广泛使用。而现有基于数字信号处理的计算机视觉算法在晴朗天气下虽能正常运行，但在面对雨滴、水雾等光线发生变化的情况仍会导致图像质量变差，识别准确率明显下降。
（a） （b）
图2雷达点云图：（a）雾天场景下采集；（b）晴天场景下采集
如图3、4所示，附着在成像设备镜头上的雨滴会显著降低图像的质量，而这种附着雨滴或水珠普遍存在在航海行程中。此外，航海过程中另一种严重且常见的影雾气干扰也会导致视觉退化严重的现象。在面对低能见度的条件下，航海员的操作压力会显著加大，长时间依赖肉眼识别模糊画面，不仅容易疲劳，还可能因为判断偏差引发操作失误，尤其在港口进出或航道交叉区域，安全风险更为突出。
图3飞溅的水珠或雨滴附着现象
图4 室内外温差导致液化附着现象
二、案例实施情况
1. 散射逆向滤波理论设计
基于大气散射模型的基本原理，早期的图像复原的工作主要是为了确定有雾图像和清晰图像之间的相关性。假设雨雾图像同时包含雨滴和雾，如图5所示，雨滴和雾的存在不仅会遮挡，还会因折射、反射等光学现象改变雾背景的光线传播特性。 基于雨雾型为拍摄的图像得到最终的综合模型。
图5 雨雾散射图
若反转该模型，对成像传感器所采集到的雨雾图像进行逆向滤波求解，即可恢复出未散射的目标物体。
2. 深度学习方法构建
本教学案例融合数字信号处理与人工智能技术，提出了基于生成回归网络框架的小样本真实场景逆散射成像重建框架。该方法基于对雨滴散射噪声与雨雾图像散射退化的建模差异，将整个图像去散射过程分为两个互为递进的阶段，以实现从局部到全局的分层恢复。图6展示多阶段恢复框架，该框架旨在分阶段建模自然场景中复杂的光学散射过程，提升图像在雨雾等多重退化条件下的重建效果。第一阶段训练去除雨滴散射噪声子网络，还原局部高频干扰区域；第二阶段基于大气散射模型和光线传播原理，从物理本质层面描述雨雾对图像的影响，以及对雨痕轨迹、水雾的扩散形成的模糊区域进行逐像素解析，利用对雨痕轨迹、水雾扩散形成进行图像退化过程的逆运算，通过在小样本真实散射数据基础上，通过自回归式训练方法， 构建点扩散模型，并通过点扩散模型十倍放大构建雾霾数据集训练去除雾霾散射噪声子网络；第三阶段通过第一阶段雨滴去除和第二阶段去雾处理的方法相结合，最终输出具有更高感知质量与真实感的图像重建结果。
图6 深度学习多阶段恢复框架
3. 轻量化网络实现
本教学案例采用轻量化网络结构，如图7所示。输入图像经过卷积层提取图像的基础特征，之后经过编码器部分，通过下采样操作在增加通道数的同时逐步降低特征图的空间分辨率，使得网络能够在不同层级对图像特征进行逐步深入的提取，从而更好地捕捉图像中的复杂细节信息。解码器与编码器相对应，通过上采样操作恢复图像的空间分辨率的同时，利用跳跃连接将解码器与编码器对应层的特征进行融合。经过编码器和解码器的处理后，会再次使用Transformer块对特征进行进一步优化，以增强特征的表达能力。
图7 主体网络
三、案例创新突破
1. 主要创新内容
本教学案例的创新在于能对雨雾干扰下的画面进行实时处理。一方面，基于数字滤波设计逆向求解雨雾干扰造成的光学散射模型，通过建立雨滴、水雾与光线传播的数学关联，反向推导未受干扰的原始图像。该技术利用图像退化过程的逆运算，对雨痕轨迹、水雾扩散形成的模糊区域进行解析，有效消除因雨滴遮挡和散射导致的纹理缺失与色彩偏差。另一方面，多阶段策略采用分层递进逻辑，分两阶段对雨雾图像进行处理。第一阶段依托数据集训练子网络，去除雨滴高频干扰；第二阶段在小样本真实散射数据基础上，通过自回归式训练方法，构建点扩散模型，并通过点扩散模型多倍放大雾霾数据集且训练去除雾霾散射的子网络。综合第一阶段雨滴去除和第二阶段雾霾去除，对同时存在雨滴散射噪声和雨雾导致散射退化的雨雾图像进行处理，实现雨雾干扰的综合去除。阶段级自回归策略使各阶段相互关联，增强模型适应性与稳定性，最终输出高质量图像。
2. 应用实践突破
本教学方案与人工智能相结合，一是突破复杂气象适应性，在中高浓度雾、暴雨等极端场景下，仍能保持航行目标（如航标、船舶）的清晰成像；二是突破实时性瓶颈，通过优化深度学习算法，将成像处理延迟缩短至毫秒级，满足海上航行实时决策需求；三是突破多场景适配性，可兼容大小船舶雷达、监控摄像头等多类设备，实现与现有航行系统的无缝集成，为海上避碰、航道监测等实际应用提供可靠技术支撑。
在人才培养意义与价值方面，该案例搭建了“理论-技术-实践”融合的教学载体，帮助学生突破纸上谈兵的局限。一方面，让学生深入理解智能滤波算法在真实复杂环境中的优化逻辑，强化信号处理、计算机视觉等核心理论的应用能力；另一方面，通过模拟海上雨雾航行场景的实操训练，培养学生解决工程实际问题的思维，为航海技术、海洋工程等领域输送既懂理论又能落地的复合型人才，助力我国海洋强国建设的人才储备。
四、推广价值
该教学案例不仅可推广应用于船舶视觉导航，还具备在港区灯塔系统监控、海上应急搜救等场景中的使用能力，为构建全天候、全场景的海事安全保障体系提供坚实的技术支撑，具有显著的现实意义与推广价值。
五、其他相关情况
1.案例获奖情况
该教学案例经过一年的教学与应用打磨，教学反馈积极，很好地实现了科研反哺教学。该课程授课教师和学生获2025年全国高等学校电子信息类专业青年教师授课竞赛省赛三等奖1项；2025年大学生节能减排省赛二等奖1项；立项江苏省大学生创新训练省级重点项目1项；本科生参与录用学术论文1篇（EI），申请发明专利1项。
图8 青年教师授课省赛三等奖证明 图9 大学生节能减排省赛二等奖证明
图10 江苏省大学生创新训练省级重点项目证明
图11 本科生参与录用学术论文证明 图12 本科生参与申请发明专利证明
