在自动驾驶的过程中，图像语义分割是其视觉系统中很重要的一环，现有的不少算法在晴天条件下对图像进行处理表现良好，但是一旦出现如雾天等恶劣天气，原有系统对图像的处理效果将大大降低。
本课题旨在通过算法途径，以图像复原为手段，提升图像理解算法在雾天条件下的感知能力，基于大气退化物理模型对雾天图像进行语义分割。
摘要
本毕业设计研究的主要内容是自动驾驶环境下雾天图像的语义分割。作为自动驾驶汽车视觉系统中的重要一环，语义分割的准确度直接影响了自动驾驶汽车的安全性能。现有的语义分割算法在晴朗天气下表现良好，但是在一旦遇到如大雾等不良天气，其分割效果就会大打折扣。为了解决雾天图像的语义分割问题，本次实验利用基于雾天成像物理模型的深度卷积神经网络对雾天图像进行复原，恢复出去雾图像，再在去雾图像上进行语义分割，提高雾天环境下语义分割的准确度。
针对自然条件下难以获得同一场景的无雾/有雾图像对数据的问题，本文选择Cityscapes室外街景晴天图像来合成有雾图像。通过双目视差恢复出原始深度映射，再基于分割进行深度的补全，依照设定的大气散射系数，由深度图像得到相应的传输率图像，再根据雾天大气退化原理合成不同浓度下的有雾图像。该方法合成的有雾图像效果逼真，为后续神经网络的训练提供了大量的无雾/有雾图像对。
针对语义分割受到雾天场景影响的问题，本文提出了一个先图像复原再语义分割的框架。基于雾天大气退化模型，先对传输率进行估计，再生成相应的去雾图像。本文构建了一个深度卷积网络以增大模型的表达能力，同时为了避免网络加深导致的梯度消失问题，引入了残差模块。对网络的去雾效果从视觉指标和定量化指标（PSNR、SSIM）两个维度进行评价，验证了该网络去雾的有效性。
为了进一步验证图像复原工作对语义分割的促进作用，本文将AOD-Net和本文算法模型所得的去雾图像分别输入语义分割网络，与数据集标签进行比较，得到分割的准确度。实验证明，本文提出的去雾网络相比于AOD-Net不仅在图像质量评价指标上有着显著提升，还进一步提升了语义分割的准确度，验证了本文网络对雾天场景语义分割的巨大促进作用。
关键词：雾天图像的合成；深度卷积网络；单幅图像去雾；雾天图像的语义分割
合成雾图
参考Semantic Foggy Scene Understanding with Synthetic Data
雾天图像退化模型
光线在大气中传播的过程中会接触到空气中的颗粒，形成散射，使得原方向上的光线强度衰减，能量发散到其他方向。随着雾的浓度的增大，空气中的颗粒也就愈加密集，光的散射程度也随之增加。
雾天图像退化模型中，光学传感器接收到的光分为两个部分：一是目标物体反射的光，反射光从目标物体传播到光学传感器，途中会受到空气颗粒的散射，导致光强减小；二是周围的环境光，也叫大气光，由大气中其他光源散射至光学传感器。
根据能量守恒定律，目标物体反射光中散射掉的比例应等于大气光散射到光学传感器的比例，由此可以得到以下雾成像机理的线性模型
其中，I(x)为有雾图像，J(x)为晴天图像，t(x)为中间介质透射率（即目标物体反射光中成功到达相机，没有被散射掉的光的比例），A为全局大气光强。有雾图像I(x)可分为衰减模型J(x)t(x)和环境光模型A(1-t(x))。
雾合成
根据雾成像机制公式
要从晴图R(x)得到雾图I(x)，还需要两个参数——中间透射率t(x)和大气光L。
求中间透射率t(x)
数据集通过双目相机对街道进行拍摄，再通过双目匹配算法可以得到以下输入：
- 晴图左通道R
- 晴图右通道Q
- 双目相机参数
- 预估视差D
- 无视差值D的所有像素点集合
计算中间透射率t(x)的步骤：
- 通过视差D计算出大致的深度图d
- 去噪，完成一个以米为单位的深度图d’
- 从深度图d’得场景距离图l