基于快速亮通双边滤波器的Retinex图像增强算法

1 引 言

随着技术的发展，生活中信息化的程度越来越高.在生活和自然场景中有大量的非均匀光照、低照度的图像产生.虽然目前非均匀照明图像的增强已经得到了广泛的研究，但对比度增强和图像自然度的保持往往是很难同时满足，但这两者对图像增强质量都是非常重要的.由于个体的主观感觉与自然图像的自然性是密切联系的，所以一种实用的办法就是从细节保真度、照明度、色彩感知等方面考虑增强后图像的自然性.对于非均匀光照、低照度图像的增强，现在有几种常用的图像增强技术：基于直方图均衡的增强技术、反锐化掩膜增强技术、基于Retinex理论的增强技术.

直方图均衡是一种简单且常用的图像增强技术，假设图像自身直方图分布比较均匀，没有整体考虑到图像的直方图的形状，生硬的将图像直方图进行动态拉伸，使其呈现出特定的分布.文献[1]是一种改进直方图均衡算法，对整体图像的亮度进行合理增强和有效保持，并且对图像的对比度进行限制，防止增强过度导致图像失真.文献[2]提出了对比度限制直方图均衡化，通过限制相似对比度的拉伸来防止对比度的过度增强.上述文献都是通过限定或者基于某些条件的去拉伸直方图，并没有实现极暗区域的亮度增强.文献[3]详细介绍了几种直方图均衡方法各自的优点和缺点.

反锐化掩膜增强技术一般是通过改善高频分量来增强图像[4].增强过程通常是：把一副图像分解成若干个频带，将较大的增强权重因子分配给高频子带，最后把所有的频带相加得到增强图像.文献[5]采用了非线性映射函数，较少某些灰度间的差异，保留灰度范围.文献[6]将直方图均衡化结合使用的一种新的反锐化掩膜滤波技术用于通用图像，可以最大化图像的熵，并通过裁剪图像的直方图来控制过度增强和增强不足.

基于Retinex增强技术的理论[7]认为图像的亮度取决于光照环境和物体表面反射率.针对早期增强后的图像往往会出现对比度、亮度超出范围导致颜色失真以及视觉效果不自然等问题.典型的算法比如低照度图像增强算法[8]对每个颜色通道的最大值进行单独的光照估计，然后在初始光照分量上细化，得到最后的光照分量，最终得到增强后的图像.文献[9]利用指数函数和S型曲线函数分别处理多级反射分量和最终照度分量，能够有效增强图像边缘细节和提升图像整体亮度，避免了色彩偏差和失真的问题.文献[10]提出多层融合和细节恢复的图像增强方法，能有效的消除光晕、增强图像亮度和突出图像细节.Hsu等人[11]利用Retinex理论和曝光融合技术来增强图像的对比度，减少低频分量的变化可能会对某些细节造成抑制影响.

为了进一步的提高非均匀照明图像的亮度和图像细节，本文基于快速亮通双边滤波提出一种新的Retinex图像增强算法.与其他增强算法相比，本文根据快速亮通双边滤波获取到的光照分量，在运行时间和处理效果上都有明显优势.由于图像的平均亮度和亮度范围与图像质量有密切的关联性[12]，同时对自然景物的统计已经得到了广泛研究和应用[13，14]，所以在反映图像亮度的光照分量上的处理对图像的增强非常重要.本文对光照分量的增强方法与以往易受到主观偏好影响的方法有所不同，通过客观多层亮度先验映射方法，使光照分量增强结果更加明显与合理.相较与其他增强算法对反射分量中大量图像细节的忽视，本文通过多尺度细节提升方法对包含大量细节的反射分量进行细节增强操作，使图像的细节更加突出，也使最终增强图像有更好的亮度、对比度、清晰度.

2 快速亮通双边滤波器(FBPBF)

双边滤波是由Tomasi和Manduchi提出来的一种具有保持边缘和降噪效果的非线性滤波器[15]，双边滤波采用基于高斯分布的加权平均的方法，用某个像素的周边像素亮度值的加权平均代表该点的强度.

2.1 亮通双边滤波器(BPBF)

亮通双边滤波(BPBF)是基于双边滤波的一种变体[16]，可用于光照分量估计，相比于双边滤波，BPBF计算更复杂，但滤波效果更好，对细节的保持更精准.在文献[16]中，BPBF对图像V通道的光照分量估计的表达如下：

(1)

其中：f(i)表示HSV色彩空间的V通道；g(i)表示BPBF的输出；Ω是执行聚合的邻域.

(2)

其中，高斯空间核φ与单边高斯范围核ψ的表达如下：

(3)

(4)

其中：θ与σ分别是各自的标准差，一般而言，标准差越小，平滑的结果越不理想，标准差越大，平滑效果越好.

2.2 亮通双边滤波器的离散傅里叶近似变换

与经典双边滤波相比，虽然亮通处理效果好，但是处理的时间成本高.在此基础上本文提出的快速亮通双边滤波(FBPBF)针对BPBF在处理时间过长的不足进行改进，通过离散傅里叶近似变换的方法，加快BPBF的处理时间，并且快速亮通双边滤波对图像的边缘细节和整体图像细节保留程度也有极大提升.

对BPBF改进的第一步是对式(4)应用离散傅里叶近似变换.但是在对式(4)进行离散傅里叶近似变换之前，还需要通过一个平滑的代理来近似不连续的范围核.这是因为在式(4)的原点处的跳跃会使傅里叶系数缓慢衰减，进而导致Gibbs现象出现，影响BPBF的改进效果.所以将式(4)最终写成高斯和阶跃函数的乘积.这一步本文使用S型函数，表达如式(5)：

(5)

其中：α>0控制原点处过渡的斜率.

S型函数对式(4)的平滑近似表达如下：

(6)

其中：S型函数平滑对离散傅里叶近似变换前后的影响对比如图1所示.

图1 S型函数平滑前后傅里叶近似的比较图

Fig.1 Comparison chart of the fourier approximations before and after sigmoid smoothing

对式(4)进行平滑近似以后，本文利用文献[17]提出的离散傅里叶近似变换技术对式(6)的k-项傅里叶近似.但是本文与文献[17]的一个最大不同是本文讨论的目标内核是不对称的，因此在这个基础上，本文需要余弦和正弦项.对于某些像素点i而言，式(6)中的参数t可以假定式(2)中的强度差为f(i-j)-f(i).所以如果一幅图像的动态范围是{0，R}，则参数t可以是{-R，R}.一般而言，最佳域是由目标内核宽度σ和近似阶数来决定的.式(6)的k-项傅立叶近似表达如下式(7)：

(7)

其中：是近似域，T是正整数.

式(7)中与傅里叶级数展开有区别，在式(7)中，分母是2T+1，而不是2T，这是因为本文选择在离散傅里叶变换之后再建模近似.那么对于固定的阶数K，可以通过最小化逼近误差来确定最佳的T和ck：

(8)

其中这些值出现在式(2)中，所以我们在t∈{-R，R}中比较了式(8)中的目标值和近似值.虽然上文中在{-T，T}上进行了近似，但是在{-R，R}上的测量出现了误差，不过客观来说，该误差是固定的，可以接受的.比如，当σ相对于R而言较小时，ε可以通过T≪R来减小(如图2所示).

图2 近似误差ε和最优T*，(R=255，ε=0.0083)

Fig.2 Approximation error ε and optimal T* when R=255

为了简化运算，可以将式(8)变换为以下表达式：

ε=‖Ac-b‖2

(9)

其中：矩阵A的列为式(7)中t∈{-R，R}复指数的余弦和正弦分量的样本；c=ck；向量b，其分量是t∈{-R，R}处Ψ(t)的样本.

由于ε依赖于式(7)中K，T以及系数ck，结合式(9)的表达式，对于固定的K和T，得到：

(10)

给定公差ε，通过上述公式就能找到最小的K，使得e(K)≤ε.可以达到执行最少数量的计算，得到所需精度的要求.

2.3 快速算法

首先基于式(7)将式(1)，式(2)中的ψ()替换成然后再将式(7)代入，便得到FBPBF对图像V通道的光照分量估计的快速算法表达：

(11)

(12)

其中：ν=2π/(2T+1)，经过上文对BPBF的离散傅里叶近似变换得到FBPBF，图像处理时间和效率得到明显提升，可以在更短时间里对待增强图像进行滤波操作，得到更好的滤波效果，保留更多的图像细节和整体色彩，为下一步增强图像亮度、对比度做好前期准备.

3 本文算法

3.1 Retinex理论

Retinex理论是Land等人提出用于模拟人类视觉系统机理的理论.他们在1970年左右发现在不同光照条件下，人眼视觉系统可以产生极其一致的色彩感知，这种特性被称之为颜色恒常性.目前Retinex理论更多用于对数字图像的处理.在Retinex理论发展的过程中，多种Retinex模型[18]被提出，多种基于Retinex的图像增强算法[19]被提出.Retinex理论认为物体自身的颜色不被物体表面反射光强度决定，而是由物体自身对周围环境光的反射能力决定，所以物体的自身色彩具有一致性，不受到非均匀光照、低光照的影响.

基于Retinex理论的图像增强算法可以同时保持图像色彩信息和对图像相关细节进行有效增强.核心在于通过去除图像的光照分量得到图像的反射分量，从而实现了对图像的增强.把模型简化，可以将图像看作是光照分量和反射分量的乘积，表达如下：

I(x，y)=F(x，y)⊗R(x，y)

(13)

其中：I(x，y)原图像，F(x，y)表示图像的光照分量；R(x，y)表示图像的反射分量，⊗表示卷积操作.

3.2 算法介绍

本文算法流程如图3所示，先将输入图像转换值HSV空间，先利用小尺度的FBPBF对V通道进行光照估计，得到小尺度下的光照分量F1和反射分量R1；因为光照分量F1包含了大量的图像细节特征，所以通过中尺度FBPBF对光照分量F1进行滤波分解得到光照分量F2和反射分量R2；同理通过大尺度FBPBF对光照分量F2进行滤波分解得到光照分量F3和反射分量R3.对光照分量F1，F2，F3采用基于多层亮度先验映射方法进行光照分量增强；利用多尺度细节增强方法对3个反射分量R1，R2，R3进行细节融合操作提升图像重要细节.最后基于Retinex理论将增强后的光照分量和反射分量融合得到最终的增强图像.

图3 本文算法流程

Fig.3 Flowchart of the proposed algorithm

3.3 基于多层亮度先验映射方法的光照分量增强

本文的多层亮度先验的信息是从2156张光照充足的室外图片中统计得到.这些光照充足的高质量室外图片满足人类对高质量图片的标准，不仅光照充足，而且图像对比度和清晰度上都有很高的质量.通过式(14)、式(15)，我们可以得出这些图片光照分量Fi(x，y)的两个重要属性：平均亮度La和亮度范围Lr.

(14)

(15)

其中：M是图像编号；Ln_a(i)=avg(Fi(x，y))表示对应图像光照分量的平均亮度；Ln_r(i)=max(Fi(x，y))-min(Fi(x，y))表示对应图像光照分量的亮度范围；光照分量的最大值是255；Fi(x，y)的亮度范围差是[255-Lr，255].

经过多次试验结果对比，选择3个尺度大小不同的快速亮通双边滤波分别为：r1=5，θ1=5，σ1=5；r2=8，θ2=8，σ2=8；r3=12，θ3=12，σ3=12.通过V通道和3种尺度的FBPBF得到光照分量F1，F2，F3的表达式如下：

F1=IV*Ls F2=F1*Lm F3=F2*Ll

(16)

其中：F1，F2，F3是对应尺度下的光照分量，Ls，Lm，Ll分别表示小，中，大尺度滤波器.

将F1，F2，F3分别代入式(17)，利用亮度先验映射方法对每个光照分量估计进行亮度增强，通过式(17)能将亮度区间映射到[255-Lr，255]，表达如下：

(17)

Ui(x，y)=(Fi(x，y))γ

(18)

其中；0<γ<1，Fie(x，y)表示增强后的光照分量.

光照分量增强步骤如下所述：

1)利用式(17)分别对3个光照分量F1，F2，F3进行亮度范围映射，得到增强后的各个光照分量Fie(x，y).

若差值大于零，则达到增强要求，输出增强后的光照分量；反之，则利用式(18)对增强后的光照分量进行伽马校正，再重复步骤(1)、步聚(2).

3.4 基于多尺度细节增强

经过上一节对V通道和各尺度下的光照分量的分解，可以得到3个包含大量细节信息的反射分量R1，R2，R3，表达式如下：

R1=Iv/F1，R2=F1/F2，R3=F2/F3

(19)

为了增强图像细节效果，提高图像增强质量，利用多尺度细节增强方法合并3个反射分量，表达如下：

Re=(1-ω1·sgn(R1))×R1+ω1×R2+(1-ω2)×R3

(20)

其中：Re表示增强细节后的反射分量；ω1，ω2是融合权重因子.

基于SSIM中的对比度相似性，ω1，ω2表达如下：

(21)

其中：μ表示图像的方差.

4 实验结果与分析

本文选择偏光照和弱照度图像进行实验验证本文算法的有效性.将本文算法与Guo等人[8]提出的LIME图像增强算法、文献[20]、文献[21]、曝光融合方法(EFF)[22]和进行实验结果对比.以上算法中涉及的参数均使用相关论文推荐进行设置.实验平台使用MatlabR2017a.

4.1 主观视觉评价

本文选择偏光照和弱光照图像来衡量本文算法的有效性.图4是偏光照条件下的实验结果对比.从图4中可以看出5张增强后图片在图片亮度上均有所提升.其中，LIME算法增强后的图片整体色彩对比度偏低，如远处汽车附近的小草、树木以及汽车表面油漆整体色彩偏浅；远处树木的顶部略有细节丢失.文献[20]整体对比度增强较为合理；但小女孩头部区域细节增强略差；汽车玻璃中的树木枝叶和房屋的亮度增强不够明显，细节较为模糊.文献[21]整体对比度偏强并且物体整体有模糊感，比如小女孩头发纹理，远处的草地、树木枝叶；天空部位的亮度过度增强导致树木顶部细节丢失.EFF算法使图像整体出现泛白现象；虽然汽车玻璃部位的亮度增强效果不错，但树木枝叶的清晰度略差；远处的汽车以及树木的顶部出现细节无法分辨的现象；小女孩头部的过度增强使头发颜色和脸部的色彩不够合理.本文算法在提升图像整体亮度的同时有效的保持了图像大多数细节纹理，图像整体对比度、饱和度、清晰度都有较大提升.对远处天空部分的亮度进行合理的调整使树木顶部细节能较好的体现；小女孩头发纹理细节增强合理，可以明显看出刘海部分的头发细节；右侧玻璃中树木枝叶的清晰度以及色彩相较于其他结果有明显提升，屋顶颜色和墙面颜色未出现过度不合理增强.

图4 偏光照图像增强效果对比图

Fig.4 Contrast of low illumination image enhancement effect

图5是弱光照下的实现结果对比.如图可知，5种算法都对原图的亮度都进行了明显增强.尤其是EFF算法，增强的程度最大，但是导致图像整体泛白，过于明亮，使图片的对比度降低，破坏了视觉效果.LIME算法对细节处理不够理想，物体边缘模糊不够清晰.文献[20]中图像色彩保持不够好，彩色板的色彩对比度没有本文的明显.文献[21]过度曝光，整体色彩过度增强，不满足人眼视觉.本文算法增强后的图像，整体亮度增强合理，图像的色彩信息基本保持.对比度、饱和度符合人眼视觉，图像清晰度也明显优于其他算法.

图5 弱光照图像增强效果对比图

Fig.5 Contrast of low illumination image enhancement effect

从上面的结果分析可知，本文算法相较于其他算法在亮度、色彩对比度、色彩饱和度、细节保持度、以及清晰度等几方面的增强都取得合理且良好的效果，整体人眼视觉感受相比也是十分良好.

4.2 客观质量评价

本文采用结构相似性测量值(Structural Similarity Index Measurement，SSIM)、峰值信噪比(peak signal to ratio，PSNR)、局部标准差平均值(Average Local Standard Deviation，ALSD)以及运行时间4种客观评价指标来评估图像增强算法的客观效果.结构相似性测量值(SSIM)反映两张图片整体的相似度，通过计算图像结构的变化值来体现图像处理后的失真程度，如果SSIM值越接近 1，则说明处理后的图像失真程度越小，两幅图像越接近.表达式如式(22)所示：

(22)

图像的 PSNR 值越高，客观说明图像不混乱，不失真.计算公式如下：

(23)

其中：maxi表示图像点颜色的最大数值，MSE表示两幅图像的均方误差.当PSNR越大，表示图像质量越好.

局部标准差平均值(ALSD)首先将图像进行分块(本文中分块尺寸为 25×25)，使用分块图像的标准差平均值作为图像对比度评价指标.

(24)

(25)

其中：M表示将原图像分成的块数，表示第i个分块上第j个位置上的像素值，表示第i个分块上的平均像素值.

表1展示了图4，图5增强结果集的对比结果.由表中数据可知，本文算法SSIM、PSNR以及ALSD客观评价指标中均是最高结果，客观表明本文算法不仅能有效的对图像亮度进行合理且良好的增强，而且对图像的色彩以及细节方面都有很好的恢复和保持.由于本文是基于快速亮通双边滤波，所以在图像处理时间上的提升非常明显.综上所述，客观评价指标的结果与主观视觉评价的描述相符.

表1 低照度图像增强算法客观评价指标比较

Table 1 Objective evaluation index comparison of low illumination image enhancement algorithm

5 总 结

针对不均匀光照和弱光照条件下图像增强出现的问题，本文提出了一种新的有明显增强效果的基于快速亮通双边滤波的Retinex图像增强算法.实验结果表示，本文算法可以在不损失视觉质量的前提下按顺序加速过滤，处理时间更快，可以有效的估计图像的光照分量.在视觉感知和质量度量方面与其他的算法相比具有不错的竞争力.对增强过程中出现的增强过度、增强不足、对比度低、光晕以及细节模糊等问题有较为明显的改进，很好的保持了图像物体细节和边缘细节，有效增强亮度以及图像整体对比度.采用快速亮通双边滤波器从HSV空间的V通道获取了图像的光照分量和反射分量；然后基于高质量图像的多层亮度先验映射方法和基于多尺度细节增强方法分别对光照分量和反射分别进行亮度、对比度增强和图像细节提升.实验结果表明，本文算法能够有效的增强图像亮度和对比度，突出图像细节，体现了本文算法的优越性.