基于光场相机的深度面光场计算重构

1　引　言

光场(Light field)的含义最早由Gershun等人于1939年提出[1]。光场采集方法主要分为直接采集和简介采集两类，直接采集方法包含相机阵列积分成像[2]光场相机成像[3]。间接光场采集方法包含单相机分时成像[4]和掩膜编码成像。随着微纳光学的不断发展，微透镜阵列的加工水平不断提升[5-7]，光场相机的成像质量不断提升。由于光场相机抗干扰能力强、轻巧便携且操作简便，这种新型光场采集系统愈发引起了研究人员的关注。在传统相机成像中，物方场景光线的方向和强度信息被压缩到二维成像平面上，丢失了光线的方向信息。光场相机通过在主镜组和传感器间特定位置插入微透镜阵列，实现在采集物方光强的同时记录光线方向信息。光场相机作为计算光学领域一项革命性的光场采集系统[8]，通过计算机图像处理，可实现拍摄后焦距和视角变换功能，打破了传统相机对焦距、视角和孔径的束缚[9-11]，也解决了相机阵列和可控相机成本高昂及操作复杂的问题。相比于其他方法，光场相机光场采集有两个优点：第一，光场采集的四维光场信息通过后期计算处理可实现连续深度和视角变换；第二，操作便捷，不需要高昂的相机阵列或者高精度可控相机。

R.Ng等人于2005年提出了针对四维光场的投影切片理论[12]，指出深度面是四维光场的某一二维切片，将传统的投影切片理论延伸到光场成像领域，为深度面计算重构在光场重构的应用奠定理论基础。近年来，光场重构技术在国内外发展很快，国内光场重构研究大多基于数字掩膜编码后的图像序列，2014年刘永春等人研究了基于掩膜的光场采集与光场重建[13]。国外则偏重对图像序列的光场逆向重构，2015年Lam等人将计算光学引入光场成像领域[14]，基于Lam的理论，Mousnier等人于2015年利用全清图像和间断深度图像，实现了局部光场重构[15]。此后，2016年Alonson等人利用间断的深度图通过滤波迭代方法实现了完整光场重构[16]。本文搭建了轻巧便携、抗干扰能力强的光场相机，利用采集的原始光场信息，应用广义傅里叶投影切片定理获取连续的深度面图像，通过背投的方式实现了原始光场的逆向重构。相比于其他算法，深度面计算重构对原始光场图像质量的要求不高，重构图像质量更优，运算效率更高，算法稳定性更强。利用深度面计算重构的得到的数据可进一步获取物方光场的深度和轮廓信息，在三维测量、逆向工程等领域有较高的理论和实践价值。实验证明，深度面计算重构可应用于光场相机采集的光场信息重构中，并且有较高的稳定性和精度。

2　计算重构原理

2.1　光场成像模型

如图1所示，光场相机主要由主透镜组、微透镜阵列和感光元件3大部分组成。本文的研究基于Gortler1996年提出的光场双平面参数化表征[13]，设主镜面为(u,v)，u为纵坐标，透镜阵列面设为(s,t)，s为纵坐标，传感器面为(xF,yF)，xF为纵坐标，深度面为(xF′,yF′)，xF′为纵坐标。光场中的所有光线信息可以用LF=(u,v,s,t)这种四维形式表示。

图1　光场相机成像原理及参数化表征
Fig.1　Imaging principle and parametric representation of light field camera

2.2　深度面重构模型

如图2所示，(xF,yF)为传感器面，距主光瞳面F,(xF,yF)处光场可表示为LF(xF,yF,u,v)，当聚焦在距光瞳面距离F′位置时，(xF′,yF′)处光场可表示为LF′(xF′,yF′,u,v)，重构图像可表示为E(F′,xF′,yF′)。

图2　深度面重构原理
Fig.2　Reconstruction based on focal stack theorem

由于光线延直线传播，穿过(xF,yF)和(xF′,yF′)平面的为一条光线，可以得到：

LF′(xF′,yF′,u,v)=
LF(x,y,u,v)=L(x,y,u,v)，

(1)

(x,u)和(xF,u)及(y,v)和(yF,v)的映射关系可通过式(2)中转换矩阵得到。

，

(2)

式中α=F′/F。

由此可得F′位置的光场函数为：

LF′(x,y,u,v)=
LF(αx+(1-α)u,αy+(1-α)v,u,v)).

(3)

本文定义P为从光场传感器深度F到深度面F′的操作因子，因此深度面图像可表示为：

E(F′,xF′,yF′)=P[L(x,y,u,v)]=

xF′,αy+(1-α)v-yF′)dudvdxdy，

(4)

式(4)中E(F′,xF′,yF′)是光场相机采集四维光场在F′位置处的深度面重构，δ(αx+(1-α)u-xF′,αy+(1-α)v-yF′)为投影积分偏移核函数。由于光路的可逆性，通过获取不同位置的深度面重构信息可以实现物方光场重构。

2.3　投影切片定理

光场重聚焦即深度面重构方法主要分为两类，一种是计算积分成像，另一种是基于广义傅里叶投影切片定理的深度面重构，由于光路可逆性，通过不同深度面图像，可以逆向重构物方光场。利用投影切片定理的深度面重构相对于计算积分成像，有更高的效率，重构图像具有更高的分辨率，因此本文应用投影切片定理重构连续不同深度面图像信息。图3为投影切片定理原理图。

图3　投影切片定理
Fig.3　Projection slice theorem

根据广义傅里叶投影切片定理，F′位置E(F′,xF′,yF′)是四维物方光场L(x,y,u,v)沿特定方向的一个二维切片。根据式(4)可得到：

E(F′,xF′,yF′)
=∬exp(-2πi((αx+(1-α)u-xF′)ω1,(αy+(1-α)v-yF′)ω2))dω1dω2dudvdxdy
=∬，

(5)

进一步变换可得：

.

(6)

对式(6)两侧分别进行傅里叶变换得到:

，

(7)

式(7)中F[E(F′,xF′,yF′)]代表E(F′,xF′,yF′)的傅里叶变换。可以看出，F[E(F′,xF′,yF′)]是L(ωx,ωy,ωu,ωv)的某一二维切片，其中：

.

(8)

由此可以证明出，通过光场相机采集的光场信息经过投影切片运算，理论上可以得到连续不同深度面重构图像。

3　深度面光场算重构算法

根据前文光场成像模型和基于广义傅里叶投影切片定理的深度面重构算法，本章推导和证明了深度面光场重构方法。

3.1　光场计算重构原理

根据式(5)中选取的投影切片，我们可以得如式(9)中的积分变量替换关系。

，

(9)

其中J1和J2为雅各比行列式分别为：

.

(10)

通过行列式运算可以得出：

.

(11)

四维光场L(x,y,u,v)的四维傅里叶变换可表示为L(αω1,αω2,(1-α)ω1,(1-α)ω2)。因此可以得到：

L(x,y,u,v)
=
　(2πi(xωx,yωy,uωu,vωv)dωxdωydωudωv
=
　(2πi(xαω1,yαω2,u(1-α)ω1.
　v(1-α)ω2)dωxdωydωudωv，

(12)

将式(11)带入得到：

L(x,y,u,v)

　(2πi(xαω1,yαω2,u(1-α)ω1,v(1-α)ω2)
.

(13)

将投影切片定理中(5)式带入得到：

L(x,y,u,v)

　(2πi(xαω1,yαω2,u(1-α)ω1,v(1-α)ω2)
.

(14)

带入转换矩阵(2)得到：

L(x,y,u,v)



　(2πi(xF′ω1,yF′ω2)dω1dω2ds.

(15)

进一步化简得到：

，

(16)

通过式(15)和(16)证明了深度面重构方法可应用于光场相机光场重构中。

3.2　重构光场低通滤波

式(15)和(16)为理想重构公式，由于光场相机内部微透镜阵列边缘存在衍射现象，传感器接收图像边缘不够清晰，本文采用sinc低通滤波的方式，对重构光场进行减噪处理，如式(17)为sinc滤波函数。

Dsinc(ω1,ω2)=ω1ω2sinc(ω1,ω2)Rect(ω1,ω2)
，

(17)

式(17)中Rect(ω1,ω2)为窗函数，Bω1和Bω2分别为ω1和ω2的频谱宽度。滤波后的重构光场表示为：

.

(18)

如图4所示，为基于光场相机的深度面光场重构流程图。

图4　光场重构流程图
Fig.4　Flow chart of light field reconstruction

4　实验结果与分析

为验证该方法可行性与有效性，搭建了含有微透镜阵列的单相机光场采集系统，如图5所示为搭建完成的光场采集系统。

图5　光场采集系统
Fig.5　Light field acquisition system

利用搭建的光场采集系统，通过2.3节基于广义投影切片定理的深度面求解算法，得到不同深度面图像。以中心视场为例，在0.5～1.5值域内选取12个不同值，重构深度面图像。通过求解峰值信噪比对不同深度图像进行质量评估。由图6可以看出，各深度峰值信噪比(Peak Signal to Noise Ratio)在25～35 dB之间，重构效果很好。

图6　不同深度面峰值信噪比
Fig.6　Peak Signal to Noise Ratio value of each focal plane image

根据获取的深度面图像，逆向重构了物方光场。图7给出了左上、右上、左下和右下4个不同视角的物方光场图像。

图7　重构光场不同视角图像
Fig.7　Different view image of constructed light field

可以看出，滤波后的逆向重构光场拥有较高信噪比，满足实用性需求。根据计算重构获取的光场数据，为验证重构的光场是否有更进一步的利用价值，本文进行了物方场景深度估计实验，获取了中心光场视图的深度信息，如图8所示为中心视角的深度图。

图8　中心视角光场视图深度图
Fig.8　Depth map ofcentral view of constructed light field

深度图中，黄色到紫色的渐变代表距离由近及远的变换。由图8可知，左侧杯子前表面前端距离主镜光瞳最远，约为359 mm，中间杯子前表面前端距离主镜光瞳最近，约为124 mm，右侧杯子介于二者深度之间。

5　结　论

本文研究了基于光场相机的深度面光场计算重构方法。建立了含有微透镜阵列的单相机光场采集模型，阐述了光场采集原理。将广义投影切片理论扩展应用于原始光场数据处理中，根据搭建的光场相机所采的原始图像为例，重构了不同深度面图像信息，采用背投法光场重构算法重建了物方光场。为验证重构光场质量并探讨获取的数据是否有进一步利用价值，编写了光场深度估计程序，利用重构光场数据进行了物方场景深度估计实验，获取了中心光场视图的深度信息。证明该方法在三维测量、逆向重构领域有较高的理论和实践价值。

在后续的工作中，将搭建更高精度的单相机光学采集系统，分析透镜微元加工装调对光场采集的影响，得到更高分辨率的原始光场信息。研究如何利用原始光场信息，重构不同视角及更高精度的深度面图像，并根据重构光场数据实现物方场景的面型重构。