归一化等相面的在线三维测量像素匹配方法

摘要：像素匹配是在线三维测量中的关键技术之一，提出了基于归一化等相面的在线三维测量像素匹配方法。仅投一帧正弦光栅条纹到在线运动的物体上，由CCD再依次移动相同步距时刻同步采集受物体调制的变形条纹图。利用FTP方法预测物体不同位置的相位信息并进行归一化，再以二值化等相面协助像素匹配，不仅实现了物体在各帧条纹图中的像素坐标一一对应，而且归一化减少了由于物体运动产生的不同位置相位展开起始点不一致导致的不同位置相位展开的差异性而引入的误差，同时节省了像素匹配计算量。对最大高度为8 mm的peaks函数型物体的模拟结果表明：均方差为0.021 mm，像素匹配时间上，该方法较直接用FTP方法预测得到的相位为模板进行像素匹配缩短了近2倍，同是实物测量也验证了该方法的有效性和可行性。所提方法不仅可以保证在线三维测量的精度，而且有效地提高了测量速度。

关键词：信息光学；像素匹配；归一化；二值化；等相面；FTP

0 引言

光学在线三维测量技术因具有非接触、快速测量，精度高等优势，近年来在生产流水线中得到广泛应用[1-4]。其中相位测量轮廓术[5](PMP)和傅里叶变换轮廓术[6](FTP)等都是常用的在线三维测量方法。FTP仅凭一帧参考条纹图和一帧变形条纹图，通过从频域中滤出包含物体高度信息的基频分量，并进行逆傅里叶变换即可获得物体三维面形信息。相关参考文献[6]表明FTP符合在线三维测量的要求并得到了广泛应用。但在图像处理的过程中，FTP始终是一种滤波行为，物体的相位信息细节丢失较多，三维重构结果受到一定影响，尤其在物体陡变地方更明显[7]。

在线PMP仅需投一帧正弦光栅条纹到随生产流水线运动的待测物体上，使条纹走向与物体运动方向垂直，当待测物体连续移动到等距离特征位置时，由CCD同步采集N(N≥3)帧受物体调制的对应特征位置变形条纹图。由于待测物体相对CCD运动，会造成采集的变形条纹中物点坐标的不对应，这给PMP解相带来误差。为此国内外学者对在线三维检测展开了广泛研究，并取得了很多研究成果。张松等人提出的实时三维检测方法可用于在线三维测量，但由于采用空域相位去包裹，无法测量多个复杂面型[8]，而Zuo等人提出的采用四幅条纹的2+2相移法，可以实现在120 fps下测量多个复杂孤立物体[9]。四川大学曹益平实验团队提出采用像素匹配技术来解决不同时刻拍摄到的变形条纹图物体位置发生变化的问题。通过像素匹配技术使各帧变形条纹中的物体像素点一一对应，从而提取出一组等效相移变形条纹，最后用该组等效变形条纹图进行正确的解相，即可获得该在线运动物体的三维面形信息。该方法降低了对投影、采集频率的要求。其中，喻睿智等[10]提出了在载物台上设置若干具有明显特征标记在线三维测量方法；通过改进，李坤等[11]提出了利用物体本身的调制度特定分布区域作为标记的在线三维测量方法；但由于调制度分布受光照阴影的限制，且参考面的调制度无明显的特征，一定程度上影响了像素匹配的精度，为此郑旭等[12-13]提出了基于调制度层析的在线三维测量方法以及基于二值化调制度层析的快速测量方法；许幸芬等[7]提出了基于相位预测的在线三维测量方法。该方法无需做特殊标记，也无需计算待测物体调制度分布，利用FTP方法中的物体不同位置的相位信息进行像素匹配，满足在线三维测量的要求。但通过进一步的研究发现，一方面匹配模板上所有相位参与重心计算，计算量比较大，像素匹配时间较长；另一方面由于物体的运动使得不同位置的物体相位展开时难以保证相位展开起始点一致，不同位置的相位存在一定的差异性，这些差异性可能会给像素匹配带来一定的误差。在保证像素匹配精度的前提下，文中在参考文献[7]的基础上提出了基于归一化等相面的在线三维测量像素匹配方法，一方面用归一化减少物体不同位置相位展开的差异性引入的误差，另一方面节省像素匹配计算量。

图1 在线三维测量原理
Fig.1 On-line 3D measurement principle

1 在线三维测量原理

在线三维测量原理如图1所示。计算机(PC)编译产生一帧周期为P的正弦光栅，通过DLP数字光投影系统将其投射到随生产流水线运动的待测物体上，使条纹走向尽可能地与物体的运动方向垂直。当待测物体连续移动到等距离特征位置时，CCD同步采集N(N≥3)帧受物体调制的对应特征位置变形条纹图In(xn,yn)表示为：

式中：(xn,yn)为以物体重心所在位置为坐标原点的坐标系；R(xn,yn)为物体的反射率；A(xn,yn)为背景光强度；B(xn,yn)为条纹对比度；Φn(xn,yn)为受物体调制的相位分布。

图2 等相面分析过程
Fig.2 Analysis on the equiphase plane

对公式(1)沿x方向做一维傅里叶变换[7]。参考文献[7]给出了详细的傅里叶变换及逆变换的表达式，因此文中直接引用其结果。物体的截断相位分布为：

式中：(x,y)为CCD图像下的坐标系；g*0(x,y)为g0(x,y)的共轭。将△ΦFnTP(x,y)展开后得到物体的连续相位分布△ψFnTP(x,y)。参考文献[7]中，以△ψFnTP(x,y)为模板进行像素匹配的方法满足在线三维测量的要求。但通过进一步的研究发现，模板△ψFnTP(x,y)的所有相位值都参与了重心的计算，计算量比较大，像素匹配耗时较长。为了进一步提高像素匹配速度，如果能从模板△ψF1TP(x,y)中提取一个如图2(b)所示的具有明显特征的等相面△φ1(x,y)作为模板进行像素匹配，计算量会大幅减少。这里△φ1(x,y)满足公式(3)：

经过大量的实验分析，p0取0.6 rad左右。因此，在事先保证不同位置的△ψFnTP(x,y)相位展开起始点一致的前提下，可以△ψFnTP(x,y)中截取具有△φ1(x,y)特征的等相面进行像素匹配，如图2(c)、(d)所示截取物体在位置1和位置2的等相面△φ位置1(x,y)和△φ位置2(x,y)。直观上，△φ位置1(x,y)和△φ位置2(x,y)具有明显的特征，且与△φ1(x,y)具有高度相似性，“*”标记点是对应的重心位置，可通过计算重心来实现像素匹配。由于只有等相面上的值参与了重心的计算，因此计算量会大幅下降，从而可以降低像素匹配耗时，提高测量速度。但事实上，由于物体空间位置的变化会导致相位展开起始点不一致，相邻位置的物体相位分布之间会出现一定的偏置差，在此情况下，实际得到位置1和位置2的等相面△φ位置1(x,y)和△φ位置2(x,y)如图2(e)、(f)所示。直观上看出和△φ位置1(x,y)和△φ位置2(x,y)相似度差，如果用它们进行像素匹配，匹配精度势必会受到影响，甚至无法进行像素匹配。因此为了避免由于不同位置的△ψFnTP(x,y)之间的差异性而引入的误差，对△ψFnTP(x,y)进行归一化处理，记为△ψˆn(x,y)：式中：max{·}为取ψFnTP(x,y)的最大值算子；min{·}为取△ψFnTP(x,y)取的最小值算子。为了便于处理图像，将△ψˆn(x,y)进一步实现0～255灰度化，用表示：

式中：uint8{·}对取无符号整数算子。归一化将参考面相位值设置为0，物体的最大相位值设置为255，这样相位展开被设置在0～255之间，排除了物体在不同位置时相位展开起始点不一致引入的误差。设置阈值T(0≤T≤255)，获取△ψˆ(x,y)

gn的等相面并进一步二值化，用△φbgn(x,y)表示。这样将模板上复杂的双准确度数信息转换为1的整数，原来复杂的双准确度数计算变为0～1整数计算，提高了数据处理速度。

文中仍然采用重心法[7]实现像素匹配。计算△φbgn(x,y)的重心，可得到采集的第n帧(n≠1)相对于第一帧变形条纹中物点像素坐标的改变量△xn-1(n≠1) (物体沿x方向运动，y方向物点像素坐标的改变量为0)。将In(x,y)沿物体运动的反方向移动△xn-1的整数倍像素，得到InP(x,y)(n≠1)。CCD图像下的坐标系(x,y)和以物体重心所在位置为坐标原点的坐标系(xn,yn)之间满足公式(7)：

因此可以将(x,y)转化为(xn,yn)，InP(x,y)经坐标转换后为InP(x1,y1)，这时InP(x1,y1)与I1(x1,y˙1)具有对一一对应的像素坐标。在I1(x1,y1)和InP(x1,y1)(n≠1)同一区域截取携带有物体高度信息的In′(x1,y1)，像素匹配完成。此时In′(x1,y1)具有等效的等步相移且满足表达式：

等步长相移算法中，Stoilov算法具有较好的抗噪能力[14]，因此取N=5。采用改进的Stoilov算法[15]可解调出物体的相位分布：

因公式(9)的反正切函数，使Φ1(x1,y1)分布在(-π,π)之间[7]，由于文中是针对表面连续的物体进行测量的[16]，故采用菱形展开算法[7]进行相位展开，得到连续相位分布ψ1(x1,y1)。对参考条纹进行相同的计算得到参考面上的相位分布Φ0(x1,y1)，相位展开后得到其连续相位分布ψ0(x1,y1)，受物体高度调制的相位分布为：

采用校准的方法建立起连续相位与物体高度之间的映射关系，即可得到物体高度分布h(x1,y1)[12]：

式中：a(x1,y1)、b(x1,y1)、c(x1,y1)通过平面的标定获得。

2 计算机仿真

为了验证所提方法的有效性，进行了大量的仿真实验，以如图3(a)所示最大高度为8 mm的peaks函数型物体为例。计算机编程产生一帧周期为15 pixel的正弦参考光栅，将其投影到沿方向运动的peaks函数型物体上，CCD按物体每次移2个像素时刻同步采集受物体调制的变形条纹图，共采集5帧并加入1%的随机噪声以验证所提方法的抗噪能力。图3(b)、(c)为生成的带噪声的变形条纹I1(x1,y1)和I5(x5,y5)。采用所提方法得到如图3(d)、(e)所示的二值化等相面“*”标记点是相应的重心位置。计算重心可得到图3(e)相对于图3(d)的位移改变量为8.002，将I5(x,y)沿物体运动的反方向移动8 pixel，得到I5P(x,y)，经坐标转换后得到I5P(x1,y1)，此时I5P(x1,y1)与I1(x1,y1)具有一一对应的物点像素坐标。在I1(x1,y1)和I5P(x1,y1)截取同一区域携带物体高度信息的部分I1′(x1,y1)和I5′(x1,y1)，如图3(f)、(g)所示，像素匹配完成。采用改进的Stoilov算法重构该在线运动物体的三维面形，重构结果如图3(h)所示。图3(i)是相应的误差分布，其均方根误差(RMS)为0.021 mm，表明所提方法确实是有效的，且具有较高的测量精度。

文中方法与参考文献[7]方法进行了比较。图4为这两种方法的重构结果第320行截图。可以看出采用文中方法得到的重构物体表面更光滑。在像素匹配时间上，如表1所示，参考文献[7]方法平均耗时2.884 2 s，而文中方法平均耗时1.033 3 s，时间较参考文献[7]方法缩短了大约1.8倍，由此可以看出所提方法节省了像素匹配计算量，明显地提高了在线测量速度。

图3 仿真过程及结果
Fig.3 Simulation process and results

图4 两种方法重构结果的第320行截图比较
Fig.4 Screenshot comparison of the reconstructed object in 320th row with the two kinds of methods

像素匹配后采用参考文献[15]重构物体的三维面形。根据参考文献[15]描述，sin△0的逼真值对三维重构重建精度有重要影响。在相同条件下，采用参考文献[7]方法和文中方法对上述物体测量十次，分别得到了像素匹配后sin△0的的逼真值与真值的离散度，如表2所示。理论上，sin△0=0.743 2，从表2可以看出，参考文献[7]方法中，sin△0的逼真值与真值离散度为0.003 2，而文中所提方法中的离散度仅为0.000 7，仅为参考文献[7]方法中的0.21倍左右。显然文中方法更具有普适性。同时，根据表2计算得到参考文献[7]方法的平均相对误差为0.009%，而文中所提方法得到平均相对误差为0.004%，精度上比参考文献[7]方法提高了2.25倍左右，可见文中方法确实能保证且进一步提高了在线三维测量精度。

表1 像素匹配时间对比(单位：s)
Tab.1 Comparison of the time spent on pixel matching(Unit:s)

表2 sin△0逼真值比较
Tab.2 Contrast of sin△0statistical value

3 实验及结果分析

进一步验证所提方法的有效性和实用性，进行了实物在线三维测量。实验装置系统如图5(a)所示。DLP采用HCP-75X型数字投影仪，CCD型号为MVC1000MF-M00。将图5(b)所示的心形物体放置于由SC300-1A型控制器控制的载物台上并随其一起运动。由计算机产生一幅固定的正弦条纹图，控制DLP将其投影到物体表面，通过不断的调整DLP和CCD的姿态使得条纹走向尽可能地垂直于物体的运动方向。控制器控制载物台移动，按等步距设置移动量，发送等间距移动信号，控制CCD同步采集对应的变形条纹图，共采集5帧，经图像采集卡采集并送入计算机等待处理。

图5实验装置及待测物体
Fig.5 Setup of the experiments and measured object

图6 (a)、(b)为采集的变形条纹图I1(x1,y1)和I5(x5,y5)。采用所提方法，得到如图6(c)、(d)所示的二值化等相面“*”标记点为重心位置。通过计算重心实现像素匹配。图6(e)、(f)为像素匹配后的等效变形条纹I1′(x1,y1)和I5′(x1,y1)。采用改进的Stoilov算法来重构物体的三维面形图，重构结果如图6(g)所示。在相同条件下采用参考文献[7]对心形物体进行了在线测量，图6(h)是其重构结果的第80行截图，图6(i)是采用文中方法得到的第80行截图。可以看出采用文中方法重构的物体表面更光滑。这主要是有以下两方面的原因：首先，归一化手段使得参考面相位值设置为0，物体的最大相位值设置为255，这样相位展开被设置在0～255之间，将物体在不同位置时相位展开起始点不一致引入的误差降到最小，在归一化基础上，取二值化的等相面进行像素匹配，使得模板特征更显著，同时，由于只有0和1的整数参与了重心计算，这样以来，由不同位置相位之间的差异性引入的误差就被排除在重心的计算之外，进一步提高了匹配的精度。在像素匹配耗时方面，采用参考文献[7]方法耗时3.157 s，而文中方法耗时1.192 s，比参考文献[7]方法缩短了1.65倍左右。以上结果表明，采用文中所提方法，不仅可以很好的重构在线运动物体，而且有效地提高了在线测量速度，满足了在线三维测量的要求。

图6 实验过程及结果分析
Fig.6 Experiment process and results analysis

图7 人脸面具及实验过程
Fig.7 Face mask and experiment process

为了验证所提方法更具有普适性，对如图7(a)所示的面形较为复杂的人脸面具在相同实验条件下采用所提方法进行了在线测量。图7(b)～(g)展示了实验过程。图8是人脸面具的重构结果。其中图8(a)是其三维重构结果，图8(b)其重构结果的第80列截图，可以看出采用所提方法重构的人脸面具表面很光滑。实验结果表明：文中所提方法不仅可以重构面形简单的物体，对面形复杂的物体也可以很好地重构出来，所提方法具有一定的普适性。

为了能从量化角度评估所提方法的测量精度，分别对高度为5.8、8.0、20.0 mm的平面进行了在线测量。采用参考文献[7]方法和文中所提方法分别得到的误差如表3所示。由表3可知，文中所提方法较参考文献[7]具有更高的测量精度。

图8 人脸面具重构结果
Fig.8 Reconstructed results of the face mask

表3 不同高度平面的测量误差
Tab.3 Measurement errors of planes with different heights

4 结论

文中就在线三维测量中的像素匹配问题，提出了基于归一化等相面的在线三维测量像素匹配方法。分析了将等相面应用在在线三维测量中的准确度和速度问题。讨论了以等相面为模板进行像素匹配的有效性，研究了通过对不同位置的物体相位归一化，再以二值化手段处理等相面，使双准确度信息转换为二值化整数信息，以此为模板进行像素匹配，实现了准确、快速的在线三维测量。所提方法既减少了物体不同位置相位展开的差异性引入的误差，又将模板上复杂的双准确度数信息转换为1的整数，原来复杂的双准确数计算变为0～1整数计算，提高了数据处理速度。对最大高度为8 mm的peaks函数型物体的模拟结果表明均方差为0.021 mm，像素匹配时间上，该方法较直接用FTP方法预测得到的相位为模板进行像素匹配缩短了近2倍，同时实物测量也验证了所提方法的有效性和可行性。因此文中方法不仅可以保证在线三维测量的精度，而且节省了像素匹配计算量，有效地提高了在线三维测量速度。