单目视觉融合激光投射的无人机障碍探测方法
刘 峰，汪 瓒，王向军
（1. 天津大学 精密测试技术及仪器国家重点实验室，天津 300072；
2. 天津大学 微光机电系统技术教育部重点实验室，天津 300072）
近年来，微小型无人机因其体积小、机动能力强的优势在民用、军用领域得到广泛应用，但其本身对机载设备的体积、重量等参数有着严苛的要求，在自动避障方面为机载障碍探测系统设计带来了一些挑战[1-6]。在目前已有的障碍探测方法中，文献[7]使用二维激光雷达作为障碍探测手段获取环境信息，将三维空间的避障问题简化成二维，不考虑无人机在垂直地面方向上的移动，因使用了激光雷达，具有精度上的优势；
文献[8]使用单线结构光作为障碍探测手段，同样不考虑垂直地面方向上的移动，能够测量出无人机飞行过程中前方障碍物的距离、方位角度和宽度；
文献[9]融合了深度相机和激光雷达作为障碍探测手段，利用SLAM（同步定位与建图）算法，将空间中的障碍物信息建成地图，取得了良好的避障效果：上述3 个方法存在一个共同的问题，因为分别涉及到激光点云处理、线结构光图像、深度SLAM 算法处理，数据量和计算量庞大，在搭载了计算性能较强平台的中大型无人机上或在离线任务中会有比较好的表现，但在实际应用中很难将这些方法使用到微小型无人机在线任务当中，不能满足计算快的要求。文献[10]使用双目视觉系统作为障碍探测手段，在基线距离为120 mm 的条件下，可用于5 m 内的障碍探测，但双目视觉系统不能应用于纹理特征少或光照条件差的环境当中，且要提高精度则势必要增加传感器的体积，难以满足通用性和小型化的要求。在技术已经成熟的工业产品中，英特尔公司的RealSense 深度摄像头用到了散斑测量的原理[11]，体积小、输出帧率较高，已得到广泛应用，但此测量方法的工作距离极其有限，如2020 年发布的D455 型在基线距离超过100 mm 情况下，能够保证2%测量相对误差的工作距离仅为4 m，难以满足通用性的要求。
基于以上分析，本文提出了一种单目视觉融合激光投射的无人机障碍探测方法，投射激光点阵图案，使用单目相机采集图像，通过像面激光线方程约束快速排除特征一致激光点的歧义，实现使用投射激光点阵图案解决单目歧义性的效果，输出前方空间中多个投射激光点的位置坐标，为微小型无人机实时生成避障策略提供数据保证。
本文中相机模型采用了针孔摄像机模型，由相机坐标系到像素坐标系的映射可以用 (1) 式表示:
式中 (Xc,Yc,Zc)是激光点在相机坐标系下的位置坐标， (u,v)是激光点成的像在图像坐标系中的坐标，而矩阵中的fx,fy,u0,v0是 相机内参矩阵M1的参数，fx,fy分 别代表x轴 和y轴上的归一化焦距， (u0,v0)则是图像中心，这4 项参数通过相机标定得到。将(1)式的第一行单独提取出来可得：
式中的k1,b1,k2,b2这些参数为空间激光的结构参数，4 个参数确定了唯一的一条空间激光直线，通过空间激光点阵标定获得。只需要获得激光点的像在图像坐标系下的坐标 (u,v)，即可通过(6)式或(7)式求得激光点的深度信息Zc，在实际应用中，需根据激光器和相机的不同安装方式选择不同的深度信息计算公式。若相机光学中心与激光器中心的连线与相机坐标系的Xc轴夹角更小，则使用(6)式进行计算，反之则使用(7)式。再由(4)式或(1)式即可求得Xc,Yc，进一步得到激光点在相机坐标系下的坐标 (Xc,Yc,Zc)。若投射出多束激光线，就可以得到多个投射到障碍物上形成的光点，从而估计出视野中障碍物的方位信息。
为获得多束激光线，本文在激光器前方安装分束光栅，可将单束激光线变为9 点圆环图案的激光投射图案，如图1 所示。为便于后文表述，将中心的点记为“中心0 号激光点”，其上方的点记为“1 号激光点”，按照顺时针顺序，将剩余点分别命名为2 号 ～ 8 号激光点。
图1 9 点激光图案Fig. 1 Laser pattern of nine points
视觉系统的标定主要包括相机参数标定和空间激光点阵图案的标定。
2.1 系统标定总体流程
1） 准备一个张氏标定法的棋盘格靶标，棋盘格的大小已知，用待标定的相机拍摄若干张摆放成各种角度的棋盘格靶标的图像，记为A 组图像。
2） 开启激光器，摆放棋盘格靶标使激光点落在靶标上，拍摄各个角度带有激光点的棋盘格靶标的图像，并记为B 组。此处需要保证对于每一个激光点（如中心0 号激光点），需要采集至少2 张带有该激光点的棋盘格靶标图像，此外若考虑使标定结果尽可能小地受到随机误差和粗大误差的影响，减小激光点对棋盘格角点提取的干扰，需要采集10 张以上的图片。
3） 利用上述A 组和B 组图像，使用张氏标定法[13]标定相机的内部参数矩阵M1。
4） 对于B 组的每一张图像，提取出激光点的中心，另外图片中激光点中心在棋盘格靶标上的世界坐标 (Xw,Yw,Zw)是已知的。
5） 通过张氏标定法得到B 组每一张图片的外部参数矩阵M2，该矩阵与上一步中得到的世界坐标相乘，得到B 组每一张图片上激光点在相机坐标系下的坐标 (Xc,Yc,Zc)。
6） 针对投射图案的9 个光点，使用最小二乘法得到每一个光点所在空间直线的方程，每个方程包含4 个参数，总计得到9 组共36 个参数。
2.2 相机参数标定
相机参数标定，主要是确定相机的内参矩阵M1， 用于后续计算；
确定径向畸变参数k1,k2（此处仅代表相机的径向畸变参数，与空间激光点阵图案标定中的k1,k2无 关）和切向畸变参数p1,p2，对图像进行畸变校正；
确定外参矩阵M2，用于计算B 组每张图像中的标定板坐标系相对于相机坐标系的位姿，从而得到标定板上的激光点的位置信息，用于空间激光点阵图案的标定。
2.3 空间激光点阵标定
使用位于不同位姿的棋盘格靶标图像以及得到的靶标上的激光点位置，即可通过多张图像中的激光点空间坐标拟合得到激光点阵图案中每个点所在激光线的空间直线方程。由1.1 节模型推导可知，相机坐标系下的空间直线方程在几何意义上可以表示为空间中2 个平面的交线，用方程表示为(4) 式的形式。利用离差平方和最小的原则确定方程中的参数，即令
单目相机采集的RGB 图像中包含了大量的无关信息，障碍探测的关键是从RGB 图像中提取出9 个激光点质心的像素坐标信息代入(6)式进行计算。图像处理和激光点质心提取过程可分为3 个步骤，分别是：1） 将RGB 图像转化到L*a*b*色彩空间，在L*a*b*色彩空间上进行激光点阵图像的分割；
2） 使用种子生长法将分割出的激光点阵图像进行光斑聚类和质心提取；
3） 使用像面激光线方程约束排除杂光斑和光点缺失的干扰，将提取出的光斑质心与激光点一一匹配。
3.1 基于L＊a＊b＊色彩空间的激光点阵图像分割方法
为了提取图像中的激光点信息，需要将图像进行分割，因为无人机工作环境中色彩、光照条件复杂，使用基于RGB 色彩空间的阈值分割方法难以取得好的分割效果。本文使用基于L*a*b*色彩空间的图像分割方法，L*a*b*色彩空间是一个三维的色彩空间，具有L*、a*、b*三个基本分量。其中L*分量代表亮度，L* = 0 时指示黑色，L* = 100 时指示白色；
a*分量和b*分量理论上是无界的，但在计算机中一般用一个有限范围之间的值来表示，a* ＜ 0 时，其绝对值越大越趋向于指示红色，a* ＞ 0 时，绝 对 值 越 大 越 趋 向 于 指 示 绿 色；
b* ＜0 时，其绝对值越大越趋向于指示蓝色，b* ＞ 0 时，绝对值越大越趋向于指示黄色[14]。L*a*b*色彩空间的这种特点非常适合用于激光图像的分割：激光光斑的特征一般是中心亮度极高，边缘带有少量色彩信息。在L*a*b*色彩空间中，激光光斑中心的L*分量接近100，便于分割出激光光斑的中心部分；
另外最常用的激光器光源主要有波长为650 nm 的红光、520 nm 的绿光、450 nm 的蓝光等，而使用a*分量或b*分量其一即可有效地分割出激光光斑边缘的色彩信息。RGB 色彩空间到L*a*b*色彩空间的转换如(12)式：
经过多组实验对比，使用经验取值L*∈[84.639,99.655],b*∈[-9.691,7.890]可取得较好的分割效果，得到包含激光光斑信息的二值图像，如图2 所示。
图2 原始采集图像与基于L＊a＊b＊色彩空间的图像分割结果Fig. 2 Original acquired image and image segmentation results based on L＊a＊b＊ color space
3.2 基于种子生长法的激光光斑聚类和质心提取方法
对RGB 图像进行了图像分割后，形成了包含激光光斑信息的二值图像，还需要对分割出的激光光斑进行聚类操作，以确定图像中哪些像素的激光图像是同一束激光束产生的，并提取其质心作为该激光光斑的中心点，将中心点坐标 (u,v)代入(6) 式计算出激光光斑相对单目相机的空间位置。激光光斑聚类过程可以简述为：
1） 从图像坐标 (1,1)开始遍历包含激光光斑信息的二值图像，直至遇到白色像素点，将该像素点的坐标作为种子点入栈并编号；
2） 判断栈是否为空，若不为空，则弹出栈顶元素，判断该像素点坐标附近的8 连通像素点是否也为白色，若为白色，则编同样的序号，并将这样的像素点的坐标入栈；
3） 直至栈为空，下一次遍历到白色像素点时的序号+1；
4） 遍历完成后，形成该二值图像的“编号标记矩阵”，尺寸与原图像相同，并包含有不同光斑聚类的编号信息[15]；
5） 遍历编号标记矩阵，对具有相同编号的像素点的横坐标、纵坐标分别求平均，即可得到每个光斑聚类的质心点坐标。
图3 是将上节分割后的图像进行基于种子生长法的激光光斑聚类和质心提取之后的结果，图中用不同颜色的星号表示了各个光斑的质心位置。
图3 激光光斑聚类和质心提取结果Fig. 3 Results of spot clustering and centroid extraction
3.3 像面激光线方程约束下的特征一致光点快速搜索方法
获取到各聚类的质心点坐标后，还不能够直接得到各光斑实际的空间位置，原因有二：一方面激光图案经过空间物体的调制，已经失去了原来的几何特征，产生了变形，或者部分被遮挡产生了缺失，无法仅通过原图案的特征得到激光光斑与激光点编号之间的对应关系，如图4(a)所示，原本激光图案外侧的8 个点可以围成一个规整的圆形，经过空间物体的调制后明显不再具有这种特征，另外原本激光图案左下方位的6 号激光点被平面靶标遮挡，产生了缺失；
另一方面，图像中的光斑有时并非全都是由激光束投射到障碍物上产生的，因微小型无人机工作环境复杂，有可能受到镜面反光物体、高亮度物体的干扰产生杂光斑，影响激光图像分割的结果，如图4(b)所示，可以注意到红圈指示的图像下方的桌脚部分存在镜面反光，影响到图4(c)所示的激光图像分割的效果。
图4 受到影响的激光图案Fig. 4 Affected laser patterns
本文使用像面激光线方程作为约束，排除杂光斑的干扰，并将激光光斑与激光束相匹配。由针孔相机模型的特点可知，空间中的直线映射到像平面上后也会是一条直线。在实际的图像中，因为相机获得的图像存在畸变，所以需要先进行畸变矫正这个结论才能够成立。本文2.2 小节通过张氏标定法确定相机的参数矩阵，同时得到相机的畸变参数，图像经过畸变校正之后，可以认为一条激光束映射到平面后也是一条直线，即该激光光斑的中心点在图像中所有可能出现的位置可以连成一条直线。在前述的标定过程中，得到的B 组图像包含有激光光斑，提取这些光斑的质心点坐标，即可通过最小二乘方法求得像面激光线方程，再通过计算各个光斑质心与各像面激光线的距离，即可快速排除杂光斑的干扰，将激光光斑与产生它的编号激光点一一匹配。如图5 所示，红色虚线描出的即为像面激光线的约束线及其对应编号。根据经验，保留与直线的距离在5 个像素以内的光斑质心点，并选取其中距离最近的点作为对应编号的匹配点，可取得较理想的效果。
图5 像面激光线约束Fig. 5 Constraint of laser line on image plane
4.1 实验系统构建
为验证本文方法的有效性，如图6 所示，构建了一套单目视觉与投射激光点阵图案融合的探测装置和实验环境。探测装置的主体是单目相机与激光器刚性固连的结构，相机的光学中心与激光器中心的距离约为65 mm，激光器前方安装9 点圆环形状的光栅元件，激光器发出的光经过光栅形成9 点圆环图案的激光投影。
(2)如果前头有表示时点的时间词语，：“就”表示早，“才”表示晚；
如果有表示时段的时间词语，“就”表示快，“才”表示慢。
图6 实验装置场景图Fig. 6 Scene graph of experimental device
实验系统使用的主要硬件型号如下：激光器光源为GSPLM450805D12-AL 型号激光器；
光栅元件是定制的9 点圆环图案；
单目相机为KSA2A242 型宽动态相机模组，分辨率为1920×1080 像素，帧率为30 帧/s，镜头视场角为30° 。标定和测量实验中使用的棋盘格靶标尺寸为10×7，每个方格的边长为30 mm。
4.2 视觉系统标定结果
根据本文2.1 节标定过程获得的标定数据，包含相机内部参数、畸变参数等（见表1），激光点阵图案的空间结构参数如表2 所示。
表1 相机标定参数Table 1 Camera calibration parameters
表2 激光图案的空间结构参数Table 2 Spatial structure parameters of laser patterns
4.3 障碍探测实验及结果
障碍探测实验主要目的是探究在一定工作距离内，本文方法对障碍位置的测量效果和精度。障碍探测实验的具体内容如下：
1） 固定本文的实验装置，开启激光器。
2） 在实验装置前方7 m 范围（本文方法设计适用的工作距离）内移动，使用棋盘格靶标接收激光器投射出的一个光点，与此同时相机采集这个移动过程的视频，图像中包含有在每个位置的棋盘格的图像，这组视频用于探究在1 m～7 m 的距离范围内的本文方法对障碍位置测量的精度；
将棋盘格靶标分别移动到10 m、15 m 附近的位置接收激光器投射的光点并采集视频，这2 组视频用于探究在工作距离与基线距离比值较大的情况下方法的效果。
3） 重复步骤2），直至分别采集了关于9 个激光点的视频。
从步骤3）的视频分别随机取若干帧，剔除影响棋盘格角点提取的帧图像，将这些包含有棋盘格的帧图像插入原始标定图像组中，使用张氏标定法获得每张图像中相机相对于棋盘格的位姿（即外参），由此求出棋盘格上激光点在相机坐标系下的坐标 (Xcalib,Ycalib,Zcalib)，将这个作为激光点的坐标真值，将本文方法求得的值记为 (Xcal,Ycal,Zcal)，作为激光点的坐标测量值。
以1 号激光点为例，表3 展示了关于1 号激光点的测量数据。
表3 “1 号”激光点的测量数据Table 3 Measured data of the No.1 laser point mm
从表格的前10 行可以看出，在7 m 的工作范围内，测得的激光点的X坐标的测量绝对误差在8.50 mm～58.87 mm 范围之间；
Y坐标的测量绝对误差在0.01 mm～9.25 mm 之间，且都有随着工作距离的增加而变大的趋势。而在更为关键的深度方向上，Z坐标的测量绝对误差在0.47 mm～103.43 mm之间，进一步计算出其相对误差，得到Z坐标的测量相对误差在0.01%～1.48% 之间。类似地，对0～8 号所有激光点的实验数据进行整理，可以得到图7 所示的随工作距离变化的Z坐标测量相对误差分布图。
从图7 中观察到在7 m 的工作范围内，Z 坐标的测量相对误差（的绝对值）是一个先减小后增大的过程，在3 m ～ 6 m 之间的位置能够取得最好的测量效果。
图7 深度测量的相对误差折线图Fig. 7 Line charts of relative error of depth measurement
表3 的11 行展示了在10 m 工作距离上的误差水平，X坐标的误差上升到87.34 mm，Y坐标的误差来到5.73 mm，Z坐标的相对误差达到16.93% ；
表3 的12 行展示了在15 m 工作距离上的误差水平，X坐标的误差来到107.43 mm，Y坐标的误 差 来 到17.99 mm，Z坐 标 的 相 对 误 差 达到21.43% 。由此可以看出在超过了7 m 的工作范围后，虽然还具有一定的障碍探测能力，但可靠性大幅降低，可通过换用高解析力CMOS、增加标定用图片数量、使用亚像素级质心提取算法等手段提高方法精度和工作范围。
本文验证实验中使用的9 点圆环的激光投射图案的尺寸为直径400 mm（当投射距离为1 m时）。对于宽高尺寸小于激光投射图案尺寸的小型障碍，本文方法可以有效探测到该障碍目标；
而当障碍目标是尺寸超出激光投射图案的大型障碍时，则通过无人机飞控的特定飞行策略进行组合探测，在飞行过程中确定障碍目标的边界。当与前方障碍之间的距离为L时，在单次静态测量中能分辨的最小尺寸为0.15L，也即投影图案上2 点的最小距离，能够满足无人机障碍探测的分辨力要求。如需应用到对分辨力或探测效率要求更高的场景，可将激光投射图案更换光点更加密集的图案，如11×11 点阵激光图案，以提高障碍探测分辨力和探测效率。
本文提出了一种基于单目视觉与主动激光点阵投射无人机障碍探测方法，经实验验证，在相机与激光器之间的基线距离为65 mm，探测距离为7 m，即探测距离与基线距离之比大于1000 的条件下，达到了相对误差小于1.5% 的障碍探测效果。该方法的运算复杂度低，对于一帧图像，仅有2 次图像遍历过程和有限次的浮点数运算。能够满足微小型无人机应用中对障碍探测功能模块的小型化、计算快等要求，且对于不同环境具有一定的通用性，能够为微小型无人机进一步生成避障策略提供数据支撑。
猜你喜欢光斑靶标质心光斑诗歌月刊(2023年1期)2023-03-22重型半挂汽车质量与质心位置估计汽车实用技术(2022年14期)2022-07-30基于GNSS测量的天宫二号质心确定北京航空航天大学学报(2021年4期)2021-11-24“百灵”一号超音速大机动靶标军民两用技术与产品(2021年10期)2021-03-16有趣的光斑阅读（高年级）(2019年9期)2019-11-15有趣的光斑阅读与作文（小学高年级版）(2019年8期)2019-10-16纳米除草剂和靶标生物的相互作用世界农药(2019年3期)2019-09-10复杂场景中航天器靶标的快速识别光学精密工程(2016年4期)2016-11-07前列腺特异性膜抗原为靶标的放射免疫治疗进展肿瘤影像学(2015年3期)2015-12-09大光斑1064nmQ开关Nd：YAG激光治疗黄褐斑的临床研究中国医疗美容(2015年1期)2015-07-12