...一键连招,北通手柄那些便钝的操作 济南在线
李磊 吴扬 裘旭东 张旭 张林
【摘 要】介绍了在V-REP仿真平台下使用Kinect视觉传感器获取飞机舱门手柄位姿的方法。该方法根据Kinect传感器的RGB彩色相机获取舱门手柄上的两个环形彩带图像并进行Blob Detection处理，得到彩环在Kinect图像平面中的矩形框中心位置，然后根据Depth深度相机检测出彩环的深度信息，由位置和深度信息即可确定矩形框中心点在世界坐标系中的三维坐标。通过圆柱面拟合方法得到圆柱面参数，结合两矩形框中心点进而求出圆柱手柄的重心及姿态信息，实现了舱门机构耐久性试验中，工业机器人对舱门手柄的视觉定位。
【关键词】耐久性试验；Blob Detection；深度信息；圆柱面拟合；位姿矫正
中图分类号： V223.9 文献标识码： A 文章编号： 2095-2457（2017）17-0031-004
Visual Positioning Method for Handle of Aircraft D.3oor
LI Lei1 WU Yang1 QIU Xudong1 ZHANG Xu2 ZHANG Lin2
（1.Shanghai Aircraft Design and Research Institute， Shanghai 201210， China；
2.HUST-Wuxi Research Insitute，Wuxi 214174，China）
【Abstract】This paper introduces the method of using Kinect visual sensor to acquire the position of aircraft door handle under V-REP simulation platform. The method based on RGB color camera of the Kinect sensor to obtain the two ring ribbon images on the handle and the Blob Detection process to get the center position of the rectangular frame of the color ring in the Kinect imaging plane. The position and The Depth information of the color ring can be used to obtain the three-dimensional coordinate of the center point of the rectangular frame in the world coordinate system. The cylindrical surface parameters of aircraft door handle can be obtained by the cylindrical surface fitting method and combining the center point of two rectangular frames to find out the barycenter and posture information .In this way， the visual positioning of the robot for the aircraft door handle is achieved in the durability test of the cabin structure.
【Key words】Durability test； Blob Detection； Depth information； Cylindrical fitting； Posture correction
0 引言
大型客機的舱门必须要能够正产开启和关闭，满足人员、物质的进出和应急撤离的要求，同时在飞行过程中，还需承受气密、飞行等载荷并维持飞机结构的完整性。而登机门作为人员进出的主要通道，是空乘人员接触最多的飞机部件之一，在整个飞机全寿命周期中，登机门通常要保证24万次的正常开启，且每次开启时间不超过10秒，开关频率不小于2次/分钟。因此舱门的设计是飞机结构设计中的一大难点，舱门机构的耐久性评估更是其中关键难点。
传统的登机门耐久性测试方法基于液压作动筒构建，通常都是专用试验平台，成本较高。而随着工业机器人技术的进步，工业机器人通用性强、工作效率高，并具有拟人结构和柔性控制方式等优点，因此可考虑采用工业机器人进行舱门机构试验的通用平台，完成相关耐久性试验。
1 V-REP仿真平台中的视觉定位系统
飞机舱门在使用过程中可能存在开、关不到位，机构变形等情况，针对这些情况，可采用Kinect相机来检测舱门上一些标记点的位姿信息来核实舱门的状态，以解决耐久性试验过程中机构变形等带来规划位置无法抓取的问题。把视觉定位系统的检测位置放在舱门机构的手柄上，手柄为圆柱体，手柄上放置两个环形彩带（一红一蓝）。在V-REP仿真平台中，Kinect传感器具有RGB彩色相机和depth深度相机，depth深度相机可以检测出彩环的深度信息，RGB彩色相机可以提取出彩环的矩形包络框，结合深度信息可以得到矩形框中心点及选取的随机点在世界坐标系中的三维坐标信息。两个矩形框中心点及随机点均为圆柱面上的三维点，通过圆柱面拟合方法可求出圆柱面参数，结合两矩形框中心点进而求出圆柱手柄的重心及姿态信息[1]，该信息用于机器人手爪矫正位姿去抓住手柄。
在舱门仿真系统中，把相机放在机器人末端法兰盘上。当机器人手爪到达一定位置时，机器人短暂停留，并对该阶段的手柄拍摄，获取手柄重心的三维信息及其轴向与世界坐标系各轴的夹角，仿真场景如图1所示。endprint
图1 视觉识别定位仿真示意图
2 V-REP软件中的四种坐标系
Kinect传感器的透视投影相机模型如图2所示。视锥体是一个三维体，它的位置和摄像机相关，视锥体的形状决定了模型如何从相机空间投影到屏幕上。透视投影使得离摄像机近的物体投影后较大，而离摄像机较远的物体投影后较小。透视投影使用棱锥作为视锥体，摄像机位于棱锥的椎顶。该棱锥被前后两个平面截断，形成一个棱台，叫做视椎体，只有位于椎体内部的模型才是可见的。
图2 透视投影相机模型
2.1 相机坐标系
把相机的光心看作是相机坐标系的原点O，相机坐标系中的Xc轴、Yc轴分别与图像坐标系的X轴与Y轴平行，相机的光轴看作是Zc轴。坐标值用（Xc，Yc，Zc）表示。
2.2 世界坐标系
为了描述相机的位置引入世界坐标系，在世界坐标系下，有两个重要的参数：旋转矩阵R和平移向量T，任何维度的旋转可以表示为坐标向量与合适矩阵的乘积。平移向量是第一个坐标原点与第二个坐标原点的偏移量。坐标值用（XW，YW，ZW）表示。
相机坐标系与世界坐标系的转化可表示式（1）。
X■Y■Z■1=R T0 1X■Y■Z■1（1）
2.3 图像坐标系
与相机模型中的图像坐标系有所差异，V-REP上相机的图像平面是相机拍摄对象所显示的远裁剪平面经过缩放后的单位化平面，平面中心坐标是（0.5，0.5）。将相机坐标系沿着相机坐标系的ZC轴平移投影到图像坐标系上，如图3所示，坐标系之间的关系可用公式（2）表示。图像坐标系的坐标值用（X，Y，Z）表示。
图3 图像与相机坐标系关系示意图
XC1■YC1 1=-1 0 0.50 1 -0.50 0 1XY1（2）
2.4 像素坐標系
在V-REP中，像素坐标系与图像坐标系重叠。可通过换算将图像坐标系的（X，Y）转化为像素坐标的（U，V），转化关系如公式（3）
U=math.floor（X*camXResolution）
V=math.floor（Y*camYResolution）（3）
式（3）中：
math.floor——取整函数，
camXResolution——行分辨率
camYResolution——列分辨率
式（3）表示图像坐标系的（X，Y）位置乘以相对的行列分辨率，就可得到像素坐标的（U，V）。
2.5 手柄彩环相机坐标系位置的获取
在V-REP仿真中，Kinect传感器具有RGB彩色相机和depth深度相机。RGB彩色相机可以提取出彩环的矩形包络框位置信息，depth深度相机可以检测出彩环的深度信息[2]。
图4 左：RGB相机图像右：depth相机图像
如图4所示，对舱门手柄进行Blob Detection处理[3]，从Blob Detection的API return values中得到手柄彩环的矩形包络框位置信息（X，Y）。同时通过提取投影锥视体中的缓存获得彩环相对相机的深度信息，通过函数命令访问相应的像素坐标，就可得到彩环的深度值。
2.6 计算目标点在世界坐标系中的坐标
在V-REP中，图像平面是相机拍摄对象显示的缩放单位化平面，平面中心坐标是（0.5，0.5）。若已知图像平面中的坐标（X，Y）及其对应像素坐标系中的深度值ZP，通过世界坐标系、相机坐标系及图像坐标系之间的转化关系[4]就可以得到手柄彩环在世界坐标中的三维信息。
首先得到手柄彩环在相机坐标系下的空间点坐标，如图5所示：
图5 坐标投影示意图
图5中q点为Blob Detection处理后获取的彩环框图位置信息[5]（X，Y），p点为彩环框图的实际空间位置，深度值ZP为depth深度相机获取的值，这个值即为彩环框图在相机坐标系中的ZC轴向值。
可知tanα=Z/0.5，即Z=2tanα，已知q点坐标（X，Y，Zp），求解p点在相机坐标系中的坐标。由相似三角形公式（4）。X为q点的X轴向坐标，XC为p点的XC轴向坐标。
■=■（4）
已知X的参数，可求得XC的值，同理也可求得YC的值。
故可知彩环框图质心在相机坐标系的空间坐标为（XC，YC，ZP）。再通过公式（1），就可求得彩环框图质心在世界坐标系中的空间坐标（XW，YW，ZW）。
3 手柄的位姿
工业机器人在抓取舱门手柄过程中，除需知道舱门手柄的位置信息，还需知道手柄的重心以及圆柱形手柄的轴线方向。因此需要通过圆柱面拟合[6]的方法得到圆柱体的参数。
图6 圆柱面数学模型示意图
圆柱面特征可以由回转中心轴线的单位方向矢量■和轴线上一点P0，以及回转半径r三要素唯一确定[7]。则可得：
P■P=P■P■■（5）
公式（5）中，Pi点是圆柱面表面上的采样观测点P点为Pi点在中心轴线上的投影点，β是P0Pi与中心轴线之间的夹角[8]。
cosβ=■（6）
手柄半径r已知，由式（5）和式（6）可以得出目标函数为：
F（x■，y■，z■，a，b，c，r）=■{（xi-x0）2+（yi-y0）2+（zi-z0）2-[a（xi-x0）+b（yi-y0）+c（zi-z0）]2-r2}
约束条件为：
a2+b2+c2=1（7）
可通过Kinect传感器获取手柄彩环矩形框中心点及周边随机点的空间坐标信息。然后利用Levenberg-Marquardt[9]迭代优化求解算法求出圆柱面参数。endprint
知道轴向量及其轴上一点位置，就可知道圆柱体轴的直线方程L。过红蓝两彩环矩形框中点连线C1C2的中点C作关于轴线L的垂线，可得到向量■和手柄重心q，向量■在■的反向延长线上，机器人抓手柄时，手爪的进给方向为向量■。已知向量■、手柄重心q以及手柄轴向（C■■■）可建立坐标系（x，y，z），x轴向由坐标系右手定则可得。如图7所示。
图7 圆柱手柄信息
4 手爪位姿矫正
圆柱手柄的重心及姿态信息用于机器人手爪矫正位姿去抓住手柄。解决手爪的位姿矫正还需要设定好其工具坐标系，模型如图8所示。
图8 手爪的工具坐标系
在控制机器人抓手柄时，要保证手爪的工具坐标系沿着向量■平移后与手柄的重心坐标系（x，y，z）重合，这样就可实现手爪对手柄的精准握抓。试验整个过程如下图9、图10、图11。
5 结论
V-REP仿真中的相机模型相对于实际的相机模型有些区别，对于空间中点的三维信息，V-REP中采用RGB相机和深度相机的方法获取，实际上多数是采用双目立体视觉的方式[10]获取点的三维信息，虽然方法不同，但过程相同，都可以通过Blob Detection来求得目标在图像坐标系中的矩形框，然后结合获取的深度信息得出三维点信息，后续对手柄位姿求解的方法与V-REP仿真中方法一致，都运用了圆柱面拟合来获得圆柱面参数。试验证明，该方法简单有效，实现了在舱门机构耐久性试验中，工业机器人对舱门手柄的视觉定位。
【参考文献】
[1]任重，邵军力.双目立体视觉的匹配方法研究[J].军事通信技术，2001（02）：45-48+72.
[2]王玉翰，金波.基于双目立体视觉的深度信息测量[J].机电工程技术，2015（03）：34-38+49.
[3]段康容，刘先勇.基于Blob算法的标记圆检测技术研究[J].传感器世界，2014（08）：7-10.
[4]姚宜斌，黄承猛，李程春，孔建.一种适用于大角度的三维坐标转换参数求解算法[J].武汉大学学报（信息科学版），2012（03）：253-256.
[5]王浩，許志闻，谢坤，李杰，宋成璐.基于OpenCV的双目测距系统[J].吉林大学学报（信息科学版），2014（02）：188-194.
[6]张益泽，王解先.初值任意选取的圆柱面拟合方法[J].工程勘察，2012（01）：77-80
[7]秦世伟，潘国荣，谷川，施贵刚.基于遗传算法的三维空间柱面拟合[J].同济大学学报（自然科学版）.2010（04）：604-607+618.
[8]王解先.工业测量中一种二次曲面的拟合方法[J].武汉大学学报（信息科学版），2007（01）：47-50.
[9]MORWJ J.The Levenberg-Marquardt algorithm：Implementation and theory[J].Lecture Notes in Mathematics，1978，630：105-116.
[10]尚倩，阮秋琦，李小利.双目立体视觉的目标识别与定位[J].智能系统学报.2011（04）：99.endprint
