一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法与流程

本发明属于图像信息处理领域，具体涉及一种基于图像特征点匹配的集卡车防吊起自动检测方法。

背景技术：

随着经济全球化的脚步不断加快，世界各国的集装箱吞吐量保持逐年增张。如今集装箱码头及堆场一般采用集装箱龙门式起重机(简称龙门吊)进行集装箱的装卸作业。在龙门吊对集装箱卡车(简称为集卡车)进行卸车作业之前，需要事先将集卡车上的锁销解锁。若锁销未能全部解锁，那么在集装箱吊被起的过程中集卡车会被一并吊起，导致集卡车倾覆车辆损坏，严重时甚至会危及集卡车司机的生命安全。由于作业环境复杂，龙门吊司机视野范围有限，导致龙门吊司机作业时无法及时地看到集卡车的锁销是否全部解锁；再加上龙门吊司机连续在单一枯燥的环境中作业容易疲劳，造成集装箱装卸作业过程中事故频发。因此，设计出可靠的集卡车防吊起自动检测系统非常重要。

现有的集卡车防吊起检测方法有基于人工监控、激光测距、光电开关和基于图像处理的车轮检测等方法。

1)基于人工监控的集卡车防吊起系统：该方法利用集装箱卸车作业过程中的视频实时监控，需要人工通过监视画面不断的观察集装箱和集卡车是否完全分离(载于港口科技动态，2004年，第2卷)。这种方法需要人工持续作业，人工持续作业容易疲劳，容易导致装卸作业事故发生。

2)基于激光测距的集卡车防吊起系统：该方法利用激光扫描测距仪对集卡车和集装箱之间的间隙进行扫描，检测在一定时间内集卡车和集装箱是否分离。基于上述原理，陈金波等人发明一种用于轨道吊机的集装箱卡车防误吊起系统及方法(专利公开号为cn104386582a)，在激光测距的基础上通过几何约束原则找出集装箱和集卡车的相对位置，从而判断集装箱起吊过程中集卡车是否被吊起。该方法能适应不同集卡车高度的变化，具有全天候自动检测功能，并且便于安装和实施，但是由于硬件的损耗过快，该方法成本过高且需要频繁地进行维护。

3)基于光电开关的集卡车防吊起系统：该方法利用安装在龙门吊边柱上的传感器检测是否有障碍物存在，判断集卡车是否被吊起。在集装箱被吊起的过程中，若传感器检测不到障碍物则继续正常作业；反之，则说明集卡车被吊起。这类方法的典型代表是盐田国际集装箱码头有限公司提出的龙门起重机的防拖架吊起保护系统(载于起重运输机械，2005年，第1卷)和上海盛东国际集装箱码头有限公司提出的集装箱轮胎防误吊集卡测控装置(载于港口科技动态，2005年，第9卷)。这类方法无法自适应集卡车高度的变化，实际使用时需要调整传感器高度。

4)基于车轮检测的集卡车防吊起系统：袁露露根据车轮形状特征提出两种有效弧段的筛选策略，排出无效的边缘信息，得到最终的车轮弧段特征，然后使用最小二乘法进行车轮检测，根据检测到的车轮位置判断集卡车是否被吊起(华中科技大学，2017年硕士论文)。该方法计算复杂依赖于车轮的定位，不同视频帧之间的车轮定位偏差会导致判断不准确。

在此背景下，设计一种能够实现自动检测，且运行成本低、易维护、鲁棒性强，准确性高的集卡车防吊起检测方法尤为重要。

技术实现要素：

本发明所要解决的技术问题是，针对现有技术的不足，提供一种基于图像特征点匹配的集卡车防吊起自动检测方法，能实现集卡车防吊起的自动检测，准确性高。

本发明所采用的技术方案如下：

一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法，包括训练阶段和检测阶段；

所述训练阶段包括以下步骤：

步骤a1：选取集装箱尚未开始起吊时的集卡车图像作为基准图像样本，选取多张对比图像样本，选取的对比图像样本包括两类，一类是集装箱起吊过程中集卡车未被吊起的图像，另一类是集装箱起吊过程中集卡车被吊起的图像；

步骤a2：每次选取基准图像样本和一幅对比图像样本，对它们进行特征点提取和特征点匹配，得到它们的匹配特征点对；重复上述操作，得到基准图像样本和所有对比图像样本的匹配特征点对；

步骤a3：以基准图像样本和对比图像样本的匹配特征点对间的位置偏移量数据为输入，对比图像样本的分类数据为输出，建立并训练集卡车防吊起自动检测模型；

所述检测阶段包括以下步骤：

步骤b1：对于待检测的集卡车，对其进行视频采集，选取集装箱尚未开始起吊时的图像作为基准图像，选取实时采集的图像帧作为对比图像；

步骤b2：对选取的基准图像和对比图像进行特征点提取和特征点匹配，得到它们的匹配特征点对；

步骤b3：匹配特征点对间的位置偏移量数据输入训练好的集卡车防吊起自动检测模型，以判断该集卡车在集装箱起吊过程中是否被吊起。

进一步地，所述步骤a2和步骤b2中，对两幅图像进行特征点提取和特征点匹配，得到它们的匹配特征点对的方法为：

对两幅图像分别进行n×m的网格划分，分别得到nm个子图；

将两幅图像上相同位置的子图作为一组；对每组子图，分别进行特征点提取和特征点匹配，得到各组子图间的匹配特征点对。

该集卡车防吊起自动检测算法是基于特征点匹配的方法，若直接进行整幅图像的特征点匹配，存在特征点分布不均匀的问题，无法进行状态判断。因此本发明将要进行匹配的两幅图像根据其尺寸进行n×m的网格划分，得到nm个子图，然后在各个子图中进行特征点匹配。这相当于强制性地实现了在图像的不同区域进行特征点匹配，使得我们可以得到图像上各个区域中匹配的特征点对，为之后检测集卡车的状态提供依据。

进一步地，对每一组子图，进行特征点提取和特征点匹配，得到其匹配特征点对的方法为：

1)使用orb算法进行特征点提取；

orb(orientedfastandrotatedbrief)算法是一种基于图像信息的快速特征点检测和描述算法，具有很好的旋转不变性。orb算法包括ofast算法和rbrief算法，ofast算法用于检测特征点，rbrief算法用于计算特征点的描述子。

2)在获得两幅图像的orb特征点之后，需要对得到的特征点进行匹配。本发明使用由粗到精的匹配方法，即先使用bf(bruteforce)算法进行特征点的粗略匹配，然后使用gms(grid-basedmotionstatistics)算法消除bf算法的匹配结果存在的错误匹配特征点对，得到高质量的匹配特征点对。

进一步地，为了得到两幅图像上各子子图中高质量的orb特征点，并且兼顾算法的实时性，从高到低地调整ofast算法中的角点检测阈值，并且设置ofast算法中角点个数上限nt。调整角点检测阈值具体实现方法是：首先根据经验设置一个ofast算法中的角点检测阈值区间(tl,th]，在此阈值区间内由高到低进行采样得到当前角点响应阈值tc，获得在当前角点响应阈值tc下，各子图图像中的orb特征点。

对每一组子图，采用orb算法进行特征点提取，bf算法和gms算法进行特征点匹配，得到其匹配特征点对的方法具体为：

1)设置角点检测阈值区间(tl,th]和角点个数上限nt；

2)初始化当前角点检测阈值tc＝th；

3)采用ofast算法分别两幅子图进行特征点检测，得到两幅子图中的特征点，并采用rbrief算法计算各特征点的描述子；

4)基于各特征点的描述子，先采用bf算法对两幅子图上的特征点进行粗略匹配，然后使用gms算法消除bf算法匹配结果中的错误匹配特征点对，得到最终的匹配特征点对，匹配特征点对数量记为m'n；

5)判断m'n是否大于或等于设定阈值m′th，若是，则认为在当前角点检测阈值tc下已经获得了足够多的匹配特征点对，停止该组子图的特征点匹配；否则，先判断当前角点检测阈值tc是否小于或等于tl，若是，则认为此时得到的角点的可信度已经较低，则停止对角点响应阈值tc采样，停止该组子图的特征点匹配，否则降低当前角点检测阈值tc，令tc＝α·tc，其中α为采样系数，并返回步骤3)重新进行上述步骤，直到停止该组子图的特征点匹配。

进一步地，所述步骤a3和步骤b3中，对于两幅图像上每组子图，分别计算其各个匹配特征点对间的位置偏移量，以位置偏移量的中值和该中值所对应的匹配特征点对数量作为该组子图的特征；以两幅图像上各组子图的特征作为集卡车防吊起自动检测模型的输入。

进一步地，所述匹配特征点对间的位置偏移量取它们在y方向上的位置偏移量。

进一步地，对于每一组子图，若通过步骤a2/步骤b2得到其最终的匹配特征点对数量m'n大于或等于设定阈值m′th，则选取出匹配程度最高的m′th个匹配特征点对作为候选特征点对spoints；否则，保留其所有最终的匹配特征点对作为候选特征点对spoints；

所述步骤a3/步骤b3中，对于每一组子图，计算spoints中每个匹配特征点对在y方向上的位置偏移量(单位为像素点数)，并且统计各位置偏移量对应的特征点对数量；为了避免该组子图中存在区域性的密集特征匹配点对影响结果，如静止的背景图像被密集匹配，因此选择该组子图中匹配特征点对在y方向上的位置偏移量的中值fy，和该中值对应的匹配特征点对数量(即在y方向上的位置偏移量等于该中值的匹配特征点对的个数)fn，作为该组子图的特征，用(fy,fn)来表示；本发明对两幅图像进行了n×m的网格划分，因此共得到nm组特征，记为其中i＝{1,2,…,mn}为子图编号，子图按其在原图中的位置从左至右、从上至下编号；

进一步地，所述步骤a3/步骤b3中，把nm组特征按照其对应的子图所在的列划分为m组(将属于同一列子图的特征划分为一组)，一组特征组合为一个检测对象，检测对象的特征即为其中i＝{1,2,…,m}代表检测对象对应的子图列号；

为剔除异常检测对象，设置特征点对数量的判断阈值当时说明该检测对象的某个子图的特征点对较少，不足以支撑判断模型的结果，剔除该检测对象。

在训练过程中，人工对每个检测对象样本进行打标签，若其对应集卡车未被吊起的正常情况，则其标签为0，若其对应集卡车被吊起的异常情况，则其标签为1，得到样本集；

由于该集卡车状态只有未被吊起的正常情况和被吊起的异常情况，共两种状态。因此在得到训练数据之后，使用逻辑回归(logisticregression)模型构建集卡车防吊起自动检测模型；逻辑回归模型的函数式如下：

其中，hθ(x)表示模型输出的检测对象标签为1的概率，θ0,θ1,...,θ2n+1为模型需要求解的参数，x＝(x1,x2,...,x2n)为检测对象的特征；

使用交叉熵作为损失函数，并使用梯度下降法进行求解；损失函数如下式：

其中，k表示检测对象样本总数量，x^k表示第k个检测对象样本的特征，y^k表示第k个检测对象样本的真实标签。

经过训练，使逻辑回归模型收敛，即模型可以较好地拟合训练集之后，即可使用模型进行分类。

设置判定阈值pt，对模型的输出结果进行分类；当模型的输出hθ(x)＜pt时，输出为0，即集卡车状态为正常，集卡车未被吊起；当模型的输出hθ(x)≥pt时，输出为1，即集卡车状态异常，集卡车被吊起，即模型的分类规则如下：

由于把图像划分为n×m的网格，并按子图(网格)所在的列组合特征，因此一幅对比图像可以得到m个检测对象，设剔除异常检测对象后，还剩下m′个检测对象；将m′个检测对象的特征分别输入训练好的逻辑回归模型，输出相应的hθ(x)值；按照上述分类规则，可以得到m′个分类结果reslut1,reslut2,…,reslutm，融合这m′个分类结果，确定最终的分类；在融合m′个分类结果时，设定当m′个分类结果都为0时，判断当前集卡车状态正常，否则判断当前集卡车状态异常。

有益效果

本发明公开了一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法，使用图像处理技术中的特征匹配方法实现集卡车防吊起的自动检测，解决了已有集卡车防吊起检测需要人工持续作业的问题、受硬件条件限制和特征区域定位精度较低的问题，实现了集装箱和集卡车分离的自动化检测。本发明运行速度快，鲁棒性好，而且不需要人工干预，可以24小时运行，具有很强的通用性。根据基准图像和对比图像进行网格划分，得到多个子图，强制性地在不同子图匹配特征点，提取各组子图上的匹配特征点对在y方向上的位置偏移量的中值和该中值对应的特征点对数量，建立并训练数学模型，进而进行集卡车防吊起的自动检测，降低成本低，准确性高，提高了运输效率，该方法可以广泛应用于各种环境下的集卡车防吊起检测。

附图说明

图1为本发明实施例中检测方法原理图；

图2为本发明实施例中检测方法的流程图；

图3为本发明实施例中对每幅对比图像进行特征提取的流程图；

图4为本发明实施例中使用的逻辑回归sigmoid函数图像，为图(a)；sigmoid函数一阶导数函数图像，为如图(b)；

图5为本发明实施例中基准图像和对比图像的某个网格子图进行特征点匹配的示意图；

图6为实施例1白天环境下集装箱装卸作业时检测图像划分3×3网格之后特征点匹配的结果，其中图(a)为基准图像，图(b)为对比图像；

图7为实施例2雨天环境下集装箱装卸作业时检测图像划分3×3网格之后特征点匹配的结果，其中图(a)为基准图像，图(b)为对比图像；

图8为实施例3夜晚环境下集装箱装卸作业时检测图像划分3×3网格之后特征点匹配的结果，其中图(a)为基准图像，图(b)为对比图像；

具体实施方式

下面结合附图说明对本发明做进一步说明：

实施例1：

本实施例是针对白天环境下集装箱装卸作业时的检测图像，整体实施流程如图2所示，其集卡车防吊起自动检测按如下步骤进行：

步骤a:选取尚未开始起吊的图像作为基准图像，选取实时视频帧作为对比图像，并且将选取出的两幅图像划分成3×3的网格；

首先在收到龙门吊的“开始起吊”信号之后，立刻对实时视频流进行采样，由于起吊过程的延时性，此时采集到的图像为尚未起吊的图像，即可把当前图像作为基准图像。

接着将基准图像和对比图像划分成3×3的9个子图，在划分时，首先进行均匀划分，若均匀划分所得的子图顶点坐标不在原始图像上像素点的顶点位置，则进行取整操作，将子图顶点移动至与其最近的像素点顶点位置，最终将原始图像划分成9个子图。强制性地实现在图像的不同区域进行特征点匹配，以得到图像各个区域中像素点的移动值，为之后检测集卡车的状态提供依据。

步骤b：由步骤a分别对两幅图像进行3×3网格划分，按照相应位置的子图进行特征点提取和特征点匹配。

分别对两幅图像的不同子图进行特征点检测和描述，得到orb特征点，其中ofast算法的角点检测阈值范围th＝9，tl＝2。初始的当前角点检测阈值tc＝th，设置ofast算法中角点个数上限nt为2000个，以控制角点的质量和数量。得到orb特征点后使用bf匹配算法进行粗略地特征点匹配，之后使用gms算法消除匹配错误的特征点对，得到高质量的匹配特征点。

进行完上述的特征点匹配步骤之后，检测当前子图匹配得到的特征点对数目是否大于等于m′th，本实施例中设置m′th＝100。若匹配特征点对的数目足够100，则结束当前网格的特征点检测，保留距离匹配最近的前100个点对；否则设置tc＝α·tc，本实施例中设置α＝0.9，再次进行上述的特征点检测和特征点匹配，直到tc≤tl或匹配特征点对的数目足够100。匹配示意结果如图3所示。

步骤c：由步骤b获得两幅图像对应子图的匹配特征点对，计算各个对应子图的匹配特征点对在y方向上位置偏移量的中值和位置偏移量的中值所对应的特征点对数量作为特征

在获得各子子图的匹配特征点对之后，提取匹配特征点对在y方向上位置偏移量的中值fy和在y方向上位置偏移量等于该中值fy的特征点对的数量fn，每幅图像被划分为3×3的网格，因此可以得到9组

步骤d：按列组合由步骤c获得的两幅图像各个对应子图的特征，测试建立的数学模型，进行集卡车防吊起的检测；

由步骤c得到当前两幅图像的9组然后按照子图所在的列，进一步将这9组划分为三组，一组特征组合即为一个检测对象，即每个检测对象样本为其中i＝{1,2,3}。

为剔除异常检测对象，设置特征点对数量的判断阈值当时说明该检测对象的某个子图的特征点对较少，不足以支撑判断模型的结果，剔除该检测对象；

在训练过程中，人工对每个检测对象样本进行打标签，若其对应集卡车未被吊起的正常情况，则其标签为0，若其对应集卡车被吊起的异常情况，则其标签为1，得到样本集；

剔除异常样本后，使用逻辑回归(logisticregression)模型构建集卡车防吊起自动检测模型；逻辑回归模型的函数式如下：

其中，hθ(x)表示模型输出的检测对象标签为1的概率，θ0,θ1,...,θ2n+1为模型需要求解的参数，x＝(x1,x2,...,x2n)为检测对象的特征；

使用交叉熵作为损失函数，并使用梯度下降法进行求解；损失函数如下式：

其中，k表示检测对象样本总数量，x^k表示第k个检测对象样本的特征，y^k表示第k个检测对象样本的真实标签。

经过训练，使逻辑回归模型收敛，即模型可以较好地拟合训练集之后，即可使用模型进行判断。

选取实时视频帧作为对比图像，采用上述方案获得其对应的检测对象，并使用训练好的模型进行判断。设置判定阈值pt＝0.7，得到实例1中对比图像的三列判断结果分别为{0,1,1}，即实例1中集卡车的状态为被吊起，为异常状态。

基于对由于集卡车防吊起自动检测系统要求很高的实时性，本发明使用基于图像处理的特征点匹配的方法，所以在所述步骤b1中，使用尚未开始起吊的图像作为基准图像，之后每隔10帧对实时视频流进行一次采样，获得要进行对比的对比图像。

实施例2：

该实例对雨天环境下集装箱装卸作业的图像进行检测，图7(a)为基准图像，图7(b)为对比图像(大小为600×800)。

按照实施例1中同样的检测方法，可以得到实施例2中对比图像的三列判断结果分别为{0,0,0}，即实例2中集卡车的状态为未被吊起，为正常状态。

实施例3：

该实例对夜晚环境下集装箱装卸作业的图像进行检测，图8(a)为基准图像，图8(b)为对比图像(大小为600×800)。

按照实施例1中同样的检测方法，可以得到实例3中对比图像的三列判断结果分别为{0,0,0}，即实例3中集卡车的状态为未被吊起，为正常状态。

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。