课题组论文《基于多尺度区域特征匹配的双目视觉焊瘤三维定位方法》被《浙江大学学报(工学版)》(EI索引、安徽理工大学A类期刊)录用。该研究针对工业焊接场景中焊瘤纹理特征不明显、传统特征匹配方法难以实现可靠双目视觉三维定位的难题,提出了一种基于多尺度区域特征匹配(Multi-Scale Region Feature Matching, MSRFM)的双目视觉焊瘤三维定位方法,为机器人自动化打磨作业提供了焊瘤位置与数量的精准感知方案。

研究背景:焊瘤三维定位的行业痛点

焊瘤是熔化金属流淌并堆积在焊缝表面形成的多余金属,会破坏焊缝平滑过渡、形成应力集中源,降低接头疲劳强度与承载能力,在压力容器、船舶、轨道交通与汽车制造等行业中通常需焊后打磨或切除。然而,焊瘤打磨长期依赖人工,劳动强度大、粉尘与弧光危害显著、一致性差。要实现机器人自动打磨,首要前提是获取焊瘤的三维空间位置信息——这正是制约该技术落地应用的关键难点之一。

双目视觉是实现三维定位的主流方案,其精度严重依赖左右图像中目标的正确匹配。传统方法如SIFT、ORB、AKAZE依赖人工设计的局部描述子,通过检测角点、斑点等显著特征点实现匹配。但焊瘤目标在图像中仅约20×20至60×60像素,表面金属光泽、局部纹理匮乏,可提取的显著特征点极为有限。实验表明,SIFT、AKAZE、ORB在焊瘤匹配任务中的准确率仅为51%~74%。

技术创新:多尺度区域特征匹配算法MSRFM

针对上述瓶颈,团队提出MSRFM算法,其核心创新在于“特征复用”与“尺度感知加权融合”两大策略。

其一,直接复用检测骨干网络的多尺度特征。 团队采用改进的轻量化RT-DETR作为检测基础模型——以MobileNetV4替代原始ResNet-18骨干网络,引入DySample算子替代最近邻插值上采样,在保持检测精度的同时将参数量由38.5MB降至21.9MB、帧率由56.9FPS提升至103.6FPS。MSRFM直接复用该检测骨干网络在浅层(步幅8)、中层(步幅16)、深层(步幅32)已计算的多尺度特征图,通过ROI Align与全局平均池化提取焊瘤区域的特征向量。这一设计避免了额外特征提取网络的前向推理开销,匹配阶段单帧仅增加约0.8ms耗时。

其二,引入尺度感知加权融合增强浅层细节表达。 三层特征图的通道数差异显著(64:96:960),若直接拼接,深层960维特征将过度主导相似度计算,使浅层空间细节的贡献被严重削弱。针对焊瘤小目标的特点,团队赋予浅层、中层、深层特征3:2:1的加权系数,使浅层高分辨率特征在匹配中优先发挥作用。加权拼接后的1120维特征经L2归一化后,以余弦相似度构建相似度矩阵,采用贪婪策略实现左右视图中焊瘤目标的一对一匹配。

实验结果与工程价值

实验数据显示,MSRFM的匹配准确率达87.97%,较SIFT、AKAZE、ORB分别提高14.29、36.09和36.84个百分点。在三维定位方面,以与尺度无关的相对误差为主要评价指标,平均相对误差为8.1%、最大相对误差为8.8%。

该研究实现了从目标检测到三维定位的端到端闭环,计算开销小、工程实现简便,为焊接自动化中的缺陷感知环节提供了一条切实可行的技术路径。未来,团队计划进一步研究复杂光照、遮挡及多目标场景下的鲁棒匹配,并结合机器人运动控制实现检测—定位—打磨一体化作业。

Avatar photo

作者 skyate

发表回复