1 FastLivo2 复现改进进展(负责人:吉娜)

(1)已完成了相机内参的标定

本周完成了相机内参标定工作。通过将标定纸在镜头前多方向移动(上下左右前后),确保标定纸角点覆盖画面四个死角和极限边缘,四个进度条均已变绿,标定成功。

  • 内参矩阵(K):焦距 fx 与 fy 数值接近,表明感光芯片像素为理想正方形,无拉伸畸变。
  • 畸变系数(D):径向畸变与切向畸变系数绝对值较小,原始图像畸变极其轻微。
  • 结论:内参标定结果理想,可满足后续视觉算法需求。

(2)外参标定

根据您提供的关于二维码-圆孔联合标定的原理描述,现将其总结并规范化为如下内容,可用于技术文档或组会汇报。

① 标定目标

求解激光雷达坐标系 → 相机坐标系的外参变换矩阵 ( T ),包含旋转矩阵 ( R ) 和平移向量 ( t = [x, y, z]^T ),使得:

Picam=TPilidar=RPilidar+tP_i^{\text{cam}} = T \cdot P_i^{\text{lidar}} = R \cdot P_i^{\text{lidar}} + t

② 标定板介绍

  • 二维码:位于标定板四角,提供稳定易识别的图像特征,用于求解标定板在相机坐标系下的位姿。
  • 圆孔:位于标定板上已知几何位置(相对于二维码),允许激光雷达射线穿过,在点云中形成可检测的几何特征(孔洞边缘点)。

③ 标定步骤

1) 相机侧:获取圆心在相机坐标系下的 3D 坐标

  • 相机采集图像,检测四个二维码。
  • 根据配置文件中已知的标定板尺寸,求解标定板在相机坐标系下的位姿(旋转+平移)。
  • 由于圆孔相对于二维码的几何位置固定,可推算出四个圆孔圆心在相机坐标系下的 3D 坐标 :
Picam P_i^{\text{cam}}

2) 激光雷达侧:获取圆心在雷达坐标系下的 3D 坐标

  • 激光雷达扫描环境,原始点云包含标定板及其他无关物体。
  • 在 Rviz 或其他工具中过滤无关点云,仅保留:
  • 标定板表面的点云;
  • 穿过圆孔打至后方墙面的点云。
  • 利用穿过圆孔形成的点云结构(孔洞边缘点),拟合每个圆孔的圆心位置,计算得到四个圆心在雷达坐标系下的 3D 坐标 :
PilidarP_i^{\text{lidar}}

3) 联合配准(3D-3D)

  • 同一个圆心在相机与雷达坐标系下各有一组 3D 坐标,形成对应点对:
PicamPilidar{P_i^{\text{cam}}} \leftrightarrow {P_i^{\text{lidar}}}
  • 缓慢移动标定板,采集多组不同位姿下的点对,增加约束。
  • 采用最小二乘或 SVD 方法求解外参矩阵 ( T ),使重投影误差最小。

④ 关键要点

  • 二维码提供鲁棒的图像特征识别,避免人工选点误差。
  • 圆孔结构保证雷达点云中可精确拟合圆心,克服雷达点云稀疏、无纹理的缺点。
  • 通过多组位姿的 3D-3D 点对联合优化,提高外参标定精度。

进展:外参标定工作已启动,具体标定流程与数据仍在进行中。

存在问题: 摄像头和雷达标定存在偏差,在 Y 轴位移上有 16 厘米差距,实际并无此差距。

问题原因及解决拟解决方法:可能是移动位置少且仅平移未考虑角度。需多视角运动以获取更多参数点,提高标定准确性。

2 自主移动机器人(负责人:冯天阳、张龙)

(1) 激光雷达与RTK融合定位情况

已完成融合:上周讲的 RTK 和雷达的映射关系及 RTK 平均定位问题已解决,融合方案稳定,在地图任意位置启动均可正常工作。

角度问题解决:发现 RTK 角度问题与 IMU 偏置角有关,将IMU 偏置角加入定位角度计算后问题解决。

融合目的:融合定位目的是获取更稳定的系统,主要定位精度由 RTK 提供,激光在 RTK 受遮挡时提供临时定位。

存在偏差:激光雷达和 RTK 标定存在偏差,导致激光与地图错位,影响路线规划。

解决方法:需在程序中加入 RTK 和激光雷达的安装距离,对旋转和平移矩阵进行标定。

(2)导航问题

问题表现:导航系统启动成功,能规划路线但无法通行,可能是 TF 关系未对齐。

解决要求:需进一步梳理 TF 关系,解决导航问题。

3 目标检测与视觉语义融合(负责人:孙永亮)

(1)模型调参

参数调整:在服务器上部署模型并进行训练,调整分辨率和 batchsize 等参数,目前处于调参阶段。

调参要求:调参需明确参数作用和合理取值区间,避免盲目调整。

(2)论文工作

方法解释:下周需明确周磊方法在新场景中的合理性,若解释清晰可直接套用到场景中训练,若不清晰可做小改动。

进度要求:下周分享论文,展示图像工作的实质性进度。

4 其他学习与设计工作

(1)基于语义分割的可行驶区域检测(负责人:范午生)

  • 模型学习与应用
    • 模型架构:范午生学习了 SeqFormers 模型架构,包括编码器和解码器部分,该模型有三个创新点。
    • 检测效果:该模型可检测可行驶区域,但边缘提取效果不佳,如栏杆部分检测不准确。
  • 优化方向
    • 融合改进:考虑将该模型与车道线检测融合,继续优化检测效果。
    • 实际应用:探讨将模型移植到车上,让车根据可行域调整姿态,以及利用无人机航拍提取道路信息。

(2)水泥材料3D打印(负责人:马斌斌)

  • 工作进展
    • 装配图制作:马斌斌用 Solid 制作了挤出头和框架的装配图,确定了打印机头的基本打印范围。
    • 切片软件学习:学习了切片软件和 3D 水泥材料的设置方法,包括喷头直径、层高、线宽等参数的计算。
  • 后续任务
    • 零件评估:下周与张龙联系,评估水泥脊柱头零件配件情况,实验室有则使用,没有则采购。
    • 框架对接:与徐永琪密切沟通,对接框架准备工作。

Avatar photo

作者 skyate

发表回复