近日，韩康同学在其导师孟亦凡讲师的指导下，完成硕士学位论文《基于视频AI的煤矿关键岗位人员工作状态分析研究》，围绕煤矿绞车司机等关键岗位人员易出现的脱岗、疲劳睡岗、玩手机、侧身交谈等不安全工作状态，提出了一套融合轻量化深度学习模型与实时告警机制的智能分析系统。该工作已成功应用于淮南矿业集团丁集煤矿、顾北煤矿等实际生产场景，为煤矿安全生产提供了有力的技术支撑。
一、研究背景与痛点
煤矿关键岗位（如绞车司机、井口信把工、变电站值班员）作业内容单一、连续作业时间长，加之环境封闭、光照不足，人员极易出现疲劳累积和注意力分散。传统人工巡检存在盲区大、响应滞后等问题，而现有深度学习模型虽精度较高，但计算复杂度大，难以满足煤矿现场对实时性和低延迟的严苛要求。如何在保证识别精度的前提下实现模型轻量化与实时部署，是工程落地的核心难题。
二、主要创新与技术路线
该工作从行为识别、疲劳检测和模型轻量化三个维度展开，系统设计如下：
- 轻量级人体姿态估计（改进OpenPose）
针对原OpenPose计算量大、分支冗余的问题，将特征提取网络由VGG-19替换为MobileNet前12层，引入深度可分离卷积替代标准卷积，并将后续多阶段中的7×7大卷积核替换为3个3×3卷积叠加，同时共享阶段内分支参数。改进后模型在MSCOCO2017数据集上mAP仅下降2.4%（从0.746降至0.728），但计算量降低66%（158.6→53.9 GnFLOPs），模型大小缩减82.3%（205.8→36.5 MB），推理速度提升64.7%（18.7→30.8 FPS），实现了精度与实时性的良好平衡。 - 基于骨架时空图的行为识别（改进ST-GCN）
以改进OpenPose提取的18个关键点骨架序列为基础，构建人体骨架时空图。针对原ST-GCN仅能捕获局部邻域特征、对长动作识别不足的问题，融合密集连接网络（DenseNet）思想重构网络结构，将10层时空图卷积划分为3个密集连接块，实现浅层特征复用，并在首个密集连接块的时间卷积后引入非局部注意力（Non-local）模块，增强关节间的全局依赖关系。在自建煤矿关键岗位行为数据集（含脱岗、疲劳睡岗、侧身交谈、玩手机四类，共800组视频样本）上，改进后的ST-GCN准确率达86.1%，较原ST-GCN提升5.3%，同时计算量降低31.5%（23.8→15.8 GnFLOPs），参数量减少25.8%（6.28→4.1 M）。 - 面部多特征疲劳检测（轻量化YOLOv7-Fast）
针对单纯行为识别对“疲劳睡岗”易漏检的问题，引入基于面部眼部（闭合时长、PERCLOS准则）和嘴部（打哈欠时长）多特征融合的疲劳判定方法。基础模型选用YOLOv7，但因其计算量大（97.18 GnFLOPs）、推理速度慢（63 FPS），基于深度可分离卷积和MAC优化规则，对ELAN、ELAN-W、SPPCSPC、MP等核心模块进行轻量化重构，构建CBH/DBH模块（以Hard-Swish替代SiLU），并在特征提取网络末端引入Shuffle注意力机制以补偿轻量化带来的精度损失。改进后的YOLOv7-Fast在自建Fatigue-dataset数据集（1934张图像，含睁/闭眼、张/闭嘴等标签）上mAP为97.25%（原YOLOv7为97.82%），计算量降至32.47 GnFLOPs（降低66.5%），参数量降至18.57 M（降低50.6%），推理速度达87 FPS（提升38%），且对闭眼、张嘴疲劳特征的识别准确率超过98%。 - 系统集成与现场部署
系统采用“边缘感知层—AI分析处理层—信息交互层—监控应用层—安全响应执行层”五层架构，基于B/S模式开发可视化交互界面，支持多路视频并行处理。服务器集群通过CUDA加速完成行为识别与疲劳检测的联合推理，检测到不安全状态时经ModbusTCP协议驱动网络继电器，触发现场语音报警。系统设计双网卡物理隔离视频流与控制信号，确保告警低延迟。实际部署中，系统在绞车司机室等场景稳定运行，行为识别帧率约28 FPS，疲劳检测帧率约56 FPS，对四种不安全行为的识别准确率达工程可用水平，日志记录与回溯功能完整。
三、实验与现场效果
- 消融实验表明，密集连接机制对模型计算效率贡献显著（参数量降低25.8%），非局部注意力机制对长动作识别提升明显（准确率+5.6%），Shuffle注意力有效弥补轻量化精度损失（mAP提升0.23%）。
- 与主流算法对比，改进OpenPose在实时性上优于AlphaPose和HRNet；改进ST-GCN在计算量上远低于2S-AGCN（降低80.1%）和MST-GCN（降低75.9%），精度接近；YOLOv7-Fast在综合性能上优于YOLOv5、YOLOv8等模型，尤其适用于资源受限的工业场景。
- 现场应用表明，系统能够全天候自动识别关键岗位人员的不安全行为，及时告警，有效降低了人工巡检压力，提升了煤矿安全管控的智能化水平。
四、研究价值与展望
该工作系统性地解决了深度学习模型在煤矿边缘计算场景中的轻量化部署难题，提出的“姿态估计—骨架时空建模—行为识别”与“面部特征检测—多准则疲劳判定”双通道融合策略，为煤矿关键岗位人员状态监测提供了可落地的技术方案。未来研究可进一步探索复杂遮挡下的姿态估计鲁棒性、多维度生理-行为联合疲劳建模，以及模型剪枝、知识蒸馏等更丰富的轻量化技术融合，推动系统向端侧智能演进。