红柳林煤矿总经理常波峰：基于图像识别的煤矿井下员工不安全行为识别研究与应用
◆免责声明：所载内容来源网络、微信公众号等公开渠道，转载稿件版权归原作者、机构所有，转载仅供参考、交流等非商业目的，如有侵权，请联系我们删除
摘要
煤炭开采过程中的安全监控是一项重要的工作。从煤矿井下作业的标准化和安全管理的角度出发，针对井下员工在开采过程中的不安全行为利用图像识别技术进行分析；总结了煤矿井下作业不安全行为表现，将井下员工不安全行为的表现进行了分类，分为异常操作和异常位置2类；基于图像识别技术对异常操作和异常位置的不安全行为进行了判断，判断依据是煤矿综采工作面的图像数据与样本图像的对比及人员站立位置的计算；通过实例对煤矿工人不安全行为的识别进行了验证和应用实践。结果表明：该方法能够较为准确而快速地对煤矿井下员工不安全行为进行识别。
文章来源：《智能矿山》2024年第5期“学术园地”专栏
作者简介：常波峰，高级工程师，现任陕煤集团神木红柳林矿业有限公司党委副书记、总经理
作者单位：陕煤集团神木红柳林矿业有限公司
引用格式：常波峰，郭奋超，李国为，等.基于图像识别的煤矿井下员工不安全行为识别研究与应用[J].智能矿山，2024，5（5）：73-77.
目前世界煤炭储量约为1.07万亿t，我国煤炭资源总量为2078.85亿t，其中已探明储量为1432亿t，占世界煤炭总储量的13.3%。安全生产是各行各业不变的追求，根据相关统计，2022年我国共发生生产安全事故达2.52万余起，死亡20963人，其中全国煤矿共发生事故367起，死亡518人，安全生产特别是煤矿安全生产仍然需要重点关注。在现阶段，“安全第一、预防为主”是我国安全管理的方针，国家出台多项政策，加大管控力度，现阶段煤矿安全生产环境已得到大幅改善，95%以上的事故得到有效遏制，但是还存在“零敲碎打”的事故，安全生产“零事故”的目标还未实现。
煤矿企业员工作为生产工作的活动主体，其由于“人”而引起的不安全行为是导致“零敲碎打”煤矿事故发生的直接原因，主要原因：①认知方面，安全意识淡薄，思想麻痹大意等；②态度方面，不按标准流程作业；③管理方面，受工作空间和时间方面的限制。为全面提高安全生产管理水平，规范员工现场操作技能，笔者通过图像识别的方法对煤矿工人的不安全行为进行了深入研究。基于此技术可以让所有作业都执行标准，确保风险“可控、在控”；促进作业行为习惯的养成，真正意义上解决工人态度问题；运用AI技术进行全过程、全覆盖、全天候风险监管，消除“单一人工风险监管”在时间上的漏洞和空间上的盲区。
近年来，随着自动化、信息化技术的发展，煤矿安全工作得到了明显提升，对煤矿井下员工不安全行为进行识别和研究很有意义，井下各类安全监控系统对煤矿的安全生产起到了重要作用。沈小清研究了煤矿高层管理者安全领导力对矿工不安全行为的影响，探究了高层安全领导力及其维度结构对矿工不安全行为的影响机制，对矿工不安全行为进行了切实有效的管控。赵江平等利用不安全行为识别系统，通过安装在作业区域的视频摄像头获取的图像，对人体跌倒行为进行识别。元黎明对建筑工人不安全行为进行了调研，结合人工智能领域的图像识别技术，开展了建筑工人不安全行为检测，降低或规避安全事故的发生。邢曦文对煤矿工人不安全行为进行预控，通过对煤矿工人行为管理的分析，设计了煤矿中行为管理的实施流程，减少了矿工的不安全行为。于言滔基于人体工程学知识和图像识别技术，提出了对现场基本无干扰的不安全行为识别与记录方法。崔庆宏等在因子分析的基础上，采用解释结构模型（ISM）剖析建立了递阶结构图并进行数据分析，在分析结果的基础上，提出了相应的对策及建议，为提升施工安全性提供了有效依据。
煤矿井下生产的危险区域很多，在生产过程中不安全行为时有发生，利用计算机对图像进行感知、处理和分析，可通过识别各种井下危险场景，从而有效识别危险区域的危险行为。
基于图像识别的不安全行为判断方法
一般来说，除了因设备故障而引发的事故，煤矿生产中绝大多数的安全事故都是由于工人的不安全行为而直接导致的，具体的表现就是违反《煤矿安全规程》《安全作业规程》和《安全操作规程》。不安全行为发生的主观原因包括安全作业概念模糊、对工作理解不透彻、思想麻痹、对不安全行为可能会导致的后果认识不足、侥幸心理、思想开小差等；不安全行为发生的客观原因包括赶产量进度违章作业、安全设施不齐全、培训不到位、安全管理机制存在缺陷、安全管控措施落实不到位等。一般来说，各种不安全行为都可以称之为异常行为，在定义上异常行为是指煤矿工人未能按照安全生产要求所进行的作业操作或其他行为，如上班迟到、在岗睡觉、脱岗、空岗、携带非矿用电子物品、着装不整齐不规范、不按标准佩戴齐全劳动防护用品、出入井途中手拿安全帽、作业期间不戴安全帽等行为。更具体地说，煤矿工人最主要的不安全行为包括异常操作和异常站位。
（1）异常操作判断
随着机器学习方法的不断发展和计算机硬件性能的提升，利用机器学习技术对煤矿生产中的监控图像进行智能分析处理来达到安全预警的目的已经成为煤矿安全决策的重要依据与手段。目前，相关技术包括煤岩识别、矿工人脸识别、火灾识别等，还有针对煤矿井下安全生产过程中的智能化监测技术。矿工入井后，可以利用井下人员图像的灰度差异，将其划分为不同的区域，再对划分的各个区域采用SIFT算法进行特征提取。并将得到的特征与模板图像之间的特征进行匹配。如人员特征提取与模板图像匹配具体流程：①在相同条件下，分别采集工作人员的图像，并组成样本集，对图像中的人员进行结构分割，组成工作人员的身躯样本集A（身躯）、工作人员的上肢样本集B（手臂）、工作人员的下肢样本集C（下肢）、工作人员的头部样本集D（头部）；②依次对样本集A、B、C、D中的图像进行灰度化处理，对灰度化后的样本集A、B、C、D中每个样本的相邻尺度做差分计算得到高斯差分尺度空间；③通过拟合方法和Hessian矩阵，剔除低对比度点和边缘相应点，得到精确特征点，定义为待检测特征点；④将待检测特征点与样本特征点进行相似性判定，匹配相似度最高的特征点则为识别结果值。具体的矿工异常姿势判断流程如图1所示。
危险辨别流程如图2所示，通过视频系统所采集到的信息，与数据库中的危险姿势和正确姿势的样本进行辨识，而后将辨识的结果以移动端、PC端、电子大屏、智能安全帽、警示和指令收发设备为载体，通过程序开发、云计算、物联网技术应用、大数据分析等信息化技术对井下现场进行实时监管，达到了关键生产环节的连续性、全面性、透明化、智能化闭环管理，真正做到“时时、处处、人人、事事”准确辨风险，控风险。
一般情况下，还可以通过视频流作为信息输入端，利用人脸识别无感检测技术实现实时监控工作，当检测到工作区有人员经过时，会自动进行身份识别，通过记录经过人员、时间等信息，可以统计和了解经过区域人员情况。考勤和工作发生异常时，可及时追溯相关的信息，推送预警信息给相关管理人员。还可以通过手机人脸识别技术对重要的工作进行人员身份确认。
（2）异常站位识别
众所周知，综掘工作面现场狭小，各工种人员较多，有运料工、锚杆支护工、维修电工、刮板输送机工和其他管理人员，各工种存在交叉作业现象，如果综掘机运转作业时和其他工种相互交叉作业，发生人身伤亡事故的可能性增大。结合煤矿井下低能见度、环境复杂等情况，采用视频检测与UWB动态目标精确定位技术相结合的方法进行人员位置识别。利用标定的危险区域位置与人的位置相互关系，进行人员判断，进而视情况发出预警。人员位置判断原理如图3所示。
从图3可以看出，人员到危险区域边界的距离为D，人员到2个摄像仪的距离分别为L1和L2，危险区域预判边界与危险区域边界的间距为H，P为人员定位判距P1与视频判距P2的融合结果值。x、y为加权值，根据井下测试数据，当井下视频情况良好的情况下，y>x，一般取值y=0.7，x=0.3，当井下照度低粉尘大的情况下，y 不安全行为识别案例 异常操作识别案例 煤矿工人异常操作行为具体包括设备的不安全操作及人员的不安全姿势等，笔者有针对性地进行案例说明，包括陕煤集团红柳林矿业有限公司（简称红柳林煤矿）井下车辆闯红灯识别、人员未戴安全帽识别2个案例。 （1）案例一为井下车辆闯红灯识别案例，如图5所示，主要针对的是车辆的闯红灯行为。具体识别流程为当车辆到达红绿灯时，利用机器视觉模型对摄像机视频进行分析，当识别到红灯状态下车辆通过时，系统报警并记录车辆司机闯红灯行为，在整改前，车辆司机不允许下井开车。根据图5中监控界面上的矩形框可以对车辆进行自动跟踪，同时识别红绿灯状态，从而及时发现司机操作车辆闯红灯的问题。 （2）案例二为人员未戴安全帽识别案例，主要通过以目标（安全帽）的形态做算法模型、智能视频分析、深度学习技术来实现，如图6所示。具体操作为当工人经过摄像头识别区域时，利用机器视觉模型对摄像机视频进行分析，当识别到工人未戴安全帽时，报警提醒违规人员对其整改，在整改前，联动人员定位系统不允许其下井。由图7中监控界面上的人员可以自动联动人员定位系统，以此来确定该人员或者监控该人员的行走轨迹。 （3）案例三为危险区安全监控，具体操作为利用机器视觉模型识别到转载机卸载口与输送带搭接处大块煤堆煤、大块煤掉落时，报警提醒作业人员及时对大块煤堆煤、掉落的大块煤进行处理。图10为监控设备监测到的有异常大小的煤块掉落，采用基于图像识别的不安全行为判断方法可以快速准确地发现故障，避免重大灾害的发生。 总结 笔者从井下作业安全的角度出发，利用图像分析的相关技术针对煤矿井下员工的不安全行为利用图像识别技术进行了识别研究，获得以下结论： （1）将井下员工的不安全行为表现分为了异常操作和异常站位2类，利用获取到的煤矿综采工作面的图像数据，与样本图像进行比对，从而判断异常行为；利用精确定位技术判断异常位置，并在红柳林煤矿进行了应用实践。 （2）利用人工智能技术实时监管井下非标准作业，实现了智能预警、后台记录、现场制止、联动闭锁等，消除了安全管理中的人为因素，真正实现了生产环节的连续、全面、透明化、智能化闭环管理。 （3）采用实际的案例对煤矿工人异常操作识别和煤矿工人的异常位置识别操作进行了说明。利用计算机视觉技术+摄像头，让机器代替人眼，使得机器拥有类似于人眼的识别、跟踪、判别能力，在实际应用场景中，通过摄像头等监控设备感知来识别用户的行为，结合安全专业知识、风险管控规则，判断其是否违规。 笔者研究的基于图像识别煤矿井下员工不安全行为系统利用人工智能技术实时监管井下非标准作业，实现了智能预警、后台记录、现场制止、联动闭锁等，消除了安全管理中的人为因素，实现了生产环节的连续、全面、透明化、智能化闭环管理。 责编 | 江振鹏 编辑丨李雅楠 审核丨赵瑞
