目前,國內煤礦普遍采用人工方式對工業視頻進行監測或事后回放,存在效率低、對各類突發事件反應不及時等問題,隨著煤礦智能化建設的不斷推進,以深度學習模型為代表的機器視覺技術得到了快速發展,通過建立云-邊-端體系的煤礦視頻智能分析處理系統,替代人工識別方式,已成為新一代煤礦工業視頻監控系統的發展方向。
文章來源:《智能礦山》2025年第6期“視角·觀點”欄目
第一作者:武建軍,教授級高級工程師,現任中煤集團山西華昱能源有限公司副總監,主要從事采礦工程的研究工作。E-mail:13903586956@139.com
作者單位:中煤集團山西華昱能源有限公司;中國礦業大學;中煤華晉集團有限公司
引用格式:武建軍,錢建生,朱若軍,等.礦山“人 - 機 - 環”全域視覺感知與預警技術研發與應用[J].智能礦山,2025,6(4):11-20.
點擊文末左下角閱讀原文,免費下載閱讀pdf全文
關注微信公眾號,了解更多礦山智能化建設進展
融合機器視覺、邊緣計算、大數據分析、云服務和嵌入式智能終端等先進技術,建立礦山“人-機-環”全域視覺感知與預警系統,實現人員、設備和環境精準感知、實時分析和協同預警,提高煤礦安全生產保障能力和災害監測預警水平。
全域視覺感知與預警系統架構
煤礦安全生產需要全面感知礦井人員、設備和環境的各類信息,并對感知信息進行深入融合分析,結合安全監測系統、生產自動化系統進行聯動和預警,實現煤礦安全生產主動閉環管理。構建礦山“人-機-環”全域視覺感知與預警體系,形成多參量、多層次、多尺度的跨系統數據感知策略,提供煤礦安全生產的數據支撐。
礦山“人-機-環”全域視覺感知與預警系統應用架構如圖1所示,分為感知層、邊緣分析層、云服務層和應用層。
圖1 礦山“人-機-環”全域視覺感知與預警系統應用架構
(1)感知層
通過高速、低速、紅外光譜、雙目和雷達測速等多種類型的礦用本安型AI攝像儀進行視頻信息采集,實現人員、設備、環境信息感知;通過嵌入式AI分析模塊,進行實時分析、就地控制。
(2)邊緣分析層
基于邊緣計算的視頻分析裝置,部署深度學習模型,完成視頻數據的過濾、清洗,以及分布式邊緣計算和處理,對關鍵、異常數據在邊緣端就地處理并上傳至云服務平臺,同時接收來自云服務平臺調優后的模型,實現邊緣分析裝置自動迭代升級。
(3)云服務層
AI賦能平臺,融合匯聚感知層終端和邊緣分析層計算數據,實現全系統的數據分析、預測和預警決策,實現對異常分級處置,提供預警與應急處置方案,構建實時分析、動態預測、預警決策、生產協同和閉環管理的管控優化新模式。
(4)應用層
針對不同應用進行細分和場景化的AI視頻識別預警,實現人員的不安全(規范)行為識別、設備不安全狀態識別和環境不安全隱患識別,提升煤礦安全生產的全場景防范能力和煤礦安全防范的整體聯動預警水平。
全域視覺感知與預警視頻檢測
2.1 視頻圖像預處理
煤礦井下環境復雜、粉塵和霧氣嚴重、低照度,采集的圖像存在對比度和分辨力低、細節模糊、高噪聲等問題,圖像關鍵信息準確識別和提取難,影響視頻分析結果。通過視頻圖像預處理技術消除圖像中的干擾因素,提升視頻圖像質量,圖像預處理技術主要包括圖像增強和超分辨率重建。
(1)圖像增強
圖像增強可改善礦井視頻圖像光照不均勻、對比度低等問題。基于雙邊濾波和多尺度Retinex算法的圖像增強方法流程如圖2所示。基于深度學習的圖像增強方法利用礦井低質圖像數據集進行端到端神經網絡模型訓練,構建出高效圖像增強網絡,學習并捕獲從低光照圖像到高質量參考圖像的復雜映射關系。
圖2 雙邊濾波和多尺度Retinex算法的圖像增強方法流程
基于反注意塊的生成式對抗網絡,雙判別器從全局和局部2個維度生成圖像,反注意力模塊減少黑暗區域噪聲干擾,基于反注意塊的生成式對抗網絡如圖3所示。采用卷積神經網絡構建煤礦井下低光照圖像增強網絡,提升礦井低光照圖像的對比度和亮度,與原始低光照圖像相比,增強圖像的峰值信噪比提升約54%,結構相似性提升約140%。
圖3 基于反注意塊的生成式對抗網絡
(2)超分辨率重建
視頻圖像在井下受環境影響,分辨率較低。采用基于深度學習的超分辨率重建技術,提高圖像的重建精度和質量。輕量級的超分辨率重建網絡,級聯殘差塊充分利用淺層特征和深層特征,利用1×1卷積核減少模型參數量,提高網絡的效率。基于錨定鄰域回歸的超分辨率重建技術,融入顏色恢復與邊緣保持機制,增強低照度圖像的特征表現能力,基于顏色恢復和邊緣保持的低照度圖像超分辨率重建方法如圖4所示。
圖4 基于顏色恢復和邊緣保持的低照度圖像超分辨率重建方法
2.2 視頻識別場景模型
煤礦關鍵視頻場景智能識別與檢測主要用于人員行為、機器狀態、環境參數識別與檢測,融合多維度分析礦山數據,對礦山生產業務及規則進行結構化特征建模,提出了全流程生產風險管控的云邊協同視頻結構化分析平臺模型如圖5所示,識別場景主要包括以下3個方面。
圖5 云邊協同視頻結構化分析模型
(1)人員不安全(規范)行為監管主要針對瓦檢員作業不規范、乘車不規范、區域限員、乘坐輸送帶、人員脫崗、人員入侵、行人乘車不規范、鉆場管理、危險區域監測、井下車輛超速抓拍等。
(2)設備不安全狀態檢測包括綜采工作面、掘進工作面、主運輸系統、輔助運輸系統、輔助駕駛系統、供電與排水系統、風門等。
(3)環境不安全隱患監測包括圍巖裂縫、煤壁片幫、煙霧明火、積水涌水、粉塵濃度、頂板變形、溫度異常等。
全域視覺感知與預警技術的典型應用
中煤華晉集團有限公司王家嶺煤礦(簡稱王家嶺煤礦)是國家首批智能化示范建設煤礦,2022年聯合中國礦業大學建設了工信部、應急管理部第一批安全應急裝備應用試點示范工程,建設了礦山“人-機-環”全域視覺感知與預警系統,通過云-邊-端多級AI視頻識別體系,構建了覆蓋礦山安全生產全域的典型場景庫和模型算法群,實現3大類36種典型場景的智能識別,典型場景隱患識別方法準確率≥95%,隱患識別時間≤300 ms,目前,礦山“人-機-環”全域視覺感知與預警系統已在王家嶺煤礦得到常態化應用,成效顯著。礦山AI視覺智能識別管理平臺界面如圖6所示。
圖6 礦山AI視覺智能識別管理平臺界面
3.1 綜采工作面
基于AI視頻識別技術,建立綜采工作面安全生產管理及預警體系,提高生產系統的可靠性和生產作業的安全性。場景包括采煤機的狀態識別與跟蹤、跟機移架工序識別、刮板輸送機斷鏈、拉斜和推直識別、液壓支架護幫狀態監測和機尾刮板運行狀態監測等。綜采工作面AI視頻識別與預警場景界面如圖7所示,綜采工作面AI視頻識別與預警場景應用見表1。
圖7 綜采工作面AI視頻識別與預警場景界面
表1 綜采工作面AI視頻識別與預警場景應用
3.2 掘進工作面
基于AI視頻識別技術,建設掘進工作面安全生產管理及預警體系,實現對掘進工作面關鍵作業的工藝過程進行監管,對人員不安全行為進行監控預警。對掘進工作面敲幫問頂、前探梁安裝、背板結頂等關鍵作業工藝過程進行智能識別監管,對鉆桿工作狀況實時監測。掘進工作面AI視頻識別與預警場景界面如圖8所示,掘進工作面AI視頻智能識別場景應用見表2。
圖8 掘進工作面AI視頻識別與預警場景界面
表2 掘進工作面AI視頻智能識別場景應用
3.3 主運輸系統
基于AI視頻識別技術,建立主運輸系統安全生產管理及預警體系,對主煤流運輸系統的異物、跑偏、撕裂和轉載點堆等進行異常情況分析和識別,提升煤流運輸系統的生產效率并增強系統運作的安全性。精確識別輸送帶煤量變化,實時統計運煤量,主運場景AI視頻識別與預警場景界面如圖9所示,主運場景AI視頻識別與預警場景應用見表3。
圖9 主運場景AI視頻識別與預警場景界面
表3 主運場景AI視頻識別與預警場景應用
3.4 輔助運輸系統
基于AI視頻識別技術,建立輔助運輸系統安全生產管理及預警體系,實現車輛及信號燈狀態檢測、車輛計數、超速監測、乘車規范性檢測等,強化運輸現場管理,確保輔助運輸過程精準高效,輔助運輸場景AI視頻識別與預警場景界面如圖10所示,輔助運輸場景AI視頻智能識別場景應用見表4。
圖10 輔助運輸場景AI視頻識別與預警場景界面
表4 輔助運輸場景AI視頻智能識別場景應用
3.5 人員規范行為
建立多維度、多角度、全場景的人員不安全行為視頻識別,主要包括礦工不安全操作設備行為識別、危險區域入侵識別、人員不安全行為識別和巡檢軌跡識別等,人員不安全行為AI視頻識別與預警場景界面如圖11所示,人員不安全行為AI視頻智能識別場景應用見表5。
圖11 人員不安全行為AI視頻識別與預警場景界面
表5 人員不安全行為AI視頻智能識別場景應用
3.6 環境異常隱患
通過AI視頻識別與分析技術,實現煤礦安全生產過程中內外環境的風險預測、預警和災害防治,主要應用于煤礦火災感知、粉塵識別等,環境異常隱患AI視頻識別與預警場景界面如圖12所示,環境異常隱患AI視頻智能識別場景應用見表6。
圖12 環境異常隱患AI視頻識別與預警場景界面
表6 環境異常隱患AI視頻智能識別場景應用
全域視覺感知與預警系統面臨的挑戰
(1)復雜多變的環境條件
礦山環境復雜多變,受井下光照不足、陰暗、潮濕、粉塵等多種因素的影響,對視覺感知設備成像質量和穩定性造成干擾,對智能算法的識別精度和可靠性產生影響。在復雜多變的環境條件下,實現穩定、可靠的視覺感知與預警是技術面臨的重要挑戰。
(2)多樣化的礦山設備和人員行為
礦山設備和人員行為的多樣化給視覺感知與預警技術帶來了挑戰。不同設備和人員的外觀、運動軌跡、行為特征等,實現準確識別和區分差異是精準預警的關鍵,設備和人員的交互行為也是干擾預警系統準確性的重要因素之一。
(3)實時性和準確性
礦山生產對實時性和準確性要求高,若發生異常情況,預警系統必須迅速、準確做出反應,以避免或減少事故發生,在保證實時性的同時提高預警準確性,滿足礦井安全生產的需求。
(4)環境不安全隱患的復雜性
煤礦地質災害的復雜性、安全風險的多變性,導致礦井環境隱患識別和預警面臨困難。巷道變形和煤壁外移等由于變化過程長且緩慢,難以有效識別;粉塵導致圖片質量差,識別難度大等因素,對精準預警環境隱患提出更高要求。
全域視覺感知與預警系統發展對策
(1)加強礦井算法技術攻關
推動煤礦特殊照明環境下的工業視頻圖像特征增強和超分辨率重建方法研究。在“人-機-環”多領域場景提取人的不安全行為特征、機的不安全狀態及環境的不安全因素,探索新的視覺感知技術和智能算法,利用深度學習等人工智能技術,提高礦井智能算法的識別精度和可靠性。
(2)推動“人-機-環”多源數據融合與協同
推動礦山環境、設備狀態和人員行為多源數據融合,實現風險監測預警與聯動控制。融合視頻、圖像、聲音等多媒體數據以及傳感器數據等,形成自感泛聯、數驅智采的礦井多維度主動感知及智能化開采新模式。
(3)提高預警系統的實時性
利用邊緣計算技術,將部分計算任務轉移到井下邊緣設備處理,減少數據傳輸時延、提高處理速度,實現本地獨立工作進行安全隱患分析及預警,形成高速視頻感知、實時識別、動態協同預警的煤礦安全智能監管新模式。
(4)加強環境不安全隱患應用研究
對于難以直接識別的隱患,可通過特定物識別。例如:識別錨桿端部空間坐標變化反演巷道變形;通過對特定標定物的圖像質量評價,判斷粉塵濃度是否超限;加強環境隱患數據集建設和共享。
結 語
礦山“人-機-環”全域視覺感知與預警技術,從人員不安全行為、設備不安全狀態和環境不安全隱患多維度精準感知、實時分析和協同預警,形成多參量、多層次、多尺度的跨系統數據的感知策略,推動煤礦智能化建設全覆蓋、自感知、邊計算的新理念。
全域視覺感知與預警技術在“人-機-環”多個監控場景中取得了應用,并取得一定的應用效果,但部分場景受工況環境的影響局限性強,無法精準有效聯動預警。下一步將構建煤礦通信聯絡、生產自動化、安全監控多系統的聯動與協同,實現高水平的智能礦山數據分析與智能決策,推動煤礦行業向更高效、更安全的方向邁進。
編輯丨李莎
審核丨趙瑞
煤炭科學研究總院期刊出版公司擁有科技期刊21種。其中,SCI收錄1種,Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種,是煤炭行業最重要的科技窗口與學術交流陣地,也是行業最大最權威的期刊集群。
《智能礦山》
Journal of Intelligent Mine
月刊CN 10-1709/TN,ISSN 2096-9139,聚焦礦山智能化領域產學研用新進展的綜合性技術刊物。
主編:王國法院士
投稿網址:www.chinamai.org.cn(期刊中心-作者投稿)
聯系人:李編輯 010-87986441
往期薦讀
往期特刊
中國煤科特刊
陜煤集團特刊
神東專欄
重大進展特刊
露天礦特刊
理事單位特刊
紅柳林煤礦特刊
創新技術特刊
創刊號
版權聲明
本刊對已出版文章持有電子版、網絡版及進行網絡技術交流和與各網絡數據庫合作的權利,稿酬一次性付清,版權歸本刊與作者共同所有,如不同意,請在投稿時聲明。
聲明:本文系轉載自互聯網,請讀者僅作參考,并自行核實相關內容。若對該稿件內容有任何疑問或質疑,請立即與鐵甲網聯系,本網將迅速給您回應并做處理,再次感謝您的閱讀與關注。
不想錯過新鮮資訊?
微信"掃一掃"