露天礦山道路凹坑、碎石密集，障礙物精準感知是實現礦用卡車自動駕駛的核心與難點。基于激光雷達與攝像頭融合感知的障礙物識別方法，設計激光雷達點云與攝像頭圖像的聯合標定方法，實現點云與圖像坐標統一;結合二維和三維信息的目標檢測算法，將圖像檢測障礙物回歸目標中心點、點云中檢測障礙物回歸為目標中心點集;提出了基于KNN算法與二叉樹模型的感知目標融合算法，KNN算法實現目標點中心融合，并采用二叉樹模型提高檢測目標匹配效率。

文章來源：《智能礦山》2025年第8期“學術園地”欄目

作者簡介：趙樹軍，主要從事露天礦科技創新、生產技術管理的相關研究工作。E-mail：10022605@ceic.com

作者單位：國家能源集團陜西神延煤炭有限責任公司

引用格式：趙樹軍.露天礦山礦用卡車多傳感融合障礙物識別方法探討[J].智能礦山，2025，6(8)：69-72.

點擊文末左下角閱讀原文，免費下載閱讀pdf全文

關注微信公眾號，了解更多礦山智能化建設進展

露天礦山環境復雜、障礙物多，實現高效可靠的障礙物識別是礦用卡車自動駕駛技術的核心需求和難點。單一傳感器障礙物識別方法難以適用于復雜的礦山環境，不能滿足礦用卡車自動駕駛技術的感知需求?；诩す饫走_和深度相機的融合感知方法，通過雷達和相機決策層融合，實現高精度障礙物識別，結合二維和三維目標檢測算法提高障礙物識別的準確性；利用KNN算法和二叉樹模型提高數據匹配的效率和可靠性。

露天礦環境特點

露天煤礦環境中的障礙物種類繁多，可分為固定障礙物、動態障礙物和對礦用卡車行駛有重要影響的特殊障礙物。固定障礙物包括但不限于巖石、礦石堆、建筑物和固定設備等位置和形態相對固定的障礙物，可通過預先地圖信息和實時傳感器數據進行識別。動態障礙物包括位置和速度變化的其他行駛車輛、工人和動物等，需要實時監測和響應確保安全。特殊障礙物包括深坑、積水、積雪等影響礦用卡車正常行駛的干擾因素，需要準確辨識以保障礦用卡車穩定運行。

露天煤礦特殊環境障礙物識別存在多方面挑戰。不平路面、坡度變化和滑坡區域等復雜地形條件，需要障礙物識別方法具有高度的適應性；雨、霧和雪等惡劣天氣條件，嚴重影響傳感器性能和可靠性；礦區塵土和噪聲干擾傳感器信號和數據處理系統，要求障礙物識別方法滿足實時調整和適應快速變化的復雜環境。

現有障礙物識別方法存在的問題

目前，露天礦無人駕駛車輛障礙物檢測系統主要依賴多傳感器識別道路障礙，再通過卷積神經網絡算法模型訓練實車數據，選取圖像目標檢測中的特定數據點并使用改良的迭代最近點算法消除虛假目標點，實現圖像與3D點云數據融合，提高算法準確性和效率。

激光雷達向目標物體發送激光束，激光束通過不同目標物體返回不同回波，激光雷達接收回波，從中提取最近回波點進行聚類分析，確定回波點是否為障礙物；使用YOLO算法訓練數據集以生成目標框，融合雷達目標和相機目標的檢測框來確定障礙物，邊界框重疊區域百分比用作判斷障礙物的標準，激光雷達多回波感知示意如圖1所示。

圖1 激光雷達多回波感知示意

在露天采場的具體場景中，激光雷達傳感器識別障礙物的方法存在顯著缺陷。使用多傳感器數據融合增加計算負擔，增加算法時間復雜度并降低運行效率，導致礦用卡車感知系統實時性不足；普通單目相機無法獲取深度信息，障礙物位置估計不精確；礦區運輸路況復雜，障礙物種類多，增加了誤檢和漏檢的風險。

露天礦礦用卡車自動駕駛障礙物識別方法

基于16線激光雷達及RealsenseD435深度相機的露天煤礦環境中礦用卡車自動駕駛的障礙物識別方法，目標檢測算法滿足高復雜路況的精度障礙物識別，主要包括6個方面的核心技術。

（1）數據采集設備

采用16線激光雷達和RealsenseD435深度相機作為主要的數據采集設備。16線激光雷達提供高精度點云數據，捕捉環境三維信息；RealsenseD435深度相機捕獲高清圖像數據，提供相關的深度信息。通過整合傳感器數據，在統一系統中獲得更豐富和多元化信息，提高障礙物識別系統的性能和可靠性。

（2）數據采集方式

激光雷達捕獲周圍環境的詳細三維點云數據，為后續的對象識別提供三維信息源；深度相機獲取高清圖像數據和與之相應的深度信息。激光雷達檢測使用CenterPoint算法，生成候選點并對輸入點云離散化，生成多候選點的3D網格，采用網絡輸出和非極大值抑制策略確定最終目標中心點，數據融合提高了系統穩定性和可靠性，數據采集算法分配如圖2所示。

圖2 數據采集算法分配

（3）激光雷達與相機聯合標定

露天礦礦用卡車自動駕駛障礙物識別系統中，激光雷達和相機聯合標定確保從2個不同傳感器獲取的數據，可在統一坐標系中準確表示和分析。聯合標定通常采用帶有特定標記的平板作為標定對象，將帶有標記的平板放置在激光雷達和相機共同視場中，找到激光雷達和相機之間的空間關系。在相機端，采用特征點檢測算法標定對象標記，從中提取必要的幾何信息；在激光雷達端，通過點云數據捕獲標定對象的三維結構。激光雷達和相機的聯合標定如圖3所示。

圖3 激光雷達和相機的聯合標定

結合標定對象在2個傳感器中的數據，建立描述激光雷達和相機之間旋轉和平移關系的轉換矩陣，標定得到的轉換矩陣將三維點云數據投影到相機圖像上，且將相機圖像中識別到的對象精確定位到點云數據的對應對象。創建融合數據集，為后續目標檢測算法提供更加準確和詳細的數據支持。

（4）數據融合與處理

數據融合和處理是實現障礙物檢測的關鍵，將來自激光雷達和相機的信息整合到統一框架中，以實現更加準確和可靠的障礙物識別。通過轉換矩陣將激光雷達和相機的數據映射到統一坐標系，使用基于圖像的CenterNet算法和基于雷達的CenterPoint算法從各自的數據源中識別障礙物，將2種方法檢測到的目標中心點在共同平臺融合，創建基于激光雷達和相機數據的融合數據集。

目標中心點融合使用KNN算法，查找最近鄰居并合并相應數據點，通過比較圖像和點云數據中的目標中心點，理解和識別各障礙物特性和位置，引入二叉樹模型提高數據匹配效率，允許快速查找和匹配相應數據點，減少計算時間和資源，數據融合處理流程如圖4所示。

圖4 數據融合處理流程

（5）點云中的障礙物識別與回歸

在點云數據處理階段，選擇使用CenterPoint算法識別和回歸障礙物，在三維空間中得以精確定位和描述。將三維空間分割為許多體素，并在每個體素中確定1個代表點，通常為體素中心點，通過離散化輸入點云數據，構建初步候選點3D網格集合標識潛在障礙物；后處理候選點預測候選點各項屬性。

采用深度神經網絡，基于候選點周圍點云結構信息預測每個候選點的類別、三維空間尺寸和方向等屬性。引入非極大值抑制策略消除冗余和錯誤候選點，減少重復檢測和錯誤陽性，提高檢測的準確性，保證檢測系統的高精度和高可靠性。NMS通過比較相鄰候選點的預測分數和重疊度，保留得分最高的候選點，同時抑制其他重疊度較高的點，centerpoint模型應用效果如圖5所示。

圖5 centerpoint模型應用效果

（6）障礙物中心點融合與匹配

在目標中心點融合過程中，K-最近鄰（KNN）算法整合了由CenterNet和CenterPoint算法獲取的二維圖像和三維點云障礙物中心點信息。不同維度的相關數據信息輸入統一坐標系中比較和關聯。利用KNN算法找到最近點對，并通過比較中心點間的歐氏距離確定匹配點。在確定最近點對之后，采用投票系統，基于多數投票原則決定每個點的最終類別和屬性，確保系統具有魯棒性，抵抗傳感器噪聲和其他干擾。KNN算法在數據融合過程中識別出匹配點對，合并來自不同傳感器的信息，提供更豐富的障礙物表示，提高障礙物識別的準確性和可靠性，KNN算法原理示意如圖6所示。

圖6 KNN算法原理

在KNN算法的數據匹配過程中，匹配效率采用了KD樹結構加速和優化匹配效率。KD樹用于多維空間中數據快速檢索的二叉樹結構?；趶睦走_和相機獲取的多維數據，選擇目標中心點坐標作為KD樹構建依據。應用KD樹數據檢索時，通過快速消除不可能包含目標區域減少搜索時間，提高了搜索效率。

礦用卡車配備激光雷達、毫米波雷達以及攝像頭等傳感器，在障礙物識別過程中快速構建周圍環境的點全模型，勾勒出石塊輪廓確定其位置和形狀，根據大小進行繞障或跨障決策，礦用卡車多傳感融合障礙物識別現場如圖7所示。

圖7 礦用卡車多傳感融合障礙物識別現場

結 語

露天煤礦環境中的礦用卡車自動駕駛系統通過融合16線激光雷達與RealsenseD435深度相機的數據，實現了對障礙物的準確識別。通過聯合標定技術將點云數據和圖像數據投影至同一坐標系，整合了二維和三維目標檢測算法；利用CenterNet和CenterPoint算法分別處理圖像和點云數據來獲取目標中心點，并通過KNN算法實現了目標中心點的高效融合。為進一步提高數據匹配效率，引入了基于KD樹結構的匹配策略，提高數據檢索的速度和準確性。露天礦山智能礦用卡車多傳感融合障礙物識別方法，提高了障礙物識別準確率，為實時避障研究提供了一定的技術支持。

編輯丨李莎

審核丨趙瑞

煤炭科學研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種，是煤炭行業最重要的科技窗口與學術交流陣地，也是行業最大最權威的期刊集群。

《智能礦山》

Journal of Intelligent Mine

月刊CN 10-1709/TN，ISSN 2096-9139，聚焦礦山智能化領域產學研用新進展的綜合性技術刊物。

主編：王國法院士

投稿網址：www.chinamai.org.cn（期刊中心-作者投稿）

聯系人：李編輯 010-87986441

郵發代號：82-476

往期薦讀

• 二號通知┃關于舉辦2025年礦山智能化建設運維與技術創新高級研修班的通知（山東威海9月23—28日）

• 行業聚焦┃2025智慧礦山技術創新與產業發展論壇（新疆）成功召開

• 行業聚焦┃2024年煤炭清潔高效利用智能化成果發布暨選煤廠智能化建設論壇順利召開

• 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

• 歡迎訂閱┃《智能礦山》雜志2025年訂閱開始了！

• 行業聚焦┃2024年煤礦智能化重大進展發布會成功召開

• 《智能礦山》創刊4周年回顧

• 王國法院士煤礦智能化觀點集錦

• 新書訂閱 ┃《中國煤礦智能化發展報告（2024年）》（王國法，劉峰 主編）

往期特刊

中國煤科特刊

陜煤集團特刊

神東專欄

重大進展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創新技術特刊

創刊號

版權聲明

本刊對已出版文章持有電子版、網絡版及進行網絡技術交流和與各網絡數據庫合作的權利，稿酬一次性付清，版權歸本刊與作者共同所有，如不同意，請在投稿時聲明。

聲明：本文系轉載自互聯網，請讀者僅作參考，并自行核實相關內容。若對該稿件內容有任何疑問或質疑，請立即與鐵甲網聯系，本網將迅速給您回應并做處理，再次感謝您的閱讀與關注。