摘要

復眼全景視頻融合系統(tǒng)采用全景億像素陣列攝像機+低點位攝像機、人工智能算法和全景監(jiān)控平臺的結合，實現(xiàn)了人員、車輛的多點監(jiān)控、多細節(jié)放大、立體化聯(lián)動等功能，滿足露天礦的大場景應用。勝利東二號露天煤礦采場是復眼全景視頻融合系統(tǒng)應用的典型案例，表明在露天煤礦大場景下安全管理應用的可行性，貼合露天礦安全管控的實際需求，推動了傳統(tǒng)露天礦現(xiàn)場管理模式的改變，全面助力安全生產(chǎn)及監(jiān)管智能化，促進露天煤礦行業(yè)向安全、智能、高效的方向發(fā)展。

文章來源：《智能礦山》2025年第4期“數(shù)智露天礦技術與應用專題”

第一作者：李英俊，教授級高級工程師，現(xiàn)任中國大唐集團能源投資有限責任公司董事、總經(jīng)理、黨委副書記，主要從事企業(yè)管理、采礦工程的相關研究工作。E-mail：931145647@qq.com

作者單位：中國大唐集團能源投資有限責任公司；內(nèi)蒙古大唐國際錫林浩特礦業(yè)有限公司

引用格式：李英俊，張軍，郭虹兵.復眼全景視頻融合系統(tǒng)在露天煤礦大場景多目標監(jiān)管的應用[J].智能礦山，2025，6(4)：47-53.

點擊文末左下角閱讀原文，免費下載閱讀pdf全文

隨著AI、物聯(lián)網(wǎng)、數(shù)字孿生等技術與露天煤礦開采管理的逐步融合，國內(nèi)露天煤礦的開采管理模式正由機械化、自動化向數(shù)字化、智能化快速發(fā)展。國家對露天煤礦采場的監(jiān)控和管理提出了更高要求，為適應露天煤礦采場的大場景，提出了復眼全景視頻融合技術的應用，為露天煤礦采場等大場景及多類型移動設備全方位安全監(jiān)管，提供可靠的技術支撐。

復眼全景視頻融合系統(tǒng)功能及架構

復眼全景視頻融合系統(tǒng)是由復眼全景視頻感知系統(tǒng)和爆破面監(jiān)控監(jiān)管子系統(tǒng)組成，復眼全景視頻感知系統(tǒng)由部署在前端的復眼感知器（含細節(jié)甄別球機）和部署在模塊化機房的復眼視頻重建存儲一體化服務器及復眼全景可視化綜合管理平臺組成；爆破面監(jiān)控監(jiān)管子系統(tǒng)是由部署在模塊化機房的爆破面監(jiān)控監(jiān)管業(yè)務可視化管理端服務器及數(shù)據(jù)分析處理平臺部分組成。復眼全景視頻融合系統(tǒng)組成如圖1所示。

圖1 復眼全景視頻融合系統(tǒng)組成

1.1 復眼全景視頻融合系統(tǒng)功能

（1）復眼感知器是基于仿生學原理，仿造蜻蜓復眼結構，通過圖像處理和機器學習算法，實現(xiàn)對視頻的實時分析。復眼感知器將具有鷹眼視力的長短焦光學鏡頭組成成像陣列，通過復眼重建算法，重建出具有廣角和特寫兼?zhèn)涞某呖臻g分辨率的圖像。

（2）復眼視頻存儲重建一體化服務器包含視頻重建及存儲軟硬件，是復眼全景視頻感知系統(tǒng)全景視頻重建、像素級融合、視頻存儲的重要處理服務器。完成對來自復眼感知器的多路視頻的編碼、視頻重建、像素點級融合工作，并可同步完成復眼感知器（含細節(jié)甄別球機）及高、低聯(lián)動視頻監(jiān)控等設備的視頻數(shù)據(jù)的同步存儲、循環(huán)覆蓋、數(shù)據(jù)冗余備份、事件圖片歸檔存儲等，實現(xiàn)歷史記錄數(shù)據(jù)的查詢調取。

（3）爆破面監(jiān)控監(jiān)管子系統(tǒng)從復眼視頻重建存儲一體化服務器獲取視頻流后，對視頻流進行AI分析處理，輸出完整的露天礦生產(chǎn)現(xiàn)場全景視頻監(jiān)控圖像，具備電子圍欄、車輛跟蹤、攝像機聯(lián)動、危險行為預警等監(jiān)控監(jiān)管功能。全景視頻監(jiān)控圖像具有超大范圍、超高分辨率、基本無畸變等特點，并具備整體性、連續(xù)性等屬性。拼接輸出的視頻監(jiān)控圖像可覆蓋5 km2作業(yè)區(qū)域，水平視場角可達100°，畫面放大后視頻圖清晰顯示細節(jié)。可多人同時動態(tài)縮放全景視頻監(jiān)控圖像，實現(xiàn)對整個生產(chǎn)現(xiàn)場安全生產(chǎn)情況的實時掌握及對安全生產(chǎn)態(tài)勢的宏觀掌控。

1.2 復眼全景視頻融合系統(tǒng)架構

（1）基于非結構陣列感知原理，構建非結構陣列像感器多模態(tài)多尺度陣列感知架構，建立環(huán)境自適應感知模型，根據(jù)感知目標、觀測距離、環(huán)境光和天氣的情況，智能調整每個感知模態(tài)，實現(xiàn)復雜環(huán)境大視場多對象的魯棒高通量感知，非結構動態(tài)光場感知技術如圖2所示。

圖2 非結構動態(tài)光場感知技術

（2）多模態(tài)陣列智能融合方法，刻畫多模態(tài)多尺度圖像之間的關聯(lián)關系，通過跨模態(tài)跨尺度映射融合方法，實現(xiàn)多模態(tài)信息的有機融合與高保真重建。

（3）跨尺度場景內(nèi)容映射包括全局尺度映射、特征點池化、局部尺度分塊映射3步。通過全局及局部分尺度特征匹配技術，通過全局尺度映射找到得到精度高魯棒的匹配點，再通過局部尺度分塊映射優(yōu)化匹配點精度，解決跨尺度匹配中分辨率差距過大造成的匹配難問題；特征點池化技術提高了映射參數(shù)估計的魯棒性和效率，跨尺度場景內(nèi)容映射如圖3所示。

圖3 跨尺度場景內(nèi)容映射

（4）跨異構像感器多尺度高頻遷移融合，跨尺度場景內(nèi)容映射實現(xiàn)了局部到全局的映射，但受限于分塊大小，無法處理細小物體造成的視差。提出跨異構像感器多尺度高頻遷移融合網(wǎng)絡CrossNet，將跨尺度映射的局部圖像與全局圖像進一步對齊并融合。CrossNet包括2級對齊模塊、圖像編碼器、解碼器模塊，多尺度融合網(wǎng)絡CrossNet如圖4所示。

圖4 多尺度融合網(wǎng)絡CrossNet

（5）跨異構像感器RGB-深度高頻遷移融合，通過多尺度高頻遷移融合提高空間分辨率，跨異構像感器多尺度融合應用在不同維度數(shù)據(jù)上，通過RGB-深度高頻遷移融合實現(xiàn)高分辨深度感知。輸入全局多視角深度信息和局部高分辨細節(jié)圖像，RGB-深度高頻遷移融合網(wǎng)絡將高分辨細節(jié)圖像信息和低分辨全局深度信息融合，得到高分辨局部深度圖，跨異構像感器RGB-深度高頻遷移融合如圖5所示。

圖5 跨異構像感器RGB-深度高頻遷移融合

（6）大場景空間-視角隱式編碼重建，刻畫大場景多對象光場的空間-視角冗余特性，建立非結構層內(nèi)-層間大場景多對象的映射關系，研究光場空間-視角隱式編碼方法，實現(xiàn)大場景多對象光場的高效高分辨重建。場景空間-視角隱式編碼光場重建方法如圖6所示。

圖6 大場景空間-視角隱式編碼光場重建方法

復眼全景視頻融合系統(tǒng)特點

復眼全景視頻融合技術具有全景相機視頻畫面漫游、多細節(jié)框放大、設備部署簡單等特點，更好地適應像露天采場大場景。在全景相機視頻畫面漫游中對礦場區(qū)域全景監(jiān)控視頻進行畫布漫游操作，通過鼠標滾輪放大或縮小全景畫面中的任意區(qū)域，通過框選可放大任何區(qū)域細節(jié)并支持拖動畫面進行位置選擇，全景視頻畫面如圖7所示。

圖7 全景視頻畫面

復眼全景視頻融合系統(tǒng)最多可支持3個細節(jié)窗口放大功能，多人同時預覽不同細節(jié)畫面，根據(jù)不同需求實現(xiàn)對作業(yè)現(xiàn)場的全面管控而互不干擾，滿足同時監(jiān)控多個重點區(qū)域的需求。多細節(jié)重點區(qū)域展示如圖8所示。設備部署包含前端視頻采集終端和后端數(shù)據(jù)分析服務器2部分，前端設備可因地制宜部署于已有建筑物或水泥桿體上，后端設備部署于機房內(nèi)，前后端設備通過光纖或微波網(wǎng)絡完成連接，可根據(jù)實際需求實現(xiàn)快速安裝、快速應用，設備現(xiàn)場部署情況如圖9所示。

圖8 多細節(jié)重點區(qū)域展示

圖9 設備現(xiàn)場部署情況

復眼全景視頻融合系統(tǒng)解決的問題

露天煤礦覆蓋范圍廣、設備機動性強、人員活動靈活，隨著開采規(guī)模和產(chǎn)量的不斷擴大，車輛和人員數(shù)量也在不斷增加，對車輛和人員實時定位跟蹤管理十分重要。傳統(tǒng)視頻監(jiān)控系統(tǒng)和技術對目標的跟蹤畫面清晰度較低且對目標的識別精度低，無法快速確認目標，復眼全景視頻融合系統(tǒng)通過復眼全景相機，以及多目標識別深度學習算法，有效解決了車輛跟蹤速度慢及定位準確率低的問題。

勝利東二號露天煤礦應用情況

勝利東二號露天煤礦（簡稱勝利東二礦）露天煤礦安全管理系統(tǒng)集成了復眼全景可視化綜合管理平臺。實現(xiàn)了采場精細化、可視化安全生產(chǎn)管理，在采場北側非工作幫固定點位布設2臺復眼全景視頻融合技術的億像素陣列計算攝像機，陣列攝像機正對主采區(qū)工作面，主要監(jiān)測作業(yè)區(qū)域內(nèi)的人、車活動情況。采集到的視頻數(shù)據(jù)經(jīng)微波基站接入礦山萬兆環(huán)網(wǎng)，經(jīng)視頻存儲重建一體化服務器，推出耦合后的視頻到視頻界面，并通過AI分析實現(xiàn)智能感知和預警。

4.1 實現(xiàn)多目標高精度識別和感知

勝利東二礦采用的全景超高清視頻流由36個細節(jié)鏡頭通過融合算法拼接，視頻拼接后畫面水平視場角達到90°，整體畫面超過3億像素，可同時清晰觀察1.5 km范圍內(nèi)所有設備動作及人員活動情況，框選任意區(qū)域均可預覽4 K清晰畫質。目前全景相機點位位于北側非工作帶，覆蓋區(qū)域如圖10所示。

圖10 全景相機點位覆蓋區(qū)域

復眼全景視頻融合技術實現(xiàn)的全景監(jiān)控使得目標在空間中的相對位置關系明顯，便于多目標查找。對采場中不同人員和車輛等監(jiān)控目標識別精度低的問題，部署對應的多目標識別深度學習算法來解決，實現(xiàn)了在露天采場復雜環(huán)境下目標的高精度識別和感知，多目標實時識別如圖11所示。

圖11 多目標實時識別

4.2 實現(xiàn)車輛在可控范圍內(nèi)快速跟蹤定位

勝利東二礦各類車輛型號多，傳統(tǒng)車輛設備終端的跟蹤定位需GIS地圖的圖層展示，再結合視頻監(jiān)控實時顯示移動車輛等設備的分布情況。復眼全景可視化綜合管理平臺依靠部署的車輛跟蹤算法和全景相機聯(lián)合球機的坐標轉換技術，實現(xiàn)了對框定車輛的實時跟蹤，解決了對車輛跟蹤速度慢的問題，滿足車輛作業(yè)情況的動態(tài)實時監(jiān)控需求，車輛在可控范圍的跟蹤如圖12所示。

圖12 車輛在可控范圍跟蹤

車輛跟蹤使用改進DeepSORT算法，使用全尺度網(wǎng)絡（OSNet）替換Deep SORT中的淺層殘差網(wǎng)絡進行全方位特征學習，更好地實現(xiàn)車輛重識別，提高目標跟蹤定位準確性。在全景相機聯(lián)合球機的坐標轉換技術中全景系統(tǒng)支持多路低點位接入，實現(xiàn)全景相機與低點位相機聯(lián)動。在全景系統(tǒng)中框選區(qū)域后，球機快速定位至選定區(qū)域，解決了傳統(tǒng)球機無法快速定位的問題。在億像素陣列計算攝像機的全景畫面上發(fā)現(xiàn)目標后，自動聯(lián)動低點位相機對局部區(qū)域或具體目標進一步特寫放大，以實現(xiàn)對動態(tài)目標的快速跟蹤定位，滿足對違章或高風險作業(yè)行為的快速確認。全景相機與球機聯(lián)動如圖13所示。

圖13 全景相機與球機聯(lián)動

4.3 實現(xiàn)管控區(qū)域車輛闖入報警

復眼全景可視化綜合管理平臺依托全景算法實現(xiàn)區(qū)域防控。在有滑坡風險或人員墜落風險的區(qū)域劃設電子圍欄，當系統(tǒng)檢測到人員或車輛進入管控區(qū)域后會形成報警數(shù)據(jù)，管理人員第一時間發(fā)現(xiàn)異常情況并予以管控。在現(xiàn)場爆破作業(yè)時，為防止人員、車輛誤入爆破區(qū)域造成重大安全事故，在采場全景視頻中劃定爆破面警戒區(qū)，平臺實時監(jiān)控爆破全過程全區(qū)域全細節(jié)，發(fā)現(xiàn)人員或設備進入警戒區(qū)域，系統(tǒng)快速彈出預警界面并進行聲光警示，實現(xiàn)現(xiàn)場安全管控。管控區(qū)域車輛闖入報警如圖14所示。

圖14 管控區(qū)域車輛闖入報警

通過復眼全景視頻融合系統(tǒng)對礦場危險區(qū)域統(tǒng)一管理，減少人工現(xiàn)場監(jiān)管、檢查頻次，降低人員管理成本，提高監(jiān)管效率；及時將監(jiān)控區(qū)域內(nèi)的違規(guī)信息存儲到數(shù)據(jù)庫中，包括時間、地點、快照、視頻等，方便事后查詢。基于AI智能檢測分析、平臺視頻處理等方法，使得復眼全景視頻融合技術可以監(jiān)測和預警車輛是否闖入，減少礦場的安全事故發(fā)生，重點管控區(qū)域電子圍欄如圖15所示。

圖15 重點管控區(qū)域電子圍欄

4.4 實現(xiàn)管控區(qū)域人員違規(guī)下車預警

復眼全景可視化綜合管理平臺的檢測算法可自動檢索監(jiān)控畫面內(nèi)是否有人員違規(guī)下車，若發(fā)現(xiàn)有人員出現(xiàn)在監(jiān)控畫面內(nèi)，以紅色線框對人員加以標注，并在平臺主界面上彈出預警信息，管理人員第一時間發(fā)現(xiàn)人員下車并采取管控措施。管控區(qū)域人員闖違規(guī)下車預警如圖16所示。

圖16 管控區(qū)域人員闖違規(guī)下車預警

結 語

復眼全景視頻融合系統(tǒng)解決了露天礦采場復雜場景中對目標識別精度低、無法快速確認目標、對車輛跟蹤響應慢和定位準確率低等問題。在未來的煤礦智能化發(fā)展中，復眼全景視頻融合系統(tǒng)應用到煤礦的其他大場景中，輔助大型復雜露天環(huán)境、多類型移動設備的安全監(jiān)控監(jiān)管。復眼全景視頻融合技術全面助力安全生產(chǎn)及監(jiān)管智能化，促進煤礦行業(yè)向安全、智能、高效的方向發(fā)展，并對推動整個煤炭行業(yè)持續(xù)蓬勃發(fā)展具有重要的意義。

END

編輯丨李莎

審核丨趙瑞

煤炭科學研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學術交流陣地，也是行業(yè)最大最權威的期刊集群。

《智能礦山》

Journal of Intelligent Mine

月刊CN 10-1709/TN，ISSN 2096-9139，聚焦礦山智能化領域產(chǎn)學研用新進展的綜合性技術刊物。

主編：王國法院士

投稿網(wǎng)址：www.chinamai.org.cn（期刊中心-作者投稿）

聯(lián)系人：李編輯 010-87986441

往期薦讀

• 重磅通知┃關于召開2024年煤炭清潔高效利用智能化成果發(fā)布暨選煤廠智能化建設論壇的通知

• 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

• 歡迎訂閱┃《智能礦山》雜志2025年訂閱開始了！

• 行業(yè)聚焦┃2024年煤礦智能化重大進展發(fā)布會成功召開

• 《智能礦山》創(chuàng)刊4周年回顧

• 王國法院士煤礦智能化觀點集錦

• 新書訂閱 ┃《中國煤礦智能化發(fā)展報告（2024年）》（王國法，劉峰 主編）

往期特刊

中國煤科特刊

陜煤集團特刊

神東專欄

重大進展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創(chuàng)新技術特刊

創(chuàng)刊號

版權聲明

本刊對已出版文章持有電子版、網(wǎng)絡版及進行網(wǎng)絡技術交流和與各網(wǎng)絡數(shù)據(jù)庫合作的權利，稿酬一次性付清，版權歸本刊與作者共同所有，如不同意，請在投稿時聲明。

聲明：本文系轉載自互聯(lián)網(wǎng)，請讀者僅作參考，并自行核實相關內(nèi)容。若對該稿件內(nèi)容有任何疑問或質疑，請立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應并做處理，再次感謝您的閱讀與關注。