“三道防線”海量預報數據輕量化關鍵技術研究與應用

Research and application on lightweight key technologies for massive forecasting data in the “three lines of defense”

鄒曉濤1，孫世友2，楊樸1，劉艷民2，郭微2，邸蘇闖3

（1.北京市智慧水務發展研究院，100036，北京；2.北京師范大學，100875，北京；3.北京市水科學技術研究院，100048，北京）

摘要：近年來隨著極端天氣頻發、重發，洪水災害呈現突發性強、偶發性大等新特點和新規律，傳統監測體系在面對新時期水旱災害防御預報、預警、預演、預案“四預”工作要求上短板明顯。構建雨水情監測預報“三道防線”成為防災、減災、救災的重要措施。然而隨著“三道防線”建設，海量預報數據的存儲、傳輸和處理面臨巨大挑戰。開展了“三道防線”海量預報數據輕量化關鍵技術研究，從預報結果數據輕量化處理環節、預報結果快速調用環節、預報數據存儲環節等方面進行了海量預報數據輕量化技術體系設計，運用預報數據解析與轉換、抽稀與分級處理、矢量化與要素化處理、降雨數據輸入協同適配、分布式對象存儲等技術手段，實現海量預報數據的輕量化處理。以北京市為例開展了海量預報數據輕量化關鍵技術實踐。實踐證明，海量預報數據輕量化技術運用在保持數據有效性和準確性前提下，可大大減少預報數據的存儲和傳輸負擔，降低成本，提升預報結果的應用效能，提高洪水預報的效率。

關鍵詞：雨水情監測預報“三道防線”；海量數據；輕量化；分布式對象存儲；移動平均算法

作者簡介：鄒曉濤，正高級工程師，主要從事智慧水務、數字孿生水利相關方向研究。

基金項目：北京市科技計劃課題“暴雨洪澇災害智能感知及多源數據驅動風險預警技術研究與應用”（Z231100003823005）。

DOI：10.3969/j.issn.1000-1123.2025.07.004

隨著雨水情監測預報“三道防線”建設，海量預報數據的存儲、傳輸和處理面臨巨大挑戰。國內外現有海量預報數據輕量化研究主要集中在數據壓縮、降維可視化、硬件高性能存儲和傳輸等方面。王若瞳等提出海量氣象數據解析和存儲的設計思路；屈志剛等針對二維水動力結果，從可視化角度提出了輕量化處理的方法；張昀昊等從海量三維模型數據的網格輕量化可視化角度提出展示方法；陳景麗等提出了云計算環境下氣象大數據服務的框架建設思路；馮乙新、張廣元等從高性能計算角度提出基于云計算的氣象數據存儲與處理優化策略；馮乙新、華連生等提出氣象信息網絡傳輸中數據壓縮與傳輸效率優化的建設思路；Khosrawi F等提出采用分層填充PCK方法對氣象數據進行壓縮。

綜上所述，現有文獻和資料主要對海量預報結果數據的高性能計算存儲架構、預報結果可視化、數據解析方式、數據壓縮技術等特定方面開展研究與實踐，缺少對數據輕量化全流程的考慮，也未對海量數據輕量化技術進行深入探索和綜合應用研究。本文在厘清“三道防線”預報結果計算與應用場景基礎上，從預報結果數據輕量化處理環節、預報結果快速調用環節、預報數據存儲環節等方面開展了海量預報數據輕量化技術研究與實踐。

“三道防線”建設要求與海量預報數據管理面臨的挑戰

2023年8月，水利部辦公廳印發《關于加快構建雨水情監測預報“三道防線”實施方案》，明確要求加快構建雨水情監測預報“三道防線”。錨定“人員不傷亡、水庫不垮壩、重要堤防不決口、重要基礎設施不受沖擊”目標，堅持“預”字當先、關口前移、防線外推，加快構建氣象衛星和測雨雷達、雨量站、水文站組成的雨水情監測預報“三道防線”，建設現代化水文監測預報體系，實現延長洪水預見期和提高洪水預報精準度的有效統一，為打贏現代防汛戰提供有力支撐。

雨水情監測預報“三道防線”是數字孿生水利建設的重要基礎，是水文現代化建設的重要內容，是一項系統工程?！叭婪谰€”建設過程中涉及降雨數值模式預報結果和水情預報模型結果數據，數據來源廣、數量多，具備海量特征，在處理、存儲、應用過程中面臨巨大挑戰：一是傳統的結構化數據庫已不滿足海量預報數據存儲要求，需要運用分布式對象存儲技術；二是需對海量預報結果數據進行輕量化處理，有效節省存儲空間，保障存儲效能；三是防汛期間，各類水情預報模型需要將降雨數值模式預報結果作為輸入參數，各類水情模型獲取降雨數值模式預報原始數據后分別自行處理、存儲，不僅給網絡傳輸帶來巨大負擔，占用大量存儲空間，還存在重復工作的情況，有必要采用統一方式開展降雨數值模式預報數據輸入協同適配工作，提升數據服務總體效率；四是對預報結果的快速調用、快速空間可視化展示提出了更高要求。

海量預報數據輕量化技術體系設計

“三道防線”涉及降雨預報和水情預報，預報模型種類多，預報頻次密集，形成了海量預報成果數據，在所有數據中，其數目和存儲量占比都為最大。為了減少預報數據存儲和傳輸負擔，提升預報結果的應用效率和效能，同時保持數據的有效性和準確性，應從預報結果數據輕量化處理、預報結果快速調用、預報數據存儲等重點環節，系統設計海量預報數據輕量化技術體系，并建立輕量化處理矩陣。預報數據輕量化處理方面，重點考慮降雨數值模式和水情預報結果的輕量化處理，在保持數據有效性和準確性的前提下，降低預報結果數據量的量級；預報結果快速調用方面，重點考慮降雨和水情預報結果數據矢量化、降雨預報結果數據要素化、水情預報并行計算的降雨數值輸入協同適配等，提供快速響應、秒級調用的預報結果數據；預報數據存儲方面，運用分布式存儲與冷熱度數據存儲相結合方式，保障數據存儲和應用的有效性和可靠性。

海量預報數據輕量化構建設計框架

海量預報數據輕量化關鍵技術研究

1.降雨數值模式預報結果輕量化處理技術

降雨數值模式預報結果數據通常為GRB、NetCDF等格式的二進制數據，每個文件的數據量為幾百兆字節；模式每天計算2～4次甚至更多次，從而形成多源、海量的降雨數值模式預報結果數據，用于“三道防線”降雨預報分析和一二維水文、水動力模型的前置數據輸入。對降雨數值模式預報結果數據進行統一格式化解析，并對解析數據抽稀、切片。結合區域范圍，建立標準網格層級，運用移動平均算法，采用自適應抽稀生成對應層級數據和切片數據成果，對照分層級標準網格轉換成輕量化的空間格點數據，最終生成輕量化處理后的TIF格式文件。通過應用這一輕量化處理技術，可在保持降雨數值模式預報數據的有效性和準確性前提下大大減小數據體量，有效降低數據存儲和傳輸負擔，提升預報結果的應用效率和效能。

降雨數值預報模式輕量化技術流程

2.降雨數值模式預報結果數據矢量化與要素化技術

防汛調度過程中，需快速調取降雨數值預報結果加載至矢量底圖，并基于預報時間動態展示降雨預報結果及不同區域的降雨預報要素化值?；谳p量化處理后的預報結果切片文件，運用空間拓撲技術建立地理實體與預報數據的空間匹配模式，對預報結果數據進行空間矢量化處理并進行等值面插值，生成降雨預報結果的矢量等值面?；谳p量化和矢量化處理后的降雨預報結果數據，按照標準化格網對預報值進行空間匹配，形成基于標準化網格的降雨數據要素；按照市、區、鄉鎮等不同區域、不同層級進行空間數據匹配融合，構建多范圍、多層級的降雨預報數據要素，為基于空間位置的數據計算、統計分析以及空間可視化提供要素化數據支撐。

降雨數值模式預報結果數據矢量化與要素化技術流程

3.水情預報并行計算的降雨數值輸入協同適配技術

“三道防線”水情測報系統集成以一二維水文、水動力模型為主的各類水情預報模型。降雨數值預報結果數據作為水情預報并行計算的輸入參數，直接影響預報結果。各類水情預報模型所需降雨數據的格式、坐標系、區域范圍各有不同，為協同適配，需基于輕量化降雨預報數據、矢量化成果和預報結果的要素數據，構建一套適配接口，達到高效協同與自動適配的目的。

水情預報并行計算的降雨數值輸入協同適配構建技術流程

降雨數值輸入的接口采用標準輕量化的地理結構編碼格式、切片文件、數值方式等，基于區域、層級、坐標系，構建標準化接口體系，動態適配水情預報并行計算輸入需求，可有效避免模型計算及系統應用過程中出現各業務分別處理降雨預報數值，數據應用標準不一，重復建設、重復工作等情況，提高水情測報效率，有力支撐防汛工作。

4.水情預報結果的多級空間矢量輕量化處理技術

一二維水文、水動力模型計算結果多以文本格式存儲，文件較大，處理和應用效率較低。對“三道防線”涉及的各類水情預報模型的輸出方式進行調整，采用靜態數據加動態數據方式輸出二進制格式，靜態數據為邊界條件內劃定的網格數據，動態數據為模型計算有效的水位、流量、流速、流向等水情數據，并且按照不同預報頻次和時間切片生成各時間點的預報結果文件。按照網格標識融合靜態網格數據與動態水情數據，生成單個時間點的輕量化矢量文件，最終生成多級水情預報空間矢量文件，存儲到分布式對象存儲中。通過這一技術應用，減少了水情預報結果文件的大小，大大提升了處理效率和水情模型結果調用與可視化的效能，為災害防御提供了有力支撐。

水情預報結果的多級空間矢量輕量化處理技術流程

5.海量預報數據分布式對象存儲與冷熱度數據存儲技術

隨著“三道防線”持續建設，雨水情預報結果數據快速增長，形成了多模態的海量數據，需要建立體系化數據存儲機制，按數據產生方式把預報數據分為原始數據、輕量化處理結果數據，運用分布式對象存儲（MinIO系統）構建存儲體系。結合各項數據應用頻次，運用冷熱度存儲技術構建冷熱數據轉換的存儲體系，適應不同形態的數據存儲，為雨水情預報數據應用提供有效支撐。這一技術可有效解決傳統數據存儲與服務效率低、存儲形式與數據特性和應用冷熱度適配不佳等問題，提升數據資源運行效能和使用效率。

海量預報數據分布式對象存儲與冷熱度數據存儲技術流程

海量預報數據輕量化技術實踐

以北京市“三道防線”體系建設過程涉及的降雨數值模式預報產品和水情計算模型為例，開展海量預報數據輕量化關鍵技術研究與實踐。

降雨數值模式預報：以24h產品為例，產品每10min發布一次，文件格式為NetCDF，每個原始文件大小約500MB，一天產生的文件大小約72GB。運用降雨數值模式預報輕量化處理技術，對數據進行格式轉換、抽稀、分層切片處理后，設置6個層級。

數據層級設置明細

如下圖所示，抽稀過程的核心原理是減少數據點，使每個格點代表的范圍更大，其值通常為已有數據，而非插值生成新數據，因此不會額外引入計算誤差。生成的每個文件大小為1～6MB，每天數據量約5GB，數據壓縮至原來的1/10以下。

處理后的柵格數據

水情預報：以在某條山洪溝道開展的預報模型計算為例，模型輸入的降雨預報數據采用協同適配后數據，模型計算預報24h，全量輸出計算結果數據量為44MB。運用水情預報多級空間矢量輕量化處理技術后，模型計算生成的結果數據量為4.5MB，數據壓縮到近1/10。采用MinIO分布式對象存儲系統存儲數據，同時運用冷熱數據存儲技術實現冷熱數據動態切換，保障了數據存儲的可靠和有效。

利用降雨數值模式預報結果數據矢量化與要素化處理關鍵技術，對降雨數值模式預報結果數據與北京市的區、鄉鎮街道、流域空間位置進行匹配，生成北京市各區、各鄉鎮街道、各流域的降雨預報結果數據要素值，并進行統計分析。

北京市部分流域區域降雨預報結果要素值統計

運用反距離加權插值算法，生成了降雨預報等值面數據供業務應用系統調用，動態展示降雨預報數據空間分布。開發地理結構編碼格式（GeoJSON）的降雨預報數據服務接口供業務應用系統使用，與采用ASC格式未經過分層網格處理的氣象模式預報產品數據生成的服務調用響應平均時間相比，經分層網格輕量化處理后，調用響應速度在全市、流域、區域分別提升174倍、88倍、51倍。此外，數據輕量化不影響有效精度，在提升降雨數值模式預報數據應用效能的同時滿足防洪防汛業務場景的需求。

降雨預報結果輕量化前后調用響應平均時間對比

結語

雨水情監測預報“三道防線”的海量預報數據面臨存儲、傳輸、處理和應用等各個方面的巨大挑戰，需要構建海量預報數據輕量化處理技術體系，用以支撐海量降雨預報數據應用，包括以一二維水文、水動力模型為代表的機理算法數據輸入，以及防汛管理工作空間可視化應用等。本文開展海量預報數據輕量化技術體系設計與研究，基于北京市開展的應用實踐，綜合運用各項關鍵技術，實現了降雨數值模式預報結果的輕量化處理、數據的矢量化和要素化，水情預報并行計算的降雨數值輸入協同適配，以及水情預報結果的多級空間矢量輕量化。實踐顯示，海量預報數據輕量化處理關鍵技術具有較好的穩定性和擴展性，可大大降低預報數據的存儲和傳輸負擔，提升預報結果的應用效率和效能，保障預報數據高效、可擴展地應用，為災害防御提供有力支撐。

Abstract: In recent years, with the frequent and intense occurrence of extreme weather, flood disasters have shown new characteristics and patterns such as strong suddenness and high unpredictability. The traditional monitoring system has obvious shortcomings in meeting the requirements of the forecast, early warning, rehearsal and plan for flood and drought disaster prevention in the new era. Therefore, building a “three lines of defense” system for rainfall monitoring has become an important measure for disaster prevention, mitigation, and relief. However, with the construction of the “three lines of defense”, massive forecast data has brought huge challenges in storage, transmission, and processing. This article aims to study the key technologies for lightweight massive forecast data in the “three lines of defense”. Using the link matrix method, a lightweight technology system for massive forecast data has been designed from the aspects of lightweight processing of forecast result data, rapid call of forecast result data, and storage of forecast data. By using technical means such as forecast data parsing and conversion, extraction and grading processing, vectorization and factored processing, collaborative adaptation of rainfall data input, and distributed object storage, the lightweight processing of massive forecast data can be achieved. Taking the Beijing region as an example, the practice of key technologies for lightweight massive forecast data has been carried out. Practice has proved that the application of lightweight technology for massive forecast data greatly reduces the storage and transmission burden of forecast data, reduces costs, improves the application efficiency and effectiveness of forecast results, and enhances the efficiency of flood forecasting while maintaining the effectiveness and accuracy of data.

Keywords: “three lines of defense”; massive forecast data; lightweight; distributed object storage; moving average algorithm

本文引用格式：

鄒曉濤，孫世友，楊樸，等.“三道防線”海量預報數據輕量化關鍵技術研究與應用[J].中國水利，2025（7）：30-36.

封面供圖高澤鵬

責編王慧

校對劉磊寧

審核軒瑋

監制李建章

聲明：本文系轉載自互聯網，請讀者僅作參考，并自行核實相關內容。若對該稿件內容有任何疑問或質疑，請立即與鐵甲網聯系，本網將迅速給您回應并做處理，再次感謝您的閱讀與關注。