WRF(Weather Research and Forecasting Model)是由美國環(huán)境預(yù)測中心(NCEP)及美國國家大氣研究中心(NCAR)等一系列美國科研機構(gòu)合作開發(fā)的一款中尺度數(shù)值天氣預(yù)報模式，因具有可移植、可擴充、易維護(hù)及高效率等優(yōu)勢，使其在國內(nèi)外都得到了廣泛的應(yīng)用。但由于本地 WRF 模式的運行需要基于 Linux 系統(tǒng)，全流程上的編譯、安裝、前處理、運行及分析過程都具備相當(dāng)程度的復(fù)雜性，因此給相關(guān)研究人員帶來了不少實操上的困難。

基于此，本文將介紹一種基于云端數(shù)據(jù)科學(xué)協(xié)同平臺——ModelWhale 的 WRF 模式，在一定程度上多角度多方面地解決上述問題，以期為大氣科學(xué)領(lǐng)域的研究者們提供更為便捷、實操性更強的中尺度天氣預(yù)報模式，助力相關(guān)科學(xué)研究的可持續(xù)發(fā)展。

一、傳統(tǒng)基于小型計算機本地的 WRF 模式

天氣與氣候變化是生態(tài)環(huán)境領(lǐng)域重要的研究對象，對其具備合理的認(rèn)知是進(jìn)行生態(tài)、環(huán)境及能源評估與規(guī)劃的先決條件，因此，有關(guān)天氣預(yù)報與氣候模擬的應(yīng)用正不斷被擴展并深入，WRF 中尺度數(shù)值天氣預(yù)報模式應(yīng)運而生。

該模式采用 Fortran90 語言編寫，因此即使是在不同的平臺，只要擁有版本適用的 Fortran 編譯器，就可使該模式的源代碼得到編譯層面的移植，這使其具備了靈活、易維護(hù)、可擴展及能夠適用于廣泛的計算平臺等特征。除此之外，相較于其他氣候模式，WRF 模式具有先進(jìn)的數(shù)據(jù)同化技術(shù)、功能強大的嵌套能力及先進(jìn)的物理過程，使其在對流與中尺度降水處理能力等方面更具優(yōu)勢。

隨著 WRF 模式的高速發(fā)展，其基于分辨率的適用范圍與基于模式模塊的應(yīng)用范圍都變得更為廣泛。作為大氣科學(xué)領(lǐng)域?qū)嶋H業(yè)務(wù)與科學(xué)研究場景中不可或缺的工具之一，WRF 模式在區(qū)域氣候模擬、空氣質(zhì)量模擬、海氣耦合及理想實驗?zāi)M中都發(fā)揮了重要的作用。

傳統(tǒng)基于小型計算機本地 WRF 模式運行過程中現(xiàn)存的問題

WRF 模式由四部分組成，即預(yù)處理系統(tǒng)(WPS，用于將數(shù)據(jù)進(jìn)行插值與模式標(biāo)準(zhǔn)初始化、定義模式區(qū)域及選擇地圖投影方式)、資料同化系統(tǒng)(WRFDA，包括三維變分同化)、動力內(nèi)核即主模塊(ARW/NMM)及后處理系統(tǒng)(圖形軟件包)——作為由多個極為復(fù)雜的組件構(gòu)成的應(yīng)用，WRF 模式的安裝過程極為復(fù)雜，運行過程也極為耗時。

首先，針對安裝過程，WRF 模式除了需要提前配置 Linux 操作系統(tǒng)，還需準(zhǔn)備大量依賴庫，如在安裝 WPS 時還需安裝 zlib、libpng 及 Jasper 用以讀取 GRIB2 格式的氣象數(shù)據(jù)，安裝主模塊前也需安裝 Intel Fortran、netCDF4 及 HDF5 支持庫，若有并行運算的需求，還需安裝 OpenMPI 或 MPICH。在傳統(tǒng)小型服務(wù)器上，一般采用 sudo apt-get install 命令安裝軟件，并進(jìn)入 bashrc 設(shè)置對應(yīng)軟件與庫路徑的環(huán)境變量，十分麻煩，且常因軟件版本、相互依賴關(guān)系及系統(tǒng)環(huán)境的兼容性問題導(dǎo)致安裝報錯，耗費過多的時間。

一用戶在安裝 WRF 模式時出現(xiàn)編譯失敗的問題(圖源：網(wǎng)絡(luò))

而針對 WRF 模式的運行過程，若使用傳統(tǒng)單 CPU 單核的個人單機作為載體，即便是常規(guī)項目，往往也需要運行一天以上，同時，還極易出現(xiàn)運行報錯或電腦崩潰等其他問題，極大程度上拖慢了數(shù)據(jù)生產(chǎn)效率，消耗科研人員過多的時間與精力。

為減小安裝困難、彌補算力不足，除了在已經(jīng)完成環(huán)境布置的實驗室電腦、大型機或超級計算機上直接運行 WRF 模式，可行性與實操性更強的方法是將個人單機接入超算中心遠(yuǎn)程訪問，又或是選取一已預(yù)裝相關(guān)鏡像的在線大數(shù)據(jù)平臺，在線完成全套 WRF 模式的運行與結(jié)果輸出。本文就將介紹一種基于云端數(shù)據(jù)科學(xué)協(xié)同平臺——ModelWhale 的 WRF 中尺度數(shù)值天氣預(yù)報模式。

二、基于云端數(shù)據(jù)科學(xué)協(xié)同平臺ModelWhale 的 WRF 模式

ModelWhale 是和鯨科技旗下的一款數(shù)據(jù)科學(xué)協(xié)同平臺，集數(shù)據(jù)管理、建模分析、模型訓(xùn)練管理、算力資源管理及任務(wù)管理等功能于一身，支持 Python 及 R 等編程語言，通過逐級開放的數(shù)據(jù)基礎(chǔ)設(shè)施與 Jupyter Notebook 交互式、Canvas 拖拽式、CloudIDE 三種分析模式及即開即用的云端分析環(huán)境，為各領(lǐng)域科研工作者及團隊解決數(shù)據(jù)安全應(yīng)用、底層工程繁復(fù)及研究成果流轉(zhuǎn)復(fù)現(xiàn)困難等問題，從而使數(shù)據(jù)驅(qū)動的研究更為便捷高效。若是能夠在 ModelWhale 上運行 WRF 模式，那么該云端數(shù)據(jù)科學(xué)協(xié)同平臺能夠在以下幾個方面為大氣科學(xué)家們予以技術(shù)上的支持，大大提升他們的科研效率：

ModelWhale 為大氣科學(xué)家們提前預(yù)設(shè)“WRF 鏡像”

ModelWhale 在后臺為用戶們定制了“WRF 鏡像”，該鏡像中已預(yù)裝了與 WPS 及 WRF 系統(tǒng)相關(guān)的絕大部分依賴庫及程序模塊。基于該平臺的在線 Jupyter Notebook 運行 WRF 模式時，研究人員只需選擇“WRF 鏡像”，即可在快速調(diào)用一系列依賴庫后，對程序模塊完成編譯，換句話說，不需要任何復(fù)雜的操作，只需選擇鏡像 - 等待數(shù)分鐘依賴庫調(diào)用與程序模塊編譯的完成，即可結(jié)束 WRF 模式所有的“安裝”步驟，極大程度上減小了 WRF 模式開始運行的技術(shù)門檻。

ModelWhale 為模式研究者們提供多規(guī)格的云端算力

ModelWhale 提供云算力的租賃服務(wù)，用戶們可按需選擇各種規(guī)格的 CPU 計算資源。

曾有研究將 WRF 模式構(gòu)建于32核的 Linux 集群系統(tǒng)并進(jìn)行了并行計算實驗，結(jié)果表明：當(dāng)處理器個數(shù)逐步增加至16時，WRF 模式運行的總時間隨個數(shù)的增加單調(diào)減少;而隨著處理器個數(shù)從16繼續(xù)增加至26時，模式運行的總時間趨勢上雖在總體減小，但變化并不明顯，且存在一定的起伏?？梢哉f，在成本可控的范圍內(nèi)，16核64G的 CPU 計算資源在 WRF 模式的運行過程中具有極高的時間效率，能夠成倍節(jié)省大氣科學(xué)家們的研究時間。

ModelWhale 能夠提供高階云端算力的接口，完成付費后，研究人員即可在個人單機上應(yīng)用各種規(guī)格的 CPU 計算資源運行 WRF 模式。

若需更高規(guī)格的算力，請按文末聯(lián)系 ModelWhale 的產(chǎn)品顧問 MoMo

以上，通過鏡像配置與算力配置，基本可以解決傳統(tǒng)基于小型計算機本地的 WRF 模式在運行過程中易出現(xiàn)的安裝困難及計算資源不足等問題。

ModelWhale 支持多類型本地數(shù)據(jù)的上傳接入與超大數(shù)據(jù)的云上調(diào)用

對比實驗室大型機或超算中心，ModelWhale 還具備云端數(shù)據(jù)掛載功能，幫助推進(jìn) WRF 模式運行前的數(shù)據(jù)準(zhǔn)備工作。

一般而言，驅(qū)動 WRF 模式運行最為基礎(chǔ)的數(shù)據(jù)包含地形數(shù)據(jù)與初始?xì)庀髨鰯?shù)據(jù)(指 GFS 數(shù)據(jù)與 FNL 數(shù)據(jù))，兩者均須從相關(guān)網(wǎng)站有選擇地下載至個人單機本地，再通過硬盤或其他方式數(shù)次轉(zhuǎn)移至不同的實驗室大型機或超算中心，十分耗時。但若將兩種數(shù)據(jù)掛載到云端，那么僅需一次下載+上傳的操作，就能夠?qū)崿F(xiàn)數(shù)據(jù)的多次復(fù)用與團隊共享，使用時，待數(shù)據(jù)掛載完成后直接調(diào)用即可，不再需要多余的數(shù)據(jù)轉(zhuǎn)移步驟。目前，若使用的數(shù)據(jù)量不大，即可以數(shù)據(jù)集的形式進(jìn)行掛載(ModelWhale 后臺也提供部分相關(guān)數(shù)據(jù)集)。

但事實上，地形數(shù)據(jù)是不隨時間變化的靜態(tài)數(shù)據(jù)集，一次接入后可用于后續(xù)所有的模擬過程，而初始?xì)庀髨鰯?shù)據(jù)每日更新的時間點與頻率是固定的，對其進(jìn)行定時爬取也是可操作的。未來，隨著基于 ModelWhale 的 WRF 模式受眾逐漸變多變廣，ModelWhale 也將以 NAS 空間的形式掛載全部的地形與初始?xì)庀髨鰯?shù)據(jù)，由專人進(jìn)行云端數(shù)據(jù)的長期維護(hù)。研究人員在運行 WRF 模式的過程中直接按需調(diào)取即可，進(jìn)一步省去了從 NCEP 等官網(wǎng)下載到上傳云端平臺的步驟，輕松實現(xiàn)對超大氣象數(shù)據(jù)的研究與分析。

ModelWhale 的不同功能模塊協(xié)助研究人員全方位優(yōu)化 WRF 模式運行的工作流程

ModelWhale 本身具備的其他功能還能夠?qū)崿F(xiàn)WRF 模式運行工作流的優(yōu)化，減少底層工作的繁復(fù)，全方位減輕研究人員的各種負(fù)擔(dān)。

對于個人研究者：

例如對于個人研究者而言，ModelWhale 除了能夠提供上述的環(huán)境、算力及數(shù)據(jù)，其 Jupyter Notebook 還具備優(yōu)秀的版本管理功能——面對 WRF 模式運行過程中需要多次修改與迭代的研究參數(shù)，如若打算保留每個版本，就需在每次修改前創(chuàng)建副本并重新命名，最終很可能導(dǎo)致研究者本人都無法區(qū)分有效的版本成果。

而 ModelWhale 支持為復(fù)雜研究項目的階段性工作進(jìn)行版本管理，提供了生成項目版本、版本比對、內(nèi)容替換及合并版本的功能，針對每處修改，研究人員都可以實現(xiàn)文件級回退與 Cell 級回溯。

對于團隊研究者：

而對于團隊研究者而言，ModelWhale 除了助力項目級代碼編寫上的共同協(xié)作，更重要的是能夠協(xié)助進(jìn)行生產(chǎn)資料的共享管理，促進(jìn)團隊內(nèi)部的合作協(xié)同，助推研究成果的復(fù)現(xiàn)工作。在 ModelWhale 團隊版的團隊空間中，后臺提供了團隊的共享視圖，管理者們可以靈活地對各類研究課題、算法項目、分析任務(wù)進(jìn)行分工拆解、任務(wù)分配、數(shù)據(jù)接入、資源分配、進(jìn)度監(jiān)控、成果驗收及成果復(fù)用等項目管理工作。

簡而言之，對于 WRF 模式所需的環(huán)境、算力及數(shù)據(jù)，管理者們既能夠使其在團隊內(nèi)部實現(xiàn)流轉(zhuǎn)與共享，也能夠?qū)ζ溥M(jìn)行管理與控制，保障數(shù)據(jù)安全的同時避免資源的浪費。而對于 WRF 模式跑通后的代碼文件與研究成果，同樣可在團隊中進(jìn)行成果復(fù)現(xiàn)——權(quán)限允許的情況下，可對他人已發(fā)布的科研成果進(jìn)行一鍵 Fork，甚至可查詢其歷史版本，實現(xiàn)組織內(nèi)部的有效協(xié)作，大大提升工作效率。

在課題研究完成后，科研人員團隊可以選定運行時的分析環(huán)境、掛載的數(shù)據(jù)集及最后的代碼版本，將生產(chǎn)要素全部整合在一起，并補充一定的文字說明，沉淀至組織的課題成果庫中。

此外，ModelWhale 團隊版還可升級為科研版與教研版?？蒲邪嬷饕獜娜蝿?wù)規(guī)劃及算法庫等功能模塊簡化研究工作的復(fù)雜程度，低門檻上手?jǐn)?shù)據(jù)分析工作的同時拓展數(shù)據(jù)研究的邊界，實現(xiàn)多人、多角色、隨時隨地協(xié)同進(jìn)行數(shù)據(jù)驅(qū)動的相關(guān)研究;教研版則主要實現(xiàn)教科研一體化，兼?zhèn)湔n題管理與課程管理的功能，實現(xiàn)靈活的群組管理機制，助力從學(xué)到研、從研到學(xué)的雙向角色轉(zhuǎn)換。

ModelWhale 同樣能夠?qū)?WRF 模式的輸出進(jìn)行可視化后處理與機器學(xué)習(xí)后加工

在整個 WRF 模式跑通結(jié)束后，針對所輸出的 NetCDF數(shù)據(jù)(nc 數(shù)據(jù))，ModelWhale 還能夠提供可視化后處理與機器學(xué)習(xí)模型訓(xùn)練后加工功能，真正實現(xiàn)了 WRF 模式的一體化工作流。

可視化是連接 WRF 模式結(jié)果輸出與結(jié)果展示的橋梁，基于 ModelWhale 的 Jupyter Notebook 使用 Python 進(jìn)行 WRF 模式的可視化流程一般可以包括，通過 netCDF4 庫對 nc 數(shù)據(jù)進(jìn)行簡單讀寫與處理、使用 NumPy 庫進(jìn)行經(jīng)緯度換算、通過 Cartopy 與 Matplotlib 庫對數(shù)據(jù)進(jìn)行可視化、使用 Matplotlib 庫繪制圖片細(xì)節(jié)等。

除可視化之外，ModelWhale 還能夠提供模型訓(xùn)練功能，支持運用機器學(xué)習(xí)對 WRF 模式預(yù)報結(jié)果做數(shù)據(jù)后加工處理。眾所周知，機器學(xué)習(xí)正在氣象領(lǐng)域發(fā)揮巨大的作用，結(jié)合傳統(tǒng)物理模式與機器學(xué)習(xí)模型訓(xùn)練的智慧天氣預(yù)報因具備(時空)高分辨率、高準(zhǔn)確率而逐步成為天氣預(yù)報的主流形式。若能結(jié)合機器學(xué)習(xí)的訂正技術(shù)對 WRF 模式的結(jié)果做校準(zhǔn)優(yōu)化，無疑是極大程度地提升了預(yù)報成果的質(zhì)量，而基于 ModelWhale 的 Jupyter Notebook，大氣科學(xué)家們即可輕松在云端按需進(jìn)行模型訓(xùn)練與模型調(diào)用。

當(dāng)然，在傳統(tǒng)個人單機并非不能進(jìn)行 WRF 模式的后處理與后加工，而將 ModelWhale 作為上述操作的載體，除了其具備諸如版本管理及團隊協(xié)作等錦上添花的功能，最為主要的原因是能夠免去研究者們對于 nc 數(shù)據(jù)轉(zhuǎn)移與轉(zhuǎn)化的過程，只需將 WRF 模式跑通輸出的數(shù)據(jù)集直接掛載，即可隨時開始后處理后加工，避免了基礎(chǔ)工作的繁復(fù)。

ModelWhale 已為多家高校與機構(gòu)提供 WRF 模式的相關(guān)服務(wù)

目前，ModelWhale 已為不少高校與機構(gòu)提供 WRF 模式的相關(guān)服務(wù)，助力其在大氣科學(xué)領(lǐng)域進(jìn)行教學(xué)、科研及應(yīng)用實操。

鄭州大學(xué)的 Z 老師基于 WRF 模式的授課需求，采購了 ModelWhale 教研版產(chǎn)品，ModelWhale 為 Z 老師提供了為期數(shù)月的 WRF 模式云端教學(xué)實訓(xùn)平臺服務(wù)。過程中，該產(chǎn)品不僅能夠協(xié)助 Z 老師帶領(lǐng)研究生們跑通基礎(chǔ)的 WRF 模式、進(jìn)行必要的 nc 數(shù)據(jù)后處理后加工、低門檻復(fù)現(xiàn)已有的研究成果并完成教學(xué)過程中的各項小組實訓(xùn)與作業(yè)，更是能夠幫助 Z 老師進(jìn)行課程管理，使教學(xué)準(zhǔn)備更為豐富完善、授課過程更為高效流暢、課后評估更為專業(yè)便捷。

而云南大學(xué)的 S 老師主要通過 ModelWhale 產(chǎn)品支持其課題組的科研工作，于云端進(jìn)行包括但不限于 WRF 的模式分析。ModelWhale 為 S 老師提供了各模式所需鏡像，并配有技術(shù)顧問全程協(xié)助、解答疑難，最終打造了一款能夠全線適用于該課題組的云端科研空間，提供數(shù)據(jù)存儲及算力資源等服務(wù)的同時，協(xié)助其跑通各氣象預(yù)報模式并進(jìn)行可視化后處理與機器學(xué)習(xí)后加工，滿足了碩博研究生們?nèi)粘５目蒲腥蝿?wù)。

事實上，ModelWhale 作為一款數(shù)據(jù)科學(xué)協(xié)同平臺，在大氣科學(xué)領(lǐng)域具備相當(dāng)?shù)慕?jīng)驗——來自國家、地方氣象局的諸多氣象研究人員也正使用 ModelWhale 產(chǎn)品作為其進(jìn)行氣象大數(shù)據(jù)挖掘分析與機器學(xué)習(xí)的協(xié)同工具，ModelWhale 也因此收獲了各位大氣科學(xué)家們的正向反饋。

三、歡迎廣大研究人員使用 ModelWhale 在線運行 WRF 模式

本文介紹了一種基于云端數(shù)據(jù)科學(xué)協(xié)同平臺ModelWhale 的 WRF 模式，極大程度上緩解了傳統(tǒng)基于小型計算機本地的 WRF 模式在安裝與運行等方面出現(xiàn)的問題。除此之外，ModelWhale 所具備的資料管理及成果復(fù)現(xiàn)等功能更是能夠幫助提升工作效率，同時，平臺還能夠協(xié)助科研人員對 WRF 模式生產(chǎn)的數(shù)據(jù)進(jìn)行可視化后處理與機器學(xué)習(xí)后加工，真正實現(xiàn)工作流一體化的操作。

目前，ModelWhale平臺為氣象及相關(guān)領(lǐng)域的研究者們免費提供跑通 WRF 模式的鏡像與算力，歡迎大家動手實操，有意向的師生請【聯(lián)系 ModelWhale 的產(chǎn)品顧問 MoMo】，MoMo 將提供一應(yīng)的配置支持服務(wù)與相關(guān)項目資源，協(xié)助用戶們快速上手實操。

免責(zé)聲明：市場有風(fēng)險，選擇需謹(jǐn)慎!此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：