HPC集群管理作業(yè)調(diào)度系統(tǒng)

（人工智能深度學(xué)習(xí)平臺）

解決方案

1 高性能計算用戶面臨的問題

如果您是管理員

n 如何部署、備份和恢復(fù)成百上千臺的集群節(jié)點系統(tǒng)

n 如何快速監(jiān)控集群硬件指標(biāo)使用率、監(jiān)控集群負(fù)載

n 如何操作遠(yuǎn)程開/關(guān)機(jī)

n 節(jié)點故障，集群系統(tǒng)是否可以快速報警

n 節(jié)點宕機(jī)，快速還原系統(tǒng)，減少故障處理時間

n 用戶眾多，資源管理混亂，各個用戶還要設(shè)置資源限額

n 調(diào)度策略、隊列配置、系統(tǒng)管理員命令行操作困難

n 掌握集群使用，完成數(shù)據(jù)統(tǒng)計

n 如何避免用戶繞開調(diào)度系統(tǒng)提交作業(yè)

如果您是用戶

n Linux系統(tǒng)使用經(jīng)驗不足，如何快速掌握集群使用技巧

n 如何更好的與應(yīng)用程序相結(jié)合，方便作業(yè)提交

n 為是否需要安裝編譯器、函數(shù)庫和應(yīng)用程序發(fā)愁

n 如何直觀、方便的使用Linux系統(tǒng)中的文件

n 如何在多臺機(jī)器上執(zhí)行同一條命令

2 智速云超級計算平臺產(chǎn)品簡介

產(chǎn)品介紹

智速云超級計算平臺 V2.0是量子創(chuàng)新（北京）信息技術(shù)有限公司自主研發(fā)的高性能集群軟件，采用B/S架構(gòu)，通過瀏覽器進(jìn)行操作實現(xiàn)集群資源統(tǒng)一部署、管理、監(jiān)控、報警、調(diào)度和報表，可將松散堆疊的服務(wù)器變成一整套HPC集群系統(tǒng)，可大幅提高集群效率，簡化集群管理。

智速云超級計算平臺可以幫助用戶部署操作系統(tǒng)，安裝和調(diào)試集群軟件、應(yīng)用環(huán)境和應(yīng)用軟件，搭建一套完整的HPC軟件系統(tǒng)。適用于航天、汽車、電子、生命科學(xué)、氣象、石油、科研等大規(guī)模高性能并行計算領(lǐng)域。

軟件架構(gòu)

高性能集群一般可以分為硬件層、系統(tǒng)軟件層、集群軟件層、應(yīng)用環(huán)境層和應(yīng)用層，智速云超級計算平臺及其相關(guān)服務(wù)涵蓋了硬件層以上、應(yīng)用層以下的三層，即系統(tǒng)軟件層、集群軟件層和應(yīng)用環(huán)境層，這是保證HPC應(yīng)用能在集群硬件設(shè)備上運(yùn)行的基本條件，如下圖所示：

3 智速云超級計算平臺產(chǎn)品功能

智速云超級計算平臺集群部署模塊

智速云超級計算平臺集群部署模塊幫助系統(tǒng)管理員快速部署數(shù)百臺節(jié)點的集群系統(tǒng)，簡單完成集群節(jié)點的操作系統(tǒng)和軟件的部署。

n 批量安裝、快速部署

n 節(jié)點彈性擴(kuò)展、動態(tài)伸縮

n 系統(tǒng)備份與恢復(fù)功能

n 針對不同節(jié)點分發(fā)相應(yīng)系統(tǒng)鏡像、定制軟件包

n 操作系統(tǒng)、管理軟件、應(yīng)用環(huán)境統(tǒng)一部署

智速云超級計算平臺 Web Portal

智速云超級計算平臺通過Web Portal將集群管理、集群監(jiān)控、作業(yè)調(diào)度管理、集群報表等各個功能模塊的界面統(tǒng)一起來，實現(xiàn)了量子創(chuàng)新（北京）信息技術(shù)有限公司自主研發(fā)軟件的統(tǒng)一登陸，提供用戶管理和權(quán)限管理功能，管理員可以給用戶設(shè)置各個模塊的訪問權(quán)限。

n 用戶管理

智速云超級計算平臺界面提供新建、編輯和刪除用戶(組)功能，可以設(shè)置用戶根目錄，確認(rèn)用戶隸屬的組別和修改密碼等。

n 權(quán)限設(shè)定

智速云超級計算平臺系統(tǒng)中，集群管理、作業(yè)調(diào)度、集群監(jiān)控和報表模塊的訪問權(quán)限有管理員和用戶兩種，通過智速云超級計算平臺界面可設(shè)置用戶訪問權(quán)限，分配用戶可用的功能模塊。

智速云超級計算平臺 集群監(jiān)控模塊

系統(tǒng)管理員可實時監(jiān)控真實物理機(jī)柜視圖，可便捷、直觀查看所有節(jié)點運(yùn)行情況，監(jiān)控集群系統(tǒng)以及每個節(jié)點的系統(tǒng)資源使用情況(CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)、負(fù)載)，支持頁面、郵件報警，提供統(tǒng)一控制報警功能且支持報警閾值設(shè)置。

n 直觀集群監(jiān)控

真實、直觀的物理機(jī)柜視圖展示節(jié)點排放位置、顯示節(jié)點狀態(tài)信息指示燈，包括負(fù)載、是否在線、CPU溫度等信息；

n 集群/節(jié)點性能狀態(tài)監(jiān)控

監(jiān)控集群CPU、內(nèi)存使用率，提供一時間段內(nèi)集群/節(jié)點CPU、內(nèi)存、交換分區(qū)、網(wǎng)絡(luò)、磁盤、負(fù)載等性能指標(biāo)查看，用戶可及時掌握集群狀態(tài)。

n 文件系統(tǒng)使用情況

監(jiān)控Lustre等并行文件系統(tǒng)使用情況，包括文件系統(tǒng)已使用空間、剩余空間、文件系統(tǒng)使用率，以及文件系統(tǒng)擴(kuò)容和減少的變化。

n 網(wǎng)絡(luò)設(shè)備流量監(jiān)控

提供詳細(xì)的網(wǎng)絡(luò)設(shè)備流量監(jiān)控數(shù)據(jù)，可實時查看各個網(wǎng)絡(luò)端口進(jìn)出的數(shù)據(jù)量

n 故障報警通知

當(dāng)節(jié)點故障或CPU、內(nèi)存等指標(biāo)負(fù)載過高時，發(fā)送頁面報警或郵件報警通知，以便系統(tǒng)管理員及時處理，提供歷史報警信息查詢。

n 報警閾值設(shè)置

配置不同的報警閾值，靈活應(yīng)對變化。

智速云超級計算平臺作業(yè)調(diào)度模塊

作業(yè)調(diào)度模塊幫助系統(tǒng)管理員合理、高效的利用集群系統(tǒng)中的軟、硬件資源，調(diào)整調(diào)度策略來優(yōu)化資源的利用和減少作業(yè)的響應(yīng)時間，系統(tǒng)管理員可清晰查看到每個節(jié)點CPU的使用情況，并且通過配置資源管理器以及調(diào)度策略對集群系統(tǒng)進(jìn)行優(yōu)化管理，使得復(fù)雜的集群資源管理和作業(yè)調(diào)度變得簡單、統(tǒng)一、高效。作業(yè)調(diào)度模塊支持多種方式提交作業(yè)，簡化作業(yè)提交過程，常用的應(yīng)用程序可設(shè)置為模板，方便快速提交作業(yè)。通過Web界面上傳應(yīng)用程序算例和作業(yè)腳本，并且可對腳本完成在線編輯、刪除、壓縮等功能。支持容器作業(yè)、GPU作業(yè)、GPU容器穿透、容器鏡像快照等功能，實現(xiàn)HPC與容器相融合。

n 統(tǒng)一查看作業(yè)、管理作業(yè)

作業(yè)管理列表查看作業(yè)狀態(tài)、作業(yè)使用的隊列、查看每個作業(yè)使用的CPU核數(shù)。系統(tǒng)管理員可進(jìn)行掛起、刪除作業(yè)操作。

n 容器作業(yè)

通過容器技術(shù)實現(xiàn)作業(yè)環(huán)境的快速交付與隔離，可自定義配置獲得完整的應(yīng)用環(huán)境。支持容器鏡像管理與快照制作等功能，減少管理員工作。

n 計算資源控制

計算資源列表可查看到集群中每個節(jié)點的核數(shù)，查看每個節(jié)點CPU核數(shù)的使用情況?？刂乒?jié)點是否可以提交作業(yè)，修改節(jié)點屬性，控制節(jié)點資源。

n 配置調(diào)度策略

實現(xiàn)資源提前預(yù)留、Backfill算法、動態(tài)優(yōu)先級、公平共享、配額管理、系診斷、系統(tǒng)監(jiān)測和統(tǒng)計等功能；支持QoS和基于策略的調(diào)度；支持搶占策略；重要作業(yè)可以優(yōu)先使用集群資源；

n 嚴(yán)格控制用戶(組)資源

由系統(tǒng)管理員嚴(yán)格限制用戶(組)資源，配置用戶(組)可提交的最大作業(yè)數(shù)，設(shè)置CPU、內(nèi)存資源限額、磁盤資源配額、作業(yè)優(yōu)先級。

n 實現(xiàn)資源預(yù)留

由用戶申請，系統(tǒng)管理員批準(zhǔn)后設(shè)定一個起始時間值，預(yù)留計算節(jié)點資源給申請的用戶使用，保證作業(yè)在特定的時間內(nèi)有可用的計算資源。

n 靈活作業(yè)提交方式

支持多種作業(yè)提交方式：命令行、Web界面、應(yīng)用軟件集成界面、作業(yè)腳本和可執(zhí)行文件等多種提交方式。常用應(yīng)用程序可設(shè)置為模板。

n 完善的文件管理

用戶可直接管理Linux系統(tǒng)下的文件，對文件進(jìn)行新建、編輯、上傳、下載、復(fù)制、剪切、粘貼、壓縮、解壓縮等功能，使得沒有Linux基礎(chǔ)的用戶非常容易上手操作，能快速使用集群系統(tǒng)。

智速云超級計算平臺報表統(tǒng)計與計費(fèi)

智速云超級計算平臺報表系統(tǒng)為用戶提供詳細(xì)、豐富的數(shù)據(jù)資源統(tǒng)計功能，包括系統(tǒng)資源使用統(tǒng)計報表，賬單收費(fèi)報表以及記賬設(shè)置，可導(dǎo)出PDF、HTML、Excel報表。

n 集群計算資源使用統(tǒng)計

統(tǒng)計集群系統(tǒng)CPU、內(nèi)存、交換分區(qū)、存儲使用率，生成報表數(shù)據(jù)。統(tǒng)計作業(yè)完成情況，對已完成作業(yè)、運(yùn)行的作業(yè)、等待的作業(yè)，生成報表數(shù)據(jù)。

n 統(tǒng)計資源消費(fèi)、靈活設(shè)置費(fèi)率

靈活設(shè)置收費(fèi)費(fèi)率，結(jié)合用戶(組)的CPU使用時間、運(yùn)行時間等信息以及相應(yīng)費(fèi)率，生成賬單并提供打印和查詢。

人工智能深度學(xué)習(xí)

智速云超級計算平臺之上可以進(jìn)行更具體的業(yè)務(wù)實現(xiàn)，基于平臺高效的作業(yè)調(diào)度系統(tǒng)及其底層的容器技術(shù)，實現(xiàn)了人工智能深度學(xué)習(xí)實訓(xùn)平臺。通過該平臺可以快速創(chuàng)建教學(xué)所需的實驗環(huán)境，集成當(dāng)下熱門的所有深度學(xué)習(xí)框架所需的應(yīng)用環(huán)境，支持CPU/GPU作業(yè)。內(nèi)置配套學(xué)習(xí)資料、模型數(shù)據(jù)及教學(xué)視頻，同時支持自定義課程及應(yīng)用環(huán)境的創(chuàng)建，實現(xiàn)完整的深度學(xué)習(xí)教學(xué)實訓(xùn)平臺。

n 秒級交付深度學(xué)習(xí)實驗環(huán)境

通過Web界面一鍵部署深度學(xué)習(xí)環(huán)境，快速啟動訓(xùn)練任務(wù)。無需進(jìn)行任何復(fù)雜的應(yīng)用環(huán)境搭建，即開即用，并且支持多個人工智能實訓(xùn)在線練習(xí)。系統(tǒng)可集成各種主流深度學(xué)習(xí)框架，如TensorFlow、Coffe等

n 便捷操作，豐富功能

無需任何復(fù)雜的配置與客戶端的安裝，即可在瀏覽器中實時作業(yè)，環(huán)境內(nèi)文件管理也易如反掌。支持容器文件WEB遠(yuǎn)程訪問，支持容器內(nèi)文件管理、虛擬網(wǎng)絡(luò)、環(huán)境內(nèi)應(yīng)用端口映射等高級功能。

n 豐富的配套素材與良好的擴(kuò)展性

系統(tǒng)內(nèi)置豐富的深度學(xué)習(xí)教學(xué)素材、教學(xué)視頻、實驗環(huán)境及模型數(shù)據(jù)，教師也可以很方便地定制化特色課程，因材施教，同時還支持自定義課程上傳。

n 豐富的資源監(jiān)控

系統(tǒng)可動態(tài)分配GPU資源，資源合理使用，可實時監(jiān)控CPU/GPU資源使用情況和運(yùn)行狀態(tài)。

4 智速云超級計算平臺產(chǎn)品優(yōu)勢與特色

n 便捷

采用B/S架構(gòu)，直觀Web Portal圖形界面

文件管理操作簡單易用

多節(jié)點命令并行執(zhí)行

自定義用戶提交界面，形成應(yīng)用模板

n 可靠

管理節(jié)點HA，避免單點故障

節(jié)點系統(tǒng)備份，快速恢復(fù)節(jié)點默認(rèn)配置

計算資源登錄控制，防止私用計算資源

配備報警信息，警報閾值自定義設(shè)置

n 專業(yè)

獨立的模塊化設(shè)計，用戶權(quán)限分明，按需組合

集成SSH和VNC登陸訪問功能

智能化、多策略任務(wù)調(diào)度

支持多種數(shù)據(jù)報表格式

n 獨特

采用LDAP和NIS用戶認(rèn)證系統(tǒng)

用戶定制化開發(fā)與定制化服務(wù)

調(diào)度、監(jiān)控模塊支持移動終端

支持無盤集群、減少硬件資源消耗

5 行業(yè)應(yīng)用

CAE仿真

CAE(Computer Aided Engineering)指工程設(shè)計中的計算機(jī)輔助工程，指用計算機(jī)輔助求解分析復(fù)雜工程和產(chǎn)品的結(jié)構(gòu)力學(xué)性能，以及優(yōu)化結(jié)構(gòu)性能等，把工程（生產(chǎn)）的各個環(huán)節(jié)有機(jī)地組織起來，其關(guān)鍵就是將有關(guān)的信息集成，使其產(chǎn)生并存在于工程（產(chǎn)品）的整個生命周期。而CAE軟件可作靜態(tài)結(jié)構(gòu)分析，動態(tài)分析；研究線性、非線性問題；分析結(jié)構(gòu)（固體）、流體、電磁等。

在汽車行業(yè)應(yīng)用中，經(jīng)常要對整車進(jìn)行機(jī)械動力學(xué)仿真，在這一領(lǐng)域中，國內(nèi)常見的軟件有MSC/ADAMS。其被廣泛用來進(jìn)行汽車操縱穩(wěn)定性、汽車行駛平順性的動態(tài)仿真。ADAMS中的TIRE模塊提供若干種輪胎模型供分析時選用，以準(zhǔn)確地建立輪胎的動力學(xué)模型。ADAMS中的CAR模塊專為汽車動力學(xué)仿真而設(shè)計，使用十分方便。另外在國內(nèi)應(yīng)用比較廣泛的還有美國ETA公司的VPG，VPG（Virtual Proving Ground）虛擬試驗場是ETA公司長期總結(jié)汽車分析工程經(jīng)驗，在LD-DANA平臺上開發(fā)的，是ETA、LSTC和ANSYS三家公司合作推出的專門應(yīng)用于汽車工程的軟件。VPG主要被應(yīng)用于當(dāng)前汽車產(chǎn)品開發(fā)中的重點——整車系統(tǒng)疲勞、整車系統(tǒng)動力學(xué)、NVH和整車碰撞安全及乘員保護(hù)等熱門問題。

在計算機(jī)上進(jìn)行的基于現(xiàn)代計算力學(xué)理論的數(shù)值仿真技術(shù)，廣泛應(yīng)用于航空航天、汽車、船舶、機(jī)械、建筑、電子等行業(yè)領(lǐng)域，CAE領(lǐng)域軟件大部分采用MPI并行編程環(huán)境進(jìn)行編譯，采用并行計算的速度較原來有較大的提升。

應(yīng)用：采用智速云超級計算平臺高性能計算管理平臺可為CAE提供一套完整的高性能計算環(huán)境軟件包，將CAE應(yīng)用軟件與調(diào)度系統(tǒng)相結(jié)合，提供應(yīng)用模板，方便作業(yè)提交和查看結(jié)果。

常用軟件：

基礎(chǔ)學(xué)科(物理、化學(xué)、材料學(xué)等)

基礎(chǔ)科學(xué)研究是指認(rèn)識自然現(xiàn)象、揭示自然規(guī)律，獲取新知識、新原理、新方法的研究活動，主要應(yīng)用領(lǐng)域包括高能物理、計算化學(xué)、納米材料等。理論、實驗、計算是當(dāng)今科研創(chuàng)新的三大重要手段，高性能計算主要通過模擬仿真的技術(shù)把目前通過實驗無法實現(xiàn)的想法得以實現(xiàn)，在降低研發(fā)成本的基礎(chǔ)上加快人們對自然世界的認(rèn)識。例如，使用并行程序進(jìn)行密度泛函理論（DFT）計算已經(jīng)成為材料科學(xué)、固體物理、計算化學(xué)等領(lǐng)域內(nèi)必不可少的研究手段之一。并行計算已經(jīng)廣泛應(yīng)用于基礎(chǔ)學(xué)科的研究，用戶主要為高校以及科研院所。

應(yīng)用：智速云超級計算平臺高性能計算管理平臺針對高校以及科研院所的使用特點提供一套完整的軟件解決方案，支持多種復(fù)雜并行環(huán)境與應(yīng)用程序，多種作業(yè)調(diào)度策略，為用戶提供軟件支撐平臺。高校與科研院所有用戶多、管理復(fù)雜、數(shù)據(jù)統(tǒng)計、以及用戶水平參差不齊等問題，智速云超級計算平臺完善的集群管理、豐富的數(shù)據(jù)報表統(tǒng)計，以及B/S架構(gòu)采用Web Portal的使用方式可幫助用戶解決此類問題，讓用戶更多的精力專注于自己的科研成果，幫助用戶搭建一套高效、穩(wěn)定的集群系統(tǒng)。

常用軟件：

生命科學(xué)

生命科學(xué)是研究生命現(xiàn)象、生命活動的本質(zhì)、特征和發(fā)生、發(fā)展規(guī)律，以及各種生物之間和生物與環(huán)境之間相互關(guān)系的科學(xué)。運(yùn)用大規(guī)模高效的理論模型和數(shù)值計算來識別基因組序列中代表蛋白質(zhì)的編碼區(qū)，破譯隱藏在核酸序列中的遺傳語言規(guī)律。用于有效地控制生命活動，能動地改造生物界，造福人類生命科學(xué)，與人類生存、人民健康、經(jīng)濟(jì)建設(shè)和社會發(fā)展有著密切關(guān)系，是當(dāng)今在全球范圍內(nèi)最受關(guān)注的基礎(chǔ)自然科學(xué)。

應(yīng)用：智速云超級計算平臺高性能計算管理平臺可為生命科學(xué)高性能計算用戶配備完備的并行軟件開發(fā)和運(yùn)行環(huán)境，配置智速云超級計算平臺 Monitor和智速云超級計算平臺 Schedule模塊進(jìn)行集群監(jiān)控以及作業(yè)調(diào)度，包含針對不同應(yīng)用軟件的模板設(shè)置，提高用戶的使用效率、降低高性能計算機(jī)的使用門檻。

常用軟件：

石油勘探

高性能計算集群廣泛適用于石油勘探行業(yè)，主要應(yīng)用于油藏模擬分析、地震油層分析、油層數(shù)據(jù)可視化方面。其中地震油層分析是利用地震波法用炸藥在地面激起人工地震波，這種地震波可傳入地下深處，并在碰到不同形態(tài)的地質(zhì)構(gòu)成時形成不同的反射波，這些反射波經(jīng)地面的檢波器收集、轉(zhuǎn)變成電子信號后可存儲為數(shù)據(jù)，而后利用高性能服務(wù)器進(jìn)行地震油層分析任務(wù)，利用加工處理野外觀測所得地震波數(shù)據(jù)，將地震數(shù)據(jù)變成地質(zhì)語言──地震剖面圖或構(gòu)造圖，處理后的地震數(shù)據(jù)可根據(jù)地下巖層的產(chǎn)狀和構(gòu)造關(guān)系，找出有利的含油氣地區(qū)。

應(yīng)用：智速云超級計算平臺高性能計算管理平臺廣泛應(yīng)用于石油行業(yè)，可監(jiān)控所有計算資源，實現(xiàn)集群遠(yuǎn)程管理，同時可提供CGG和Omega等軟件的運(yùn)行情況和使用報表。

常用軟件：