公司名稱:元越-服務(wù)器_存儲-量子創(chuàng)新(北京)信息技術(shù)有限公司
聯(lián)系方式:010-62462728
公司地址:海淀區(qū)高里掌路3號院24號樓二層
公司郵箱:support@tools.xyftl3.cn
統(tǒng)一存儲解決方案
需求:
一體化存儲,同時支持媒資應用,虛擬化應用,數(shù)據(jù)庫應用以及對象存儲歸檔業(yè)務(wù)。具體要求如下:
? 提供200TB左右的空間用于媒資文件存儲(CIFS)
? 提供30TB左右的空間用于NFS虛擬化應用
? 通過FC-SAN方式,提供5TB空間用于數(shù)據(jù)庫應用
? 對象歸檔應用容量分別為5PB,10PB和15PB
系統(tǒng)規(guī)劃:
為避免煙囪式的存儲模式,將各類存儲應用納入到一個統(tǒng)一的存儲平臺下來進行管理。本案中采用可橫向擴展的全對稱架構(gòu)的分布式存儲集群解決方案。集群結(jié)構(gòu)圖如圖-1所示:
圖-1
系統(tǒng)中的每個物理節(jié)點均為等價節(jié)點,包含對象存儲設(shè)備(OSD)模塊和存儲網(wǎng)關(guān)(GW)模塊。其中OSD模塊負責存儲實際數(shù)據(jù),GW模塊提供各種標準接口供客戶端訪問,包括有:Amazon S3接口,NAS訪問接口以及iSCSI/FC SAN接口。所有節(jié)點均為等價節(jié)點,整個存儲集群沒有單點故障。且所有的存儲網(wǎng)關(guān)也構(gòu)建成一個集群,客戶端可以從任意一個存儲網(wǎng)關(guān)接入存儲,并可訪問存儲集群中各節(jié)點上的數(shù)據(jù)。
考慮到本案存儲空間需求巨大,設(shè)備節(jié)點均采用4U 72盤位的高密度存儲服務(wù)器進行構(gòu)建。每臺存儲服務(wù)器中配備不同型號的磁盤,通過存儲虛擬化技術(shù),依據(jù)不同應用的特性,將底層磁盤劃分為不同的存儲資源池,提供給不同的業(yè)務(wù)使用。同時所有的存儲資源均可通過任一節(jié)點進行上的Web控制臺進行管理。
存儲池規(guī)劃:
圖-2
本方案采用存儲虛擬化技術(shù),將底層存儲資源按照應用需求,規(guī)劃為不同的存儲資源池,其規(guī)劃示意圖如圖-2所示。為響應不同業(yè)務(wù)需求,每臺物理節(jié)點均配置有不同性能的存儲介質(zhì),包括SSD固態(tài)盤,高轉(zhuǎn)速SAS盤以及大容量SATA盤等。通過軟件定義的方式,將大容量存儲介質(zhì)配置為歸檔存儲池,將高性能存儲介質(zhì)配置為在線或近線業(yè)務(wù)存儲池。本案中,針對不同業(yè)務(wù)的規(guī)劃方案如下:
? 針對歸檔業(yè)務(wù),將每臺設(shè)備上的所有大容量SATA盤構(gòu)建成一個S3對象存儲池,歸檔服務(wù)器通過S3接口,直接存儲歸檔文件
? 針對DB業(yè)務(wù),規(guī)劃部分節(jié)點,構(gòu)建DB存儲池,該存儲池由各節(jié)點中的SSD固態(tài)盤加高轉(zhuǎn)速SAS盤構(gòu)建而成,提供DB應用需要的高IOPS和低延時特性
? 針對虛擬化業(yè)務(wù),可規(guī)劃部分節(jié)點,構(gòu)建NFS存儲池,該存儲池通過SSD固態(tài)盤加SATA盤構(gòu)建出高IOPS的存儲池,確保虛擬化應用的性能
? 針對媒資業(yè)務(wù),可規(guī)劃部分節(jié)點,構(gòu)建CIFS存儲池,該存儲池可采用SAS盤或SSD固態(tài)盤加大容量SATA盤,提供業(yè)務(wù)所需的高帶寬,低延時需求
數(shù)據(jù)安全性規(guī)劃:
對于數(shù)據(jù)安全性,本案從兩個維度進行數(shù)據(jù)安全性規(guī)劃。
? 從單臺物理設(shè)備的數(shù)據(jù)安全維度,每個存儲池中的磁盤,通過RAID冗余方式,確保單塊磁盤故障不會影響影響節(jié)點的數(shù)據(jù)安全和數(shù)據(jù)訪問
? 從集群的數(shù)據(jù)安全維度,兼顧效率和成本因素,本案中采用副本和糾刪碼機制并存的方式對集群數(shù)據(jù)進行保護。
? 針對在線和近線業(yè)務(wù),包括DB,虛擬化以及媒資業(yè)務(wù),采用多副本機制進行保護,可提供足夠的訪問性能。本方案中副本數(shù)可動態(tài)調(diào)節(jié),從2副本到10副本不等,用戶可針對不同業(yè)務(wù)為其配置不同的安全級別;副本數(shù)調(diào)解時,不會中斷任何正在運行的業(yè)務(wù)。本方案的默認副本數(shù)為3,即任意兩臺設(shè)備出現(xiàn)故障下線均可確保數(shù)據(jù)安全不丟失。
? 針對離線業(yè)務(wù),主要是S3對象存儲歸檔業(yè)務(wù),采用糾刪碼技術(shù)進行數(shù)據(jù)保護,糾刪碼技術(shù)是一種類似節(jié)點間RAID的技術(shù),其技術(shù)原理如下:
圖-3
通過編碼矩陣將數(shù)據(jù)D進行編碼,假設(shè)D1,D2,…Dn是存儲于n個節(jié)點上的數(shù)據(jù),編碼后生成n個數(shù)據(jù)和m個校驗和。任何小于等于m個數(shù)據(jù)丟失后,可通過剩余的數(shù)據(jù)乘以編碼矩陣的逆矩陣來計算獲得原始數(shù)據(jù)。因此對于有n個數(shù)據(jù)節(jié)點的存儲集群而言,原始數(shù)據(jù)僅需保存一份,并通過就刪碼的方式額外保存m個校驗碼,即可確保在損壞節(jié)點數(shù)不超過m個節(jié)點的前提下,確保數(shù)據(jù)的安全性。而整體的存儲空間容量就是m+n個節(jié)點。如果是副本機制要達到同樣的安全級別,節(jié)點數(shù)需要達到m*n個,因此針對大容量,冷數(shù)據(jù)存儲,糾刪碼是一個非常有效的節(jié)約成本的存儲方案。本案中將采用N+2的糾刪碼方案,確保任意損壞兩臺物理節(jié)點,數(shù)據(jù)依然可確保安全。
高可用性規(guī)劃:
作為分布式存儲集群來說,需要處理各種異常情況來確保存儲的持續(xù)可用。本方案中針對以下幾類異常情況,分別給出高可用方案。
? 網(wǎng)絡(luò)故障:分布式存儲集群的各個節(jié)點通過網(wǎng)絡(luò)設(shè)備互相連接,在一個較大規(guī)模的分布式存儲網(wǎng)絡(luò)中,交換機往往會變成一個單點故障點。本方案采用網(wǎng)絡(luò)冗余策略,確保任意一臺交換機掉電或者宕機時,存儲集群依舊可以對外提供服務(wù)。部署拓撲圖如下:
圖-4
? 存儲節(jié)點故障:
存儲節(jié)點故障可分為存儲節(jié)點OS故障和存儲節(jié)點數(shù)據(jù)故障。
? 針對存儲節(jié)點OS故障而數(shù)據(jù)并未損壞的場景,客戶僅需重新安裝存儲存儲節(jié)點的OS,通過導入配置并執(zhí)行恢復腳本,即可將節(jié)點重新加入到集群中,不會引發(fā)大量的數(shù)據(jù)遷移動作。
? 針對存儲節(jié)點數(shù)據(jù)故障,集群會自動偵測到故障點,對于多副本的存儲池,系統(tǒng)會自動進行自我修復,將故障節(jié)點中的數(shù)據(jù)自動復制到健康節(jié)點中,確保數(shù)據(jù)最終的副本數(shù)和預先配置的副本數(shù)一致,其過程如下圖所示:
圖-5
左圖中是集群自動偵測到某個節(jié)點數(shù)據(jù)出現(xiàn)故障,右圖中顯示該節(jié)點上的數(shù)據(jù)被自動重新分布到別的健康的節(jié)點中。
? 存儲網(wǎng)關(guān)故障:
基于系統(tǒng)架構(gòu),每個節(jié)點上都可以開啟存儲網(wǎng)關(guān)功能。每個存儲網(wǎng)關(guān)都可以訪問底層所有的存儲數(shù)據(jù),存儲網(wǎng)關(guān)之間也形成了一個集群。雖然應用服務(wù)器或客戶端在某一時刻是通過某個存儲網(wǎng)關(guān)來訪問存儲資源,但即使是該存儲網(wǎng)關(guān)出現(xiàn)問題時,存儲網(wǎng)關(guān)集群通過IP漂移技術(shù),依舊可以由其他的存儲網(wǎng)關(guān)接管故障存儲網(wǎng)關(guān)的業(yè)務(wù),而作為應用服務(wù)器和客戶端,無需修改和重新配置就可無縫遷移到健康的存儲網(wǎng)關(guān)上繼續(xù)訪問存儲集群。
圖-6
存儲資源池容量規(guī)劃:
根據(jù)需求可知,DB、NFS以及CIFS應用需求比較固定,而S3歸檔業(yè)務(wù)的空間容量會有所不同。因此針對S3歸檔業(yè)務(wù)的容量,分別規(guī)劃出集群節(jié)點數(shù)和各存儲資源池容量如下:
? 5PB歸檔容量場景
節(jié)點編號 存儲資源池類型 磁盤數(shù)量 RAID規(guī)格 副本規(guī)格 實際可用容量
1 - 6 DB存儲池 SSD + 6*900GB SAS RAID10 3副本 5.4TB
7 - 12 NFS存儲池 SSD + 6*6TB SATA RAID10 3副本 36TB
1 - 12 CIFS存儲池 SSD + 7*6TB SATA RAID5 3副本 72TB
13 - 20 CIFS存儲池 2 * (SSD + 7*6TB SATA) RAID5*2 3副本 144TB
1 - 20 S3歸檔存儲池 3 * 18*6TB RAID5*3 N+2糾刪碼 5508TB
合計:DB: 5.4TB
NFS:36TB
CIFS:288TB
S3歸檔:5508 TB
總結(jié)點數(shù):20
? 10PB歸檔容量場景
節(jié)點編號 存儲資源池類型 磁盤數(shù)量 RAID規(guī)格 副本規(guī)格 實際可用容量
1 - 5 DB存儲池 SSD + 8*900GB SAS RAID10 3副本 6TB
6 - 11 NFS存儲池 SSD + 9*3TB SATA RAID5 3副本 48TB
12 - 32 CIFS存儲池 SSD + 9*6TB SATA RAID5 3副本 336TB
1 - 32 S3歸檔存儲池 4 * 15*6TB RAID5*4 糾刪碼 10080TB
總節(jié)點數(shù):32
? 15PB歸檔容量場景
節(jié)點編號 存儲資源池類型 磁盤數(shù)量 RAID規(guī)格 副本規(guī)格 實際可用容量
1 - 7 DB存儲池 SSD + 7*600GB SAS RAID5 3副本 8.4TB
8 - 17 NFS存儲池 SSD + 7*2TB SATA RAID5 3副本 36TB
18 - 47 CIFS存儲池 SSD + 7*4TB SATA RAID5 3副本 225TB
1 - 47 S3歸檔存儲池 5 * 13*6TB RAID5*5 糾刪碼 16200TB
總節(jié)點數(shù):47