XSKY星辰天合發(fā)布全新下一代分布式文件系統(tǒng)XGFS

2020-08-12 15:56:16來(lái)源:威易網(wǎng)作者:

非結(jié)構(gòu)化數(shù)據(jù)正以前所未有的速度增長(zhǎng)。IDC的預(yù)測(cè)表明,到2025年,全球?qū)⒂?0%的數(shù)據(jù)是非結(jié)構(gòu)化的。文件協(xié)議是存取非結(jié)構(gòu)化數(shù)據(jù)最普遍的使用方式...

非結(jié)構(gòu)化數(shù)據(jù)正以前所未有的速度增長(zhǎng)。IDC的預(yù)測(cè)表明,到2025年,全球?qū)⒂?0%的數(shù)據(jù)是非結(jié)構(gòu)化的。文件協(xié)議是存取非結(jié)構(gòu)化數(shù)據(jù)最普遍的使用方式,根據(jù)IDC統(tǒng)計(jì),2019年度,中國(guó)的軟件定義存儲(chǔ)市場(chǎng)約60%是文件存儲(chǔ)。

\

盡管非結(jié)構(gòu)化數(shù)據(jù)并不是什么新鮮事,但I(xiàn)T團(tuán)隊(duì)承受著巨大壓力,他們希望以簡(jiǎn)單和易于使用的方式快速、一致地存儲(chǔ)和管理非結(jié)構(gòu)化數(shù)據(jù),但傳統(tǒng)文件系統(tǒng)有很多的限制:

1、元數(shù)據(jù)和數(shù)據(jù)使用本地存儲(chǔ),無(wú)法橫向擴(kuò)展,不具備節(jié)點(diǎn)級(jí)高可用;

2、受限于元數(shù)據(jù)的存儲(chǔ)空間和性能,實(shí)際可保存的文件數(shù)有限,一般小于1億,存儲(chǔ)空間為T(mén)B級(jí)別;

3、非統(tǒng)一命名空間,多個(gè)掛載目錄之間無(wú)法互通,使用復(fù)雜;

4、文件存儲(chǔ)網(wǎng)關(guān)不可擴(kuò)展,無(wú)法提升帶寬,造成訪問(wèn)瓶頸;

5、不支持大數(shù)據(jù)和容器等新業(yè)務(wù)。

01分布式文件架構(gòu),如何和硬件與時(shí)俱進(jìn)?

數(shù)字化轉(zhuǎn)型下的軟件定義存儲(chǔ)架構(gòu),可以很好的滿足用戶各種需求,如在標(biāo)準(zhǔn)服務(wù)器上的敏捷部署,可靈活擴(kuò)展,性能和容量隨服務(wù)器節(jié)點(diǎn)數(shù)增長(zhǎng)而線性增長(zhǎng),硬件升級(jí)與更換無(wú)需跨存儲(chǔ)系統(tǒng)遷移數(shù)據(jù),硬件升級(jí)換代紅利即時(shí)享用,業(yè)務(wù)層無(wú)感知、無(wú)影響等。

\

但是軟件定義,也需要充分利用最新的硬件技術(shù),與時(shí)俱進(jìn)。

分布式文件存儲(chǔ),最復(fù)雜的就是元數(shù)據(jù)的保存和處理。根據(jù)統(tǒng)計(jì),大部分的AI/ML分析應(yīng)用,90%的I/O都是請(qǐng)求元數(shù)據(jù)操作。

上一代的分布式文件系統(tǒng),由于當(dāng)時(shí)的硬件限制,為了解決元數(shù)據(jù)的容量瓶頸,部分產(chǎn)品(如CephFS)將元數(shù)據(jù)保存在后端的RADOS集群里,I/O路徑長(zhǎng),并且由于復(fù)雜的同步和互鎖機(jī)制,性能損耗較高,性價(jià)比并不理想;

部分產(chǎn)品(如HDFS)采用內(nèi)存來(lái)保存所有的元數(shù)據(jù),雖然元數(shù)據(jù)性能較好,但由于內(nèi)存的容量有限,系統(tǒng)支持的文件數(shù)比較少,擴(kuò)展能力有限。

有沒(méi)有一種架構(gòu),能夠以較低的成本,極簡(jiǎn)的架構(gòu),滿足現(xiàn)代文件系統(tǒng)元數(shù)據(jù)處理的性能和容量要求?

現(xiàn)在,大容量高速SSD的普及,使得魚(yú)和熊掌兼得變成現(xiàn)實(shí)。NVMe協(xié)議的出現(xiàn),大大降低接口協(xié)議的開(kāi)銷(xiāo),SCM(存儲(chǔ)級(jí)內(nèi)存)的出現(xiàn),大大提升介質(zhì)的性能,加上顆粒成本的下降,使得5TB以上的大容量NVMe SSD較為普遍。

\

這些SSD新技術(shù)的發(fā)展,加上CPU的核數(shù)越來(lái)越多,使得全閃存元數(shù)據(jù)節(jié)點(diǎn)完全可以應(yīng)對(duì)大規(guī)模文件系統(tǒng)的需求,比如,只需要5TB的NVMe SSD的元數(shù)據(jù)空間,就可以輕松保存和處理百億規(guī)模文件。

02XGFS重新定義下一代分布式文件系統(tǒng)

XGFS(XSKY Global File System)是XSKY提供的新一代分布式文件存儲(chǔ)系統(tǒng),具有單一全局的命名空間。

XGFS基于靈活的SDS架構(gòu),支持NFS、SMB、FTP、POSIX、HDFS、Kubernetes CSI(容器存儲(chǔ)接口)等豐富的協(xié)議,不僅可以用于企業(yè)的文件共享,備份歸檔通用場(chǎng)景,也可以應(yīng)用于視頻監(jiān)控、媒資管理、高性能計(jì)算等高性能、大帶寬、大容量的場(chǎng)景, 還支持最新的大數(shù)據(jù)和容器場(chǎng)景。

\

XGFS企業(yè)級(jí)分布式存儲(chǔ)系統(tǒng)架構(gòu)圖

XGFS創(chuàng)新利用最新的多核CPU、大容量和高性能NVMe SSD,只需要3個(gè)全閃存元數(shù)據(jù)高可用節(jié)點(diǎn)(可以共用數(shù)據(jù)節(jié)點(diǎn)),就可以高效保存和處理100億數(shù)量文件規(guī)模的數(shù)據(jù),同時(shí)提供每秒上百萬(wàn)元數(shù)據(jù)讀寫(xiě)請(qǐng)求處理能力,具有極高的性價(jià)比。

而XGFS的數(shù)據(jù)節(jié)點(diǎn),則充分利用XSKY久經(jīng)市場(chǎng)考驗(yàn)的可靠自主分布式存儲(chǔ)集群,成熟穩(wěn)定,可以輕松擴(kuò)展到上千個(gè)節(jié)點(diǎn)。

\

XGFS企業(yè)級(jí)分布式存儲(chǔ)系統(tǒng)用戶界面

XGFS元數(shù)據(jù)服務(wù)的架構(gòu)具有如下優(yōu)勢(shì):

基于最新一代NVMe/SCM存儲(chǔ)介質(zhì)設(shè)計(jì),充分發(fā)揮出新興介質(zhì)近百萬(wàn)級(jí)IOPS和數(shù)GB帶寬的性能優(yōu)勢(shì),輕松滿足對(duì)于文件系統(tǒng)的高頻率元數(shù)據(jù)訪問(wèn)需求;

利用高性能LSM存儲(chǔ)引擎,結(jié)合XSKY獨(dú)有專(zhuān)利技術(shù)的鍵值設(shè)計(jì),構(gòu)建出完全自主的元數(shù)據(jù)服務(wù);既兼容POSIX文件語(yǔ)義和S3對(duì)象語(yǔ)義,又支持用戶/用戶組、權(quán)限/ACL、擴(kuò)展屬性等;

元數(shù)據(jù)在本節(jié)點(diǎn)的日志保護(hù)和節(jié)點(diǎn)間的強(qiáng)一致性復(fù)制,使得元數(shù)據(jù)集群輕松應(yīng)對(duì)慢盤(pán)、網(wǎng)絡(luò)異常、節(jié)點(diǎn)重啟/掉電等故障場(chǎng)景,提供RPO=0的元數(shù)據(jù)通路;

使用XSKY自研的高速網(wǎng)絡(luò)傳輸模塊,原生為RoCE/RDMA高性能網(wǎng)絡(luò)量身打造,大大降低節(jié)點(diǎn)間元數(shù)據(jù)復(fù)制包的傳輸時(shí)延,使得整個(gè)元數(shù)據(jù)集群擁有更高的IOPS性能。

XGFS分布式文件存儲(chǔ)系統(tǒng)由元數(shù)據(jù)服務(wù)集群和混合盤(pán)數(shù)據(jù)服務(wù)共同組成,使得該產(chǎn)品繼承了XSKY多年在分布式混合盤(pán)上的深厚積累以及大規(guī)模存儲(chǔ)運(yùn)維能力:

多級(jí)緩存技術(shù)、支持副本與EC糾刪碼、支持延展集群雙活、硬盤(pán)和網(wǎng)絡(luò)亞健康處理等,成熟穩(wěn)定,特性豐富且運(yùn)維簡(jiǎn)單。

03產(chǎn)品特點(diǎn)

1、全局命名空間

單一命名空間:提供統(tǒng)一持續(xù)高性能的文件單一全局命名空間,使用簡(jiǎn)單;

豐富的協(xié)議支持:支持NFS, SMB, POSIX, FTP, HDFS,Kubernetes CSI等協(xié)議, 簡(jiǎn)化業(yè)務(wù)IT架構(gòu)的同時(shí)解除對(duì)業(yè)務(wù)的鎖定;

新興業(yè)務(wù)場(chǎng)景支持:支持HPC、大數(shù)據(jù)和容器等新興負(fù)載。


2、靈活擴(kuò)展

軟件定義,可自定義節(jié)點(diǎn)屬性,并支持各種品牌的通用x86服務(wù)器和國(guó)產(chǎn)服務(wù)器;

靈活部署,可從3個(gè)節(jié)點(diǎn)擴(kuò)展到4096個(gè)節(jié)點(diǎn),滿足不同業(yè)務(wù)需求;

按需擴(kuò)展,性能和容量隨節(jié)點(diǎn)數(shù)增加而增長(zhǎng),滿足不斷增長(zhǎng)的業(yè)務(wù)對(duì)性能和容量的需求。


3、豐富的企業(yè)級(jí)功能

數(shù)據(jù)冗余:支持多副本和EC不同冗余策略,提供基于服務(wù)器、機(jī)架、數(shù)據(jù)中心的三個(gè)級(jí)別故障域管理。支持快照保護(hù);

支持文件網(wǎng)關(guān)負(fù)載均衡和HA保護(hù),支持AD域、LDAP域?qū)樱镜卣J(rèn)證等多種認(rèn)證方式。支持配額管理;

通過(guò)內(nèi)嵌X3DS可以實(shí)現(xiàn)文件和對(duì)象間的復(fù)制、遷移、備份、歸檔等豐富的數(shù)據(jù)管理功能,并且支持阿里云和百度云等公有云平臺(tái)。

04典型應(yīng)用場(chǎng)景

XGFS可以作為企業(yè)級(jí)分布式文件系統(tǒng),支持豐富的大容量非結(jié)構(gòu)化數(shù)據(jù)保存和分析場(chǎng)景:

1、文件共享、企業(yè)辦公存儲(chǔ)

單一全局命名空間,使用簡(jiǎn)單。支持文件共享、網(wǎng)盤(pán)、FTP等辦公場(chǎng)景。

2、視頻監(jiān)控、流媒體、CDN存儲(chǔ)

橫向擴(kuò)展,滾動(dòng)升級(jí),數(shù)據(jù)永久保存。

3、大數(shù)據(jù)、HPC后端存儲(chǔ)

兼容HDFS, 高效文件元數(shù)據(jù)處理機(jī)制,靈活應(yīng)對(duì)AI/ML數(shù)據(jù)分析要求。

4、容器共享存儲(chǔ)

支持Kubernetes CSI接口,支持多個(gè)PODs共享數(shù)據(jù)。

5、集中災(zāi)備資源池

利用X3DS(XSKY立體數(shù)據(jù)管理系統(tǒng))和ODPF(開(kāi)放數(shù)據(jù)保護(hù)框架),可以作為大容量的共享災(zāi)備資源池。

6、企業(yè)數(shù)據(jù)湖底座

支持Hadoop存算分離部署,接口協(xié)議豐富,可以擴(kuò)展到上千節(jié)點(diǎn)。

XSKY XGFS充分利用SDS優(yōu)勢(shì),適配最新的NVMe SSD新技術(shù),支持最新的HDFS和Kubernetes CSI協(xié)議,性價(jià)比高,無(wú)需在性能和容量之間做出妥協(xié),是企業(yè)的數(shù)據(jù)湖建設(shè)的理想底座。

 


關(guān)鍵詞:XSKY星辰天