非結(jié)構(gòu)化數(shù)據(jù)正以前所未有的速度增長(zhǎng)。IDC的預(yù)測(cè)表明，到2025年，全球?qū)⒂?0％的數(shù)據(jù)是非結(jié)構(gòu)化的。文件協(xié)議是存取非結(jié)構(gòu)化數(shù)據(jù)最普遍的使用方式，根據(jù)IDC統(tǒng)計(jì)，2019年度，中國(guó)的軟件定義存儲(chǔ)市場(chǎng)約60%是文件存儲(chǔ)。
盡管非結(jié)構(gòu)化數(shù)據(jù)并不是什么新鮮事，但I(xiàn)T團(tuán)隊(duì)承受著巨大壓力，他們希望以簡(jiǎn)單和易于使用的方式快速、一致地存儲(chǔ)和管理非結(jié)構(gòu)化數(shù)據(jù)，但傳統(tǒng)文件系統(tǒng)有很多的限制：
1、元數(shù)據(jù)和數(shù)據(jù)使用本地存儲(chǔ)，無(wú)法橫向擴(kuò)展，不具備節(jié)點(diǎn)級(jí)高可用；
2、受限于元數(shù)據(jù)的存儲(chǔ)空間和性能，實(shí)際可保存的文件數(shù)有限，一般小于1億，存儲(chǔ)空間為T(mén)B級(jí)別；
3、非統(tǒng)一命名空間，多個(gè)掛載目錄之間無(wú)法互通，使用復(fù)雜；
4、文件存儲(chǔ)網(wǎng)關(guān)不可擴(kuò)展，無(wú)法提升帶寬，造成訪問(wèn)瓶頸；
5、不支持大數(shù)據(jù)和容器等新業(yè)務(wù)。
01分布式文件架構(gòu)，如何和硬件與時(shí)俱進(jìn)？
數(shù)字化轉(zhuǎn)型下的軟件定義存儲(chǔ)架構(gòu)，可以很好的滿足用戶各種需求，如在標(biāo)準(zhǔn)服務(wù)器上的敏捷部署，可靈活擴(kuò)展，性能和容量隨服務(wù)器節(jié)點(diǎn)數(shù)增長(zhǎng)而線性增長(zhǎng)，硬件升級(jí)與更換無(wú)需跨存儲(chǔ)系統(tǒng)遷移數(shù)據(jù)，硬件升級(jí)換代紅利即時(shí)享用，業(yè)務(wù)層無(wú)感知、無(wú)影響等。
但是軟件定義，也需要充分利用最新的硬件技術(shù)，與時(shí)俱進(jìn)。
分布式文件存儲(chǔ)，最復(fù)雜的就是元數(shù)據(jù)的保存和處理。根據(jù)統(tǒng)計(jì)，大部分的AI/ML分析應(yīng)用，90%的I/O都是請(qǐng)求元數(shù)據(jù)操作。
上一代的分布式文件系統(tǒng)，由于當(dāng)時(shí)的硬件限制，為了解決元數(shù)據(jù)的容量瓶頸，部分產(chǎn)品（如CephFS）將元數(shù)據(jù)保存在后端的RADOS集群里，I/O路徑長(zhǎng)，并且由于復(fù)雜的同步和互鎖機(jī)制，性能損耗較高，性價(jià)比并不理想；
部分產(chǎn)品（如HDFS）采用內(nèi)存來(lái)保存所有的元數(shù)據(jù)，雖然元數(shù)據(jù)性能較好，但由于內(nèi)存的容量有限，系統(tǒng)支持的文件數(shù)比較少，擴(kuò)展能力有限。
有沒(méi)有一種架構(gòu)，能夠以較低的成本，極簡(jiǎn)的架構(gòu)，滿足現(xiàn)代文件系統(tǒng)元數(shù)據(jù)處理的性能和容量要求？
現(xiàn)在，大容量高速SSD的普及，使得魚(yú)和熊掌兼得變成現(xiàn)實(shí)。NVMe協(xié)議的出現(xiàn)，大大降低接口協(xié)議的開(kāi)銷(xiāo)，SCM（存儲(chǔ)級(jí)內(nèi)存）的出現(xiàn)，大大提升介質(zhì)的性能，加上顆粒成本的下降，使得5TB以上的大容量NVMe SSD較為普遍。
這些SSD新技術(shù)的發(fā)展，加上CPU的核數(shù)越來(lái)越多，使得全閃存元數(shù)據(jù)節(jié)點(diǎn)完全可以應(yīng)對(duì)大規(guī)模文件系統(tǒng)的需求，比如，只需要5TB的NVMe SSD的元數(shù)據(jù)空間，就可以輕松保存和處理百億規(guī)模文件。
02XGFS重新定義下一代分布式文件系統(tǒng)
XGFS（XSKY Global File System）是XSKY提供的新一代分布式文件存儲(chǔ)系統(tǒng)，具有單一全局的命名空間。
XGFS基于靈活的SDS架構(gòu)，支持NFS、SMB、FTP、POSIX、HDFS、Kubernetes CSI（容器存儲(chǔ)接口）等豐富的協(xié)議，不僅可以用于企業(yè)的文件共享，備份歸檔通用場(chǎng)景，也可以應(yīng)用于視頻監(jiān)控、媒資管理、高性能計(jì)算等高性能、大帶寬、大容量的場(chǎng)景, 還支持最新的大數(shù)據(jù)和容器場(chǎng)景。
XGFS企業(yè)級(jí)分布式存儲(chǔ)系統(tǒng)架構(gòu)圖
XGFS創(chuàng)新利用最新的多核CPU、大容量和高性能NVMe SSD，只需要3個(gè)全閃存元數(shù)據(jù)高可用節(jié)點(diǎn)（可以共用數(shù)據(jù)節(jié)點(diǎn)），就可以高效保存和處理100億數(shù)量文件規(guī)模的數(shù)據(jù)，同時(shí)提供每秒上百萬(wàn)元數(shù)據(jù)讀寫(xiě)請(qǐng)求處理能力，具有極高的性價(jià)比。
而XGFS的數(shù)據(jù)節(jié)點(diǎn)，則充分利用XSKY久經(jīng)市場(chǎng)考驗(yàn)的可靠自主分布式存儲(chǔ)集群，成熟穩(wěn)定，可以輕松擴(kuò)展到上千個(gè)節(jié)點(diǎn)。
XGFS企業(yè)級(jí)分布式存儲(chǔ)系統(tǒng)用戶界面
XGFS元數(shù)據(jù)服務(wù)的架構(gòu)具有如下優(yōu)勢(shì)：
基于最新一代NVMe/SCM存儲(chǔ)介質(zhì)設(shè)計(jì)，充分發(fā)揮出新興介質(zhì)近百萬(wàn)級(jí)IOPS和數(shù)GB帶寬的性能優(yōu)勢(shì)，輕松滿足對(duì)于文件系統(tǒng)的高頻率元數(shù)據(jù)訪問(wèn)需求；
利用高性能LSM存儲(chǔ)引擎，結(jié)合XSKY獨(dú)有專(zhuān)利技術(shù)的鍵值設(shè)計(jì)，構(gòu)建出完全自主的元數(shù)據(jù)服務(wù)；既兼容POSIX文件語(yǔ)義和S3對(duì)象語(yǔ)義，又支持用戶/用戶組、權(quán)限/ACL、擴(kuò)展屬性等；
元數(shù)據(jù)在本節(jié)點(diǎn)的日志保護(hù)和節(jié)點(diǎn)間的強(qiáng)一致性復(fù)制，使得元數(shù)據(jù)集群輕松應(yīng)對(duì)慢盤(pán)、網(wǎng)絡(luò)異常、節(jié)點(diǎn)重啟/掉電等故障場(chǎng)景，提供RPO=0的元數(shù)據(jù)通路；
使用XSKY自研的高速網(wǎng)絡(luò)傳輸模塊，原生為RoCE/RDMA高性能網(wǎng)絡(luò)量身打造，大大降低節(jié)點(diǎn)間元數(shù)據(jù)復(fù)制包的傳輸時(shí)延，使得整個(gè)元數(shù)據(jù)集群擁有更高的IOPS性能。
XGFS分布式文件存儲(chǔ)系統(tǒng)由元數(shù)據(jù)服務(wù)集群和混合盤(pán)數(shù)據(jù)服務(wù)共同組成，使得該產(chǎn)品繼承了XSKY多年在分布式混合盤(pán)上的深厚積累以及大規(guī)模存儲(chǔ)運(yùn)維能力：
多級(jí)緩存技術(shù)、支持副本與EC糾刪碼、支持延展集群雙活、硬盤(pán)和網(wǎng)絡(luò)亞健康處理等，成熟穩(wěn)定，特性豐富且運(yùn)維簡(jiǎn)單。
03產(chǎn)品特點(diǎn)
1、全局命名空間
單一命名空間：提供統(tǒng)一持續(xù)高性能的文件單一全局命名空間，使用簡(jiǎn)單；
豐富的協(xié)議支持：支持NFS, SMB, POSIX, FTP, HDFS，Kubernetes CSI等協(xié)議， 簡(jiǎn)化業(yè)務(wù)IT架構(gòu)的同時(shí)解除對(duì)業(yè)務(wù)的鎖定；
新興業(yè)務(wù)場(chǎng)景支持：支持HPC、大數(shù)據(jù)和容器等新興負(fù)載。
2、靈活擴(kuò)展
軟件定義，可自定義節(jié)點(diǎn)屬性，并支持各種品牌的通用x86服務(wù)器和國(guó)產(chǎn)服務(wù)器；
靈活部署，可從3個(gè)節(jié)點(diǎn)擴(kuò)展到4096個(gè)節(jié)點(diǎn)，滿足不同業(yè)務(wù)需求；
按需擴(kuò)展，性能和容量隨節(jié)點(diǎn)數(shù)增加而增長(zhǎng)，滿足不斷增長(zhǎng)的業(yè)務(wù)對(duì)性能和容量的需求。
3、豐富的企業(yè)級(jí)功能
數(shù)據(jù)冗余：支持多副本和EC不同冗余策略，提供基于服務(wù)器、機(jī)架、數(shù)據(jù)中心的三個(gè)級(jí)別故障域管理。支持快照保護(hù)；
支持文件網(wǎng)關(guān)負(fù)載均衡和HA保護(hù)，支持AD域、LDAP域?qū)樱镜卣J(rèn)證等多種認(rèn)證方式。支持配額管理；
通過(guò)內(nèi)嵌X3DS可以實(shí)現(xiàn)文件和對(duì)象間的復(fù)制、遷移、備份、歸檔等豐富的數(shù)據(jù)管理功能，并且支持阿里云和百度云等公有云平臺(tái)。
04典型應(yīng)用場(chǎng)景
XGFS可以作為企業(yè)級(jí)分布式文件系統(tǒng)，支持豐富的大容量非結(jié)構(gòu)化數(shù)據(jù)保存和分析場(chǎng)景：
1、文件共享、企業(yè)辦公存儲(chǔ)
單一全局命名空間，使用簡(jiǎn)單。支持文件共享、網(wǎng)盤(pán)、FTP等辦公場(chǎng)景。
2、視頻監(jiān)控、流媒體、CDN存儲(chǔ)
橫向擴(kuò)展，滾動(dòng)升級(jí)，數(shù)據(jù)永久保存。
3、大數(shù)據(jù)、HPC后端存儲(chǔ)
兼容HDFS, 高效文件元數(shù)據(jù)處理機(jī)制，靈活應(yīng)對(duì)AI/ML數(shù)據(jù)分析要求。
4、容器共享存儲(chǔ)
支持Kubernetes CSI接口，支持多個(gè)PODs共享數(shù)據(jù)。
5、集中災(zāi)備資源池
利用X3DS（XSKY立體數(shù)據(jù)管理系統(tǒng)）和ODPF（開(kāi)放數(shù)據(jù)保護(hù)框架），可以作為大容量的共享災(zāi)備資源池。
6、企業(yè)數(shù)據(jù)湖底座
支持Hadoop存算分離部署，接口協(xié)議豐富，可以擴(kuò)展到上千節(jié)點(diǎn)。
XSKY XGFS充分利用SDS優(yōu)勢(shì)，適配最新的NVMe SSD新技術(shù)，支持最新的HDFS和Kubernetes CSI協(xié)議，性價(jià)比高，無(wú)需在性能和容量之間做出妥協(xié)，是企業(yè)的數(shù)據(jù)湖建設(shè)的理想底座。