我們正處于數(shù)據(jù)爆炸的時(shí)代,根據(jù)IDC的報(bào)告,到2025年全球數(shù)據(jù)總量將達(dá)到163ZB,其中企業(yè)占比將達(dá)到60%。伴隨著數(shù)據(jù)總量的爆炸,大數(shù)據(jù)、AI等數(shù)據(jù)挖掘以及分析技術(shù)的迅猛發(fā)展使數(shù)據(jù)顯現(xiàn)出了越來越大的價(jià)值。
不僅如此,隨著海量數(shù)據(jù)的產(chǎn)生,被存儲的數(shù)據(jù)比例也越來越高,甚至有大量原先很少被訪問的數(shù)據(jù)也被挖掘出了新的價(jià)值,使得它們能為用戶或者企業(yè)創(chuàng)造更多利益和價(jià)值。當(dāng)然,這種巨大的變化對數(shù)據(jù)存儲系統(tǒng)的容量以及訪問性能都提出了新的挑戰(zhàn),數(shù)據(jù)存儲亟需找到一種新的方式來承載這些“意外”的價(jià)值點(diǎn)。
伴隨著軟件定義、云化等IT基礎(chǔ)設(shè)施的深刻變革,分布式存儲系統(tǒng)應(yīng)運(yùn)而生。但即便如此,存儲性能、效率等方面依然存在不足,為滿足各行業(yè)不同應(yīng)用場景對于存儲性能和效率的高要求,存儲方案仍需不斷變化和革新。
溯源,分布式存儲的發(fā)展歷程
存儲系統(tǒng)本質(zhì)上是一種特殊的計(jì)算機(jī)系統(tǒng),因此存儲系統(tǒng)的發(fā)展要基于IT基礎(chǔ)技術(shù),特別是存儲介質(zhì)和網(wǎng)絡(luò)技術(shù)的發(fā)展。
20世紀(jì)80年代RAID技術(shù)誕生,隨著企業(yè)信息化應(yīng)用的發(fā)展,外置存儲成為大規(guī)模數(shù)據(jù)存儲的主要形態(tài)。然而受制于介質(zhì)密度和網(wǎng)絡(luò)性能,在其后二十多年間,外置存儲的主流形態(tài)是軟硬一體的專用設(shè)備(集中盤陣),而無法使用通用服務(wù)器(COTS)硬件。
2010年前后,隨著網(wǎng)絡(luò)和存儲介質(zhì)基礎(chǔ)技術(shù)的不斷進(jìn)步,基于通用服務(wù)器來構(gòu)建分布式存儲系統(tǒng)逐步開始變成現(xiàn)實(shí)。與集中盤陣系統(tǒng)相比,分布式存儲系統(tǒng)不再依賴專用硬件,而是使用通用服務(wù)器作為存儲節(jié)點(diǎn),以較低成本實(shí)現(xiàn)了大容量存儲,配置也更為靈活;在擴(kuò)展性方面,分布式存儲可利用高速網(wǎng)絡(luò)搭建存儲集群,性能和容量水平擴(kuò)展不再受控制器性能的制約;同時(shí),分布式集群多節(jié)點(diǎn)數(shù)據(jù)分布提高了系統(tǒng)整體可用性和數(shù)據(jù)可靠性。基于其低成本、大容量、高靈活性等特質(zhì),人們開始愈發(fā)青睞分布式存儲的解決方案,因此它也在視頻存儲、云計(jì)算等領(lǐng)域得到了廣泛應(yīng)用。
困境,主流分布式存儲面臨的問題
雖然分布式存儲相比盤陣系統(tǒng)有諸多優(yōu)勢,但當(dāng)前主流分布式存儲架構(gòu)存在的一些短板,使得分布式存儲產(chǎn)品在性能、空間利用率等方面存在不足,從而影響了分布式存儲系統(tǒng)的市場競爭力和接受程度。
主流分布式存儲系統(tǒng)基于本地文件管理系統(tǒng),IO路徑過長,從而造成了IO時(shí)延較大、處理開銷過高等問題,尤其在全閃配置下無法有效發(fā)揮全閃配置的優(yōu)勢。這使得分布式存儲系統(tǒng)在極低時(shí)延、極高性能的關(guān)鍵業(yè)務(wù)場景下缺乏競爭力。
同時(shí)主流分布式存儲系統(tǒng)還存在軟件棧過深,難以適應(yīng)如RSD、分離架構(gòu)等硬件的弱點(diǎn),使得分布式存儲還無法完全替代盤陣系統(tǒng)。
此外,為了減少元數(shù)據(jù)量,提升分布式存儲系統(tǒng)的集群規(guī)模,主流分布式存儲系統(tǒng)往往選擇DHT機(jī)制來控制數(shù)據(jù)分布。而不同類型的數(shù)據(jù),以及處于生命周期不同階段的數(shù)據(jù),對性能和存儲成本要求不同,因此在實(shí)際應(yīng)用中,數(shù)據(jù)存儲的持續(xù)高性價(jià)比要求數(shù)據(jù)可以靈活流動。DHT機(jī)制下數(shù)據(jù)分布較為僵化,無法靈活控制數(shù)據(jù)分布,數(shù)據(jù)難以流動,從而導(dǎo)致存儲空間和性能瓶頸,以及存儲成本的上升。
中興通訊基于全新架構(gòu)的新一代分布式存儲系統(tǒng)很好的解決了上述架構(gòu)問題,向市場交出了令人滿意的答卷。
突破,中興通訊新一代分布式存儲
“在存儲產(chǎn)品上,我們是國內(nèi)真正具有研發(fā)能力的幾個(gè)廠家之一,我們始終堅(jiān)持自主創(chuàng)新,聚焦用戶需求,通過持續(xù)優(yōu)化存儲軟件和硬件之間的配合,有望成為業(yè)界分布式存儲的新一輪開拓者和領(lǐng)軍者。” 中興通訊高級副總裁張萬春在2021年政企云網(wǎng)生態(tài)峰會上表示。經(jīng)過近30年的技術(shù)沉淀和行業(yè)深耕,中興通訊擁有包含混合陣列,全閃陣列,分布式存儲等完整的自研存儲產(chǎn)品系列。中興通訊新一代分布式存儲解決方案以其領(lǐng)先的性能和效率,在電信、金融、教育、交通、礦業(yè)、智慧城市等行業(yè)得到了廣泛應(yīng)用。
面對主流分布式存儲方案的問題,中興通訊新一代分布式存儲方案在IO性能、效率、數(shù)據(jù)分布靈活性和可用性這四大方面均有突破,大大拓寬了分布式存儲系統(tǒng)的適用場景。
首先,中興通訊新一代分布式存儲方案實(shí)現(xiàn)了IO性能突破,可以滿足實(shí)時(shí)交易、視頻分析等數(shù)據(jù)量大且對時(shí)延要求極高的場景:通過塊到塊的直接映射,IO路徑無需通過本地文件系統(tǒng)或?qū)ο螅谔峁└咝阅堋⒏r(shí)延的同時(shí),降低了功耗;通過追加寫模式,中興新一代分布式存儲能夠很好地適配閃存盤,有效降低SSD磨損;通過內(nèi)置的第三代英特爾?至強(qiáng)?可擴(kuò)展處理器中的AVX-512矢量計(jì)算指令集,加速糾刪碼機(jī)制(EC)過程,實(shí)現(xiàn)了效率提升;通過采用英特爾?傲騰?內(nèi)存作為緩存,不僅提高了讀寫性能,還可以用于存儲日志文件,讓使用體驗(yàn)更加流暢;同時(shí),通過RDMA的集群網(wǎng)絡(luò)加持,達(dá)到與全閃存陣列相媲美的時(shí)延。
通過追寫模式的EC機(jī)制,中興通訊新一代分布式存儲大幅提升了EC性能,能滿足大數(shù)據(jù)分析等對于存儲效率、成本要求都比較高的應(yīng)用場景。中興通訊新一代分布式存儲系統(tǒng)追加寫模式的EC機(jī)制,在提升存儲空間利用率的同時(shí),EC性能可以與副本模式相當(dāng);同時(shí),通過快照、克隆、鏡像等豐富的軟件服務(wù),中興通訊新一代分布式存儲解決方案充分滿足了用戶對備份和容災(zāi)的需求,實(shí)現(xiàn)了數(shù)據(jù)低成本的有效管理。
通過數(shù)據(jù)靈活分布以及多種硬件的靈活適配,中興通訊新一代分布式存儲滿足了邊緣應(yīng)用場景融合部署、超融合部署等多樣的部署模式。一方面,中興通訊新一代分布式存儲支持細(xì)粒度控制每一個(gè)數(shù)據(jù)塊的位置,實(shí)現(xiàn)數(shù)據(jù)的靈活均衡和流動,提升數(shù)據(jù)的IO本地化,減少網(wǎng)絡(luò)流量。另一方面,該方案能靈活適配多種硬件結(jié)構(gòu),充分發(fā)揮不同硬件配置的優(yōu)勢,如面向分離架構(gòu)的通用硬件,突破性的實(shí)現(xiàn)IO路徑本地化;面向機(jī)架服務(wù)器等share-nothing架構(gòu)的硬件, 通過驅(qū)動層RDMA轉(zhuǎn)發(fā),簡化了軟件棧。
尤其值得關(guān)注的是中興通訊新一代分布式存儲基于中興通訊G4X系列服務(wù)器硬件提供的超融合解決方案,除了具備靈活的配置,支持全閃、混閃等不同存儲介質(zhì)和密度之外,還擁有極致性能、靈活擴(kuò)展、穩(wěn)定可靠和極簡運(yùn)維等特性,能夠從容面對更加復(fù)雜的應(yīng)用場景。
在面對更加多元的使用場景時(shí),G4X服務(wù)器內(nèi)置的第三代英特爾?至強(qiáng)?可擴(kuò)展處理器可以對AI、5G、物聯(lián)網(wǎng)等多個(gè)應(yīng)用場景的工作負(fù)載進(jìn)行優(yōu)化,這使得分布式存儲方案的使用邊界不斷被拓寬,在云端、邊端均可應(yīng)用。應(yīng)用于云端時(shí),中興通訊分布式存儲方案可以靈活構(gòu)建高性能存儲池,支持靈活擴(kuò)容,幫助云廠商實(shí)現(xiàn)靈活管理;應(yīng)用于邊端時(shí),中興通訊分布式存儲方案則能通過減少存儲處理開銷,降低整體成本和能耗,以低時(shí)延助力邊緣實(shí)時(shí)應(yīng)用。
但我們更需意識到的是,僅憑單一的產(chǎn)品性能并無法對一家企業(yè)的綜合實(shí)力進(jìn)行評估,以上優(yōu)勢如果按通用產(chǎn)品的標(biāo)準(zhǔn)來評判那便已經(jīng)足夠優(yōu)秀,但除了產(chǎn)品本身的硬實(shí)力,配套的定制化服務(wù)能力、E2E綜合方案提供能力、售后服務(wù)能力、開放合作能力等軟實(shí)力對于評判一家企業(yè)的實(shí)力同樣重要,這決定了它能否為客戶提供更加全面、靈活且精準(zhǔn)的服務(wù)。憑借30年對于ICT行業(yè)的深耕,以及完整的自研存儲產(chǎn)品系列、產(chǎn)品機(jī)制、性能上的不斷突破和更新、解決方案豐富的適用場景,目前,中興通訊存儲產(chǎn)品已廣泛應(yīng)用于全球40多個(gè)國家和地區(qū),獲得了金融、電信、互聯(lián)網(wǎng)等各行業(yè)客戶的高度認(rèn)可。
面向企業(yè)數(shù)字化轉(zhuǎn)型與大數(shù)據(jù)的洪流,中興通訊專注技術(shù),立志成為分布式存儲產(chǎn)品的國內(nèi)領(lǐng)導(dǎo)者,在產(chǎn)品研發(fā)、供應(yīng)鏈等方面全面發(fā)力,為存儲產(chǎn)品國產(chǎn)化和企業(yè)數(shù)字化轉(zhuǎn)型打造堅(jiān)實(shí)底座。