資訊時代,最豐富的是什么?當然是數據,海量的數據,而如何高效管理、有效利用這無窮無盡的數據,是擺在整個行業面前的難題,
據權威市調機構IDC的報告,預計到2024年,全球以HDD為代表的大數據存儲量將達1.62ZB(16.2億TB),年復合增長率30%左右,
而在快數據方面,以SSD為衡量標志,2024年將達333EB(3.33億TB),年復合增長率更是高達50%左右,
但即便如此,這些也不到實際數據生成量的1.5%,仍有海量的數據得不到有效利用,被白白浪費掉,
西部數據副總裁兼大陸區業務總經理劉鋼
為什么會出現這種情況?數據該如何有效挖掘、處理?
近日,西部數據副總裁兼大陸區業務總經理劉鋼在深圳國際大數據與存儲峰會上發表了題為“創新存儲架構,突破IPFS算力瓶頸”的演講,暢談了IPFS的亮點、痛點,以及西部數據的存儲技術、優勢,
所謂IPFS,也就是星際文件系統,這是一種對標HTTP的新型互聯網協議,從傳統的中心化存儲,變為分布式存儲,通過內容和身份尋址,支持創建完全分布式的應用程式,可以使數據傳輸更快、更安全,
IFPS弱化了中心化存儲的極端需求,尤其是大大節省了數據存儲、管理與服務提供成本,相比于目前集中化的云存儲,被普遍視為一種更有前途的存儲和傳輸協議,
事實上,分布式存儲的概念并不新鮮,也曾經出現過一些類似的技術和架構,比如早期的Storj,但是IPFS在去中心化方面,做得更進一步,
由于去中心化、區塊鏈的特性,IPFS也被很多人完全和虛擬貨幣、挖礦聯系在一起,甚至認為是個泡沫。
其實這是很大的誤解,IPFS的用處遠不止于此,而任何技術只要使用得當都能發揮其積極作用,IPFS對于存儲的不同需求,更是在倒逼推動存儲技術不斷革新,
在傳統云服務商面前,IPFS服務商對于大數據、大容量存儲的苛求更加極致,腳步也更快,
頭部云服務商部署的硬碟,容量從8TB計劃到18TB,花了足足4年時間,IPFS服務商則在2020-2021年間,只用了短短4個季度,就普及了18TB,而且預計在2022年,20TB就會快速推廣,22TB甚至是26TB也將嶄露頭角。
就西部數據而言,目前大量的業務還是在云服務方面,但是也能看到IPFS服務商的快速增長,尤其是對容量的需求在快速演進,
西部數據副總裁兼大陸區業務總經理劉鋼
劉鋼在演講中提出,在數字經濟時代,數據就是石油,就是發展的動力,而大量數據被浪費,很重要的一個原因是存儲架構、技術沒有及時地跟上,無法及時保存、管理、利用數據,因此迫切需要創新存儲架構,為更多的數據提供海量的存儲、快速的訪問。
劉鋼認為,在海量數據面前,目前的企業級存儲架構,面臨四個方面的挑戰,包括數據增長迅速、存儲性能需求倍增、TCO成本負擔增加、更綠色的能效體系標準,
直白地說,就是要大容量、快速訪問、低成本、低功耗。
當然,沒有任何一種存儲介質或者架構能夠滿足以上所有需求。事實上,無論數據還是存儲,都是分層的,或者說可分為不同的應用場景,能夠一一對應,
數據方面,可分為極熱數據、熱數據、溫數據、冷數據、極冷數據,而存儲架構也相應的分別是極熱存儲、熱存儲、溫存儲、冷存儲、極冷存儲,從高到低大致按照訪問頻率、延遲而劃分。
比如,極熱存儲對應內存,保存隨時需要低延遲讀寫的數據,而極冷存儲是少次、大塊寫入的持久保存數據,比如金融、醫療、廣電、監控等行業的長期歸檔。
對于不停層級的數據和存儲,西部數據都有著對應的技術、產品,有針對性地滿足應用需求。
比如極冷存儲,SMR疊瓦式機械硬碟就是最佳方案之一。雖然它在頻繁寫入方面存在一些天然缺陷,但是極冷數據恰恰不需要頻繁寫入,SMR又具備高存儲密度(單碟已達2.2TB)、低成本、低功耗的優勢。
包括Dropbox在內的許多客戶都已經批量部署SMR硬碟,用的就是西部數據Ultrastar DC HC650,容量達20TB,九碟封裝,而且在近期無需太大變革就能做到30TB。
冷存儲可以選擇CMR傳統磁記錄硬碟,以及ePMR能量輔助磁記錄等新技術產品,這方面的典型代表就是西部數據Ultrastar DC HC550 HDD,容量可高達18TB,應用了TSA三級磁臂、能量輔助磁記錄(EAMR)技術以提高性能,
溫存儲自然首選主流SSD,比如西部數據Ultrastar DC SN640,非常適合讀寫均衡的混合型負載,
而熱存儲當然對應著高性能SSD,比如西部數據Ultrastar DC SN840,適用于密集型工作負載,
在這樣的分層存儲創新架構之下,西部數據的企業級硬碟產品線,可以同時滿足從熱存儲到極冷存儲的不同場景需求,從不同角度,針對性地分別解決大容量、快速訪問、低成本、低功耗各方面的挑戰。
值得注意的是,西部數據提出的存儲架構,同時包含了HDD、SSD,各有自己的定位,這就涉及到了SSD、HDD演進關系的問題,
劉鋼表示,2014年之前,大家普遍認為SSD會逐步淘汰HDD,但是隨著云服務商云存儲的大規模部署和擴張,大容量硬碟的需求在迅猛增加,而綜合考慮容量、成本等各方面因素,企業級HDD依然是大數據存儲的主力,
同時由于存儲技術的天然屬性,HDD更有利于持久保存數據,尤其是變動較少甚至訪問較少的冷數據、極冷數據,SSD則容易出現斷電幾個月后數據丟失的問題,同時對斷電等意外也更敏感,備災方面更為棘手,
至于HDD機械存儲的未來技術路線,西部數據有多個方向在并行推進,CMR、SMR、ePMR、MAMR等等,有多種選擇也是一種好事兒,西部數據也對機械存儲密度、容量的增長充滿信心,
另外,劉鋼還透露,PCIe 4.0存儲方面,去年已經發布了消費級的WD_BLACK SN850,服務器方面也在做規劃和準備,平臺大規模部署后就會跟進,因為目前很多產品還在過渡階段。
特別是在NAND閃存方面,曾經作為機械存儲巨頭的西部數據,也早就實現了華麗轉型,并握有三大突出優勢,
一是產能,
西部數據如今已是領導的NAND閃存廠商,聯合鎧俠(原東芝存儲)目前擁有全球最大的NAND閃存產能,容量供應占據足足三分之一,同時也承諾堅持固定的技術投資。
西部數據旗下的晟碟半導體(上海)有限公司,其上海工廠三期廠房擴建項目也已在去年開工,同時西部數據還在上海建立了實驗室,都是為了擴充西部數據的制造設施、技術研發,以支持潛在的產能擴張。
二是技術優勢,
西部數據和鎧俠已經持續投資合作長達20年,已經將3D閃存技術推進到第六代BiCS 6,堆疊層數高達162層。
這雖然不是業界最多的,但也從另一個側面顯示,西部數據其實不需要堆疊過多層數,通過將芯片面積減少多達40%,加之側面單元密度大大提升,在單位面積內提供了更大的存儲密度和容量,這反而有利于降低技術難度、成本,也有利于保證產能,
同時,存儲密度的提升,不僅取決于堆疊層數,也要看存儲類型,西部數據正計劃后續在企業級中投入密度更高的QLC。
另外,西部數據第六代閃存架構還應用了陣列下電路技術的CMOS,以及四平面運行技術,相比前代性能提升2倍以上,讀取延時降低10%,輸入輸出性能提升66%,
三是縱向集成優勢,
一塊完整的SSD,包含閃存、主控、固件三大部分,只有三位一體才能發揮最佳性能和穩定性,而西部數據在這方面就體現了自己的縱向集成優勢,技術領先的NAND閃存、先進的主控、高性能的自主固件,都在掌握之中,
西部數據還介紹了一個經典案例:某大型電商客戶的要求是SSD性能一致性波動范圍不超過10%,Ultrastar SN640 NVMe SSD則展現了高平穩的I/O一致性,實測波動率僅為0.11%,
換言之,在生命周期的任何時候,在不同負載下,它都有幾乎完全相同的表現,
正是有了層級分明的創新存儲架構、層次完善的豐富存儲產品,西部數據在IPFS快速興起的當下,已經贏得了眾多客戶的青睞。
比如與星辰天合、浪潮攜手的解決方案部署了Ultrastar DC HC550 18TB HDD,與杉巖數據合作的海量對象存儲系統應用了Ultrastar DC SN840/SN640 NVMe SSD以及大容量硬碟Ultrastar DC HC550 18TB HDD,與長城超云打造的異構產品組合集群采納了Ultrastar DC HC550 18TB HDD 和Ultrastar DC SN640 7.68TB NVMe SSD,與靈動聯手的存儲方案配備了Ultrastar DC HC550 18TBHDD和Ultrastar DC SN640 NVMe SSD。
結語:
可以說,無論現在還是未來,數據都是資訊技術時代最核心的財富,也是各行各業創新的原力,而面對爆炸一般增長的數據量和管理需求,尤其是隨著IPFS的強勢崛起,存儲技術如何跟上時代,最大限度釋放數據時代的價值和紅利,不至于成為瓶頸,也是擺在存儲行業、企業面前的一道難題,
峰會現場西部數據展臺
憑借全系列存儲架構和解決方案,西部數據應可以為客戶提供豐富的高性能、大容量、低成本、低延時、低成本、高可靠、高可擴展、高可維護的產品,幫助客戶優化存儲架構,強化性能并降低成本,賦能IPFS基礎建設,賦能企業數字化轉型,緊跟時代浪潮。
西部數據Ultrastar DC SN840 NVMe SSD和西部數據Ultrastar DC HC550 18TB HDD