Filecoin主網上線,將整個分布式存儲板塊帶到了一個高光位置,作為Web3.0以及數字經濟時代的基礎設施,其利用數據要素的存儲市場帶來了全新的商業模式和經濟業態,但是分布式存儲只能算作是一個重要的起點,真正的價值產生在于它的下一步,
數據成為資產的前提是數量和必要性的增長
隨著5G、AI、物聯網發展推動萬物互聯時代到來,萬事萬物需要被記錄并用數據表達,數據將從單一內部小數據向多元動態大數據轉變。尤其有工業互聯網4.0及自動駕駛、智慧城市、智慧家居等新型產業終端設備的接入,數據將呈現爆炸式增長,
至于這種數據量到底有多大,據英特爾曾經預測,在今年全球數據總量將達到44ZB=44萬億GB,IDC預測中除了表達了全球數據圈的規模將由2018年的33ZB增長至2025年的175ZB,更指出文本、圖片、視訊等非結構化數據將擁有更高的增長率,在整體數據圈的占比也將持續增加。這也就意味著,需要更先進的互聯網基礎架構來對數據進行采集、存儲、和利用。
分布式存儲在敘事上的成功在于,它借助去中心化的商業模式初步實現了數據生產者和所有者掌控數據的設想,利用激勵模型調動了一個可能會非常龐大且活躍的數據存放市場。但問題在于,數據本身沒有價值,它只有經過處理、計算、分析才會產生價值,才會被賦予定價,所以我們不能只思考數據放在哪兒更安全,最終的目標應該是存起來之后怎么去用才能去挖掘分布式存儲下數據的價值。
針對數據計算的最優解一直在變化
其實,自始至終人們對算力增長的追求從未停過,尤其在互聯網出現之后,這種算力戰越演越烈,算力和處理在集中式架構和分布式架構之間交替往復。而隨著互聯網、企業 IT和智能行動電話的大規模商用,激起了以大型集中服務器群為基礎的云計算浪潮。這個過程里,包含了從早期人工化代碼編譯計算,到模塊腳本的功能微服務,再到為了應對高并發數據計算,專門化的IDC數據中心出現,以及后來為了進一步釋放資源的長期價值,將機器配置成服務,這也成為了我們現在常提到的云計算的雛形。云計算的到來帶來了意想不到的利好,你不必在電腦上安裝各種軟體,只需訪問“云”,互聯網巨頭就可以提供現成的計算能力,相伴的,云存儲服務也炙手可熱。
任何事情都有正反兩面,云計算和存儲在發展中出現了自身局限性:首先,行業呈現互聯網巨頭壟斷式發展,很難調動起一個超大規模的資源市場,這個市場包含存儲資源、算力等等,其次,中心化存儲方式,不僅存儲數據無法公開透明,還極易收到惡意攻擊,安全系數較低;再次,數據采集-云中心-數據消費的云計算范式,不可避免的遇到高延遲、網路不穩定和低寬頻問題,在數據體量和交換速度暴增的情況下,反而會造成低效的結果。
基于物聯網等技術的不斷發展、數據的不斷增加這一內外部環境背景下,行業一直在尋找最優解決方案,從集群式到分散式的路徑上拓展,像分布式計算框架等、虛擬化計算等都一定程度上解圍集中性計算的弊端,而新的需求(如物聯網和企業)以及5G時代超低時延業務的潛力正在將計算拉近最終用戶,這表示業務模式從以網路為中心轉變為以工作負載為中心,標志著算力和資源靠近客戶部署的分布式轉型將成為趨勢,由此新興的邊緣計算乘風而起,
邊緣計算能否成為分布式存儲的最佳實踐
何為邊緣計算,Gartner 將邊緣計算定義為“分布式計算拓撲的一部分,其中資訊處理位于邊緣附近,即事物和人員生成或使用該資訊的地方。”直白的說,它是更接近數據的源頭的一種計算方式。例如,帶有視覺處理功能的攝像頭、通過藍牙向行動電話發送數據的可穿戴醫療設備等都利用到了邊緣計算,
與云計算相比,邊緣計算更靠近終端,減少傳輸成本同時,分散寬頻降低時延,此外,邊緣計算比集中模式提供更多的通信路徑,這種分布可以更好地保障數據通信的彈性,最重要的是,邊緣計算平臺提供新的入口,可以使處于閑置狀態下的智能終端工作起來,實現物理資源共享。憑借諸多優良特性,邊緣計算將成為未來十年及以后服務器和存儲市場的主要增長引擎之一,
那么邊緣計算為什么需要分布式存儲?首先是物聯網、5G、AI等技術帶來了更多應用場景和智慧終端以及更快的連接速度,這樣的背景下,各種終端將接入互聯網并作為邊緣計算的計算設施,提供高速且及時的計算基礎,隨之而來的將是更多的數據被產生,如何解決龐大數據規模的存儲將是必須面對的問題,現有的物聯網存儲設備主要靠本地存儲單元來保存數據,在存儲能力有限,存儲擴展比較困難,
而分布式存儲項目正好可以解決這樣的問題。當邊緣計算產生數據存儲需求,分布式存儲可以依靠全球化接入節點提供就近存儲服務,按需按量的提供最優且距離最近的存儲資源,其提供的邊緣存儲方案,可以將不同存儲業務的垂直拓展變成水平拓展,降低帶寬耗能并提高存儲的反應速度,實現近距離按需優化存儲。像Filecoin、Storj等項目就在解決這樣的問題。其一定程度上也提高了閑置資源利用率,激發了用戶充分利用數據創造價值的熱情,
二者的配合是相輔相成的,具體來說,基于邊緣計算可以有效的調動閑置的寬頻和計算資源,而通過分布式存儲方案的激勵體系,可以調動現有社會上存量資源去作為邊緣計算的基礎設施,這將大大縮短邊緣計算的建設周期,形成組織網路,解決資源有效配置問題,這對于處在起步階段的邊緣計算來說意義重大。而且邊緣計算的網狀結構和分布式存儲的網狀結構可以形成很好的契合關系,每一個計算終端可以就近獲取成本更低的存儲節點的空間,如果分布式存儲能夠解決目前的數據封裝、讀取速度以及隱私保護方面的問題,那么其可以減少主干網路的帶寬和存儲資源占用,并且成本上也更加低廉,
這種優勢非常適合應用于未來智慧城市的建設,試想一下,一個智慧城市形成的物聯網路所涉及的終端以及協作關系是極其龐大且復雜的,在建設和快速發展的過程中,僅憑政府的力量很難在一開始就為這個網路搭建好一個成型的基礎設施環境,并且中心化方案對智慧城市這種超大型網路的風險是極高的,一次重大問題可能導致整個城市的系統癱瘓,這里就更加能體現分布式存儲的必要性,一個是成本另外一個就是分布式系統帶來的風險抵抗能力。
不止于此,在解決基礎需求后,二者還可以創造出更多的應用案例,首先個人存儲市場和小型數據中心將成為行業趨勢。數據顯示2020年大陸互聯網用戶規模為9億多,而移動互聯網用戶規模更高達13億,個人網盤月度活躍用戶超1億,個人存儲市場仍有龐大的潛在用戶基礎和可利用存儲空間。面對數據規模的高速增長,邊緣云計算利用分布式文件系統將個人閑置的存儲資源投入到網路中,進行市場交換,將成為分布式存儲率先進入的領域之一,除此之外,二者結合的創新想象可能發生在小到家庭中的每一個物件,大到智慧城市的商業場景中,并為未來可能誕生的服務體系奠定堅實的基礎,總之,下半場的好戲值得期待,