- 相關(guān)推薦
淺析海綿數(shù)據(jù)推出大數(shù)據(jù)操作系統(tǒng)Sponge
海綿數(shù)據(jù)近日宣布推出其第二代大數(shù)據(jù)操作系統(tǒng)產(chǎn)品Sponge。Sponge是一個(gè)簡(jiǎn)單多層，兼容完全POSIX兼容的分布式NFS、Hadoop，支持對(duì)象存儲(chǔ)、云存儲(chǔ)、SDS（軟件定義存儲(chǔ)）、容器機(jī)制，集成Spark為計(jì)算引擎，基于內(nèi)存計(jì)算技術(shù)的分布式系統(tǒng)，將大數(shù)據(jù)的存儲(chǔ)、管理和計(jì)算有機(jī)融合，具有實(shí)時(shí)一致性，易于兼容現(xiàn)有系統(tǒng)，相比10年前誕生的第一代產(chǎn)品Hadoop更加簡(jiǎn)單易用，易于擴(kuò)展。僅僅有作為計(jì)算平臺(tái)的Spark不足以應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)，整合后的Sponge技術(shù)框架，能夠同時(shí)支持大數(shù)據(jù)、云存儲(chǔ)、結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理，代表了大數(shù)據(jù)的發(fā)展方向。
簡(jiǎn)單 高效 可靠 經(jīng)濟(jì)
今天已經(jīng)沒(méi)有人再懷疑大數(shù)據(jù)的價(jià)值，云計(jì)算、移動(dòng)互聯(lián)、物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)、無(wú)人機(jī)等前沿技術(shù)的普及與大數(shù)據(jù)的發(fā)展相得益彰，不論在美國(guó)還是中國(guó)，大數(shù)據(jù)已經(jīng)在很多的IT企業(yè)和傳統(tǒng)企業(yè)開(kāi)始落地，譬如互聯(lián)網(wǎng)金融公司的反欺詐流程，電信運(yùn)營(yíng)商的客戶服務(wù)分析，都貫穿著大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用，這也刺激著初創(chuàng)企業(yè)在這個(gè)領(lǐng)域?qū)ふ倚碌纳虡I(yè)機(jī)會(huì)。
目前普遍被采用來(lái)應(yīng)對(duì)大數(shù)據(jù)的是開(kāi)源軟件與廉價(jià)的x86服務(wù)器的組合，這些開(kāi)源產(chǎn)品包括Hadoop、Spark、Storm、NoSQL等。傳統(tǒng)存儲(chǔ)和數(shù)據(jù)庫(kù)當(dāng)然也針對(duì)大數(shù)據(jù)的需求升級(jí)，用來(lái)存儲(chǔ)價(jià)值密度低的大量非結(jié)構(gòu)化數(shù)據(jù)卻不現(xiàn)實(shí)。這些原本被Google、Facebook、Yahoo等大公司驗(yàn)證在某些場(chǎng)景很成功的開(kāi)源項(xiàng)目，也存在問(wèn)題：不同功能模塊對(duì)應(yīng)多個(gè)相互獨(dú)立的開(kāi)源項(xiàng)目，為不同的目的而設(shè)計(jì)，其關(guān)系很復(fù)雜，缺乏通用性，系統(tǒng)部署和使用復(fù)雜而低效，二次開(kāi)發(fā)困難，并且難以統(tǒng)一管理和監(jiān)控，維護(hù)成本高，所以，需要有一個(gè)統(tǒng)一的平臺(tái)。
簡(jiǎn)單、高效、可靠、經(jīng)濟(jì)，這四個(gè)詞，是海綿數(shù)據(jù)對(duì)第二代大數(shù)據(jù)操作系統(tǒng)的價(jià)值的追求，以及Sponge產(chǎn)品設(shè)計(jì)的理念。
滿足大量文件數(shù)據(jù)讀寫(xiě)IO的高需求
不同于以往以磁盤(pán)計(jì)算技術(shù)為核心的文件系統(tǒng)，SpongeFS將集群內(nèi)存管理提升成為文件系統(tǒng)的重要組成部分，以滿足大量文件數(shù)據(jù)讀寫(xiě)IO的高需求。SpongeFS基于分布式設(shè)計(jì)，上文說(shuō)的Masterless結(jié)構(gòu)，以及模塊化架構(gòu)，正是由SpongeFS來(lái)操盤(pán)的。
SpongeFS主要由集群管理層、文件管理層和存儲(chǔ)層構(gòu)成。當(dāng)數(shù)據(jù)進(jìn)入SpongeFS，就被分成一個(gè)個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊通過(guò)文件管理層先存入緩存層，被加入集群間復(fù)制隊(duì)列，一擊加入到持久隊(duì)列等待存入持久層，CDR則把持久層數(shù)據(jù)塊復(fù)制到目標(biāo)集群（目標(biāo)群數(shù)據(jù)塊也優(yōu)先存到緩存層）。文件管理層的基本管理單位是Volume，每個(gè)Volume可以有不同的管理設(shè)置，如容錯(cuò)性、安全性、物理資源的使用等。
【淺析海綿數(shù)據(jù)推出大數(shù)據(jù)操作系統(tǒng)Sponge】相關(guān)文章：
PHP向MySQL數(shù)據(jù)庫(kù)保存數(shù)據(jù)代碼03-21
php向Mysql數(shù)據(jù)庫(kù)保存數(shù)據(jù)的代碼04-24
PHP數(shù)據(jù)庫(kù)Oracle數(shù)據(jù)完整性05-05
關(guān)于統(tǒng)計(jì)學(xué)的數(shù)據(jù)來(lái)源與搜集數(shù)據(jù)的方法05-06
PHP中在數(shù)據(jù)庫(kù)中保存Checkbox數(shù)據(jù)06-18
如何把Excel工作表中數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)07-04