德誠(chéng)智能科技大數(shù)據(jù)管理平臺(tái)，既可以為公司內(nèi)部的多個(gè)大數(shù)據(jù)提供支撐，又能夠承載公司下級(jí)單位或者其他公司委托的大數(shù)據(jù)應(yīng)用。此外，德誠(chéng)智能科技大數(shù)據(jù)管理平臺(tái)還能夠有效幫助客戶進(jìn)行數(shù)據(jù)資產(chǎn)管理。
一、大數(shù)據(jù)管理平臺(tái)系統(tǒng)組成
德誠(chéng)智能科技大數(shù)據(jù)管理平臺(tái)產(chǎn)品體系分為三個(gè)層面：大數(shù)據(jù)基礎(chǔ)組件層、大數(shù)據(jù)管理平臺(tái)層和大數(shù)據(jù)應(yīng)用層。
1、大數(shù)據(jù)基礎(chǔ)組件層
大數(shù)據(jù)基礎(chǔ)模塊是覆蓋當(dāng)前最新Hadoop技術(shù)體系的常用組件。德誠(chéng)智能科技公司一方面對(duì)軟件統(tǒng)一提供了圖形化的安裝、部署能力以及統(tǒng)一的監(jiān)控能力，并且還對(duì)開源模塊中的一些功能進(jìn)行了增強(qiáng)，比如對(duì)于HDFS，增加了HDFS-Raid的支持;對(duì)于Hadoop Map-Reduce框架，增強(qiáng)了對(duì)于調(diào)度策略的增強(qiáng)，不僅可以支持內(nèi)置的容量型的優(yōu)先級(jí)調(diào)度策略，還支持公平調(diào)度策略，以及自定義的調(diào)度策略，實(shí)現(xiàn)對(duì)任務(wù)執(zhí)行時(shí)間的精確控制;在容器的增強(qiáng)上，除了可以實(shí)現(xiàn)對(duì)于內(nèi)存的控制之外，還可以實(shí)現(xiàn)對(duì)于磁盤I/O和網(wǎng)絡(luò)I/O的控制。
2、大數(shù)據(jù)平臺(tái)層
是德誠(chéng)智能科技大數(shù)據(jù)核心產(chǎn)品。該平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和統(tǒng)一管理，并可以有效解決豎井式的大數(shù)據(jù)建設(shè)模式帶來的重復(fù)存儲(chǔ)、重復(fù)計(jì)算、數(shù)據(jù)不一致等一系列問題，實(shí)現(xiàn)資源的集中管控、資源在租戶、應(yīng)用之間的統(tǒng)一調(diào)配，從而可以有效提升資源的利用率。企業(yè)級(jí)大數(shù)據(jù)管理平臺(tái)提供的各應(yīng)用之間負(fù)載的統(tǒng)一調(diào)度策略，可以使各個(gè)應(yīng)用根據(jù)應(yīng)用自身的特點(diǎn)選用自身不同的調(diào)度策略，可以更好的實(shí)現(xiàn)各應(yīng)用中的服務(wù)質(zhì)量的保障。企業(yè)級(jí)大數(shù)據(jù)平臺(tái)還通過一系列的企業(yè)級(jí)特性，有效防止數(shù)據(jù)信息泄露，保障數(shù)據(jù)信息的安全。通過德誠(chéng)智能科技企業(yè)級(jí)大數(shù)據(jù)管理平臺(tái)，不但可以實(shí)現(xiàn)企業(yè)內(nèi)多個(gè)應(yīng)用的支撐，構(gòu)建企業(yè)大數(shù)據(jù)PaaS平臺(tái)，將資源租賃給下屬單位或者外部客戶使用。
3、大數(shù)據(jù)應(yīng)用層
包括企業(yè)內(nèi)部的應(yīng)用，也包括客戶委托在該平臺(tái)上的客戶應(yīng)用。每個(gè)大數(shù)據(jù)應(yīng)用都會(huì)歸屬于一個(gè)特定的組織，也就是租戶。同一個(gè)應(yīng)用，也可以具有以上幾種能力的組合。在同一個(gè)應(yīng)用中，既可以包含Hadoop的分布式數(shù)據(jù)庫HBase的一個(gè)或者多個(gè)實(shí)例，又可以包含一個(gè)或者多個(gè)Hadoop分布式數(shù)據(jù)倉(cāng)庫Hive的實(shí)例，甚至還可以包含數(shù)據(jù)挖掘工具M(jìn)ahout或者R的實(shí)例等。
二、大數(shù)據(jù)管理平臺(tái)作用
有效解決豎井式的大數(shù)據(jù)建設(shè)模式帶來的重復(fù)存儲(chǔ)、重復(fù)計(jì)算、數(shù)據(jù)不一致等一系列問題，并可以實(shí)現(xiàn)資源的集中管控、資源在租戶、應(yīng)用之間的統(tǒng)一調(diào)配，有效提升資源的利用率。企業(yè)級(jí)大數(shù)據(jù)管理平臺(tái)提供的各應(yīng)用之間負(fù)載的統(tǒng)一調(diào)度策略，使各個(gè)應(yīng)用根據(jù)應(yīng)用自身的特點(diǎn)選用自身不同的調(diào)度策略，更好的實(shí)現(xiàn)各應(yīng)用中的服務(wù)質(zhì)量的保障。企業(yè)級(jí)大數(shù)據(jù)平臺(tái)還通過一系列的企業(yè)級(jí)特性，有效防止數(shù)據(jù)信息泄露，保障數(shù)據(jù)信息的安全。
在應(yīng)用層，一個(gè)租戶承載多個(gè)應(yīng)用，每個(gè)應(yīng)用擁有自己的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)的上報(bào)根據(jù)資產(chǎn)名稱、描述、存檔路徑、存檔格式等進(jìn)行上報(bào)。可以通過多種方式進(jìn)行數(shù)據(jù)資產(chǎn)的管理，比如數(shù)據(jù)共享、數(shù)據(jù)發(fā)布、數(shù)據(jù)訂閱、數(shù)據(jù)推送、以及產(chǎn)生的相應(yīng)數(shù)據(jù)服務(wù)。大數(shù)據(jù)應(yīng)用中的用戶采用驅(qū)動(dòng)來實(shí)現(xiàn)數(shù)據(jù)的讀取，從而保證數(shù)據(jù)的安全性，通過德誠(chéng)智能科技提供的驅(qū)動(dòng)，不改變客戶的編碼習(xí)慣，只要鏈接不同的庫即可。通過數(shù)據(jù)訪問方式的限制，實(shí)現(xiàn)了數(shù)據(jù)主權(quán)和數(shù)據(jù)分析的分離。
基于德誠(chéng)智能科技大數(shù)據(jù)管理平臺(tái)，用戶可以開發(fā)各類應(yīng)用，如大數(shù)據(jù)查詢類應(yīng)用、大數(shù)據(jù)分析類應(yīng)用、大數(shù)據(jù)挖掘類應(yīng)用、數(shù)據(jù)采集類應(yīng)用等。
三、大數(shù)據(jù)管理平臺(tái)特色
1、產(chǎn)品設(shè)計(jì)優(yōu)勢(shì)
集中的數(shù)據(jù)存儲(chǔ)；集中的資源管理； 集中的負(fù)載調(diào)度；集中的數(shù)據(jù)管控，有效保障數(shù)據(jù)信息安全；應(yīng)用與數(shù)據(jù)分離
2、產(chǎn)品功能優(yōu)勢(shì)
多租戶、多應(yīng)用支撐：實(shí)現(xiàn)大數(shù)據(jù)的集約化建設(shè);不改變應(yīng)用開發(fā)習(xí)慣。
數(shù)據(jù)統(tǒng)一管控：企業(yè)級(jí)數(shù)據(jù)集中存儲(chǔ)，安全隔離，有效共享。
資源精細(xì)控制：多負(fù)載的協(xié)調(diào)，保障SLA單負(fù)載的精細(xì)控制。
擴(kuò)展性：
德誠(chéng)智能科技的大數(shù)據(jù)產(chǎn)品具有很強(qiáng)的擴(kuò)展性，可以滿足不同大型單位系統(tǒng)建設(shè)的需求。
提供線性的系統(tǒng)擴(kuò)展能力，可以通過擴(kuò)展硬件設(shè)備線性地提高系統(tǒng)性能和容量。
提供高效的在線數(shù)據(jù)重分布功能，增加或減少的節(jié)點(diǎn)后系統(tǒng)中數(shù)據(jù)可平均分布到每個(gè)節(jié)點(diǎn)。
當(dāng)用戶數(shù)據(jù)量成倍增加時(shí)，對(duì)于同一個(gè)系統(tǒng)(指硬件配置不變的情況下)，響應(yīng)時(shí)間是按照比例線性增加的。
當(dāng)并發(fā)用戶數(shù)增加時(shí)，對(duì)于同一個(gè)系統(tǒng)(指硬件配置不變的情況下)，響應(yīng)時(shí)間也按照比例線性增加。
平臺(tái)支持橫向擴(kuò)展，最大計(jì)算節(jié)點(diǎn)數(shù)支持不少于500個(gè);
支持在線增加或減少節(jié)點(diǎn)。
系統(tǒng)穩(wěn)定性：
系統(tǒng)支持連續(xù)7×24小時(shí)不間斷地工作，系統(tǒng)中的任一構(gòu)件更新、加載時(shí)，在不更新與上下構(gòu)件接口的前提下，不影響業(yè)務(wù)運(yùn)轉(zhuǎn)和服務(wù)。
支持系統(tǒng)在長(zhǎng)時(shí)間、多任務(wù)場(chǎng)景下的穩(wěn)定運(yùn)行。在計(jì)算機(jī)硬件、操作系統(tǒng)、存儲(chǔ)系統(tǒng)及應(yīng)用系統(tǒng)業(yè)務(wù)進(jìn)程出現(xiàn)故障時(shí)，能迅速響應(yīng)并進(jìn)行任務(wù)的切換;某一節(jié)點(diǎn)出現(xiàn)故障時(shí)，其他節(jié)點(diǎn)應(yīng)能夠自動(dòng)分擔(dān)故障節(jié)點(diǎn)的 處理任務(wù)，保證服務(wù)持續(xù)可用。
能實(shí)時(shí)監(jiān)控各節(jié)點(diǎn)的狀態(tài)，依據(jù)不同的監(jiān)測(cè)方法，可以監(jiān)測(cè)出服務(wù)器節(jié)點(diǎn)是否存在，以及是否可以正常提供服務(wù)，支持節(jié)點(diǎn)失效報(bào)警和節(jié)點(diǎn)恢復(fù)過程的監(jiān)控。
支持某節(jié)點(diǎn)失效后，整個(gè)系統(tǒng)能繼續(xù)運(yùn)行，系統(tǒng)整體性能不能有顯著下降。
系統(tǒng)可維護(hù)性：
系統(tǒng)易于修改，對(duì)某一個(gè)模塊的修改，不影響其他模塊的正常運(yùn)行。
系統(tǒng)易于擴(kuò)展，新增服務(wù)時(shí)要求對(duì)系統(tǒng)做盡可能少的修改。
系統(tǒng)具備自管理和監(jiān)控功能，能夠?qū)崟r(shí)監(jiān)控各模塊的執(zhí)行。
系統(tǒng)具備利用已有時(shí)間同步系統(tǒng)進(jìn)行時(shí)間同步和時(shí)間自動(dòng)調(diào)整的功能。
系統(tǒng)支持通過統(tǒng)一的圖形界面，監(jiān)控各應(yīng)用構(gòu)件的運(yùn)行狀態(tài)，能夠監(jiān)控到系統(tǒng)所有的報(bào)警、異常信息。
系統(tǒng)采用構(gòu)件化設(shè)計(jì)思想，系統(tǒng)框架與業(yè)務(wù)邏輯分離，具備開放的體系結(jié)構(gòu)。
系統(tǒng)支持通過統(tǒng)一的圖形界面能夠訪問到系統(tǒng)各構(gòu)件、合約的版本信息及相應(yīng)功能說明。
系統(tǒng)支持各構(gòu)件的單獨(dú)升級(jí)，并應(yīng)該盡可能實(shí)現(xiàn)在線升級(jí)功能。
系統(tǒng)可靠性：
系統(tǒng)提供軟件容錯(cuò)機(jī)制，包括數(shù)據(jù)庫、日志鏡像、自動(dòng)恢復(fù)和集群機(jī)制，具有高度的數(shù)據(jù)可靠性、容錯(cuò)能力、完整性和有效性;
數(shù)據(jù)文件存放于分布式文件系統(tǒng)之上，在保持集群可用性不變的情況下，節(jié)省了大量的存儲(chǔ)空間(數(shù)據(jù)存儲(chǔ)空間由原來的3倍降為1.4倍!)。
數(shù)據(jù)文件需要實(shí)現(xiàn)元數(shù)據(jù)備份和恢復(fù)功能，防止元數(shù)據(jù)破壞失效;
整體系統(tǒng)實(shí)現(xiàn)HA方案，系統(tǒng)沒有單點(diǎn)失效點(diǎn)，保證系統(tǒng)高可靠性。
3、與云計(jì)算的完美結(jié)合
德誠(chéng)智能科技大數(shù)據(jù)平臺(tái)可以與WinCloud云操作系統(tǒng)無縫集成，為企業(yè)提供完善的云計(jì)算、大數(shù)據(jù)整體解決方案：
(1)集群的管理和軟件的部署。可以通過云計(jì)算實(shí)現(xiàn)集群的完善的管理功能。特別是通過對(duì)于物理機(jī)的管理優(yōu)勢(shì)，可以實(shí)現(xiàn)整個(gè)操作系統(tǒng)的全自動(dòng)化、無人工干預(yù)的安裝、部署軟件。
(2)全面的監(jiān)控能力。可以通過云計(jì)算提供的完善的監(jiān)控能力，實(shí)現(xiàn)對(duì)于包括虛擬節(jié)點(diǎn)和物理節(jié)點(diǎn)在內(nèi)的所有節(jié)點(diǎn)的性能監(jiān)控。
(3)通過云計(jì)算的虛擬化技術(shù)，可以有效屏蔽不同廠商或者品牌的物理機(jī)之間的差異，從而更加有效的實(shí)現(xiàn)了資源的虛擬化，簡(jiǎn)化了大數(shù)據(jù)統(tǒng)一管理平臺(tái)中的關(guān)鍵部件統(tǒng)一資源管理的開發(fā)難度。
(4)通過云計(jì)算的高可用性(High Avaibility)、容錯(cuò)(Fault Tolerence)技術(shù)，加強(qiáng)大數(shù)據(jù)中包括Hadoop的JobTracker、HDFS的namenode、Hive的服務(wù)進(jìn)程節(jié)點(diǎn)等的關(guān)鍵節(jié)點(diǎn)的安全性。
(5)通過云計(jì)算的彈性計(jì)算特性，可以有效實(shí)現(xiàn)節(jié)點(diǎn)的計(jì)算能力擴(kuò)容。這對(duì)于HDFS的namenode類型的關(guān)鍵節(jié)點(diǎn)是十分重要的。
(6)通過云計(jì)算中的計(jì)量功能，可以實(shí)現(xiàn)更加精確、多樣化的計(jì)量策略。
(7)通過云計(jì)算的靈活的資源池管理策略，實(shí)現(xiàn)大數(shù)據(jù)的開發(fā)環(huán)境和測(cè)試環(huán)境的快速部署。
德誠(chéng)智能科技大數(shù)據(jù)解決方案應(yīng)用場(chǎng)景
1、大數(shù)據(jù)分析類應(yīng)用
2、數(shù)據(jù)采集類應(yīng)用
3、大數(shù)據(jù)查詢類應(yīng)用
4、大數(shù)據(jù)挖掘類應(yīng)用
大數(shù)據(jù)平臺(tái), 敏捷BI, 自助式BI, 數(shù)據(jù)分析, 數(shù)據(jù)倉(cāng)庫, 大數(shù)據(jù)開發(fā), 自助分析, 流式計(jì)算, 數(shù)據(jù)集市, ETL, 商業(yè)智能, 報(bào)表軟件, 數(shù)據(jù)可視化
