德誠智能科技大數(shù)據(jù)管理平臺，既可以為公司內(nèi)部的多個大數(shù)據(jù)提供支撐，又能夠承載公司下級單位或者其他公司委托的大數(shù)據(jù)應用。此外，德誠智能科技大數(shù)據(jù)管理平臺還能夠有效幫助客戶進行數(shù)據(jù)資產(chǎn)管理。
一、大數(shù)據(jù)管理平臺系統(tǒng)組成
德誠智能科技大數(shù)據(jù)管理平臺產(chǎn)品體系分為三個層面：大數(shù)據(jù)基礎組件層、大數(shù)據(jù)管理平臺層和大數(shù)據(jù)應用層。
1、大數(shù)據(jù)基礎組件層
大數(shù)據(jù)基礎模塊是覆蓋當前最新Hadoop技術體系的常用組件。德誠智能科技公司一方面對軟件統(tǒng)一提供了圖形化的安裝、部署能力以及統(tǒng)一的監(jiān)控能力，并且還對開源模塊中的一些功能進行了增強，比如對于HDFS，增加了HDFS-Raid的支持;對于Hadoop Map-Reduce框架，增強了對于調(diào)度策略的增強，不僅可以支持內(nèi)置的容量型的優(yōu)先級調(diào)度策略，還支持公平調(diào)度策略，以及自定義的調(diào)度策略，實現(xiàn)對任務執(zhí)行時間的精確控制;在容器的增強上，除了可以實現(xiàn)對于內(nèi)存的控制之外，還可以實現(xiàn)對于磁盤I/O和網(wǎng)絡I/O的控制。
2、大數(shù)據(jù)平臺層
是德誠智能科技大數(shù)據(jù)核心產(chǎn)品。該平臺實現(xiàn)數(shù)據(jù)的統(tǒng)一存儲和統(tǒng)一管理，并可以有效解決豎井式的大數(shù)據(jù)建設模式帶來的重復存儲、重復計算、數(shù)據(jù)不一致等一系列問題，實現(xiàn)資源的集中管控、資源在租戶、應用之間的統(tǒng)一調(diào)配，從而可以有效提升資源的利用率。企業(yè)級大數(shù)據(jù)管理平臺提供的各應用之間負載的統(tǒng)一調(diào)度策略，可以使各個應用根據(jù)應用自身的特點選用自身不同的調(diào)度策略，可以更好的實現(xiàn)各應用中的服務質量的保障。企業(yè)級大數(shù)據(jù)平臺還通過一系列的企業(yè)級特性，有效防止數(shù)據(jù)信息泄露，保障數(shù)據(jù)信息的安全。通過德誠智能科技企業(yè)級大數(shù)據(jù)管理平臺，不但可以實現(xiàn)企業(yè)內(nèi)多個應用的支撐，構建企業(yè)大數(shù)據(jù)PaaS平臺，將資源租賃給下屬單位或者外部客戶使用。
3、大數(shù)據(jù)應用層
包括企業(yè)內(nèi)部的應用，也包括客戶委托在該平臺上的客戶應用。每個大數(shù)據(jù)應用都會歸屬于一個特定的組織，也就是租戶。同一個應用，也可以具有以上幾種能力的組合。在同一個應用中，既可以包含Hadoop的分布式數(shù)據(jù)庫HBase的一個或者多個實例，又可以包含一個或者多個Hadoop分布式數(shù)據(jù)倉庫Hive的實例，甚至還可以包含數(shù)據(jù)挖掘工具Mahout或者R的實例等。
二、大數(shù)據(jù)管理平臺作用
有效解決豎井式的大數(shù)據(jù)建設模式帶來的重復存儲、重復計算、數(shù)據(jù)不一致等一系列問題，并可以實現(xiàn)資源的集中管控、資源在租戶、應用之間的統(tǒng)一調(diào)配，有效提升資源的利用率。企業(yè)級大數(shù)據(jù)管理平臺提供的各應用之間負載的統(tǒng)一調(diào)度策略，使各個應用根據(jù)應用自身的特點選用自身不同的調(diào)度策略，更好的實現(xiàn)各應用中的服務質量的保障。企業(yè)級大數(shù)據(jù)平臺還通過一系列的企業(yè)級特性，有效防止數(shù)據(jù)信息泄露，保障數(shù)據(jù)信息的安全。
在應用層，一個租戶承載多個應用，每個應用擁有自己的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)的上報根據(jù)資產(chǎn)名稱、描述、存檔路徑、存檔格式等進行上報?？梢酝ㄟ^多種方式進行數(shù)據(jù)資產(chǎn)的管理，比如數(shù)據(jù)共享、數(shù)據(jù)發(fā)布、數(shù)據(jù)訂閱、數(shù)據(jù)推送、以及產(chǎn)生的相應數(shù)據(jù)服務。大數(shù)據(jù)應用中的用戶采用驅動來實現(xiàn)數(shù)據(jù)的讀取，從而保證數(shù)據(jù)的安全性，通過德誠智能科技提供的驅動，不改變客戶的編碼習慣，只要鏈接不同的庫即可。通過數(shù)據(jù)訪問方式的限制，實現(xiàn)了數(shù)據(jù)主權和數(shù)據(jù)分析的分離。
基于德誠智能科技大數(shù)據(jù)管理平臺，用戶可以開發(fā)各類應用，如大數(shù)據(jù)查詢類應用、大數(shù)據(jù)分析類應用、大數(shù)據(jù)挖掘類應用、數(shù)據(jù)采集類應用等。
三、大數(shù)據(jù)管理平臺特色
1、產(chǎn)品設計優(yōu)勢
集中的數(shù)據(jù)存儲；集中的資源管理； 集中的負載調(diào)度；集中的數(shù)據(jù)管控，有效保障數(shù)據(jù)信息安全；應用與數(shù)據(jù)分離
2、產(chǎn)品功能優(yōu)勢
多租戶、多應用支撐：實現(xiàn)大數(shù)據(jù)的集約化建設;不改變應用開發(fā)習慣。
數(shù)據(jù)統(tǒng)一管控：企業(yè)級數(shù)據(jù)集中存儲，安全隔離，有效共享。
資源精細控制：多負載的協(xié)調(diào)，保障SLA單負載的精細控制。
擴展性：
德誠智能科技的大數(shù)據(jù)產(chǎn)品具有很強的擴展性，可以滿足不同大型單位系統(tǒng)建設的需求。
提供線性的系統(tǒng)擴展能力，可以通過擴展硬件設備線性地提高系統(tǒng)性能和容量。
提供高效的在線數(shù)據(jù)重分布功能，增加或減少的節(jié)點后系統(tǒng)中數(shù)據(jù)可平均分布到每個節(jié)點。
當用戶數(shù)據(jù)量成倍增加時，對于同一個系統(tǒng)(指硬件配置不變的情況下)，響應時間是按照比例線性增加的。
當并發(fā)用戶數(shù)增加時，對于同一個系統(tǒng)(指硬件配置不變的情況下)，響應時間也按照比例線性增加。
平臺支持橫向擴展，最大計算節(jié)點數(shù)支持不少于500個;
支持在線增加或減少節(jié)點。
系統(tǒng)穩(wěn)定性：
系統(tǒng)支持連續(xù)7×24小時不間斷地工作，系統(tǒng)中的任一構件更新、加載時，在不更新與上下構件接口的前提下，不影響業(yè)務運轉和服務。
支持系統(tǒng)在長時間、多任務場景下的穩(wěn)定運行。在計算機硬件、操作系統(tǒng)、存儲系統(tǒng)及應用系統(tǒng)業(yè)務進程出現(xiàn)故障時，能迅速響應并進行任務的切換;某一節(jié)點出現(xiàn)故障時，其他節(jié)點應能夠自動分擔故障節(jié)點的 處理任務，保證服務持續(xù)可用。
能實時監(jiān)控各節(jié)點的狀態(tài)，依據(jù)不同的監(jiān)測方法，可以監(jiān)測出服務器節(jié)點是否存在，以及是否可以正常提供服務，支持節(jié)點失效報警和節(jié)點恢復過程的監(jiān)控。
支持某節(jié)點失效后，整個系統(tǒng)能繼續(xù)運行，系統(tǒng)整體性能不能有顯著下降。
系統(tǒng)可維護性：
系統(tǒng)易于修改，對某一個模塊的修改，不影響其他模塊的正常運行。
系統(tǒng)易于擴展，新增服務時要求對系統(tǒng)做盡可能少的修改。
系統(tǒng)具備自管理和監(jiān)控功能，能夠實時監(jiān)控各模塊的執(zhí)行。
系統(tǒng)具備利用已有時間同步系統(tǒng)進行時間同步和時間自動調(diào)整的功能。
系統(tǒng)支持通過統(tǒng)一的圖形界面，監(jiān)控各應用構件的運行狀態(tài)，能夠監(jiān)控到系統(tǒng)所有的報警、異常信息。
系統(tǒng)采用構件化設計思想，系統(tǒng)框架與業(yè)務邏輯分離，具備開放的體系結構。
系統(tǒng)支持通過統(tǒng)一的圖形界面能夠訪問到系統(tǒng)各構件、合約的版本信息及相應功能說明。
系統(tǒng)支持各構件的單獨升級，并應該盡可能實現(xiàn)在線升級功能。
系統(tǒng)可靠性：
系統(tǒng)提供軟件容錯機制，包括數(shù)據(jù)庫、日志鏡像、自動恢復和集群機制，具有高度的數(shù)據(jù)可靠性、容錯能力、完整性和有效性;
數(shù)據(jù)文件存放于分布式文件系統(tǒng)之上，在保持集群可用性不變的情況下，節(jié)省了大量的存儲空間(數(shù)據(jù)存儲空間由原來的3倍降為1.4倍!)。
數(shù)據(jù)文件需要實現(xiàn)元數(shù)據(jù)備份和恢復功能，防止元數(shù)據(jù)破壞失效;
整體系統(tǒng)實現(xiàn)HA方案，系統(tǒng)沒有單點失效點，保證系統(tǒng)高可靠性。
3、與云計算的完美結合
德誠智能科技大數(shù)據(jù)平臺可以與WinCloud云操作系統(tǒng)無縫集成，為企業(yè)提供完善的云計算、大數(shù)據(jù)整體解決方案：
(1)集群的管理和軟件的部署?？梢酝ㄟ^云計算實現(xiàn)集群的完善的管理功能。特別是通過對于物理機的管理優(yōu)勢，可以實現(xiàn)整個操作系統(tǒng)的全自動化、無人工干預的安裝、部署軟件。
(2)全面的監(jiān)控能力?？梢酝ㄟ^云計算提供的完善的監(jiān)控能力，實現(xiàn)對于包括虛擬節(jié)點和物理節(jié)點在內(nèi)的所有節(jié)點的性能監(jiān)控。
(3)通過云計算的虛擬化技術，可以有效屏蔽不同廠商或者品牌的物理機之間的差異，從而更加有效的實現(xiàn)了資源的虛擬化，簡化了大數(shù)據(jù)統(tǒng)一管理平臺中的關鍵部件統(tǒng)一資源管理的開發(fā)難度。
(4)通過云計算的高可用性(High Avaibility)、容錯(Fault Tolerence)技術，加強大數(shù)據(jù)中包括Hadoop的JobTracker、HDFS的namenode、Hive的服務進程節(jié)點等的關鍵節(jié)點的安全性。
(5)通過云計算的彈性計算特性，可以有效實現(xiàn)節(jié)點的計算能力擴容。這對于HDFS的namenode類型的關鍵節(jié)點是十分重要的。
(6)通過云計算中的計量功能，可以實現(xiàn)更加精確、多樣化的計量策略。
(7)通過云計算的靈活的資源池管理策略，實現(xiàn)大數(shù)據(jù)的開發(fā)環(huán)境和測試環(huán)境的快速部署。
德誠智能科技大數(shù)據(jù)解決方案應用場景
1、大數(shù)據(jù)分析類應用
2、數(shù)據(jù)采集類應用
3、大數(shù)據(jù)查詢類應用
4、大數(shù)據(jù)挖掘類應用
大數(shù)據(jù)平臺, 敏捷BI, 自助式BI, 數(shù)據(jù)分析, 數(shù)據(jù)倉庫, 大數(shù)據(jù)開發(fā), 自助分析, 流式計算, 數(shù)據(jù)集市, ETL, 商業(yè)智能, 報表軟件, 數(shù)據(jù)可視化
