國內(nèi)某大型生產(chǎn)銷售通信設(shè)備的民營通信科技公司，1987年正式注冊成立，總部位于中國深圳坂田，是全球領(lǐng)先的信息與通信技術(shù)（ICT）解決方案供應(yīng)商，專注于ICT領(lǐng)域，堅(jiān)持穩(wěn)健經(jīng)營、持續(xù)創(chuàng)新、開放合作，在電信運(yùn)營商、企業(yè)、終端和云計(jì)算等領(lǐng)域構(gòu)筑了端到端的解決方案優(yōu)勢，為運(yùn)營商客戶、企業(yè)客戶和消費(fèi)者提供有競爭力的ICT解決方案、產(chǎn)品和服務(wù)，并致力于使能未來信息社會、構(gòu)建更美好的全聯(lián)接世界。2017年，華為排名《財(cái)富》世界500強(qiáng)第83位。

在企業(yè)規(guī)模飛速擴(kuò)張的今天，各類業(yè)務(wù)、應(yīng)用系統(tǒng)全方位地覆蓋了整個企業(yè)。應(yīng)用系統(tǒng)從最初的滿足用戶需求，跨越到分析用戶體驗(yàn)及用戶畫像，立志為全球用戶提供最好的服務(wù)和體驗(yàn)。

基于此初衷，該企業(yè)各部門越來越重視運(yùn)營這個模塊，IT數(shù)字化運(yùn)營的概念也逐漸浮出水面。數(shù)字化運(yùn)營在中小型企業(yè)實(shí)現(xiàn)起來也許不會那么困難，但對于龐大且歷史長久的華為來說必會大動干戈，數(shù)字化運(yùn)營將面對海量的數(shù)據(jù)存儲，企業(yè)級數(shù)據(jù)倉庫和各業(yè)務(wù)數(shù)據(jù)集市的建設(shè)，以及如何在海量數(shù)據(jù)中挖掘分析出有價值的KPI。對于運(yùn)營人員來說，最快、最準(zhǔn)、最新的運(yùn)營數(shù)據(jù)支持，往往能讓他們事半功倍。

IT數(shù)字化運(yùn)營所面對的困難：

1、海量數(shù)據(jù)的存儲和處理引擎

2、企業(yè)級的數(shù)據(jù)倉庫和數(shù)據(jù)集市的建設(shè)

3、數(shù)據(jù)處理的可拓展性（挖掘算法、自定義算法的支持）

4、運(yùn)營頁面的響應(yīng)速度

為解決以上問題，項(xiàng)目中使用我公司自主研發(fā)的分布式大數(shù)據(jù)庫產(chǎn)品PetaBase ，代替了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫作為主要的數(shù)據(jù)處理引擎。

挑戰(zhàn)一：海量數(shù)據(jù)的存儲和處理引擎

PetaBase數(shù)據(jù)存儲基于Hadoop提供的HDFS分布式文件存儲方式，支持關(guān)系型數(shù)據(jù)庫和非結(jié)構(gòu)化的數(shù)據(jù)導(dǎo)入，解決了用戶海量數(shù)據(jù)存儲的問題。數(shù)據(jù)處理使用impala內(nèi)存計(jì)算引擎，相對于Hadoop生態(tài)中其他的計(jì)算引擎，他有著計(jì)算快，支持大多數(shù)SQL中的DDL和DML語句等優(yōu)勢。在本次華為數(shù)字化運(yùn)營項(xiàng)目中共處理60多T的數(shù)據(jù)，其中單表最大數(shù)據(jù)量達(dá)到80億條，3級ETL跑批只需4到6個小時即可完成。

挑戰(zhàn)二：企業(yè)級的數(shù)據(jù)倉庫和數(shù)據(jù)集市的建設(shè)

IT數(shù)字化運(yùn)營系統(tǒng)共分為四層，分別是底層數(shù)據(jù)源，存儲層，服務(wù)層和應(yīng)用層。底層數(shù)據(jù)源包含多個業(yè)務(wù)系統(tǒng)的底層數(shù)據(jù)，來源于關(guān)系型數(shù)據(jù)庫，Nosql數(shù)據(jù)庫，文本數(shù)據(jù)等多種數(shù)據(jù)源。存儲層通過PetaBase大數(shù)據(jù)平臺進(jìn)行搭建，在PetaBase中對底層多源數(shù)據(jù)進(jìn)行匯總存儲并分層處理，形成多層次數(shù)據(jù)模型，完成面向應(yīng)用的數(shù)據(jù)倉庫與數(shù)據(jù)集市的建設(shè)。PetaBase大數(shù)據(jù)平臺為其他平臺提供數(shù)據(jù)接口，為上層應(yīng)用提供數(shù)據(jù)基礎(chǔ)。

由于PetaBase的數(shù)據(jù)存儲在HDFS中，Hadoop生態(tài)中有多種多樣的數(shù)據(jù)處理引擎，并能支持用戶自定義函數(shù)的擴(kuò)展（數(shù)據(jù)挖掘函數(shù)等）。項(xiàng)目中有用到多種數(shù)據(jù)挖掘的方法，比如通過箱線圖的算法來排除異常性能數(shù)據(jù)，然后取正常性能數(shù)據(jù)升序排序后的90%位置的數(shù)據(jù)作為性能值的一個度量，并通過用戶自定義的函數(shù)來實(shí)現(xiàn)。

挑戰(zhàn)四：運(yùn)營頁面的響應(yīng)速度

億信BI可以直接配置PetaBase為數(shù)據(jù)連接池。基于億信BI的并行運(yùn)算等性能優(yōu)化手段結(jié)合PetaBase數(shù)據(jù)庫的運(yùn)算性能優(yōu)勢，目前IT數(shù)字化運(yùn)營報表可實(shí)現(xiàn)5秒內(nèi)響應(yīng)這一效率要求。

一、海量數(shù)據(jù)高效存儲與運(yùn)算

隨著華為IT智能運(yùn)營平臺(eSee)承擔(dān)的IT數(shù)字化轉(zhuǎn)型的使命加強(qiáng)，eSee平臺的底層數(shù)據(jù)覆蓋范圍和數(shù)據(jù)量呈指數(shù)級增長，單靠傳統(tǒng)關(guān)系型數(shù)據(jù)庫已無法滿足要求，平臺需要一套基于大數(shù)據(jù)架構(gòu)的數(shù)據(jù)庫承擔(dān)底層數(shù)據(jù)存儲計(jì)算工作，而PetaBase的出現(xiàn)正好彌補(bǔ)了華為IT運(yùn)營平臺的不足，并且PetaBase與億信BI同出一脈，天然的融為一體，讓PetaBase對比其他大數(shù)據(jù)架構(gòu)平臺有更多優(yōu)勢，在項(xiàng)目中應(yīng)用起來非常便捷。

當(dāng)前PetaBase已經(jīng)承擔(dān)華為IT智能運(yùn)營平臺(eSee)底層大部分的數(shù)據(jù)存儲以及計(jì)算處理工作，處理能力得到客戶充分認(rèn)可：

在Saas服務(wù)層，PetaBase底層處理的數(shù)據(jù)已覆蓋600+IT產(chǎn)品、80萬+IT用戶的用戶行為、產(chǎn)品質(zhì)量以及應(yīng)用本身的業(yè)務(wù)量的數(shù)據(jù)，這些應(yīng)用數(shù)據(jù)計(jì)算處理后被廣泛用于單產(chǎn)品的數(shù)字化運(yùn)營、全球IT服務(wù)的5s度量、產(chǎn)品經(jīng)營分析、用戶服務(wù)畫像等重要的業(yè)務(wù)場景中。通過運(yùn)營洞察各產(chǎn)品在網(wǎng)運(yùn)行情況，驅(qū)動產(chǎn)品自我改進(jìn)；支持撐各類IT用戶的ROADs體驗(yàn)落地；發(fā)現(xiàn)業(yè)務(wù)流量的高地，支撐流量低的應(yīng)用"日落"。

在Paas平臺層，PetaBase在平臺底層支撐華為云服務(wù)的百萬級VM對應(yīng)資源的性能容量的運(yùn)營數(shù)據(jù)的處理，通過資源使用率的度量，幫助業(yè)務(wù)優(yōu)化資源管理和分配，讓云資源能及時合理使用和釋放，提升云資源使用效率。

在Iaas基礎(chǔ)設(shè)施層，Patabase底層承擔(dān)華為全球5大中心和RDC、SR數(shù)據(jù)中心的機(jī)柜、電力、能耗數(shù)據(jù)的處理工作，同時支撐著全球10萬+IT后端資產(chǎn)的性能容量的運(yùn)營數(shù)據(jù)的后臺處理，處理的數(shù)據(jù)通過前端億信BI給各業(yè)務(wù)場景構(gòu)建的運(yùn)營界面，助力華為IT的資產(chǎn)使用效率的提升、降低IT基礎(chǔ)設(shè)施的成本投資，使能華為IT數(shù)字化轉(zhuǎn)型成功！

二、與億信BI完美結(jié)合

在內(nèi)部要求全球IT服務(wù)頁面5s達(dá)標(biāo)，對于IT智能運(yùn)營平臺(eSee)而言這也是一項(xiàng)必須完成的目標(biāo)。如何讓報表計(jì)算能在5s內(nèi)得到響應(yīng)，這是一項(xiàng)不小的挑戰(zhàn)，尤其是在數(shù)據(jù)下探分析的時候，因?yàn)槊骷?xì)的數(shù)據(jù)量很大，計(jì)算結(jié)果一般很難在5s得到。但是如果把這種無法做匯總的大數(shù)據(jù)的計(jì)算放在PetaBase里面計(jì)算情況就不一樣了，通過項(xiàng)目的實(shí)踐證明，將報表的明細(xì)查詢放在PetaBase里進(jìn)行，之前無法達(dá)到業(yè)務(wù)要求的報表，通過優(yōu)化都可以達(dá)標(biāo)。

完成數(shù)字化運(yùn)營后，基于已構(gòu)建的企業(yè)級別的數(shù)字化平臺，實(shí)現(xiàn)物與物、物與人之間的互聯(lián)，向智能物聯(lián)網(wǎng)(IoT)華麗轉(zhuǎn)身。