隨著我國科學技術水平的不斷發展, 計算機網絡技術的廣泛應用, 我國已經步入了大數據時代。在大數據背景下, 各種繁雜的數據層出不窮, 一時難以掌握其基本特征及一般規律, 這也給企業的運營數據分析工作增添了不小的難度。在大數據的背景下, 基于大數據前沿技術構建企業運營數據分析平臺受到越來越多的企業的重視, 在具體的數據分析工作中, 也起到了越來越重要的作用。
運營數據分析平臺建設,首先要滿足ERP系統上線以來日益增長的數據分析需求,快速掌握業務狀況,發現業務問題與偏差,促進管理改進,利用準確、及時的信息制定業務決策。其次,迎接大數據時代企業面對的諸多內外部挑戰,從不斷加速產生的大量數據中攫取有價值信息,發現和創造新的商業機會;優化企業業務流程,控制風險、提高效益。本次項目摒棄傳統的數據分析平臺建設模式,將運營數據分析與大數據平臺建設相結合,打破不同應用系統、信息來源的界限,對海量數據進行有效組織、存儲,加以分析并轉化為有價值信息。
平臺建設將以展現整體業務現狀和服務決策層為主要目標,以ERP系統的數據為核心,結合系統外部已獲取的產品運維數據,實現相關業務數據展現和數據透明化。在技術實現上,采取先進的大數據應用技術作為企業整體數據管理的基礎結構,借助云計算數據處理與應用模式的廣泛運用,為公司處理日益增長的海量數據,實現高效、可擴展的低成本解決方案。深化和拓展公司商業智能和知識服務能力,提高經營決策效率,實現從“業務驅動”到“數據驅動”的轉變。
一、建設目標:
運營數據分析平臺旨在規劃和建設以Hadoop為核心的大數據平臺,采取分布式的基礎架構,開發大數據應用管理工具;以企業ERP系統數據作為分析基礎,利用大數據技術集成應用系統外部的產品運維及服務數據,結合公司戰略目標,經營指標及上級控制指標,建立分析模型,對企業財務、銷售、生產、采購、庫存等關鍵指標進行分析,實現數據可視化展示,通過數據分析發現從銷售到生產執行過程中的問題,層層追溯和挖掘找出原因,逐步加強業務數據的真實體現,深入分析,聚焦業務洞察力,從而增強信息透明度,提升決策及管理數據的真實性,實效性,一致性,為決策層提供可視化管理與決策信息,進一步提高決策層對于業務數據的關注度,推動提升公司信息化應用(基礎數據及業務操作規范性、業務數據真實性、完整性)。建立完善的運營數據后臺管理系統,實現對分析展示系統的用戶訪問、業務操作及系統運行狀態監控等進行有效管控。
二、關鍵技術:
(一)總體架構
運營數據分析平臺架構設計需要遵循穩定性、安全性、通用性、靈活性、可擴展性等設計原則,旨在建立統一的運營管理數據架構體系,為未來多系統的數據集成提供處理平臺。整體架構設計如下圖所示:
圖1 總體架構
整體架構按數據處理流向設計,自下向上分成五個部分,依次是數據源、數據存儲與治理、數據倉庫與數據分析、數據分析結果可視化以及數據處理過程中的任務調度管理部分。
(二)關鍵技術
運營數據分析平臺要求滿足數據處理采集、存儲、計算、應用,能夠同時滿足PB級的結構化和非結構化數據的快速處理需求。其關鍵技術如下:
(1)平臺整體架構采用虛擬化云計算及分布式計算架構設計,主要分基礎設施層、支撐軟件層、安全保障體系、服務保障體系組成;
(2)實現基于Hadoop的大數據開發和運行環境;
(3)實現基于大數據的HDFS分布式文件系統存儲;針對于小文件優化的分布式文件系統;
(4)充分考慮公司未來的數據增長,滿足海量數據存儲需求;
(5)實現基于Hive數據倉庫及數據集市建設分析;
(6)實現基于Hbase的快速響應數據存儲支撐;
(7)實現基于Oozie的數據分析Job配置管理;
(8)提供面向非結構化數據的NoSql數據庫服務功能;
(9)提供行業業務數據的大數據分析引擎;根據公司業務需求及數據特點,提供Spark分析計算框架,確保數據的并行計算和實時分析以及系統的響應效率;
(10)提供機器冷數據(非業務數據)的數據分析引擎和算法工具;
(11)提供基于HTML5等技術的系統頁面設計和展示;基于Echart、D3、Jquery等開源軟件實現豐富的圖表展現;
(12)能提供大數據云化服務平臺,封裝數據接口服務和大數據分析云服務以及大數據讀寫存儲云服務;
三、運營分析:
通過整合企業內部核心業務數據與外部產品數據,基于運營分析平臺匯總分析,最終輸出如圖3-1所示的分析匯總結果:
圖2 運營分析
圖2左上板塊呈現了企業營收及利潤數據,包括企業應收及回款,助于企業決策層了解企業財務狀態。
圖2右上板塊呈現了企業營銷數據,包括企業合同簽訂、市場各板塊銷售等,助于企業決策層了解企業營銷狀態,針對各板塊銷售占比高低不同制定相應的營銷策略。
圖2左中板塊呈現了企業生產數據,包括生產訂單的交付、資金占用等,助于企業決策層了解企業生產狀態,提供改進生產過程、提高生產效率的決策依據,如針對交付晚點的訂單,研究如何提高正點率;如對于資金占用額度大的訂單、資金周轉天數多的如何加快資金周轉效率等。
圖2右中板塊呈現了企業采購及庫存數據,包括采購正點、庫存資金積壓等情況,助于企業決策層了解企業采購及庫存狀態,提供改進采購過程、降低庫存積壓的決策依據,如針對采購到貨晚點的情況,研究如何提高正點率;如對于庫存積壓較大生產要素如何降低庫存、加快庫存資金周轉等。
圖2左下板塊呈現了企業產品故障數據,助于企業決策層了解企業產品的故障狀態, 對于占比較高的故障類別、排名靠前的故障產品型號,可以研究制定改進生產工藝,降低產品故障率的方法。
圖2右下板塊呈現了企業質量損失數據,助于企業決策層了解企業因產品質量問題導致的經濟損失的狀態,對于因質量問題導致經濟損失額度較高異常月份,可以形成重點關注。
綜上所述,通過直觀生動的展現方式,采用不同顏色的預警和異常提示,以整體視角呈現企業運營狀況,為企業決策提供直觀、數據化的有力參考依據。運營數據分析平臺是建設一套卓越的企業經營管理決策支持系統,深化數據應用,為滿足公司現階段的管理要求及未來業務發展的需求,提升公司整體信息化水平,進一步促進企業未來的快速發展。
四、參考文獻:
1、《制造企業ERP深化應用評價指標體系構建及綜合評價》 企業經濟 經營謀略 (2013年06期) 王婷; 陳曉;
2、《基于SAP BW系統的數據倉庫模型建設——數據倉庫技術在電力企業ERP中的應用》遼寧工程技術大學學報(社會科學版) (2014年02期) 陳頻;劉松先;
3、《大數據挖掘技術在企業ERP中的應用研究》
全拓數據研發中心簡介:
北京全拓聯合數據科技有限公司作為國家信息中心數字中國研究院常務副理事長單位,圍繞國家安全與經濟發展大局,積極探索政府、社會機構、企業協同采集數據、匯聚數據、加工數據、開放數據、運營數據的市場化模式,共同拓展市場化增值服務,全力打造業界領先的大數據分析平臺。
全拓數據研發中心作為公司技術創新體系的核心,按照培育一流技術創新能力的要求整合研發資源,探索并建立系統化的研發投入機制,主要負責新技術引進消化、技術與產品創新、應用提煉與升級、行業政策前瞻性研究。研發中心團隊專業、嚴謹、高效、團結、經驗豐富,在海量結構與非結構化數據集成、數據治理、數據倉庫建設、大規模并行計算、數據挖掘分析、自然語言處理等領域擁有豐富的研發經驗,在金融、電商、電子政務及制造業等行業積累了多年的咨詢與實施經驗。自研發中心設立以來通過不斷持續的自主創新、自主研發和產學研相結合,在金融、汽車、教育以及快消行業獲得豐富的技術成果,得到行業和客戶的廣泛認可。