序言：寫(xiě)作是分享個(gè)人見(jiàn)解和探索未知領(lǐng)域的橋梁，我們?yōu)槟x了8篇的電商數(shù)據(jù)分析報(bào)告樣本，期待這些樣本能夠?yàn)槟峁┴S富的參考和啟發(fā)，請(qǐng)盡情閱讀。

第1篇

【關(guān)鍵詞】數(shù)據(jù)管控 元數(shù)據(jù) 數(shù)據(jù)質(zhì)量 數(shù)據(jù)生命周期 數(shù)據(jù)安全

中圖分類(lèi)號(hào)：TP315 文獻(xiàn)標(biāo)識(shí)碼：B 文章編號(hào)：1006-1010（2014）-13-0010-05

1 引言

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)是企業(yè)的核心戰(zhàn)略資產(chǎn)，隨著電信運(yùn)營(yíng)商大數(shù)據(jù)平臺(tái)建設(shè)和應(yīng)用的推廣，大數(shù)據(jù)的“5V”典型特征（Volume、Variety、Velocity、Veracity、Value）對(duì)現(xiàn)有的數(shù)據(jù)管控體系提出了新的挑戰(zhàn)[1-2]，數(shù)據(jù)不準(zhǔn)確、同一數(shù)據(jù)在多個(gè)系統(tǒng)或應(yīng)用中重復(fù)出現(xiàn)且不一致、數(shù)據(jù)定義或數(shù)據(jù)項(xiàng)缺失、數(shù)據(jù)屬性不完整、數(shù)據(jù)生成不及時(shí)、數(shù)據(jù)含義不清晰等“錯(cuò)、重、缺、慢、亂”問(wèn)題逐漸暴露，其原因主要來(lái)自以下4個(gè)方面：

（1）在信息體系方面，元數(shù)據(jù)平臺(tái)能力顯性化不足，數(shù)據(jù)生命周期管理分散。由于運(yùn)營(yíng)商大數(shù)據(jù)平臺(tái)的數(shù)據(jù)源來(lái)自于各個(gè)分散的內(nèi)部IT系統(tǒng)、業(yè)務(wù)平臺(tái)、通信網(wǎng)絡(luò)、互聯(lián)網(wǎng)和外部合作伙伴，元數(shù)據(jù)管理不全面且未平臺(tái)化，各數(shù)據(jù)源的系統(tǒng)信息架構(gòu)不一致，數(shù)據(jù)模型不固化，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、不清晰，指標(biāo)口徑存在差異，數(shù)據(jù)加工規(guī)則、映射關(guān)系不準(zhǔn)確。

（2）在技術(shù)實(shí)現(xiàn)方面，缺乏貫穿數(shù)據(jù)流轉(zhuǎn)全程監(jiān)控平臺(tái)，主要依賴各分包廠商自行保障數(shù)據(jù)質(zhì)量，技術(shù)體系分散，無(wú)法銜接?？偛繉?duì)各省業(yè)務(wù)系統(tǒng)（數(shù)據(jù)源）環(huán)境了解不全面；數(shù)據(jù)采集過(guò)程存在數(shù)據(jù)傳輸延遲、數(shù)據(jù)傳輸失真的現(xiàn)象，缺乏數(shù)據(jù)稽核規(guī)則、數(shù)據(jù)異常處理規(guī)則；數(shù)據(jù)加工過(guò)程中，數(shù)據(jù)處理方法不合理，數(shù)據(jù)整合能力不強(qiáng)，數(shù)據(jù)服務(wù)缺乏節(jié)奏控制；數(shù)據(jù)后，缺少監(jiān)控及管理措施；此外，還缺乏有效的數(shù)據(jù)備份恢復(fù)機(jī)制；沒(méi)有平衡好數(shù)據(jù)安全、生產(chǎn)效率和使用方便之間的矛盾，對(duì)敏感數(shù)據(jù)的定義、范圍也有待規(guī)范化。

（3）在流程執(zhí)行方面，缺乏企業(yè)級(jí)數(shù)據(jù)質(zhì)量保障流程及考核機(jī)制，各廠商間的數(shù)據(jù)質(zhì)量管理項(xiàng)目流程缺乏協(xié)同。數(shù)據(jù)采集過(guò)程中，缺失數(shù)據(jù)錄入審核流程，存在部分省份人為調(diào)整數(shù)據(jù)的現(xiàn)象；數(shù)據(jù)流轉(zhuǎn)的流程不暢，部分省份數(shù)據(jù)上傳流程有問(wèn)題；數(shù)據(jù)加工過(guò)程中，缺乏數(shù)據(jù)稽核流程，數(shù)據(jù)維護(hù)、調(diào)整流程執(zhí)行力不強(qiáng)，監(jiān)控不嚴(yán)格。

（4）在管理措施方面，缺乏企業(yè)級(jí)數(shù)據(jù)管控組織、責(zé)任和培訓(xùn)體系。缺乏人員獎(jiǎng)懲機(jī)制，部分省份貫徹規(guī)范不力；人員培訓(xùn)不到位，基層人員缺乏相關(guān)技能，各省支撐能力存在差異。

為解決這些問(wèn)題，運(yùn)營(yíng)商亟需完善其數(shù)據(jù)管控平臺(tái)，擴(kuò)展數(shù)據(jù)管控能力，深入前移數(shù)據(jù)管控節(jié)點(diǎn)、完善數(shù)據(jù)管控范圍，建立起一套企業(yè)級(jí)的數(shù)據(jù)管控體系，實(shí)現(xiàn)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)剛性落地，加強(qiáng)數(shù)據(jù)生產(chǎn)、加工、使用全過(guò)程的透明管控，有效預(yù)防、監(jiān)控、分析和處理數(shù)據(jù)質(zhì)量問(wèn)題。

2 運(yùn)營(yíng)商企業(yè)級(jí)數(shù)據(jù)管控體系

電信運(yùn)營(yíng)商的企業(yè)級(jí)數(shù)據(jù)管控體系目標(biāo)是實(shí)現(xiàn)智能化、自動(dòng)化的數(shù)據(jù)管控，從生產(chǎn)源頭進(jìn)行監(jiān)控并提升數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)剛性落地、數(shù)據(jù)生產(chǎn)加工全過(guò)程透明管控，并具備質(zhì)量問(wèn)題預(yù)測(cè)能力[3-5]。

數(shù)據(jù)管控體系可以分為管理域、核心域和支撐域這3個(gè)域，各個(gè)領(lǐng)域之間既相互聯(lián)系，又具有相對(duì)的獨(dú)立性，如圖1所示。其中，管理域?qū)崿F(xiàn)數(shù)據(jù)管控組織、崗位、流程的管理和考核；核心域?qū)崿F(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的預(yù)防、監(jiān)控、分析和數(shù)據(jù)問(wèn)題處理；通過(guò)支撐域完成底層技術(shù)實(shí)現(xiàn)，支撐域?qū)崿F(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理與元數(shù)據(jù)管理，是數(shù)據(jù)管控平臺(tái)的底層技術(shù)支撐。

對(duì)電信運(yùn)營(yíng)商而言，數(shù)據(jù)質(zhì)量問(wèn)題是最大的痛點(diǎn)。數(shù)據(jù)質(zhì)量與其他管控領(lǐng)域的互動(dòng)最為密切，因此建議運(yùn)營(yíng)商將數(shù)據(jù)管控以數(shù)據(jù)質(zhì)量為中心。數(shù)據(jù)質(zhì)量管理的目標(biāo)是實(shí)現(xiàn)從數(shù)據(jù)生成到數(shù)據(jù)加工及應(yīng)用全過(guò)程的透明管控，預(yù)防、監(jiān)控、分析、處理數(shù)據(jù)質(zhì)量問(wèn)題。

數(shù)據(jù)質(zhì)量管理由數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量問(wèn)題分析和數(shù)據(jù)質(zhì)量問(wèn)題處理構(gòu)成。

（1）數(shù)據(jù)質(zhì)量監(jiān)控主要包括：數(shù)據(jù)管控平臺(tái)與納管系統(tǒng)間的接口傳輸和采集監(jiān)控，實(shí)現(xiàn)接口文件級(jí)校驗(yàn)、接口文件記錄級(jí)校驗(yàn)和接口及時(shí)性監(jiān)控，對(duì)接口上傳數(shù)據(jù)是否及時(shí)（包括遲傳或者未傳）、接口上傳數(shù)據(jù)是否重傳、接口上傳數(shù)據(jù)重傳次數(shù)等進(jìn)行監(jiān)控；指標(biāo)的邏輯性、完整性、一致性和及時(shí)性檢查以及波動(dòng)監(jiān)控；統(tǒng)一編碼變更監(jiān)控、編碼映射關(guān)系變更監(jiān)控；模型變更監(jiān)控和模型一致性檢查；實(shí)體變更監(jiān)控、實(shí)體完整性監(jiān)控，監(jiān)控各個(gè)業(yè)務(wù)系統(tǒng)（特別是已經(jīng)正式上線運(yùn)行的業(yè)務(wù)系統(tǒng)）數(shù)據(jù)庫(kù)的實(shí)體對(duì)象及其變更情況；數(shù)據(jù)加工、數(shù)據(jù)稽核、數(shù)據(jù)和頁(yè)面監(jiān)控等。

（2）數(shù)據(jù)質(zhì)量問(wèn)題分析主要包括：數(shù)據(jù)質(zhì)量問(wèn)題自動(dòng)定位，根據(jù)數(shù)據(jù)加工過(guò)程鏈路關(guān)系圖、接口采集鏈路關(guān)系圖、數(shù)據(jù)稽核鏈路關(guān)系圖（按血緣關(guān)系配置）、編碼或?qū)嶓w鏈路關(guān)系圖（按血緣關(guān)系配置），設(shè)置重點(diǎn)監(jiān)控節(jié)點(diǎn)，并對(duì)重點(diǎn)監(jiān)控節(jié)點(diǎn)進(jìn)行監(jiān)控預(yù)警規(guī)則配置，對(duì)出現(xiàn)質(zhì)量告警的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)質(zhì)量狀況分析以及血統(tǒng)分析，找到問(wèn)題出現(xiàn)的根源節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量問(wèn)題的快速定位。數(shù)據(jù)質(zhì)量問(wèn)題分析，可采用編碼映射影響分析，指標(biāo)口徑影響分析，問(wèn)題分析報(bào)告管理，數(shù)據(jù)質(zhì)量報(bào)告管理等。

（3）數(shù)據(jù)質(zhì)量問(wèn)題處理則主要負(fù)責(zé)根據(jù)數(shù)據(jù)質(zhì)量問(wèn)題報(bào)告的問(wèn)題列表和問(wèn)題明細(xì)列表，完成數(shù)據(jù)質(zhì)量問(wèn)題工單的生成、分配、派發(fā)、接收、協(xié)同處理、反饋、結(jié)果評(píng)估和知識(shí)沉淀。數(shù)據(jù)質(zhì)量監(jiān)控如遇異常情況，會(huì)自動(dòng)觸發(fā)質(zhì)量問(wèn)題分析流程、數(shù)據(jù)問(wèn)題處理流程以及通知流程，并支持?jǐn)?shù)據(jù)質(zhì)量監(jiān)控報(bào)告的自動(dòng)生成。

數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)管控的關(guān)鍵點(diǎn)包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)生命周期管理和數(shù)據(jù)安全管理。

（1）數(shù)據(jù)標(biāo)準(zhǔn)管理的目標(biāo)是建設(shè)企業(yè)級(jí)的數(shù)據(jù)標(biāo)準(zhǔn)體系，規(guī)范企業(yè)數(shù)據(jù)管理流程和制度，在全企業(yè)各IT系統(tǒng)落地執(zhí)行，實(shí)現(xiàn)標(biāo)準(zhǔn)（包括基本指標(biāo)、維度、指標(biāo)樹(shù)、編碼、模型）管理、檢索和比對(duì)，以及標(biāo)準(zhǔn)執(zhí)行日常核查和應(yīng)用上線標(biāo)準(zhǔn)化審核等核心支撐能力。其中，應(yīng)用上線標(biāo)準(zhǔn)化審核是基于指標(biāo)比對(duì)、編碼比對(duì)和模型比對(duì)等功能，檢查、審核新上線應(yīng)用的指標(biāo)、編碼、模型等是否遵從企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)要求，從源頭上管控企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行。標(biāo)準(zhǔn)執(zhí)行日常核查則是從多個(gè)維度，針對(duì)已運(yùn)行的納管生產(chǎn)系統(tǒng)選取抽樣的生產(chǎn)模型、編碼對(duì)象進(jìn)行比對(duì)，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化執(zhí)行結(jié)果的常態(tài)化檢查機(jī)制。

（2）元數(shù)據(jù)管理的目標(biāo)是顯性化支撐企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化，提供元數(shù)據(jù)采集、信息維護(hù)和變更管理，以及元數(shù)據(jù)地圖分析、血統(tǒng)分析、影響分析、活躍度分析、冗余性分析和實(shí)體差異分析等元數(shù)據(jù)基礎(chǔ)應(yīng)用，為數(shù)據(jù)管控體系的數(shù)據(jù)導(dǎo)入、維護(hù)、質(zhì)量管理、數(shù)據(jù)分析提供基礎(chǔ)。

其中，數(shù)據(jù)地圖分析是以拓?fù)鋱D的形式對(duì)數(shù)據(jù)管控平臺(tái)納管系統(tǒng)的各類(lèi)數(shù)據(jù)實(shí)體、數(shù)據(jù)處理過(guò)程的元數(shù)據(jù)進(jìn)行分層次的圖形化展現(xiàn)，并通過(guò)不同層次的圖形展現(xiàn)粒度控制；血統(tǒng)分析幫助了解業(yè)務(wù)流程，檢查指標(biāo)數(shù)據(jù)，驗(yàn)證指標(biāo)實(shí)際加工過(guò)程是否滿足指標(biāo)計(jì)算口徑的定義，達(dá)到對(duì)質(zhì)量進(jìn)行輔助檢查的作用；影響分析幫助發(fā)現(xiàn)因某個(gè)實(shí)體發(fā)生變化或修改時(shí)可能會(huì)受到影響的實(shí)體，并評(píng)估這個(gè)范圍，進(jìn)行優(yōu)化整理；活躍度分析顯示哪些指標(biāo)的運(yùn)行效率、穩(wěn)定性等對(duì)系統(tǒng)的影響相對(duì)更大，需要重點(diǎn)保障，降低系統(tǒng)的風(fēng)險(xiǎn)指數(shù)；冗余性分析從業(yè)務(wù)規(guī)則、實(shí)體定義、業(yè)務(wù)定義等元數(shù)據(jù)角度去審查數(shù)據(jù)是否冗余，并將冗余數(shù)據(jù)以列表的形式展示處理，并支持?jǐn)?shù)據(jù)導(dǎo)出；實(shí)體差異分析實(shí)現(xiàn)2個(gè)實(shí)體屬性與血統(tǒng)鏈路圖的差異性比較，從而幫助客戶選擇合適的統(tǒng)計(jì)口徑。

（3）數(shù)據(jù)生命周期管理的目標(biāo)是將存儲(chǔ)分級(jí)管理規(guī)范化，降低成本，實(shí)現(xiàn)完善的遷移方案，規(guī)范生產(chǎn)應(yīng)用遷移需求，實(shí)現(xiàn)歸檔數(shù)據(jù)的自查詢能力，提升歷史高價(jià)值數(shù)據(jù)的再利用支撐能力。數(shù)據(jù)生命周期管理由配置管理、執(zhí)行管理和執(zhí)行監(jiān)控分析構(gòu)成。

配置管理包括：對(duì)象管理，確定數(shù)據(jù)生命周期管理的對(duì)象；要素管理，負(fù)責(zé)配置價(jià)值要素、時(shí)效要素、成本要素、風(fēng)險(xiǎn)要素等；策略管理，配置數(shù)據(jù)的分級(jí)存儲(chǔ)策略（在線/近線/離線的階段和周期）、備份策略（時(shí)間、地址、對(duì)象、條件）、壓縮策略（壓縮對(duì)象、壓縮比、壓縮執(zhí)行時(shí)間）等；設(shè)備管理，維護(hù)管理被管控的數(shù)據(jù)對(duì)象所涉及的存儲(chǔ)設(shè)備信息；策略映射管理，將要素、策略和設(shè)備信息等映射到具體的數(shù)據(jù)對(duì)象上，形成最終可執(zhí)行的具體的數(shù)據(jù)生命周期管理規(guī)則。

執(zhí)行管理實(shí)現(xiàn)企業(yè)級(jí)的數(shù)據(jù)壓縮、備份、分級(jí)存儲(chǔ)、清理等數(shù)據(jù)生命周期過(guò)程的調(diào)度、執(zhí)行和控制管理。

執(zhí)行監(jiān)控分析主要對(duì)備份、分級(jí)存儲(chǔ)、壓縮等執(zhí)行結(jié)果進(jìn)行顯性化監(jiān)控和分析，可對(duì)具體的數(shù)據(jù)對(duì)象的各種存儲(chǔ)分級(jí)狀態(tài)（在線/近線/離線）進(jìn)行分析。

（4）數(shù)據(jù)安全管理的目標(biāo)是提升敏感數(shù)據(jù)訪問(wèn)控制、保證系統(tǒng)操作安全、加強(qiáng)應(yīng)用訪問(wèn)權(quán)限等能力，在不降低安全支撐能力的基礎(chǔ)上，提升數(shù)據(jù)提供效率。數(shù)據(jù)安全管理由權(quán)限管理、加密管理和數(shù)據(jù)安全日志分析構(gòu)成。權(quán)限管理包括數(shù)據(jù)用戶安全和開(kāi)發(fā)/維護(hù)過(guò)程安全。加密管理包括關(guān)鍵數(shù)據(jù)加密管理、密鑰管理、加密內(nèi)容查詢和加密算法管理。數(shù)據(jù)安全日志分析包括敏感數(shù)據(jù)訪問(wèn)分析、應(yīng)用訪問(wèn)日志監(jiān)控、主機(jī)操作監(jiān)控、異常操作數(shù)據(jù)庫(kù)分析、數(shù)據(jù)操作監(jiān)控和異常下載預(yù)警等。

3 運(yùn)營(yíng)商數(shù)據(jù)管控組織架構(gòu)

對(duì)照電信運(yùn)營(yíng)商的企業(yè)組織架構(gòu)，數(shù)據(jù)管控建議采用“一級(jí)管理、二級(jí)維護(hù)、三級(jí)應(yīng)用”的模式，數(shù)據(jù)管控組織覆蓋集團(tuán)總部和省分公司，包括數(shù)據(jù)管理域和生產(chǎn)業(yè)務(wù)域，組織架構(gòu)圖如圖2所示。

運(yùn)營(yíng)商數(shù)據(jù)管控組織架構(gòu)中各角色的職責(zé)如表1所示。

為保障數(shù)據(jù)管控工作的有序開(kāi)展，需要建立相應(yīng)的數(shù)據(jù)管控流程、培訓(xùn)和考核制度，規(guī)范數(shù)據(jù)管控流程，定期開(kāi)展數(shù)據(jù)管控培訓(xùn)，全面考核數(shù)據(jù)管控相關(guān)角色的支撐能力，確保數(shù)據(jù)質(zhì)量的可靠性、有效性和權(quán)威性?？己酥芷诳梢苑譃樵露瓤己?、季度考核、年度考核。在考核初期，考核人為被考核人制定考核計(jì)劃，明確考核內(nèi)容和考核規(guī)則，考核計(jì)劃需經(jīng)過(guò)被考核人確認(rèn)和上級(jí)領(lǐng)導(dǎo)批準(zhǔn)；在考核期末，可以先由被考核人自評(píng)，然后考核人根據(jù)被考核人的表現(xiàn)和指標(biāo)，為考核人打分，考核結(jié)果經(jīng)過(guò)被考核人確認(rèn)和上級(jí)領(lǐng)導(dǎo)批準(zhǔn)后生效，考核結(jié)果作為員工定崗、升職和獎(jiǎng)金發(fā)放的依據(jù)。考核方式可以采用主觀考核和客觀考核2種方式，數(shù)據(jù)管控平臺(tái)能夠提供數(shù)據(jù)的內(nèi)容的，采用客觀量化考核，并由平臺(tái)周期性自動(dòng)執(zhí)行，對(duì)于系統(tǒng)不能夠提供數(shù)據(jù)的內(nèi)容，由相關(guān)管理人員人工打分。

4 結(jié)束語(yǔ)

企業(yè)級(jí)數(shù)據(jù)管控體系的建立、完善和維護(hù)，在采用先進(jìn)技術(shù)手段建立數(shù)據(jù)管控平臺(tái)的同時(shí)，更需要建立起配套的企業(yè)級(jí)數(shù)據(jù)管控組織、責(zé)任、流程、培訓(xùn)和考核體系。

鑒于運(yùn)營(yíng)商目前已經(jīng)累積了大量的數(shù)據(jù)管控問(wèn)題并不斷產(chǎn)生新問(wèn)題，需要分2步解決數(shù)據(jù)管控問(wèn)題，一是數(shù)據(jù)管控環(huán)境初始化，有效解決歷史質(zhì)量問(wèn)題，形成經(jīng)驗(yàn)規(guī)則；二是在歷史經(jīng)驗(yàn)規(guī)則的基礎(chǔ)上不斷優(yōu)化，這將是一個(gè)長(zhǎng)期的過(guò)程，應(yīng)該得到領(lǐng)導(dǎo)層的高度重視和有效參與。

參考文獻(xiàn)：

[1] 童曉渝，張?jiān)朴?，房秉毅，? 大數(shù)據(jù)時(shí)代電信運(yùn)營(yíng)商的機(jī)遇[J]. 信息通信技術(shù)， 2013（1）： 6-9.

[2] 李勇，曹文娟. 電信運(yùn)營(yíng)商大數(shù)據(jù)策略的“攻”與“防”[J]. 通訊世界， 2013（4）： 39-40.

[3] 葉丹. 初探電信運(yùn)營(yíng)商數(shù)據(jù)管控體系[J]. 通信世界， 2009（43）： 12-13.

[4] 李曉東. 電力企業(yè)數(shù)據(jù)中心數(shù)據(jù)管控的研究與應(yīng)用[J]. 電力信息化， 2012（8）： 60-64.

[5] 賈紅龍. 論煙草行業(yè)數(shù)據(jù)中心建設(shè)中的數(shù)據(jù)質(zhì)量管理[J]. 信息技術(shù)與信息化， 2009（6）： 33-38.

作者簡(jiǎn)介