數據治理治什麽?在(Exist)哪治?怎麽治?
今天我(I)們來(Come)探讨一(One)下關于(At)數據治理的(Of)靈魂三問:
1、數據治理治什麽,治的(Of)是(Yes)數據嗎?
2、數據治理在(Exist)哪裏治,中台還是(Yes)後台?
3、數據治理到底怎麽治?
一(One)、數據治理治的(Of)是(Yes)“數據”嗎?
數據是(Yes)指對客觀事件進行記錄并可以(By)鑒别的(Of)符号,是(Yes)對客觀事物的(Of)性質、狀态以(By)及相互關系等進行記載的(Of)物理符号或這(This)些物理符号的(Of)組合。其實在(Exist)我(I)看來(Come),數據可以(By)分爲(For)兩個(Indivual)部分,一(One)是(Yes)數字,二是(Yes)文字。數字是(Yes)沒有意義的(Of)抽象符号,數據是(Yes)有意義的(Of)數字。文字表意,數字表量,當兩者結合起來(Come),數據就産生了(Got it)。
在(Exist)我(I)們的(Of)生活和(And)工作(Do)當中,數據無處不(No)在(Exist)。對企業來(Come)講,有很多數據是(Yes)無關企業重大(Big)利益的(Of)數據,是(Yes)沒有治理的(Of)必要(Want)的(Of)。數據治理的(Of)對象必須是(Yes)重要(Want)的(Of)數據資源,是(Yes)關乎企業重大(Big)商業利益的(Of)數據資源,這(This)樣的(Of)數據資源可以(By)稱其爲(For)“數據資産”。正如北大(Big)教授王漢生先生所說:“數據治理不(No)是(Yes)對“數據”的(Of)治理,而是(Yes)對“數據資産”的(Of)治理,是(Yes)對數據資産所有相關方利益的(Of)協調與規範。”
我(I)們需要(Want)分開來(Come)理解這(This)句話:
①什麽是(Yes)數據資産?
②數據資産的(Of)相關利益方是(Yes)誰?
③協調與規範什麽?
先說一(One)說什麽是(Yes)數據資産。我(I)們說不(No)是(Yes)所有數據都是(Yes)數據資産,那到底什麽才是(Yes)數據資産呢?
《企業會計準則-基本準則》第20條規定:“資産是(Yes)指企業過去的(Of)交易或者事項形成的(Of)、由企業擁有或者控制的(Of)、預期會給企業帶來(Come)經濟利益的(Of)資源。” 如果照貓畫虎修改一(One)下,不(No)難獲得一(One)個(Indivual)關于(At)數據資産的(Of)定義:“數據資産是(Yes)指企業過去的(Of)交易或者事項形成的(Of),由企業擁有或者控制的(Of),預期會給企業帶來(Come)經濟利益的(Of)數據資源。”由此可見,數據要(Want)成爲(For)數據資産,至少要(Want)滿足3個(Indivual)核心必要(Want)條件:
①數據資産應該是(Yes)企業的(Of)交易或者事項形成的(Of);
②企業擁有或者控制;
③預期會給企業帶來(Come)經濟利益。
數據資産的(Of)利益相關方是(Yes)誰?
根據數據資産的(Of)定義,數據資産的(Of)利益相關方,包括:
①數據的(Of)生産者,即通過業務交易或事項産生數據的(Of)人(People)或組織。
②數據的(Of)擁有或控制者,生産數據的(Of)人(People)不(No)一(One)定是(Yes)擁有數據,就像我(I)們天天上(Superior)網的(Of)各種數據都不(No)歸我(I)們自己所有,而是(Yes)落在(Exist)了(Got it)各個(Indivual)互聯網公司的(Of)數據庫中。
③數據價值和(And)經濟利益的(Of)收益者。數據治理就是(Yes)對數據生産者、擁有或控制者,數據價值獲益者的(Of)規範和(And)協調。
都什麽是(Yes)需要(Want)協調和(And)規範?
首先是(Yes)數據的(Of)标準化,定義統一(One)的(Of)數據标準,“寫中國(Country)字、說普通話”讓數據資産的(Of)相關利益方在(Exist)同一(One)個(Indivual)“頻道”溝通。數據的(Of)标準化包含幾個(Indivual)層面:①數據模型标準化。②核心數據實體的(Of)标準化(主數據的(Of)标準化)。③關鍵指标的(Of)标準化。關于(At)數據标準化這(This)裏不(No)再展開,有需要(Want)深入了(Got it)解的(Of)朋友請參考筆者之前寫的(Of)文章:《數據治理系列3:數據标準管理》。
其次是(Yes)數據的(Of)确權。數據一(One)旦成爲(For)資産,就一(One)定有擁有方,或者實際控制人(People),可以(By)把他(He)們統稱産權人(People)。與實物不(No)同的(Of)是(Yes),實物的(Of)産權是(Yes)比較明确的(Of),數據則比較複雜。産品在(Exist)生産制造過程中,并沒有與消費者交易之前,制造商擁有完全産權。産品生産出(Out)來(Come)後,消費者通過購買支付相應的(Of)貨币,便擁有了(Got it)産品的(Of)産權。而數據的(Of)生産過程就不(No)一(One)樣了(Got it),我(I)們的(Of)各種上(Superior)網行爲(For)每天都會産生大(Big)量的(Of)數據,例如:網上(Superior)購物、浏覽網頁、使用(Use)地圖(Sitemap)、評論/評價……。這(This)些數據到底歸誰所有?控制權該如何治理?這(This)是(Yes)擺在(Exist)面前的(Of)一(One)個(Indivual)難題!我(I)們看到近幾年一(One)些不(No)良商家,利用(Use)我(I)們的(Of)上(Superior)網數據,導緻安全隐私洩密的(Of)事件也層出(Out)不(No)窮。希望随着技術和(And)商業的(Of)進步,盡快能夠找到解決方案!
第三是(Yes)流程的(Of)優化。數據治理的(Of)兩個(Indivual)目标:一(One)個(Indivual)是(Yes)提質量,一(One)個(Indivual)是(Yes)控安全。互聯網數據的(Of)确權目前已經是(Yes)一(One)個(Indivual)世界級難題,做好企業業務流程的(Of)優化可能會對隐私保護起到一(One)定的(Of)作(Do)用(Use)。通過業務流程優化,規範數據從産生、處理、使用(Use)到銷毀的(Of)整個(Indivual)生命周期,使得數據在(Exist)各階段、各流程環節安全可控,合規使用(Use)。另外,通過一(One)定的(Of)流程優化,通過對相關流程進行監管,按照數據的(Of)質量規則進行數據校驗,符合“垃圾進、垃圾出(Out)”的(Of)數據采集、處理、存儲原則,提升數據治理,賦能業務應用(Use)。
二、數據治理到底在(Exist)哪裏治?
關于(At)數據中台到底應該在(Exist)中台治理還是(Yes)應該在(Exist)後台治理,這(This)個(Indivual)話題在(Exist)筆者所在(Exist)的(Of)數據圈子中引起了(Got it)激烈的(Of)讨論。群裏參與讨論的(Of)都是(Yes)業界的(Of)大(Big)咖,讨論内容也十分精彩,我(I)截了(Got it)部分的(Of)截圖,先看看大(Big)咖們的(Of)觀點:
數據治理到底應該放在(Exist)中台,還是(Yes)後台,我(I)個(Indivual)人(People)的(Of)理解是(Yes):小數據标準化治理靠人(People)工、大(Big)數據預測性分析靠智能,将兩者結合起來(Come):“人(People)工+智能”形成了(Got it)完整的(Of)數據治理技術體系。一(One)個(Indivual)企業的(Of)數據治理既離不(No)開小數據的(Of)标準化治理,也離不(No)開大(Big)數據的(Of)預測性分析。
這(This)裏的(Of)小數據,是(Yes)在(Exist)承載事物實體的(Of)數據,例如:人(People)、财、物等,是(Yes)企業所有業務開展的(Of)載體。其實說白了(Got it)就是(Yes)主數據管理。對于(At)主數據的(Of)治理筆者認爲(For)是(Yes)一(One)個(Indivual)後台行爲(For),治理核心是(Yes)“唯一(One)數據源、統一(One)數據标準”,而要(Want)達到這(This)一(One)目标是(Yes)需要(Want)從數據的(Of)源頭抓起的(Of),并且需要(Want)大(Big)量的(Of)人(People)爲(For)幹預,比如:數據标準的(Of)制定和(And)落實,數據質量的(Of)清洗,數據的(Of)申請審批,數據的(Of)分發和(And)共享等。從這(This)裏也能夠看出(Out)小數據的(Of)治理,追求的(Of)是(Yes)标準化、精确化,應該是(Yes)一(One)個(Indivual)後台行爲(For)。
而在(Exist)大(Big)數據時(Hour)代,得益于(At)大(Big)數據技術的(Of)突破,大(Big)量的(Of)結構化、非結構化、異構化的(Of)數據能夠得到儲存、處理、計算和(And)分析,這(This)一(One)方面提升了(Got it)我(I)們從海量數據中獲取知識和(And)洞見的(Of)能力。對于(At)大(Big)數據,傳統的(Of)一(One)味追求精确的(Of)思維受到了(Got it)挑戰。而對于(At)大(Big)數據的(Of)治理,允許一(One)定程度上(Superior)的(Of)容錯,反而可以(By)在(Exist)宏觀層面擁有更好的(Of)知識和(And)洞察力。對于(At)大(Big)數據的(Of)治理更多的(Of)是(Yes)采用(Use)AI技術,例如:知識圖譜、語音識别等,對大(Big)數據的(Of)采集、處理、使用(Use)過程加以(By)控制,使其能夠合規使用(Use)。所以(By),大(Big)數據的(Of)治理放在(Exist)中台似乎更爲(For)合适。
三、數據治理到底應該怎麽治?
數據到底怎麽治,這(This)确實是(Yes)一(One)個(Indivual)寬泛的(Of)話題,首先是(Yes)要(Want)明确治理的(Of)内容。針對不(No)同的(Of)治理内容采取不(No)同的(Of)數據治理策略。關于(At)小數據和(And)大(Big)數據的(Of)治理側重點上(Superior)文已經說明。以(By)下爲(For)筆者在(Exist)數據治理領域總結的(Of)數據治理十大(Big)關鍵實踐:
1、成立組織,育人(People)才
數據治理的(Of)根本目标的(Of)是(Yes)提升數據質量,控制數據安全和(And)合規使用(Use)。數據治理涉及範圍廣,參與人(People)員多,需要(Want)一(One)定的(Of)組織和(And)制度的(Of)保障才可能獲得成功。首先,依據行業經驗來(Come)看,不(No)論是(Yes)基于(At)後台的(Of)小數據治理,還是(Yes)基于(At)中台的(Of)大(Big)數據治理,“一(One)把手”工程是(Yes)數據治理組織建設的(Of)最佳實踐。尤其是(Yes)中台數據治理更是(Yes)上(Superior)升至企業戰略層面,自下而上(Superior)的(Of)治理幾乎不(No)太可能成功。其次,數據治理組織的(Of)建立并是(Yes)組建一(One)個(Indivual)非臨時(Hour)團隊,而是(Yes)要(Want)能夠支撐企業數據化業務的(Of)一(One)個(Indivual)完整體系,包括:組織體系、管理體系、執行體系、技術體系等。第三,數據治理組織的(Of)人(People)員選拔和(And)人(People)才培養,不(No)同企業應有不(No)同的(Of)策略。一(One)般來(Come)說,建立數據治理組織從企業内部進行選拔相應的(Of)技術專家、業務專家更爲(For)合适,要(Want)比從外部招聘更能夠快速上(Superior)手。不(No)過,對于(At)傳統企業,其内部更偏管理,數據治理團隊建設更多需要(Want)借助外部力量。
2、需求調研,摸家底
與數據項目一(One)樣,詳細需求調研是(Yes)開展數據治理工作(Do)的(Of)第一(One)階段的(Of)重要(Want)工作(Do)。本階段主要(Want)是(Yes)理解企業的(Of)戰略,并按照從上(Superior)而下的(Of)策略進行開展企業數據管理的(Of)現狀調研,摸清楚企業數據資産的(Of)分布、數據的(Of)質量、數據的(Of)管理現狀、數據應用(Use)需求等情況。該階段的(Of)工作(Do)目标是(Yes)确定數據治理項目的(Of)目标和(And)範圍,評估數據治理成熟度,确定改進内容和(And)方向并與客戶達成共識。
3、梳理數據,建标準
按照業務主題進行數據資産的(Of)梳理,并制定數據資産的(Of)标準。首先,定義數據資産元模型标準,包括:數據資産的(Of)數據含義、業務規則、質量規則、數據來(Come)源、存儲路徑、管理部門、管理人(People)等,即數據資産的(Of)元數據标準,定義好數據模型是(Yes)數據治理成功落地的(Of)重要(Want)前提;其次,重點對企業的(Of)核心數據資産——主數據進行标準化,包括:主數據标準化定義、參照字典的(Of)标準化、數據清洗、數據服務共享等;第三,對業務指标的(Of)屬性的(Of)标準化,指标的(Of)屬性分爲(For)“業務屬性”和(And)“技術屬性”兩類,業務屬性包含業務人(People)員通常認識的(Of)指标分類、名稱、計算公式、展現方式和(And)查詢權限等;技術屬性包含技術運維人(People)員所關心的(Of)系統來(Come)源、取數字段、取數頻率、加工規則等,其核心也是(Yes)元數據管理。
4、優化流程,定制度
對于(At)企業而言,數據來(Come)源于(At)很多方面,内部數據如财務、人(People)力、供應鏈、生産、銷售等;外部數據如政治、經濟、社會、科技、行業、市場、競争對手等。雖然數據來(Come)源廣、數據量大(Big)是(Yes)優點,但如果不(No)加以(By)整理和(And)關聯,雜亂無章的(Of)數據不(No)僅不(No)利于(At)分析應用(Use),還将帶來(Come)不(No)必要(Want)的(Of)人(People)财物的(Of)消耗。所以(By),非常有必要(Want)對數據産生、采集、處理、加工、使用(Use)等過程進行規範。通過統一(One)數據标準,制定合理的(Of)數據管理流程和(And)制度,規範數據生産供應的(Of)過程。
5、搭建平台,接數據
數據治理平台的(Of)搭建要(Want)根據不(No)同的(Of)客戶需求搭建不(No)同模塊,數據治理平台主要(Want)涵蓋功能模塊有:元數據管理、主數據管理、數據質量管理、數據标準管理、數據安全管理、數據模型工具、ETL工具等。數據接入是(Yes)将各種來(Come)源、各種類型的(Of)數據,通過數據集成工具将這(This)些零散的(Of)數據整合在(Exist)一(One)起,納入統一(One)的(Of)大(Big)數據平平台或數據倉庫中,這(This)一(One)過程需要(Want)符合數據治理平台定義各種數據标準、質量規則、安全指标。所以(By),我(I)們說數據治理項目不(No)是(Yes)爲(For)了(Got it)治理數據而建設的(Of),而是(Yes)配合大(Big)數據平台、數據倉庫、數據分析挖掘等項目,通過提升數據質量、控制數據安全,讓數據發揮出(Out)最大(Big)的(Of)效益。
6、建立指标,提質量
提升數據質量是(Yes)企業數據治理的(Of)重要(Want)目标,也是(Yes)企業進行數據分析挖掘、業務管理和(And)決策的(Of)重要(Want)基礎,隻有建立完整的(Of)數據質量體系,才能有效提升企業數據整體質量,從而更好的(Of)爲(For)業務服務。從技術面上(Superior)講,定義完整全面的(Of)數據質量的(Of)評估維度,包括完整性、時(Hour)效性等,并按照已定義的(Of)維度,在(Exist)系統建設的(Of)各個(Indivual)階段都應該根據标準進行數據質量檢測和(And)規範,及時(Hour)進行治理,避免事後的(Of)清洗工作(Do)。
7、優化模型,控安全
數據安全治理,始于(At)數據資産梳理。通過對數據資産的(Of)梳理,可以(By)确定敏感數據在(Exist)系統内部的(Of)分布、确定敏感數據是(Yes)如何被訪問的(Of)、确定當前的(Of)賬号和(And)授權的(Of)狀況。根據企業的(Of)數據價值和(And)特征,梳理出(Out)企業的(Of)核心數據資産,對其分級分類,通過數據治理工具進行建模,定義敏感數據位置、描述和(And)處理方式,保證數據的(Of)合規合法使用(Use)。
8、開放服務,促應用(Use)
數據的(Of)治理是(Yes)爲(For)促進數據更好的(Of)應用(Use),一(One)切不(No)以(By)應用(Use)爲(For)目的(Of)數據治理都是(Yes)耍流氓。通過數據資産目錄、微服務等技術将數據進行開發共享,促進數據在(Exist)企業中的(Of)應用(Use),使得數據作(Do)爲(For)企業的(Of)寶貴資産應用(Use)于(At)業務、管理和(And)戰略決策中,發揮數據資産價值。
9、賦能業務,抓創新
數據賦能是(Yes)在(Exist)管理和(And)業務應用(Use)中發揮數據更大(Big)的(Of)價值,以(By)數據驅動業務的(Of)落地。數據賦能核心是(Yes),①彙聚數據:完善企業内部信息數據化,采集外部數據;②治理數據:整合數據,清洗、轉換、分析、服務;③應用(Use)數據:以(By)數據爲(For)驅動将洞察結果應用(Use)到實際業務中去,推動企業業務和(And)管理的(Of)創新。
10、持續優化,再出(Out)發
筆者認爲(For)企業的(Of)數據治理是(Yes)一(One)個(Indivual)螺旋上(Superior)升模型,需要(Want)不(No)斷的(Of)叠代和(And)優化。數據治理不(No)能一(One)蹴而就,需要(Want)建立起長效的(Of)持續運營機制,要(Want)将數據治理變成企業的(Of)一(One)種機制、一(One)種文化、一(One)種習慣,而數據治理每一(One)次叠代優化都預示着企業數據戰略目标的(Of)再出(Out)發!