編輯導讀:數據治理是指企業的數據架構、數據標準、數據質量、數據安全等領域的建設和管理的全流程。作為一個數據工作者,無論公司數據體量大或小,都應該具備數據治理的能力。本文從自身經驗出發,分析如何構建企業級數據治理體系,希望對你有幫助。
通常我在做數據架構的時候,都會在旁邊加一個“數據治理”。但是吧,大多數時候都只是寫寫而已。因為這個數據治理太費勁了,短期內吃力不討好,長期才能見效,但是又不足為外人道也。就像是好媳婦把家里拾掇的干干凈凈利利索索的,外人看來,最多夸一句“家里真干凈”,卻不會說你這是大才,
上圖是數據架構示例,數據治理是其中非常重要的一部分,它的意義決定了上層應用的可用性,甚至決定了項目的成敗。很多數據項目建完之后,老板都有一個非常顯著的感覺:花幾十萬建的系統,還沒有秘書好用。這是為啥呢?
一、“數據治理”到底有什么用?
一句話解釋:“數據治理”往大了說,是進行企業的數據架構、數據標準、數據質量、數據安全等領域的建設和管理的全流程;往小了說,是在數據管理和使用層面之上進行規劃、監督和控制。
嗯,你理解的沒錯,通常在數據體量較大的公司,數據治理才會被提上桌面。但是作為一個數據工作者,我認為無論你有多少數據–哪怕只是記手賬–都需要進行數據治理。一個追求完美的數據工作者,應該要有數據潔癖。
二、“數據治理”應該做什么?
其實絕大多數事情,早已經有無數人在研究,也有很多的研究成果,稍微收集一下就會有很多很多的資料,
目前大陸外數據治理的理論及規范:
國外:
- CWM 1.1
- MOF
- DAMA- DMBok
- DMM
大陸:
- DMCM
- DCMM
在數據質量國家標準《GB/T 36073-2018》數據管理能力成熟度評估模型中定義,應該從數據戰略、數據治理、數據架構、數據標準、數據生命周期、數據應用、數據質量、數據安全等八大方面進行評估,
在《DAMA-DMBOK職能框架》中,定義了10個主要的數據管理職能:
這兩張圖可以貼到你的ppt里面去,讓你的領導看看數據治理是一個多么龐大的體系,
三、“數據治理”應該怎么做?
偷偷告訴你一個小技巧,有一個大帽子蓋在前面,就方便咱做事,這招屢試不靈。
前面兩張圖,給你提供了一個巨大的帽子,但是怎么落實呢?這就可大可小,隨心控制了,
我再給你扔一張圖:
如果,你的公司啥都沒有,就幾個數據工程師,老板說要建數據中臺,那么你有兩種選擇:離職;堅持,一定要堅持,堅持看完整個項目的失敗,這樣你就能經歷一個完整的失敗案例。
扯回來。如果公司要讓你做數據治理、數據管理、數據戰略等事情,你就照著上面的表格去寫就好了。
第一階段:其實就是各種規劃
- 首要的事情肯定是組織保障,啥話不說,先招幾十號人來,人越多,你的位置越穩(來自于互聯網摸魚大法,笑^_^);
- 然后是各種流程、標準、制度建設,數據安全管理制度、數據處理流程、數據提取流程、元數據標準、主數據標準等。
- 還有各種摸底,數據資源梳理、數據需求梳理等等,
第二階段:其實就是各種建設
- 根據元數據標準、主數據標準,建設元數據、主數據
- 根據數據處理流程、數據提取流程、數據需求梳理結果,建設各種固定報表、即席查詢等內容
- 根據數據資源梳理結果,進行數倉的規劃和建設
第三階段:其實就是上各種平臺
- 建設數據地圖、血緣分析、數據資產目錄等,將數據資產化
- 進行數據開放,進行各種AI探索
- 其實上面的建完了,基本上能打通的也都打通了,能統一的也都統一了,再加上一些統一管控的服務,數據中臺也就差不多順理成章,做好了
四、數據治理能不能一步到位?
看你是從哪一步開始走了,
如果你公司有成建制的數據團隊,早就已經拉平認知、統一定義,流程規范,制度嚴謹,技術先進,投入有保障,那沒問題,只要稍微組織一下相關知識的學習,做個半年規劃,投入人力物力,肯定一步到位,
如果你公司就3、5個數據工程師,那么你有兩個選擇,離職;堅持看完整個項目的失敗。對了,上面好像講過了。
你問我為啥這么肯定?因為我經歷過~~
地基不穩,無異于泥塘之中起高樓,能做起來簡直是奇跡!
五、數據治理全景圖
好了,最后放一張數據治理全景圖,鎮樓!
作者:大數據架構師,國藥國華大數據總監,擅長BI、數倉、數據中臺產品規劃領域,公眾號:大數據架構師
本文由 @大數據架構師 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于 CC0協議
(責任編輯:王倩楠_NBJS12706)
體系不是單個人所能夠建構的,體系要形成并發揮作用絕不是少數幾個人的事情.這需要一種環境.當環境不具備時,就只有仰仗個人的努力了.