當前熱門：數禾科技X瓴羊：通過Dataphin進行數據資產體系建設

在與瓴羊建立合作后，數禾科技通過Dataphin在數據架構、數據建模、數據治理等維度，進行了增強管控，同時結合行業最佳實踐，沉淀出了一整套獨具特色的數據資產建設方法論。在引入了新工具、新范式后，數禾科技的數據處理能力提升了8倍，做到了數據生產鏈路0事故。

普惠金融服務的落地，離不開數字技術的快速發展。

作為專注于普惠民生的金融科技公司，數禾科技多年來秉承著“讓人人享有金融服務最優解”的使命，憑借先進的大數據、人工智能等技術，將金融的普惠價值通過數字科技的力量，落地到更多的場景與客群當中。

(資料圖)

以數禾科技旗下的還唄小微貸產品為例，這是一款為資金周轉困難的小微企業主提供的專屬信貸產品，讓小微業主借的省心，借的輕松，借的方便。目前還唄小微貸面向40萬小微企業主提供金融服務近140億元，實現這樣一個業務服務規模，背后需要一套完善的智能化金融服務平臺來做支撐。

圖1. 數禾科技主題域模型

“雖然各家的業務不一樣，但需要的數字化能力可以是一樣的。”

當被問到作為數禾科技的CDO，如何來規劃數禾科技的數字化能力建設方案，王冠軍的回應非常簡單直接，那就是「向最優秀者看齊」。無論是各行各業的最佳實踐，還是在數據處理、分析領域有著搶眼表現的阿里，都是數禾科技對標的對象。

“Dataphin代表了阿里先進的數據生產力，我們懷著開放的心態，把先進的工具引入進來，并踐行方法論和最佳實踐，數禾要站在巨人的肩膀上，對自身業務場景進行全方位賦能?！?/p>

數字化能力建設離不開頂層設計，數禾科技逐漸發展沉淀出了「一環四化」規劃藍圖，即業務數據化、數據資產化、資產服務化、服務價值化，以及貫穿事前、事中、事后的數據治理閉環。

圖2. 數字化頂層規劃

曾經，數禾科技也因缺乏科學的數據體系建設和治理的指導，面臨了“數據湖”變成“數據沼澤”的尷尬處境。在與瓴羊建立合作后，數禾科技通過Dataphin在數據架構、數據建模、數據治理等維度，進行了增強管控，內外兼修，積極擁抱阿里生態，迅速拉齊到業內領先水平。

與此同時，基于瓴羊過去在阿里內部實踐沉淀下的方法論，數禾科技結合行業最佳實踐，根據自身業務場景進行二次創新，沉淀出了一整套獨具特色的數據資產建設方法論，下面通過三個實例進行說明。

一、設計DBus機制，讓數據有序流轉

「數據資產化」是數禾科技四化環節的重中之重，即通過對業務過程進行建模、提煉指標、萃取標簽、特征工程等等，進行數據資產的沉淀。

其中，以數據團隊為主導構建的相對穩定和通用的數據資產體系，被數禾科技定義為「官方資產」，此類資產可以解決企業60%-70%的共性問題，剩余與業務場景強相關的個性化需求，數據團隊會通過Dataphin開放數據能力給到業務團隊，如私有化數據集市、沙箱體系等，讓業務開放創新地將數據資產用起來。

圖3. 數據中臺項目啟動至今使用增長情況

目前數禾科技全公司有近一半的同事，都在自主使用Dataphin作為數字決策輔助工具。但業務團隊所生產的「私有化數據」都需要按照一定的標準規則被強管控起來，不可以無序流轉。

因為在「數據資產化」階段，想要數據資產被最大化地有序利用，需要企業清晰掌握數據使用的鏈路，找到那批可持續復用的數據資產進行下沉，逐步將數據有序分批地沉淀到「官方資產」，而過于個性化的數據資產，則留在項目空間里由業務方自行處理。

圖4. DBus機制

通過Dataphin提供的端到端數據血緣探查和管理能力，數禾科技形成了DBus機制，來負責私有化數據流轉的標記、監控和管理，以此保障數據資產化能夠高效有序開展。

數禾科技數據團隊成員表示，過去，由于數據的生產流轉缺少工具進行管理和監控，導致數據的關系網絡極其復雜，調用鏈路被各種上下游牽制，往往是牽一發而動全身，有些節點想做下線處理十分棘手。

在數據資產建設過程中形成的DBus機制，是通過標準和架構設計，讓數據的流轉能夠通過一個數據共享總線來統一管理。比如私有數據集需要符合數據治理的規范和標準，才可以進入到DBus數據總線進行共享流通。數據團隊會監控DBus總線上的數據資產，通過Dataphin將這批資產打標，持續跟蹤資產流轉情況。

如果某批資產被跨團隊高頻調用，就會由數據團隊下沉到公共數據體系，發布到數據目錄上，個性化的數據資產就此有了「身份」，并入「官方資產」，以此保障共享型的數據資產能夠被充分利用起來。

王冠軍表示，“之所以會在數禾內部誕生這類數據流轉機制，正是因為企業必然需要在中臺的穩定性，和業務的敏捷性之間做出平衡?！盌ataphin可以通過項目空間的隔離，讓業務側享受到充分的用數自由，同時讓具備高共享價值的私有化數據，及時下沉到「官方資產」，最大化釋放數據價值。

二、獨創DCube方法論，清晰管理個性化指標

“數據資產在數禾內部是層層流動的，并且這種流動是有序的。通過Dataphin基于OneData方法論設計的標準研發流程，數據從原子指標經組合公式生成派生指標，在這個過程中，我們會發現數禾還有很多特有的指標需求?！?/p>

王冠軍說話語速偏快，能夠根據問題迅速組織出清晰、全面的表達內容，這可能和他長期保持以不同組織視角來思考問題的習慣有關。

“我們數據團隊是以客戶為中心的，這個客戶指代的是數禾內部的業務團隊，所以，我們需要通過特定的方法，讓他們能夠更便利地使用個性化指標，不要重復建設公共指標?！?/p>

數禾科技的數據團隊借助Dataphin，用可視化拖拉拽方式快速生成一個公共指標層，目的是消除二義性，讓指標的生成更加標準和規范，同時增加了一個擴展層，也就是DCube，生成面向業務場景的個性化指標，DCube層更便于業務理解，讓他們能快捷地使用起來。

圖5. “統一指標+”方案：基于Dataphin統一指標工具的增強版

通過DCube層的規范設計，數禾科技的數據團隊在數據資產化環節，有效平衡了通用性和靈活性的資產建設需求，并在后續的「資產服務化」環節，通過API接口調用、文件服務、消息隊列調用這3種標準服務的方式，使得數據資產可以快速地被對接到BI，以及其他應用系統，進一步將「服務價值化」。

在數據中臺上，數據團隊逐漸形成了BI分析產品、CDP產品、全視角用戶洞察產品等，不僅提升了數據團隊的交付效率和質量，也真正幫助業務團隊更方便地使用數據，在營銷、風控等場景準確識別用戶需求，高效開展普惠金融服務。

三、開發治理一體化，讓數據治理從Day1做起

提到數據治理工作的啟動，數禾科技的數據團隊成員是有很多苦水要吐的。

“曾經的數據湖架構，同一個實體和字段有不同版本，數據關系存在大量的冗余和不對稱，在遷移任務到Dataphin的過程中，扒邏輯就扒了12層，如果開發Owner離職，這個邏輯真的沒有人可以理清楚了?！?/p>

通過Dataphin落實了DBus機制后，邏輯變得扁平化，引用關系簡單清晰。我們使用Dataphin構建清晰的總線矩陣，劃分并定義數據域、業務過程、維度、原子指標、統計周期和派生指標，消除了指標的二義性。這就使得數據資產的開發、管理、運營都變得更加清晰明確。

其次是「生產隔離」設置。以前做數據湖，不太關注生產環境和分析探索環境的管理，大家都各自在里頭做數據分析，生產調度作業很多都是探索實驗任務，生命周期很短，邏輯變更頻繁，數據作業只上不下，結果就造成生產環境越來越混沌。

“現在，我們通過Dataphin嚴格區分了數據探索和生產環境：探索環境可以非常靈活，我們給業務同事提供了沙箱環境，他們可以自由發揮創新精神，不使用就全部抹掉；而在生產環境，我們需要保障數據質量、時效性和穩定性，因為這部分環境中的數據，需要支撐業績報表、數據決策、交易增長等一系列與企業經營密切關聯的場景?！?/p>

在企業中，數據治理往往不是發起一個獨立的運作項目那么簡單，它被深深地嵌入到了企業經營的每一個細節當中。王冠軍認為數據治理工作旨在不斷調節降低大數據系統熵值，從而使得數據質量、數據安全、資源成本都得到有效的管控，持續為業務價值創造提供可信的數據資產。

“我不覺得成立一個數據治理組織是最關鍵的，我們數據治理的機制和能力，都是通過不斷解決問題進化出來的?！?/p>

事后出現問題，比如SLA數據延遲，到了原定的時間沒有出來，就先建工單分配到數據工程師解決問題，然后啟動復盤改進，往前推，到事中的告警觸發，事前的檢查規范和制度是否有被落實等等。“一個故障越是在前期被防控，對我們來說成本越低，我們的數據治理工作就是這樣一步一步通過Dataphin的工具能力被前置到Day1?！闭f到數據團隊所遇到的各種問題，王冠軍表現出來的是一種非常積極的處理態度，他把這些都視為團隊治理能力進化的推力，而非阻力。

自從在數據架構、數據建模、數據治理等環節引入了新工具、新范式，數禾科技的數據處理能力提升了8倍，做到了數據生產鏈路0事故，王冠軍微笑著說這要感謝Dataphin的助力，但這樣一支勤于思考，精于做事的數據團隊，發展得越來越好也是必然。