數據安全巧治理 自由流動生價值

發布時間 2020-03-05

當前,數據治理與安全已經是一個全球性的問題。本文通過對我國數據安全治理與安全現狀的分析,提出要解決此類問題需從數據治理與安全保障兩方面下手。而啟明星辰泰合安全數據治理平臺,恰是以解決實際問題的立場出發,幫助用戶最大化數據價值的前提下,保證數據的流轉安全,降低數據泄漏的風險!


我國數據治理與安全的現狀


2015年,國務院印發了《促進大數據發展行動綱要》,第一次將大數據的發展上升為國家戰略。如今,伴隨著政策的利好,大數據迎來了蓬勃的發展,越來越多的機構開放和共享數據,機構之間的數字經濟合作也越來越頻繁,數據的價值得到進一步的突顯和釋放。


同時,伴隨著數據的流動,也產生了一系列亟待解決的問題:


1、打通數據孤島容易,集成和融合數據才難。


以某運營商為例,它有數十個業務系統及數十種安全類數據,并分布在不同的數據源中,要實現這些多源異構數據的集成與融合,面臨著幾個難題:


首先,這些數據是不同結構的。有的是文本數據,有的是結構化數據或半結構化數據,甚至是非結構化數據,需要把這些數據都融合到一種數據結構中。


其次,有可能一部分數據的量級小,采用的是關系型數據庫,而另一部分數據采用的是大數據存儲組件,也有可能一些業務會上云存儲在云平臺,不同類型的數據如何整合到數據倉庫?


最后,在采集方式上,需要考慮哪些數據需要實時采集,哪些數據需要離線采集。而在性能方面,需要不影響業務對象的正常運行。


2、數據價值需要分析挖掘,而它的成敗卻由數據質量決定。


整合的數據需要進行數據探索,發現規律之后,構建分析和算法模型,才能最大程度分析挖掘出潛在的數據價值。


例如異常行為檢測。由于各類異常數據與合法行為數據相比量很少,可以通過對合法行為數據不斷進行探索,在此基礎上構建合法行為的模型,當出現一個新的行為時,與此模型進行比較,如果特性與此很不相同,就可以標記為異常行為。


這樣的分析挖掘過程需要將數據、處理模型及算法進行封裝,是一項專業性強、難度較大的工作,需要專業人才和工具的支撐。


另一方面,要保證數據分析挖掘結果的正確性,必須要避免出現數據質量問題。當前,很多數據治理項目失敗或效果欠缺,基本上是由于流入了不一致、不準確、不可靠的數據,導致分析結果不準確及上級決策難等問題。


3、數據資產和數據服務,都需要安全的保障和運營。


通過集成而來的數據并不能稱之為資產,只有按照不同的主題進行類別劃分,篩選出最有價值的核心數據才是數據資產。


根據數據資產的重要性,需要對數據資產劃分不同的保護級別(如極敏感級、敏感級、較敏感級、低敏感級)。另外,對隱私性極強的個人信息也需要識別出來,進行嚴格的保護。


在對外提供數據服務的過程中,也需要充分保障數據的安全性,特別要嚴防泄露核心數據和個人隱私數據,還要從技術層面上,阻止外部黑客的各種攻擊和破環。


此外,安全數據治理需要在持續不斷的安全運營中不斷沉淀和發展,才會逐步增強和擴展各種安全防范和應對流程,以及分析挖掘模型和算法才會逐步調整和完善。


如今,要很好的解決這些問題,就要從數據治理與安全保障兩方面雙管齊下。


啟明星辰泰合安全數據治理平臺


啟明星辰泰合安全數據治理平臺(簡稱SDG),是一款解決數據流通與數據保護的產品級解決方案。它在實現數據安全且自由流動的同時,最大限度的發掘和分享數據價值,覆蓋數據全生命周期。



1、數據集成與融合


SDG既支持關系型數據庫、大數據組件及云平臺,也支持日志、文件、接口、流量等數據源。并且能根據數據源的特性,提供不同的配置面板(如全文搜索引擎可以自定義配置Mapping字段)。


此外,為了提高性能,還支持多線程和數據管道,既支持離線數據采集,也支持實時數據的采集。


2、數據質量與分析挖掘


SDG通過數據質量監控與評估等手段,智能發現數據在各個周期中存在的數據質量問題,并進行有針對性的提升。通過修正錯誤數據、剔除重復數據、核驗數據一致性,從而建立起統一的數據架構和數據質量管理機制。另外,能用可視化方式展示數據質量的控制成果(比如,幫助用戶發現和處理了多少問題數據、初始與現狀的對比及數據質量趨勢等)。


數據分析挖掘建立在原始數據清洗過濾、標準化、關聯補齊、數據標簽化的基礎上,并有嚴格的質量監控和評估手段加持。內置多種分析場景和模型,支持流式數據分析,采用輕量級的分析引擎,能脫離大數據平臺。


3、數據資產與數據服務


我們理解的數據資產是具有價值的數據單元集合(如經過數據標準化、數據補齊、數據過濾清晰以及數據豐富化后的事件數據,對于用戶來說,這是安全核心資產,是需要對其進行維護和治理)。


數據服務是數據治理平臺對外輸出能力的一種呈現,能根據用戶需要,通過接口或訂閱方式,對各類系統、平臺、數據大屏、數據交易市場提供統一的數據在線服務。


4、數據安全保護與數據安全運營


對于數據資產,SDG在對元數據進行梳理和管理的基礎上,可以根據行業、機構的監管要求,測繪出核心敏感數據與個人隱私敏感數據;根據不同類別進行自定義歸類及設置不同的保護級別;根據歸類和相應的保護級別生成保護策略,并能解決保護級別劃分的顆粒度問題,與應用場景、數據內容、系統定級的關系問題及全生命周期數據級別變化的問題。此外,它能對數據全生命周期進行安全管控,可視化展現各個數據的分布地圖,并能探查數據之間的血緣關系等。


而對外提供的數據服務具有嚴密的數據安全保障措施,既能阻止外部的攻擊、非法訪問,又能嚴防內部核心數據和個人敏感隱私數據泄露的情況出現。


我們通過封裝自研的可視化流式處理引擎、原語式靜態數據處理引擎以及機器學習算法,可以靈活的提供和加工數據。通過數據驅動能實時監測與評估影響數據安全的威脅與風險,實現預警通報與應急處置及重大活動的安全保障。


5、運維監控及告警


SDG能實時監控數據的流向和集群健康度,監控數據本身的異常和訪問異常。對于監控到的異常,可以通過多種方式告警,從而提醒運維人員當前存在的安全風險,并結合服務器的性能來保證數據的安全運轉。而對于出現的數據查詢故障,能快速定位出影響數據查詢性能的集群性能原因,方便運維人員處理。


6、數據可視化


可視化大屏展示數據的風險和數據的狀況,方便用戶從整體上把控數據流轉、安全及數據共享的情況。


啟明星辰泰合安全數據治理平臺,以解決實際問題的立場出發,幫助用戶最大化數據價值的前提下,保證數據的流轉安全,降低數據泄漏的風險!


未來,啟明星辰將繼續根據用戶實際需求,引入機器學習算法,構建更多的分析挖掘場景以及安全專題模型,進一步踐行讓數據在安全流動中產生價值的理念!