欧美乱码精品一区二区三区,风流少妇又紧又爽又丰满,被债主在夫面前人妻被强,国产精品视频永久免费观看

?
內容中心
按關鍵字查找
銀行數(shù)據(jù)脫敏場景需求與解決思路
作者:安華金和 發(fā)布時間:2019-12-30

在銀行生產(chǎn)數(shù)據(jù)庫中,儲存著大量的敏感信息,例如儲戶個人身份信息、手機號碼、身份證、銀行賬戶信息、資金信息等。這些數(shù)據(jù)在銀行業(yè)很多工作場景中都會得到使用,例如業(yè)務分析、開發(fā)測試、審計監(jiān)管,甚至是一些外包業(yè)務等方面,使用的都是真實的業(yè)務數(shù)據(jù)和信息。如果這些數(shù)據(jù)發(fā)生泄露、損壞,不僅會給銀行帶來經(jīng)濟上的損失,更重要的是會大大影響用戶對于銀行的信任度。

應用場景

在銀行及金融機構等環(huán)境中,針對敏感信息及個人信息的安全保護,需要根據(jù)數(shù)據(jù)使用者的職能限制數(shù)據(jù)的使用權限,不過在內部全面執(zhí)行這一政策并非易事。以某客戶現(xiàn)場的兩種脫敏需求為例:

1、客戶現(xiàn)場需要將脫敏數(shù)據(jù)導出成.del文件放到一個ftp服務器上;且每天生成的文件都會以當天的日期作為目錄的名字,數(shù)據(jù)脫敏系統(tǒng)每天會有個定時任務自動到ftp服務器上讀取對應的日期;在目錄中所有數(shù)據(jù)文件下載到數(shù)據(jù)庫脫敏系統(tǒng)后開始脫敏,需要將這些.del文件脫敏后發(fā)送到ftp服務器上,然后客戶方的開發(fā)人員會到這個ftp服務器上讀取脫敏后的數(shù)據(jù)文件。

2、直接對DB2數(shù)據(jù)庫進行脫敏,次要需求。

面臨挑戰(zhàn)

在大多數(shù)環(huán)境下,針對打包內部開發(fā)應用程序以及開發(fā) DBA 工具中的敏感信息限制訪問權限等的成本異常高昂,而且極為耗時。許多數(shù)據(jù)庫訪問監(jiān)控(DAM)解決方案能夠審核用戶訪問記錄,并在發(fā)生數(shù)據(jù)泄露問題后幫助進行識別,但它們無法對敏感信息進行匿名化處理,以便防患于未然。其他技術則要求進行大規(guī)模的應用程序變更,導致不可接受的性能問題,且無法為所有需要保護的多種個人信息提供保護。

產(chǎn)品需要新增一個“從遠程文件脫敏”的功能,需要考慮和注意的事項較多,主要面臨的挑戰(zhàn)及問題如下:

1、假設8點開始拉取數(shù)據(jù),那么是否需要檢查8點之后新下發(fā)的數(shù)據(jù)?

2、脫敏完成后,需要對數(shù)據(jù)完整性進行校驗;

3、脫敏完成后,需要對已下載的脫敏文件進行清理等問題;

4、需針對“因每次tomcat重啟之后會出現(xiàn)定時任務失效”的情況,進行修復。

部署實施

現(xiàn)場每天會生成3-4G的.del數(shù)據(jù)文件,需要在夜間設置定時任務將其從遠程ftp服務器上讀取到脫敏服務器上;完成脫敏后,將脫敏數(shù)據(jù)發(fā)送到目標ftp服務器上;同時,也需要脫敏部分數(shù)據(jù)庫數(shù)據(jù)到開發(fā)測試庫。

應用技術:主動到遠程ftp服務器上讀取數(shù)據(jù)文件,脫敏完成后再將脫敏完的數(shù)據(jù)文件發(fā)送到遠程ftp服務器上;

實施過程:請代理商幫忙部署了DB2數(shù)據(jù)庫,為客戶在專門準備的環(huán)境上安裝定制版數(shù)據(jù)庫靜態(tài)脫敏系統(tǒng);為客戶配置源ftp和目標ftp,設置數(shù)據(jù)文件脫敏任務并設置對應的定時任務。

核心功能

1、自動讀取下發(fā)文件

根據(jù)下發(fā)數(shù)據(jù)的文件格式和下發(fā)周期,對文件定時進行讀取。

2、創(chuàng)建文件源自動添加文件

創(chuàng)建默認文件源,并根據(jù)FTP文件列表自動添加要脫敏的數(shù)據(jù)文件。

1 副本.jpg

3、自動敏感數(shù)據(jù)發(fā)現(xiàn)任務

創(chuàng)建文件源的敏感數(shù)據(jù)發(fā)現(xiàn)任務,自動執(zhí)行敏感數(shù)據(jù)發(fā)現(xiàn)任務,并進行敏感數(shù)據(jù)的自動梳理和確定。

4、自動創(chuàng)建文件脫敏任務

自動創(chuàng)建文件脫敏方案,根據(jù)文件源和敏感數(shù)據(jù)梳理結果進行脫敏方案的自動配置;自動創(chuàng)建文件脫敏任務,將脫敏方案關聯(lián)到脫敏任務,并進行脫敏任務的自動執(zhí)行。

5、敏感字段梳理的模板配置

基于靜態(tài)初始化的數(shù)據(jù),進行敏感數(shù)據(jù)梳理模版的手動配置和管理。

6、脫敏方案的模板配置

脫敏方案的手動配置和管理。

2 副本.jpg

7、敏感數(shù)據(jù)發(fā)現(xiàn)

按照用戶指定或預定義的敏感數(shù)據(jù)特征,對數(shù)據(jù)進行自動識別,發(fā)現(xiàn)敏感數(shù)據(jù)。同時,DMS可發(fā)現(xiàn)數(shù)據(jù)間的主外鍵關系、數(shù)據(jù)間的依賴關系、同類數(shù)據(jù)間的聯(lián)動關系,為數(shù)據(jù)子集管理等功能提供保障。

3 副本.jpg

8、敏感數(shù)據(jù)字典管理

以敏感數(shù)據(jù)為中心,對數(shù)據(jù)庫字段進行分類管理;對同庫多表、多庫多表的同類敏感數(shù)據(jù)實施統(tǒng)一的脫敏算法和策略,保證同一組織內跨系統(tǒng)、跨庫之間的脫敏一致性;并支持敏感數(shù)據(jù)字典導入、導出等功能。

4 副本.jpg

9、脫敏方案管理

針對每一個脫敏項目,在基礎脫敏算法上,可配置專門的脫敏策略,或實現(xiàn)脫敏算法的擴展;DMS可實現(xiàn)脫敏策略的導入導出,以幫助脫敏策略的復用。

10、脫敏任務管理

可對任務進行停止、啟動、重啟、暫停、繼續(xù)等操作;支持任務并發(fā),且在脫敏過程中可跳過異常數(shù)據(jù)繼續(xù)執(zhí)行任務,還支持脫敏任務的中斷續(xù)延。

業(yè)務流程

1、庫到庫業(yè)務流程說明

數(shù)據(jù)庫到數(shù)據(jù)庫的全量脫敏,由源數(shù)據(jù)庫抽取數(shù)據(jù)并脫敏后輸出到目標數(shù)據(jù)庫中。

5 副本.jpg

2、文件到文件業(yè)務流程說明

· 數(shù)整平臺定時下發(fā)數(shù)據(jù)文件到指定的文件服務器中;

· 脫敏系統(tǒng)到指定的文件服務器中讀取數(shù)據(jù)文件,根據(jù)文件下發(fā)完成標記和表數(shù)據(jù)字典進行數(shù)據(jù)比對,如果下發(fā)的文件解壓完成將繼續(xù)進行敏感數(shù)據(jù)發(fā)現(xiàn)任務的執(zhí)行,如果未下發(fā)或解壓完成將重新讀取下發(fā)文件;

· 自動創(chuàng)建敏感數(shù)據(jù)發(fā)現(xiàn)任務,并進行敏感數(shù)據(jù)的自動發(fā)現(xiàn),執(zhí)行發(fā)現(xiàn)任務后根據(jù)敏感數(shù)據(jù)梳理模板對敏感數(shù)據(jù)進行自動梳理,生成梳理后的敏感字段列表;

· 判斷是否有敏感數(shù)據(jù),如果沒有將生成敏感數(shù)據(jù)發(fā)現(xiàn)任務執(zhí)行報告,并顯示執(zhí)行結果和消息提示;如果存在敏感數(shù)據(jù),將根據(jù)脫敏方案模板自動生成脫敏任務,并執(zhí)行脫敏任務;

· 判斷脫敏任務執(zhí)行是否成功,如果出現(xiàn)異常將發(fā)送異常報告信息,并顯示執(zhí)行結果和消息提示;如果脫敏任務執(zhí)行成功,發(fā)送目標文件信息和任務執(zhí)行報告,并顯示執(zhí)行結果和消息提示;

· 用戶可到目標文件服務器中查詢脫敏數(shù)據(jù)。

6 副本.jpg

7 副本.jpg

價值效果

一、實現(xiàn)自動化脫敏

能夠實現(xiàn)對用戶定期產(chǎn)生的增量數(shù)據(jù)文件進行自動脫敏,只需要進行一次配置(文件源及相關模板的初始化配置)就可以完全自動執(zhí)行脫敏任務;完成脫敏后的數(shù)據(jù)將發(fā)送至目標FTP服務器,用戶直接獲取即可使用;同時,突出了場景化、自動化、便捷簡單等使用特點:

1、支持遠程文件脫敏;

2、支持脫敏數(shù)據(jù)輸出到遠程FTP服務器;

3、支持文件自動化脫敏;

4、支持敏感字段模板管理;

5、支持脫敏方案模板管理;

6、支持定時任務管理。

二、敏感數(shù)據(jù)統(tǒng)一管理

1、敏感數(shù)據(jù)自動發(fā)現(xiàn)

DMS 系統(tǒng)內置了大量的敏感數(shù)據(jù)發(fā)現(xiàn)算法,能夠通過對數(shù)據(jù)的采樣分析,自動發(fā)現(xiàn)系統(tǒng)中的敏感數(shù)據(jù),包括姓名、證件號、銀行賬戶、金額、日期、住址、電話號碼、 Email 地址、車牌號、車架號、企業(yè)名稱、工商注冊號、組織機構代碼、納稅人識別號等; 同時提供了用戶自定義敏感數(shù)據(jù)特征的擴充能力。通過敏感數(shù)據(jù)自動發(fā)現(xiàn)功能,不僅可以避免人工定義敏感數(shù)據(jù)帶來的大量工作, 同時可確保不會遺漏隱私信息,更能夠持續(xù)發(fā)現(xiàn)新的敏感數(shù)據(jù)字段。

2、敏感數(shù)據(jù)字典管理

以敏感數(shù)據(jù)為中心,進行分類管理數(shù)據(jù)庫字段。例如:“身份證號”作為一類敏感數(shù)據(jù),可在該分類里管理所有數(shù)據(jù)庫中的身份證號數(shù)據(jù)字段,實施統(tǒng)一的脫敏算法,并支持敏感數(shù)據(jù)字典的導入、導出等管理功能。

三、保證業(yè)務可靠運行

1、智能化

隨著企業(yè)數(shù)據(jù)的增長和數(shù)據(jù)內容的不斷豐富, 敏感數(shù)據(jù)可能分散在成百上千張表和字段中, 元數(shù)據(jù)的管理工作將越發(fā)繁重;同時從業(yè)務系統(tǒng)抽取的敏感數(shù)據(jù)在格式和組織上存在很大隨意性,因此脫敏產(chǎn)品應具備更好的識別敏感數(shù)據(jù)的能力,能夠不依賴元數(shù)據(jù)中對表和字段的定義,而是根據(jù)數(shù)據(jù)特征自動識別敏感數(shù)據(jù)并進行有效脫敏。 例如身份證、地址、電話、郵件、銀行卡號、車牌號、企業(yè)名稱等。

可逆性, 隨著數(shù)據(jù)分析的流行和普及,第三方分析機構和內部經(jīng)分團隊需要將在脫敏后數(shù)據(jù)基礎上分析的結果還原為業(yè)務數(shù)據(jù),以形成真實的分析結果。因此,需要提供對脫敏后數(shù)據(jù)的可逆還原能力。

2、可重復和不可重復性

數(shù)據(jù)脫敏需要提供能夠重復脫敏相同數(shù)據(jù)的能力,在不同輪次的脫敏中,保證相同的隱私數(shù)據(jù)在脫敏后的數(shù)據(jù)也是相同的,從而保證數(shù)據(jù)在增量環(huán)境下能夠被有效的關聯(lián)。另一方面,有些時候出于安全考慮,需要提供不可重復的脫敏能力,保證相同的數(shù)據(jù)在不同輪次的脫敏中所產(chǎn)生的數(shù)據(jù)是不同的,從而防止逆向工程還原數(shù)據(jù)。

3、數(shù)據(jù)有效性

為了保證業(yè)務測試系統(tǒng)和分析系統(tǒng)的正常運行,需要保證脫敏后的數(shù)據(jù)必須能夠準確反應原始數(shù)據(jù)的業(yè)務屬性和數(shù)據(jù)分布特征;對于原始數(shù)據(jù)中的姓名、地址、病癥、企業(yè)名稱等信息,需要在脫敏后仍然具有可讀性; 脫敏后的數(shù)據(jù)滿足業(yè)務系統(tǒng)的數(shù)據(jù)規(guī)則,能夠正確的通過業(yè)務系統(tǒng)的數(shù)據(jù)有效性驗證,如身份證號、銀行卡號的校驗碼,生日數(shù)據(jù)的區(qū)間,有效的發(fā)卡行信息,年齡與出生日期的匹配等。

4、數(shù)據(jù)完整性

脫敏后的數(shù)據(jù)需要保證是完整的,并且提供不改變原始數(shù)據(jù)尺寸、不包含無效信息的能力,防止敏感數(shù)據(jù)不符合目標數(shù)據(jù)的定義,造成無法順利入庫的情況。

5、數(shù)據(jù)關聯(lián)性

脫敏后的數(shù)據(jù)應能滿足業(yè)務系統(tǒng)的數(shù)據(jù)關系特征,嚴格保留原有的數(shù)據(jù)關系。例如:身份證號在多個表中出現(xiàn),需要保證這些數(shù)據(jù)經(jīng)過脫敏后也是一樣的;此外,對于具有時間序列關系的數(shù)據(jù),需要保證每個日期脫敏后仍然能夠保持原有的時間序列。

通過對上述六個方面的支持,有效保障了脫敏后的數(shù)據(jù)可以滿足原始數(shù)據(jù)相同的業(yè)務規(guī)則,是能夠代表實際業(yè)務屬性的虛構數(shù)據(jù),能夠使脫敏數(shù)據(jù)的使用者從體驗上感覺數(shù)據(jù)是真實的,從而最終達到使用脫敏后的數(shù)據(jù)可以保證業(yè)務可靠運行的目的。

?
浪卡子县| 朝阳市| 荥阳市| 禄劝| 裕民县| 麻江县| 邓州市| 哈尔滨市| 河津市| 贵德县| 金门县| 罗城| 茌平县| 新宾| 莆田市| 德阳市| 都匀市| 白朗县| 新源县| 汉沽区| 呼图壁县| 西乌珠穆沁旗| 武清区| 耿马| 尼勒克县| 岫岩| 乌鲁木齐县| 库尔勒市| 大理市| 竹溪县| 杭锦旗| 涪陵区| 永德县| 郎溪县| 靖远县| 濉溪县| 丁青县| 专栏| 赣榆县| 新乡县| 华容县|