數(shù)據(jù)安全治理關(guān)鍵技術(shù)之數(shù)據(jù)庫脫敏技術(shù)詳解
數(shù)據(jù)安全治理之API監(jiān)測系統(tǒng) ,解決API接口安全問題【安華金和】
新一代數(shù)據(jù)庫脫敏技術(shù),為敏感數(shù)據(jù)建立保護盾!
數(shù)據(jù)庫脫敏系統(tǒng)與金融行業(yè)案例解讀
數(shù)據(jù)安全治理建設(shè)思路的著力點——數(shù)據(jù)安全咨詢服務(wù)【安華金和】
數(shù)據(jù)庫防火墻功能有哪些?-數(shù)據(jù)安全-安華金和
數(shù)據(jù)安全關(guān)鍵技術(shù)之數(shù)據(jù)庫脫敏技術(shù)詳解【安華金和】
中國數(shù)據(jù)安全治理落地指導書籍《數(shù)據(jù)安全治理白皮書5.0》正式發(fā)布(附下載)
在銀行生產(chǎn)數(shù)據(jù)庫中,儲存著大量的敏感信息,例如儲戶個人身份信息、手機號碼、身份證、銀行賬戶信息、資金信息等。這些數(shù)據(jù)在銀行業(yè)很多工作場景中都會得到使用,例如業(yè)務(wù)分析、開發(fā)測試、審計監(jiān)管,甚至是一些外包業(yè)務(wù)等方面,使用的都是真實的業(yè)務(wù)數(shù)據(jù)和信息。如果這些數(shù)據(jù)發(fā)生泄露、損壞,不僅會給銀行帶來經(jīng)濟上的損失,更重要的是會大大影響用戶對于銀行的信任度。
應(yīng)用場景
在銀行及金融機構(gòu)等環(huán)境中,針對敏感信息及個人信息的安全保護,需要根據(jù)數(shù)據(jù)使用者的職能限制數(shù)據(jù)的使用權(quán)限,不過在內(nèi)部全面執(zhí)行這一政策并非易事。以某客戶現(xiàn)場的兩種脫敏需求為例:
1、客戶現(xiàn)場需要將脫敏數(shù)據(jù)導出成.del文件放到一個ftp服務(wù)器上;且每天生成的文件都會以當天的日期作為目錄的名字,數(shù)據(jù)脫敏系統(tǒng)每天會有個定時任務(wù)自動到ftp服務(wù)器上讀取對應(yīng)的日期;在目錄中所有數(shù)據(jù)文件下載到數(shù)據(jù)庫脫敏系統(tǒng)后開始脫敏,需要將這些.del文件脫敏后發(fā)送到ftp服務(wù)器上,然后客戶方的開發(fā)人員會到這個ftp服務(wù)器上讀取脫敏后的數(shù)據(jù)文件。
2、直接對DB2數(shù)據(jù)庫進行脫敏,次要需求。
面臨挑戰(zhàn)
在大多數(shù)環(huán)境下,針對打包內(nèi)部開發(fā)應(yīng)用程序以及開發(fā) DBA 工具中的敏感信息限制訪問權(quán)限等的成本異常高昂,而且極為耗時。許多數(shù)據(jù)庫訪問監(jiān)控(DAM)解決方案能夠?qū)徍擞脩粼L問記錄,并在發(fā)生數(shù)據(jù)泄露問題后幫助進行識別,但它們無法對敏感信息進行匿名化處理,以便防患于未然。其他技術(shù)則要求進行大規(guī)模的應(yīng)用程序變更,導致不可接受的性能問題,且無法為所有需要保護的多種個人信息提供保護。
產(chǎn)品需要新增一個“從遠程文件脫敏”的功能,需要考慮和注意的事項較多,主要面臨的挑戰(zhàn)及問題如下:
1、假設(shè)8點開始拉取數(shù)據(jù),那么是否需要檢查8點之后新下發(fā)的數(shù)據(jù)?
2、脫敏完成后,需要對數(shù)據(jù)完整性進行校驗;
3、脫敏完成后,需要對已下載的脫敏文件進行清理等問題;
4、需針對“因每次tomcat重啟之后會出現(xiàn)定時任務(wù)失效”的情況,進行修復(fù)。
部署實施
現(xiàn)場每天會生成3-4G的.del數(shù)據(jù)文件,需要在夜間設(shè)置定時任務(wù)將其從遠程ftp服務(wù)器上讀取到脫敏服務(wù)器上;完成脫敏后,將脫敏數(shù)據(jù)發(fā)送到目標ftp服務(wù)器上;同時,也需要脫敏部分數(shù)據(jù)庫數(shù)據(jù)到開發(fā)測試庫。
應(yīng)用技術(shù):主動到遠程ftp服務(wù)器上讀取數(shù)據(jù)文件,脫敏完成后再將脫敏完的數(shù)據(jù)文件發(fā)送到遠程ftp服務(wù)器上;
實施過程:請代理商幫忙部署了DB2數(shù)據(jù)庫,為客戶在專門準備的環(huán)境上安裝定制版數(shù)據(jù)庫靜態(tài)脫敏系統(tǒng);為客戶配置源ftp和目標ftp,設(shè)置數(shù)據(jù)文件脫敏任務(wù)并設(shè)置對應(yīng)的定時任務(wù)。
1、自動讀取下發(fā)文件
根據(jù)下發(fā)數(shù)據(jù)的文件格式和下發(fā)周期,對文件定時進行讀取。
2、創(chuàng)建文件源自動添加文件
創(chuàng)建默認文件源,并根據(jù)FTP文件列表自動添加要脫敏的數(shù)據(jù)文件。
3、自動敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)
創(chuàng)建文件源的敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù),自動執(zhí)行敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù),并進行敏感數(shù)據(jù)的自動梳理和確定。
4、自動創(chuàng)建文件脫敏任務(wù)
自動創(chuàng)建文件脫敏方案,根據(jù)文件源和敏感數(shù)據(jù)梳理結(jié)果進行脫敏方案的自動配置;自動創(chuàng)建文件脫敏任務(wù),將脫敏方案關(guān)聯(lián)到脫敏任務(wù),并進行脫敏任務(wù)的自動執(zhí)行。
5、敏感字段梳理的模板配置
基于靜態(tài)初始化的數(shù)據(jù),進行敏感數(shù)據(jù)梳理模版的手動配置和管理。
6、脫敏方案的模板配置
脫敏方案的手動配置和管理。
7、敏感數(shù)據(jù)發(fā)現(xiàn)
按照用戶指定或預(yù)定義的敏感數(shù)據(jù)特征,對數(shù)據(jù)進行自動識別,發(fā)現(xiàn)敏感數(shù)據(jù)。同時,DMS可發(fā)現(xiàn)數(shù)據(jù)間的主外鍵關(guān)系、數(shù)據(jù)間的依賴關(guān)系、同類數(shù)據(jù)間的聯(lián)動關(guān)系,為數(shù)據(jù)子集管理等功能提供保障。
8、敏感數(shù)據(jù)字典管理
以敏感數(shù)據(jù)為中心,對數(shù)據(jù)庫字段進行分類管理;對同庫多表、多庫多表的同類敏感數(shù)據(jù)實施統(tǒng)一的脫敏算法和策略,保證同一組織內(nèi)跨系統(tǒng)、跨庫之間的脫敏一致性;并支持敏感數(shù)據(jù)字典導入、導出等功能。
9、脫敏方案管理
針對每一個脫敏項目,在基礎(chǔ)脫敏算法上,可配置專門的脫敏策略,或?qū)崿F(xiàn)脫敏算法的擴展;DMS可實現(xiàn)脫敏策略的導入導出,以幫助脫敏策略的復(fù)用。
10、脫敏任務(wù)管理
可對任務(wù)進行停止、啟動、重啟、暫停、繼續(xù)等操作;支持任務(wù)并發(fā),且在脫敏過程中可跳過異常數(shù)據(jù)繼續(xù)執(zhí)行任務(wù),還支持脫敏任務(wù)的中斷續(xù)延。
1、庫到庫業(yè)務(wù)流程說明
數(shù)據(jù)庫到數(shù)據(jù)庫的全量脫敏,由源數(shù)據(jù)庫抽取數(shù)據(jù)并脫敏后輸出到目標數(shù)據(jù)庫中。
2、文件到文件業(yè)務(wù)流程說明
· 數(shù)整平臺定時下發(fā)數(shù)據(jù)文件到指定的文件服務(wù)器中;
· 脫敏系統(tǒng)到指定的文件服務(wù)器中讀取數(shù)據(jù)文件,根據(jù)文件下發(fā)完成標記和表數(shù)據(jù)字典進行數(shù)據(jù)比對,如果下發(fā)的文件解壓完成將繼續(xù)進行敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)的執(zhí)行,如果未下發(fā)或解壓完成將重新讀取下發(fā)文件;
· 自動創(chuàng)建敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù),并進行敏感數(shù)據(jù)的自動發(fā)現(xiàn),執(zhí)行發(fā)現(xiàn)任務(wù)后根據(jù)敏感數(shù)據(jù)梳理模板對敏感數(shù)據(jù)進行自動梳理,生成梳理后的敏感字段列表;
· 判斷是否有敏感數(shù)據(jù),如果沒有將生成敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)執(zhí)行報告,并顯示執(zhí)行結(jié)果和消息提示;如果存在敏感數(shù)據(jù),將根據(jù)脫敏方案模板自動生成脫敏任務(wù),并執(zhí)行脫敏任務(wù);
· 判斷脫敏任務(wù)執(zhí)行是否成功,如果出現(xiàn)異常將發(fā)送異常報告信息,并顯示執(zhí)行結(jié)果和消息提示;如果脫敏任務(wù)執(zhí)行成功,發(fā)送目標文件信息和任務(wù)執(zhí)行報告,并顯示執(zhí)行結(jié)果和消息提示;
· 用戶可到目標文件服務(wù)器中查詢脫敏數(shù)據(jù)。
一、實現(xiàn)自動化脫敏
能夠?qū)崿F(xiàn)對用戶定期產(chǎn)生的增量數(shù)據(jù)文件進行自動脫敏,只需要進行一次配置(文件源及相關(guān)模板的初始化配置)就可以完全自動執(zhí)行脫敏任務(wù);完成脫敏后的數(shù)據(jù)將發(fā)送至目標FTP服務(wù)器,用戶直接獲取即可使用;同時,突出了場景化、自動化、便捷簡單等使用特點:
1、支持遠程文件脫敏;
2、支持脫敏數(shù)據(jù)輸出到遠程FTP服務(wù)器;
3、支持文件自動化脫敏;
4、支持敏感字段模板管理;
5、支持脫敏方案模板管理;
6、支持定時任務(wù)管理。
二、敏感數(shù)據(jù)統(tǒng)一管理
1、敏感數(shù)據(jù)自動發(fā)現(xiàn)
DMS 系統(tǒng)內(nèi)置了大量的敏感數(shù)據(jù)發(fā)現(xiàn)算法,能夠通過對數(shù)據(jù)的采樣分析,自動發(fā)現(xiàn)系統(tǒng)中的敏感數(shù)據(jù),包括姓名、證件號、銀行賬戶、金額、日期、住址、電話號碼、 Email 地址、車牌號、車架號、企業(yè)名稱、工商注冊號、組織機構(gòu)代碼、納稅人識別號等; 同時提供了用戶自定義敏感數(shù)據(jù)特征的擴充能力。通過敏感數(shù)據(jù)自動發(fā)現(xiàn)功能,不僅可以避免人工定義敏感數(shù)據(jù)帶來的大量工作, 同時可確保不會遺漏隱私信息,更能夠持續(xù)發(fā)現(xiàn)新的敏感數(shù)據(jù)字段。
2、敏感數(shù)據(jù)字典管理
以敏感數(shù)據(jù)為中心,進行分類管理數(shù)據(jù)庫字段。例如:“身份證號”作為一類敏感數(shù)據(jù),可在該分類里管理所有數(shù)據(jù)庫中的身份證號數(shù)據(jù)字段,實施統(tǒng)一的脫敏算法,并支持敏感數(shù)據(jù)字典的導入、導出等管理功能。
三、保證業(yè)務(wù)可靠運行
1、智能化
隨著企業(yè)數(shù)據(jù)的增長和數(shù)據(jù)內(nèi)容的不斷豐富, 敏感數(shù)據(jù)可能分散在成百上千張表和字段中, 元數(shù)據(jù)的管理工作將越發(fā)繁重;同時從業(yè)務(wù)系統(tǒng)抽取的敏感數(shù)據(jù)在格式和組織上存在很大隨意性,因此脫敏產(chǎn)品應(yīng)具備更好的識別敏感數(shù)據(jù)的能力,能夠不依賴元數(shù)據(jù)中對表和字段的定義,而是根據(jù)數(shù)據(jù)特征自動識別敏感數(shù)據(jù)并進行有效脫敏。 例如身份證、地址、電話、郵件、銀行卡號、車牌號、企業(yè)名稱等。
可逆性, 隨著數(shù)據(jù)分析的流行和普及,第三方分析機構(gòu)和內(nèi)部經(jīng)分團隊需要將在脫敏后數(shù)據(jù)基礎(chǔ)上分析的結(jié)果還原為業(yè)務(wù)數(shù)據(jù),以形成真實的分析結(jié)果。因此,需要提供對脫敏后數(shù)據(jù)的可逆還原能力。
2、可重復(fù)和不可重復(fù)性
數(shù)據(jù)脫敏需要提供能夠重復(fù)脫敏相同數(shù)據(jù)的能力,在不同輪次的脫敏中,保證相同的隱私數(shù)據(jù)在脫敏后的數(shù)據(jù)也是相同的,從而保證數(shù)據(jù)在增量環(huán)境下能夠被有效的關(guān)聯(lián)。另一方面,有些時候出于安全考慮,需要提供不可重復(fù)的脫敏能力,保證相同的數(shù)據(jù)在不同輪次的脫敏中所產(chǎn)生的數(shù)據(jù)是不同的,從而防止逆向工程還原數(shù)據(jù)。
3、數(shù)據(jù)有效性
為了保證業(yè)務(wù)測試系統(tǒng)和分析系統(tǒng)的正常運行,需要保證脫敏后的數(shù)據(jù)必須能夠準確反應(yīng)原始數(shù)據(jù)的業(yè)務(wù)屬性和數(shù)據(jù)分布特征;對于原始數(shù)據(jù)中的姓名、地址、病癥、企業(yè)名稱等信息,需要在脫敏后仍然具有可讀性; 脫敏后的數(shù)據(jù)滿足業(yè)務(wù)系統(tǒng)的數(shù)據(jù)規(guī)則,能夠正確的通過業(yè)務(wù)系統(tǒng)的數(shù)據(jù)有效性驗證,如身份證號、銀行卡號的校驗碼,生日數(shù)據(jù)的區(qū)間,有效的發(fā)卡行信息,年齡與出生日期的匹配等。
4、數(shù)據(jù)完整性
脫敏后的數(shù)據(jù)需要保證是完整的,并且提供不改變原始數(shù)據(jù)尺寸、不包含無效信息的能力,防止敏感數(shù)據(jù)不符合目標數(shù)據(jù)的定義,造成無法順利入庫的情況。
5、數(shù)據(jù)關(guān)聯(lián)性
脫敏后的數(shù)據(jù)應(yīng)能滿足業(yè)務(wù)系統(tǒng)的數(shù)據(jù)關(guān)系特征,嚴格保留原有的數(shù)據(jù)關(guān)系。例如:身份證號在多個表中出現(xiàn),需要保證這些數(shù)據(jù)經(jīng)過脫敏后也是一樣的;此外,對于具有時間序列關(guān)系的數(shù)據(jù),需要保證每個日期脫敏后仍然能夠保持原有的時間序列。
通過對上述六個方面的支持,有效保障了脫敏后的數(shù)據(jù)可以滿足原始數(shù)據(jù)相同的業(yè)務(wù)規(guī)則,是能夠代表實際業(yè)務(wù)屬性的虛構(gòu)數(shù)據(jù),能夠使脫敏數(shù)據(jù)的使用者從體驗上感覺數(shù)據(jù)是真實的,從而最終達到使用脫敏后的數(shù)據(jù)可以保證業(yè)務(wù)可靠運行的目的。