數(shù)據(jù)安全治理關(guān)鍵技術(shù)之?dāng)?shù)據(jù)庫(kù)脫敏技術(shù)詳解
數(shù)據(jù)安全治理之API監(jiān)測(cè)系統(tǒng) ,解決API接口安全問(wèn)題【安華金和】
新一代數(shù)據(jù)庫(kù)脫敏技術(shù),為敏感數(shù)據(jù)建立保護(hù)盾!
數(shù)據(jù)庫(kù)脫敏系統(tǒng)與金融行業(yè)案例解讀
數(shù)據(jù)安全治理建設(shè)思路的著力點(diǎn)——數(shù)據(jù)安全咨詢服務(wù)【安華金和】
數(shù)據(jù)庫(kù)防火墻功能有哪些?-數(shù)據(jù)安全-安華金和
數(shù)據(jù)安全關(guān)鍵技術(shù)之?dāng)?shù)據(jù)庫(kù)脫敏技術(shù)詳解【安華金和】
中國(guó)數(shù)據(jù)安全治理落地指導(dǎo)書籍《數(shù)據(jù)安全治理白皮書5.0》正式發(fā)布(附下載)
隨著企業(yè)各項(xiàng)業(yè)務(wù)的快速發(fā)展,以及IT系統(tǒng)應(yīng)用的越來(lái)越普遍,企業(yè)內(nèi)部的業(yè)務(wù)生產(chǎn)系統(tǒng)產(chǎn)生并積累了大量的敏感信息和數(shù)據(jù),如卡號(hào)、客戶姓名、身份證號(hào)、交易記錄等。
在日常業(yè)務(wù)管理、信息系統(tǒng)運(yùn)行過(guò)程中有大量的場(chǎng)景需要使用到這些數(shù)據(jù),如業(yè)務(wù)部門經(jīng)營(yíng)分析使用、配合監(jiān)管部門完成現(xiàn)場(chǎng)與非現(xiàn)場(chǎng)檢查、測(cè)試數(shù)據(jù)的生成和使用等。根據(jù)國(guó)家監(jiān)管政策及銀監(jiān)會(huì)等監(jiān)管部門針對(duì)數(shù)據(jù)安全管理的要求和指引,各單位制定并發(fā)布了數(shù)據(jù)脫敏相關(guān)管理辦法,但在具體落實(shí)時(shí)在技術(shù)防范措施方面還有所欠缺。
企業(yè)中主要采用從各生產(chǎn)系統(tǒng)手工抽取敏感數(shù)據(jù),臨時(shí)編寫數(shù)據(jù)處理腳本進(jìn)行簡(jiǎn)單的字符替換,以遮蓋數(shù)據(jù)中的敏感內(nèi)容。此方法存在很大的風(fēng)險(xiǎn):
一方面,簡(jiǎn)單替換部分敏感字段無(wú)法滿足數(shù)據(jù)關(guān)聯(lián)性和唯一性等業(yè)務(wù)要求,導(dǎo)致脫敏后的數(shù)據(jù)無(wú)法在測(cè)試系統(tǒng)中關(guān)聯(lián)使用;
另一方面,數(shù)據(jù)脫敏手工完成,工作效率較低;
此外,有些脫敏規(guī)則是可逆的,而敏感信息的可逆將導(dǎo)致敏感數(shù)據(jù)的泄露。
因此,亟需通過(guò)有效技術(shù)手段來(lái)進(jìn)行數(shù)據(jù)脫敏,降低敏感數(shù)據(jù)泄密風(fēng)險(xiǎn),保障數(shù)據(jù)安全。所以,從符合監(jiān)考要求和實(shí)際應(yīng)用角度需要有相應(yīng)的技術(shù)方案滿足實(shí)際需要。
目前,國(guó)際及國(guó)內(nèi)市場(chǎng)上的脫敏系統(tǒng)產(chǎn)品主要面向政府、機(jī)關(guān)及企業(yè)客戶,提供對(duì)生產(chǎn)環(huán)境中數(shù)據(jù)庫(kù)數(shù)據(jù)的脫敏處理,保護(hù)數(shù)據(jù)在研發(fā)、測(cè)試及數(shù)據(jù)分析過(guò)程的隱私數(shù)據(jù)保護(hù)。通過(guò)部署數(shù)據(jù)脫敏系統(tǒng),對(duì)脫離生產(chǎn)環(huán)境的敏感數(shù)據(jù)進(jìn)行變形或屏蔽等不同的脫敏操作,并使脫敏后的數(shù)據(jù)信息保留其原始數(shù)據(jù)格式和數(shù)據(jù)屬性的關(guān)聯(lián)性,以確保業(yè)務(wù)數(shù)據(jù)在數(shù)據(jù)分析、開(kāi)發(fā)和測(cè)試過(guò)程中正常的運(yùn)行,同時(shí)提高測(cè)試類、分析類數(shù)據(jù)使用的安全性。
靜態(tài)脫敏的應(yīng)用場(chǎng)景及特點(diǎn)
生產(chǎn)環(huán)境中的業(yè)務(wù)數(shù)據(jù)到開(kāi)發(fā)測(cè)試環(huán)境中的數(shù)據(jù)脫敏處理。脫敏處理方式主要包括:數(shù)據(jù)庫(kù)到數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)到文件、文件到文件、文件到數(shù)據(jù)庫(kù)。
圖示:靜態(tài)脫敏方式
根據(jù)脫敏系統(tǒng)的實(shí)際應(yīng)用情況,存在兩種普遍的應(yīng)用模式:工具化應(yīng)用場(chǎng)景和平臺(tái)化應(yīng)用場(chǎng)景。
工具化場(chǎng)景特點(diǎn):提供對(duì)數(shù)據(jù)的脫敏處理,來(lái)源于ETL工具的處理思路,在實(shí)際應(yīng)用中作為工具使用?;咎幚矸绞绞遣僮魅藛T選擇生產(chǎn)庫(kù)數(shù)據(jù)進(jìn)行脫敏,脫敏后輸出數(shù)據(jù)到目標(biāo)庫(kù)中,一個(gè)任務(wù)執(zhí)行完成后系統(tǒng)就處于等待狀態(tài),待下一個(gè)任務(wù)創(chuàng)建和運(yùn)行。
圖示:工具化應(yīng)用場(chǎng)景
平臺(tái)化場(chǎng)景特點(diǎn):將脫敏系統(tǒng)作為數(shù)據(jù)安全處理的一個(gè)關(guān)鍵環(huán)節(jié),將企業(yè)內(nèi)的多個(gè)系統(tǒng)進(jìn)行對(duì)接,形成企業(yè)內(nèi)部業(yè)務(wù)流程驅(qū)動(dòng)的數(shù)據(jù)處理(數(shù)據(jù)梳理、數(shù)據(jù)脫敏)平臺(tái),解決數(shù)據(jù)處理過(guò)程中的數(shù)據(jù)安全問(wèn)題。平臺(tái)化應(yīng)用場(chǎng)景中,往往會(huì)有系統(tǒng)的流程對(duì)接,操作人員通過(guò)客戶的IT運(yùn)維管理系統(tǒng)進(jìn)行脫敏任務(wù)工單的發(fā)起,然后經(jīng)過(guò)相關(guān)的數(shù)據(jù)管理部門、安全部門的審批并分配數(shù)據(jù)訪問(wèn)權(quán)限,將脫敏任務(wù)相關(guān)的信息推送到脫敏服務(wù)器中執(zhí)行,包括敏感數(shù)據(jù)的發(fā)現(xiàn)、梳理、脫敏、數(shù)據(jù)輸出、消息推送、輸出報(bào)告等。同時(shí),會(huì)將脫敏過(guò)程的執(zhí)行狀態(tài)信息、異常信息、脫敏結(jié)果信息等通過(guò)系統(tǒng)消息或者郵件方式通知到相關(guān)人員,便于相關(guān)人員及時(shí)掌握脫敏處理的運(yùn)行狀態(tài)。
圖示:平臺(tái)化應(yīng)用場(chǎng)景
靜態(tài)脫敏的部署模式
脫敏系統(tǒng)部署模式:單機(jī)部署模式、集群部署模式。
圖示:?jiǎn)螜C(jī)部署模式(含單服務(wù)器和成對(duì)服務(wù)器)
單機(jī)部署模式:主要包括單服務(wù)器和成對(duì)服務(wù)器兩種部署模式。
單服務(wù)器部署模式,將連接業(yè)務(wù)部門的生產(chǎn)數(shù)據(jù)庫(kù),對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行抽取和數(shù)據(jù)脫敏,脫敏后的數(shù)據(jù)輸出到測(cè)試部門的測(cè)試數(shù)據(jù)庫(kù)中,供測(cè)試部門使用數(shù)據(jù)。單服務(wù)器部署模式用于客戶生產(chǎn)環(huán)境網(wǎng)絡(luò)和測(cè)試環(huán)境網(wǎng)絡(luò)允許通過(guò)設(shè)備進(jìn)行連接的使用場(chǎng)景。
成對(duì)服務(wù)器部署模式,在業(yè)務(wù)部門數(shù)據(jù)出口及測(cè)試部門數(shù)據(jù)入口分別部署脫敏服務(wù)器,可將業(yè)務(wù)部門的數(shù)據(jù)進(jìn)行有效隔離,通過(guò)offline的方式,滿足測(cè)試部門使用業(yè)務(wù)部門脫敏后數(shù)據(jù)的需求。多服務(wù)器模式用于客戶生產(chǎn)環(huán)境網(wǎng)絡(luò)和測(cè)試環(huán)境網(wǎng)絡(luò)需要隔離的使用場(chǎng)景。
平臺(tái)化應(yīng)用場(chǎng)景下對(duì)脫敏系統(tǒng)的綜合處理能力提出了更高的要求,主要體現(xiàn)在:脫敏性能及吞吐量、數(shù)據(jù)發(fā)現(xiàn)的準(zhǔn)確性、脫敏數(shù)據(jù)質(zhì)量、脫敏系統(tǒng)的使用便捷性等方面。其中,尤其以脫敏性能及吞吐量作為核心評(píng)價(jià)指標(biāo)。
目前的應(yīng)用場(chǎng)景中,客戶的數(shù)據(jù)量越來(lái)越大。單次脫敏任務(wù)所涉及到的數(shù)據(jù)量動(dòng)輒達(dá)到數(shù)TB的量級(jí),導(dǎo)致脫敏周期非常久,影響了日常開(kāi)發(fā)、測(cè)試工作的開(kāi)展。
集群部署模式:
架構(gòu)模式設(shè)計(jì)思路:
圖示:集群部署結(jié)構(gòu)圖
集群部署架構(gòu)脫敏,需要一個(gè)分布式執(zhí)行任務(wù)的能力。在任意一臺(tái)脫敏設(shè)備中執(zhí)行脫敏任務(wù),該任務(wù)會(huì)運(yùn)行在壓力最小的機(jī)器中(以任務(wù)及表為基礎(chǔ)),從而達(dá)到可以同時(shí)并行運(yùn)行多任務(wù)的能力。
主要構(gòu)成說(shuō)明:調(diào)度節(jié)點(diǎn)、脫敏節(jié)點(diǎn)(1個(gè)以上)、策略中心數(shù)據(jù)庫(kù)有同步機(jī)制;調(diào)度節(jié)點(diǎn)負(fù)責(zé)整體的任務(wù)調(diào)度及脫敏任務(wù)監(jiān)控,脫敏節(jié)點(diǎn)負(fù)責(zé)執(zhí)行脫敏任務(wù),脫敏節(jié)點(diǎn)對(duì)用戶是透明的。整個(gè)集群部署結(jié)構(gòu)中必須有調(diào)度節(jié)點(diǎn)和至少一個(gè)脫敏節(jié)點(diǎn),且在調(diào)度節(jié)點(diǎn)中進(jìn)行脫敏節(jié)點(diǎn)的設(shè)置。調(diào)度節(jié)點(diǎn)可以通過(guò)A/B設(shè)備實(shí)現(xiàn)調(diào)度節(jié)點(diǎn)的高可用。
案例:
某商業(yè)銀行總行數(shù)據(jù)量在20T左右,單表數(shù)據(jù)可達(dá)5億行以上,由于涉及到壓力測(cè)試需要導(dǎo)出全量數(shù)據(jù)進(jìn)行脫敏,要求脫敏時(shí)間周期在72小時(shí)內(nèi)完成,否則將影響測(cè)試部門的數(shù)據(jù)使用。
按單表脫敏處理,要滿足這樣的要求需要保證脫敏的處理(含數(shù)據(jù)抽取、脫敏和輸出)平均速度在81M/S以上才能滿足需要。同時(shí),需要支持40個(gè)以上業(yè)務(wù)系統(tǒng)的并發(fā)處理。以工控機(jī)4核CPU,32G內(nèi)存的配置計(jì)算,單臺(tái)脫敏設(shè)備顯然無(wú)法滿足客戶的高并發(fā)大數(shù)據(jù)量的脫敏需求。
表格:脫敏處理性能參數(shù)
單臺(tái)設(shè)備(環(huán)境參數(shù)為4核CPU、32G內(nèi)存)的脫敏性能測(cè)試情況,根據(jù)以往的測(cè)試結(jié)果可以看出,單表822G數(shù)據(jù)量脫敏用時(shí)16小時(shí),單位時(shí)間的處理能力在14.6M/S。按此配置,增加線程對(duì)多表進(jìn)行同時(shí)處理,多表3.2T的數(shù)據(jù)量理論上處理能力可達(dá)43.8M/S。對(duì)于81M/S的處理性能,單臺(tái)設(shè)備遠(yuǎn)遠(yuǎn)不能達(dá)到要求。
通過(guò)增加單臺(tái)脫敏設(shè)備的硬件配置,如采購(gòu)更高配置的服務(wù)器來(lái)提高脫敏的處理性能的方式可以解決這一難題,但實(shí)際應(yīng)用中往往因?yàn)榭蛻魯?shù)據(jù)庫(kù)及網(wǎng)絡(luò)環(huán)境的限制,即便是增加脫敏服務(wù)器的配置,同樣很難滿足需求。所以,希望有可能通過(guò)集群部署模式解決此問(wèn)題。
表格:脫敏處理能力估算
在集群部署模式下,通過(guò)擴(kuò)展脫敏節(jié)點(diǎn)數(shù)量可提高脫敏處理的并發(fā)能力。在數(shù)據(jù)總量20T的環(huán)境中,集群部署2個(gè)并發(fā)脫敏節(jié)點(diǎn)并行,單位時(shí)間的數(shù)據(jù)處理性能評(píng)估可達(dá)87.6M/S(此值為評(píng)估的理論數(shù)據(jù),在實(shí)際測(cè)試環(huán)境中會(huì)有一定的偏差),20T的數(shù)據(jù)需要處理大約67小時(shí)左右,基本上能夠滿足72小時(shí)內(nèi)完成20T數(shù)據(jù)脫敏的需求場(chǎng)景。但考慮實(shí)際的數(shù)據(jù)庫(kù)環(huán)境及網(wǎng)絡(luò)環(huán)境差異,會(huì)提出3個(gè)節(jié)點(diǎn)并發(fā)脫敏節(jié)點(diǎn)并行的方案,單位時(shí)間的數(shù)據(jù)處理性能評(píng)估可達(dá)131.4M/S(此值為評(píng)估的理論數(shù)據(jù),在實(shí)際測(cè)試環(huán)境中會(huì)有一定的偏差),20T的數(shù)據(jù)需要處理大約44小時(shí)左右,完全能夠滿足72小時(shí)內(nèi)完成20T數(shù)據(jù)脫敏的需求場(chǎng)景。
集群部署模式的價(jià)值體現(xiàn):
第一,性能大幅度提升。通過(guò)集群部署,增加了脫敏處理的吞吐量,滿足了客戶在有限時(shí)間周期內(nèi)大數(shù)據(jù)量脫敏處理的應(yīng)用場(chǎng)景。
第二,系統(tǒng)高可用。彌補(bǔ)了單一脫敏設(shè)備在數(shù)據(jù)處理過(guò)程中遇到網(wǎng)絡(luò)環(huán)境異常、設(shè)備異常等突發(fā)事件帶來(lái)的任務(wù)中斷無(wú)法正常執(zhí)行的不足,保證系統(tǒng)的高可用性。
第三,適用場(chǎng)景擴(kuò)大。用戶在各種復(fù)雜的應(yīng)用環(huán)境中,涉及與脫敏系統(tǒng)的應(yīng)用對(duì)接滿足流程化脫敏,脫敏后的數(shù)據(jù)發(fā)送及數(shù)據(jù)校驗(yàn)等各種場(chǎng)景,通過(guò)集群部署,在調(diào)度節(jié)點(diǎn)的配置管理中可充分考慮脫敏節(jié)點(diǎn)對(duì)不同的處理場(chǎng)景的處理機(jī)制。
靜態(tài)脫敏市場(chǎng)未來(lái)展望
隨著政府部門、企事業(yè)單位的數(shù)據(jù)量不斷增長(zhǎng),靜態(tài)脫敏系統(tǒng)面臨著大數(shù)據(jù)量的脫敏及高吞吐量的性能要求,未來(lái)安華將不斷推出優(yōu)化解決方案滿足市場(chǎng)的多樣化應(yīng)用場(chǎng)景需求。
試用申請(qǐng)
在線咨詢
咨詢電話
TOP