“千里之堤潰于蟻穴?！币恍┤搜蹮o法感知的圖像擾動噪聲就如同小小蟻穴，將這些噪聲擾動疊加到人臉圖像上得到的人臉對抗樣本，能讓所謂技術成熟的人臉識別系統做出錯誤的識別?，F如今，人臉識別技術如同“千里之堤”般被廣泛地應用到了金融領域，但人臉對抗樣本這小小“蟻穴”已足以引發“潰堤之險”，因此有必要對人臉對抗樣本攻防技術對金融領域人臉識別系統的影響進行分析和因應。

對抗樣本是為何物？

設想一個場景，假如你的人臉出現在一張照片圖像中，圖像中的你看上去似乎毫無異樣，但對這張圖像進行人臉識別時，卻把你識別成了其他人。其實以上所述并不是設想，而是2019年CVPR論文《針對人臉識別系統的高效黑盒對抗攻擊算法》的研究成果。

論文中提到的對抗攻擊算法，是對圖像添加一定的對抗擾動，得到的圖像被稱為對抗樣本，可以使基于圖像的分類模型將圖像識別成錯誤的類別。當對抗攻擊的對象特定為人臉識別模型時，則將此類對抗樣本稱為人臉對抗樣本，它能夠讓人臉識別模型在進行身份識別時做出錯誤的識別。

對抗樣本像是人工智能模型的bug，因為它讓人工智能模型“出了錯”。但是也有研究認為對抗樣本不是bug，而是數據的一種特征，這種特征人眼幾乎無法感知，但是人工智能模型卻對這種特征非常敏感。利用對這種特征的敏感性，別有用心者就可以發起一些人眼無法察覺、又能讓人工智能模型做出謬以千里的錯誤決定的致命攻擊。

若要問對抗樣本究竟為何物，不妨在這里“哲學”一下。在思考“我們是什么？”這個哲學問題的時候，會把問題拆解為“我們從哪里來，我們要到哪去？”。因此，“對抗樣本為何物”這個問題，可以分解為“對抗樣本從哪里來，又要到哪里去？”。

1.1 對抗樣本從哪里來？

對抗樣本最早于2014年被發現，并且發現多種不同結構的機器學習模型都會被對抗樣本影響，這表明對抗樣本并不是一種個別現象。一開始，很多人認為產生對抗樣本的原因在于模型的高度非線性，但《Explaining and Harnessing Adversarial Example》則證明高維空間的線性行為足以形成對抗樣本。

1.2 對抗樣本到哪里去？

對抗樣本的攻擊目標就好比是它的目的地，而且它的目的地并非只有一個。

當攻擊目標和攻擊的介質有關，根據攻擊介質的不同，可以分為基于圖像的攻擊和物理攻擊。其中，基于圖像的攻擊指的是對圖像添加對抗擾動，主要改變的是圖像的像素值；物理攻擊方式則指的是將通過訓練生成的對抗擾動通過一些技術變為實物，人們穿戴該實物之后使人臉識別系統將其識別成其他人。顯然，圖像攻擊由于條件可控，成功率很高；而物理攻擊方式的不可控因素過多，所以現在成功實施物理攻擊的案例比較少。

根據攻擊有無目標人物，可以分為定向攻擊（Targeted Attack）和非定向攻擊（Untargeted Attack）。定向攻擊使模型將對抗樣本預測為指定標簽（即目標人物的標簽）；非定向攻擊則使模型將對抗樣本預測為非正確標簽，即得到的是與原圖像的標簽不同的其他標簽。

根據攻擊者對目標模型的了解程度，可以分為白盒攻擊（White-box Attack），灰盒攻擊（Gray-box Attack），及黑盒攻擊（Black-box Attack）。白盒攻擊中攻擊者掌握模型的所有參數信息、訓練階段的輸入以及標簽；灰盒攻擊中攻擊者只了解模型的一部分信息例如訓練標簽，可訓練代替模型以估算數據；黑盒攻擊中攻擊者對模型結構、參數等一無所知，只能通過輸出與模型進行交互。

“千里之堤”暗藏“蟻穴”何物？

人臉識別技術能夠如“千里之堤”般地被廣泛應用，得益于深度學習技術在計算機視覺、圖像處理等領域的迅猛發展，大大提升了人臉識別模型的性能。

但是這“千里之堤”中，正暗藏著容易被人忽視的“蟻穴”。目前大多數人臉識別模型的開發者、運營者和使用者更關注人臉識別模型的識別性能，例如識別率、無視率這樣的數值指標，容易忽視人臉識別模型自身所存在的安全問題，而對抗樣本攻擊的產生正是來自于深度學習模型內部結構的高維線性所導致的擾動累加，最終導致深度學習模型輸出錯誤的結果。

2.1 工欲善其事，必先利其器

要想找到人臉識別系統中暗藏的“蟻穴”，就得先了解人臉識別系統的構成。

人臉識別技術正被廣泛地應用在金融領域線上業務的身份驗證場景，通過采集客戶的人臉圖像或視頻，驗證該用戶是否為“真人”和“本人”?；谏矸蒡炞C場景，對人臉識別系統進行粗略地劃分，可以分為三個主要組成部分：攝像頭、交互活體檢測和人臉識別模塊，如圖1所示。

圖1 金融領域的人臉識別系統的主要組成部分

首先，由攝像頭采集用戶人臉圖像或視頻。其次，交互活體檢測模塊通過檢測圖像或視頻中的用戶是否完成相關交互指令，來判斷用戶是否為“真人”。最后，當交互活體檢測模塊判斷用戶為“真人”后，再由人臉識別模塊完成人臉比對和人臉識別任務，判斷用戶是否為“本人”。

2.2 “千里之堤”中的“蟻穴”藏于何處？

了解了人臉識別系統的構成，就可以來深挖暗藏其中的“蟻穴”。

首先從人臉對抗樣本攻擊的形式說起，因為不同的攻擊形式其“藏身之處”也會不同。人臉對抗樣本攻擊的形式主要分為兩種，數字圖象的對抗攻擊和物理形式的對抗攻擊。

圖2 人臉對抗樣本的攻擊環節

如圖2所示，數字對抗樣本攻擊藏身于交互活體檢測和人臉識別模塊的數據傳輸通道中，主要通過數據包劫持，將通過交互活體檢測的真實人臉圖像替換為數字人臉對抗樣本圖像，從而直接攻擊人臉識別模塊，使其做出錯誤的身份識別。

物理對抗樣本攻擊則在攝像頭前發起。攻擊者佩戴實物化的對抗樣本道具出現在設備的攝像頭前，此時設備攝像頭仍可以正常采集圖像。因為實物化的對抗樣本道具，如眼鏡、帽子，都會被認為是正常的人臉屬性，不會被檢測為異常，并且不影響攻擊者完成交互動作，因此可以正常通過交互活體檢測，最后讓人臉識別模塊得出錯誤的身份識別結果。

“蟻穴”雖小，不可不防

就在今年年初，一家科技公司利用人臉對抗樣本技術，生成了眼部的干擾圖像，并將其打印出來貼在眼鏡的框架上。當攻擊者戴上這個眼鏡之后，就能破解受害者的安卓手機人臉識別解鎖，且被攻破的安卓手機達19款之多，覆蓋了目前國內份額前五的國產手機品牌。同樣被攻破的還有十余款金融和政務類App。

由此可見，人臉對抗樣本攻擊攻破人臉識別系統已不是個別案例。通過遷移學習的方法，人臉對抗樣本不僅能夠攻擊手機解鎖，還能攻擊各類基于人臉識別登陸的金融賬戶，例如手機銀行賬戶、基于人臉識別的ATM取款機等，造成賬戶信息泄露和財產損失。

3.1 小小“蟻穴”，足以潰堤

對于人臉對抗樣本攻擊，在數字對抗攻擊方面，可以采取傳輸加密等方式對數據包劫持進行防御，因此能較為有效地防御數字對抗攻擊。

但是在物理對抗攻擊方面，攻擊者只是佩戴了相應道具并在攝像頭前進行呈現，呈現方式與物理介質攻擊類似，不同的是物理對抗攻擊的道具一般為眼鏡、貼于人臉面部的小塊紙片或眼影紋身等，這些道具通常被認為是正常的人臉屬性，不會被檢測為異常，也不影響攻擊者完成交互動作，從而能夠正常通過交互活體檢測，同時還能讓人臉識別模塊做出錯誤的身份識別，造成用戶個人信息的泄露和財產損失。利用這些泄露的個人信息，再結合人臉對抗樣本，攻擊者又可以進行線上開戶、優惠補貼冒領、注冊空殼公司等業務的辦理，造成影響范圍更大、程度更深的危害。因此，小小“蟻穴”，不可不防。

3.2 如何防御對抗樣本的攻擊？

針對人臉對抗樣本攻擊的防御技術主要分為兩類：完全防御技術和檢測防御技術。

（1）完全防御技術

完全防御技術的作用域在圖1中的人臉識別模塊，它使得防御后的人臉識別模塊能夠將對人臉抗樣本做出正確的識別，可以無視對抗樣本的干擾。主要方法有算法魯棒性增強、梯度掩碼、預處理等。人臉識別模塊中的核心部件是人臉識別模型，人臉比對和人臉識別任務也主要由人臉識別模型來完成，算法魯棒性增強法能夠使訓練出的人臉識別模型具有針對人臉對抗樣本的魯棒性和泛化能力。具體方法包括對抗訓練、知識蒸餾和集成梯度等。

梯度掩碼法是通過隱藏人臉識別模型訓練中的梯度信息，從而使得攻擊算法很難通過梯度求解的方法攻擊模型，達到抵御對抗攻擊的效果。

預處理方法作用于人臉識別模型之前。首先通過一些圖像處理方法，例如濾波去噪、圖像壓縮等，去除或減弱人臉對抗樣本中的對抗擾動。然后，再將處理完的圖像送入人臉識別模型中進行人臉比對和識別。

（2）檢測防御技術

檢測防御技術的思想是識別出輸入圖像是否為人臉對抗樣本，當檢測為人臉對抗樣本，則終止人臉識別業務并報出終止原因。檢測防御技術在人臉識別系統中的作用可以與圖1中的交互活體檢測并行，只有當兩種檢測都通過之后，業務流程才會進入到人臉識別模塊中。

典型的對抗樣本檢測包括有監督的發現方法與無監督的發現方法。有監督方法需要生產大量的人臉對抗樣本，對數據進行標注后形成訓練數據集，然后再進行有監督的訓練，從而得到一個人臉對抗樣本分類器，能夠區分哪些圖像是對抗樣本，哪些是正常人臉圖像。

無監督方法則是通過距離度量、最近鄰分類和主成分分析等方法來發現人臉對抗樣本。

3.3 固堤之路，任重道遠

目前，金融領域的人臉識別系統主要應用于身份驗證場景。例如在銀行業，線上開戶、業務辦理、支付轉賬和金融賬戶登陸等業務場景中，都使用了人臉識別技術作為身份驗證的輔助手段，因此成為了被攻擊的重災區。針對人臉識別系統的安全加固一直在進行，在不斷提升對既有攻擊方式防御能力的同時，又出現了例如人臉對抗樣本攻擊這種新型的攻擊方式，并且它與以往針對人臉識別系統的攻擊形式也有所不同，需要研究新的防御方法以“對癥下藥”。因此，提升人臉識別安全的“固堤之路”，任重且道遠。

但是，目前國內的企業和研究機構對人臉對抗樣本的研究和產出還不多，主要工作為發布了相關識別檢測產品/工具和數據集，以及舉辦人臉對抗樣本攻防的相關競賽。

對于對抗樣本的相關研究逐步涌現，國內有關人臉識別安全方面的標準陸續發布出臺，但仍未形成對人臉識別應用的對抗樣本攻擊檢測技術的要求和規范。

在相關檢測和測試標準方面，ISO/IEC JTC 1/SC 37（生物特征識別分技術委員會）已發布了共計121項標準，涵蓋了指紋、人臉、虹膜、靜脈、數字簽名、聲紋等模態，形成了較為完備的標準體系，但關于人臉識別系統的對抗樣本攻擊檢測的相關標準還尚未制定或公布。

隨著人臉對抗樣本攻防技術的研究不斷深入，相關技術的發展正趨向于穩定。因此，對于人臉對抗樣本攻防技術，人臉識別系統的開發者、運營者、使用者需要關注以下兩點：1、人臉對抗樣本攻防技術水平呈現螺旋上升的趨勢，在對現有攻防技術進行研究的同時，也要持續關注新型攻防技術的發展；2、需要學術界和產業界攜手制定、完善相關標準和測試方法指引，幫助人臉識別系統的開發者、運營者、使用者及時提升防御人臉對抗樣本攻擊的能力，從而規避或減少因對抗攻擊造成的人臉識別安全事件。

（作者就職于中國工商銀行軟件開發中心）

責任編輯：陳愛