人工智能：機遇挑戰和安全風險并存

基于人工智能的新型網絡安全技術

近年來，網絡空間安全威脅擴展到一些新的領域，形成了泛在的網絡安全威脅，網絡攻擊手段空前復雜。

美國東部時間2016年10月21日7點10分-17點（北京時間21日19點10分-22日5點），黑客操控數百萬網絡攝像頭及相關數字視頻錄像機（DVR）作為“肉雞”，通過未來（Mirai）僵尸網絡以分布式拒絕服務攻擊（DDoS）劫持攻擊方式癱瘓了美國主要域名服務器（DNS）供應商Dyn公司的服務器，導致包括推特（Twitter）、貝寶（Paypal）、聲田（Spotify）、奈飛（Netflix）、愛彼迎（Airbnb）、極特軟件源代碼托管服務平臺（Github）, 以及紅迪網（Reddit）和《紐約時報》等在內的美國知名網站無法訪問，半個美國陷入斷網狀態。

2017年，“想哭”（WannaCry）勒索軟件對各個行業造成了巨大影響。它通過社會工程學嘗試感染目標組織的環境，通常為帶有惡意宏的Office文檔附件的釣魚郵件。一旦感染環境中的一臺計算機后，該變種會嘗試利用微軟在MS17-010中修復的SMBv1的漏洞在內網主動傳播。這一蠕蟲行為，是真正讓這一變種帶來如此巨大影響的原因。

網絡空間威脅朝泛化和復雜化的趨勢發展，各類網絡攻擊也更加具有持續性和隱蔽性。傳統的安全防護僅僅依靠部署于邊界或特殊節點的防火墻、入侵檢測系統、入侵防御系統（IPS）等安全設備進行的靜態控制被動式防御已不再適用于高級持續威脅（advanced persist threat，APT）、零日（0day）攻擊等新型網絡安全威脅的防護，亟需對傳統的安全防御方式進行優化和改進，形成智能化的防御體系，應對多樣化和持續化威脅。

人工智能技術被網絡安全領域的專家用來應對越來越復雜的網絡攻擊手段。人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。它企圖了解智能的實質，并生產出一種能以人類智能相似的方式作出反應的智能機器。該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。人工智能是對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但是，能像人那樣思考，也可能超過人的智能。人工智能涉及計算機、通信、數學、認知、心理等交叉學科。從終端、網絡到云端，人工智能推動了各類軟件硬件技術架構的革新，催生了眾多新興應用和服務。

人工智能可以被用于用戶行為分析、網絡流量分析和入侵檢測、網絡終端反惡意軟件、Web 應用防火墻或數據庫防火墻、以及商業流程反欺詐檢測等。人工智能成為網絡安全人員的輔助工具，基于人工智能技術的網絡安全自動化分析能夠在海量信息中篩選出有價值的信息，極大降低安全人員的工作壓力，提高其工作效率?；谌斯ぶ悄艿穆┒赐诰蚣夹g，同樣也可以被用于軟件的惡意攻擊過程，還可以實現漏洞修復與攻防對抗。

人工智能在網絡安全領域得到應用，并且取得很多成功的案例。英國網絡安全服務提供商旺德拉（Wandera）被認為是移動威脅檢測和防御市場的領導者。旺德拉于2017年發布了它的威脅檢測引擎米藍（MI:RIAM）。據報道，它檢測到400多種針對企業移動車隊的重新包裝的司洛克（SLocker）勒索軟件。麻省理工學院的計算機科學和人工智能實驗室（CSAIL）于2016年開發了一個稱為AI2的系統，這是一個自適應機器學習的安全平臺，幫助分析師做那些類似“大海撈針”的工作。AI2每天檢查數百萬次登錄，系統能夠過濾數據并將其傳遞給人類分析師，從而將警報降低至每天大約100次。由計算機科學與人工智能實驗室CSAIL和初創公司PatternEx進行的實驗表明，攻擊檢測率升至85％，誤報率降低5倍。

人工智能面臨的安全問題

人工智能技術在很多領域取得了成功，但是，也引發了人們的擔憂。2017年5月，阿爾法狗（AlphaGo，或譯“阿爾法圍棋”）的出現讓人工智能成為公眾熱議的話題。在與圍棋世界冠軍柯潔歷經了約3個半小時的對弈后，執黑的阿爾法中盤獲勝，而柯潔投子認輸。盡管柯潔當時等級分世界第一，比賽中的表現也相當精彩，但是，在人機大戰中仍處于絕對弱勢。阿爾法狗的獲勝，引發了大家對人工智能的好奇，同時，也增加了對人工智能發展的擔憂與恐懼。

人工智能自身存在脆弱性和不完整性，傳感器欺騙、軟件缺陷、數據投毒、系統安全、網絡安全都會給人工智能在應用過程中造成不可逆的安全威脅。人工智能的算法也存在安全風險，主要表現在：算法設計或者實施有誤，如算法目標函數有誤、目標函數計算成本過高或者算法模型表達能力有限；算法對數據的依賴，例如，算法模型性能對訓練數據與質量存在較強依賴性、含有噪聲或偏差的訓練數據可影響算法模型準確性；對抗樣本攻擊可誘使算法識別出現誤判漏判，產生錯誤結果，包括逃避攻擊和模擬攻擊；算法潛藏偏見和歧視，決策結果可能存在不公，例如，算法設計者價值觀影響或者訓練數據本身帶有歧視性；算法黑箱造成監管困境和決策爭議，例如，算法擁有者不愿公開、社會公眾不能理解或者開發者也無法解釋。

對抗樣本是人工智能應用受到的主要威脅之一。對抗樣本是通過對被檢測樣本進行微小的改動從而欺騙人工智能識別的技術。從網絡安全領域看，通過對惡意代碼插入混淆操作就有可能對人工智能產生欺騙。網絡犯罪分子采用各種手段，例如，對代碼采取各種混淆或加密，甚至利用現有人工智能的缺陷生成對抗樣本進行攻擊。由于目前的人工智能技術仍然處于黑箱狀態，并不能從理論上杜絕對抗樣本的攻擊。

2017年，密歇根州華盛頓大學以及加州大學伯克利分校的研究人員表示，通過進行小幅調整停止標志，他們可以使自動駕駛汽車的計算機視覺算法不可見。這意味著，黑客可以強迫自動駕駛汽車以危險的方式行事并可能導致事故。人類駕駛員會注意到“被黑”的停車標志，但是，神經網絡可能完全失明。這意味著，黑客可以強迫自動駕駛汽車以危險的方式行駛并可能導致事故。

人工智能算法的漏洞可以被惡意利用，從而使人工智能應用偏離原先的設計。微軟的智能聊天機器人Tay，最初被設定為一個年齡19歲的少女，具有一些幽默機制，適合和18至24歲的用戶聊天。萬萬沒有想到的是，Tay在 Twitter 上線沒幾天就“誤入歧途”甚至出現偏激言論，而這正是源自一些不良網民利用人工智能系統的漏洞而進行的一場惡搞。此次這個學習漏洞在于“Repeat After Me”機制，只要對Tay提到這句話，Tay就會將對方的話進行重復，因此，不管是何種偏激的種族主義語言，都會被Tay重復，這個狀況像滾雪球一樣大量出現在Tay的Twitter上，由于偏激言論不斷出現，最終導致微軟關閉了Tay。

作為人工智能發展核心的算法和數據都存在潛在的安全問題，會導致人工智能決策的風險。從編程的角度看，任何的代碼都是由人編寫，因此，無法確保程序完全安全、可靠、可控和可信。從數據角度看，人工智能依賴大數據，同時，數據的質量也會影響算法的判斷。軍事數據獲取、加工、存儲和使用等環節都存在一定的數據質量和安全風險，從而增加軍事領域使用人工智能的安全風險。伴隨著人工智能武器的開發，國際社會面臨的另一大難題就是反擴散問題，恐怖主義組織以及不負責任的國家獲取人工智能武器并威脅國際安全和平。人工智能從某種意義上而言，也是一種程序和軟件，因此，它面臨的擴散風險要遠遠大于常規武器。類似于美國國家安全局的網絡武器庫被黑客攻擊，并且在暗網交易，最后被黑客開發為勒索病毒的案例，也有可能在人工智能武器領域重現。

針對人工智能的安全性問題，需要構建安全的機器學習方法。目前，已經有很多這方面的安全機器學習算法被提出，包括使用多個分類器的技術、使用具有隱私保護能力的機器學習算法、博弈論理論在數據挖掘中的應用等。最典型的例子，就是搜索引擎的排名算法。過去，這個算法常常被搜索結果優化服務商所欺騙，甚至形成了一個具有規模的產業；現在，搜索引擎的排名算法已經考慮了這方面的問題，對抗相關排名優化的機制能力比以前強得多。在網絡安全領域，更安全的機器學習算法，將會很快得到廣泛的應用。

對人工智能和網絡空間安全交融發展的思考

人類歷史上每一次重要的飛躍式發展都由顛覆式創新技術引領，像蒸汽機、電力、信息化等。人工智能所帶來的智能化將會引領下一次變革。為了更好地推動和實施國家戰略，抓住新技術帶來的機遇，必須要加強跨領域的技術革新。人工智能和網絡信息安全兩大領域的交叉融合發展，有利于推動相關前沿科技和產業的加速發展。

第一，用人工智能構建“智慧”安全解決方案。在網絡空間威脅朝泛化、復雜化的發展趨勢下，各類網絡攻擊手段更加具有持續性和隱蔽性，網絡空間安全亟需智能化的安全技術。在這方面，人工智能可被用于用戶行為分析、入侵檢測、反欺詐活動、威脅情報處理等過程。深度學習等人工智能技術可以用來構建網絡安全智能模型，以實現惡意軟件分類、入侵檢測和攻擊智能感知。

第二，人工智能所帶來的新問題要靠人工智能自身解決。人工智能算法目前所遭受的對抗樣本攻擊，主要還是由于算法本身的脆弱性和不完整性造成的。人工智能算法在很多單一方面已經超過人類，不太可能在人工智能之外找到解決人工智能領域問題的手段。人工智能模型需要特定的網絡安全防御和保護技術，以對抗敵對的機器學習，同時，保護機器學習中的隱私、保障聯合學習的安全等。