摘要

　　現代傳感器、計算和通信技術的發展，使得各種智能電網應用程序成為可能。對通信技術的嚴重依賴凸顯出了智能電網對虛假數據注入(FDI)攻擊的脆弱性，這種攻擊可以繞過不良數據檢測機制。電力系統中現有的緩解措施要么側重于冗余測量，要么就保護一組基本測量。這些方法對FDI攻擊作了具體假設，現有緩解措施對現代網絡威脅的處理經常是存在一些限制和不足。在已提出的方法中，基于深度學習的框架工作用于檢測注入數據測量。我們的時間序列異常檢測器采用卷積神經網絡(CNN)和一個長短期記憶(LSTM)網絡。為了能夠有效地估計系統變量，我們的方法進行觀察數據測量和網絡級特性共同學習系統狀態。該系統在IEEE 39-bus測試系統上進行了測試。實驗分析表明，該深度學習算法能識別傳統狀態估計不良數據檢測檢測不到的異常。

　　一、介紹

　　在電力需求增長的環境下，未來智能電網的設計要運行更加可靠、經濟和高效。然而，要實現這一目標，需要通過與數據通信的巨大增長相結合，然而，數據通信為各種網絡攻擊提供了大把的機會。因此，確保智能電網的網絡安全是重中之重。雖然發布了大量的對抗措施,如通信標準(如IEC 61850-90-5 [1])、法律法規(如Colorado法規(CCR) 723-3)、加密實現(如，安全通道[7])，以及官方指南(如NISTIR 7628指南[8])，目前智能電網仍然容易受到網絡攻擊。

　　為了防止網絡攻擊，傳統電網依賴于傳統安全方案(如，防火墻和一般入侵檢測系統)。入侵檢測系統(IDS)能夠通過持續的監視網絡流量或系統日志對潛在入侵進行警報。雖然在網絡安全社區有一些關于IDS的研究，但是在智能電網方面所作的努力是有限的。同時，在電力網絡中針對數據可用性和完整性的攻擊風險是真實存在的。Liu等人[16]提出了一個值得關注的問題，即一種叫作虛假數據注入(FDI)的攻擊類型，該攻擊類型針對的是國家電網系統中的狀態估計。在這種攻擊中，攻擊者的目標是繞過現有不良數據檢測系統，并通過故意改變電力系統的估計狀態對電力系統運行造成損害。因此,迫切需要一個有效的智能電網專用入侵檢測系統。

　　為了解決上述問題，有兩種被廣泛研究的方案可以檢測FDI攻擊[4],[14]：一種方法是戰略性地保護一些安全的基本測量。Kim等人[12]提出了一種貪婪算法來選擇基本測量子集和安全的相量計量單位放置。Bi等人[3]將問題用一個圖形化的防御機制來進行描述，選擇不會受到攻擊的儀表測量的最小數。另一種防御FDI攻擊的方法是單獨對每個狀態變量進行驗證。Liu等人[15]制定了一個低秩矩陣分離問題識別攻擊并提出兩種優化方案來解決問題。Ashok等人[2]提出了一種基于統計信息以及狀態變量預測的在線檢測算法來檢測測量異常。

　　近年來，機器學習算法被智能電網相關文獻廣泛用于監測和預防電力系統的網絡攻擊。Ozay等人[17]提出了Gaussian分布攻擊并且使用監督和半監督機器學習方法來對攻擊進行分類。同樣，Esmalifalak等人[5]設計了一個分布式的支持基于向量機的標簽數據模型和非監督機器學習情況下的統計異常檢測器。他們[10]采用條件深度信念網絡(CDBN)有效地揭示了難以察覺的FDI攻擊的高維時間行為特征。然而,現有的工作主要是在某一狀態下發現不良測量，并沒有關于FDI攻擊動態行為的先前研究。此外，對FDI攻擊的檢測也被認為是[5][10]中的監督二分類問題，即無法檢測動態演變的網絡威脅以及變化的系統配置。

　　GPU計算的最新突破為深入研究神經網絡奠定了基礎。本文提出了一種基于神經網絡的異常檢測框架，使智能電網專用IDS的構建成為了可能。更具體地說，使用LSTM[11]單元的遞歸神經網絡來捕獲電力系統的動態行為，并且采用卷積神經網絡[13]平衡兩個輸入源。當觀察到的和估計的測量值之間的殘差大于給定的閾值時，就會發出攻擊警報。

　　此外，具有詭辯領域知識的攻擊者也可能，在沒有被檢測到的情況下繼續操縱電力電網狀態估計，造成更廣泛的損害。因此,我們計劃將網絡異常檢測器與FDI攻擊檢測機制聯合起來。不像其他研究，將兩個檢測器分離，我們的框架將網絡流量特性和時間序列數據測量聯合起來，并利用卷積神經網絡在兩者之間進行均衡輸入。在提出的神經網絡結構幫助下，異常檢測器顯示出高度精確的檢測性能。

　　本文剩余部分組織如下:第二部分介紹了FDI攻擊的背景和神經網絡。第三部分介紹了我們的聯合檢測系統，同時在第三部分的B小節和第三部分C小節用靜態和動態的方法檢測FDI攻擊。第四部分介紹了關于IEEE 10-machine 39-bus電力系統研究的例子。最后，第五節結束我們的工作。

　　二、背景

　　A.虛假數據注入攻擊

　　在電力系統中，用總線電壓大小V∈Rn和相角θ∈([?π,π])n表示狀態,其中n是bus的數量。設z = [z1, z2, …, zm] T ∈ Rm為測量向量，x = [x1, x2，…xn] ∈Rn，T∈Rn是狀態向量，e = [e1, e2，…em]T∈Rm表示測量誤差向量。AC測量模型描述如下:

　　z = h(x) + e (1)

　　在分析數據攻擊對狀態估計的影響時，采用通過線性化AC模型得到DC模型，在該模型中儀表測量值m與狀態變量n之間的關系，可以用一個m×n矩陣H描述。通常，電力系統的矩陣H是一個常數矩陣，該常數矩陣由電力系統的拓撲和線路阻抗決定。

　　z = Hx + e (2)

　　通常使用加權最小二乘估計獲得狀態估計的方程式：x?= minx1/2 (z ? Hx)TR?1(z ?Hx) = (HTR?1H)?1HTR?1z，其中R是協方差矩陣。

　　用za表示觀測到的量測向量，該測量值可能包含惡意數據。za可以表示為za=z+a，其中a = (a1,…,am)T是被添加到原始測量數據中的惡意數據。讓xa表示x的估計值，其中x是使用包含惡意量測數據za估計出的。xa表示為x?+ c,c是一個非零向量，表示惡意注入對狀態估計的影響，x?表示使用原始測量數據的狀態估計。在本文中，我們假設如果隨機FDI攻擊者只有部分信息，那么目標FDI攻擊者則獲得了足夠的內部信息來構造xa。

輸入層 卷積層+ RELU（激活函數） 池化層 扁平層 全連接層 Softmax分類器。

圖1 一個用卷積神經網絡進行圖像分類的架構示例

　　B .卷積神經網絡

　　卷積神經網絡 (CNN或者ConvNet)是神經網絡的其中一類，這類神經網絡在處理圖像和視頻信號方面取得了成功，如在實時視頻中識別對象和圖像風格轉換，如可視化圖1所示。

　　CNN描述了最經典的神經網絡形式，這種形式的神經網絡將多個節點按層排列，信息只從輸入到輸出。我們使用三個主要層類型構建CNN架構：卷積層、池化層、全連接層。

　　通過這種方式，CNN從原始張量到可能是類分數的最終輸出，對原始輸入進行逐層轉換。特別是每個卷積層和全連接層執行轉換，該轉換是輸入量的參數(權重和偏差)和激活函數的一個函數。CNN的參數將會接受梯度下降優化算法的訓練，使CNN計算的輸出數據和訓練數據集標簽之間的損失最小。

　　C .遞歸神經網絡

　　遞歸神經網絡，或RNN[19]，是用于處理序列數據神經網絡的一個家族。與專門處理高維向量，如圖像，的卷積網絡對比，遞歸神經網絡是專門處理時間序列值x(1)…….x(t)的一種神經網絡。RNN非常適合處理不基于序列專門化的長序列數據。時間遞歸神經網絡使用下列方程定義隱藏單元的值。

　　h(t) = f(h(t?1), x(t); ) (3)

　　h代表隱藏狀態，x(t)則是時刻t的序列輸入。

　　Schuster等人[20]展示了雙向深層神經網絡。在每個時間步長為t的時刻，雙向RNN維護兩個隱藏層，一個用于正向傳播，另一個用于反向傳播。最后的結果yt，是通過將兩個隱藏層產生的分數結合生成的。圖2顯示了雙向網絡體系結構，(4)顯示了單個雙向RNN隱藏層的公式。

　　h→(t) = f(h(t?1), x(t); θ→) (4)

　　h← (t) = f(h(t+1), x(t); θ←) (5)

圖2 典型的3層雙向遞歸神經網絡的計算

　　1)長短期記憶：目前,最常用的RNN屬于長短期記憶(LSTM)神經網絡[11]。不同于普通帶有單個gate的RNN，LSTM表現出顯著的特征，既能保持長時間的依賴，又能保持短時間的記憶。每個LSTM單元有三個gate（門）：輸入門 i，輸出門 o，遺忘門 f。LSTM單元的信息流如下:

　　ft = σg(Wfxt + Ufht?1 + bf ) (6)

　　it =σg (Wixt + Uiht?1 + bi) (7)

　　ot =σg (Woxt + Uoht?1 + bo) (8)

　　ct = ft ○ ct?1 + it○σc(Wcxt + Ucht?1 + bc) (9)

　　ht = ot ○ σh(ct) (10)

　　其中σg (·)和σc (·)分別代表sigmoid和正切函數， ○表示element-wise產品。這里，c和h代表單元狀態向量和隱藏單元向量。

　　三、檢測數據級別的虛假數據注入攻擊

　　關于靜態FDI攻擊檢測方法已經進行了各種研究。一個常見的假設是威脅模型，在該模型中，攻擊者知道電力系統拓撲結構;但是，只能注入有限數量的壞數據點，如圖3a所示。在這種威脅模型中，如果組成變電站的比例低于某一閾值，則可以減輕FDI攻擊。此外,在估計實際狀態時，數據測量常常是多余的。這種威脅模型在現有的工作中被廣泛采用。盡管如此,我們強調這種威脅模式:1)消除已損壞量測數據數量的限制;2)假設攻擊者對(11)中所述的靜態檢測機制有基本的了解。

(a)有限制的電力FDI攻擊 (b)無限制的電力FDI攻擊

圖3 動態FDI攻擊的不同場景

　　圖3b顯示了所關注的動態FDI攻擊。攻擊開始于t = 3，并且bus 2 和bus 3的量測值已經被攻擊。靜態方法在這種情況下會失敗，原因是三分之二的量測值已被從t = 3修改為t = 6。老練的攻擊者會在真實事件的基礎上故意產生錯誤事件并，將其注入電網。因此，僅基于靜態方法不太可能檢測到這種攻擊，并且如果控制中心出現錯誤行為，該方法可使系統發生災難性后果。

　　A.聯合攻擊檢測方法

　　在本節中，概述了圖4中我們提出的檢測FDI攻擊的系統。我們提出的檢測機制主要由靜態檢測器和基于深度學習的檢測方案組成。靜態檢測器是狀態估計量(SE)或上述FDI攻擊檢測器的任何一種[2]，[3]，[5]，[10]，[15]，[17]，[12]，這些檢測器都是獨立于我們的動態探測器之外構建的。如前所述，動態檢測器接受兩個輸入來源。雖然數據級別的特征是顯式的，但是網絡包被tcpdump捕獲，并且每個網絡包包括頭和數據有效負載，并且具有在NSL-KDD數據集[22]中定義的獨特的功能。NSL-KDD數據集有41個特性，分為三類特性:基本的、基于內容的和基于流量的特性。需要指出的是，某些特性是基于固定的窗口期產生的(默認為2秒)并且這些特性在窗口期將保持一致。

　　動態檢測器是用來識別高級別時間序列特征的FDI攻擊。為了實現這個目標，我們的時間序列方法包括兩個基本的機制:離線訓練和線上檢測。離線訓練是基于歷史量測進行的訓練，并且可以通過外包給學習云服務的公共機器來實現潛在的便利。不像其他的方法設計時假設電力系統物理狀態不會超時變化，我們的系統會收集實時測量數據，支持離線訓練，并且再訓練完成后，預測模型將進行更新。

圖4 概述了我們提出的基于深度學習的FDI攻擊檢測系統。

　　B .狀態估計方法

　　在不良數據注入攻擊中，一個方法是使用Chisquares測試。一旦檢測到不良數據，便對其進行淘汰或修正,以獲得正確的狀態。其中兩個重要的假設分別是最大標準殘差(LNR)法和J(x?)性能指標：

　　J(x?)< τ (11)

　　J(x?)遵循卡方分布，τ是預設的閾值。閾值可以從χ2分布獲得。如果J(x?)>τ,疑似不良數據。對于DC模型，diag(σi2, 0) = I傳統的不良數據檢測方法經常減少到測量殘差的l2-norm[16]:

　　∥z ?Hx?∥2< τ (12)

　　C .動態檢測方法

　　在[9]中，作者建立了母線電壓等級，

　　測量裝置的相角和狀態作為馬爾可夫決策過程(MDP)中的系統狀態。在我們的方法中,我們擴展到一個遞歸模型，在這個模型中，決策不僅僅是取決于之前的一個狀態，而是之前的n個狀態，其中損失如下：

　　η= L(Ф(st), f(Ф(st?1, ……, st?n?1), θ), τ) (13)

　　Ф,θ是需要轉換的參數，τ是判斷攻擊是否已經開始的閾值。

　　圖5顯示了堆疊動態檢測模型的結構。具體來說，模型的輸入是時間序列的電力系統數據，其特征將被傳遞到幾個LSTM層學習高維時間特征。先前的工作[6]，[10]將FDI攻擊描述為一個在實驗設置中有希望的二進制分類問題，因為要測試的數據集可以在不同的場景進行手動調優。在現實世界中實現，電力系統數據是高度不平衡，因此，即使整體精度很高，二元分類方法不可避免的會有較低的回憶率。然而，對于評估IDS時，回憶比準確性更重要，因為任何網絡攻擊會導致巨大的損失。

圖5 基于RNN的時間序列動態檢測方法

　　一般來說，我們的動態異常檢測器需要輸入時間序列…x(t?1),x(t),…，學習他們的高維特性表征，然后使用這些特性來預測下一個數據點x? (t)。此外，如果，通過檢驗實際數據x(t)和預測數據x(t)之間的相似性x? (t)是異常的，則使用預測數據點進行分類。

　　既然已經提出了單源FDI攻擊檢測模型，現在介紹一個將FDI攻擊檢測器與網絡入侵檢測系統的框架結合起來的框架。該框架處理的是當依賴數據測量的IDS無法檢測到FDI攻擊開始的情況。因此，如果注入的虛假數據是來自威脅模型一個合法的量測，數據水平的檢測器可能無法確定當前網絡是否被入侵。在這種情況下,為了增加時間系列異常檢測模型的總體性能,本文提出了聯合攻擊檢測法。

　　具體地說,該聯合框架的原理結構示意圖見圖6。如圖所示，聯合框架很簡單。另一種將數據級信息和包級特性聯合起來的方法直接連接輸入向量。然而,由于數據測量和網絡包特性之間的維數分組差異顯著，與前面提到的時間序列方法相比直接連接改進最小?；蛘?，如圖所示在連接之前，每個級別的特性都被卷積神經網絡轉換。添加額外卷積神經網絡的目的是將數據測量與包級特性之間的維數進行均衡，并且使用梯度下降法學習了他們的相關權值(我們的實驗中使用了Adam算法)。如果可能的話建議初始深度學習架構[21]。

圖6網絡包和數據測量輸入的聯合檢測方法

　　四、IEEE 39-bus系統的案例研究

　　在本節中，提供了關于我們提出的FDI攻擊檢測系統幾個關鍵的實現細節，從而對其能力和局限性有更好的了解。圖7顯示了IEEE 10機39節點電力系統和細節[18]。母線bus39電力系統中狀態向量x ∈ R39是由電壓、電流和支線功率組成的。使用兩臺計算機對通信網絡進行仿真，其中一臺計算機代表通過以太網收集數據測量的獨立服務操作員。采樣率設置為10Hz。FDI攻擊是由客戶機-服務器通信結構的中間人攻擊生成的，并且兩個輸入源時間同步使得實時實現成為可能。動態檢測器配置為帶有LSTM單元的3層雙向RNN并使用Pytorch進行訓練。在本實驗中，為了更好地評估動態檢測器，我們的系統沒有實現SE。

圖7. IEEE 39節點電力測試系統

圖8. 對攻擊不同數量節點的FDI攻擊檢測的準確性

　　我們假設攻擊者可以注入k量測數據，隨機選取該數據生成高斯分布攻擊向量a～N(0,0.5)。我們還測試了攻擊向量來源于實際測量這個場景，大多數先進的檢測器都無法檢測到。在這個實驗中，攻擊者試圖注入一個預先收集的虛假的發動機跳閘事件，我們將攻擊能力定義為k/n，其中n是測量的總數。我們評估了動態FDI攻擊檢測框架在測試集分類結果上的性能。

　　我們訓練了一個有10個訓練周期的神經網絡來最小化方程13中的損失函數。本實驗中，我們使用的分割模式是train / validation / test分別為60% / 20% / 20%，最佳τ取決于電網搜索。

　　在圖8中我們舉例說明了異常檢測系統的結果。從圖中可以明顯看出，我們提出的檢測方法在 k/n 很高的情況下，對隨機FDI攻擊能達到90%以上的檢測精度。但是,我們也注意到我們的系統在FDI攻擊能力較低時，準確率較低。事實上，這個問題可以通過加入一個SE檢測器來解決（如[17]，[10]），在攻擊能力有限的情況下該檢測器可以很好的發揮作用。換句話說，我們提出的兩級檢測方案是能夠實現對不同場景的高精度檢測。對于目標FDI攻擊，注入的數據流非都是從真實事件中小心操縱的，這些真實事件大多數不考慮SE不良數據檢測方案。我們的實驗驗證了動態特性與網絡異常檢測器集成能夠支持IDS以獲得更好的性能。仿真結果在這個案例中也暗示了，對于動態檢測方案的成功來說對電力系統充分深入了解不是我們所需要的。在電子網絡的早期階段就已經建立了我們的電力系統。

　　五、總結

　　在本文中,我們提出一個基于深度學習框架檢測FDI攻擊導致的測量異常。我們描述了利用卷積神經網絡和遞歸神經網絡的檢測方法。我們的模型從正常的數據中學習正常的行為，與特定的攻擊無關，因此可以檢測到不可見的攻擊。

　　另外，我們的兩級檢測器使用混合特性比較可靠，可以在狀態向量估計失敗時檢測攻擊。我們提供了關于各種影響算法性能因素的關鍵見解。本文以IEEE 39-bus系統為例，詳細介紹了所提出的算法。

　　參考文獻：

　　[1] IEC 61850-90-5. Communication networks and systems for power utility automation part 90-5: use of iec 61850 to transmit synchrophasor information according to ieee c37.118, 2012.

　　[2] Aditya Ashok, Manimaran Govindarasu, and Venkataramana Ajjarapu. Online detection of stealthy false data injection attacks in power system state estimation. IEEE Transactions on Smart Grid, 2016.

　　[3] Suzhi Bi and Ying Jun Zhang. Graphical methods for defense against false-data injection attacks on power system state estimation. IEEE Transactions on Smart Grid, 5(3):1216–1227, 2014.

　　[4] Rakesh B Bobba, Katherine M Rogers, Qiyan Wang, Himanshu Khurana, Klara Nahrstedt, and Thomas J Overbye. Detecting false data injection attacks on dc state estimation. In Preprints of the First Workshop on Secure Control Systems, CPSWEEK, volume 2010, 2010.

　　[5] Mohammad Esmalifalak, Lanchao Liu, Nam Nguyen, Rong Zheng, and Zhu Han. Detecting stealthy false data injection using machine learning in smart grid. IEEE Systems Journal, 2014.

　　[6] Cheng Feng, Tingting Li, and Deeph Chana. Multi-level anomaly detection in industrial control systems via package signatures and lstm networks. In Dependable Systems and Networks (DSN), 2017 47th Annual IEEE/IFIP International Conference on, pages 261–272. IEEE, 2017.

　　[7] Mostafa M Fouda, Zubair Md Fadlullah, Nei Kato, Rongxing Lu, and Xuemin Sherman Shen. A lightweight message authentication scheme for smart grid communications. IEEE Transactions on Smart Grid,2(4):675–685, 2011.

　　[8] NIST Smart Grid. Introduction to nistir 7628 guidelines for smart grid cyber security. Guideline, Sep, 2010.

　　[9] Yingshuai Hao, Meng Wang, and Joe H Chow. Likelihood analysis of cyber data attacks to power systems with markov decision processes. IEEE Transactions on Smart Grid, 2016.

　　[10] Youbiao He, Gihan J Mendis, and Jin Wei. Real-time detection of false data injection attacks in smart grid: A deep learning-based intelligent mechanism. IEEE Transactions on Smart Grid, 8(5):2505–2516, 2017.

　　[11] Sepp Hochreiter and J¨urgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.

　　[12] Tung T Kim and H Vincent Poor. Strategic protection against data injection attacks on power grids. IEEE Transactions on Smart Grid, 2(2):326–333, 2011.

　　[13] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097–1105, 2012.

　　[14] Gaoqi Liang, Junhua Zhao, Fengji Luo, Steven R Weller, and Zhao Yang Dong. A review of false data injection attacks against modern power systems. IEEE Transactions on Smart Grid, 8(4):1630–1638, 2017.

　　[15] Lanchao Liu, Mohammad Esmalifalak, Qifeng Ding, Valentine A Emesih, and Zhu Han. Detecting false data injection attacks on power grid by sparse optimization. IEEE Transactions on Smart Grid, 5(2):612–621,2014.

　　[16] Yao Liu, Peng Ning, and Michael K Reiter. False data injection attacks against state estimation in electric power grids. ACM Transactions on Information and System Security (TISSEC), 14(1):13, 2011.

　　[17] Mete Ozay, Inaki Esnaola, Fatos Tunay Yarman Vural, Sanjeev R Kulkarni, and H Vincent Poor. Machine learning methods for attack detection in the smart grid. IEEE Transactions on Neural Networks and Learning Systems, 27(8):1773–1786, 2016.

　　[18] MA Pai, T Athay, R Podmore, and S Virmani. Ieee 39-bus system.1989.

　　[19] David E Rumelhart, Geoffrey E Hinton, and Ronald J Williams. Learning representations by back-propagating errors. nature, 323(6088):533,1986.

　　[20] Mike Schuster and Kuldip K Paliwal. Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 45(11):2673–2681,1997.

　　[21] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, et al. Going deeper with convolutions. Cvpr, 2015.

　　[22] Mahbod Tavallaee, Ebrahim Bagheri, Wei Lu, and Ali A Ghorbani. A detailed analysis of the kdd cup 99 data set. In Computational Intelligence for Security and Defense Applications, 2009. CISDA 2009. IEEE Symposium on, pages 1–6. IEEE, 2009

<menuitem id="zjj55"></menuitem>

<menuitem id="zjj55"></menuitem>

<big id="zjj55"></big>

責任編輯：韓希宇