深度學(xué)習(xí)與網(wǎng)絡(luò)安全結(jié)合是未來網(wǎng)絡(luò)安全的一個大趨勢，我們今天以基于深度學(xué)習(xí)的主流算法對SQL注入行為進(jìn)行檢測，來拋出三種特征向量對深度學(xué)習(xí)模型檢測效果的影響。
0x01 深度學(xué)習(xí)簡介
深度學(xué)習(xí)（Deep Learning）是機(jī)器學(xué)習(xí)的分支，它試圖使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個處理層對數(shù)據(jù)進(jìn)行高層抽象的算法。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法。深度學(xué)習(xí)的好處是用非監(jiān)督式或半監(jiān)督式的特征學(xué)習(xí)和分層特征提取高效算法來替代手工獲取特征。在我們的實驗中，使用的是Python深度學(xué)習(xí)庫： TensorFlow。使用的模型是：
多層感知器
多層感知器（Multilayer Perceptron,縮寫MLP）是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，映射一組輸入向量到一組輸出向量。MLP可以被看作是一個有向圖，由多個的節(jié)點層所組成，每一層都全連接到下一層。除了輸入節(jié)點，每個節(jié)點都是一個帶有非線性激活函數(shù)的神經(jīng)元（或稱處理單元）。詳細(xì)介紹
卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)由一個或多個卷積層和頂端的全連通層（對應(yīng)經(jīng)典的神經(jīng)網(wǎng)絡(luò)）組成，同時也包括關(guān)聯(lián)權(quán)重和池化層（pooling layer）。這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠利用輸入數(shù)據(jù)的二維結(jié)構(gòu)。與其他深度學(xué)習(xí)結(jié)構(gòu)相比，卷積神經(jīng)網(wǎng)絡(luò)在圖像和語音識別方面能夠給出更優(yōu)的結(jié)果。這一模型也可以使用反向傳播算法進(jìn)行訓(xùn)練。相比較其他深度、前饋神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)需要估計的參數(shù)更少，使之成為一種頗具吸引力的深度學(xué)習(xí)結(jié)構(gòu)。詳細(xì)介紹
循環(huán)神經(jīng)網(wǎng)絡(luò)
遞歸神經(jīng)網(wǎng)絡(luò)（RNN）是兩種人工神經(jīng)網(wǎng)絡(luò)的總稱。一種是時間遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network），另一種是結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)（recursive neural network）。時間遞歸神經(jīng)網(wǎng)絡(luò)的神經(jīng)元間連接構(gòu)成有向圖，而結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)利用相似的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)遞歸構(gòu)造更為復(fù)雜的深度網(wǎng)絡(luò)。RNN一般指代時間遞歸神經(jīng)網(wǎng)絡(luò)。單純遞歸神經(jīng)網(wǎng)絡(luò)因為無法處理隨著遞歸，權(quán)重指數(shù)級爆炸或消失的問題（Vanishing gradient problem），難以捕捉長期時間關(guān)聯(lián)；而結(jié)合不同的LSTM可以很好解決這個問題。詳細(xì)介紹
實驗中使用的網(wǎng)絡(luò)結(jié)構(gòu)
多層感知器
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：
輸入層
隱藏層 L1
隱藏層 L2
隱藏層 L3
輸出層
每個隱藏層使用128個神經(jīng)元，激活函數(shù)為relu。
上圖為 TensorBoard 輸出的結(jié)構(gòu)圖。
實驗中使用的網(wǎng)絡(luò)結(jié)構(gòu)
卷積神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：
輸入層
卷積層
池化層
卷積層
池化層
全連接層
輸出層
循環(huán)神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：
輸入層
向前層
向后層
輸出層
PS：訓(xùn)練集和測試集來自于360企業(yè)安全-天眼大數(shù)據(jù)平臺，模型純度良好。
0x02 特征向量介紹
我們的特征向量轉(zhuǎn)化，使用了三種方法，也是目前應(yīng)對字符串比較好的方法選擇。
基于word2vec的特征向量
基于詞袋的特征向量
基于fofe的特征向量
基于word2vec的特征向量
word2vec可以根據(jù)模型把詞匯轉(zhuǎn)化成一個多維的特征向量，在構(gòu)建語句的特征時，我們采用暴力的向量相加的方式。
word2vec在自然語言的實驗中，可以很好的表示詞語見的關(guān)系。具體可以參考維基百科語料中的詞語相似度探索
基于詞袋的特征向量
詞袋向量，我們在天眼實驗室的攻擊平臺上，挑選了在SQL注入中最常出現(xiàn)的250個詞匯，構(gòu)建詞袋模型。
詞袋模型的參考 BoW（詞袋）模型詳細(xì)介紹
基于FOFE的特征向量
FOFE是一種簡單精妙的rule-base編碼方式。通俗的說就是，在one-hot的基礎(chǔ)上利用了數(shù)值的大小表明了詞的位置信息的一種編碼形式。我們基于上面詞袋模型的基礎(chǔ)，加入了FOFE算法。
FOFE算法的具體論文，來自江輝老師。
The Fixed-Size Ordinally-Forgetting Encoding Method for Neural Network Language Models
0x03 實驗結(jié)果分析
我們的訓(xùn)練數(shù)據(jù)為50000條，測試數(shù)據(jù)為500000條。
三種向量結(jié)果都表現(xiàn)了非常好的準(zhǔn)確度。
從上圖可以看出，基于FOFE的特征向量和詞袋特征向量的表現(xiàn)并沒有出現(xiàn)特別明顯的差距，位置元素的融入并沒有給FOFE特征向量帶來明顯的檢測水平的提升。word2vec的向量在真實集表現(xiàn)的不是很好，其中的原因是我們建立句子，使用的是向量相加的粗暴方法，并不能體現(xiàn)word2vec對句子的屬性體現(xiàn)。
從上圖可以看出，基于word2vec的特征向量的判斷速度明顯慢于其他兩種方法。基于詞袋的速度比基于fofe的速度快一點，本質(zhì)原因是fofe算法的引入，帶來了一定的計算量，符合速度降低的預(yù)期。
0x04 總結(jié)
筆者認(rèn)為，本次我們利用三種建立向量的方式和三種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行交叉實驗，探討三種方式的向量形式和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之間的關(guān)系，算是拋磚引玉。本次實驗最為驚訝的是 CNN 和 word2vec的組合在真實集表現(xiàn)的最好。基于FOFE的特征向量具有順序的概念，但是未能在詞袋模型的基礎(chǔ)上帶來更好的檢測結(jié)果。
深度神經(jīng)網(wǎng)絡(luò)在安全檢測方面，可以帶領(lǐng)我們進(jìn)入檢測“未知的未知”的能力層次，這點也是我們必須要對此付出努力的方向。路要一步一步走，我們會在這個方向上繼續(xù)前行。
| 
