在網(wǎng)絡(luò)安全的世界里，“后門攻擊”是個(gè)耳熟能詳?shù)脑~匯，那它究竟意味著什么呢？
想象一下，你購買了一套高級的智能門鎖，但賣家偷偷藏了一把備用鑰匙，等你安裝好后，他們就可以輕松地進(jìn)入你的家——這就是后門攻擊的核心思想。攻擊者通過在正常軟件中嵌入惡意代碼，讓用戶在不知情的情況下打開了自家的大門。
GitHub作為全球最大的開源代碼托管平臺，承載著數(shù)以萬計(jì)的項(xiàng)目，是后門攻擊的重災(zāi)區(qū)。而對于AI模型，也有一個(gè)類似的托管平臺——Hugging Face，這里同樣托管著海量的模型，供開發(fā)者免費(fèi)下載使用。那么，AI模型是否也會遭遇同樣的后門攻擊呢？
答案是肯定的。就像惡意代碼可以悄悄潛入軟件一樣，惡意AI模型也能以同樣的方式侵入我們的系統(tǒng)。今天，我們就來揭開序列化后門攻擊的秘密面紗。
AI模型的后門攻擊有很多種，我們今天只講序列化后門攻擊。
首先，我們需要了解AI模型是如何保存和加載的。簡單來說，AI模型通過序列化技術(shù)進(jìn)行存儲，這意味著將模型的狀態(tài)轉(zhuǎn)化為一種易于保存的形式。你可以把它想象成拆解一個(gè)樂高模型的過程：將完整的模型拆分成一個(gè)個(gè)小零件，然后小心地裝進(jìn)一個(gè)盒子里，并附上組裝說明書。這就是序列化的過程。當(dāng)你的朋友收到這個(gè)樂高模型包裹后，他們會按照說明書上的步驟，將這些零件重新組合起來，恢復(fù)成原來的模型。這個(gè)過程就是反序列化。
現(xiàn)在，想象一下，你在郵寄包裹時(shí)悄悄塞入了一個(gè)可以遠(yuǎn)程控制的小攝像頭，并在組裝說明書中加入了這樣一行字：“組裝完成后，請按下按鈕開啟攝像頭。”雖然這對組裝樂高沒有任何幫助，但卻讓你有了窺視朋友的能力。這個(gè)攝像頭就是所謂的后門，而模型后門攻擊的目標(biāo)就是讓你的朋友遵照說明，無意中啟動這個(gè)攝像頭。
AI模型可以以多種格式存儲，但在眾多存儲格式中，有三種特別值得關(guān)注，因?yàn)樗鼈兠媾R著較高的序列化攻擊風(fēng)險(xiǎn)：Pickle及其變種、SavedModel以及H5格式。
Pickle是Python的內(nèi)置模塊，實(shí)現(xiàn)了對一個(gè)Python對象結(jié)構(gòu)的二進(jìn)制序列化和反序列化。它的序列化漏洞由來已久，其官方文檔開頭便有對其風(fēng)險(xiǎn)的警告：
Pickle模塊的風(fēng)險(xiǎn)在于反序列化時(shí)，__reduce__方法會被調(diào)用。這就意味著，只要在序列化之前重寫__reduce__方法，并在里面嵌入執(zhí)行操作系統(tǒng)命令的邏輯，就能在加載模型時(shí)觸發(fā)這些命令，實(shí)現(xiàn)遠(yuǎn)程代碼執(zhí)行（RCE）攻擊。例如，假設(shè)你加載了一個(gè)被惡意修改過的模型，其中的__reduce__方法被重寫為執(zhí)行“cat /etc/passwd”命令：
只是簡單地調(diào)用了Pickle.load，在反序列化時(shí)便執(zhí)行了命令。
在與AI相關(guān)的框架中，Numpy和PyTorch的save函數(shù)都是使用的Pickle模塊，因此也可以使用同樣的方式來加載后門。
SavedModel是TensorFlow提供的一種模型存儲格式，它不僅保存了模型的所有參數(shù)，還包括了完整的計(jì)算圖。盡管大多數(shù)TensorFlow操作專注于機(jī)器學(xué)習(xí)計(jì)算，但涉及文件操作的功能如io.read_file和io.write_file卻為攻擊者打開了序列化攻擊的大門。
io.read_file可以被濫用去讀取系統(tǒng)中的敏感文件，而io.write_file的風(fēng)險(xiǎn)更大，因?yàn)樗梢杂脕韺懭肴我馕募Ｒ訪inux系統(tǒng)為例，攻擊者可以利用它往用戶的家目錄.ssh/authorized_keys文件中寫入SSH公鑰，從而實(shí)現(xiàn)免密碼登錄操作系統(tǒng)。此外，還可以往cron文件中添加計(jì)劃任務(wù)，自動下載惡意程序并在后臺執(zhí)行。
那么，如何讓這些文件讀寫操作得以執(zhí)行呢？這里的關(guān)鍵是利用TensorFlow的call函數(shù)。在TensorFlow中，無法直接在加載模型時(shí)執(zhí)行反序列化攻擊，而是在調(diào)用模型時(shí)才能觸發(fā)。每當(dāng)模型被調(diào)用時(shí)，都會執(zhí)行一次call函數(shù)，而 build 函數(shù)則會在call函數(shù)首次執(zhí)行時(shí)被調(diào)用一次。因此，只需將文件相關(guān)的操作寫入call或build函數(shù)中，就可以在加載模型時(shí)實(shí)現(xiàn)文件的讀寫。
以下是一個(gè)在call函數(shù)里面實(shí)現(xiàn)了“io.read_file('/etc/passwd')”操作的模型加載和調(diào)用過程的例子：
在調(diào)用模型時(shí)進(jìn)行預(yù)測時(shí)，io.read_file被執(zhí)行了，且并不會影響predict的效果。
Keras是少數(shù)幾個(gè)原生支持將模型序列化為HDF5格式的機(jī)器學(xué)習(xí)框架之一。HDF5作為一種在學(xué)術(shù)界和研究領(lǐng)域廣泛流行的通用數(shù)據(jù)序列化格式，通常被認(rèn)為是安全的。然而，Keras的Lambda層卻為攻擊者打開了一扇后門。
Lambda層的設(shè)計(jì)初衷是為了在數(shù)據(jù)傳遞給機(jī)器學(xué)習(xí)模型之前進(jìn)行預(yù)處理或后處理操作。然而，它允許執(zhí)行任意代碼的特點(diǎn)，卻成為了潛在的攻擊點(diǎn)。攻擊者可以利用Lambda層來執(zhí)行操作系統(tǒng)命令，從而實(shí)現(xiàn)遠(yuǎn)程代碼執(zhí)行（RCE）攻擊。
以下模型在Lambda層實(shí)現(xiàn)了“os.system('cat /etc/passwd')”操作，加載模型：
模型在加載時(shí)執(zhí)行了Lambda層的命令。
說完了模型后門植入的方法，接下來我們來看看如何檢測這些潛在的威脅。幸運(yùn)得是，現(xiàn)在已經(jīng)有一些開源的掃描工具可以幫助我們評估模型的安全性。例如，Protect AI的ModelScan工具就是其中之一。讓我們一起探索這款工具在檢測上述三種序列化后門方面的表現(xiàn)吧！
檢測結(jié)果為嚴(yán)重風(fēng)險(xiǎn)，描述信息為使用來自模塊“posix”的不安全運(yùn)算符“system”。
檢測結(jié)果為高風(fēng)險(xiǎn)，描述信息為使用模塊“Tensorflow”中不安全的運(yùn)算符“ReadFile”。
檢測結(jié)果為中風(fēng)險(xiǎn)，描述信息為使用模塊“Keras”中不安全的運(yùn)算符“Lambda”。此處只能檢測存在Lambda層，沒辦法檢測到具體的操作了。
使用工具進(jìn)行檢測只是保障模型安全的一個(gè)方面，更重要的是始終保持警惕，只使用來自可信來源的模型。畢竟，預(yù)防勝于治療，確保模型的安全性從源頭抓起才是王道。
昂楷科技磐石研究院作為專注于技術(shù)研究的核心部門，多年來深耕數(shù)據(jù)安全領(lǐng)域，緊跟數(shù)據(jù)安全發(fā)展的前沿趨勢，匯聚了一支技術(shù)實(shí)力雄厚的專業(yè)團(tuán)隊(duì)。隨著人工智能技術(shù)的迅猛發(fā)展，我們積極投身于AI安全領(lǐng)域的探索，致力于深入研究AI攻擊與防御技術(shù)，為推動AI安全的發(fā)展貢獻(xiàn)力量。
展望未來，我們將不斷強(qiáng)化自身的技術(shù)實(shí)力，為AI安全領(lǐng)域帶來創(chuàng)新性的解決方案。我們的安全產(chǎn)品將逐步推出AI領(lǐng)域的專業(yè)能力，實(shí)現(xiàn)對AI攻擊的有效檢測、監(jiān)測與防御，為用戶提供全方位的安全保障。
題-4.jpg)
