大模型在下游安全領域任務中表現往往欠佳，通常被認為是既缺乏領域知識，也缺乏應用領域知識的方式。
上圖中，我們列舉了現在主流的大模型調優技術。對于L1安全行業大模型，我們使用右半圖的技術，通過更新模型參數來獲得一個具備更強安全知識的大模型。而對于L2的應用場景層，我們則會使用左半圖的技術，使大模型在實際場景中無需參數更新即可快速落地。
我們將這些技術區分為“注入知識”和“注入應用知識的方式”兩種。直觀來講，前者（上半圖）的主要目的是讓大模型獲得安全領域知識，能夠在回答時有理有據而不是憑空捏造。而后者（下半圖）的主要目的則是教會大模型應用知識，希望大模型的回答能夠依循特定格式或特定思路；特別的，人類反饋強化學習是希望大模型能夠對齊人類認知，在合理應用知識的同時，提升回答的可用性和安全性。
下面我們將分別介紹這些技術的應用方式和優缺點。
增量預訓練
增量預訓練（Continuous Pre-train，CPT）是一種常見的知識注入方式。它的思路是，大模型是通過學習大量通用知識得到的，那么我將領域知識和通用知識混合到一起，然后使用這些數據繼續訓練原有L0基礎大模型。換而言之，增加了領域知識在訓練數據中的比重，即增加了原有模型的領域知識。
這種思路顯然是合理且有效的。增量預訓練的缺點通常在于數據和算力成本。它不僅對算力的要求相對偏高，也需要大量精心清洗的領域知識數據。不過，它的優點是注入模型的數據不需要人工打標，也就是說，算法人員只需要對數據做去重、去廣告等清洗工作，不需要逐條對數據做精細處理。因此，增量預訓練所獲取的數據通?？梢杂休^大量級，注入的知識也較為全面。
有監督微調
有監督微調（Supervised Fine-tuning，SFT）是指基于已有的大模型，在有標注數據上進行模型訓練?，F有的SFT技術通常無需微調模型的所有參數，僅微調少量（或額外）模型參數，從而顯著降低計算和部署成本，同時產生與全量微調模型相當的性能。通過這種方式，可以在消費級硬件上訓練和存儲大模型，讓大模型適應各種下游應用。
有監督微調的缺點在于，用于微調大模型的數據通常需要極其精細化的清洗和逐條的人工打標，好在需求的數據量并不大，使用最低百條數據微調往往就能讓大模型學會一些簡單的思路與格式。
到這里，我們希望通過一個例子來更好的講述上文提及的技術概念。在安全運營場景中，用戶希望大模型對已知的安全事件進行解讀，包括告警內容、事件類型、攻擊手法、資產屬性等。這樣的應用場景需要這樣完成：
1.首先，我們使用大量公開的網絡安全與主機安全相關知識對大模型做增量預訓練
2.其次，我們使用安全專家標注后的如下問答對，對我們的安全大模型進行有監督微調
{
"問題"：用戶提出的問題 + 已知事件信息 + 期望返回結果,
"回答"：事件類型 + 攻擊手法 ...
}
3.最后，就得到了我們可以在實際場景中使用的模型。
但是，對每一個下游任務進行微調顯得過于復雜和冗余了。于是，我們引入了一些不需要更新模型參數的技術，它們同樣能有優秀的使用效果。
檢索增強生成
檢索增強生成（Retrieval Augmented Generation，RAG）是時下熱門的大模型應用解決方案。它的主要原理是，用戶提出問題，通過類似搜索引擎的方式從知識庫中找到相關的知識片段，隨后將用戶的問題與搜索的結果一同輸入給大模型，讓大模型對著“參考答案”生成回答。
它的優點非常明顯，相比于增量預訓練，檢索增強生成的成本更低，而且知識更新更快。缺點則是，檢索增強生成對知識庫的質量要求較高，要求最后得到的相關知識片段確實提供了回答用戶問題所需要的知識，且能夠被大模型順利理解。幸運的是，使用增量預訓練還是檢索增強生成并不是一個單選題，實踐中我們可以選擇“我全都要”，即可同時享受兩種技術的優點。
上下文學習
上下文學習（In-context Learning，ICL）是一種非常便利的方法。它只需要我們在給大模型輸入問題時，對它給出一些“示范”性質的提示，即可讓大模型按照示范來生成回答。通常使用上下文學習的用戶問題格式如下所示。
上下文學習的優點是它的便利性，而缺點則是，對于復雜的問題，簡單的提示往往很難起到良好的效果。
那么到這里，我們似乎可以不再對每一個下游任務都進行有監督微調，而是用更加靈活的方式完成上面的安全運營場景（對于和之前步驟不同的地方，我們做了加粗標注）：
1.首先，我們使用大量公開的網絡安全與主機安全相關知識對大模型做增量預訓練
2.其次，我們使用安全專家標注后的多個不同安全任務場景下的問答對，對我們的安全大模型進行有監督微調
3.再次，我們對每個單獨的下游任務，使用檢索增強生成和上下文學習來進行單獨的任務提示
4.得到最終生成的結果
實際應用場景中，大模型還需要通過人類反饋強化學習獲得更好的安全性和可用性，我們將繼續介紹這一技術。
人類反饋強化學習
人類反饋強化學習（Reinforcement Learning from Human Feedback，RLHF）技術的主要目的是通過將人類的反饋納入訓練過程，為機器提供了一種自然的、人性化的互動學習過程。實踐中，人類反饋強化學習往往被用于提升大模型的安全性和可用性，前者一般指用戶詢問不合法內容時大模型可以給出拒絕回答，后者則指大模型給出的回答能夠切實幫助到用戶。
值得注意的是，安全性和可用性之間存在著微妙的關系。一方面，過于嚴格的安全措施可能會限制模型的表達自由度，導致它不能充分展示自己的知識庫來幫助用戶；另一方面，若過分追求用戶體驗而不顧及內容審查，則可能使模型暴露于產生不當輸出的風險之中。因此，在RLHF的應用過程中，必須找到兩者之間的平衡點，以避免出現“顧此失彼”的情況。這要求開發者們精心設計獎勵機制，并持續監控模型的表現，確保每一次迭代都能朝著既定的目標前進，即同時提高系統的安全性和用戶體驗質量。
總之，通過將人類反饋融入到強化學習的過程中，RLHF不僅促進了AI系統的自我優化，還使得這些系統能夠更好地服務于人類社會，成為人們日常生活和工作中值得信賴的伙伴。
總結
本文介紹了幾種大模型技術在網絡安全領域的應用，包括增量預訓練、有監督微調、人類反饋強化學習、上下文學習和檢索增強生成。這些技術通過不同的方式為大模型注入知識，顯著提升了網絡安全系統的性能。
展望未來，這些大模型技術將為網絡安全領域注入新的活力。它們不僅能夠提高系統的檢測和響應能力，還能主動預見和防御新型威脅。通過持續學習和優化，這些技術將使網絡安全系統更加智能、高效，成為企業和個人在數字世界中的堅實后盾。
快速鏈接
Copyright ? 啟明星辰 版權所有 京ICP備05032414號 
京公網安備11010802024551號
