從風險識別到安全加固:啟明星辰為AI大模型安全保駕護航

發布時間 2025-04-23

隨著DeepSeek等AI技術浪潮席卷全球,人工智能正以前所未有的速度重塑行業格局。企業紛紛將AI大模型深度融入業務流程,加速智能化轉型。然而,人工智能技術的指數級迭代也催生了新的安全挑戰,如模型私搭亂建、模型供應鏈安全風險、數據隱私泄露、模型投毒、對抗攻擊、合規風險等,一旦被攻擊者利用,將導致服務中斷、系統性崩潰,甚至企業聲譽崩塌與監管重罰。


合規驅動 構建安全可控體系


人工智能相關的政策法規也在持續完善,安全監管力度不斷增強。

2024年3月1日,全國網絡安全標準化技術委員會發布《生成式人工智能服務安全基本要求》,首次從語料安全審查、模型生成內容安全等維度提出強制性規范;

2024年4月30日,公安部網絡安全等級保護評估中心牽頭編寫的團體標準《大模型系統安全保護要求》和《大模型系統安全測評要求》正式發布。兩項標準從大模型通用安全和大模型系統全生命周期安全提出具體要求,覆蓋通用安全、設計開發安全、測試安全、部署與運行安全、退役安全五大層面,通過訪談查驗、漏洞掃描、滲透測試、樣本集攻擊測試方式,強化大模型自身及其整體系統安全。


基于此,啟明星辰推出“AI大模型從風險識別到安全加固解決方案”。該方案依托三大核心技術工具——天鏡脆弱性掃描與管理系統(天鏡漏掃)、天燕軟件成分分析工具(天燕VSCA)及天鏡大模型應用安全評估與加固系統(天鏡MAVAS),構建智能風險識別與加固體系,實現AI應用全生命周期的安全閉環。


通過構建"五位一體"安全矩陣——資產全量測繪、供應鏈安全檢測、智能漏洞挖掘、多維度安全評估及內容風險自凈化,形成覆蓋內容安全、數據安全、模型可信及倫理合規的多維安全防護網絡,助力企業在AI大模型"開發-訓練-部署-運營"全鏈路中,實現智能風險識別與加固,確保AI技術的安全可控與合規落地。


圖片1.png


五大核心能力 實現AI應用全生命周期的安全閉環


一、大模型應用資產識別與管理能力


幫助企業識別內部私搭亂建的大模型服務和大模型資產,以資產的視角聚焦大模型風險,發現未知、非法大模型相關資產,進行統一風險管控。


該能力通過天鏡漏掃、天鏡MAVAS,助力企業搭建AI大模型資產臺賬,運用前沿資產發現技術,深入復雜龐大的AI大模型供應鏈體系,精準識別各類資產,包括模型訓練所依賴的數據存儲設施、承載模型運行的服務器、模型開發過程中使用的各類軟件工具及中間件等關鍵組件。同時結合深度指紋識別技術,實現資產特征精準刻畫與分類管理,確?!百Y產無遺漏、風險全可視”。


圖片2.png

獲取的大模型資產組件服務信息


二、大模型生態供應鏈安全檢測能力


幫助企業識別和緩解AI大模型上下游供應鏈攻擊風險,通過深入檢測和管理大模型中的第三方組件及依賴關系,有效應對供應鏈安全的多方面挑戰。


該能力通過天燕VSCA,提供覆蓋開發、構建、交付和運行等階段全面的AI大模型生態安全檢測能力。通過源碼、容器鏡像和運行時環境等多維度檢測,識別和修復供應鏈中的安全風險,并提供持續監控和自動化修復建議,幫助開發團隊及時響應新安全威脅,降低供應鏈攻擊風險,確保AI大模型應用的安全性。


圖片3.png

運行時Ollama等服務的系統檢測


三、大模型漏洞發現與管理能力


幫助企業解決大模型基礎設施、部署環境及相關傳統軟件漏洞問題。


該能力依托天鏡漏掃,持續檢測并管理大模型基礎設施及應用漏洞,包括但不限于:Ollama API 未授權訪問漏洞、PrivateGPT 輸入驗證錯誤漏洞(CVE-2024-5936)、ChatGPT pictureproxy.php SSRF漏洞(CVE-2024-27564)等問題,實現風險前置化處理,助力企業在AI大模型的開發與應用過程中,提前識別可能存在的安全隱患,提供相關修復建議,確保AI模型在實際環境中運行的安全性和穩定性。


圖片4.png

大模型漏洞規則


四、大模型應用安全評估能力


在大模型研制和訓練過程中,評估模型文件的安全風險、模型訓練工具的安全風險、數據集的安全風險等,助力企業增強模型抗攻擊抗風險能力,解決敏感數據泄漏、合規倫理等問題。


該能力依托天鏡MAVAS,采用“大模型對抗大模型”的創新方式,評估各版本大模型在不同應用場景中的輸出結果安全性,引入多評估維度,如數據安全、模型魯棒性測試、內容合規性等,對大模型進行全方位的評估,審計語料安全,提前發現并修復潛在風險,確保大模型的安全、可靠與合規應用。


圖片5.png

評測綜合情況


五、大模型內容安全自動化加固能力


依托天鏡MAVAS大模型安全加固引擎,實時檢測并加固不安全輸入和輸出,包括敏感詞和不安全話題加固等,有效防止提示注入、敏感信息披露、訓練數據投毒等多種漏洞和指令攻擊帶來的安全風險,保障大模型運行安全。


通過利用安全規則和流程管控、數據資產訪問權限管控、惡意攻擊意圖識別、對話內容安全檢測、對話內容安全加固等關鍵技術,助力企業靈活應對各類安全威脅,實現動態加固的安全屏障。


圖片6.png

帶大模型安全加固引擎的LLM應用


在AI技術狂飆突進的時代,安全已成為企業智能化轉型的“生命線”。啟明星辰AI大模型從風險識別到安全加固解決方案,以“資產可知、風險可視、威脅可控”為核心,為企業筑牢安全屏障,推動人工智能應用在安全合規框架下的穩健部署。未來,啟明星辰將持續深化技術創新,實現安全與發展的同頻共振,護航智能時代的數字化轉型。