啟明星辰ADLab:安全人視角的DeepSeek洞察與思考

發布時間 2025-02-07

近年來,人工智能領域發展迅猛,OpenAI更是掀起了全球AI發展熱潮。2017年,Google推出Transformer架構,帶來了自然語言處理的革命性變化。2022年11月,OpenAI推出具有強大語言理解和生成能力的ChatGPT,引發全球范圍的廣泛關注和討論,推動AI技術在各個領域的應用和發展。OpenAI的成功,展示了AI技術的巨大潛力,也吸引了大量資本和人才進入,促使全球各大科技公司紛紛加大在AI領域的研發投入。各類AI 技術、商業與開源大模型涌現,拉開了全球大模型競賽的帷幕。


在這場激烈的“百模大戰”中,DeepSeek脫穎而出引發全球熱潮,是多種因素共同作用的結果。從技術層面來看,DeepSeek展現出非凡實力,特別是在特定領域展現出卓越的性能及持續優化的通用語言模型能力。在頂尖芯片受限的情況下,它通過技術創新,將低性能芯片的利用率發揮到極致,以高效的架構和訓練方法創造出可媲美ChatGPT的AI大模型,打破算力壟斷;而短頻快的商業模式、清晰的定位、積極的社區互動,使得DeepSeek的技術得到快速迭代與應用。此外,DeepSeek的開源策略,為全球技術人員提供了寶貴的資源,極大推動了AI行業發展,無私的開源精神為它贏得了良好口碑和廣泛支持


DeepSeek從嶄露頭角到引領AI領域的重大變革,已經逐漸成為全球科技創新的重要力量。本文將詳細梳理DeepSeek在發展過程中所引發的關鍵事件,深入分析其在全球AI競爭中的獨特地位及其對國際AI格局的深遠影響。同時,我們還將探討DeepSeek在網絡安全領域帶來的新機遇,并詳細分析大模型在安全性方面的挑戰與風險。


01 DeepSeek的起源與發展


DeepSeek是一家總部位于中國杭州的人工智能公司,起源與幻方量化密切相關。成立于2015年的幻方量化是國內頭部量化私募基金,在量化投資領域成績顯著,管理資金規模曾達到千億級別。


DeepSeek成立于2023年7月17日,由幻方量化孵化并全資控股,被其定位為通用人工智能(AGI)和大模型研發的技術引擎。公司專注于自然語言處理、代碼生成和多模態數據處理等領域,致力于開發先進的大語言模型(LLM)及相關技術。

DeepSeek團隊是一群來自中國頂尖高校和研究機構的AI人才,包括多位來自清華大學和北京大學的博士生,在深度學習、強化學習和模型優化等領域積累了豐富的經驗,并取得了顯著的研究成果。例如他們提出的新型的多頭潛在注意力(MLA)架構,以及一種名為GRPO(Group Relative Policy Optimization)的強化學習算法,在提升模型性能的同時,顯著降低了訓練資源的需求。

1. DeepSeek的發展脈絡

DeepSeek的發展歷程可以追溯到幻方量化自主研發的 “螢火一號” 訓練平臺。2023年,在ChatGPT引發市場關注后,幻方量化的創始人梁文鋒宣布正式進軍通用人工智能領域,并創辦DeepSeek,專注于AI大模型的研究和開發。DeepSeek成立后,迅速推出了一系列具有創新性的大模型,包括DeepSeek V1、V2、V3和DeepSeek-R1。其迭代歷程簡要展示如下:

平臺/模型名稱

發布時間

描述

螢火1號

2019

2019年,幻方量化為提升自身在量化投資領域的競爭力,AI軟硬件研發團隊自研"螢火1號"集群,于2020年正式投入使用,總投資近2億元人民幣,搭載約1100塊GPU,為量化交易策略的研發提供了初步的算力支持,同時也為后續Al技術研發奠定了堅實基礎。


螢火2號

2021

2021年幻方AI投入十億建設「螢火二號」?!肝灮鸲枴挂黄诖_立以任務級分時調度共享AI算力的技術方案,從軟硬件兩方面共同發力:高性能加速卡、節點間200Gbps高速網絡互聯、自研分布式并行文件系統(3FS)、網絡拓撲通訊方案(hfreduce)、算子庫(hfai.nn),高易用性應用層等,將「螢火二號」的性能發揮至極限。

DeepSeekCoder

2023年11月2日

DeepSeek發布了首個開源代碼大模型DeepSeekCoder,該模型支持多種編程語言的代碼生成、調試和數據分析任務。

DeepSeekLLM

2023年11月29日

DeepSeek推出了參數規模達670億的通用大模型DeepSeekLLM,其中包括7B和67B的base及chat版本。

DeepSeek-V2

2024年5月

DeepSeek進一步擴展了模型規模,總參數達到2360億,同時優化了訓練方法,降低了計算成本,提升了模型的語言理解和生成能力。

DeepSeek-V2.5

2024年9月5日

該版本合并了DeepSeek Coder V2和DeepSeek V2 Chat兩個模型。

DeepSeek-VL2

2024年12月13日

DeepSeek發布了用于高級多模態理解的專家混合視覺語言模型——DeepSeek-VL2,該模型在多種任務中展現了卓越的能力。

DeepSeek-V3

2024年12月26日

DeepSeek發展歷程中的一個重要里程碑:DeepSeek發布了總參數高達6710億的最新版本DeepSeek-V3,因其卓越的性能和高效的訓練方式引起廣泛關注。該版本引入了FP8混合精度訓練和自定義多GPU通信協議,采用了 “數據蒸餾” 技術,使得模型在僅使用 2048 張 GPU 運行兩個月,總成本控制在 600 萬美元左右的情況下,就能接近 OpenAI 最新版本的數理推理能力。

DeepSeek-R1

2025年1月20日

DeepSeek發布了專注于推理能力的模型DeepSeek-R1:該模型通過強化學習和知識蒸餾技術,在數學、代碼、自然語言推理等任務上,性能比肩OpenAI o1正式版,但其訓練價格非常便宜,在海外開發者社區中引發了轟動。DeepSeek R1 在算法類代碼場景(Codeforces)和知識類測試(GPQA、MMLU)中的得分略低于 OpenAI o1,但在工程類代碼場景(SWE-Bench Verified)、美國數學競賽(AIME 2024, MATH)項目上,均超過了 OpenAI o1 。

Janus-Pro-7B

2025年1月28日

發布Janus-Pro多模態大模型,進軍文生圖領域,該模型在GenEval和DPG-Bench基準測試中,Janus-Pro-7B不僅擊敗了OpenAI的DALL-E 3,還擊敗了Stable Diffusion、Emu3-Gen等熱門模型。同時,Janus Pro采用MIT開源協議,這意味著可無限制用于商業場景。


2. DeepSeek的突破與優勢

DeepSeek的核心突破在于通過“架構優化+算法創新”實現性能與成本的平衡:采用”MoE動態路由“ 技術解決了解決傳統大模型“算力浪費”問題;利用純強化學習驅動模型訓練擺脫了對人工標注數據的依賴,使模型通過自我博弈持續進化。與其他大模型相比,DeepSeek的優勢有:

(1)功能強大:核心能力與應用場景

DeepSeek系列模型通過多項技術創新,在功能上實現了廣泛覆蓋與垂直領域的高效應用:

多任務處理能力:支持自然語言理解、代碼生成、多模態數據分析(文本+圖像)、科學推理等復雜任務。
長文本處理:借助多頭潛在注意力(MLA)技術,可高效處理長達 128k token的上下文,適用于長文檔摘要、法律合同分析等場景。
代碼生成與調試:在代碼補全、錯誤修復、代碼重構等任務中表現優異,例如為開發者生成Python函數時準確率超過90%。
數學與科學推理:通過純強化學習驅動的訓練方式(DeepSeek-R1),模型可解決高等數學題、物理公式推導等復雜問題。

(2)性能優勢:效率與效果的革命性提升

DeepSeek在性能上實現了“更低成本、更高效率”的突破:

? 計算效率:


1)混合專家架構(MoE):以DeepSeek-V3(6710 億參數)為例,每個輸入僅激活370億參數,顯存占用減少60%,推理速度提升4倍。
2)FP8混合精度訓練:相比傳統FP16訓練,FP8可以在不顯著犧牲精度的情況下大幅減少內存占用和計算需求,從而降低了硬件成本和能耗。

任務性能:


1)在自然語言處理基準測試(如MMLU、C-Eval)中,DeepSeek-V3 綜合得分超越GPT-4o-0513。
2)在編程任務(HumanEval-MUL)中,DeepSeek-V3的準確率達 82.6%。
3)在數學推理(MATH-500)中,DeepSeek-V3的準確率90.2%,這一成績顯著高于其他一些知名模型,例如GPT-4o-0513的準確率為74.6%,Claude-3.5-Sonnet-1022的準確率為78.3%。

成本控制:


1)DeepSeek-V3訓練成本僅557.6萬美元,相比同規模模型(如 GPT-3的1200萬美元)降低53.5%。
2)DeepSeek V3采用FP8精度和DualPipe并行性,減少了GPU的閑置時間,從而降低了能耗。

3. DeepSeek開源引發關注

DeepSeek的開源策略是其成功的關鍵之一。2025年1月,DeepSeek團隊發布了DeepSeek-R1的開源版本,同步公開了模型權重(允許研究者和開發者自由使用和改進模型)和技術文檔(詳細介紹了模型架構、訓練方法和優化策略)。這一舉措迅速引發了全球AI社區的關注,許多研究機構和開發者嘗試復現其成果,并在此基礎上進行創新。

DeepSeek開源的舉動在AI領域引發了廣泛關注,影響主要體現在以下方面:

促進全球協作:在技術傳播方面,DeepSeek公開相關技術細節,技術研究人員可以基于此進行學習、研究和改進;開源模式吸引了全球開發者的參與,加大了AI技術的傳播速度和范圍。
降低技術門檻:在應用層面,DeepSeek的開源模型支持免費商用、任意修改和衍生開發,使全球中小企業和獨立開發者能夠以較低的成本使用高性能AI技術,推動了AI技術的普及和應用。
挑戰閉源巨頭:DeepSeek的開源策略直接挑戰了OpenAI等閉源巨頭的市場地位,推動了AI領域的競爭格局重塑。

與此同時,DeepSeek的開源行為引發了激烈爭議:

關于開源程度的爭議:一些人認為DeepSeek雖然開源了模型,但可能存在部分核心技術或數據未完全公開的情況,質疑其開源的誠意和完整性。而另一些人則表示理解,出于商業利益和技術保護的考慮,保留一定的核心技術是合理的,企業需要在開源和自身發展之間找到平衡。
關于技術競爭和市場格局的爭議:開源促進了技術的共享和創新,打破了技術壟斷,有利于推動整個AI行業的發展;但也有人擔心,DeepSeek的開源策略可能會引發行業內的惡性競爭,導致市場秩序混亂。一些企業可能會過度依賴開源模型,忽視自身的技術研發能力建設,從而影響整個行業的技術創新能力和可持續發展。
國際競爭與合作:DeepSeek的崛起引發了國際關注,部分美國專家呼吁美國加大開源AI研發力度,同時也引發了中美之間在AI領域競爭與合作的討論。

02 DeepSeek大事記


作為領先的AI大模型之一,DeepSeek迅速在國內外爆紅,隨著DeepSeek持續的技術發布與產品迭代,引發了全球范圍內的高度關注,同時安全問題也逐漸浮出水面。

以下是我們梳理的DeepSeek相關的一些大事記:

1. 行業影響與認可類事件

2025年1月24日,DeepSeek-R1在國外大模型排名Arena上基準測試升至全類別大模型第三,在風格控制類模型分類中與OpenAI o1并列第一。
2025年1月25日,AMD宣布將DeepSeek-V3模型集成至AMD Instinct GPU。
2025年1月26日,DeepSeek 應用登頂蘋果中國和美國應用商店免費下載排行榜,在美區下載榜超越ChatGPT。
2025年1月27日,《紐約時報》評價發文高度評價DeepSeek,從技術原理、性能表現到應用場景等多維度對其進行了深入分析,稱其可與ChatGPT媲美;DeepSeek持續霸榜,引發英偉達股價重挫,市值蒸發近6000億美元。
2025年2月,蘋果、微軟、Meta、阿斯麥等科技巨頭高管在財報電話會議上熱議 DeepSeek。
2025年2月3日:百度智能云、阿里云、華為云、騰訊云等國內主流云平臺紛紛宣布支持 DeepSeek 模型。此外,無問芯穹、聯通云等平臺也相繼跟進。

2. 爭議與審查類事件

2025年1月28日,美國多名官員稱DeepSeek存在“偷竊”行為,美國海軍以“潛在安全與道德風險”為由,發出郵件示警:“不得以任何形式下載、安裝或使用DeepSeek模型”,并對DeepSeek開展國家安全調查。
2025年1月29日,美國推出相關法案《Decoupling America’s Artificial Intelligence Capabilities from China Act of 2025》,禁止美國個人及企業使用DeepSeek等中國AI或生成式AI技術,限制美國與中國在人工智能領域合作與技術交流和技術出口轉移。
2025年1月31日,意大利數據保護局,因數據保護問題,決定在該國封禁 DeepSeek。
2025年2月1日,韓國水電與核電公司發布DeepSeek禁令。
2025年2月4日,澳大利亞宣布禁止在政府系統和設備上使用DeepSeek。

3. 網絡攻擊與安全類事件

以下是迄今為止我們了解到的與DeepSeek模型相關的主要安全事件,包括數據泄露、越獄攻擊和DDoS等。

(1)大規模DDoS攻擊事件:2025年1月3日起,DeepSeek遭受多輪大規模網絡攻擊,1月27-30日達到高峰,至少有2個僵尸網絡參與攻擊。

2025年1月,DeepSeek遭受了多輪DDoS攻擊。攻擊主要針對 DeepSeek的API接口和聊天系統,攻擊方法包括NTP反射攻擊和 Memcached反射攻擊等。攻擊導致DeepSeek服務中斷,新用戶無法注冊,但已注冊用戶仍可正常登錄。這些攻擊對DeepSeek的服務造成了嚴重的干擾,影響了用戶體驗和業務運營。


圖片1.png

由于DDOS攻擊,新用戶注冊遇阻


(2)數據泄露事件:2025年1月30日,云安全公司Wiz Research發現DeepSeek的ClickHouse數據庫因配置錯誤導致可未授權訪問內部數據。

2025年1月,Wiz發現DeepSeek的ClickHouse數據庫存在配置錯誤,導致數據庫中的敏感數據可以被未授權訪問,相關地址為oauth2callback.deepseek.com:9000和dev.deepseek.com:9000,Wiz的測試表明該數據庫包含超過一百萬行的日志流,涉及聊天記錄、API密鑰、后端細節及其他高度敏感信息。由于該數據庫被配置為互聯網可訪問、內容未加密且無需身份驗證,因此攻擊者可完全地控制該數據庫,甚至可能在DeepSeek環境中實施權限提升。

圖片2.png


圖片3.png

泄漏的部分敏感信息截圖


(3)越獄攻擊事件:2025年1月,多家安全研究機構發現DeepSeek的R1模型極易被越獄攻擊。

Qyalys、Cisco、Unit42等機構的研究人員對DeepSeek進行了多種越獄攻擊的測試,方法包括Evil Jailbreak(提示采用邪惡密友的身份)、Crescendo(通過逐步提示相關內容來引導對話走向禁止話題)、Deceptive Delight (將不安全話題嵌入良性話題來繞過安全機制)和Bad Likert Judge(利用李克特量表操縱模型生成有害內容)等。

Cisco提供的對多個模型開展越獄攻擊測試,其中DeepSeek R1的攻擊成功率為100%成功率,這些測試的結果表明,DeepSeek R1缺乏足夠的防護機制,容易被攻擊者利用來生成惡意內容。

圖片4.png

Cisco提供的對多個模型攻擊成功率

ADLab也針對DeepSeek相關版本的模型開展了測試,成功越獄,獲得了一些“違禁品”與“危險品”的制作過程等。

(4)越獄攻擊事件:安全公司Wallarm分析員宣布通過“越獄攻擊”可導致DeepSeek的全部系統提示詞泄露。

安全公司Wallarm宣布成功提取了DeepSeek的系統提示詞。系統提示詞是定義AI模型行為、響應和限制的關鍵,能夠提取提示詞意味著攻擊者可進一步了解和利用該模型的內部機制。Wallarm CEO指出,通過說服DeepSeek模型對具有某些偏差的提示做出響應,可打破模型的某種內部控制,進而實現夠逐字提取DeepSeek的整個系統提示詞。

03 由DeepSeek引發AI技術的國際競爭思考


自DeepSeek問世以來,它在多個大模型能力評分排行榜中迅速躋身前列,甚至超越了OpenAI的GPT-4,代表了AI技術在處理復雜任務、優化決策過程和提升生產力方面的巨大潛力。標志著中國AI技術已躍升至全球領先行列。DeepSeek憑借其獨特的算法設計和創新的訓練架構,DeepSeek顯著降低了超大規模模型的訓練成本,為大模型技術的進一步發展提供了新的研究路徑和思考視角。此外,DeepSeek通過開源的戰略,不僅改變了開源與閉源大模型的競爭格局,也迅速成為全球開源大模型領域的標桿之一。

而DeepSeek的成功,也引發了國外一些技術企業的強烈反應:美國一眾科技公司紛紛指責其存在各種所謂的“國家安全問題“。根據《金融時報》的報道,OpenAI指控DeepSeek涉嫌侵犯知識產權在其訓練過程中使用了OpenAI的模型,存在“蒸餾”其模型的跡象。與此同時,Claude的母公司Anthropic創始人Dario Amodei也公開表示,DeepSeek的能力不過是達到了他們7至10個月前的水平,只不過使用了更少的訓練資源,因此不會對他們構成威脅。

圖片5.png

Openai發文稱deepseek違規使用openai接口

圖片6.png

紐約大學教授暗諷openai

圖片7.png

Anthropic創始人發文稱DeepSeek的威脅被嚴重夸大

AI技術的戰略意義已遠超單純的經濟和社會發展層面,它逐漸成為國家安全、政治影響力以及國際競爭格局中的關鍵因素。長期以來,美國在AI技術領域處于全球領先地位,而中國的AI發展則逐漸迎頭趕上。DeepSeek的發布標志著中國在AI技術上的重大突破,縮小了與全球領先水平之間的差距,并為中國成為全球AI競爭中的重要力量奠定了基礎。

(1)AI技術的全球競爭不僅在技術層面展開,更涉及國家間的政治博弈

2025年1月,美國宣布了名為“星際之門”(Stargate Project)的計劃,旨在通過跨國合作,強化美國在全球AI領域的領導地位。該計劃計劃由OpenAI、軟銀、甲骨文等公司聯合發起,預計在未來四年內投資5000億美元用于AI基礎設施建設,標志著美國政府對AI技術的高度重視及其戰略重要性。

美國在推動AI領域創新的同時,發布了多項政策和法案,最具代表性的行動,是法案《Decoupling America’s Artificial Intelligence Capabilities from China Act of 2025》的提出,給中美AI合作帶來了巨大的沖擊。

法案的核心內容是禁止中美雙方在人工智能技術及知識產權的雙向流動,這也意味著中美兩國在AI領域的學術交流、技術共享將被全面阻斷。根據該法案,任何下載或使用DeepSeek的行為將被視為違法,最高可判處20年監禁。此外,與中國高校、大學或研究機構的合作也將面臨嚴厲的民事罰款,個人最高罰款100萬美元,公司罰款可達1億美元,并要求賠償金額為三倍。

技術交流渠道被切斷,兩國的科研人員和企業將失去諸多交流與合作機會,進而可能導致雙方在技術研發上重復投入,降低技術創新效率。

從技術發展角度看,該法案可能對中國AI技術發展形成一定阻礙:美國在 AI領域擁有先進的技術和豐富的資源,法案實施后,中國企業和科研機構可能面臨技術、數據獲取受限等問題,將對中國AI技術的研發和創新帶來新的挑戰。另一方面,這也將倒逼國內加大在AI基礎研究、核心技術攻關和自主可控產業鏈建設方面的投入,加速中國AI技術的自主可控發展和AI生態體系構建。

同時,可能導致全球AI技術陣營的分化,形成不同的技術標準、生態系統和應用場景,增加技術交流和合作的壁壘,引發全球AI市場的格局變化。

其他諸多國家,也緊隨其后發布了針對DeepSeek的禁令。這一系列的舉措突顯了AI技術對全球競爭格局的深遠影響:從軍事到經濟,從網絡安全到國際政治,AI技術的突破性進展正在改變國家間的博弈方式,AI技術正在迅速演變為未來全球戰略競爭的核心之一。

雖然美國長期處于AI技術的領先地位,但隨著中國在AI領域不斷追趕并逐漸縮小差距,國際AI競爭的態勢日益復雜。諸如百度的文心一言、阿里的千問大模型、字節跳動的豆包大模型等,已逐步展現出全球競爭力,而DeepSeek的崛起則進一步標志著中國在AI技術上的重要突破,使中國成為全球AI競爭中的關鍵參與者,同時也反映了全球AI技術競爭進入了一個新的階段。

未來,隨著AI技術的迅速發展,各國之間的技術競爭將愈發顯著,尤其是在大模型和先進計算能力的競爭上。如果各國開始對AI技術進行封鎖,全球范圍內的技術競爭將轉向更為復雜的地緣政治對抗。國家間不再僅僅依賴貿易與外交手段進行競爭,而是通過控制技術、限制數據流動、封鎖核心算法來確保自身的技術霸權。這種局面無疑將加劇全球的不平等,技術進步將不再是全人類共同享有的成果,而是國家間為了自身利益而展開的斗爭。

(2)加強AI相關技術研究,減少AI技術競爭可能帶來的風險和負面影響

1)加大AI基礎研究投入:支持基礎性AI研究,推動AI理論和算法的原創性突破,從源頭上降低對外部技術依賴。例如,資助原創性的算法研究、跨學科技術創新以及AI硬件領域的發展,確保在AI技術的基礎研究方面不落后于其他國家。

2)支持AI硬件自主研發:AI的大規模應用依賴于強大的計算資源,尤其是在數據中心、云計算、邊緣計算等領域,積極支持自主可控的AI硬件產業,如自主研發AI芯片、加速卡等關鍵基礎設施,降低對外部技術和組件的依賴。

3)加強數據安全和隱私保護:設立專門的機構監督AI模型在數據處理過程中的隱私保護和數據安全,確保敏感數據不會因模型開源或廣泛使用而泄露。針對大規模數據泄漏、數據濫用等問題,實施更加嚴格的法律制裁。

4)加強模型安全與魯棒性研究:建立完善的模型安全評估標準和測試方法,對模型進行全面的安全測試,及時發現和修復安全漏洞;深入研究各類對抗性攻擊方法與防御機制,提升模型在復雜環境下的魯棒性和可靠性。

5)完善相關政策法規:健全AI安全法律法規體系,推動制定AI系統安全標準,尤其是針對關鍵領域(如金融、醫療)的高安全性要求。鼓勵企業在研發過程中遵循這些標準,避免AI技術漏洞被惡意利用。

6)推動國內AI產業鏈完善:除了技術研究外,還應推動AI技術產業鏈的完整構建,支持AI算法、硬件、數據和應用等環節的本土企業成長,確保從基礎研發到產品應用的全過程都能夠自主可控。

7)建立全球數據共享機制:AI系統的性能依賴于大量數據的訓練,數據壁壘可能導致技術封鎖與創新滯后??梢酝苿咏祿蚕砥脚_,在保障隱私和安全的基礎上,促進國際間的跨境數據流動,提升全球AI技術水平。

8)建設AI人才培訓體系:加大對AI領域教育的投資,培養頂尖的AI科研人才和應用型技術人才。在高校和科研機構設置更多的AI專業課程和研究方向,鼓勵企業和學術界聯合培養人才,提升在AI領域的人才儲備。

9)鼓勵國際人才流動:AI領域的人才流動對技術的全球化發展至關重要。應通過人才引進計劃等手段,吸引全球頂尖的AI專家和科研人員。同時,應加強與其他國家的學術交流與合作,避免人才封鎖導致的技術壁壘。

04 從DeepSeek到大模型應用思考


DeepSeek的發布,標志著AI發展迎來新階段。DeepSeek開源大模型的發布,不僅極大地提升了開源AI性能,還在成本控制和訓練效率等方面提供了突破性的解決方案。其影響力已超越技術領域,深入滲透到企業應用、行業創新、全球AI競爭格局等多個層面,推動AI產業向更加開放、智能、可持續的方向發展。

過去,許多開源大模型(如LLaMA系列、Mistral系列)在能力上仍難以匹敵OpenAI的GPT-4級別模型,使得企業和開發者在使用開源大模型方案時功能受限、效果不穩定。與此同時,依賴閉源大模型API的企業也面臨著諸多挑戰,包括API禁用風險、數據隱私泄露、合規限制等問題,導致企業在大模型應用上受制于人,難以實現真正的自主可控。 DeepSeek的出現徹底改變了這一格局,不僅提供了在文本生成、自然語言理解、代碼編寫、邏輯推理等方面具備強大能力的開源模型,還將模型的訓練方法及細節開源于眾,降低了大模型自研和賦能的門檻,為各行業帶來了前所未有的創新機遇。

1. DeepSeek開啟AI應用新篇章

隨著大模型在AI領域的蓬勃發展,人工智能已經成為許多行業轉型的重要工具,尤其是在網絡安全領域。在DeepSeek出現之前,大模型的應用面臨諸多挑戰,主要包括開源模型的能力限制和商用模型的安全風險。DeepSeek的出現,為安全領域的大模型應用提供了重要的突破,憑借其強大的技術優勢和低成本的訓練方法,極大地推動了大模型在網絡安全領域的應用,解決了傳統問題的同時,還降低了自研安全大模型的門檻。

(1)解決開源模型能力局限

在 DeepSeek出現之前,安全領域的很多任務依賴于開源大模型(如Llama系列等)。雖然這些開源模型在通用自然語言處理方面表現優秀,但它們往往無法很好地解決安全領域特有的問題,其中的不足之處主要表現在以下幾個方面:

模型性能局限:開源模型通常無法處理大規模數據和復雜推理任務,尤其是在實時威脅檢測、自動化漏洞分析等需要高精度和高效能的任務中,它們的表現遠不如商用大模型。
安全任務的適配性差:開源模型大多數是通用型模型,沒有針對網絡安全、漏洞挖掘、惡意代碼檢測等網絡安全領域的任務進行專業訓練,缺乏對這些安全問題的深刻理解和處理能力。
定制化不足:由于開源模型通常缺乏針對特定領域的優化,很多時候它們無法有效應對復雜的安全場景,導致無法實現高效和精確的攻擊檢測、漏洞分析等安全任務。

DeepSeek的出現填補了相關空白,特別是DeepSeek R1在數學推理、代碼推理等任務上的表現堪比OpenAI的o1版本。通過自研和優化,各企業可以利用DeepSeek針對安全領域的特定需求進行定制訓練,解決各種網絡安全問題。DeepSeek的開源模型和訓練方法使得開發者能夠針對安全問題進行更加深入的定制,打破了先前開源模型在網絡安全領域賦能的局限。

(2)特定領域應用的風險

一些關鍵特定領域(如安全領域等)的特殊性決定了它對AI模型的要求遠高于其他行業。商用大模型(如OpenAI的GPT 系列)的使用在安全領域存在顯著的風險,任何一個安全風險都可能對企業帶來嚴重的影響和經濟損失,主要涉及:

數據安全問題:商用模型通常依賴云端處理,這可能導致用戶或企業的敏感數據的泄露風險。安全領域涉及的很多數據具有高度敏感性,因此對數據隱私的保護尤為重要。
可解釋性問題:商用模型通常是“黑箱”,即其推理過程和決策依據對外界不可見。這種不透明性在安全領域尤其危險,因為專家無法準確理解模型的決策過程,無法全面評估其安全性和可信度。同時,模型的不穩定性和幻覺問題,也是影響大模型決策的可信度的關鍵因素。
外部攻擊面:使用商用模型意味著依賴第三方服務,這可能為攻擊者提供了潛在的攻擊面。例如,針對模型本身的對抗攻擊或信息泄露等問題,可能直接影響整個系統的安全防護的效果。

DeepSeek通過自研模型,消除了對外部商用服務的依賴。這意味著企業可以在本地環境中部署 DeepSeek模型,從而更好地保護數據隱私,并且不受外部風險的影響。此外,DeepSeek 開源了訓練方法和模型,提供了更高的可控性和透明性,使得安全團隊可以深入了解模型的運行機制,確保其決策的可信度。

(3)降低自研大模型的門檻

自研大模型是一個高成本、高難度的挑戰,傳統的大模型研發需要強大的算力支持和巨額的資金投入,這使得很多小型安全團隊或公司無法承擔。因此,大部分企業只能依賴現有的商用模型或開源模型,但這往往受限于模型的性能和安全性。而DeepSeek這種低成本、高效率的訓練方式,不僅讓更多團隊能夠參與到定制化大模型的研究和應用中,還為各行業帶來了更多創新的機會。

2. 大模型驅動業務場景創新

DeepSeek 的成功,是通用大模型浪潮中的一個重要信號,某種程度上預示通用大模型和 AI 應用時代的加速到來。其卓越的邏輯處理能力、高效的模型架構等特點,也是通用大模型共有的發展趨勢和能力體現。更重要的是,通用大模型不再僅是解決特定任務的工具,將成為驅動各行各業創新、重塑未來社會圖景的核心引擎。

(1)實現個人生產力工具的躍升

大模型最直接且快速普及的應用領域,是個人生產力工具的智能化升級。依托大模型的支持,個人生產力工具將不僅能提升效率,還將演變為理解用戶意圖、提供個性化服務、幫助問題解決的智能助手。例如,更智能的個人助理與日程管理、個性化的學習與知識獲取平臺、智能健康管理與生活管家、內容創作與創意激發工具等。

(2)推動行業的智能化轉型

大模型可以成為各行各業的“智能底座”,幫助企業創新業務模式、提升運營效率、優化用戶體驗,重塑產業格局,激發增長新動能。例如,實現生產線的智能優化與工業自動化升級、提供智慧醫療與精準健康服務、推動智慧教育與個性化教育普及、升級智慧金融與風險管理、推動智慧農業發展、智慧城市與社會治理現代化、輔助行業決策等。

(3)加速科學研究

大模型不僅能賦能各行各業的應用創新,還將成為科學研究的強大工具,加速知識探索的進程。例如,應用于海量科研數據的分析與模式挖掘、復雜系統的模型構建與仿真模擬、科研文獻智能檢索與知識圖譜構建等。

(4)拓展人工智能的應用邊界

大模型的出現,為人工智能在新興領域的應用探索提供了新的契機,例如,應用于量子計算軟件開發,加速量子計算技術的發展和應用;應用于生物信息學和藥物研發領域,加速生命科學的進步和新藥的研發進程;應用于網絡安全防御領域,提升網絡安全防御的智能化水平;應用于太空探索和深海探測領域,輔助探索未知邊界等。

3. 安全場景的創新應用

大模型在安全領域的應用潛力也是巨大的,憑借其卓越的推理能力、定制化的訓練方式以及開源的特點,能夠有效提升各類安全任務的執行效率和準確率。面對開源帶來的機遇和挑戰,我們可以積極探索其在安全領域的創新應用,例如:

(1)安全智能體應用

將模型應用于安全智能體中,例如智能漏洞挖掘與分析、自動化威脅檢測和響應、惡意代碼檢測等,提升安全產品的智能化水平和防護能力。

漏洞挖掘和分析:大模型的強大推理能力可以幫助安全專家從大量代碼中快速識別漏洞,并提供修復建議。通過訓練針對安全領域的大模型,可以精確識別漏洞類型并優化檢測方法,顯著提高漏洞修復的效率。
惡意代碼檢測:可以識別多種類型的惡意代碼,尤其是在復雜的攻擊場景中,它可以通過深入的分析,發現新型惡意軟件和病毒。它的高效推理能力可以幫助安全產品在最短的時間內識別出潛在的安全威脅。
自動化威脅檢測和響應:通過大模型強大的自然語言理解和推理能力可以用于構建自動化的威脅檢測系統,實時分析和響應安全事件,減少人工干預的時間,提高反應速度和防御能力。

(2)安全運營效率提升

大模型可以用于自動化處理和分析海量的安全日志、告警信息、流量數據等,幫助安全專家發現攻擊跡象或數據泄露風險,降低人工成本和技術門檻,提高安全運營效率,提升響應速度。

05 大模型安全思考


在前面的章節中,我們已經詳細分析了DeepSeek相關的網絡安全事件,并揭示了其在實際應用中的各種安全風險。各類安全事件表明,DeepSeek系統在數據保護、訪問權限管理、惡意代碼防御和平臺安全等方面存在一定的脆弱性。首先,數據泄露和隱私侵犯是DeepSeek安全中極為關鍵的問題之一。其次,身份驗證與訪問控制問題導致攻擊者能夠獲得非法訪問權限,從而竊取憑證、濫用服務或進行其他惡意操作。同時,DeepSeek的R1模型的極易被越獄攻擊,表明DeepSeek R1缺乏足夠的防護機制,容易被攻擊者利用來生成惡意內容。

通過這些事件,我們可以看到:AI技術盡管在許多領域展現出了強大的應用潛力,但同時也暴露出了一系列潛在的安全威脅。這些問題不僅對用戶的隱私與數據安全構成威脅,也可能對服務平臺的整體安全性帶來嚴重挑戰;更重要的是,AI技術作為各國戰略競爭的核心技術能力之一,其自身的安全風險將可能帶來致命性影響。本章節將從多角度對AI模型的安全風險進行討論,為用戶、開發者和廠商提供多角度的安全思考。

1. 大模型自身安全

(1)模型文件投毒

對于大模型的研究人員和開發者而言,惡意模型文件也是一種潛在的安全威脅。黑客可能在正常的模型文件中插入惡意代碼,進而通過大模型開源平臺進行傳播。一旦用戶下載并加載這些受污染的模型文件,惡意代碼就會在用戶的系統中執行,進而危害數據安全和系統完整性。這一風險提醒我們,開發者和研究人員在使用大模型,尤其是開源大模型時,必須加強對模型文件的安全審查和驗證,確保下載的模型文件沒有被篡改。

(2)訓練流程安全

模型訓練過程中,也存在一系列的安全風險。訓練數據的處理和中間文件的管理至關重要。如果在數據清洗、轉換或標簽化的過程中出現問題,可能導致數據泄露或訓練結果的失真。此外,模型訓練往往需要處理大量的中間文件,這些文件在訓練過程中生成并保存。如果安全審查不到位,惡意代碼可能被插入到這些文件中,導致訓練過程被破壞或數據被竊取。為了避免此類安全事件,大模型服務商必須加強對每個訓練環節的安全管理,確保中間文件和數據的安全性。

(3)訓練數據安全

常見的攻擊方式主要是后門攻擊,在模型訓練過程中,訓練數據的安全性同樣重要,如果使用了存在數據投毒的第三方訓練數據集,導致模型訓練過程中被加入觸發器,當遇到特定的關鍵詞或者圖像時將會輸出異常結果,影響模型準確性,甚至泄露敏感數據。服務商應確保訓練數據集和預訓練模型的可靠性和安全性。

(4)模型內容安全

模型內容安全是服務商面臨的關鍵問題之一。作為一個生成式AI系統,能夠生成文本、圖像、視頻等多種內容,大模型通過特定的安全機制實現對內容的過濾與限制,確保輸出的合法性。但攻擊者可通過構造的特殊輸入,繞過模型的安全限制和內容過濾規則,讓模型生成違背安全、倫理或法律的內容,例如暴力、歧視性言論或違法內容,這也被稱為“越獄攻擊”。而攻擊者還可通過“越獄攻擊”獲取系統提示詞,可能會導致商業機密泄露或模型輸出失控。服務商應當在模型訓練和微調過程中,強化內容安全監控,確保生成的內容符合道德和法律標準,并防止模型被用于生成不良或違法內容。

2. 基礎設施安全

(1)硬件安全

和傳統IT系統一樣,大模型系統的硬件和軟件平臺同樣面臨來自CPU、GPU等硬件的漏洞風險。特別是GPU,這一關鍵硬件資源在模型的訓練和推理過程中起著至關重要的作用。如果GPU存在漏洞或缺陷,攻擊者可能通過這些漏洞訪問系統中的敏感數據,甚至引發服務中斷。例如,以英偉達為代表的多個科技公司的GPU硬件曾存在安全漏洞,攻擊者可以利用這些漏洞恢復GPU上的數據。大模型的開發者和其服務商需要加強硬件安全管理,確保及時修復漏洞,以防止這些問題對平臺安全構成威脅。

(2)基礎系統安全

系統安全是指運行大模型的主機或服務器的系統安全,主要包括系統的自身安全和相關系統服務或組件的安全,如果大模型運行的主機系統存在安全漏洞,也將直接威脅整個大模型系統的安全。例如,如Windows內核權限提升漏洞 CVE-2023-35359和OpenSSH遠程代碼執行漏洞(CVE-2024-6387)

(3)基礎供應鏈安全

大模型服務商還需要特別關注其基礎供應鏈的安全性。由于許多大模型應用和服務依賴于許多開源框架和工具(如TensorFlow、PyTorch等),這些基礎框架的安全性直接影響到整個系統的穩定性和安全性。例如,已知的安全漏洞可能允許攻擊者通過執行深度學習代碼來竊取數據或執行惡意命令,進而影響多個AI平臺的安全。因此,大模型服務商應當加強對基礎框架和依賴包的監控,及時修補漏洞,確保這些組件不會成為攻擊者的突破口。

(4)分布式計算安全

由于大模型訓練的時候需要輸入大量的訓練數據進行計算,分布式計算可以解決單一節點的工作效率較低的問題。分布式計算存在節點訪問控制問題,例如著名的shadowray漏洞,Ray 中為節點分發任務的Jobs 接口缺少鑒權,任何能網絡訪問的用戶都可以在遠程Ray服務器上新建Job,導致遠程任意代碼執行漏洞。

(5)數據安全

支撐模型運行的底層架構自身可能存在各種數據安全風險,包括基礎設施設計、配置、管理和維護環節中固有的數據安全隱患。例如,不安全的存儲配置可能導致訓練數據和參數泄露;訪問控制策略的配置錯誤可能造成越權訪問敏感數據;日志記錄不足或泄露可能暴露用戶行為和系統內部信息;缺乏數據加密和完整性校驗機制可能使數據在存儲和傳輸過程中被竊取或篡改。這些基礎設施的數據安全問題,將給整個大模型帶來數據安全威脅。

3. 大模型應用安全

(1)應用服務安全

大模型通常通過API接口或聊天系統提供服務,其根本原理是通過訪問推理服務器的web接口與大模型進行交互,因此存在傳統web應用類似的安全問題,如sql注入、xss注入、文件上傳、路徑穿越和拒絕服務攻擊等。同時,API的安全性同樣不容忽視,例如,API接口未實施身份認證或未校驗權限層級,導致可直接訪問或使用普通用戶可訪問管理員接口,此時攻擊者可通過工具暴力枚舉API路徑,批量獲取敏感數據。

(2)應用供應鏈安全

隨著大模型技術的廣泛應用,許多開發者和第三方供應商開始構建與之相關的應用組件和擴展框架(如langchain、autogen和pandas-ai等)。這些工具雖然提供了便利,但也可能存在安全漏洞。例如,曾有報道稱,Meta和Amazon的AI服務工具TorchServe在應用中暴露了安全漏洞,使數萬臺服務器面臨風險。大模型服務商應當定期對這些應用組件和擴展框架進行安全檢查,確保它們不會成為攻擊者的潛在入口。

4. ADLab大模型安全能力積累

鑒于AI大模型可能存在的各類安全風險和和日益凸顯的安全問題,啟明星辰ADLab作為業內領先的安全研究實驗室,持續跟進AI相關前沿技術和大模型安全領域相關方向,并建立了完善的模型安全評估標準和可操作的測試方法,能夠對模型進行全面的安全測試,及時發現潛在的安全漏洞,從而為大模型的開發、部署和應用提供可靠的安全保障。目前,ADLab的安全測試能力已應用于公司相關產品,還能為客戶提供更具針對性的安全服務。

圖片8.png

ADLab大模型系統安全測試規范示例