在今年1月突然爆火之后幾個月來，DeepSeek下一代技術(shù)一直值得期待。

近日，DeepSeek的下一代技術(shù)“原生稀疏注意力”（NSA）在ACL 2025大會上提前曝光，同時由DeepSeek創(chuàng)始人梁文鋒作為通訊作者與北京大學等機構(gòu)聯(lián)合發(fā)表的論文榮獲最佳論文獎。這一成果標志著DeepSeek在長文本處理和計算效率方面取得了重大突破。

據(jù)悉，ACL 2025的投稿量高達8360篇，是歷史上最卷的一屆，競爭異常激烈。盡管如此，DeepSeek與北京大學合作的論文憑借其創(chuàng)新性和實用性，成功脫穎而出，獲得了最佳論文獎。該論文不僅在技術(shù)上具有突破性，還在學術(shù)界和工業(yè)界引發(fā)了廣泛關(guān)注。

核心技術(shù)貢獻：動態(tài)分層稀疏策略

傳統(tǒng)稀疏注意力方法通常通過固定的稀疏模式（如滑動窗口、全局-局部組合）來降低計算復雜度，但這往往以犧牲模型性能為代價。NSA的革命性在于它采用了一種動態(tài)、分層的稀疏策略，通過三條精心設(shè)計的并行注意力分支協(xié)同工作，實現(xiàn)了效率與能力的完美平衡 ：

1.壓縮注意力（Compression Attention） ：此分支負責捕捉全局的、粗粒度的信息模式。它類似于人類快速瀏覽文章以抓住核心大意，通過對輸入序列進行壓縮，高效地構(gòu)建全局上下文表征。

2.選擇性注意力（Selective Attention） ：此分支聚焦于序列中最關(guān)鍵的詞塊（token），執(zhí)行更精細的計算。這好比人類在閱讀時對重點段落進行精讀，確保模型不會錯過最重要的語義信息。

3.滑動注意力（Sliding Attention） ：此分支專注于處理局部的、相鄰的上下文信息，確保模型對文本細節(jié)的理解不丟失。這相當于人類逐字逐句地閱讀，保證了局部語境的連貫性。

這種動態(tài)分層設(shè)計并非簡單地丟棄信息，而是通過智能算法，將計算資源動態(tài)地分配到最需要的地方，從而在大幅降低計算密度的同時，最大程度地保留了模型的表達能力 。

關(guān)鍵創(chuàng)新點：算法與硬件的協(xié)同革命

NSA的另一大突破在于它不僅僅是算法層面的創(chuàng)新，更是算法與現(xiàn)代GPU硬件深度協(xié)同優(yōu)化的典范。該機制實現(xiàn)了端到端的“原生可訓練”模式，意味著它在訓練階段就能高效運行，而非像某些早期稀疏方法那樣需要復雜的工程改造或只能在推理階段使用 。通過對計算圖、內(nèi)存訪問模式進行深度優(yōu)化，NSA能夠充分利用GPU的并行計算能力，實現(xiàn)了驚人的性能提升。

與傳統(tǒng)全注意力模型相比，NSA在多個維度上表現(xiàn)出顯著優(yōu)勢：

• 速度提升：在處理64k長度序列時，NSA在解碼階段速度提升11.6倍，前向傳播提升9倍，反向傳播提升6倍。

• 性能超越：在9個評測指標中，采用NSA預訓練的27B參數(shù)模型有7個超越了全注意力基線。

• 長文本處理能力：在LongBench基準測試中，NSA取得了0.469的平均分，不僅超越了全注意力基線（+0.032），還大幅領(lǐng)先其他稀疏注意力方法。

• 數(shù)學推理能力：在AIME 24測試中，NSA-R在8k上下文設(shè)置下的準確率達到0.121，而全注意力模型僅為0.046；在16k上下文下，NSA-R仍保持0.146的準確率，遠超全注意力的0.092。

ACL2025評選出4篇最佳論文

ACL 2025 是國際計算語言學協(xié)會（ACL）于 2025 年 7 月 27 日至 8 月 1 日在奧地利維也納舉行的第 63 屆年度會議。該會議是自然語言處理（NLP）領(lǐng)域的頂級學術(shù)會議之一，其主題為“NLP 模型的泛化”，旨在探討如何增強模型在多任務(wù)、多語言、多領(lǐng)域和多數(shù)據(jù)分布下的魯棒性和可靠性。ACL2025最終評選出了4篇最佳論文。

1. 《Native Sparse Attention： Hardware-Aligned and Natively Trainable Sparse Attention》
   該論文由北京大學、DeepSeek和華盛頓大學合作完成，作者包括Jingyang Yuan、Huazuo Gao等。論文提出的稀疏注意力（NSA）模型在長文本處理方面表現(xiàn)出色，將處理速度提高了最多11倍，性能超過了全注意力模型。該模型專為硬件優(yōu)化設(shè)計，推動了高效大型語言模型的發(fā)展。

2. 《A Theory of Response Sampling in LLMs： Part Descriptive and Part Prescriptive》
   該論文由Sarath Sivaprasad、Pramod Kaushik、Sahar Abdelnabi和Mario Fritz共同撰寫，來自CISPA亥姆霍茲信息安全中心、TCS研究院和微軟。論文探討了大語言模型（LLM）在生成內(nèi)容時的行為模式，指出其不僅反映數(shù)據(jù)中的常見情況，還會系統(tǒng)性地偏向“理想化”狀態(tài)。這一現(xiàn)象可能帶來決策偏見和倫理問題。

3. 《Fairness through Difference Awareness： Measuring Desired Group Discrimination in LLMs》
   該論文由Angelina Wang、Michelle Phan、Daniel E. Ho和Sanmi Koyejo共同撰寫，來自斯坦福大學。論文挑戰(zhàn)了當前AI公平性研究的主流觀點，提出“差異意識”（DiffAware）和“情境意識”（CtxtAware）的概念，強調(diào)在適當情況下識別和區(qū)別對待不同群體的重要性。

4. 《Language Models Resist Alignment： Evidence From Data Compression》
   該論文由北京大學人工智能研究院的研究人員撰寫，包括Jiaming Ji、Kaile Wang等。論文揭示了大語言模型在對齊訓練過程中存在“彈性”現(xiàn)象，即模型傾向于維持其原始行為和知識分布，抗拒對齊訓練帶來的改變。這一發(fā)現(xiàn)對實現(xiàn)真正穩(wěn)固、深入的對齊具有重要意義。

ACL2025的4篇最佳論文分別涉及稀疏注意力技術(shù)、LLM的行為模式、AI公平性、以及模型對齊的彈性，展示了自然語言處理領(lǐng)域的最新研究成果和創(chuàng)新方向。