隨著AI大模型技術(shù)的快速發(fā)展，云服務商在提供AI模型服務時面臨著嚴峻的資源效率挑戰(zhàn)。平臺需同時托管數(shù)千個AI模型以應對海量并發(fā)API調(diào)用，但用戶請求往往高度集中在少數(shù)熱門模型上，導致大量“長尾”模型獨占GPU資源，造成嚴重浪費。數(shù)據(jù)顯示，在阿里云模型市場中，曾有17.7%的GPU算力僅用于處理1.35%的請求，資源閑置現(xiàn)象觸目驚心。

近日，阿里云提出的創(chuàng)新計算池化解決方案「Aegaeon」成功入選全球頂級學術(shù)會議——操作系統(tǒng)原理研討會（SOSP）2025，成為業(yè)界關注的焦點。該方案通過突破性的GPU資源池化技術(shù)，有效解決了AI模型服務中普遍存在的GPU資源浪費問題，顯著提升了資源利用率，為AI產(chǎn)業(yè)的高效發(fā)展提供了新思路。

Beta測試成效顯著，GPU用量削減82%

該系統(tǒng)允許單個GPU動態(tài)服務于多個不同的AI模型，徹底打破了以往“一個模型綁定一個GPU”的低效模式。核心創(chuàng)新點在于Token級調(diào)度機制，能夠在每次生成下一個token后動態(tài)決定是否切換模型，實現(xiàn)精細化管理。同時，通過組件復用、顯存精細化管理和KV緩存同步優(yōu)化等全棧技術(shù)，將模型切換開銷降低97%，確保了token級調(diào)度的實時性，可支持亞秒級的模型切換響應。

在阿里云模型市場為期超三個月的Beta測試中，「Aegaeon」系統(tǒng)展現(xiàn)了卓越的效能。測試數(shù)據(jù)顯示，服務數(shù)十個參數(shù)量高達720億的大模型時，所需的英偉達H20 GPU數(shù)量從1192個成功減少至213個，削減比例高達82%。

這意味著僅用213張卡就完成了原本需要1192張卡才能完成的工作，極大地提高了資源利用率，降低了硬件采購成本。對于動輒使用成千上萬張GPU的大型模型服務商而言，這一成果無疑具有里程碑式的意義。

入選SOSP 2025 

SOSP由ACM SIGOPS主辦，作為計算機操作系統(tǒng)領域的頂尖會議，被譽為該領域的“奧斯卡”，其錄取率控制極為嚴格，平均每年收錄的論文數(shù)量僅有數(shù)十篇。「Aegaeon」系統(tǒng)研究成果能夠成功入選，不僅代表了阿里云在操作系統(tǒng)和軟件領域的創(chuàng)新實力，更為全球AI產(chǎn)業(yè)提供了資源優(yōu)化的全新思路。該方案的核心技術(shù)已應用于阿里云百煉平臺，為行業(yè)樹立了新的標桿。

這項由北京大學與阿里云合作的研究成果，被認為是“首個揭示并解決市場上并發(fā)大語言模型服務存在過高成本”的公開工作，為行業(yè)提供了全新的優(yōu)化思路。

值得一提的是，阿里云首席技術(shù)官周靖人也是該論文的作者之一。周靖人是國際電氣與電子工程師協(xié)會會士（IEEE Fellow），國際計算機協(xié)會會士（ACM Fellow），阿里巴巴集團副總裁，阿里云智能 CTO、達摩院副院長。

周靖人指出，未來AI的發(fā)展將不僅依賴于硬件算力的單純增長，更需要通過系統(tǒng)級的軟件創(chuàng)新來深度挖掘現(xiàn)有硬件的潛力。「Aegaeon」系統(tǒng)的成功實踐，正是這一理念的有力印證。隨著AI技術(shù)的不斷演進，阿里云將持續(xù)加大在全棧AI體系上的投入，推動超級人工智能時代的到來。

責編：Luffy