3月14日，清華大學(xué)高性能計(jì)算研究所教授翟季冬團(tuán)隊(duì)與清華系科創(chuàng)企業(yè)清程極智聯(lián)合宣布，開源大模型推理引擎“赤兔Chitu”。據(jù)介紹，該引擎首次實(shí)現(xiàn)在非英偉達(dá)Hopper架構(gòu)圖形處理器（GPU）及各類國(guó)產(chǎn)芯片上原生運(yùn)行FP8精度模型，為國(guó)產(chǎn)人工智能（AI）芯片的廣泛應(yīng)用和生態(tài)建設(shè)掃除了障礙。
當(dāng)前，F(xiàn)P8精度模型長(zhǎng)期依賴英偉達(dá)H系列高端GPU，這使得國(guó)內(nèi)企業(yè)在部署大模型時(shí)受到AI芯片的限制。為打破這一困境，清華大學(xué)與清程極智聯(lián)合開源的赤兔推理引擎通過底層技術(shù)革新，首次實(shí)現(xiàn)了非H卡設(shè)備對(duì)原生FP8精度模型的高效部署，擺脫對(duì)特定硬件的依賴，極大降低了企業(yè)部署AI模型的門檻和成本。
翟季冬介紹說，赤兔凝結(jié)了團(tuán)隊(duì)多年并行計(jì)算與編譯優(yōu)化技術(shù)的積累，目標(biāo)是彌合先進(jìn)模型與多樣化硬件之間的差距，讓國(guó)產(chǎn)算力真正“跑起來”。
“赤兔的定位是成為連接多元算力與大模型應(yīng)用的橋梁。”清程極智CEO湯雄超表示，“我們的引擎不僅支持英偉達(dá)全系列GPU，還針對(duì)國(guó)產(chǎn)芯片深度優(yōu)化，未來將陸續(xù)開源適配版本。”
據(jù)悉，在首期開源版本中，赤兔引擎部署DeepSeek-R1-671B滿血版時(shí)相比部分國(guó)外開源框架，在GPU使用量減少50%的情況下推理速度仍有3.15倍提速。
另據(jù)了解，清程極智還推出了基于赤兔的“推理一體機(jī)”，提供開箱即用部署方案及專業(yè)運(yùn)維服務(wù)，進(jìn)一步簡(jiǎn)化企業(yè)AI落地流程。
編輯：李華山
