清華大學(xué)發(fā)布深度學(xué)習(xí)框架——計圖（Jittor）

清華新聞網(wǎng)4月2日電 清華大學(xué)計算機(jī)系圖形學(xué)實驗室多年來一直致力于計算機(jī)圖形學(xué)、計算機(jī)視覺、機(jī)器學(xué)習(xí)和系統(tǒng)軟件等領(lǐng)域的研究，并成立了北京信息科學(xué)與技術(shù)國家研究中心下的可視媒體智能計算團(tuán)隊。在國家自然科學(xué)基金委創(chuàng)新群體項目和國家研究中心自主科研項目的資助下，研究團(tuán)隊提出了一個全新的深度學(xué)習(xí)框架——計圖（Jittor）。計圖平臺已于3月20日正式對外發(fā)布和開源，在著名開源平臺Github上發(fā)布后立刻受到了廣大深度學(xué)習(xí)開發(fā)者的好評。

深度學(xué)習(xí)技術(shù)正廣泛應(yīng)用于人工智能的各個領(lǐng)域，如計算機(jī)視覺、機(jī)器翻譯、自然語言處理、智能機(jī)器人等，取得了前所未有的突破。當(dāng)前，一方面，隨著深度學(xué)習(xí)新技術(shù)的出現(xiàn)、任務(wù)復(fù)雜度的提高，易于擴(kuò)展同時保持高效的架構(gòu)成為發(fā)展趨勢；另一方面，我國人工智能產(chǎn)業(yè)發(fā)展迅速，亟需構(gòu)建自己的開源深度學(xué)習(xí)生態(tài)，避免被“卡脖子”。

計圖是一個基于統(tǒng)一計算圖的深度學(xué)習(xí)框架。計算圖是一種描述深度學(xué)習(xí)模型的表達(dá)方式。現(xiàn)階段主流深度學(xué)習(xí)框架多采用靜態(tài)計算圖或者動態(tài)計算圖兩種設(shè)計模式，靜態(tài)圖比較易于優(yōu)化，如TensorFlow1.0。動態(tài)圖相比靜態(tài)圖更加靈活，但是優(yōu)化空間更小，如PyTorch。也有框架支持這兩種計算圖并且提供兩者之間的轉(zhuǎn)換工具，如TensorFlow2.0。計圖創(chuàng)新的采用了統(tǒng)一計算圖，用戶并不需要手動切換，計圖可以動態(tài)的將計算圖拆分成可以優(yōu)化的子靜態(tài)圖。讓計圖在保持動態(tài)圖靈活性的同時，還可以發(fā)揮出靜態(tài)圖的運算性能。計圖與國際主流平臺相比，具有多項先進(jìn)特性，其統(tǒng)一計算圖的特性如下圖所示。

圖1 計圖的統(tǒng)一計算圖與其他平臺特性對比

計圖還采用元算子表達(dá)神經(jīng)網(wǎng)絡(luò)計算單元、并且將其動態(tài)編譯（Just-in-Time）運行。深度學(xué)習(xí)采用的卷積神經(jīng)網(wǎng)絡(luò)是由算子（Operator）組成的一個計算網(wǎng)絡(luò)。由于架構(gòu)設(shè)計和不斷擴(kuò)充等原因，當(dāng)前深度學(xué)習(xí)框架有多達(dá)2000種算子，系統(tǒng)復(fù)雜，優(yōu)化和移植困難。計圖將算子運算進(jìn)一步分解，形成了更加底層的三類20余種元算子閉包，目前神經(jīng)網(wǎng)絡(luò)常用算子均可以使用元算子的組合進(jìn)行表達(dá)。面向未來深度學(xué)習(xí)框架的發(fā)展趨勢，計圖利用元算子組合表達(dá)的優(yōu)勢，提出統(tǒng)一計算圖進(jìn)行優(yōu)化，并從底層開始設(shè)計了一個全新的動態(tài)編譯架構(gòu)（圖2）。該架構(gòu)支持多種編譯器，實現(xiàn)了所有代碼的即時編譯和動態(tài)運行，確保了實現(xiàn)和優(yōu)化分離，大幅提升了應(yīng)用開發(fā)靈活性、可拓展性和可移植性。

圖2 “計圖”通過元算子融合實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型

目前ResNet、VGG、SSD、DeepLab、LSGAN等多個網(wǎng)絡(luò)模型已經(jīng)在計圖平臺實現(xiàn)，可供用戶使用。與同類型框架相比，計圖在收斂精度一致情況下，推理和訓(xùn)練速度取得了10%-50%的性能提升（圖3）。 期望計圖能為學(xué)界和業(yè)界提供一個靈活高效的深度學(xué)習(xí)平臺，促進(jìn)人工智能的研究和應(yīng)用，賦能人工智能產(chǎn)業(yè)。

圖3 Jittor和Pytorch推理與訓(xùn)練速度對比

計圖（Jittor）官方網(wǎng)站：https://cg.cs.tsinghua.edu.cn/jittor

北京信息科學(xué)與技術(shù)國家研究中心是由科技部于2017年11月批準(zhǔn)組建的六個國家研究中心之一，是適應(yīng)大科學(xué)時代基礎(chǔ)研究特點的綜合交叉型信息科技創(chuàng)新基地，是新時期國家科技創(chuàng)新體系的重要組成部分。中心依托清華大學(xué)建設(shè)，依靠清華信息學(xué)科群的基礎(chǔ)優(yōu)勢和綜合學(xué)科優(yōu)勢、以及廣泛的國內(nèi)外影響力，在原清華信息科學(xué)與技術(shù)國家實驗室十余年籌建工作的基礎(chǔ)上，緊緊圍繞國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略、信息科學(xué)前沿發(fā)展趨勢及產(chǎn)業(yè)創(chuàng)新發(fā)展需要，凝聚力量，推動實現(xiàn)我國在信息領(lǐng)域跨越發(fā)展，服務(wù)國家“一帶一路”全球戰(zhàn)略、網(wǎng)絡(luò)信息安全、社會經(jīng)濟(jì)轉(zhuǎn)型等重大需求，努力建成國際一流的學(xué)術(shù)創(chuàng)新中心、學(xué)科引領(lǐng)中心、人才培育中心、科學(xué)知識傳播中心。

供稿：北京信息科學(xué)與技術(shù)國家研究中心

編輯：李晨暉

審核：程曦