91麻豆国产免费观看_国产成人精品一区二区免费_久久99免费视频_天天干天天操天天摸

首頁 > 創作內容 > 創作內容 > 微軟亞研院多項創新技術,彌合大模型低比特量化與終端部署間鴻溝

微軟亞研院多項創新技術,彌合大模型低比特量化與終端部署間鴻溝

發布時間:2024-08-21 22:59:04來源: 13041198719

在人工智能領域,模型參數的增多往往意味著性能的提升。但隨著模型規模的擴大,其對終端設備的算力與內存需求也日益增加。低比特量化技術,由于可以大幅降低存儲和計算成本并提升推理效率,已成為實現大模型在資源受限設備上高效運行的關鍵技術之一。然而,如果硬件設備不支持低比特量化后的數據模式,那么低比特量化的優勢將無法發揮。

為了解決這一問題,微軟亞洲研究院推出了全新的數據編譯器 Ladder 和算法 T-MAC,使當前只支持對稱精度計算的硬件能夠直接運行混合精度矩陣乘法。測試結果表明,Ladder 在支持 GPU 原本不支持的自定義數據類型方面,最高提速可達14.6倍;T-MAC 在搭載了最新高通 Snapdragon X Elite 芯片組的 Surface AI PC 上,使 CPU 上運行的大模型吞吐率比專用加速器 NPU 快兩倍。此外,研究員們還設計了 LUT Tensor Core 硬件架構,這種精簡設計使硬件能夠直接支持各種低比特混合精度計算,為人工智能硬件設計提供了新思路。

 

大模型已經越來越多地被部署在智能手機、筆記本電腦、機器人等端側設備上,以提供先進的智能及實時響應服務。但包含上億參數的大模型對終端設備的內存和計算能力提出了極高的要求,也因此限制了它們的廣泛應用。低比特量化技術因其能顯著壓縮模型規模,降低對計算資源的需求,成為了大模型在端側部署和實現高效推理的有效手段。

 

隨著低比特量化技術的發展,數據類型日益多樣化,如 int4、int2、int1 等低比特數據,使得大模型在推理中越來越多地采用低比特權重和高比特權重計算的混合精度矩陣乘法(mixed-precision matrix multiplication,mpGEMM)。然而,現有的 CPU、GPU 等硬件計算單元通常只支持對稱計算模式,并不兼容這種混合精度的矩陣乘法。

 

混合精度矩陣乘法與傳統的矩陣乘法有何不同?

 

在傳統的矩陣乘法中,參與運算的兩端數值是對稱的,例如 FP16*FP16、int8*int8。但大模型的低比特量化打破了這種對稱性,使乘法的一端是高比特,另一端是低比特,例如在 1-bit 的 BitNet 模型中實現的 int8*int1 或 int8*int2,以及浮點數與整數的混合乘法 FP16*int4。

 

為了充分發揮低比特量化的優勢,讓硬件設備能夠直接支持混合精度矩陣乘法,確保大模型在端側設備上的高速有效運行,微軟亞洲研究院的研究員們針對現有 CPU、GPU 計算算子和硬件架構進行創新:

 

  • 推出了數據類型編譯器 Ladder,支持各種低精度數據類型的表達和相互轉換,將硬件不支持的數據類型無損轉換為硬件支持的數據類型指令,在傳統計算模式下,使得硬件能夠支持混合精度的 DNN(深度神經網絡)計算;
  • 研發了全新算法 T-MAC,基于查找表(Lookup Table,LUT)的方法,實現了硬件對混合精度矩陣乘法的直接支持,軟件層面,在 CPU 上的計算相比傳統計算模式取得了更好的加速;
  • 提出了新的硬件架構 LUT Tensor Core,為下一代人工智能硬件設計打開了新思路。

 

創作內容更多>>

極氪007GT官圖曝光,二季度上市,新獵裝車造型時尚空間升級 2025年初新車盛宴:比亞迪夏、奧迪A5L等十款新車即將上市! 埃安鸚鵡龍:8.98萬起售,這款小型純電新車能否成為年輕人的新選擇? 新世代超感智能座艙全球首發!寶馬又一次引領時代 索尼本田合資首款新車亮相2025CES 起售價8.99萬美元 領克全新大型SUV L946今日亮相,插混動力引期待 24.98萬元起售,比亞迪夏正式上市,標配云輦-C和高階智駕 全新寶馬X3正式量產 計劃于一季度上市 SPA Evo架構下,領克900邁出從輕奢至豪華第一步 電動時代還卷發動機?榮威的“直線超車”有何意義? 3000萬輛!中國首個!上汽通用五菱迎來新里程碑啦! “勝想半子”領克900,騰勢N9競爭力不容小覷,全尺寸SUV要變天 北京現代銷量持續低迷,吳周濤也難挽頹勢 Flyme Auto 助力吉利造每個人的智能精品車 這顆四缸渦輪心臟,不輸美式大V8 四十萬預算買新能源MPV怎么選?騰勢D9和別克GL8新能源都差在哪里 35.69萬元起 別克GL8陸尊新增車型上市 配置小幅升級 濃濃硬派范兒 全新奧迪A7 allroad諜照曝光 奧迪A6 allroad正統繼任者 9.99萬元起 奇瑞風云A8L上市 配C-DM 5.0插混系統/綜合續航2100km 燈組有變化 新款邁巴赫S級諜照曝光 格柵尺寸更大 有望2025年初發布 全新奧迪A7 Avant諜照曝光 將推插混版 15.58萬元起 上汽大通星際X上市 柴油/純電雙版本可選 限量66臺 奧迪RS 6 Avant GT將于12月26日預售 3.3秒破百 約合人民幣196萬元起 邁巴赫SL 680 Monogram海外上市 明年初交付 引領行業煥新提質!愛瑪兩輪豪華轎跑正式亮相! 都是可油可電,“兩大重磅MPV”亮相車展,誰有機會成“爆款”?你有什么看法? 贛鋒鋰電全新電池亮相:六大創新引領新能源領域新篇章 星紀元ET四驅增程版上市 為什么大家都不買帳? 麥格納:汽車座椅設計趨勢及FreeForm™創新面套技術 北京現代,還來得及上牌桌嗎?