半導體業長期以來是將存儲與處理器分別設計配置,即便是芯片內的嵌入式存儲,其電路區塊也是與處理單元各自分立,并讓兩區塊間透過總線傳遞存取信息。

而所謂的存儲內處理器(Processor In Memory, PIM)(圖1),或稱存儲鄰近處理器(Processor Near Memory, PNM)、存儲內運算(In-Memory Compute, IMC)等,則是在芯片電路設計時即以存儲的矩陣存儲電路為基礎,再行加搭起運算電路,使存儲與運算電路幾乎融為一體。

1.左圖為現行處理單元與存儲間有讀寫(Fetch提取、Store存入)的瓶頸,右圖為PIM作法可消除運算與儲存間的傳輸瓶頸。資料來源:IBM



深度學習需要的運算量不斷提高,特別是在支援自駕車應用上,2017年NVIDIA提出自駕車運算平臺DRIVE PX PEGASUS,宣稱合并兩張DRIVE PX PEGASUS可獲得320TOPS(8位元整數)的人工智能推論運算力,目標在于支援ADAS標準最高的Level 5自駕層級,即各種路況與情境下均能全程自動化駕駛不需人為介入,然代價是500瓦功耗,對汽車電瓶亦是不小負荷。

由于傳統方式提升運算(特別是深度學習運算)效能日益困難,因此產業開始嘗試回望PIM技術。PIM技術因存儲電路與處理電路兩者緊鄰,傳輸距離短,可 快速傳遞運算,而深度學習所需要的「網狀層次連接、節點加權運算」亦容易以PIM方式實現,存儲內儲存的信息即是節點的權重(Weight,或稱特征權重),運算 后的結果再向更深層的節點傳遞,進行相同的乘積累加運算(簡稱乘加運算Multiply Accumulate, MAC),最終得到深度學習的運算結果。

以PIM方式實現深度學習運算,理論上可比傳統作法更輕易達到效能提升,且是以省電方式提升,即TOPS/Watt表現佳(類同于每瓦效能Per Watt Performance的概念),若堅持傳統作法估計只能以更大的功耗代價帶來些許提升。


2.IBM運用相變存儲儲存神經網絡中的權重  資料來源:IBM

首先為存儲類型,PIM必須以一種存儲電路為基礎發展其執行處理電路,以Mythic與Syntiant而言均是以嵌入式NOR Flash電路為主,IBM則以相變存儲 (Phase-Change Memory , PCM)為基?。ㄍ?)。由于重新啟動的PIM技術著重在神經網絡運算,因此業者也積極嘗試各種新型存儲以支援執行運算設計,而不限定使用已 大宗運用的存儲,如考慮MRAM/STT MRAM、RRAM/ReRAM等,新興與利基型存儲于PIM領域具有發展機會。



  江蘇時代全芯存儲科技股份有限公司(AMT一直專注在相變存儲領域,且與IBM保持緊密的合作關系,AMT的林仲漢博士(Dr. Chung Lam)曾擔任IBM研發中心PCM項目負責人13年, 現正領導AMT各地研發中心的科學家和工程師研發基于相變存儲技術(PCM)的神經網絡AI芯片。

END


文:新電子

排版:張樂辰

掃描二維碼

關注我們





2019年08月07日

AI芯片需求將推動這個“老”架構復興!

上一篇

下一篇

AI芯片需求將推動這個“老”架構復興!