從傳統中央處理器到仿神經型態晶片,未來人工智慧將走去哪?
作者/陳柏中|國家實驗研究院科技政策研究與資訊中心助理研究員
仿神經型態系統(neuromorphic system)是以生物神經系統的構成、訊號傳遞與運算記憶功能進行電子電路材料、元件、電路模擬、電路設計、運算架構、演算法、系統等的工程仿真 1-3,包括突觸(synapse)、神經元(neuron)、脈衝神經網路(spiking neural network)、視覺系統、聽覺系統、嗅覺系統等。
傳統電腦中央處理器運算速度因散熱與功耗問題於 2004 年停止提升 4,改為多核心運算架構發展,但因散熱造成的暗矽(dark silicon)限制 5,使得多核心無法全部同時開啟,且半導體產業的摩爾定律(Moore’s law)微縮製程因物理限制將走向終點,傳統晶片系統的計算性能增長受到限制。而藉由人腦啟發(brain-inspired)的仿神經型態工程設計則提供運算架構革新的方向,包括憶阻器(memristor)計算 6、脈衝神經元整合電路(spiking-neuron circuit)7等,有潛力應用於高複雜計算問題且低耗能。
近年來,人工智慧與物聯網的崛起,使得大量資料運算的需求提升,未來智慧機器(smart machine)將可能滲透於日常生活中 8。然而,傳統計算機架構的馮諾伊曼瓶頸(von Neumann bottleneck)成為一個主要問題 9,當處理大量資料運算,單一中央處理器與記憶體間的資料運算規則和傳輸速度限制整體效率與計算時間,無法滿足實際即時應用情境。而仿神經型態系統利用神經網路分散架構進行平行運算與學習,可加速人工智慧計算並有機會發展非雲端的人工智慧計算硬體。本研究針對目前美歐日的相關科技政策、各國學術發展現況、產業預估進行調查,並藉由專家會議,探討仿神經型態晶片與計算對台灣發展的重要性與可行性。
各國如何看待仿神經網路晶片?
2008 年美國國防高等研究計劃署(Defense Advanced Research Projects Agency, DARPA)提出 SyNAPSE(System of Neuromorphic Adaptive Plastic Scalable Electronics)專案計畫 10,投入約 1 億美元,目標發展仿神經網路低功耗處理器硬體,並挑戰機器人智能達到貓的層次。2013 年,美國啟動腦科學(BRAIN Initiative)計畫,其中情報高等研究計劃署(Intelligence Advanced Research Projects Activity, IARPA)所主導的腦皮層網路機器智能子計畫(Machine Intelligence from Cortical Networks, MICrONS)11,投入約 1 億美元,目標為革新機器學習(machine learning),透過逆向工程方式研究感官刺激下的神經反應,轉譯成人腦的演算法(the algorithms of the brain)之工作原理,讓機器得以如同人類一般的學習。
2005 年歐盟第六期科研架構的未來新興科技計畫,其中 FACETS(Fast Analog Computing with Emerging Transient States)12投入約 1 千 50 萬歐元於仿神經型態計算架構研發。2013 年歐盟提出 Human Brain Project,總預算約 12 億歐元,其中子計畫 SP9 – Neuromorphic Computing 13 和 SP10 – Neurorobotics 14目標發展仿神經型態計算與虛擬神經機器人。
2014 年日本內閣府啟動革新的研究開發推進計畫(IMPACT)15,其中量子人工腦為日本的先進資訊社會的重點基礎建設項目(Advanced Information Society Infrastructure Linking Quantum Artificial Brains in Quantum Network),計畫為 5 年期,總預算約 30 億日圓,結合量子技術與神經網路計算架構,挑戰縮短人工智慧運算所需的時間 10 萬倍。
綜觀美國、歐洲與日本政府的未來資訊技術發展政策,皆積極投入仿神經型態硬體與或計算的研發,未來將有可能拓展智慧機器(smart machine)產業。
學術發展的趨勢與各國投注的能量
1990 年,美國加州理工學院 Carver Mead 教授提出仿神經型態電子系統(neuromorphic electronic systems)概念 16,一直到 2010 年仍為計算科學中的小眾研究。然而,近年人工智慧興起,與半導體摩爾定律將遇到極限,仿神經型態相關研究開始成為學術上新興技術的熱點,如下圖 1 所示。
以 Neuromorphic 關鍵字於 Web of ScienceTM 搜尋相關論文,1981 年至 2016 年 8 月,總共有 1000 篇相關文獻,其中 35 篇為回顧文獻。分析其個別發表國家的研究能量,美國 389 篇(38.9%)為領先國,其次為中國 111 篇(11.1%)與瑞士 99 篇(9.9%),而台灣僅有 15 篇(1.5%),亦落後於亞洲四小龍的南韓 41 篇(4.1%)與新加坡 25 篇(2.5%)。全球發表平均引用數為 16.83,台灣發表平均引用數為 5.93。台灣雖有相關學術能量基礎,但相對弱勢,需適當引導並投入相關資源與人才培育,方能提升台灣人工智慧的競爭力。
其相關期刊發表領域包括電子電機(42%)、應用物理(19%)、計算機科學 (18%)、神經科學(15%)、材料(13%)。
未來人工智慧運算技術發展方向
傳統加速人工智慧運算的神經網路硬體,主要包括使用雲端中央處理器(Central Processing Unit, CPU)大規模系統、圖形處理器(Graphics Processing Unit, GPU)、現場可編程陣列(Field-Programmable Gate Array, FPGA)等。目前發展方向為提升機器學習速度、低耗能等。其中,Google 深度學習使用的雲端 CPU 系統,於 2012 年的圖集測試大規模非監督學習(large scale unsupervised learning),使用 1000 台 16 核 CPU,但準確率僅達 15.8% ; GPU 能提供藉由平行計算縮短所需時間,但相對耗能 ; FPGA 應用於卷積神經網路的運算架構設計,可降低影像識別的能耗,但成本相對昂貴 17。
新興生物啟發的脈衝神經網路晶片,目標發展低能耗高準確率非雲端的認知計算,其主要技術發展方向包括運算架構電路設計、演算法、憶阻器等。然而,目前主要的發展障礙包括高精度類腦計算訓練算法的理論尚未成熟、缺乏通用的編成模型使得應用開發困難 18。未來生物啟發的脈衝神經網路晶片,若憶阻器的製造技術成熟,將有機會在深度學習難以解決需高層次語意指導的圖像辨識問題 17和訓練效率 19上,發揮其優勢,預期 5-10 年後將實現工業應用 17,18。
產業現況及未來應用情境預測
仿神經型態晶片的產業營收,根據 MarketsandMarkets 的調查研究,2022 年全球營收預估為 48 億美元,其營收年複合成長率 26% 20。仿神經型態晶片可應用於影像識別、語音辨識、及資料探勘等。Gartner 認為仿神經型態硬體(neuromorphic hardware)目前位於科技發展的促動期(technology trigger),並預期於十年後有主流採用的可能性 21。
產業面以新興智慧機器為主軸,將是仿神經型態晶片主要市場,包括自駕車、商用無人機、家用機器人、盲人醫療器材輔具、具認知功能智慧行動裝置等。主要廠商包括 IBM、Qualcomm、Nvidia、AMD 等。
台灣仿神經型態的研究發展
台灣仿神經型態相關研究計畫近年投入經費,如圖 2 所示,共補助約 2 千 5 百萬元,相關件數共 10 件,其研究性質為基礎型和應用型研究,相關研究題目主要包含腦晶片、機率型神經網路晶片、電阻式記憶體、神經形態量子計算等。台灣仿神經型態研究投入集中於近 4 年,相關研究人力與計畫經費有限。
台灣學術界目前具有仿神經型態晶片設計與創新的基礎,包含仿生電子嗅覺感測系統 22、仿神經型態視覺晶片 23,24、人工神經突觸材料 25,26、神經元模擬於超大型積體電路 27 等。
為什麼要注重仿神經型態晶片產業?
目前國際上仿神經型態晶片與計算為研究焦點,晶片架構百家爭鳴,例如 Google TPU(Tensor Processing Unit)與 Nvidia GPU,及在 2016 年主要國際會議(isscc, isca, dac)皆提出多種新型架構。新架構在能量消耗與運算能力上有大幅的改善。另一方面,可變電阻式記憶體 RRAM(Resistive Random-Access Memory)可提供非傳統電腦 0 和 1 的運算值,亦是未來發展的方向之一。
若以未來產業發展角度而言,「仿神經型態晶片與計算」應較有立即之產業價值,並且是未來發展趨勢,人才培育及產業需求將可緊密結合,且國內產業也較有基礎,較可能承接學界之成果。對於台灣產業在機器學習、智慧計算的應用上具有相當大的助益,值得投入。
台灣的人工智慧硬體未來
全球資通訊產業值約占世界總產值的 7% 28,未來主要動能將來自物聯網、大數據管理系統和新興智慧機器產業,包括智慧工廠、智慧城市、個人健康照護、零售業、無人物流、無人運輸、智慧家庭、智慧辦公室等 29,預測 2025 年資通訊產值具有成長一倍潛力。人工智慧位於預測產值佔比最高的物聯網應用服務層,而人工智慧中的加速硬體,非雲端的仿神經網路晶片將有機會於將打造智慧機器的大腦,具有全球主流採用的潛力。
台灣 IC 產業產值約 2 兆 2 千 6 百億元 30,僅次於美國,是我們極具競爭力的重點產業,並擁有完整的供應鏈,包含 IC 設計、IC 製造、IC 封裝與測試,具有發展人工智慧硬體的優勢,然而新興仿神經網路晶片與計算的投入較少。建議政府引導學界整合團隊投入仿神經網路晶片與計算相關的基礎與應用研究或下世代人工智慧運算硬體,並以發展具實際應用功能的整體系統為目標,長期投入和培養相關人才,具初步能量後推動產學合作,以因應未來新興人工智慧的產業需求。
(本文授權改寫自:國研院科政中心 科技政策觀點網站:仿神經型態晶片與計算趨勢發展分析)
參考文獻
- Douglas, Rodney, Misha Mahowald, and Carver Mead. “Neuromorphic analogue VLSI.” Annual review of neuroscience 18 (1995): 255-281.
- Vanarse, Anup, Adam Osseiran, and Alexander Rassau. “A Review of Current Neuromorphic Approaches for Vision, Auditory, and Olfactory Sensors.” Frontiers in neuroscience 10 (2016).
- Indiveri, Giacomo, et al. “Neuromorphic silicon neuron circuits.” Frontiers in neuroscience 5 (2011): 73.
- Esmaeilzadeh, Hadi, et al. “Dark silicon and the end of multicore scaling.” Computer Architecture (ISCA), 2011 38th Annual International Symposium on. IEEE, 2011.
- Waldrop, M. Mitchell. “The chips are down for Moore’s law.” Nature News 530.7589 (2016): 144.
- Yang, J. Joshua, Dmitri B. Strukov, and Duncan R. Stewart. “Memristive devices for computing.” Nature nanotechnology 8.1 (2013): 13-24.
- Merolla, Paul A., et al. “A million spiking-neuron integrated circuit with a scalable communication network and interface.” Science 345.6197 (2014): 668-673.
- Garnter. “Predicts 2016: Smart Machines.” available at http://www.gartner.com/document/3175120 accessed at [2016.09.13].
- Di Ventra, Massimiliano, and Yuriy V. Pershin. “The parallel approach.” Nature Physics 9.4 (2013): 200-202.
- Available at http://www.darpa.mil/program/systems-of-neuromorphic-adaptive-plastic-scalable-electronics accessed at [2016.09.13].
- Available at https://www.iarpa.gov/index.php/research-programs/microns/microns-baa accessed at [2016.09.13].
- Available at http://facets.kip.uni-heidelberg.de/ accessed at [2016.09.13].
- Available at https://www.humanbrainproject.eu/sp9 accessed at [2016.09.13].
- Available at https://www.humanbrainproject.eu/sp10 accessed at [2016.09.13].
- Available at http://www.jst.go.jp/impact/en/program/12.html accessed at [2016.09.13].
- Mead, Carver. “Neuromorphic electronic systems.” Proceedings of the IEEE 78.10 (1990): 1629-1636.
- 陈云霁. “体系结构研究者眼中的神经网络硬件.”中國计算机通訊 11.7 (2015): 10-22.
- 顾宗华, and潘纲. “神经拟态的类脑计算研究. “中國计算机通訊 11.10 (2015): 10-20.
- 曾毅, 刘成林, and 谭铁牛. “类脑智能研究的回顾与展望.” 计算机学报 39.1 (2016): 212-222.
- MarketsandMarkets. “Neuromorphic Chip Market by Application (Image recognition, Speech Recognition, Data Mining), End-User Industry (Aerospace, Defense & Military, Medical, Industrial, Automotive, Consumer, Other Industries), and Geography – Global Forecast & Analysis to 2016 – 2022.” Available at http://www.rnrmarketresearch.com/neuromorphic-chip-market-by-application-image-recognition-speech-recognition-data-mining-end-user-industry-aerospace-defense-military-medical-industrial-automotive-consumer-other-industries-and-geography-global-forecast-analy-market-report.html#utm_source=whatech&utm_content=whatech.com/185321 accessed at [2016.9.13].
- Garnter. ” Hype Cycle for Smart Machines, 2016. “Available at http://www.gartner.com/document/3380751 accessed at [2016.9.13].
- Hsieh, Hung-Yi, and Kea-Tiong Tang. “VLSI implementation of a bio-inspired olfactory spiking neural network.” IEEE transactions on neural networks and learning systems 23.7 (2012): 1065-1073.
- Lin, Li-Ju, et al. “A neuromorphic chip that imitates the ON brisk transient ganglion cell set in the retinas of rabbits.” IEEE Sensors Journal 7.9 (2007): 1248-1261.
- Chiang, C. T., and C. Y. Wu. “Implantable neuromorphic vision chips.” Electronics Letters 40.6 (2004): 361-363.
- Zhang, Chaochao, et al. “Synaptic plasticity and learning behaviours in flexible artificial synapse based on polymer/viologen system.” Journal of Materials Chemistry C 4.15 (2016): 3217-3223.
- Wang, Yu-Fen, et al. “Characterization and modeling of nonfilamentary Ta/TaOx/TiO2/Ti analog synaptic device.” Scientific reports 5 (2015).
- Chen, Hsin, et al. “Real-time simulation of biologically realistic stochastic neurons in VLSI.” IEEE Transactions on Neural Networks 21.9 (2010): 1511-1517.
- IBM Global Business Service. “The world’s 4 trillion dollar challenge.” (2010), Available at https://www.ibm.com/ibm/files/Y067208R89372O94/11The_worlds_4_trillion_dollar_challenge-Executive_Report_1_3MB.pdf accessed at [2016.9.13].
- McKinsey Global Institute. “The Internet of things: Mapping the value beyond the hype.” available at http://www.mckinsey.com/business-functions/business-technology/our-insights/the-internet-of-things-the-value-of-digitizing-the-physical-world accessed at [2016.9.13].
- 工研院IEK電子分項”2016半導體產業年鑑.” available at http://www2.itis.org.tw/PubReport/PubReport_Detail.aspx?rpno=53053972&industry=1&ctgy=1&free= accessed at [2016.9.13].
留言討論