MIT基于相干VCSEL的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與PhotoCAD實(shí)踐

  摘要

  訓(xùn)練復(fù)雜的AI模型需要大量計(jì)算資源而消耗大量能源。MIT使用垂直腔面發(fā)射激光器(VCSEL)陣列實(shí)現(xiàn)的光學(xué)神經(jīng)網(wǎng)絡(luò)，提供了高效的機(jī)器學(xué)習(xí)的硬件方法。本文概述了VCSEL以及它們?nèi)绾螌?shí)現(xiàn)集成的納米光子電路，這種電路經(jīng)過(guò)優(yōu)化可以進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算。盡管制造和集成方面的挑戰(zhàn)還很多，基于VCSEL的處理器在從數(shù)據(jù)中心到邊緣設(shè)備等各種應(yīng)用中,可將能效提升至100倍以上，從而突破了AI基礎(chǔ)設(shè)施的局限性。本文也介紹如何使用PhotoCAD的參數(shù)化單元格和陣列功能高效地設(shè)計(jì)VCSEL版圖。

  簡(jiǎn)介

  近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和語(yǔ)音識(shí)別等領(lǐng)域取得重大突破。但是，目前最先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型需要大規(guī)模的計(jì)算能力，這已經(jīng)逼近了數(shù)據(jù)中心級(jí)基礎(chǔ)設(shè)施的極限。隨著AI模型日益復(fù)雜，對(duì)算力的巨大需求制約了其實(shí)用能力。

  針對(duì)機(jī)器學(xué)習(xí)工作負(fù)載進(jìn)行優(yōu)化的專用硬件，提供了使AI更加可持續(xù)的途徑。長(zhǎng)期以來(lái)，人們提出使用光而不是電流實(shí)現(xiàn)高效AI硬件的光子神經(jīng)網(wǎng)絡(luò)，計(jì)算效率可以得到大幅提升。但是大多數(shù)光子架構(gòu)在可擴(kuò)展性、集成密度和芯片一體化方面存在挑戰(zhàn)。

  垂直腔面發(fā)射激光器(VCSEL)的出現(xiàn)，為集成高效的光學(xué)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)提供了可行的途徑。通過(guò)定制化工程, VCSEL 陣列可以實(shí)現(xiàn)針對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的低功率光矩陣乘法、激活和反向傳播。本文引述文獻(xiàn)闡述了VCSEL如何在從數(shù)據(jù)中心到終端設(shè)備等各種計(jì)算平臺(tái)中實(shí)現(xiàn)AI硬件的革命性進(jìn)步[1]。

  VCSEL提高ONN效率的優(yōu)勢(shì)

  VCSEL是一種使用特殊鏡面結(jié)構(gòu)的半導(dǎo)體激光器，可以從芯片表面垂直發(fā)射光線。這使其可以輕松地在同一晶圓上與電子器件和納米光子組件無(wú)縫集成。VCSEL可以使用標(biāo)準(zhǔn)的光刻技術(shù)制成高密度的陣列。

  這些特性使VCSEL成為集成ONN的理想基礎(chǔ)模塊。每個(gè)低功率VCSEL提供一個(gè)獨(dú)立的光學(xué)信道，支持成千上萬(wàn)個(gè)并行的光子連接。芯片內(nèi)波導(dǎo)和光檢測(cè)器完成了全光數(shù)據(jù)流，保持計(jì)算在光學(xué)域中進(jìn)行。

  VCSEL陣列與集成光子學(xué)的結(jié)合，可以實(shí)現(xiàn)對(duì)關(guān)鍵的神經(jīng)網(wǎng)絡(luò)操作如矩陣乘法的大規(guī)模加速,其性能遠(yuǎn)超數(shù)字芯片。VCSEL等光學(xué)組件本身就具有模型神經(jīng)網(wǎng)絡(luò)激活所需的非線性。它們基于物理的優(yōu)勢(shì)完全匹配了深度學(xué)習(xí)的需求。

  通過(guò)最小化高能耗的光電轉(zhuǎn)換，基于VCSEL的ONN終于釋放了光計(jì)算在AI領(lǐng)域的潛力。實(shí)驗(yàn)已經(jīng)證明，相比數(shù)字硬件，使用VCSEL光子處理器來(lái)運(yùn)行機(jī)器學(xué)習(xí)任務(wù)可以提高超過(guò)100倍的能效。

  神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的創(chuàng)新

  為了充分發(fā)揮VCSEL的優(yōu)勢(shì)，MIT的研究人員開創(chuàng)了針對(duì)光子約束進(jìn)行優(yōu)化的ONN架構(gòu)。

  一個(gè)關(guān)鍵的創(chuàng)新是將每個(gè)VCSEL分配給一個(gè)神經(jīng)網(wǎng)絡(luò)神經(jīng)元。VCSEL的發(fā)光編碼了每個(gè)神經(jīng)元狀態(tài),光學(xué)信號(hào)在波導(dǎo)中傳播。然后光檢測(cè)器陣列同時(shí)接收來(lái)自所有VCSEL的組合光信號(hào),在層與層之間進(jìn)行大規(guī)模并行的光子矩陣乘法。

  VCSEL的戰(zhàn)略分組還利用光學(xué)干涉實(shí)現(xiàn)了激活函數(shù)。使用專門的光子電路同樣可以實(shí)現(xiàn)反向傳播等訓(xùn)練技術(shù)。這些創(chuàng)新總和起來(lái)構(gòu)成了專門為神經(jīng)網(wǎng)絡(luò)工作負(fù)載進(jìn)行效率最大化優(yōu)化的定制VCSEL-ONN處理器。

  其結(jié)果是一個(gè)使用光加速整個(gè)神經(jīng)網(wǎng)絡(luò)計(jì)算流水線的集成系統(tǒng)。這證明了基于VCSEL的ONN對(duì)AI基礎(chǔ)設(shè)施具有變革性的潛力。

  商業(yè)化展望

  由于VCSEL陣列的制造性，專門用于機(jī)器學(xué)習(xí)的VCSEL-ONN芯片在資金充足的情況下，有望幾年內(nèi)實(shí)現(xiàn)商業(yè)規(guī)模，這將是AI硬件劃時(shí)代的關(guān)鍵時(shí)刻。

  隨著VCSEL生產(chǎn)規(guī)模的擴(kuò)大，光子神經(jīng)網(wǎng)絡(luò)處理器有望徹底改變各種環(huán)境下的機(jī)器學(xué)習(xí):

  數(shù)據(jù)中心可以在當(dāng)前能耗限制下大規(guī)模擴(kuò)展計(jì)算力，訓(xùn)練更大的模型。

  手機(jī)等邊緣設(shè)備可以本地運(yùn)行強(qiáng)大的AI算法，而不會(huì)耗盡電池。

  經(jīng)優(yōu)化的VCSEL-ONN協(xié)處理器可以加速車輛、機(jī)器人等平臺(tái)上的AI。

  高效的光學(xué)AI芯片組有助于普及機(jī)器學(xué)習(xí)的應(yīng)用。

  要實(shí)現(xiàn)這一愿景，需要解決 VCSEL提升集成密度、降低成本以及與其他新興硬件競(jìng)爭(zhēng)等挑戰(zhàn)。但是VCSEL-ONN革命性的為以光為動(dòng)力運(yùn)行AI提供了最可行的途徑。

  使用PhotoCAD版圖工具輕松高效設(shè)計(jì)VCSEL芯片

  4個(gè)步驟，利用PhotoCAD的參數(shù)化單元格和陣列實(shí)現(xiàn)高效的VCSEL版圖:

  1. 定義VCSEL單元格幾何形狀和規(guī)則

  2. 創(chuàng)建所需的網(wǎng)格圖案陣列

  3. 如果需要可添加隨機(jī)擾動(dòng)

  4. 生成版圖GDS文件

  結(jié)論

  VCSEL有望通過(guò)為神經(jīng)網(wǎng)絡(luò)工作負(fù)載帶來(lái)超高效率的集成納米光子處理器來(lái)改變AI。通過(guò)定制化工程，VCSEL終于能夠釋放光計(jì)算在新一代智能領(lǐng)域的潛力。盡管這項(xiàng)技術(shù)仍需不斷成熟與商業(yè)化，基于VCSEL的光學(xué)神經(jīng)網(wǎng)絡(luò)指向了在各種計(jì)算平臺(tái)上實(shí)用、高效、無(wú)所不在的AI。專門構(gòu)建的光子硬件將突破限制，實(shí)現(xiàn)更強(qiáng)大和豐富的智能系統(tǒng)。

  利用PhotoCAD參數(shù)化單元格和自動(dòng)化陣列生成功能, 可以大幅提升VCSEL芯片設(shè)計(jì)的效率。PhotoCAD支持構(gòu)建可定制的VCSEL單元格，支持多種陣列排布，并集成DRC以及數(shù)據(jù)準(zhǔn)備功能，使芯片設(shè)計(jì)從概念到制造端到端貫穿。

  參考文獻(xiàn)

  [1] Chen, Z., Sludds, A., Davis, R. et al. Deep learning with coherent VCSEL neural networks. Nat. Photon. 17, 723–730 (2023). https://doi.org/10.1038/s41566-023-01233-w