光芯片可用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練并更具優(yōu)勢(shì)

  ICCSZ訊 美國(guó)斯坦福大學(xué)的研究人員在《Optica》上發(fā)表研究成果，展示了直接在光芯片上使用光模擬“反向傳播”算法的方式可訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，證實(shí)直接在一個(gè)光芯片上訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的可能性。該重大突破性進(jìn)展展示了光電路能夠?qū)崿F(xiàn)基于電子的人工神經(jīng)網(wǎng)絡(luò)的重要功能，并能夠以更廉價(jià)、更快和更高能效的方式來(lái)執(zhí)行類似語(yǔ)音或圖像識(shí)別等復(fù)雜任務(wù)。“反向傳播”算法是訓(xùn)練傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)方式。

      需求背景

  人工智能神經(jīng)網(wǎng)絡(luò)是一個(gè)通過(guò)使用互連單元以類似人腦的方式來(lái)處理信息的一種人工智能。人工智能神經(jīng)網(wǎng)絡(luò)可用來(lái)執(zhí)行復(fù)雜任務(wù)，如在語(yǔ)音識(shí)別中，需要重要步驟來(lái)訓(xùn)練算法來(lái)為不同單詞等輸入進(jìn)行分類。

  盡管神經(jīng)網(wǎng)絡(luò)處理通常在傳統(tǒng)計(jì)算機(jī)進(jìn)行，但在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)計(jì)算專用硬件上也投入了巨大精力。以光器件實(shí)現(xiàn)對(duì)人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練獲得了大量關(guān)注，因?yàn)槠淠軌蚴褂帽入娮悠骷俚哪芰考安⑿蟹绞綀?zhí)行計(jì)算。

  論文的第一作者Tyler W. Hughes說(shuō)：“使用一個(gè)物理器件而不是一個(gè)計(jì)算機(jī)模型來(lái)進(jìn)行訓(xùn)練，可使訓(xùn)練過(guò)程更加精確。而且，因?yàn)橛?xùn)練是實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的一個(gè)高計(jì)算密集型過(guò)程，以光學(xué)方式執(zhí)行該過(guò)程是改進(jìn)人工智能網(wǎng)絡(luò)計(jì)算效率、速度、功耗的關(guān)鍵。”

  雖然光人工神經(jīng)網(wǎng)絡(luò)最近以實(shí)驗(yàn)方式進(jìn)行了展示，但訓(xùn)練步驟使用的仍是在傳統(tǒng)數(shù)字計(jì)算機(jī)上的模型，然后將最后的設(shè)置輸入到光電電路中。

       核心進(jìn)展

  在此次進(jìn)展中，研究人員設(shè)計(jì)了一款能夠復(fù)制傳統(tǒng)計(jì)算機(jī)訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法的光芯片，克服了實(shí)現(xiàn)一個(gè)全光神經(jīng)網(wǎng)絡(luò)所面臨的重大挑戰(zhàn)。

  一個(gè)人工神經(jīng)網(wǎng)絡(luò)可以被認(rèn)為是一個(gè)帶有很多旋鈕的黑盒子。在訓(xùn)練階段，這些旋鈕轉(zhuǎn)動(dòng)一點(diǎn)，然后對(duì)整個(gè)系統(tǒng)進(jìn)行測(cè)試，看看算法的性能是否改進(jìn)了。Hughes說(shuō)：“我們的方法不僅能夠幫助預(yù)測(cè)旋鈕轉(zhuǎn)動(dòng)的方向，還能預(yù)測(cè)每個(gè)旋鈕應(yīng)該旋轉(zhuǎn)多少以盡可能獲得想要的性能。我們的方法能夠顯著加速訓(xùn)練，尤其是大的網(wǎng)絡(luò)，因?yàn)槲覀儾⑿械孬@得每個(gè)旋鈕的信息?！?

       成果展示

  研究人員已經(jīng)展示了可使用一個(gè)光芯片(圖中藍(lán)色長(zhǎng)方形區(qū)域)來(lái)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)。在完整網(wǎng)絡(luò)中，有幾個(gè)這樣的光芯片連接到一起。激光輸入(綠色)對(duì)信息進(jìn)行編碼，然后由光電波導(dǎo)(黑色)傳過(guò)芯片。芯片使用可調(diào)分光器執(zhí)行對(duì)人工神經(jīng)網(wǎng)絡(luò)關(guān)鍵的操作，這些通過(guò)波導(dǎo)中的彎曲部分來(lái)表現(xiàn)，耦合兩個(gè)相鄰的波導(dǎo)，通過(guò)調(diào)整光移相器的設(shè)置來(lái)調(diào)整(紅色和藍(lán)色閃光部分)，它像“旋鈕”一樣工作，在訓(xùn)練過(guò)程中調(diào)整來(lái)執(zhí)行給定的任務(wù)。(圖片來(lái)源：Tyler W. Hughes, Stanford University)

       過(guò)程說(shuō)明

  新的訓(xùn)練協(xié)議在帶有可調(diào)分光器的光電電路上運(yùn)行，這些分光器可通過(guò)改變光移相器來(lái)改變?cè)O(shè)置。激光編碼信息傳遞到光芯片進(jìn)行處理，并由光波導(dǎo)傳遞通過(guò)分光器，這些分光器像旋鈕一樣調(diào)整來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)算法。

  在新的訓(xùn)練協(xié)議中，激光首先通過(guò)光芯片。當(dāng)離開器件時(shí)，就可計(jì)算出與預(yù)期輸出的差異。然后使用該信息來(lái)產(chǎn)生新的光信號(hào)，這個(gè)信號(hào)然后以相反的方向送回并穿過(guò)光電網(wǎng)絡(luò)。通過(guò)測(cè)量在這個(gè)過(guò)程中每一個(gè)分光器的光電密度，研究人員展示了對(duì)神經(jīng)網(wǎng)絡(luò)性能的并行測(cè)量是如何根據(jù)每個(gè)分光器設(shè)置發(fā)生改變。移相器設(shè)置能夠基于該信息發(fā)生改變，該過(guò)程將重復(fù)進(jìn)行直到神經(jīng)網(wǎng)絡(luò)產(chǎn)生所需的輸出。

  結(jié)果測(cè)試

  研究人員使用一個(gè)光電仿真測(cè)試了他們的訓(xùn)練技術(shù)——教一個(gè)算法來(lái)執(zhí)行復(fù)雜功能，例如在一套點(diǎn)中挑選復(fù)雜特性。他們發(fā)現(xiàn)光實(shí)現(xiàn)過(guò)程的性能可與傳統(tǒng)電子計(jì)算機(jī)一致。

  意義及下一步工作

  研究團(tuán)隊(duì)領(lǐng)導(dǎo)者、斯坦發(fā)大學(xué)的Shanhui Fan說(shuō)：“使用光電芯片來(lái)執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算比數(shù)字計(jì)算機(jī)可能實(shí)現(xiàn)的效率更高，可以實(shí)現(xiàn)更復(fù)雜的問(wèn)題得到解決。這將提高人工神經(jīng)網(wǎng)絡(luò)執(zhí)行特定任務(wù)的能力，如自動(dòng)駕駛汽車或?qū)σ粋€(gè)發(fā)問(wèn)給出合適的答案。他將以我們現(xiàn)在無(wú)法想象的方式來(lái)改進(jìn)我們的生活。我們的工作展示了能夠使用物理學(xué)來(lái)實(shí)現(xiàn)計(jì)算機(jī)科學(xué)算法。通過(guò)在光學(xué)域訓(xùn)練這些網(wǎng)絡(luò)，顯示了光神經(jīng)網(wǎng)絡(luò)能夠用于實(shí)現(xiàn)只用光自身就可實(shí)現(xiàn)的某種功能?！?

  研究人員計(jì)劃進(jìn)一步優(yōu)化網(wǎng)絡(luò)，并打算使用其來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)任務(wù)的實(shí)際應(yīng)用。他們?cè)O(shè)計(jì)的通用方法可用于多種神經(jīng)網(wǎng)絡(luò)架構(gòu)，并且用于可配置光電器件等其他應(yīng)用。

  參考文獻(xiàn)：Tyler W. Hughes, Momchil Minkov, Yu Shi, Shanhui Fan.Training of photonic neural networks through in situ backpropagation and gradient measurement. Optica, 2018; 5 (7): 864 DOI:10.1364/OPTICA.5.000864

  原標(biāo)題：光電神經(jīng)網(wǎng)絡(luò)|美國(guó)斯坦福大學(xué)證實(shí)可直接在一個(gè)光芯片上訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，具備比傳統(tǒng)電子器件更高的能效、更快的速度和更低的成本