向著224Gbps速率進發(fā)的新時代

  本文來自微信公眾號：數(shù)據(jù)中心前沿技術(shù)

  在剛剛過去的2020年12月份，Broadcom正式發(fā)布了使用112Gbps速率Serdes的兩款Tomahawk4芯片，整個網(wǎng)絡(luò)領(lǐng)域在2021年將會開始正式邁向112Gbps速率時代。本公眾號在2019年時談?wù)撨^的這一新的速率時代，將要從今年開始逐漸落地并成為可用的產(chǎn)品。當(dāng)然，從Broadcom 112G速率芯片的發(fā)布到我們能夠看到使用這些芯片的交換機產(chǎn)品實物，至少還要有一年的時間。畢竟，按照IEEE 802.3CK小組的最新Roadmap，支持112Gbps速率電信號的規(guī)范要到2022上半年才會完全定稿并發(fā)布。

針對112Gbps速率的IEEE 802.3CK規(guī)范最新Roadmap

  在產(chǎn)業(yè)界正在緊鑼密鼓地為112Gbps速率系統(tǒng)的推出而工作時，規(guī)范領(lǐng)域的專家們已經(jīng)把目光投向了下一代224Gbps速率標(biāo)準(zhǔn)。畢竟，在新的一個十年里，可以預(yù)見在數(shù)據(jù)中心和移動用戶側(cè)的數(shù)據(jù)流量仍然會保持指數(shù)級別的增長。于是，在2020年6月份OIF率先啟動了面向下一代的CEI-224G項目，探索224Gbps電氣信號的傳輸距離和系統(tǒng)架構(gòu)。在這之后不久，IEEE也啟動了Beyond 400Gb/s Ethernet Study Group項目，探索使用224Gbps速率的下一代以太網(wǎng)在技術(shù)上的可行性。從OIF和IEEE這兩大國際標(biāo)準(zhǔn)組織的最新動向上可以發(fā)現(xiàn)，他們都認為將電和光信號速率從112Gbps升級到224Gbps是非常有必要的，但具體升級路徑和方法，還需要在項目組里進行更廣泛、深入的探討。

全球移動設(shè)備流量的增長預(yù)期

  信號速率提升帶來的最直接的影響就是網(wǎng)絡(luò)芯片交換容量的增長。在2020年的時候，我們看到Broadcom、Innovium、Barefoot(Intel)、Xsight Labs等公司都推出了25.6Tbps交換容量的芯片。隨著112Gbps速率的逐漸普及，網(wǎng)絡(luò)芯片的交換容量將會在接下來的2-3年內(nèi)提升到51.2Tbps。到2025年左右，102.4Tbps交換容量的網(wǎng)絡(luò)芯片也將會進入人們的視野。

交換芯片容量的未來發(fā)展目標(biāo)

  51.2T和102.4T交換容量的網(wǎng)絡(luò)芯片在接下來的十年里先后的出現(xiàn)，將會推動交換機端口帶寬從目前的400GbE提升到800GbE乃至1.6TbE。對于800GbE帶寬的IO模塊，可以由8個112Gbps通道組成。但當(dāng)使用4個224Gbps通道時，IO模塊可以獲得更小的體積、更好的功耗和散熱性能。同樣的，最初的1.6TbE帶寬的IO模塊也可以由16個112Gbps通道構(gòu)成，但這顯然沒有任何的應(yīng)用價值。只有使用8個224Gbps通道時，IO模塊在尺寸、功耗和散熱等工程指標(biāo)上才能滿足用戶設(shè)備實際應(yīng)用的需求。1.6TbE帶寬的IO模塊未來甚至還會有采用448Gbps通道速率的可能性，當(dāng)然這將會是更下一個速率時代了。

交換機端口帶寬從400GbE向1.6TbE的演進方式

  信號速率的提升對CMOS工藝制程也提出了更高的要求。在使用112Gbps通道速率的Tomahakw4-100G芯片上，Broadcom已經(jīng)采用了目前最新的TSMC 7nm工藝制程。隨著TSMC 5nm和3nm工藝制程在接下來的1-2年內(nèi)先后成熟并商用，使用224Gbps速率的網(wǎng)絡(luò)芯片極有可能會采用3nm工藝制程來進行設(shè)計。其實對于Serdes發(fā)送和接收電路而言，使用最新的CMOS工藝并不一定會有非常明顯的功耗降低。但對于網(wǎng)絡(luò)芯片的數(shù)據(jù)包處理邏輯電路，使用最新的工藝制程還是可以顯著地降低功耗和芯片面積的。因此Broadcom、Innovium等公司未來的網(wǎng)絡(luò)芯片也極有可能走上AMD EPYC處理器的架構(gòu)之路，使用多晶片Chiplet技術(shù)來構(gòu)建復(fù)雜的芯片，不同晶片模塊使用不同的工藝制程。

CMOS技術(shù)與信號速率間的發(fā)展對應(yīng)關(guān)系

  芯片工藝制程的縮減將會使得TSMC和Samsung采用更加3D化的晶體管結(jié)構(gòu)。在3nm和2nm時代，三星將使用GAAFET(環(huán)繞柵極場效應(yīng)晶體管)，也就是納米線(Nano wire)技術(shù);而TSMC將使用MBCFET(多橋通道場效應(yīng)晶體管)，也就是納米片(Nano sheet)技術(shù)。從納米線到納米片，可以看成從二維到三維的躍進，能夠大大改進電路控制，降低晶體管的漏電流。按照TSMC的計劃，3nm工藝制程將在2022下半年進行風(fēng)險性試產(chǎn)，在2023年進入量產(chǎn)階段。同時，2nm工藝制程將在2023下半年進行風(fēng)險性試產(chǎn)，在2024年進入量產(chǎn)階段。

3nm和2nm時代的晶體管工藝

  224Gbps信號速率的到來，不僅對網(wǎng)絡(luò)芯片的設(shè)計提出了更高的要求，也將變革交換機設(shè)備的系統(tǒng)架構(gòu)。在112Gbps速率時代，如華為這樣的系統(tǒng)廠家已經(jīng)在交換芯片與面板側(cè)的IO模塊之間使用無源電纜進行高速信號傳輸，從而避免使用更為昂貴的PCB板材。在224Gbps速率時代，交換芯片與面板側(cè)的IO模塊之間將會更為普遍地使用無源電纜進行連接。對于一些更長的鏈路，使用帶有均衡器(Retimer)的有源電纜也將變得必要起來。

  對于板間互聯(lián)的鏈路，使用電信號的連接目前來看仍然會是主流方案，畢竟這樣的設(shè)計方式更為成熟。但這就意味著對于224Gbps速率長距鏈路，需要大量地使用均衡器來進行信號中繼。否則，現(xiàn)有的PCB和無源電纜互聯(lián)方案的鏈路損耗將過大，無法保證信號的正常接收。因此，在進行224Gbps速率系統(tǒng)的設(shè)計時，設(shè)計者仍然需要VSR、MR和LR這樣的國際標(biāo)準(zhǔn)作為設(shè)計指導(dǎo)。

224G速率時代的交換機系統(tǒng)架構(gòu)

  除了電纜和均衡器之外，硅光技術(shù)的應(yīng)用將會是224Gbps速率時代最大的技術(shù)亮點。在2020年初的時候，Intel就已經(jīng)展示了使用光電共封裝技術(shù)的Tofino 2交換芯片。隨著硅光技術(shù)的逐步成熟，交換芯片上將直接引出光信號，電/光轉(zhuǎn)換直接在芯片內(nèi)部完成。這樣一來，224Gbps速率的電信號只需要在芯片內(nèi)部傳輸很短的距離，鏈路損耗將不再成為電信號傳輸?shù)钠款i。在交換機IO面板側(cè)，用戶也不會再看到大量可插拔光模塊的存在，這不僅可以增加交換機IO面板側(cè)的密度，還可以大幅降低IO面板側(cè)的功耗。到那時，采用光電共封裝技術(shù)設(shè)計的交換機設(shè)備將會與市場上現(xiàn)有的設(shè)備在系統(tǒng)結(jié)構(gòu)和外形上產(chǎn)生明顯的差異。

224G速率時代交換機中的光電共封裝技術(shù)

  說了這么多224Gbps速率將會帶來的系統(tǒng)架構(gòu)上的變化，歸根到底，這些變化還是與芯片224Gbps Serdes的具體實現(xiàn)方式密切相關(guān)。芯片速率升級無外乎三條路徑：基頻時鐘的提升、更高等級的編碼制式和確保信號正確接收的均衡技術(shù)。

交換芯片Serdes升級到224Gbps速率的途徑

  在112Gbps速率時代，為了避免信號基頻提高太多，業(yè)界普遍使用了PAM4(Pulse Amplitude Modulation)信號制式。這是以太網(wǎng)信號從使用了幾十年的NRZ(Non-Return Zero)信號制式上進行的首次變革。在224Gbps速率時代，如果繼續(xù)沿用PAM4信號制式，信號基頻將達到56GHz，再加上需要考慮時域信號在頻域上的多次諧波，頻譜帶寬已經(jīng)遠遠超出了現(xiàn)有的PCB材料和電纜所能支持的信號傳輸頻率范圍。于是，PAM5-PAM8，甚至更高級別的PAM16成為了224Gbps Serdes的候選對象。

不同編碼制式對224Gbps速率的影響

  但更高的PAM信號制式會帶來更小的信噪比(SNR)裕量。從時域信號的眼圖上就可以明顯地看到，隨著PAM制式的提升，一個完整的眼圖會被分割成多個小眼圖。在使用PAM8信號制式時，每個小眼圖的眼睛張開度(眼高和眼寬)都會變得很小。高級信號制式不僅增加了相鄰信號之間的干擾，也使得在信號接收端要有很強的均衡能力才能把受到碼間干擾(Inter Symbol Interference)、抖動(Jitter)、噪聲(Noise)等影響的信號正確恢復(fù)出來。

從NRZ到PAM4再到PAM8的眼圖形態(tài)

  于是，我們極有可能會在224Gbps速率芯片的接收端看到使用更多階數(shù)的前向反饋均衡(FFE：Feed Forward Equalization)和判決反饋均衡(DFE：Decision Feedback Equalization)模塊，以及使用數(shù)據(jù)位上更長的連續(xù)比特數(shù)進行前向糾錯(FEC：Forward Error Correction)的算法均衡。所有的這些信號接收端的均衡功能都會增加信號傳輸?shù)难訒r，并增加芯片面積和功耗，這就又反過來要求必須采用更先進的工藝制程或新的芯片架構(gòu)來設(shè)計新一代的交換芯片。

更高的信噪比(SNR)要求更強的接收均衡

  如果使用光電共封裝的交換芯片，那么整個芯片設(shè)計方式都將發(fā)生變化。由于光信號在芯片內(nèi)部直接轉(zhuǎn)換為電信號，這就不需要電信號的發(fā)送和接收均衡能力都做得很強，從而可以有效地降低信號傳輸時延。在現(xiàn)階段來看，光電共封裝的交換芯片可以采用兩步走的方式進行迭代演進。

光電共封裝交換芯片的演進思路

  在第一代的光電共封裝交換芯片里，直接把現(xiàn)有光模塊里面的部件通過硅光技術(shù)集成到交換芯片內(nèi)部，使用超短距的100G-XSR電信號接口連接兩部分電路，芯片封裝上引出的光纖則直接輸出100Gbps波長的光信號。

基于100Gbps XSR接口的第一代光電共封裝芯片

  在第二代的光電共封裝交換芯片里，將進一步地把光模塊部件里的PHY模塊(100G-XSR接口和DSP模塊)集成到交換芯片內(nèi)部，光接口部分只保留光電轉(zhuǎn)換和光發(fā)送/接收模塊。這樣一來，就可以在芯片核心Die的外圍集成更多的硅光模塊，從而實現(xiàn)102.4Tbps這種更高的交換帶寬。

基于DSP技術(shù)的第二代光電共封裝芯片

  當(dāng)然，不論是第一代還是第二代光電共封裝的交換芯片，都面臨著供電、散熱、Chiplet設(shè)計技術(shù)、加工良率等各種工程問題上的挑戰(zhàn)，實現(xiàn)起來并不容易。但隨著技術(shù)的不斷進步，相信這些工程問題在未來的3-5年內(nèi)一定會得到解決。

  總 結(jié)

  站在新的一個十年的開端，必然會展望未來技術(shù)發(fā)展的方向。112Gbps速率在接下來的2-3年內(nèi)會逐漸成為網(wǎng)絡(luò)領(lǐng)域的主流。而作為其下一代的224Gbps信號速率，已經(jīng)開始嶄露頭角，將會是未來各種展會、論壇上的熱門話題。不論是OIF還是IEEE，對224Gbps速率的研究都還在起步階段，隨著時間的推移，相信會有更多準(zhǔn)確的分析結(jié)論和更新的設(shè)計方案被提出。本公眾號會繼續(xù)跟進，及時給大家?guī)順I(yè)界最新的研究成果。

  在224Gbps速率時代，出于成本上的考慮，無源電纜和有源電纜將會在網(wǎng)絡(luò)設(shè)備的系統(tǒng)設(shè)計中發(fā)揮更大的作用。在本文中對這一話題只是簡單涉及了一下，后面將會專門寫一篇文章，探討一下224Gbps速率時代銅退光進的光電模塊。敬請期待!