數(shù)據(jù)中心鏈路光互連-設(shè)計(jì)和建模挑戰(zhàn)

  數(shù)據(jù)中心內(nèi)部和數(shù)據(jù)中心之間網(wǎng)絡(luò)連接的容量需求不斷增加，推動(dòng)了部署新的和改進(jìn)的光通信設(shè)備的需求。面對(duì)開(kāi)發(fā)創(chuàng)新解決方案來(lái)應(yīng)對(duì)這一挑戰(zhàn)的任務(wù)，工程師必須處理和鞏固無(wú)數(shù)的設(shè)計(jì)選擇，這些設(shè)計(jì)選擇受到各種各樣的限制。

  舉幾個(gè)例子，最佳解決方案可能取決于技術(shù)要求，例如最低數(shù)據(jù)速率、最大延遲、電光帶寬、鏈路距離、可升級(jí)性(到更高的速度和/或其他/更多波長(zhǎng))，以及需要遵循標(biāo)準(zhǔn)的要求和這些標(biāo)準(zhǔn)如何演變。

  就此意義而言，用于模擬和比較替代解決方案的自動(dòng)化設(shè)計(jì)工具是不可或缺的。

  我們給出了系統(tǒng)級(jí)和組件級(jí)的設(shè)計(jì)實(shí)例，說(shuō)明了建模、分析和優(yōu)化數(shù)據(jù)中心內(nèi)和數(shù)據(jù)中心間應(yīng)用的光互連的技術(shù)選擇和設(shè)備參數(shù)方面的挑戰(zhàn)。對(duì)光收發(fā)機(jī)組件的性能調(diào)整至關(guān)重要的是相應(yīng)的電子和光學(xué)部件的集成協(xié)同設(shè)計(jì)。我們展示了一個(gè)無(wú)縫的設(shè)計(jì)流程，將發(fā)射機(jī)/接收機(jī)電路的模擬(如串行化/反串行化、DAC/ADC、驅(qū)動(dòng)放大器/TIA等)與光纖鏈路的模擬連接起來(lái)，從而能夠研究和優(yōu)化整個(gè)系統(tǒng)的性能。

  此外，我們還比較了多?；A(chǔ)設(shè)施解決方案的優(yōu)勢(shì)和挑戰(zhàn)，例如，利用寬頻寬多模光纖傳輸?shù)亩嗄CSEL的PAM4調(diào)制，以及利用Mach-Zehnder調(diào)制器和可調(diào)諧DFB激光器在SMF光纖鏈路上進(jìn)行WDM操作的單模解決方案。

  對(duì)光互連仿真輔助設(shè)計(jì)的需要

  數(shù)據(jù)中心是設(shè)計(jì)和部署更多、更大容量光鏈路需求背后的驅(qū)動(dòng)力。數(shù)據(jù)中心內(nèi)部和數(shù)據(jù)中心之間的互聯(lián)網(wǎng)流量正在迅速增長(zhǎng)，預(yù)計(jì)在2016年至2021年期間將增長(zhǎng)兩倍，達(dá)到約20.6 ZB。越來(lái)越需要帶寬的終端用戶(hù)應(yīng)用程序，如云存儲(chǔ)、高性能計(jì)算、流視頻和在線(xiàn)游戲，確保了這一趨勢(shì)將繼續(xù)下去。

圖1：光互連應(yīng)用環(huán)境

  圖1顯示了光互連的應(yīng)用空間，從用于連接同一建筑內(nèi)的服務(wù)器和機(jī)架的數(shù)據(jù)中心內(nèi)部鏈路開(kāi)始。它們的長(zhǎng)度從幾米到幾百米不等。同一園區(qū)內(nèi)不同建筑的集群之間的連接可達(dá)2-4公里，而數(shù)據(jù)中心互連(DCI)鏈路通常相距數(shù)十公里。城域/邊緣接入網(wǎng)中的數(shù)據(jù)中心通常通過(guò)~40-80公里的點(diǎn)對(duì)點(diǎn)鏈路連接。

  很明顯，光互連所處的環(huán)境是極為多樣化的。這與城域和長(zhǎng)途電信網(wǎng)絡(luò)形成鮮明對(duì)比，后者的傳輸要經(jīng)過(guò)數(shù)百或數(shù)千公里的光纖;雖然后者也需要不同的長(zhǎng)度和容量，但它們都基于單一的底層技術(shù)和收發(fā)器架構(gòu): 使用單模光纖的雙偏振同相/正交調(diào)制器和偏振分集相干接收機(jī)。另一方面，光互連不能充分服務(wù)于這種一刀切的光學(xué)技術(shù)解決方案，因?yàn)檫@在性能和成本方面都并非優(yōu)選。

  數(shù)據(jù)中心內(nèi)部和數(shù)據(jù)中心之間不同的應(yīng)用場(chǎng)景需求，意味著必須采用截然不同的技術(shù)。事實(shí)上，近年來(lái)已經(jīng)看到幾十個(gè)專(zhuān)有和IEEE標(biāo)準(zhǔn)，以及定義高速光互連系統(tǒng)的多源協(xié)議(MSA)的擴(kuò)散。為了滿(mǎn)足部署和操作數(shù)據(jù)中心的嚴(yán)格成本要求，這些標(biāo)準(zhǔn)化工作至關(guān)重要。較短的線(xiàn)路因部署的更廣泛，從而比長(zhǎng)途線(xiàn)路對(duì)成本更敏感。此外，數(shù)據(jù)中心內(nèi)部的鏈路需要非常低的功耗，可能只有幾瓦的量級(jí)，而電信級(jí)相干收發(fā)機(jī)則需要幾十瓦的功耗。最后，應(yīng)用場(chǎng)景還將規(guī)定其性能需求：例如，超算(HPC)或金融應(yīng)用程序往往需要具有超低延遲的數(shù)據(jù)傳輸。

圖2.適用于寬帶工作的多模VCSELs和多模光纖PAM4傳輸鏈路的仿真原理圖

  達(dá)到特定系統(tǒng)必要規(guī)格的同時(shí)保持最低限度的成本和功耗，需要找到其中的微妙平衡; 使用仿真輔助設(shè)計(jì)軟件可以大大簡(jiǎn)化這一過(guò)程。需要考慮端到端鏈路的全部復(fù)雜性，這意味著需要光學(xué)子系統(tǒng)和電子子系統(tǒng)的協(xié)同設(shè)計(jì)和協(xié)同仿真。根據(jù)目標(biāo)的仿真細(xì)節(jié)的級(jí)別，可能需要運(yùn)行專(zhuān)門(mén)的電子設(shè)計(jì)自動(dòng)化(EDA)工具，與對(duì)應(yīng)的光子設(shè)計(jì)自動(dòng)化工具(PDA)相結(jié)合。

  系統(tǒng)架構(gòu)師需要能夠量化物理缺陷對(duì)特定系統(tǒng)的影響，除了系統(tǒng)中設(shè)備和組件外，還包括需要考慮系統(tǒng)的調(diào)制格式、發(fā)送端或接收端模擬/數(shù)字信號(hào)處理、行編碼、前向糾錯(cuò)(FEC)等。設(shè)計(jì)人員可以使用模擬工具來(lái)評(píng)估組件選項(xiàng)并探索它們的公差，以達(dá)到總體上符合某個(gè)目標(biāo)標(biāo)準(zhǔn)或MSA。此外，這些模擬工具也可以用于可行性研究，來(lái)比較不同的技術(shù)和未來(lái)的系統(tǒng)概念。

  光互連的技術(shù)和系統(tǒng)趨勢(shì)

  傳輸介質(zhì)是光互聯(lián)系統(tǒng)的基本設(shè)計(jì)選擇之一:多模光纖(MMF)和單模光纖(SMF)都有廣泛的應(yīng)用。對(duì)于長(zhǎng)度在100-300米以下的鏈路，目前基于VCSEL的MMF鏈路占主導(dǎo)地位，因?yàn)榕cSMF鏈路相比，其成本效益顯著。然而， MMF的性能不足以滿(mǎn)足更長(zhǎng)的長(zhǎng)度需求，必須使用單模傳輸。

  通過(guò)查看主要制造商之一生產(chǎn)的光纖量，可以確定當(dāng)今典型數(shù)據(jù)中心中光纖的預(yù)期長(zhǎng)度：數(shù)據(jù)顯示從2016年[2],在企業(yè)數(shù)據(jù)中心中，90%的鏈路長(zhǎng)度低于100m,平均為48.7 m。這意味著基于VCSEL的MMF鏈路是迄今為止在此類(lèi)數(shù)據(jù)中心中部署最廣泛的。然而，近年來(lái)，由谷歌、微軟、亞馬遜、阿里巴巴等公司建造的所謂的“超大規(guī)?！?A href="http://m.3xchallenge.com/site/CN/Search.aspx?page=1&keywords=%e6%95%b0%e6%8d%ae%e4%b8%ad%e5%bf%83&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">數(shù)據(jù)中心激增。這些公司部署的鏈路的絕對(duì)數(shù)量正在推動(dòng)未來(lái)的趨勢(shì)，并且對(duì)未來(lái)趨勢(shì)是一個(gè)很好的指示。這樣的數(shù)據(jù)中心要大得多，其70%的鏈路都在100m以上，平均在164.5 m。

圖3 200GBASE-FR4光收發(fā)器的設(shè)計(jì)示例

  因此，光互聯(lián)系統(tǒng)設(shè)計(jì)人員不僅要處理增加鏈路速度的需求，還要處理不斷增長(zhǎng)的傳輸距離。有必要推動(dòng)基于VCSEL的多模光纖技術(shù)，以提供更高的性能和可靠性，使其可運(yùn)行至300米或以上，或轉(zhuǎn)向基于單模光纖的解決方案，潛在地使用成本效益高的硅光子集成方案。毫無(wú)疑問(wèn)，MMF將繼續(xù)存在，但也應(yīng)注意，一些主要的光互聯(lián)客戶(hù)(例如微軟[3])非常直言不諱地要求從現(xiàn)在開(kāi)始在其數(shù)據(jù)中心中僅部署單模鏈路：原因是他們希望構(gòu)建面向未來(lái)的系統(tǒng),并在接下來(lái)的10-15年中保持相同的SMF安裝。從長(zhǎng)遠(yuǎn)來(lái)看，這樣的策略實(shí)際上可以節(jié)省成本。

  就增加容量而言，首先要攻克的是提高符號(hào)率。我們看到，新興的標(biāo)準(zhǔn)使信號(hào)速率翻了一番，達(dá)到50Gbaud甚至更高。其次，多階調(diào)制格式正在商業(yè)化部署，首個(gè)光學(xué)四階脈沖幅度調(diào)制(PAM4)標(biāo)準(zhǔn)已于2017年被IEEE批準(zhǔn)[4]。100G-LR MSA [5]進(jìn)一步說(shuō)明了這種趨勢(shì)：通過(guò)使用PAM4和53.125 Gbaud符號(hào)速率，可以實(shí)現(xiàn)單波長(zhǎng)106.25 Gbit / s(包括KP4 Reed-Solomon FEC開(kāi)銷(xiāo))。使用標(biāo)準(zhǔn)SMF(SSMF)在色散(CD)低的O波段(1310 nm)中可以達(dá)到10 km的目標(biāo)距離。

圖4 集成的EPDA環(huán)境包括Keysight PathwaveADS(底部)和VPI DesignSuite(頂部)工具。

上面和下面的原理圖表示信號(hào)路徑的光學(xué)和電氣部分。

左上角圖形顯示了TOSA輸出的光譜和L0-L3通道的EAM傳遞函數(shù)(選擇的調(diào)制范圍為L(zhǎng)0和L3)。

底部的眼圖顯示了PAM4發(fā)射機(jī)輸出處的信號(hào)(左)、接收端輸入處的信號(hào)(中)和均衡后的信號(hào)(右)。

  當(dāng)然，這并不意味著二進(jìn)制開(kāi)-關(guān)鍵控(OOK)被拋棄了。事實(shí)上，更高速率的OOK可能是低延遲鏈路的理想選擇，因?yàn)橛袆?dòng)力使用低開(kāi)銷(xiāo)(或不使用)FEC和低復(fù)雜度均衡。當(dāng)前技術(shù)通常只能通過(guò)使用不同的物理光纖路徑或(粗)波分復(fù)用(WDM)實(shí)現(xiàn)光通道并行化，才能實(shí)現(xiàn)100G、200G或400G。在IEEE 802.3bs 200GBASE-FR4標(biāo)準(zhǔn)[4]中，通過(guò)1295-1310 nm范圍內(nèi)的4個(gè)波長(zhǎng)，每個(gè)波長(zhǎng)承載53.125 Gbit/s PAM4，實(shí)現(xiàn)總吞吐量達(dá)到212.5 Gbit/s。可達(dá)2公里的目標(biāo)傳輸距離使該標(biāo)準(zhǔn)適用于園區(qū)內(nèi)連接。

  WDM不僅用于SMF：最新的OM5 MMF標(biāo)準(zhǔn)不僅具有較高的有效模帶寬(EMB)，可以實(shí)現(xiàn)更高的速率，還針對(duì)所謂的短波WDM，使用了具有不同通道波長(zhǎng)的多個(gè)多模VCSEL。在IEEE 802.3cm 400GBASE-SR4.2 BiDi新興標(biāo)準(zhǔn)[6]中，每個(gè)并行多模光纖通道攜帶兩個(gè)波長(zhǎng)，分別用于發(fā)射和接收。每個(gè)波長(zhǎng)均使用26.5625 Gbaud PAM4調(diào)制，可在OM5光纖上達(dá)到150m的傳輸距離。

圖5. 上圖：完整的DP-16QAM傳輸鏈路仿真原理圖，包括兩個(gè)IQ發(fā)射機(jī)，單模傳輸光纖，極化分集數(shù)字相干接收機(jī)和數(shù)字信號(hào)處理;

下圖：IQ馬赫-曾德?tīng)栒{(diào)制器的內(nèi)部結(jié)構(gòu)。

  由于低成本和低功耗的要求，直接檢測(cè)技術(shù)是40km以下光互連的首選技術(shù)。但是，對(duì)于更長(zhǎng)的距離，必須轉(zhuǎn)變?yōu)檎环日{(diào)制(QAM)和相干接收：新興的IEEE 802.3ct 400GBASE-ZR標(biāo)準(zhǔn)[7]旨在達(dá)到80 km的SSMF傳輸，基于60Gbaud的單波長(zhǎng)(c波段)、雙偏振(DP) 16QAM調(diào)制。

  在本文的其余部分中，我們基于使用VPI Design Suite 10.1 [8]進(jìn)行的仿真，介紹了四個(gè)典型的光互連設(shè)計(jì)研究方案。選擇它們是為了突出上面討論的技術(shù)趨勢(shì)，并作為當(dāng)今已使用的各種技術(shù)和系統(tǒng)的典型代表。然后，我們指出了關(guān)鍵的建模挑戰(zhàn)，不僅涉及單個(gè)光器件和電器件，還涉及包括用于調(diào)制碼型產(chǎn)生，均衡等的發(fā)射和接收側(cè)數(shù)字信號(hào)處理(DSP)在內(nèi)的端到端系統(tǒng)。最后，還討論了針對(duì)每個(gè)系統(tǒng)量身定制的性能評(píng)估和預(yù)測(cè)。