本篇文章轉(zhuǎn)自微信公眾號(hào)“鵝廠網(wǎng)事”,作者:孫敏
“銅”進(jìn)“光”退的需求
伴隨著云業(yè)務(wù)的快速發(fā)展,數(shù)據(jù)中心互聯(lián)硬件對(duì)高運(yùn)行穩(wěn)定性和低成本的訴求也越來(lái)越強(qiáng)烈。以25G速率的服務(wù)器到交換機(jī)互聯(lián)方案為例,主要的連接方式有兩種,DAC和AOC。
DAC(direct attach cable)顧名思義,由于是直連方案,高速通信信號(hào)在設(shè)備之間傳遞,處于透?jìng)鳡顟B(tài),而常用的AOC(active optical cable)由于需要將電信號(hào)轉(zhuǎn)換成光信號(hào),再轉(zhuǎn)換成電信號(hào),存在多次信號(hào)轉(zhuǎn)換的過(guò)程,會(huì)引入相應(yīng)的適配問(wèn)題,而數(shù)據(jù)中心互聯(lián)硬件故障里面因?yàn)樾盘?hào)或者協(xié)議匹配導(dǎo)致的適配性問(wèn)題占比在30%以上,而且故障更因定位過(guò)程復(fù)雜、時(shí)間長(zhǎng),嚴(yán)重的會(huì)影響數(shù)據(jù)中心的交付使用。DAC由于裝配組件少,結(jié)構(gòu)簡(jiǎn)單,相比于AOC在BOM成本上有著明顯的優(yōu)勢(shì)。不僅如此,DAC幾乎沒(méi)有功耗,一根25G DAC的線纜功耗在0.1w左右,而同樣速率的AOC功耗在2w左右,相差10倍以上。以20w臺(tái)服務(wù)器接入的規(guī)模為例,一年可以節(jié)省大幾百萬(wàn)的電費(fèi)。為滿足快速交付的要求,數(shù)據(jù)中心安裝布線的時(shí)效非常重要,布線過(guò)程中必然會(huì)存在線纜損傷,從材料及結(jié)構(gòu)上講,銅比玻璃有著更好的機(jī)械應(yīng)力容忍性,因此,DAC也能夠比AOC容忍更多布線過(guò)程中導(dǎo)致的損傷。但由于機(jī)柜功耗的限制,服務(wù)器到交換機(jī)的連接距離很多場(chǎng)景下往往需要達(dá)到甚至超過(guò)7m,所以早期25G服務(wù)器到交換機(jī)連接的方式以AOC(有源光纜)為主,而DAC(直連銅纜)方案,由于理論上只能支持到5m的應(yīng)用,使得其應(yīng)用大為受限。
25G NRZ的嘗試
在保證低成本的前提下,如何延長(zhǎng)銅纜連接距離,有效的方式有兩種:一種是基于信號(hào)時(shí)鐘恢復(fù)的Retimer方案,一種是基于信號(hào)放大的Redriver方案,如下圖:Retimer技術(shù)原理:
Redriver技術(shù)原理:
顯而易見(jiàn),以25G為例。在成本,功耗和功能復(fù)雜性等各方面,Repeater方案都有著明顯的優(yōu)勢(shì),因此我們選擇了Repeater方案。
根據(jù)信號(hào)傳輸?shù)奶攸c(diǎn),我們?cè)诙鄠€(gè)不同的頻點(diǎn)和頻率范圍進(jìn)行輸出參數(shù)調(diào)整,使輸出信號(hào)能夠,最終使得極限情況下DAC的連接距離延長(zhǎng)到了10m。但是,理論上設(shè)計(jì)的連接距離,并不意味著最終量產(chǎn)可用,除了成本還要考慮量產(chǎn)一致性和系統(tǒng)的冗余度。通過(guò)多輪的測(cè)試驗(yàn)證,結(jié)合現(xiàn)網(wǎng)故障率容忍度,我們最終確定了25G Linear-ACC的應(yīng)用范圍<8m,這個(gè)距離已經(jīng)可以覆蓋25G服務(wù)器80%的應(yīng)用場(chǎng)景。
最終,25G相關(guān)的產(chǎn)品帶來(lái)了預(yù)想的收益,通過(guò)DAC+ACC的布線方案,成本相對(duì)于傳統(tǒng)AOC方案,降低了40%,現(xiàn)網(wǎng)故障率由原來(lái)的0.3%降低一個(gè)數(shù)量級(jí)。
50G PAM4的升級(jí)
對(duì)于linear-ACC方案的嘗試,25G只是一個(gè)開(kāi)始,無(wú)論是方案,還是成本,都還沒(méi)有做到極致化,進(jìn)入50G PAM4時(shí)代,成本必然進(jìn)一步提高,而系統(tǒng)對(duì)于信號(hào)質(zhì)量的要求也更上了一個(gè)臺(tái)階,ACC的設(shè)計(jì)也需要更加精細(xì)化。在50G PAM4調(diào)制下,我們進(jìn)一步參與到的芯片設(shè)計(jì)上,包括整體方案選擇、參數(shù)調(diào)節(jié)功能優(yōu)化、融入降噪技術(shù)等一系列的工作。從這一代開(kāi)始,我們給它一個(gè)新的名字TAC(Tencent Active Cable)。
200G 7m TAC產(chǎn)品
1. 更精細(xì)的成本控制
通信行業(yè)硬件成本優(yōu)化離不開(kāi)的大原則:?jiǎn)螐牟牧蠈用嫔现v,InP比Si貴,Cu比Si貴。跟25G一樣,DAC和ACC一定有一個(gè)交界點(diǎn),同樣的長(zhǎng)度下,ACC一定比DAC便宜;在50G PAM4下,以200G1分2銅纜為例,2.5m就是這個(gè)成本變化的交叉點(diǎn),超過(guò)2.5m的銅纜應(yīng)用,用ACC不僅性能裕量更大,而且綜合成本更低。
2. 系統(tǒng)參數(shù)歸一化
IEEE802.3cd要求50G PAM4調(diào)制下的線纜滿足在13.28GHz下的SDD21小于17dB,而實(shí)際大規(guī)模生產(chǎn)出來(lái)的線纜,超過(guò)2.8m長(zhǎng)的距離,已經(jīng)超出這個(gè)標(biāo)準(zhǔn)。另一方面,雖然50G PAM4調(diào)制下的基準(zhǔn)頻率與25G NRZ相差不大,但對(duì)于信號(hào)輸出強(qiáng)度更加敏感,中高頻的衰減相比于25G NRZ帶來(lái)的誤碼代價(jià)更高,因此在50G PAM4的應(yīng)用和設(shè)計(jì)上我們傾向于更大的冗余度。新一代ACC的設(shè)計(jì),我們?nèi)∶鸗AC,這里T即有Tencent的意思,也有Tunable的意思,意味著相比25G,我們可以更加靈活的調(diào)制線纜的參數(shù),使其與系統(tǒng)更加匹配。需要特別說(shuō)的是,系統(tǒng)在識(shí)別銅纜的過(guò)程中,需要對(duì)銅纜的SI進(jìn)行定標(biāo),這個(gè)定標(biāo)的過(guò)程,我們稱之為Training,如果已知銅纜的SI參數(shù),并且參數(shù)統(tǒng)一,我們只需要在系統(tǒng)側(cè)輸入一個(gè)匹配參數(shù),即可快速連接,降低了系統(tǒng)在識(shí)別過(guò)程中的時(shí)間損耗和錯(cuò)誤率,并且由此可能帶來(lái)的鏈路故障。TAC的最大特點(diǎn)就是可以將不同長(zhǎng)度的線纜SI歸一化到一個(gè)極小的范圍,使得不同長(zhǎng)度的線纜,看上去就像是同一個(gè)規(guī)格。這就是“T”的精髓。
3. 融入降噪設(shè)計(jì)
剛剛提到,相比較25G NRZ信號(hào),50G PAM4信號(hào)對(duì)ACC的性能要求高了很多。首先,PAM4信號(hào)單個(gè)眼的信號(hào)能量比相同幅度的NRZ信號(hào)少了9.5dB,所以對(duì)Redriver芯片的噪聲性能要求提高了。其次,PAM4信號(hào)的多電平特性需要Redriver芯片有更好的線性度,從而保持三個(gè)眼張開(kāi)的一致性。最后,PAM4信號(hào)比同等波特率的NRZ信號(hào)對(duì)上升/下降沿的要求更高,這意味著需要更多的高頻補(bǔ)償。用于50G PAM4 ACC的Redriver芯片需要同時(shí)實(shí)現(xiàn)更低的噪聲,更高的帶寬和線性度。但是,噪聲和帶寬以及Redriver提供的高頻增益是相互矛盾的,為了解決這個(gè)問(wèn)題,進(jìn)一步優(yōu)化噪聲和均衡能力之間的折中,我們?cè)谛乱淮腞edriver芯片中加入了噪聲抵消技術(shù)(Noise CancellingTechnique,NCT)。其工作原理如下圖:均衡器里的晶體管在Y點(diǎn)的輸出噪聲通過(guò)反饋網(wǎng)絡(luò)同相拷貝到了輸入X點(diǎn)。另一方面,Y點(diǎn)的輸出信號(hào)和X點(diǎn)的輸入信號(hào)是反向的。通過(guò)引入前饋網(wǎng)絡(luò)把X點(diǎn)的信號(hào)和噪聲進(jìn)行反相放大并和Y點(diǎn)的信號(hào)和噪聲相加,可以抵消一部分輸出噪聲,同時(shí)加強(qiáng)了信號(hào)本身。在理想情況下(HFF=-1/HFB),均衡器里晶體管的噪聲可以被完全抵消。通過(guò)在線性均衡器電路里引入上述噪聲抵消技術(shù),晶體管的等效高頻噪聲減少了30%。通過(guò)這個(gè)技術(shù),線性Redriver在提高帶寬和高頻增益的同時(shí)沒(méi)有惡化信噪比(Signal-to-Noise Ratio, SNR)。換句話說(shuō),在保持一樣的帶寬和高頻均衡增益時(shí),提高了Redriver的輸出SNR。另外,一種新穎的推挽式跨導(dǎo)結(jié)構(gòu)(Push-Pull Transconductance)被用在了新一代線性均衡器里,大大提高了電路的大信號(hào)線性度,使得在提高SNR的同時(shí),保持了PAM4信號(hào)三個(gè)眼的一致性。
4. 性能實(shí)測(cè)
為了驗(yàn)證基于新一代50G PAM4線性Redriver芯片的性能,用7m 28AWG制作的SFP56有源線纜在實(shí)驗(yàn)室里測(cè)試了S-參數(shù)和誤碼率(Bit Error Rate, BER),測(cè)試環(huán)境和結(jié)果如下圖所示:
經(jīng)測(cè)試,各項(xiàng)指標(biāo)已經(jīng)超出預(yù)期,7m 28AWG ACC的回波損耗和插入損耗完全滿足和超出了802.3bj標(biāo)準(zhǔn)的要求,COM值達(dá)到了6dB。測(cè)試接收誤碼率,不開(kāi)FEC下BER在10-9量級(jí),遠(yuǎn)低于標(biāo)準(zhǔn)要求,開(kāi)FEC下無(wú)誤碼。線纜整體功耗實(shí)測(cè)小于0.4W,大約是56G PAM4 AOC的1/10。
結(jié)語(yǔ)
“光”進(jìn)“銅”退是通信行業(yè)的必然趨勢(shì),但并不意味著“銅”的消失,在數(shù)據(jù)中心標(biāo)準(zhǔn)化快速發(fā)展,數(shù)據(jù)中心硬件設(shè)計(jì)更加極致化的今天,“光”與“銅”需要結(jié)合自身的優(yōu)勢(shì),分別承擔(dān)好自己的“角色”,更好的為數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)。