Bölüm 57:Veri Merkezi Ağları

Okyanusu geçen istek bir binanın kapısından girdi. O binanın içini şimdiye kadar tek bir kutu gibi çizdim; perdeyi kaldırıyorum.

İçerideki ağ dışarıdakine benzemiyor. Tek bir isteği karşılamak için makineler yan odadaki komşularıyla konuşuyor. Bu ağ neye göre kuruluyor?

Rafın tepesindeki kutu oraya kabloyla kondu

Veri merkezi, on binlerce makineyi aynı çatı altında ve birbirine yakın çalıştıran bir tesistir. Bu yakınlık tesisin en temel tasarım kararı. Makineler birbirine bağımlı çalışıyor ve aralarındaki her metre gecikmeye yazılıyor.

Fiziksel birim raftır. Bir rafa kaç sunucu gireceğini tepedeki anahtarın port sayısı belirliyor; 48 portluk bir kutunun altında kırk sunucu rahat durur. Bir rafı kalabalık bir mahalle gibi düşünebilirsin. Bu mahallenin ağa açılan kapısı tepedeki raf üstü anahtardır, kısaca TOR. Adı yerinden geliyor. Altındaki sunuculara 100 Gbit/s ile 400 Gbit/s arasında Ethernet bağlantılarıyla iner.

Kutuyu tepeye koymanın sebebi kabloda. 42 birimlik bir kabinet 44,45 mm’lik kırk iki dilim, yani yaklaşık 1,87 metre yükselir. Doğrudan bağlantı bakır kablosu ise 1 ile 7 metre arasında satılır. Tepeden inen 3 metrelik pasif bir kablo kabinetin her sunucusuna yetişiyor; 7 metrelik olanı bile komşu sıraya geçemiyor. Anahtarın neden ortada değil de tepede durduğunu bu iki sayı açıklıyor.

Structured cabling’in (yapısal kablolamanın) yatay ve dikey dağıtımı tanıdık; veri merkezinde o dikey dağıtımın tamamı tek bir kabinetin içine sığıyor.

O kablonun kendisi de bu tesise özgüdür. Fiberdeki SFP+ modülünün aynısını takar ama içindeki pahalı lazerleri bırakır. İki ucundaki modüllerle birlikte sabit boyda satılır; ucundan kesip uzatamazsın. Kısaltması 10GSFP+Cu’dur ve 802.3’te tanımlı değildir. Adı kabloyu geliştiren üreticilerden kalmıştır.

Bir portun dörde bölündüğü de oluyor. Tek bir QSFP+ portu ya 40 Gbit/s’lik tek bir arayüz olur ya da dört bağımsız 10 Gbit/s arayüze ayrılır. Sebebi şeritlerdir. 40 Gbit/s sinyalinin her şeridi zaten tek başına 10 Gbit/s standardının aynısıdır. Ayırmayı bir ucu tek, öbür ucu dört modüllü breakout kablosu yapar.

Üç kat neden ikiye indi

Rafların üstündeki düzen uzun süre üç katlıydı. Her toplama anahtarı altındaki yaklaşık on altı raf üstü anahtarı topluyordu. Her çekirdek anahtarı da yaklaşık on altı toplama anahtarını topluyordu. Dışarıya çıkış sınır yönlendiricilerinden oluyordu.

Bu miras kampüs ağından geldi: çekirdek, dağıtım ve erişim. Kampüsün sert kuralı da beraberinde geldi. En alttaki anahtarlar yalnızca dağıtım katmanına bağlanır, birbirine bağlanmaz. Yatay yollar açmak dokuyu karmaşık bir örgüye çevirir.

Modern doku iki katlıdır. Aşağıda aynı raf üstü anahtarlar duruyor; iki katlı düzende onların adı yaprak oluyor. Yukarıda ise yalnızca yaprakları birbirine bağlayan omurga anahtarları var. Kaybolan kat, gecikmenin ve karmaşıklığın büyük kısmını da götürüyor.

Kazancı saymak kolay. İki katlı dokuda en uzun yol yaprak, omurga, yaprak eder: üç anahtar. Üç katlı hiyerarşide aynı yol erişim, toplama, çekirdek, toplama, erişim eder: beş anahtar. Üstelik yaprak-omurgada bu sayı her sunucu çifti için aynıdır.

Bağlantı derecesi de küçük kalmıyor. F16 adlı gerçek bir dokuda her yaprak on altı doku anahtarına bağlanır. Her doku anahtarı da on altı omurga anahtarına bağlıdır. Yaprak tek bir üst kata değil, on altı ayrı kutuya birden asılıdır.

Bütün bunların sebebi trafiğin yön değiştirmesidir. Bir sayfa isteği içeride onlarca servise dağılıyor ve o servisler birbirini çağırıyor. Baskın akış dışarıya inen dikey trafik olmaktan çıkıp raflar arasında yatay akan doğu-batı trafiğine dönüşüyor. Yerleştirme de bu yüzden bir ağ kararıdır. İlişkili servisler ve veriler aynı rafa ya da komşu rafa konur. Üst kata çıkan yük böyle azalır.

Dikeyde kalan kısım sınır yönlendiricilerinden binayı terk ediyor. Ağlar internet değişim noktalarında birbirine dokunuyordu; bu tesisin dış kapısı da oraya açılıyor.

Bir yönlendiricinin içindeki anahtarlama dokusunu açmıştık; burada aynı fikir kutu ölçeğinden bina ölçeğine büyütülmüş durumda.

Aynı çift arasında altı yol açık

Zengin ara bağlantının iki ayrı kazancı var. Raflar arası throughput artıyor, çünkü aynı iki raf arasında birden çok yönlendirme yolu var. İkincisi yedekliliktir: o yolların ortak hiçbir bağlantısı yoktur. Bir omurga ya da bir kablo ölünce trafik komşu yola kayıyor.

Yol sayısını omurga sayısı belirler. Yaprağında altı upstream bağlantısı taşıyan bir dokuda altı omurga vardır. Her yaprak hepsine birden bağlıdır. İki yaprak arasında da altı eşit maliyetli yol açık kalır.

Dokunun büyüklüğünü omurganın port sayısı belirler. 32 portlu omurgalar 32 yaprak taşır. Her yaprakta 48 sunucu portu varsa doku 1.536 sunucuya çıkar.

Yaprak ile omurga katlarının nasıl örüldüğünü görelim:

Yolların hepsinin aynı anda açık kalması kendiliğinden olmuyor. Spanning Tree Protocol (yayılan ağaç protokolü) döngüyü şöyle kesiyordu: paralel bağlantılardan yalnızca biri etkin bırakılır, gerisi mantıksal olarak kapanır. Veri merkezinde bu, satın alınan kapasitenin çoğunu ölü tutmak demektir. Klasik kaçış yolu Katman 3’e çıkmaktır. Yönlendiriciler spanning tree çalıştırmaz ve paralel bağlantıların hepsini birden etkin tutar.

İkinci yol bağlantıları birleştirmektir. IEEE 802.1AX bağlantı toplama standardı paralel bağlantıları tek bir sanal kanal gibi kullanır. Gigabit bağlantılar 2, 4 ve 8 gigabit/s kanallara toplanır. 10 gigabit bağlantılarda tavan 80 gigabit/s olur. Standart önce 802.3ad adıyla yayımlanmıştı.

Aynı numaranın dayanıklılık sürümü de var. Sunucu aynı sıradaki iki ayrı anahtara birden bağlanır. İki kutunun üstündeki yazılım ona tek anahtar gibi görünür. Sunucu standart bağlantı toplama yaptığını sanır. Bir port, hatta bütün bir anahtar ölse bile ağdan kopmaz.

Darboğaz nereye kurulur, kayıp nasıl karşılanır

Bir yaprağın iki yüzü vardır. Aşağı yüzünde 48 sunucu portu duruyor; her biri 100 Gbit/s ise downstream 4.800 Gbit/s eder. Üst yüzünde altı upstream bağlantısı var; her biri 400 Gbit/s ise toplam 2.400 Gbit/s eder. Oran iki katına bir. Bu kasıtlı bir eksikliktir ve adı aşırı aboneliktir.

Aynı yaprağı bloklamayan yapmak zor sayılmaz. Yukarıya 400 Gbit/s’lik on iki bağlantı koyarsın ve iki yön eşitlenir. Bedeli altı ek porttur — hem yaprakta hem omurgada. Bloklamayan tasarımın tanımı da budur: bütün portların aynı anda azami başarımda çalışabilmesi. Yüzlerce yüksek hızlı portta bunu sağlamak pahalıya patlar.

Aşırı aboneliği ayakta tutan gözlem şudur: Ethernet bağlantıları ortalamada düşük hızda çalışır, aralara yüksek hızlı patlamalar serpiştirilir. Bütün sunucular aynı anda tam hızda konuşursa yukarıda her birine ancak %50 düşer. Anahtarın kendi iç dokusu yine de bloklamayan üretilir. Darboğaz kutunun içinde aranmaz, upstream’e kasten bırakılır.

Darboğazın yeri bilindiği için kayıp da başka türlü karşılanıyor. Tampon dolduğunda etkin kuyruk yönetiminin iki kolu vardı: düşürme ve işaretleme. Veri merkezi ikinci kolu seçiyor. Tıkanıklık denetimi açık tıkanıklık bildirimi üzerine kuruluyor ve bu ailenin adları DCTCP ile DCQCN; sekme sekme geri baskı üzerinde de deneme yapılıyor.

Sebebi bağ katmanının kendi buluşundadır. RoCE ile uzak doğrudan bellek erişimi yakınsanmış Ethernet üzerinde taşınır. Bir makine karşı makinenin belleğine işletim sistemini araya sokmadan yazar. Böyle bir aktarımda tek bir kayıp paket çok pahalıya mal olur.

En sert fren bağ katmanındadır. PAUSE çerçevesi karşı tarafa bir süre susmasını söyler ve o süre quanta biriminde ölçülür.

hedef  01-80-C2-00-00-01   PAUSE için ayrılmış çoklu yayın adresi
tip    0x8808              MAC denetim çerçevesi
işlem  0x0001              PAUSE
süre   0 - 65.535 quanta   her quanta 512 bit süresi

Adres 48 bitliktir. 802.1D uyumlu bir anahtar onu diğer portlara iletmez; çerçevenin kendi içinde işleneceğini anlar. PAUSE yalnızca çift yönlü çalışan istasyonlardan gönderilir. Sürenin karşılığı bağlantı hızına bağlıdır: 100 Gbit/s’te bir quanta 5,12 ns, azami duraklama 335,5 µs olur. Aynı istek 10 Gbit/s’te 3,36 ms tutar; hız düştükçe aynı quanta sayısı daha uzun bir sessizliğe karşılık gelir.

Bir de çerçeve boyu var. Bir anahtarın veri sayfasında jumbo çerçeve desteği 9.720 bayta kadar yazar. İnternetin tamamı ise 1.500 baytlık standart sınırla çalışır. Aradaki oran altı buçuk kat, yani aynı veri için başlık işleme sayısı o kadar seyreliyor. Jumbo çerçeve de yalnızca iki ucunu senin yönettiğin bir küme içinde işe yarar.

Özet

Peki, ne öğrendik?

• Raf üstü anahtar. Rafın tepesindeki kutu oraya bakır kablonun bir ile yedi metrelik boyu yüzünden konur.
• Yaprak-omurga. İki katlı doku üç katlı hiyerarşinin yerini aldı ve iki sunucu arasındaki mesafeyi her çift için üç anahtara sabitledi.
• Doğu-batı trafiği. Veri merkezinde baskın akış raflar arasında yatay akar, bu yüzden ilişkili servisler bilerek komşu raflara yerleştirilir.
• Aşırı abonelik. Downstream ile upstream arasındaki oran kasten eşitlenmez, çünkü bağlantılar ortalamada düşük hızda çalışıp aralara patlama serpiştirir.
• Kayıpsız taşıma. Tıkanıklık işaretlemeyle bildirilir ve gerektiğinde PAUSE çerçevesi bağı doğrudan durdurur.

Doku kuruldu, yol seçildi ve paket rafın içindeki sunucuya kadar geldi. Peki üstüne katman katman sarılmış bu zarfı o makine nasıl açıp okuyacak?