Topologia sieci MSP dla początkujących
Dla dostawców usług zarządzanych (MSP) stworzenie sieci o wysokiej wydajności i skalowalności stanowi podstawę sukcesu. W poprzednim artykule z serii „ wpis na blogu” omówiliśmy podstawowe typy topologii sieciowych, a w niniejszym wpisie przyjrzymy się bardziej złożonym typom topologii sieciowych dla dostawców usług, w tym tym preferowanym w sieciach MSP. Przeczytaj ten wpis na blogu, aby dowiedzieć się, która topologia jest najlepsza dla centrum danych MSP i dlaczego.
Tradycyjne sieci hierarchiczne trójwarstwowe
Zanim sieci definiowane programowo (SDN) stały się powszechne, sieci w centrach danych opierały się na hierarchicznej topologii drzewiastej. Topologia ta dzieli się na trzy główne warstwy: warstwę rdzeniową, warstwę agregacyjną lub dystrybucyjną oraz warstwę dostępową. W tej topologii serwery są podłączone do przełączników w warstwie dostępowej. Routery brzegowe są połączone z rdzeniem, aby zapewnić dostęp do/z sieci WAN (sieci rozległej) oraz do Internetu. Routery te znajdują się pomiędzy rdzeniem a Internetem, jak pokazano na poniższym schemacie.
W ujęciu modelu OSI (Open Systems Interconnection), który dzieli sieć między innymi na warstwę łącza danych (L2) i warstwę sieciową (L3), topologia sieci typu „dostęp-agregacja-rdzeń” obejmuje kilka warstw, jak widać na rysunku.
Przyjrzyjmy się kolejno tym trzem warstwom.
Warstwa rdzeniowa
Rdzeń sieci (zwany również siecią rdzeniową) stanowi centralny element całej sieci. Główne węzły są podłączone do rdzenia. Sieć rdzeniowa opiera się zazwyczaj na topologii sieci typu mesh, w której wszystkie węzły są połączone ze wszystkimi pozostałymi węzłami w obrębie rdzenia (w przypadku topologii typu pełnej siatki). Przełączniki i routery w rdzeniu sieci są połączone między sobą za pomocą szybkich łączy (zwanych również połączeniami szkieletowymi). Ponieważ w rdzeniu sieci wykorzystywane są routery, warstwa rdzeniowa obsługuje ruch na poziomie warstwy L3.
Warstwa dystrybucji/agregacji
Jest to warstwa pośrednia służąca do agregacji łączy w górę z warstwy podstawowej trójwarstwowej topologii sieci (warstwy dostępowej, działającej na poziomie L2) do warstwy rdzenia sieci (działającej zazwyczaj na poziomie L3) przy użyciu łączy o większej przepustowości. Warstwa dystrybucji łączy dużą liczbę portów o niskiej prędkości z niewielką liczbą szybkich portów trunkowych. Trasowanie rozpoczyna się w warstwie dystrybucyjnej/agregacyjnej tej topologii sieciowej, gdy dane są przesyłane z warstwy dostępowej. Konfiguracja zapory sieciowej, równoważenia obciążenia oraz inne ustawienia zabezpieczeń są ustalane w warstwie agregacyjnej. Warstwa agregacyjna/dystrybucyjna służy do ograniczenia i uproszczenia schematu okablowania w centrum danych w celu ułatwienia zarządzania. Przełączniki zainstalowane w warstwie agregacji muszą obsługiwać przechowywanie większej liczby adresów MAC w tablicy adresów MAC w swojej pamięci. Podczas gdy warstwa dostępowa obsługuje ruch warstwy L2, warstwa dystrybucji obsługuje ruch zarówno warstwy L2, jak i L3.
Warstwa dostępowa
Warstwa ta składa się z przełączników działających w warstwie L2. Serwery i stacje robocze są podłączone do przełączników warstwy dostępowej. Do oddzielenia domen rozgłoszeniowych warstwy 2 (L2) w celu ograniczenia ruchu rozgłoszeniowego i zwiększenia bezpieczeństwa stosuje się zazwyczaj sieci VLAN (wirtualne sieci lokalne).
Aby uniknąć wąskich gardeł, bliżej rdzenia sieci stosuje się łącza o większej przepustowości. Na przykład serwery są podłączone do przełączników dostępowych za pomocą interfejsów sieciowych o przepustowości 10 Gbit/s, przełączniki dostępowe są połączone z przełącznikami agregacyjnymi za pomocą interfejsów o przepustowości 10 Gbit/s, a przełączniki/routery warstwy agregacyjnej są połączone z przełącznikami/routerami rdzenia sieciowego za pomocą łączy o przepustowości 100 Gbit/s. W tym przypadku można zastosować agregację łączy w celu zwiększenia przepustowości i nadmiarowości. Cały ruch z serwerów jest przekazywany do łączy uplink. Na szczycie hierarchii tej topologii sieci znajduje się zestaw inteligentnych urządzeń sieciowych, nazywanych potocznie „god boxes”. „God boxes” odpowiadają za routing i wszystkie inne usługi. Hierarchiczna topologia sieci pozwala na stworzenie sieci modułowej.
W topologii sieci przedstawionej na poprzednim schemacie awaria jednego łącza prowadzi do awarii tego segmentu sieci. Z tego powodu w tego typu topologii sieci (patrz poniższy schemat) na każdej warstwie sieci stosuje się kanały rezerwowe i nadmiarowość. Awaria jednego urządzenia lub łącza powoduje spadek wydajności, ale sieć nadal działa. Ta redundantna topologia sieci zazwyczaj wymaga STP (Spanning Tree Protocol).
Konserwacja. Jeśli odłączysz część sprzętu sieciowego w tej trójwarstwowej topologii sieci w celu aktualizacji oprogramowania lub wykonania innych zadań konserwacyjnych, wydajność sieci ulegnie pogorszeniu. Niektóre usługi mogą być tymczasowo niedostępne.
Skalowalność. Liczba usług działających na serwerach rośnie z każdym rokiem, a wraz z nią wzrasta natężenie ruchu. Sytuacja ta wymaga modernizacji i zwiększenia przepustowości sieci w sieci MSP. Zwiększenie przepustowości sieci w klasycznym centrum danych zazwyczaj wymagało następujących działań:
- Zwiększenie liczby połączeń agregacji łączy (LAG)
- Zakup kart sieciowych
- Jeśli nie ma wolnych gniazd do zainstalowania kart sieciowych, zakup nowych serwerów lub powiązanego sprzętu
Jeśli konieczne jest dodanie nowej szafy serwerowej (obudowy szafy) jako nowego modułu w centrum danych, można zwiększyć przepustowość sieci do tej szafy i serwerów w niej zainstalowanych. Tego typu topologie sieciowe nie są w stanie zapewnić wysokiego poziomu rezerwacji łączy i nadmiarowości ze względu na funkcje protokołów warstwy 2, takie jak STP oraz MSTP (Multiple Spanning Tree Protocol).
Klasyczną trójwarstwową topologię sieciową w centrum danych można połączyć z rozwiązaniami typu „End of Row” (koniec rzędu) i „Top of Rack” (góra szafy). Schemat połączeń typu „Top of Rack” cieszy się obecnie większą popularnością. Nazwa ta wynika z faktu, że serwery i przełączniki są podłączone do głównego przełącznika w każdej szafie. Przełączniki typu „Top of Rack” (przełączniki ToR) są podłączone do przełączników/routerów wyższych poziomów w sieci MSP. Przełączniki ToR różnią się od przełączników brzegowych użytkowników i posiadają wiele dodatkowych portów uplink o bardzo dużej przepustowości (takich jak porty 10 Gbit/s) oraz dużą liczbę portów do podłączania serwerów. Przełączniki ToR instaluje się parami w celu zapewnienia nadmiarowości oraz umożliwienia konserwacji przełączników. Zaletą tego schematu połączeń ToR jest mniejsza długość okablowania podczas podłączania urządzeń w szafie oraz między szafami. Jako przełączniki ToR stosuje się zazwyczaj przełączniki dostępowe z wielopoziomowej, hierarchicznej topologii sieci.
Kierunek ruchu
Wymienione wcześniej wady nie są zbyt poważne, a sieć centrum danych może działać prawidłowo przy odpowiedniej administracji. Zmiana poziomu z L2 na L3 w części sieci pomaga rozwiązać szereg problemów. Istnieje jeszcze jedna funkcja związana z ewolucją centrów danych oraz tym, jak aplikacje działają obecnie inaczej niż kiedyś. W pierwszej dekadzie XXI wieku aplikacje tworzono w oparciu o architekturę scentralizowaną, a aplikacje oparte na architekturze klient-serwer były głównie monolityczne . Oznacza to, że komponenty aplikacji mogły znajdować się na jednym serwerze. W rezultacie, na naszym schemacie żądanie użytkownika było wysyłane z górnej części sieci, a żądanie generowane przez aplikację było wysyłane z najniższego poziomu serwerów z powrotem do górnej części sieci. Żądanie użytkownika było obsługiwane na jednym hoście. Ruch poziomy (wschód-zachód) między hostami był minimalny, a preferowany był ruch północ-południe. Hierarchiczna, wielowarstwowa tradycyjna topologia sieci stosowana w sieciach MSP w centrach danych spełnia te wymagania. Jednak z biegiem czasu przy tworzeniu aplikacji zaczęto preferować nowe architektury.
Architektura warstwowa N-warstwowa. Komponenty aplikacji są rozłożone na wiele warstw, na przykład warstwę logiki, warstwę prezentacji i warstwę danych. Aplikacje internetowe składające się z wielu komponentów wymagają, aby komponenty te działały na różnych serwerach, na przykład na serwerze WWW, serwerze aplikacji oraz serwer bazy danych. Komponenty aplikacji działające na wielu serwerach komunikują się ze sobą za pośrednictwem sieci.
Architektura mikrousługowa zakłada, że komponenty aplikacji (usługi) działają w oddzielnych, logicznie izolowanych kontenerach, połączonych ze sobą za pośrednictwem sieci. Pojemniki mogą działać na różnych hostach w klastry. Architektura ta charakteryzuje się wysoką skalowalnością i jest obecnie szeroko stosowana w chmurach.
Ponadto centra danych obsługują obecnie Big Data, duże bazy danych, analitykę, reklamę kontekstową, aplikacje oparte na sztucznej inteligencji oraz inne oprogramowanie wymagające połączeń z wieloma serwerami, macierzami pamięci masowej, maszynami wirtualnymi lub kontenerami. Komponenty aplikacji są rozproszone na wielu serwerach lub maszynach wirtualnych w centrum danych.
W rezultacie ruch wschód-zachód jest większy niż ruch północ-południe w sieci MSP. Ruch wewnętrzny w sieci centrum danych (ruch wewnątrz centrum danych) jest większy niż ruch z/do użytkownika zewnętrznego, który wysyła żądanie do centrum danych. Nie należy zapominać o ruchu wewnętrznym między systemami pamięci masowej, replikacja bazy danych, wykonaniu kopii zapasowej danych oraz innymi działaniami usługowymi wykorzystującymi sieć w centrum danych.
Na poniższych diagramach można zobaczyć graficzną reprezentację rosnącego ruchu wewnętrznego w sieciach MSP wewnątrz centrów danych w ciągu ostatnich kilku lat. Trend ten wskazuje, że ruch wewnątrz centrum danych rośnie szybciej niż ruch przychodzący/wychodzący.
Tradycyjne sieci, zbudowane z wykorzystaniem tradycyjnej hierarchicznej topologii sieciowej trójwarstwowej, są niezawodne, ale nie są dostosowane do przepływów ruchu poprzecznego w najbardziej racjonalny sposób. Wynika to z nacisku na sieci warstwy 2 (L2) i ruch północ-południe.
Topologia sieci Clos
Sieć Clos została wynaleziona przez Edsona Erwina w 1938 roku. W 1953 roku Charles Clos postanowił zastosować sieci przełączające bez blokowania w systemach telefonicznych w celu bardziej racjonalnego wykorzystania komunikacji w porównaniu ze schematem komunikacji typu crossbar. W przypadku układów o małej liczbie połączeń, wejść i wyjść schemat połączeń wydaje się na pierwszy rzut oka skomplikowany. Jednak sieć Closa jest mniej złożona ze względu na mniejszą liczbę punktów połączeń, zgodnie z wzorem: 6n^(3/2)-3n . Staje się to oczywiste już przy 36 punktach końcowych połączeń. 
Jeśli m to liczba przełączników wejściowych, a n to liczba przełączników wyjściowych, wówczas charakterystykę blokowania sieci Closa oblicza się za pomocą wzoru. Zgodnie z twierdzeniem Closa sieć Closa jest ściśle nieblokująca, jeśli liczba przełączników drugiego stopnia m ≥ 2n−1 .
Sieć blokująca to sieć, w której nie można znaleźć ścieżki komunikacyjnej między wolnym portem wejściowym a wolnym portem wyjściowym.
Sieć nieblokująca to sieć, w której zawsze istnieje ścieżka łącząca dowolny port wejściowy z dowolnym portem wyjściowym. Sieci nieblokujące tworzy się poprzez dodanie dodatkowego stopnia komutacji.
Przestawialna sieć nieblokująca to sieć, w której wszystkie możliwe ścieżki łączące wszystkie porty wejściowe i wyjściowe można przestawiać.
Pod koniec lat 90., wraz z rozwojem technologii telekomunikacyjnych i sieci komputerowych, koncepcja sieci typu Clos ponownie zyskała na znaczeniu. Istnieje potrzeba, aby wszystkie węzły komunikowały się ze sobą w strukturze sieciowej i, jeśli to możliwe, aby nie stosować topologii pełnej siatki, gdy wszystkie urządzenia są ze sobą połączone. Dodano nową warstwę komunikacyjną służącą do łączenia urządzeń sieciowych. W rezultacie koncepcja sieci typu Clos została przywrócona w nowej odsłonie. Na poniższym obrazku można zobaczyć typowy schemat sieci Clos o strukturze drzewa.
Dla większej wygody zmodyfikujmy widok sieci Clos na powszechnie stosowany widok typu „ Leaf-Spine ”, składając lewą i prawą stronę schematu. Ta topologia sieci znana jest jako Leaf-Spine, Folded Closoraz 3-stage Clos network (patrz poniższy obrazek).
Warstwa rdzeniowa. Przełączniki rdzeniowe służą do połączenia wszystkich przełączników liściowych w topologii sieci typu full mesh. Warstwa rdzeniowa w pewnym stopniu zastępuje warstwę agregacyjną stosowaną w tradycyjnej trójwarstwowej topologii sieci hierarchicznej. Warstwa rdzeniowa nie jest jednak bezpośrednim odpowiednikiem warstwy agregacyjnej. Głównym zadaniem warstwy rdzeniowej jest szybki transfer danych między przełącznikami liściowymi. Urządzenia końcowe nie są podłączone do przełączników typu spine.
Warstwa typu leaf. W tym modelu serwery lub inne urządzenia końcowe w centrum danych są podłączone do przełączników typu leaf. Wszystkie przełączniki typu leaf są połączone ze wszystkimi przełącznikami typu spine. W rezultacie istnieje duża liczba połączeń sieciowych o równej przepustowości między wszystkimi serwerami. Między przełącznikami typu spine a typu leaf istnieją połączenia warstwy L3 (warstwa L3 w modelu OSI). Gdy ruch sieciowy jest przesyłany ze źródła do miejsca docelowego w sieci, liczba przeskoków jest taka sama (na przykład do przesłania danych między dowolnymi serwerami w dwuwarstwowej sieci leaf-spine zgodnie z poniższym schematem potrzebne są trzy przeskoki). Opóźnienie jest przewidywalne i niewielkie. Wydajność sieci również wzrasta, ponieważ nie ma już potrzeby stosowania STP . Gdy STP jest wykorzystywane do tworzenia redundantnych połączeń między przełącznikami, w danym momencie może być aktywne tylko jedno łącze.
W topologii sieciowej typu leaf-spine można zastosować protokół routingu Equal-Cost Multipath (ECMP) w celu równoważenia obciążenia ruchem sieciowym i zapobiegania pętlom sieciowym (w przypadku połączeń sieciowych warstwy L3). Można również wykorzystać protokoły BGP, OSPF, EIGRPoraz ISIS.
Ta koncepcja sieciowa jest również określana jako wielowarstwowa topologia sieciowa typu fat-tree . Ideą jest unikanie wąskich gardeł w górnych warstwach drzewa (w pobliżu jego korzenia) oraz dodawanie dodatkowych łączy w celu zwiększenia przepustowości w tych segmentach. W rezultacie przepustowość łączy w kierunku korzenia sieci rośnie. Topologia fat tree stanowi szczególny przypadek sieci typu Clos. Trójwarstwowa sieć typu Clos po złożeniu przekształca się w sieć dwuwarstwową leaf-spine . Przełączniki liściowe lub przełączniki/routery brzegowe typu leaf mogą służyć do uzyskiwania dostępu do sieci zewnętrznych i innych centrów danych.
Zalety topologii sieci leaf-spine
Topologia sieci leaf-spine zapewnia szereg zalet w porównaniu z topologią sieci typu „access-aggregation-core”. Ten zestaw zalet stanowi powód, dla którego w centrum danych stosuje się topologię sieci typu leaf-spine .
Zoptymalizowane połączenia. Łącza o dużej przepustowości między urządzeniami sieciowymi są optymalne dla ruchu wschód-zachód. Nie ma niewykorzystanych łączy (ponieważ zamiast warstwy L2 stosowana jest warstwa L3). ECMP jest zalecane ze względu na wysoką wydajność, a STP nie jest konieczne.
Niezawodność. Awaria jednego urządzenia lub rozłączenie jednego łącza nie powoduje znaczących negatywnych skutków ani niedogodności. Jeśli przełącznik ToR pełniący rolę przełącznika liściowego ulegnie awarii, ma to wpływ na odpowiednią szafę. Jeśli przełącznik kręgosłupowy ulegnie awarii, przepustowość sieci ulega pogorszeniu, ale nie jest to znaczące w porównaniu z tradycyjną trójwarstwową topologią sieciową. Spadek przepustowości w topologii typu spine-leaf wynosi 1/n , gdzie n oznacza liczbę przełączników typu spine. Spadek przepustowości w topologii hierarchicznej wynosi w tym przypadku 50% .
Wysoka skalowalność. Można dodawać nowe przełączniki typu leaf, dopóki na przełącznikach typu spine są wolne porty. Dodanie nowych przełączników typu spine pozwala zwiększyć liczbę łączy uplink dla przełączników typu leaf. Dodaj przełączniki brzegowe/routery, aby zwiększyć przepustowość w sieciach zewnętrznych. Tradycyjnym podejściem do zwiększania przepustowości i podłączania większej liczby serwerów w przypadku hierarchicznej topologii sieci o strukturze drzewa jest dodawanie większej liczby kart sieciowych z większą liczbą portów, sprzętu sieciowego z szybszymi interfejsami sieciowymi oraz ogólnie wydajniejszego sprzętu. To tradycyjne podejście nazywa się skalowanie lub skalowalność pionowa .
W przypadku stosowania topologii sieciowej leaf-spine w centrach danych oraz w sieciach dostawców usług zarządzanych (MSP) można dodać dodatkową warstwę elementów typu spine. Podejście to nazywa się skalowalnością poziomą lub skalowaniem horyzontalnym . Dodanie jednego typowego urządzenia sieciowego, takiego jak przełącznik lub router, zwiększa skalowalność w sposób liniowy.
Konserwacja. Urządzenia typu spine można łatwo odłączyć od sieci w celu konserwacji lub wymiany. Zadania konserwacyjne na urządzeniach typu spine nie wiążą się z ryzykiem w porównaniu z urządzeniami typu „god box”, ponieważ urządzenia typu spine nie posiadają funkcji inteligentnych, a spadek przepustowości po odłączeniu jest minimalny.
Wielopoziomowa sieć typu Clos
W poprzedniej sekcji wyjaśniłem trzystopniową sieć typu Clos, składającą się z następujących etapów: przełącznik wejściowy, przełącznik środkowy i przełącznik wyjściowy. Ponieważ urządzenia na etapach wejściowym i wyjściowym służą do odbierania/wysyłania danych, schemat sieci można złożyć, wykorzystując linię środkową składającą się z dwupoziomowej leaf-spine topologii sieciowej. Można dodać więcej etapów i zbudować wielopoziomową sieć typu Clos, aby podłączyć do niej więcej urządzeń sieciowych. W tym przypadku mamy pięć etapów: przełącznik wejściowy, przełącznik środkowy 1, przełącznik środkowy 2, przełącznik środkowy 3 oraz przełącznik wyjściowy.
Na poniższym schemacie widać początkowy układ pięciostopniowej, nieblokującej sieci typu Clos po zmianie rozmieszczenia niebieskich i zielonych bloków. Istnieje również widok złożony leaf-spine lub widok fat-tree (4,3) (ponieważ na schemacie leaf-spine znajdują się 4 przełączniki kręgosłupowe i 3 etapy), ale przyjrzyjmy się krok po kroku, jak podłączyć urządzenia do pięciostopniowej sieci typu Clos. Topologia sieci typu Clos z więcej niż 5 etapami nie jest powszechna i nie jest stosowana w praktyce, ponieważ liczba połączeń jest zbyt duża.
Po obróceniu początkowego schematu pięciostopniowej sieci Clos o 90 stopni w prawo otrzymamy tradycyjny widok z przełącznikami wejściowymi, wyjściowymi oraz trzema stopniami przełączników środkowych. Narysujmy linię zagięcia przechodzącą przez przełączniki środkowe w centrum schematu, aby uzyskać złożony widok pięciostopniowej sieci Clos. 
Po złożeniu schematu uzyskuje się widok złożony lub widok typu „ leaf-spine ” dla tego rodzaju topologii sieciowych (patrz poniższy schemat). Istnieją 4 odrębne grupy pełniące rolę punktów dostawy (POD). POD stanowi uniwersalną jednostkę służącą do budowy centrów danych. Punkty POD są połączone z elementami szkieletowymi pierwszego poziomu. Jeśli chcesz rozbudować swoje centrum danych lub dodać więcej serwerów/urządzeń sieciowych, dodaj nowe POD-y i podłącz je do struktury sieciowej. Łącza szkieletowe jednego POD-a są połączone z łączami szkieletowymi innych POD-ów za pośrednictwem łącz szkieletowych drugiego poziomu. Jednocześnie nie wszystkie łącza szkieletowe poziomu L1 są połączone ze wszystkimi łączami szkieletowymi poziomu L2 i są one podzielone na płaszczyzny.
Na poniższym schemacie widoczne są dwie płaszczyzny – Plane 0 oraz Plane 1 . Koncepcja ta wynika z ograniczonej liczby portów na przełącznikach typu spine, co uniemożliwia w tym przypadku stworzenie topologii sieci w pełni połączonej. Na poniższym schemacie każdy przełącznik typu spine ma limit 4 portów. Zgodnie z główną ideą, sieć typu Clos bez blokowania opiera się na tych samych elementach (4-portowych przełącznikach, jak widać poniżej).
Na pierwszy rzut oka terminy takie jak „Clos”, „ folded Clos, leaf-spine” i „ fat tree” mogą budzić pewne zamieszanie. Pozwólcie, że wyjaśnię te pojęcia.
Clos lub sieć typu Clos to termin obejmujący teoretyczne podstawy topologii sieci typu Clos.
Folded Clos to wygodniejsza reprezentacja sieci typu Clos, w której wejścia i wyjścia pełnią tę samą rolę i znajdują się w tym samym miejscu.
Leaf-spine to topologia sieci oparta na schemacie sieci Clos, która jest stosowana w praktyce w centrach danych do budowy sieci, w tym sieci MSP.
Fat tree jest zazwyczaj określana jako odmiana sieci Clos. Termin ten budzi najwięcej niejasności, ponieważ w niektórych artykułach fat tree jest określana jako klasyczna sieć typu „dostęp-agregacja-rdzeń”. Odwołuję się do dokumentu RFC 7938, który stwierdza, że fat tree opiera się na topologii sieci folded Clos .
Obliczenia
Można obliczyć liczbę przełączników rdzeniowych, brzegowych, całkowitą liczbę potrzebnych przełączników oraz całkowitą liczbę hostów, które można podłączyć do sieci o wybranej konfiguracji, korzystając z następujących wzorów, gdzie:
k to liczba portów w przełączniku
L to liczba poziomów w topologii sieci leaf-spine (fat tree)
Głównym parametrem, który należy obliczyć przed zbudowaniem sieci, jest liczba obsługiwanych hostów. Konfigurację fat-tree można zapisać jako FT(k, L). Na przykład FT(32,3) to trójpoziomowa sieć fat-tree z przełącznikami 32-portowymi. Możesz skorzystać z tego narzędzia bezpłatny kalkulator dla sieci typu Clos, które generuje również schemat wizualizacyjny dla wybranej konfiguracji.
Można obliczyć, że jeśli schemat sieci fat-tree ma 2 poziomy i 8 portów na przełączniku, to do sieci można podłączyć 32 hosty. Jeśli zwiększysz liczbę portów na przełączniku, liczba obsługiwanych hostów wzrośnie do 512. Jak widać, liczba podłączonych hostów zależy od liczby portów na każdym przełączniku. Jeśli pozostawisz fat tree na 2 poziomach (3-stopniowa sieć typu Clos) i zwiększysz liczbę portów na przełączniku, liczba przełączników typu spine znacznie wzrośnie. Problem ten można rozwiązać, dodając jeszcze jeden poziom do fat tree. W przypadku trójpoziomowej sieci fat tree, jeśli liczba portów na przełączniku wynosi 8, można podłączyć 128 hostów.
Jeśli zwiększy się liczbę portów na przełączniku do 32, w tej topologii sieci można podłączyć 8192 hostów. Liczba ta w przypadku pięciopoziomowej sieci typu Clos jest 16 razy większa niż w przypadku sieci typu Clos o trzech poziomach. Planując schemat instalacji serwerów i sprzętu sieciowego w centrum danych, należy pamiętać o ograniczeniach szafy serwerowej.
Do budowy sieci Clos bez blokowania stosuje się nieparzystą liczbę stopni (3, 5, 7 itp.). Sieć Clos dwustopniowa nie zapewnia łączności bez blokowania ani wielu połączeń między przełącznikami.
Na poniższym schemacie widać, że w przypadku dwuwarstwowej sieci typu Clos istnieje tylko jedna ścieżka transmisji łącząca serwer 1 i serwer 2. Podłączone jest tylko ¼ portów, pozostałe porty nie są podłączone i blokują przepływ danych.
Współczynnik nadsubskrypcji to stosunek przepustowości wejściowej do przepustowości wyjściowej w kierunku od niższych warstw do wyższych. Współczynnik nadsubskrypcji zazwyczaj waha się od 2 do 4.
Przykład: Przełącznik posiada 48 portów 10 Gbit oraz 4 porty uplink 40 Gbit. Łączna przepustowość łączy downlink do serwerów wynosi 48 × 10 = 480 Gbit/s. Łączna prędkość łączy uplink wynosi 4 × 40 = 160 Gbit/s. Współczynnik nadsubskrypcji wynosi 480/160 = 4.
Jeśli łączna przepustowość wszystkich portów łączących z serwerami i portów uplink przełącznika jest równa, przełącznik nie jest nadsubskrybowany i w takim przypadku nie występują wąskie gardła. Współczynnik nadsubskrypcji 1:1 stanowi idealny przypadek użycia. Przed zakupem przełączników należy oszacować ruch w różnych kierunkach, aby dobrać odpowiednią prędkość i liczbę portów.
Przełączniki o współczynniku nadsubskrypcji wyższym niż 1 są często stosowane na poziomie liści (leaf) w sieciach o topologii typu „ leaf-spine”. Na poziomie szkieletowym należy stosować przełączniki bez nadmiernego obciążenia. Przełączniki na poziomie liści w topologii sieci typu leaf-spine są zazwyczaj wykorzystywane jako przełączniki ToR. Możliwe jest jednak zainstalowanie przełączników liściowych jako przełączników typu End of Row.
Podstawowe różnice
Podczas tworzenia sieci niektóre decyzje mają wpływ na jej układ. Oto kilka decyzji typu „albo-albo”, które wpływają na funkcję sieci.
Top of Rack a End of Row
Schemat Top of Rack (ToR) w centrum danych polega na zainstalowaniu jednego lub kilku przełączników w każdej szafie. Do połączenia przełącznika typu Top of Rack z innymi urządzeniami sieciowymi i serwerami wewnątrz szafy stosuje się krótkie kable krosowe. Przełączniki ToR zazwyczaj posiadają szybkie łącza uplink do przełączników/routerów wyższego poziomu i mogą być podłączone za pomocą kabli światłowodowych. Zaletą jest to, że stosując ten schemat połączeń w sieci MSP, nie trzeba instalować grubych wiązek kabli wychodzących z każdej szafy w centrum danych. Wykorzystanie kabli w centrum danych jest bardziej racjonalne przy zastosowaniu schematu ToR. W tym przypadku wydatki na okablowanie są mniejsze, a zarządzanie kablami jest lepsze. Każdą szafę można zarządzać jako pojedynczy moduł bez wpływu na pozostałe szafy w centrum danych, ponieważ dotyczy to wyłącznie serwerów w jednej szafie. Pomimo nazwy tego schematu przełącznik można zamontować w środkowej lub dolnej części każdej szafy.
Schemat połączeń sieciowych typu „End of Row” (EoR) ( , ) polega na tym, że szafa serwerowa na końcu rzędu zawiera sprzęt sieciowy. Sprzęt ten obejmuje wspólny przełącznik sieciowy służący do połączenia wszystkich serwerów i innych urządzeń we wszystkich szafach serwerowych w rzędzie. Kable wychodzące ze sprzętu sieciowego zainstalowanego w szafie serwerowej EoR są podłączane do urządzeń we wszystkich szafach rzędu za pomocą paneli krosowych zamontowanych w każdej szafie. W rezultacie do połączenia wszystkich urządzeń sieciowych w rzędzie stosuje się długie kable. Jeśli stosowane są redundantne połączenia sieciowe, liczba kabli również wzrasta. Grube wiązki kabli mogą blokować dopływ powietrza do sprzętu.
Szafy serwerowe są zazwyczaj rozmieszczone w centrum danych w rzędach ustawionych obok siebie. Jeden rząd może zawierać na przykład 10 lub 12 szaf. Cały rząd jest traktowany jako pojedyncza jednostka zarządzania w przypadku stosowania schematu połączeń EoR dla sieci MSP w centrum danych. W tym przypadku stosowany jest model zarządzania na poziomie rzędu. W modelu połączeń sieciowych EoR potrzeba mniej pojedynczych przełączników. Elastyczność jest mniejsza, gdy konieczne jest przeprowadzenie konserwacji lub modernizacji przełączników, ponieważ odłączenie przełącznika EoR ma wpływ na większą liczbę urządzeń. Pomimo swojej nazwy szafa z przełącznikiem (przełącznikami) wspólnym może być umieszczona w środku rzędu.
Połączenia warstwy 2 a warstwy 3
Wybór połączeń w sieci wymaga rozważenia takich czynników, jak niezawodność, prędkość i koszty, a także tworzonej topologii.
Na przykład istnieją segmenty sieciowe dla trójwarstwowej topologii sieciowej typu Access-Aggregation-Core oraz Leaf-Spine topologii. Ruch sieciowy jest tam przesyłany na warstwach L2 i L3 modelu OSI. W hierarchicznej sieci trójwarstwowej warstwa dostępowa działa na warstwie L2, warstwa dystrybucji/agregacji agreguje łącza L2 i zapewnia routing L3, natomiast warstwa sieci rdzeniowej wykonuje routing na trzeciej warstwie modelu OSI. Sieć o wielopoziomowej topologii Leaf-Spine można skonfigurować przy użyciu warstwy L2 z sieciami VLAN oraz warstwy L3 z routingiem IP i podsieciami.
Sprzęt sieciowy warstwy L2 jest tańszy niż sprzęt sieciowy warstwy L3, ale istnieją pewne wady związane z wykorzystaniem sieci warstwy L2 do łączenia urządzeń sieciowych w sieci MSP centrum danych. Sieci VLAN są zazwyczaj wykorzystywane do logicznej izolacji sieci korzystających z tego samego środowiska fizycznego. Maksymalna liczba sieci VLAN wynosi 4095 (pomniejszona o niektóre zarezerwowane sieci VLAN, takie jak 0, 4095, 1002-1005).
Kolejną wadą, o której wspomniano wcześniej, jest brak możliwości korzystania z redundantnych łączy, gdy STP jest stosowany na warstwie L2. Wynika to z faktu, że w danym momencie aktywne może być tylko jedno łącze, a cała dostępna przepustowość wszystkich łączy nie jest wykorzystywana. W miarę jak domena warstwy L2 z STP staje się coraz większa, wzrasta prawdopodobieństwo wystąpienia problemów spowodowanych nieprawidłowym okablowaniem i błędami ludzkimi, a diagnostyka staje się trudniejsza.
Konfiguracja sieci warstwy L3 pozwala inżynierom poprawić stabilność i skalowalność sieci MSP oraz ogólnie sieci centrów danych.
Poniższe protokoły sieciowe pomagają w zarządzaniu siecią warstwy L3 i kierowaniu ruchem.
BGP (Border Gateway Protocol) to protokół routingu dynamicznego, który jest szeroko stosowany i uważany za standard w wielu organizacjach posiadających centra danych na dużą skalę. BGP jest protokołem wysoce skalowalnym, rozszerzalnym i wydajnym.
ECMP (Equal Cost Multipath Routing) to technologia routingu sieciowego służąca do dystrybucji ruchu przy użyciu wielu najlepszych ścieżek, które są definiowane przez metryki w trzeciej warstwie modelu OSI. ECMP w połączeniu z protokołami routingu służy do równoważenia obciążenia w dużych sieciach. Większość protokołów routingu, w tym BGP, EIGRP, IS-IS, OSPF, oferuje wsparcie dla technologii ECMP .
Zawsze staraj się korzystać z bardziej zaawansowanych protokołów sieciowych. Pamiętaj jednak, że im mniej protokołów jest używanych w sieci, tym łatwiejsza jest administracja siecią.
Topologia sieci dla NV i SDN
Oprócz wirtualizacji sprzętowej i wykorzystania maszyny wirtualne, popularność zyskała również wirtualizacja sieci oparta na podejściu zorientowanym na aplikacje. Rozwiązania wirtualizacji sieci (NV), takie jak VMware NSX, sieci OpenStack i Cisco ASI, intensywnie wykorzystują ruch wschód-zachód w sieci fizycznej, dlatego też leaf-spine topologia sieciowa jest odpowiednia dla rozwiązań wirtualizacji sieci. Przeczytaj wpis na blogu dotyczący VMware NSX , aby dowiedzieć się więcej o wirtualizacji sieci.
Sieci definiowane programowo (SDN) służą do wirtualizacji sieci w celu efektywnego wykorzystania zasobów, zapewnienia elastyczności oraz scentralizowanej administracji. Jest to optymalne rozwiązanie w zwirtualizowanym centrum danych, w którym wykorzystywane są maszyny wirtualne podłączone do sieci. Maszyny wirtualne mogą przenieść między serwerami, generując w ten sposób ruch wschód-zachód w obrębie centrum danych. SDN jest szeroko stosowane w sieciach dostawców usług zarządzanych (MSP), którzy świadczą usługi IaaS (infrastruktura jako usługa).
Konfiguracja sieci definiowanych programowo jest skuteczna przy wykorzystaniu bazowej leaf-spine topologii sieciowej z dynamicznym routingiem, stałą liczbą przeskoków, niskimi, przewidywalnymi opóźnieniami oraz optymalizacją ruchu wschód-zachód dla komunikacji między serwerami w centrum danych.
VXLAN
VXLAN (Virtual eXtensible Local Area Network) to ulepszony protokół sieciowy stosowany zamiast VLAN w sieciach nakładkowych. Tunele warstwy L2 są tworzone przy wykorzystaniu bazowych sieci warstwy L3 (podstawowa sieć L3), aby zapewnić łączność sieciową warstwy L2 bez tradycyjnych ograniczeń sieci VLAN. Dzięki VXLAN można skonfigurować sieć warstwy L2 w sieci warstwy L3. Topologia wirtualna może różnić się od fizycznej topologii sieci bazowej.
Ramki VXLAN są enkapsulowane w pakiety IP przy użyciu MAC-in-UDP schematu enkapsulacji. VNI jest odpowiednikiem identyfikatora VLAN. Maksymalna liczba identyfikatorów VNI wynosi 2^24, czyli około 16 milionów. VXLAN służy do tworzenia sieci warstwy L2 w środowiskach rozciągniętych geograficznie, na przykład gdy konieczne jest utworzenie sieci łączącej dwa rozproszone geograficznie centra danych.
Wykorzystanie VXLAN i wirtualizacji sieci pomaga zoptymalizować rozmiar tablicy adresów MAC dla przełączników ToR. Wynika to z faktu, że adresy MAC używane przez maszyny wirtualne oraz powiązany ruch warstwy L2 są przesyłane za pośrednictwem sieci nakładkowej L2 z wykorzystaniem protokołu VXLAN. Nie powodują one przeciążenia tabel adresów MAC przełączników fizycznych. Tabele adresów MAC przełączników fizycznych nie przekraczają maksymalnej dostępnej pojemności tabel tych przełączników.
Wnioski
Tradycyjnie sieci w centrach danych budowano z wykorzystaniem klasycznej trójwarstwowej topologii: dostęp – agregacja – rdzeń. Biorąc pod uwagę rozwijające się nowoczesne aplikacje typu klient-serwer i rozproszone, mikrousługi oraz inne oprogramowanie, które są źródłami ruchu wschód-zachód w sieciach MSP, topologia sieciowa leaf-spine , oparta na koncepcji sieci Clos, jest preferowana w nowoczesnych centrach danych i stanowi jedną z bardziej powszechnych topologii sieciowych. Topologia sieciowa leaf-spine jest najlepszą topologią sieciową dla dużych centrów danych, ponieważ charakteryzuje się wysoką niezawodnością i skalowalnością. Przed zainstalowaniem sieci w centrum danych należy przeprowadzić obliczenia i oszacować generowany ruch oraz obciążenia. Należy uwzględnić ruch usługowy, taki jak ruch związany z tworzeniem kopii zapasowych i replikacją w sieci.
NAKIVO Backup & Replication to wydajne oprogramowanie do tworzenia kopii zapasowych maszyn wirtualnych, które może chronić obciążenia VMware Cloud Director, maszyny wirtualne VMware, maszyny wirtualne Hyper-V, a także fizyczne maszyny z systemami Linux i Windows oraz bazy danych Oracle. Dostawcy usług zarządzanych, którzy oferują infrastrukturę jako usługę (IaaS), tworzenie kopii zapasowej jako usługę (BaaS) oraz odzyskiwanie awaryjne jako usługę (DRaaS), mogą korzystać z oprogramowania NAKIVO Backup & Replication zainstalowanego w trybie multi-tenant. Pobierz bezpłatną wersję próbną oprogramowania NAKIVO Backup & Replication dla dostawców usług zarządzanych (MSP) </a> obsługującą tryb multi-tenant.
