Topologia sieci MSP dla początkujących
Dla dostawców usług zarządzanych (MSP) stworzenie wydajnej i skalowalnej sieci stanowi podstawę sukcesu. W poprzednim wpisie na blogu wpis na bloguomówiliśmy podstawowe typy topologii sieciowych, a w tym wpisie przyjrzymy się bardziej złożonym typom topologii sieciowych przeznaczonych dla dostawców usług, w tym tym preferowanym w sieciach MSP. Przeczytaj ten wpis na blogu, aby dowiedzieć się, która topologia jest najlepszym rozwiązaniem dla centrum danych MSP i dlaczego.
Tradycyjne sieci hierarchiczne trójwarstwowe
Zanim sieci definiowane programowo stały się powszechne, sieci w centrach danych opierały się na hierarchicznej topologii drzewa. Topologia ta dzieli się na trzy główne warstwy: warstwę rdzeniową, warstwę agregacji lub dystrybucji oraz warstwę dostępową. W tej topologii serwery są podłączone do przełączników w warstwie dostępowej. Routery brzegowe są podłączone do rdzenia, aby zapewnić dostęp z/do sieci WAN (sieć rozległa) i Internetu. Routery te znajdują się pomiędzy rdzeniem a Internetem na poniższym schemacie.
W kontekście modelu OSI (Open Systems Interconnection), który dzieli sieć między innymi na warstwę łącza danych (L2) i warstwę sieciową (L3), topologia sieci typu „Access-Aggregation-Core” obejmuje wiele warstw, jak widać na rysunku.
Przyjrzyjmy się kolejno tym trzem warstwom.
Warstwa rdzeniowa
Rdzeń sieci (zwany również siecią rdzeniową) jest centralnym elementem całej sieci. Główne węzły są podłączone do rdzenia. Sieć rdzeniowa opiera się zazwyczaj na topologii sieci typu mesh, w której wszystkie węzły są połączone ze wszystkimi innymi węzłami w obrębie rdzenia (w przypadku topologii sieci typu full-mesh). Przełączniki i routery w rdzeniu sieci są połączone między sobą za pomocą szybkich łączy (zwanych również połączeniami szkieletowymi). Ponieważ w rdzeniu sieci wykorzystywane są routery, warstwa rdzeniowa obsługuje ruch na poziomie L3.
Warstwa dystrybucji/agregacji
Jest to warstwa środkowa służąca do agregacji łączy uplink z warstwy bazowej trójwarstwowej topologii sieci (warstwa dostępowa, działająca na poziomie L2) do warstwy rdzenia sieci (działającej zazwyczaj na poziomie L3) przy użyciu łączy o większej przepustowości. Warstwa dystrybucji łączy dużą liczbę portów o niskiej prędkości z niewielką liczbą szybkich portów trunkowych. Routing rozpoczyna się w warstwie dystrybucji/agregacji tej topologii sieciowej, gdy dane są przesyłane z warstwy dostępowej. Konfiguracje zapory sieciowej, równoważenia obciążenia i inne zabezpieczenia są ustawiane w warstwie agregacji. Warstwa agregacji/dystrybucji służy do redukcji i uproszczenia schematu okablowania w centrum danych w celu wygodniejszego zarządzania. Przełączniki zainstalowane w warstwie agregacji muszą obsługiwać przechowywanie większej liczby adresów MAC w tablicy adresów MAC w swojej pamięci. Podczas gdy warstwa dostępowa obsługuje ruch L2, warstwa dystrybucji obsługuje ruch L2 i L3.
Warstwa dostępowa
Warstwa ta składa się z przełączników działających w warstwie L2. Serwery i stacje robocze są podłączone do przełączników warstwy dostępowej. Do rozdzielenia domen rozgłoszeniowych warstwy 2 (L2) w celu ograniczenia ruchu rozgłoszeniowego i zwiększenia bezpieczeństwa stosuje się zazwyczaj sieci VLAN (wirtualne sieci lokalne).
Aby uniknąć wąskich gardeł, w obszarze bliższym rdzenia sieci stosuje się łącza o większej przepustowości. Na przykład serwery są podłączone do przełączników dostępowych za pomocą interfejsów sieciowych 10 Gb/s, przełączniki dostępowe są podłączone do przełączników agregacyjnych za pomocą interfejsów 10 Gb/s, a przełączniki/routery warstwy agregacyjnej są podłączone do przełączników/routerów rdzenia sieci za pomocą łączy 100 Gb/s. W tym przypadku można zastosować agregację łączy w celu zwiększenia przepustowości i nadmiarowości. Cały ruch z serwerów jest przekazywany do łączy uplink. Na szczycie hierarchii tej topologii sieci znajduje się zestaw inteligentnych urządzeń sieciowych, nazywanych „god boxes”. God boxes odpowiadają za routing i wszystkie inne usługi. Hierarchiczna topologia sieci pozwala na stworzenie sieci modułowej.
W topologii sieci przedstawionej na poprzednim schemacie awaria jednego łącza prowadzi do awarii tego segmentu sieci. Z tego powodu w tego typu topologii sieci (patrz poniższy schemat) na każdej warstwie sieci stosuje się rezerwowe kanały i nadmiarowość. Awaria jednego urządzenia lub łącza powoduje spadek wydajności, ale sieć nadal działa. Ta redundantna topologia sieci zazwyczaj wymaga STP (Spanning Tree Protocol).
Konserwacja. Jeśli odłączysz część sprzętu sieciowego w tej trójwarstwowej topologii sieci w celu aktualizacji oprogramowania lub wykonania innych zadań konserwacyjnych, wydajność sieci ulegnie pogorszeniu. Niektóre usługi mogą być tymczasowo niedostępne.
Skalowalność. Liczba usług działających na serwerach rośnie z każdym rokiem, a ilość ruchu odpowiednio wzrasta. Sytuacja ta wymaga modernizacji i zwiększenia przepustowości sieci w sieci MSP. Zwiększenie przepustowości sieci w klasycznym centrum danych zazwyczaj wymagało:
- Zwiększenia liczby połączeń agregacji łączy (LAG)
- Zakupu kart sieciowych
- Jeśli nie ma wolnych gniazd do zainstalowania kart sieciowych, zakupu nowych serwerów lub powiązanego sprzętu
Jeśli konieczne jest dodanie nowej szafy serwerowej (obudowy rackowej) jako nowego modułu w centrum danych, można zwiększyć przepustowość sieci do tej szafy i serwerów w niej zainstalowanych. Tego typu topologie sieciowe nie są w stanie zapewnić wysokiego poziomu rezerwacji łączy i nadmiarowości ze względu na funkcje protokołów warstwy drugiej, takie jak STP oraz MSTP (Multiple Spanning Tree Protocol).
Klasyczną trójwarstwową topologię sieciową w centrum danych można połączyć z rozwiązaniami typu „End of Row” i „Top of Rack”. Obecnie większą popularnością cieszy się schemat połączeń typu „Top of Rack”. Nazwa ta wynika z faktu, że serwery i przełączniki są podłączone do głównego przełącznika w każdym szafie. Przełączniki typu Top of Rack (przełączniki ToR) są podłączone do przełączników/routerów wyższych poziomów w sieci MSP. Przełączniki ToR różnią się od przełączników brzegowych użytkownika i posiadają wiele dodatkowych portów uplink o bardzo dużej prędkości (takich jak porty 10 Gbit/s) oraz dużą liczbę portów do podłączenia serwerów. Przełączniki ToR są instalowane w parach w celu zapewnienia nadmiarowości oraz umożliwienia konserwacji przełączników. Zaletami tego schematu połączeń ToR jest mniejsza długość kabli podczas okablowania urządzeń w szafie i między szafami. Jako przełączniki ToR stosuje się zazwyczaj przełączniki dostępowe z wielowarstwowej topologii sieci hierarchicznej.
Kierunek ruchu
Wymienione wcześniej wady nie są zbyt krytyczne, a sieć centrum danych może działać pomyślnie przy odpowiedniej administracji. Zmiana z warstwy L2 na L3 w części sieci pomaga rozwiązać szereg problemów. Istnieje jeszcze jedna funkcja związana z ewolucją centrów danych oraz tym, jak aplikacje działają obecnie inaczej niż kiedyś. W latach 2000. aplikacje tworzono przy użyciu architektury scentralizowanej, a aplikacje o architekturze klient-serwer były głównie monolityczne . Oznacza to, że komponenty aplikacji mogły znajdować się na jednym serwerze. W rezultacie, na naszym schemacie, żądanie użytkownika było wysyłane z górnej części sieci, a żądanie wygenerowane przez aplikację było wysyłane z dolnego poziomu serwera z powrotem do górnej części sieci. Żądanie użytkownika było obsługiwane na jednym hoście. Ruch poziomy (wschód-zachód) między hostami był minimalny, a preferowany był ruch północ-południe. Tradycyjna, wielowarstwowa topologia sieci hierarchicznej stosowana w sieciach MSP w centrach danych spełnia te wymagania. Jednak z biegiem czasu przy tworzeniu aplikacji zaczęto preferować nowe architektury.
Architektura warstwowa N-warstwowa. Komponenty aplikacji są rozłożone na wiele warstw, na przykład warstwę logiczną, warstwę prezentacji i warstwę danych. Aplikacje internetowe składające się z wielu komponentów wymagają, aby komponenty te działały na różnych serwerach, na przykład na serwerze WWW, serwerze aplikacji oraz serwer bazy danych. Komponenty aplikacji działające na wielu serwerach komunikują się ze sobą za pośrednictwem sieci.
Architektura mikrousługowa zakłada, że komponenty aplikacji (usługi) działają w oddzielnych, logicznie izolowanych kontenerach, które są połączone ze sobą za pośrednictwem sieci. Pojemniki mogą działać na różnych hostach w klastry. Architektura ta charakteryzuje się wysoką skalowalnością i jest obecnie szeroko stosowana w chmurach.
Ponadto centra danych obsługują obecnie duże zbiory danych (Big Data), rozległe bazy danych, analitykę, reklamy kontekstowe, aplikacje oparte na sztucznej inteligencji oraz inne oprogramowanie wymagające połączeń z wieloma serwerami, macierzami pamięci masowej, maszynami wirtualnymi lub kontenerami. Komponenty aplikacji są rozproszone na wielu serwerach lub maszynach wirtualnych w centrum danych.
W rezultacie ruch wschód-zachód jest większy niż ruch północ-południe w sieci MSP. Ruch wewnętrzny w sieci centrum danych (ruch wewnątrz centrum danych) jest większy niż ruch od/do użytkownika zewnętrznego, który wysyła żądanie do centrum danych. Nie zapominajmy o ruchu wewnętrznym między systemami magazynowymi, replikacja bazy danych, wykonaniu kopii zapasowej danych i innymi działaniami usługowymi wykorzystującymi sieć w centrum danych.
Na poniższych diagramach można zobaczyć graficzną reprezentację rosnącego ruchu wewnętrznego w sieciach MSP wewnątrz centrów danych w ciągu ostatnich kilku lat. Trend pokazuje, że ruch wewnątrz centrum danych rośnie bardziej niż ruch przychodzący/wychodzący.
Tradycyjne sieci, zbudowane przy użyciu tradycyjnej hierarchicznej topologii sieci trójwarstwowej, są niezawodne, ale nie są dostosowane do przepływów ruchu poprzecznego w najbardziej racjonalny sposób. Wynika to z nacisku na sieci L2 i ruch północ-południe.
Topologia sieci Clos
Sieć Clos została wynaleziona przez Edsona Erwina w 1938 roku. W 1953 roku Charles Clos postanowił zastosować sieci przełączające bez blokowania w systemach telefonicznych w celu bardziej racjonalnego wykorzystania komunikacji w porównaniu ze schematem komunikacji typu crossbar. Przy macierzach o małej liczbie połączeń, wejść i wyjść schemat połączeń wydaje się na pierwszy rzut oka skomplikowany. Jednak sieć Closa jest mniej złożona ze względu na mniejszą liczbę punktów połączeń zgodnie z wzorem: 6n^(3/2)-3n . Fakt ten staje się jasny już przy 36 punktach końcowych połączeń. 
Jeśli m oznacza liczbę przełączników wejściowych, a n liczbę przełączników wyjściowych, wówczas charakterystykę blokowania sieci Closa oblicza się za pomocą wzoru. Zgodnie z twierdzeniem Closa sieć Closa jest ściśle nieblokująca, jeśli liczba przełączników drugiego stopnia m ≥ 2n−1 .
Sieć blokująca to sieć, w której nie można znaleźć ścieżki komunikacyjnej między wolnym portem wejściowym a wolnym portem wyjściowym.
Sieć nieblokująca to sieć, w której zawsze istnieje ścieżka łącząca dowolny port wejściowy i wyjściowy. Sieci nieblokujące tworzy się poprzez dodanie dodatkowego stopnia komutacji.
Przegrupowalna sieć nieblokująca to sieć, w której wszystkie możliwe ścieżki łączące wszystkie porty wejściowe i wyjściowe można przegrupować.
Pod koniec lat 90., wraz z ewolucją technologii telekomunikacyjnych i sieci komputerowych, koncepcja sieci Clos ponownie zyskała na znaczeniu. Istnieje potrzeba, aby wszystkie węzły komunikowały się ze sobą w strukturze sieciowej i, jeśli to możliwe, aby nie stosować topologii pełnej siatki, gdy wszystkie urządzenia są ze sobą połączone. Dodano nową warstwę komunikacyjną do łączenia urządzeń sieciowych. W rezultacie koncepcja sieci Clos została przywrócona w nowej odsłonie. Na poniższym obrazku można zobaczyć typowy schemat sieci Clos o strukturze drzewa.
Zmodyfikujmy widok sieci Clos na powszechnie stosowany Leaf-Spine widok dla większej wygody, składając lewą i prawą stronę schematu. Ta topologia sieci znana jest jako Leaf-Spine, Folded Closoraz 3-stopniowa sieć Clos (patrz poniższy obrazek).
Warstwa kręgosłupa. Przełączniki kręgosłupa służą do połączenia wszystkich przełączników liściowych w topologii sieci typu full mesh. Warstwa kręgosłupa zastępuje w pewnym stopniu warstwę agregacji stosowaną w tradycyjnej trójwarstwowej topologii sieci hierarchicznej. Warstwa kręgosłupa nie jest jednak bezpośrednim odpowiednikiem warstwy agregacji. Głównym zadaniem warstwy kręgosłupa jest szybki transfer danych z jednego przełącznika liściowego do drugiego. Urządzenia końcowe nie są podłączone do przełączników typu spine.
Warstwa typu leaf. W tym modelu serwery lub inne urządzenia końcowe w centrum danych są podłączone do węzłów typu leaf. Wszystkie węzły typu leaf są połączone ze wszystkimi węzłami typu spine. W rezultacie istnieje duża liczba połączeń sieciowych o równej przepustowości między wszystkimi serwerami. Pomiędzy węzłami typu spine i leaf istnieją połączenia L3 (warstwa L3 w modelu OSI). Gdy ruch sieciowy jest przesyłany ze źródła do miejsca docelowego, liczba przeskoków jest stała (na przykład do przesłania danych między dowolnymi serwerami w dwupoziomowej sieci leaf-spine według poniższego schematu potrzeba trzech przeskoków). Opóźnienie jest przewidywalne i niewielkie. Wydajność sieci również wzrasta, ponieważ nie ma już potrzeby stosowania STP . Gdy STP jest wykorzystywane do tworzenia redundantnych połączeń między przełącznikami, w danym momencie może być aktywne tylko jedno łącze.
W topologii sieci leaf-spine można wykorzystać protokół routingu Equal-Cost Multipath (ECMP) do równoważenia obciążenia ruchem i zapobiegania pętlom sieciowym (dla połączeń sieciowych L3). Można również stosować protokoły BGP, OSPF, EIGRPi ISIS.
Ta koncepcja sieci jest również określana jako wielowarstwowa topologia sieci fat-tree . Ideą jest unikanie wąskich gardeł w górnych warstwach drzewa (blisko korzenia drzewa) oraz dodawanie dodatkowych łączy w celu zwiększenia przepustowości w tych segmentach. W rezultacie w kierunku korzenia występuje rosnąca przepustowość łącza. fat tree jest szczególnym przypadkiem sieci Clos. Trójwarstwowa sieć Clos po złożeniu przekształca się w dwuwarstwową leaf-spine sieć. Przełączniki liściowe lub przełączniki/routery brzegowe liściowe mogą być wykorzystywane do uzyskania dostępu do sieci zewnętrznych i innych centrów danych.
Zalety leaf-spine topologii sieci
Topologia sieci leaf-spine zapewnia szereg zalet w porównaniu z topologią sieci typu dostęp-agregacja-rdzeń. Ten zestaw zalet jest powodem, dla którego warto stosować topologię sieci typu leaf-spine w centrum danych.
Zoptymalizowane połączenia. Łącza o dużej przepustowości między urządzeniami sieciowymi są optymalne dla ruchu wschód-zachód. Nie ma niewykorzystanych łączy (ponieważ zamiast L2 stosuje się L3). ECMP jest zalecane ze względu na wysoką wydajność, a STP nie jest konieczne.
Niezawodność. Awaria jednego urządzenia lub rozłączenie jednego łącza nie powoduje znaczących negatywnych skutków i niedogodności. Jeśli przełącznik ToR, który pełni rolę przełącznika liściowego, ulegnie awarii, ma to wpływ na odpowiednią szafę. Jeśli przełącznik kręgosłupowy ulegnie awarii, przepustowość sieci ulega pogorszeniu, ale nie jest to znaczące w porównaniu z tradycyjną trójwarstwową topologią sieci hierarchicznej. Spadek przepustowości w topologii typu spine-leaf wynosi 1/n , gdzie n to liczba przełączników typu spine. Spadek przepustowości w topologii hierarchicznej wynosi w tym przypadku 50% .
Wysoka skalowalność. Można dodawać nowe przełączniki typu leaf, dopóki na przełącznikach typu spine są wolne porty. Dodanie nowych przełączników typu spine pozwala zwiększyć liczbę łączy uplink dla przełączników typu leaf. Dodaj przełączniki brzegowe/routery, aby zwiększyć przepustowość w sieciach zewnętrznych. Tradycyjnym podejściem do zwiększania przepustowości i podłączania większej liczby serwerów w przypadku hierarchicznej topologii sieci typu „drzewo” jest dodawanie kolejnych kart sieciowych z większą liczbą portów, sprzętu sieciowego z szybszymi interfejsami oraz ogólnie wydajniejszego sprzętu. To tradycyjne podejście nazywa się skalowaniem lub skalowalnością pionową .
W przypadku stosowania leaf-spine topologii sieci w centrach danych oraz w sieciach MSP można dodać dodatkową warstwę szkieletów. Podejście to nazywa się skalowalnością horyzontalną lub skalowaniem horyzontalnym . Dodanie jednego typowego urządzenia sieciowego, takiego jak przełącznik/router, zwiększa skalowalność w sposób liniowy.
Konserwacja. Można łatwo odłączyć urządzenia typu spine od sieci w celu konserwacji lub wymiany. Zadania konserwacyjne na urządzeniach typu spine nie są ryzykowne w porównaniu z urządzeniami typu god box, ponieważ urządzenia typu spine nie posiadają funkcji inteligentnych, a redukcja przepustowości po odłączeniu jest minimalna.
Wielowarstwowa sieć Clos
W poprzedniej sekcji wyjaśniłem trójwarstwową sieć Clos z następującymi warstwami: przełącznik wejściowy, przełącznik środkowy i przełącznik wyjściowy. Ponieważ urządzenia na warstwach wejściowej i wyjściowej służą do odbierania/wysyłania danych, schemat sieci można złożyć, wykorzystując linię środkową składającą się z dwuwarstwowej leaf-spine topologii sieciowej. Można dodać więcej etapów i zbudować wielopoziomową sieć Clos, aby podłączyć do niej więcej urządzeń sieciowych. W tym przypadku mamy pięć etapów: przełącznik wejściowy, przełącznik środkowy 1, przełącznik środkowy 2, przełącznik środkowy 3 oraz przełącznik wyjściowy.
Na poniższym schemacie widać początkowy układ pięciostopniowej, nieblokującej sieci Clos po zmianie rozmieszczenia niebieskich i zielonych bloków. Istnieje również widok złożony leaf-spine lub widok fat-tree (4,3) (ponieważ w schemacie leaf-spine znajdują się 4 przełączniki rdzeniowe i 3 etapy), ale przyjrzyjmy się krok po kroku, jak podłączyć urządzenia do pięciostopniowej sieci Clos. Topologia sieci Clos z więcej niż 5 etapami nie jest powszechna i nie jest stosowana w praktyce, ponieważ liczba połączeń jest zbyt duża.
Po obróceniu początkowego schematu pięciostopniowej sieci Clos o 90 stopni w prawo otrzymasz tradycyjny widok z przełącznikami wejściowymi, przełącznikami wyjściowymi i trzema stopniami przełączników środkowych. Narysujmy linię zagięcia przez przełączniki środkowe w centrum schematu, aby uzyskać złożony widok pięciostopniowej sieci Clos. 
Po rozłożeniu schematu otrzymujemy widok rozłożony lub widok typu „ leaf-spine ” dla tego rodzaju topologii sieciowych (patrz poniższy schemat). Istnieją 4 odrębne grupy pełniące rolę punktów dostawczych (POD). POD stanowi uniwersalną jednostkę służącą do budowy centrów danych. Punkty POD są połączone z sieciami szkieletowymi pierwszego poziomu. Jeśli chcesz rozbudować swoje centrum danych lub dodać więcej serwerów/sprzętu sieciowego, dodaj nowe POD-y i podłącz je do struktury sieciowej. Kręgosłupy jednego POD-a są połączone z kręgosłupami innych POD-ów za pośrednictwem kręgosłupów drugiego poziomu. Jednocześnie nie wszystkie kręgosłupy L1 są połączone ze wszystkimi kręgosłupami L2 i są one podzielone na płaszczyzny.
W poniższym schemacie występują dwie płaszczyzny – Plane 0 i Plane 1 . Koncepcja ta jest stosowana ze względu na ograniczoną liczbę portów na szkieletach, a stworzenie w pełni połączonej topologii sieci nie jest w tym przypadku możliwe. W poniższym schemacie każdy szkielet ma limit 4 portów. Zgodnie z główną ideą, sieć Clos typu non-blocking opiera się na tych samych elementach (4-portowe przełączniki, jak widać poniżej).
Na pierwszy rzut oka terminy takie jak Clos, folded Clos, leaf-spinei fat treemogą być mylące. Pozwólcie, że wyjaśnię te terminy.
Clos lub Sieć Clos to termin obejmujący teoretyczne podstawy topologii sieci typu Clos.
Folded Clos to wygodniejsza reprezentacja sieci Clos, w której wejścia i wyjścia pełnią tę samą rolę i znajdują się w tym samym miejscu.
Leaf-spine to topologia sieci oparta na schemacie sieci Clos, która jest stosowana w praktyce w centrach danych do budowy sieci, w tym sieci MSP.
Fat tree jest zwykle określana jako odmiana sieci Clos. Termin ten jest najbardziej mylący, ponieważ niektóre artykuły wspominają o fat tree jako o klasycznej sieci typu access-aggregation-core. Odwołuję się do dokumentu RFC 7938, który mówi, że fat tree opiera się na topologii sieci folded Clos .
Obliczenia
Można obliczyć liczbę przełączników rdzeniowych, przełączników brzegowych, całkowitą liczbę potrzebnych przełączników oraz całkowitą liczbę hostów, które można podłączyć do sieci o wybranej konfiguracji, korzystając z następujących wzorów:
k to liczba portów w przełączniku
L to liczba poziomów w topologii sieci leaf-spine (fat tree)
Głównym parametrem, który należy obliczyć przed zbudowaniem sieci, jest liczba obsługiwanych hostów. Konfigurację fat-tree można zapisać jako FT(k, L). Na przykład FT(32,3) to trójpoziomowa fat-tree sieć z przełącznikami 32-portowymi. Możesz skorzystać z tego narzędzia bezpłatny kalkulator dla sieci typu Clos, które generuje również schemat wizualizacyjny dla wybranej konfiguracji.
Można obliczyć, że jeśli schemat sieci fat-tree ma 2 poziomy i 8 portów na przełącznik, to do sieci można podłączyć 32 hosty. Jeśli zwiększysz liczbę portów na przełącznik, liczba obsługiwanych hostów wzrośnie do 512. Jak widać, liczba podłączonych hostów zależy od liczby portów na każdym przełączniku. Jeśli pozostawisz fat tree na 2 poziomach (3-stopniowa sieć Clos) i zwiększysz liczbę portów na przełączniku, liczba szkieletów znacznie wzrośnie. Problem ten można rozwiązać, dodając jeszcze jeden poziom do fat tree. W przypadku trójpoziomowej fat tree, jeśli liczba portów na przełączniku wynosi 8, można podłączyć 128 hostów.
Jeśli zwiększysz liczbę portów na przełączniku do 32, możesz podłączyć 8192 hostów przy użyciu tej topologii sieci. Liczba ta dla 5-stopniowej sieci Clos jest 16 razy większa niż dla 3-stopniowej sieci Clos. Planując schemat instalacji serwerów i sprzętu sieciowego w centrum danych, należy pamiętać o ograniczeniach szafy serwerowej.
Do budowy sieci Clos bez blokowania stosuje się nieparzystą liczbę stopni (3, 5, 7 itp.). Sieć Clos dwustopniowa nie zapewnia łączności bez blokowania ani wielu połączeń między przełącznikami.
Na poniższym schemacie widać, że w przypadku dwustopniowej sieci Clos istnieje tylko jedna ścieżka transmisji łącząca serwer 1 i serwer 2. Podłączone są tylko ¼ portów, pozostałe porty nie są podłączone i blokują przepływ danych.
Współczynnik nadsubskrypcji to stosunek przepustowości wejściowej do przepustowości wyjściowej w kierunku od niższych warstw do wyższych warstw. Współczynnik nadsubskrypcji zwykle waha się od 2 do 4.
Przykład: Przełącznik ma 48 portów 10-Gbit i 4 porty uplink 40-Gbit. Całkowita przepustowość łączy downlink do serwerów wynosi 48×10=480 Gbit/s. Całkowita prędkość łączy uplink wynosi 4×40=160 Gbit/s. Współczynnik nadsubskrypcji wynosi 480/160 = 4.
Jeśli całkowita przepustowość jest taka sama dla wszystkich portów downlink i uplink przełącznika, przełącznik nie jest nadsubskrybowany i w tym przypadku nie ma wąskich gardeł. Współczynnik nadsubskrypcji 1:1 jest przypadkiem użycia idealnym. Przed zakupem przełączników o odpowiedniej prędkości i liczbie portów należy oszacować ruch w różnych kierunkach.
Przełączniki o współczynniku nadsubskrypcji wyższym niż 1 są często stosowane na etapie liści w sieciach o topologii sieciowej typu leaf-spine. W warstwie szkieletowej należy stosować przełączniki bez nadmiarowej przepustowości. Przełączniki na poziomie liści w topologii sieci typu leaf-spine są zazwyczaj wykorzystywane jako przełączniki typu ToR. Możliwe jest jednak zainstalowanie przełączników liściowych jako przełączników typu End of Row.
Podstawowe różnice
Podczas tworzenia sieci niektóre decyzje mają wpływ na jej układ. Poniżej przedstawiono kilka wyborów typu „albo-albo”, które wpływają na funkcję sieci.
Top of Rack a End of Row
Schemat połączeń sieciowych typu Top of Rack (ToR) w centrum danych polega na zainstalowaniu jednego lub wielu przełączników w każdej szafie. Do połączenia przełącznika Top of Rack z innym sprzętem sieciowym i serwerami w szafie używa się krótkich kabli krosowych. Przełączniki ToR zazwyczaj mają szybkie łącza uplink do przełączników/routerów wyższego poziomu i mogą być połączone kablami światłowodowymi. Zaletą jest to, że stosując ten schemat połączeń w sieci MSP, nie trzeba instalować grubych wiązek kabli wychodzących z każdej szafy w centrum danych. Wykorzystanie kabli w centrum danych jest bardziej racjonalne przy zastosowaniu schematu ToR. W tym przypadku wydatki na okablowanie są mniejsze, a zarządzanie kablami jest lepsze. Każdą szafę można zarządzać jako pojedynczy moduł bez wpływu na inne szafy w centrum danych, ponieważ dotyczy to serwerów tylko w jednej szafie. Pomimo nazwy schematu przełącznik można zamontować w środkowej lub dolnej części każdej szafy.
Schemat połączeń sieciowych typu End of Row (EoR) ( ) polega na umieszczeniu sprzętu sieciowego w szafie serwerowej na końcu rzędu. Sprzęt ten obejmuje wspólny przełącznik sieciowy służący do połączenia wszystkich serwerów i innych urządzeń we wszystkich szafach serwerowych w rzędzie. Kable wychodzące ze sprzętu sieciowego zainstalowanego w szafie serwerowej EoR są podłączane do urządzeń we wszystkich szafach rzędu za pomocą paneli krosowych zamontowanych w każdej szafie. W rezultacie do połączenia wszystkich urządzeń sieciowych w rzędzie stosuje się długie kable. Jeśli stosuje się redundantne połączenia sieciowe, liczba kabli również wzrasta. Grube wiązki kabli mogą blokować dopływ powietrza do sprzętu.
Szafy serwerowe są zazwyczaj rozmieszczone w centrum danych w rzędach ustawionych obok siebie. Jeden rząd może zawierać na przykład 10 lub 12 szaf. Cały rząd jest traktowany jako pojedyncza jednostka zarządzania w przypadku stosowania schematu połączeń EoR dla sieci MSP w centrum danych. W tym przypadku stosowany jest model zarządzania na poziomie rzędu. W modelu połączeń sieciowych EoR potrzeba mniej pojedynczych przełączników. Elastyczność jest mniejsza, gdy konieczne jest przeprowadzenie konserwacji lub modernizacji przełączników, ponieważ odłączenie przełącznika EoR ma wpływ na większą liczbę urządzeń. Wbrew nazwie szafę z przełącznikiem (przełącznikami) wspólnym można umieścić w środkowej części rzędu.
Połączenia warstwy 2 a warstwy 3
Wybór połączeń w sieci to kwestia wymagająca rozważenia takich czynników, jak niezawodność, prędkość i koszty, a także tworzona topologia.
Na przykład istnieją segmenty sieci dla trójwarstwowej topologii sieci Access-Aggregation-Core oraz Leaf-Spine topologii. Ruch jest tam przesyłany w warstwach L2 i L3 modelu OSI. W hierarchicznej sieci trójwarstwowej warstwa dostępowa działa w warstwie L2, warstwa dystrybucji/agregacji agreguje łącza L2 i zapewnia routing L3, a warstwa sieci rdzeniowej wykonuje routing w trzeciej warstwie modelu OSI. Sieć o wielowarstwowej topologii Leaf-Spine można skonfigurować przy użyciu warstwy L2 z sieciami VLAN oraz warstwy L3 z routingiem IP i podsieciami.
Sprzęt sieciowy warstwy L2 jest tańszy niż sprzęt sieciowy warstwy L3, ale istnieją pewne wady korzystania z sieci L2 do łączenia urządzeń sieciowych w sieci MSP centrum danych. Sieci VLAN są zazwyczaj używane do logicznej izolacji sieci korzystających z tego samego środowiska fizycznego. Maksymalna liczba sieci VLAN wynosi 4095 (pomniejszona o niektóre zarezerwowane sieci VLAN, takie jak 0, 4095, 1002-1005).
Kolejną wadą, o której wspomniano wcześniej, jest brak możliwości korzystania z łączy redundantnych, gdy STP jest używane w warstwie L2. Wynika to z faktu, że w danym momencie aktywne może być tylko jedno łącze, a cała dostępna przepustowość wszystkich łączy nie jest wykorzystywana. Wówczas domena L2 z STP staje się duża, wzrasta prawdopodobieństwo wystąpienia problemów spowodowanych nieprawidłowym okablowaniem i błędami ludzkimi, a diagnostyka staje się trudna.
Konfiguracja sieci L3 pozwala inżynierom poprawić stabilność i skalowalność sieci MSP oraz ogólnie sieci centrów danych.
Poniższe protokoły sieciowe pomagają w zarządzaniu siecią L3 i kierowaniu ruchem.
BGP (Border Gateway Protocol) to protokół routingu dynamicznego, który jest szeroko stosowany i uważany za standard w wielu organizacjach posiadających centra danych na dużą skalę. BGP jest protokołem wysoce skalowalnym, rozszerzalnym i wydajnym.
ECMP (Equal Cost Multipath Routing) to technologia routingu sieciowego służąca do dystrybucji ruchu przy użyciu wielu najlepszych ścieżek, które są definiowane przez metryki w trzeciej warstwie modelu OSI. ECMP w połączeniu z protokołami routingu służy do równoważenia obciążenia w dużych sieciach. Większość protokołów routingu, w tym BGP, EIGRP, IS-IS i OSPF, oferuje wsparcie dla ECMP technologii.
Zawsze staraj się korzystać z bardziej zaawansowanych protokołów sieciowych. Pamiętaj jednak, że im mniej protokołów jest używanych w sieci, tym łatwiejsza jest administracja nią.
Topologia sieci dla NV i SDN
Oprócz wirtualizacji sprzętowej i korzystania z maszyny wirtualne, popularność zyskała również wirtualizacja sieci oparta na podejściu zorientowanym na aplikacje. Rozwiązania wirtualizacji sieci (NV), takie jak VMware NSX, sieci OpenStack i Cisco ASI, intensywnie wykorzystują ruch wschód-zachód w sieci fizycznej, dlatego leaf-spine topologia sieci jest odpowiednia dla rozwiązań wirtualizacji sieci. Przeczytaj wpis na blogu dotyczący VMware NSX , aby dowiedzieć się więcej o wirtualizacji sieci.
Sieci definiowane programowo (SDN) są wykorzystywane do wirtualizacji sieci w celu efektywnego wykorzystania zasobów, zapewnienia elastyczności i scentralizowanej administracji. Jest to optymalne rozwiązanie w wirtualizowanym centrum danych, w którym wykorzystywane są maszyny wirtualne podłączone do sieci. Maszyny wirtualne mogą przenieść między serwerami, tworząc w ten sposób ruch wschód-zachód w centrum danych. Sieci SDN są szeroko stosowane w sieciach MSP przez dostawców usług MSP oferujących IaaS (infrastruktura jako usługa).
Konfiguracja sieci definiowanych programowo jest skuteczna przy wykorzystaniu podstawowej leaf-spine topologii sieci z dynamicznym routingiem, stałą liczbą przeskoków, niskim, przewidywalnym opóźnieniem oraz optymalizacją ruchu wschód-zachód dla komunikacji między serwerami w centrum danych.
VXLAN
VXLAN (Virtual eXtensible Local Area Network) to ulepszony protokół sieciowy stosowany zamiast VLAN w sieciach nakładkowych. Tunele L2 są tworzone przy użyciu bazowych sieci L3 (podkład sieciowy L3) w celu zapewnienia łączności sieciowej L2 bez tradycyjnych ograniczeń VLAN. Dzięki VXLAN można skonfigurować sieć L2 w sieci L3. Topologia wirtualna może różnić się od fizycznej topologii sieci bazowej.
Ramki VXLAN są enkapsulowane w pakiety IP przy użyciu MAC-in-UDP schematu enkapsulacji. VNI jest odpowiednikiem identyfikatora VLAN. Maksymalna liczba VNI wynosi 2^24, czyli około 16 milionów. VXLAN służy do tworzenia sieci L2 w środowiskach rozciągniętych geograficznie, na przykład gdy trzeba utworzyć sieć łączącą dwa rozproszone geograficznie centra danych.
Wykorzystanie VXLAN i wirtualizacji sieci pomaga zoptymalizować rozmiar tablicy adresów MAC dla przełączników ToR. Wynika to z faktu, że adresy MAC używane przez maszyny wirtualne oraz powiązany ruch warstwy drugiej są przesyłane przez nakładkową sieć warstwy drugiej z wykorzystaniem protokołu VXLAN. Nie powodują one przeciążenia tabel adresów MAC przełączników fizycznych. Tabele adresów MAC przełączników fizycznych nie przekraczają maksymalnej dostępnej pojemności tabel tych przełączników.
Wnioski
Tradycyjnie sieci w centrach danych budowano w oparciu o klasyczną trójwarstwową topologię: dostęp, agregacja, rdzeń. Biorąc pod uwagę ewoluujące nowoczesne aplikacje klient-serwer i rozproszone, mikrousługi oraz inne oprogramowanie, które są źródłami ruchu wschód-zachód w sieciach MSP, topologia sieci leaf-spine , oparta na koncepcji sieci Clos, jest preferowana w nowoczesnych centrach danych i jest jedną z bardziej powszechnych topologii sieciowych. Topologia sieci leaf-spine jest najlepszą topologią sieciową dla dużych centrów danych, ponieważ jest wysoce niezawodna i skalowalna. Przed zainstalowaniem sieci w centrum danych należy wykonać obliczenia i oszacować generowany ruch oraz obciążenia. Należy uwzględnić ruch usługowy, taki jak ruch związany z tworzeniem kopii zapasowych i replikacją w sieci.
NAKIVO Backup & Replication to potężne oprogramowanie do tworzenia kopii zapasowych maszyn wirtualnych, które może chronić obciążenia VMware Cloud Director, maszyny wirtualne VMware, maszyny wirtualne Hyper-V, a także fizyczne maszyny z systemami Linux i Windows oraz bazy danych Oracle. Dostawcy usług zarządzanych, którzy oferują infrastrukturę jako usługę (IaaS), tworzenie kopii zapasowej jako usługę (BaaS) oraz odzyskiwanie awaryjne jako usługę (DRaaS), mogą korzystać z oprogramowania NAKIVO Backup & Replication zainstalowanego w trybie multi-tenant. Pobierz bezpłatną wersję próbną oprogramowania NAKIVO Backup & Replication dla dostawców usług zarządzanych (MSP) obsługującą tryb multi-tenant.
