MSP-Netzwerktopologie für Einsteiger
Für Managed Services Provider (MSPs) ist der Aufbau eines leistungsstarken und skalierbaren Netzwerks ein entscheidender Erfolgsfaktor. In einem früheren Blogbeitraghaben wir die grundlegenden Netzwerktopologien behandelt, und in diesem Beitrag untersuchen wir komplexere Netzwerktopologien für Dienstleister, darunter auch solche, die für MSP-Netzwerke besonders geeignet sind. Lesen Sie diesen Blogbeitrag, um zu erfahren, welche Topologie die beste Netzwerktopologie für ein MSP-Rechenzentrum ist und warum.
Traditionelle hierarchische 3-Schichten-Netzwerke
Bevor softwaredefinierte Netzwerke (SDN) zum Standard wurden, basierten Netzwerke in Rechenzentren auf einer hierarchischen Baumtopologie. Diese Topologie lässt sich in drei Hauptschichten unterteilen: die Kernschicht, die Aggregations- oder Verteilerschicht und die Zugriffsschicht. In dieser Topologie sind Server mit Switches in der Zugangsebene verbunden. Edge-Router sind mit dem Kern verbunden, um den Zugang vom und zum WAN (Wide Area Network) sowie zum Internet zu ermöglichen. Diese Router befinden sich in der untenstehenden Darstellung zwischen dem Kern und dem Internet.
Im Sinne des OSI-Modells (Open Systems Interconnection), das das Netzwerk unter anderem in eine Datenverbindungsschicht (L2) und eine Netzwerkschicht (L3) unterteilt, erstreckt sich die Netzwerk-Topologie „Zugang-Aggregation-Kern“ über mehrere Schichten, wie in der Grafik zu sehen ist.
Betrachten wir diese drei Schichten der Reihe nach.
Kernschicht
Der Netzwerkkern (auch Kernnetzwerk genannt) ist die zentrale Komponente des gesamten Netzwerks. Primäre Knoten sind mit dem Kern verbunden. Das Kernnetz basiert in der Regel auf einer Mesh-Netzwerktopologie, bei der alle Knoten mit allen anderen Knoten innerhalb des Kerns verbunden sind (bei einer Full-Mesh-Netzwerktopologie). Switches und Router im Netzwerkkern sind über Hochgeschwindigkeitsverbindungen (die auch als Backbone-Verbindungen bezeichnet werden) miteinander verbunden. Da im Netzwerkkern Router zum Einsatz kommen, verarbeitet die Kernschicht L3-Datenverkehr.
Verteilungs-/Aggregationsschicht
Hierbei handelt es sich um eine mittlere Schicht, die dazu dient, Uplinks von der darunterliegenden Schicht der dreistufigen Netzwerktopologie (der Zugriffsschicht, die auf L2 arbeitet) zur Kernnetzwerkschicht (die in der Regel auf L3 arbeitet) mithilfe von Verbindungen mit höherer Bandbreite zu bündeln. Die Verteilungsschicht kombiniert eine große Anzahl von Ports mit geringer Geschwindigkeit mit einer kleinen Anzahl von Hochgeschwindigkeits-Trunk-Ports. Das Routing beginnt am Verteilungs-/Aggregationslayer dieser Netzwerktopologie, sobald Daten aus der Zugangsebene übertragen werden. Die Konfiguration der Firewall, des Lastausgleichs und anderer Maßnahmen zur Sicherheit erfolgt am Aggregationslayer. Der Aggregations-/Verteilungslayer dient dazu, das Verkabelungskonzept im Rechenzentrum zu vereinfachen und zu straffen, um das Management zu erleichtern. Switches, die auf der Aggregationsebene installiert sind, müssen die Speicherung einer größeren Anzahl von MAC-Adressen in der MAC-Adressentabelle ihres Speichers unterstützen. Während die Zugangsebene mit L2-Datenverkehr arbeitet, verarbeitet die Verteilungsschicht sowohl L2- als auch L3-Datenverkehr.
Zugangsebene
Diese Ebene besteht aus Switches, die auf L2 arbeiten. Server und Arbeitsstationen sind mit den Switches der Zugriffsebene verbunden. VLANs (Virtual Local Area Network) werden in der Regel eingesetzt, um L2-Broadcast-Domänen voneinander zu trennen, um so den Broadcast-Verkehr zu reduzieren und die Sicherheit zu erhöhen.
Um Engpässe zu vermeiden, werden näher am Netzwerkkern Verbindungen mit höherer Bandbreite verwendet. Beispielsweise sind Server von 10-Gbit/s-Netzwerkschnittstellen mit den Access-Switches verbunden, Access-Switches sind von 10-Gbit/s-Schnittstellen mit den Aggregations-Switches verbunden, und Switches/Router der Aggregationsschicht sind von 100-Gbit/s-Verbindungen mit den Switches/Routern des Netzwerkkerns verbunden. In diesem Fall kann Link-Aggregation genutzt werden, um die Bandbreite und Redundanz zu erhöhen. Der gesamte Datenverkehr von den Servern wird an die Uplinks weitergeleitet. An der Spitze der Hierarchie dieser Netzwerktopologie befindet sich eine Reihe intelligenter Netzwerkgeräte, die den Spitznamen „God Boxes“ tragen. „God Boxes“ sind für das Routing und alle anderen Dienste zuständig. Die hierarchische Netzwerktopologie ermöglicht den Aufbau eines modularen Netzwerks.
In der im vorherigen Diagramm dargestellten Netzwerktopologie führt der Ausfall einer Verbindung zum Ausfall des betreffenden Netzwerksegments. Aus diesem Grund werden bei diesem Topologietyp auf jeder Netzwerkschicht reservierte Kanäle und Redundanz eingesetzt (siehe folgendes Schema). Der Ausfall eines Geräts oder einer Verbindung führt zwar zu Leistungseinbußen, das Netzwerk bleibt jedoch funktionsfähig. Diese redundante Netzwerktopologie erfordert in der Regel STP (Spanning Tree Protocol).
Wartung. Wenn Sie einige der Netzwerkgeräte in dieser dreistufigen Netzwerktopologie vom Netz trennen, um Software-Updates durchzuführen oder andere Wartungsaufgaben zu erledigen, verschlechtert sich die Leistung des Netzwerks. Einige Dienste können vorübergehend nicht verfügbar sein.
Skalierbarkeit. Die Anzahl der auf Servern ausgeführten Dienste wächst von Jahr zu Jahr, und das Datenverkehrsvolumen steigt entsprechend an. Diese Situation erfordert eine Aufrüstung und Erhöhung der Netzwerkbandbreite im MSP-Netzwerk. Die Erhöhung der Netzwerkbandbreite in einem klassischen Rechenzentrum erforderte in der Regel Folgendes:
- Erweiterung der LAG-Verbindungen (Link Aggregation)
- Anschaffung von Netzwerkkarten
- Falls keine Steckplätze für den Einbau von Netzwerkkarten verfügbar sind, Anschaffung neuer Server oder entsprechender Geräte
Wenn Sie ein neues Server-Rack (Rack-Schrank) als neues Modul in Ihrem Rechenzentrum hinzufügen müssen, können Sie die Netzwerkbandbreite zu diesem Rack und den darin installierten Servern erhöhen. Diese Art von Netzwerktopologien kann aufgrund von L2-Protokollfunktionen wie „ STP “ und „ MSTP (Multiple Spanning Tree Protocol)“ kein hohes Maß an Verbindungsreservierung und Redundanz gewährleisten.
Die klassische dreistufige Netzwerktopologie in einem Rechenzentrum lässt sich mit den „End of Row“- und „Top of Rack“-Konzepten kombinieren. Das „Top of Rack“-Verbindungsschema ist mittlerweile beliebter. Dieser Name wird verwendet, da Server und Switches an jedem Rack mit dem Haupt-Switch verbunden sind. Die „Top-of-Rack“-Switches (ToR-Switches) sind mit Switches/Routern der höheren Ebenen im MSP-Netzwerk verbunden. ToR-Switches unterscheiden sich von User-Edge-Switches und verfügen über mehrere zusätzliche Hochgeschwindigkeits-Uplink-Ports (z. B. 10-Gbit/s-Ports) sowie eine hohe Anzahl an Ports zum Verbinden von Servern. ToR-Switches werden paarweise installiert, um Redundanz zu gewährleisten und die Wartung der Switches zu ermöglichen. Die Vorteile dieses ToR-Verbindungsschemas liegen in den kürzeren Kabellängen bei der Verkabelung von Geräten innerhalb eines Racks sowie zwischen den Racks. Als ToR-Switches werden in der Regel Access-Switches der mehrschichtigen hierarchischen Netzwerktopologie eingesetzt.
Datenflussrichtung
Die zuvor erläuterten Nachteile sind nicht allzu gravierend, und ein Rechenzentrumsnetzwerk kann bei ordnungsgemäßer Verwaltung erfolgreich funktionieren. Die Umstellung von L2 auf L3 in einem Teil des Netzwerks trägt zur Lösung einer Reihe von Problemen bei. Es gibt noch eine weitere Funktion, die damit zusammenhängt, wie sich Rechenzentren weiterentwickelt haben und wie Anwendungen heute anders laufen als früher. In den 2000er Jahren wurden Anwendungen mit einer zentralisierten Architektur erstellt, und Anwendungen der Client-Server-Architektur waren in erster Linie monolithisch . Das bedeutet, dass sich die Komponenten einer Anwendung auf einem einzigen Server befinden konnten. Infolgedessen wurde in unserem Diagramm die Benutzeranfrage von der obersten Ebene des Netzwerks gesendet, und die von der Anwendung generierte Anfrage wurde von der untersten Serverebene zurück an die oberste Ebene des Netzwerks gesendet. Die Benutzeranfrage wurde auf einem einzigen Host bearbeitet. Der horizontale (Ost-West-)Datenverkehr zwischen den Hosts war minimal, während der Nord-Süd-Datenverkehr bevorzugt wurde. Die hierarchische, mehrschichtige, traditionelle Netzwerktopologie, die für MSP-Netzwerke in Rechenzentren verwendet wird, erfüllt diese Anforderungen. Im Laufe der Zeit wurden jedoch bei der Entwicklung von Anwendungen neue Architekturen bevorzugt.
N-Tier-Schichtarchitektur. Anwendungskomponenten sind auf mehrere Schichten verteilt, zum Beispiel die Logikschicht, die Präsentationsschicht und die Datenschicht. Webanwendungen, die aus mehreren Komponenten bestehen, erfordern, dass diese Komponenten auf verschiedenen Servern ausgeführt werden, beispielsweise auf einem Webserver, einem Anwendungsserver und einem Datenbankserver. Anwendungskomponenten, die auf mehreren Servern laufen, interagieren über ein Netzwerk miteinander.
Die Microservice-Architektur geht davon aus, dass die Komponenten einer Anwendung (Services) in separaten, logisch isolierten Containern ausgeführt werden, die über ein Netzwerk miteinander verbunden sind. Container kann auf verschiedenen Hosts in Clusterausgeführt werden. Diese Architektur ist hoch skalierbar und wird heutzutage häufig in Clouds eingesetzt.
Darüber hinaus arbeiten Rechenzentren mittlerweile mit Big Data, großen Datenbanken, Analysen, kontextbezogener Werbung, auf künstlicher Intelligenz basierenden Anwendungen und anderer Software, die eine Vernetzung mit mehreren Servern, Speicher-Arrays, Virtuellen Maschinen oder Containern erfordert. Anwendungskomponenten sind auf mehrere Server oder VMs im Rechenzentrum verteilt.
Infolgedessen ist der Ost-West-Verkehr im MSP-Netzwerk höher als der Nord-Süd-Verkehr. Der interne Datenverkehr in einem Rechenzentrumsnetzwerk (Intra-DC-Verkehr) ist höher als der Datenverkehr von/zu einem externen Nutzer, der eine Anfrage an das Rechenzentrum sendet. Nicht zu vergessen ist der interne Datenverkehr zwischen Speichersystemen, Datenbankreplikation, zum Backup und anderen Serviceaktivitäten, die das Netzwerk in einem Rechenzentrum nutzen.
In den folgenden Diagrammen sehen Sie eine grafische Darstellung des wachsenden internen Datenverkehrs in MSP-Netzwerken innerhalb von Rechenzentren in den letzten Jahren. Der Trend zeigt, dass der Intra-DC-Verkehr stärker zunimmt als der ein- und ausgehende Datenverkehr.
Traditionelle Netzwerke, die auf der klassischen hierarchischen dreistufigen Netzwerktopologie basieren, sind zwar zuverlässig, aber nicht optimal auf laterale Datenflüsse ausgelegt. Dies liegt an der Fokussierung auf L2-Vernetzung und Nord-Süd-Datenverkehr.
Clos-Netzwerktopologie
Das Clos-Netzwerk wurde ursprünglich 1938 von Edson Erwin erfunden. Im Jahr 1953 beschloss Charles Clos, nicht blockierende Vermittlungsnetzwerke in Telefoniesystemen einzusetzen, um die Kommunikation im Vergleich zum Kreuzschienen-Vermittlungsschema rationeller zu gestalten. Bei Arrays mit einer geringen Anzahl von Verbindungen, Ein- und Ausgängen erscheint das Verbindungsschema auf den ersten Blick komplex. Allerdings ist das Clos-Netzwerk aufgrund einer geringeren Anzahl von Verbindungspunkten weniger komplex, wie aus der folgenden Formel hervorgeht: 6n^(3/2)-3n . Diese Tatsache wird ab 36 Verbindungsknoten deutlich. 
Wenn m die Anzahl der Eingangsschalter und n die Anzahl der Ausgangsschalter ist, dann werden die Blockierungseigenschaften des Clos-Netzwerks mithilfe der folgenden Formel berechnet. Nach dem Clos-Theorem ist ein Clos-Netzwerk streng nicht blockierend, wenn die Anzahl der Schalter der zweiten Stufe m ≥ 2n−1 gilt.
Ein blockierendes Netzwerk ist ein Netzwerk, in dem es unmöglich ist, einen Kommunikationspfad von einem freien Eingangsport zu einem freien Ausgangsport zu finden.
Das nichtblockierende Netzwerk ist ein Netzwerk, in dem immer ein Pfad zum Verbinden eines beliebigen Eingangs- und Ausgangsports existiert. Nichtblockierende Netzwerke entstehen durch Hinzufügen einer zusätzlichen Kommutationsstufe.
Das umkonfigurierbare nichtblockierende Netzwerk ist ein Netzwerk, in dem alle möglichen Pfade zum Verbinden aller Eingangs- und Ausgangsports neu angeordnet werden können.
Ende der 1990er Jahre gewann das Konzept der Clos-Netzwerke mit der Weiterentwicklung der Telekommunikationstechnologien und Computernetzwerke wieder an Bedeutung. Es besteht die Notwendigkeit, dass alle Knoten innerhalb der Netzwerkstruktur miteinander kommunizieren und, wenn möglich, keine vollständige Maschen-Topologie verwendet wird, wenn alle Geräte miteinander verbunden sind. Zur Verbindung der Netzwerkgeräte wurde eine neue Kommunikationsschicht hinzugefügt. Infolgedessen wurde das Clos-Netzwerkkonzept in einer neuen Form wiederbelebt. Auf der folgenden Abbildung sehen Sie ein typisches Schema des Clos-Netzwerks mit Baumstruktur.
Um das Ansehen des Clos-Netzwerks übersichtlicher zu gestalten, passen wir es an die weit verbreitete „ Leaf-Spine “-Ansicht an, indem wir die linke und rechte Seite des Schemas einklappen. Diese Netzwerktopologie ist als „ Leaf-Spine“, „ Folded Clos“ und „3-stage Clos network“ bekannt (siehe folgende Abbildung).
Die Spine-Ebene. Spine-Switches dienen dazu, alle Leaf-Switches in der Full-Mesh-Netzwerktopologie miteinander zu verbinden. Die Spine-Ebene ersetzt bis zu einem gewissen Grad die Aggregationsebene, die in der traditionellen dreistufigen hierarchischen Netzwerktopologie verwendet wird. Die Spine-Ebene ist jedoch kein direktes Äquivalent zur Aggregationsebene. Die Hauptaufgabe der Spine-Ebene ist die schnelle Übertragung von Daten von einem Leaf zu einem anderen. Geräte sind nicht mit Spine-Switches verbunden.
Die Leaf-Ebene. In diesem Modell sind Server oder andere Geräte im Rechenzentrum mit den Leaf-Switches verbunden. Alle Leaf-Switches sind mit allen Spine-Switches verbunden. Dadurch entsteht eine große Anzahl von Netzwerkverbindungen mit gleicher Bandbreite zwischen allen Servern. Zwischen Spine- und Leaf-Switches bestehen L3-Verbindungen (L3 im OSI-Modell). Wenn Datenverkehr im Netzwerk von der Quelle zum Ziel übertragen wird, ist die Anzahl der Hops immer gleich (beispielsweise sind drei Hops erforderlich, um Daten zwischen beliebigen Servern innerhalb des zweistufigen Netzwerks leaf-spine gemäß dem folgenden Schema zu übertragen). Die Latenz ist vorhersehbar und gering. Die Netzwerkkapazität wird zudem erhöht, da nun kein STP mehr verwendet werden muss. Wenn STP für redundante Verbindungen zwischen Switches verwendet wird, kann jeweils nur eine Verbindung aktiv sein.
In der leaf-spine Netzwerktopologie kann das Equal-Cost Multipath (ECMP) Routing-Protokoll verwendet werden, um den Datenverkehr auszugleichen und Netzwerkschleifen zu verhindern (für L3-Netzwerkverbindungen). Auch die Protokolle BGP, OSPF, EIGRPund ISIS können verwendet werden.
Dieses Netzwerkkonzept wird auch als mehrschichtige fat-tree Netzwerktopologie bezeichnet. Die Idee besteht darin, Engpässe in den oberen Schichten des Baums (nahe der Baumwurzel) zu vermeiden und zusätzliche Verbindungen hinzuzufügen, um die Bandbreite in diesen Segmenten zu erhöhen. Dadurch ergibt sich eine zunehmende Verbindungskapazität in Richtung der Wurzel. Das fat tree ist ein Sonderfall des Clos-Netzwerks. Das dreistufige Clos-Netzwerk wird nach dem „Folding“ in ein zweistufiges leaf-spine Netzwerk umgewandelt. Leaf-Switches oder Leaf-Edge-Switches/-Router können für den Zugriff auf externe Netzwerke und andere Rechenzentren verwendet werden.
Vorteile der leaf-spine Netzwerktopologie
Die leaf-spine Netzwerktopologie bietet gegenüber der Access-Aggregation-Core-Netzwerktopologie eine Reihe von Vorteilen. Diese Vorteile sind der Grund für den Einsatz der leaf-spine Netzwerktopologie in einem Rechenzentrum.
Optimierte Verbindungen. Verbindungen mit hoher Bandbreite zwischen Geräten sind optimal für den Ost-West-Verkehr. Es gibt keine ungenutzten Verbindungen (da L3 anstelle von L2 verwendet wird). ECMP wird für hohe Effizienz empfohlen, und STP ist nicht erforderlich.
Zuverlässigkeit. Der Ausfall eines Geräts oder die Unterbrechung einer Verbindung führt nicht zu nennenswerten negativen Auswirkungen oder Nachteilen. Fällt der ToR-Switch aus, der als Leaf-Switch fungiert, ist das entsprechende Rack betroffen. Fällt ein Spine-Switch aus, verschlechtert sich die Netzwerkbandbreite, jedoch nicht wesentlich im Vergleich zur traditionellen hierarchischen 3-Tier-Netzwerktopologie. Die Bandbreitenverringerung bei der Spine-Leaf-Topologie beträgt 1/n , wobei n die Anzahl der Spines ist. Die Bandbreitenverringerung bei der hierarchischen Topologie beträgt 50% in diesem Fall.
Hohe Skalierbarkeit. Sie können neue Leaves hinzufügen, solange noch freie Ports an den Spines verfügbar sind. Durch Hinzufügen neuer Spines können Sie die Anzahl der Uplinks der Leaves erhöhen. Fügen Sie Edge-Switches/Router hinzu, um die Bandbreite zu externen Netzwerken zu erhöhen. Der traditionelle Ansatz zur Erhöhung der Bandbreite und zum Verbinden weiterer Server bei einer hierarchischen Netzwerktopologie mit Baumstruktur besteht darin, mehr Netzwerkkarten mit mehr Ports, Netzwerkgeräte mit schnelleren Netzwerkschnittstellen und generell leistungsstärkere Hardware hinzuzufügen. Dieser traditionelle Ansatz wird als „ “ („Scale-up“ ) oder „ “ („vertikale Skalierung“ ) bezeichnet.
Bei Verwendung der Netzwerktopologie „ leaf-spine “ in Rechenzentren und für MSP-Netzwerke können Sie eine zusätzliche Ebene von Spines hinzufügen. Dieser Ansatz wird als horizontale Skalierbarkeit oder Skalierung in die Breite bezeichnet. Das Hinzufügen eines typischen Netzwerkgeräts wie eines Switches oder Routers erhöht die Skalierbarkeit linear.
WARTUNG. Sie können Spines zur Wartung oder zum Austausch problemlos vom Netzwerk trennen. Wartungsarbeiten an Spines sind im Vergleich zu „God Boxes“ risikolos, da Spines keine intelligenten Funktionalitäten besitzen und die Bandbreitenverringerung nach dem Trennen minimal ist.
Mehrstufiges Clos-Netzwerk
Im vorherigen Abschnitt habe ich das dreistufige Clos-Netzwerk mit den Stufen „Input Switch“, „Middle Switch“ und „Output Switch“ erläutert. Da Geräte auf der Eingangs- und Ausgangsstufe zum Empfangen bzw. Senden von Daten verwendet werden, lässt sich das Netzwerkschema von einer mittleren Linie, die aus einer zweistufigen leaf-spine Netzwerktopologie besteht, zusammenfassen. Sie können weitere Stufen hinzufügen und ein mehrstufiges Clos-Netzwerk aufbauen, um mehr Netzwerkgeräte an dieses Netzwerk zu verbinden. In diesem Fall gibt es fünf Stufen: Eingangs-Switch, Mittel-Switch 1, Mittel-Switch 2, Mittel-Switch 3, Ausgangs-Switch.
In der folgenden Abbildung sehen Sie das ursprüngliche Schema des fünfstufigen, nicht blockierenden Clos-Netzwerks nach der Neuanordnung der blauen und grünen Blöcke. Es gibt auch die gefaltete Ansicht unter leaf-spine oder die Ansicht unter fat-tree (4,3) (da das Schema unter leaf-spine vier Spine-Switches und drei Stufen enthält), aber schauen wir uns Schritt für Schritt an, wie Geräte an das 5-stufige Clos-Netzwerk verbunden werden. Eine Clos-Netzwerktopologie mit mehr als fünf Stufen ist unüblich und wird in der Praxis nicht verwendet, da die Anzahl der Verbindungen zu groß ist.
Nach der Drehung des ursprünglichen Schemas des fünfstufigen Clos-Netzwerks um 90 Grad im Uhrzeigersinn erhalten Sie das traditionelle Ansehen mit Eingangs- und Ausgangsschaltern sowie drei Stufen von Mittelschaltern. Zeichnen wir nun die Faltlinie über die Mittelschalter in der Mitte des Schemas, um die gefaltete Ansicht des fünfstufigen Clos-Netzwerks zu erstellen. 
Nach dem Zusammenklappen des Schemas erhalten Sie die zusammengeklappte Ansicht oder die „ leaf-spine “-Ansicht dieser Art von Netzwerktopologien (siehe das folgende Schema). Es gibt vier einzelne Gruppen, die als Lieferpunkte (PODs) fungieren. Der POD ist die universelle Einheit für den Aufbau von Rechenzentren. PODs sind mit den Spines der ersten Ebene verbunden. Wenn Sie Ihr Rechenzentrum erweitern oder weitere Server/Netzwerkgeräte hinzufügen möchten, fügen Sie neue PODs hinzu und verbinden Sie diese mit der Netzwerkstruktur. Die Spines eines PODs sind über Spines der zweiten Ebene mit den Spines anderer PODs verbunden. Dabei sind nicht alle L1-Spines mit allen L2-Spines verbunden, sondern durch Ebenen unterteilt.
In der folgenden Abbildung gibt es zwei Ebenen – Plane 0 und Plane 1 . Dieses Konzept wird aufgrund der begrenzten Anzahl von Ports an den Spines verwendet, da in diesem Fall die Erstellung einer vollständig verbundenen Netzwerktopologie nicht möglich ist. In der folgenden Abbildung verfügt jeder Spine über maximal 4 Ports. Gemäß der Grundidee basiert das nicht blockierende Clos-Netzwerk auf denselben Elementen (4-Port-Switches, wie unten dargestellt).
Auf den ersten Blick können Begriffe wie „Clos“, „ folded Clos, leaf-spine“ und „ fat tree“ verwirrend sein. Lassen Sie mich diese Begriffe näher erläutern.
„Clos“ oder „ “ „Clos-Netzwerk“ ist der Begriff, der die theoretische Grundlage des Clos-Netzwerk-Topologietyps abdeckt.
Folded Clos ist eine anschaulichere Darstellung des Clos-Netzwerks, bei der Ein- und Ausgänge die gleiche Rolle spielen und sich am selben Standort befinden.
Leaf-spine ist eine auf dem Clos-Netzwerkschema basierende Netzwerktopologie, die in der Praxis in Rechenzentren zum Aufbau von Netzwerken, einschließlich MSP-Netzwerken, verwendet wird.
Fat tree wird üblicherweise als eine Variante des Clos-Netzwerks bezeichnet. Dieser Begriff ist am verwirrendsten, da in einigen Artikeln das fat tree als das klassische Access-Aggregation-Core-Netzwerk bezeichnet wird. Ich beziehe mich auf das RFC 7938-Dokument, in dem es heißt, dass das fat tree auf der folded Clos Netzwerktopologie basiert.
Berechnungen
Sie können die Anzahl der Core-Switches, Edge-Switches, die insgesamt benötigten Switches sowie die Gesamtzahl der Hosts, die an das Netzwerk der ausgewählten Konfiguration verbunden werden können, mithilfe folgender Formeln berechnen, wobei:
k die Anzahl der Ports im Switch ist
L die Anzahl der Ebenen in der leaf-spine (fat tree) Netzwerktopologie ist
Der wichtigste Parameter, den Sie vor dem Aufbau Ihres Netzwerks berechnen sollten, ist die Anzahl der unterstützten Hosts. Die Konfiguration unter fat-tree lässt sich wie folgt schreiben: FT(k, L). Beispielsweise ist FT(32,3) ein dreistufiges Netzwerk unter fat-tree mit 32-Port-Switches. Sie können diesen Link Kostenloser Rechner für Clos-Netzwerke nutzen, der auch das Visualisierungsschema für die ausgewählte Konfiguration generiert.
Sie können berechnen, dass bei einem Netzwerkschema gemäß fat-tree mit 2 Ebenen und 8 Ports pro Switch 32 Hosts an das Netzwerk verbunden werden können. Wenn Sie die Anzahl der Ports pro Switch erhöhen, steigt die Anzahl der unterstützten Hosts auf 512. Wie Sie sehen, hängt die Anzahl der verbundenen Hosts von der Anzahl der Ports an jedem Switch ab. Wenn Sie das fat tree bei 2 Ebenen belassen (das 3-stufige Clos-Netzwerk) und die Anzahl der Ports pro Switch erhöhen, steigt die Anzahl der Spines erheblich an. Sie können dieses Problem lösen, indem Sie dem fat treeeine weitere Ebene hinzufügen. Bei einem dreistufigen fat treekönnen Sie 128 Hosts verbinden, wenn die Anzahl der Ports pro Switch 8 beträgt.
Erhöhen Sie die Anzahl der Ports pro Switch auf 32, können Sie mit dieser Netzwerktopologie 8.192 Hosts verbinden. Diese Zahl ist bei einem 5-stufigen Clos-Netzwerk 16-mal höher als bei einem 3-stufigen Clos-Netzwerk. Berücksichtigen Sie die Einschränkungen des Server-Racks, wenn Sie den Aufstellungsplan für Server und Netzwerkgeräte im Rechenzentrum planen.
Zur Erstellung von nicht blockierenden Clos-Netzwerken werden ungerade Stufenzahlen verwendet (3, 5, 7 usw.). Das 2-stufige Clos-Netzwerk bietet keine nicht blockierende Konnektivität und keine Mehrfachverbindungen zwischen Switches.
In der folgenden Abbildung ist zu sehen, dass es im Falle eines zweistufigen Clos-Netzwerks nur einen Übertragungsweg gibt, um Server 1 und Server 2 zu verbinden. Nur ¼ der Ports sind verbunden, die anderen Ports sind nicht verbunden und blockieren den Datenfluss.
Die Überbelegungsrate ist das Verhältnis der Eingangsbandbreite zur Ausgangsbandbreite in Richtung von den unteren zu den höheren Schichten. Die Überbelegungsrate variiert in der Regel zwischen 2 und 4.
Beispiel: Ein Switch verfügt über 48 10-Gbit-Ports und 4 40-Gbit-Uplink-Ports. Die Gesamtbandbreite der Downlinks zu den Servern beträgt 48 × 10 = 480 Gbit/s. Die Gesamtgeschwindigkeit der Uplinks beträgt 4 × 40 = 160 Gbit/s. Das Übersubskriptionsverhältnis beträgt 480/160 = 4.
Wenn die Gesamtbandbreite für alle Downlink- und Uplink-Ports des Switches gleich ist, liegt keine Übersubskriptiierung vor, und es entstehen in diesem Fall keine Engpässe. Ein Übersubskriptionsverhältnis von 1:1 ist der Idealfall. Schätzen Sie den Datenverkehr in verschiedenen Richtungen ein, bevor Sie Switches mit der entsprechenden Geschwindigkeit und der richtigen Anzahl an Ports kaufen.
Switches mit einem Übersubskriptionsverhältnis von mehr als 1 werden häufig auf der Leaf-Ebene in Netzwerken mit der „ leaf-spine “-Netzwerktopologie eingesetzt. Auf der Spine-Ebene sollten Switches ohne Überbelegung verwendet werden. Switches auf der Leaf-Ebene in der Netzwerktopologie vom Typ „ leaf-spine “ werden in der Regel als ToR-Switches eingesetzt. Es ist jedoch möglich, Leaf-Switches als End-of-Row-Switches zu installieren.
Wesentliche Unterschiede
Beim Aufbau eines Netzwerks wirken sich einige Entscheidungen auf die Anordnung des Netzwerks aus. Hier sind einige Entweder-oder-Entscheidungen aufgeführt, die die Funktionalität des Netzwerks beeinflussen.
Top-of-Rack vs. End-of-Row
Das Top-of-Rack (ToR)-Netzwerkverbindungsschema in einem Rechenzentrum sieht vor, dass in jedem Rack ein oder mehrere Switches installiert werden. Zur Verbindung des Top-of-Rack-Switches mit anderen Netzwerkgeräten und Servern innerhalb des Racks werden kurze Patchkabel verwendet. ToR-Switches verfügen in der Regel über Hochgeschwindigkeits-Uplinks zu den Switches/Routern der übergeordneten Ebene und können über Glasfaserkabel verbunden werden. Der Vorteil besteht darin, dass bei Verwendung dieses Anschlussschemas für ein MSP-Netzwerk keine umfangreichen Kabelbündel von jedem Rack im Rechenzentrum verlegt werden müssen. Der Kabelverbrauch im Rechenzentrum wird durch die Verwendung des ToR-Schemas rationeller gestaltet. In diesem Fall entstehen geringere Kosten für die Verkabelung und es wird ein besseres Kabelmanagement ermöglicht. Sie können jedes Rack als einzelnes Modul verwalten, ohne andere Racks im Rechenzentrum zu beeinträchtigen, da nur die Server in einem Rack betroffen sind. Ungeachtet des Namens des Schemas können Sie einen Switch in der Mitte oder am unteren Ende jedes Racks montieren. „
“ Das „ “ „End of Row“ „ “ (EoR)-Netzwerkverbindungsschema liegt vor, wenn ein Server-Rack am Ende der Reihe Netzwerkgeräte enthält. Zu diesen Geräten gehört ein gemeinsamer Netzwerk-Switch, über den alle Server und sonstigen Geräte aller Server-Racks in der Reihe miteinander verbunden werden. Die Kabel der im EoR-Server-Rack installierten Netzwerkgeräte werden über Patchfelder, die in jedem Rack montiert sind, mit den Geräten in allen Racks der Reihe verbunden. Infolgedessen werden lange Kabel verwendet, um alle Netzwerkgeräte in einer Reihe miteinander zu verbinden. Werden redundante Netzwerkverbindungen genutzt, erhöht sich die Anzahl der Kabel zusätzlich. Dicke Kabelbündel können den Luftstrom zu den Geräten behindern.
Server-Racks sind in einem Rechenzentrum in der Regel als nebeneinander angeordnete Reihen aufgestellt. Eine Reihe kann beispielsweise 10 oder 12 Racks umfassen. Bei Verwendung des EoR-Verbindungsschemas für das MSP-Netzwerk in einem Rechenzentrum wird die gesamte Reihe als eine einzige Verwaltungseinheit betrachtet. In diesem Fall kommt das reihenbezogene Verwaltungsmodell zum Einsatz. Im EoR-Netzwerkverbindungsmodell werden weniger einzelne Switches benötigt. Die Flexibilität ist geringer, wenn Wartungsarbeiten oder Upgrades an Switches durchgeführt werden müssen, da mehr Geräte betroffen sind, wenn ein EoR-Switch vom Netz genommen wird. Trotz seines Namens kann ein Rack mit einem gemeinsamen Switch (oder Switches) in der Mitte der Reihe platziert werden.
Layer-2- vs. Layer-3-Verbindung
Die Entscheidung über die Verbindungen innerhalb eines Netzwerks ist eine Abwägung zwischen Zuverlässigkeit, Geschwindigkeit und Kosten sowie der zu erstellenden Topologie.
Beispielsweise gibt es Netzwerksegmente für die dreistufige Netzwerk-Topologie „Access-Aggregation-Core“ und die Leaf-Spine Topologie. Dort wird der Datenverkehr auf den Schichten L2 und L3 des OSI-Modells übertragen. Im hierarchischen dreistufigen Netzwerk arbeitet die Zugriffsebene auf L2, die Verteilungs-/Aggregationsebene aggregiert L2-Verbindungen und stellt L3-Routing bereit, während die Kernnetzwerkebene das Routing auf der dritten Schicht des OSI-Modells durchführt. Das Netzwerk der mehrschichtigen „ Leaf-Spine “-Topologie kann mithilfe von L2 mit VLANs und L3 mit IP-Routing und Subnetzen konfiguriert werden.
L2-Netzwerkgeräte sind kostengünstiger als L3-Netzwerkgeräte, doch gibt es einige Nachteile bei der Verwendung von L2-Netzwerken zum Verbinden von Geräten im MSP-Netzwerk eines Rechenzentrums. VLANs werden in der Regel verwendet, um Netzwerke, die dieselbe physische Umgebung nutzen, logisch voneinander zu trennen. Die maximale Anzahl von VLANs beträgt 4095 (abzüglich einiger reservierter VLANs wie 0, 4095, 1002-1005).
Ein weiterer Nachteil ist, wie bereits erwähnt, die Unmöglichkeit, redundante Verbindungen zu nutzen, wenn STP auf L2 eingesetzt wird. Dies liegt daran, dass jeweils nur eine Verbindung aktiv sein kann und die gesamte verfügbare Bandbreite aller Verbindungen nicht ausgeschöpft wird. Wenn die L2-Domäne mit STP groß wird, steigt die Wahrscheinlichkeit von Problemen aufgrund unsachgemäßer Verkabelung und menschlicher Fehler, und die Fehlerbehebung wird erschwert.
Eine L3-Netzwerkkonfiguration ermöglicht es Technikern, die Stabilität und Skalierbarkeit des MSP-Netzwerks und von Rechenzentrumsnetzwerken im Allgemeinen zu verbessern.
Die folgenden Netzwerkprotokolle helfen Ihnen beim Management des L3-Netzwerks und bei der Weiterleitung des Datenverkehrs.
BGP (Border Gateway Protocol) ist ein weit verbreitetes Protokoll für dynamisches Routing, das in vielen Unternehmen mit großen Rechenzentren als Standard gilt. BGP ist ein hochgradig skalierbares, erweiterbares und effizientes Protokoll.
ECMP (Equal Cost Multipath Routing) ist eine Netzwerk-Routing-Technologie, die den Datenverkehr mithilfe mehrerer optimaler Pfade verteilt, die durch Metriken auf der dritten Schicht des OSI-Modells definiert werden. ECMP wird in Verbindung mit Routing-Protokollen für den Lastausgleich in großen Netzwerken eingesetzt. Die meisten Routing-Protokolle, darunter BGP, EIGRP, IS-IS und OSPF, unterstützen die ECMP Technologie.
Versuchen Sie Immer, die fortschrittlicheren Netzwerkprotokolle zu verwenden. Beachten Sie jedoch, dass die Verwaltung der Netzwerke umso einfacher ist, je weniger Protokolle im Netzwerk zum Einsatz kommen.
Netzwerktopologie für NV und SDN
Neben der Hardware-Virtualisierung und der Nutzung von Virtuelle Maschinenhat sich auch die Netzwerkvirtualisierung mit einem anwendungsorientierten Ansatz durchgesetzt. Lösungen zur Netzwerkvirtualisierung (NV) wie VMware NSX, OpenStack-Netzwerke und Cisco ASI nutzen intensiv den Ost-West-Datenverkehr im physischen Netzwerk, und der Grund dafür, dass sich eine leaf-spine Netzwerktopologie für solche Netzwerkvirtualisierungslösungen eignet, ist, dass sie intensiv den Ost-West-Datenverkehr nutzen. Lesen Sie den Blogbeitrag über VMware NSX , um mehr über Netzwerkvirtualisierung zu erfahren.
Software-Defined Networking (SDN) wird zur Virtualisierung von Netzwerken eingesetzt, um eine effektive Ressourcennutzung, Flexibilität und eine zentralisierte Verwaltung zu gewährleisten. Dies ist eine optimale Lösung in einem virtualisierten Rechenzentrum, in dem mit dem Netzwerk verbundene Virtuelle Maschinen zum Einsatz kommen. Virtuelle Maschinen können migrieren zwischen Servern wechseln und erzeugen so East-West-Verkehr innerhalb des Rechenzentrums. SDN wird häufig in MSP-Netzwerken von MSPs eingesetzt, die IaaS (Infrastructure as a Service) anbieten.
Die Konfiguration softwaredefinierter Netzwerke ist effektiv, wenn die zugrunde liegende leaf-spine Netzwerktopologie mit dynamischem Routing, einer festen Anzahl von Hops, geringer, vorhersehbarer Latenz und einer Optimierung des Ost-West-Datenverkehrs für die Server-zu-Server-Kommunikation in einem Rechenzentrum genutzt wird.
VXLAN
VXLAN (Virtual eXtensible Local Area Network) ist ein verbessertes Netzwerkprotokoll, das anstelle von VLAN in Overlay-Netzwerken verwendet wird. L2-Tunnel werden unter Verwendung der zugrunde liegenden L3-Netzwerke (L3-Netzwerk-Underlay) erstellt, um L2-Netzwerkkonnektivität ohne die üblichen VLAN-Einschränkungen bereitzustellen. Mit VXLAN können Sie das L2-Netzwerk über das L3-Netzwerk konfigurieren. Die virtuelle Topologie kann sich von der physischen Netzwerktopologie des zugrunde liegenden Netzwerks unterscheiden.
VXLAN-Frames werden von dem MAC-in-UDP Kapselungsschema in IP-Pakete gekapselt. VNI entspricht der VLAN-ID. Die maximale Anzahl an VNI beträgt 2^24, also etwa 16 Millionen. VXLAN wird verwendet, um L2-Netzwerke in geografisch weitläufigen Umgebungen zu erstellen, beispielsweise wenn ein Netzwerk über zwei geografisch verteilte Rechenzentren hinweg aufgebaut werden soll.
Der Einsatz von VXLAN und Netzwerkvirtualisierung trägt dazu bei, die Größe der MAC-Adressentabelle für ToR-Switches zu optimieren. Dies liegt daran, dass die von VMs verwendeten MAC-Adressen und der damit verbundene L2-Datenverkehr mithilfe von VXLAN über ein L2-Overlay-Netzwerk übertragen werden. Dadurch werden die MAC-Tabellen der physischen Switches nicht überlastet. Die MAC-Adresstabellen der physischen Switches überschreiten nicht die maximal verfügbare Kapazität der Switches.
Fazit
Traditionell wurden Netzwerke in Rechenzentren anhand der klassischen dreistufigen Topologie „Access-Aggregation-Core“ aufgebaut. Angesichts der sich weiterentwickelnden modernen Client-Server- und verteilten Anwendungen, Microservices und anderer Software, die Quellen für Ost-West-Datenverkehr innerhalb von MSP-Netzwerken sind, wird die leaf-spine Netzwerktopologie, die auf dem Clos-Netzwerkkonzept basiert, in modernen Rechenzentren bevorzugt und ist eine der gängigsten Netzwerktopologien. Die leaf-spine Netzwerktopologie ist die beste Netzwerktopologie für große Rechenzentren, da diese Topologie äußerst zuverlässig und skalierbar ist. Bevor Sie ein Netzwerk in einem Rechenzentrum installieren, sollten Sie Berechnungen anstellen und den generierten Datenverkehr sowie die Workloads abschätzen. Berücksichtigen Sie dabei den Dienstverkehr wie beispielsweise Backup- und Replikationsverkehr im Netzwerk.
NAKIVO Backup & Replication ist eine leistungsstarke Backup-Software für virtuelle Maschinen, die VMware Cloud Director-Workloads, VMware-VMs, Hyper-V-VMs sowie physische Linux- und Windows-Rechner und Oracle-Datenbanken schützen kann. Managed Services Provider, die Infrastructure as a Service (IaaS), Backup as a Service (BaaS) und Disaster Recovery as a Service (DRaaS) anbieten, können NAKIVO Backup & Replication im Multi-Mandanten-Modus einsetzen. Laden Sie die kostenlose Testversion von NAKIVO Backup & Replication für Managed Services Provider unter </a> herunter, die den Multi-Mandanten-Installationsmodus unterstützt.
