初心者向けMSPネットワークトポロジー
マネージド・サービス・プロバイダー(MSP)にとって、高性能で拡張性の高いネットワークの構築は、成功の礎となります。前回の ブログ記事, 前回の記事では基本的なネットワークトポロジーの種類について解説しましたが、今回の記事では、サービスプロバイダー向けのより複雑なネットワークトポロジー、特にMSPネットワークで好まれるものについて詳しく見ていきます。このブログ記事を読んで、MSPのデータセンターに最適なネットワークトポロジーはどれか、そしてその理由について学びましょう。
従来の3層階層型ネットワーク
ソフトウェア定義ネットワーク(SDN)が一般的になる以前、データセンターのネットワークは階層的なツリー型ネットワークトポロジーに基づいていました。このトポロジーは、コア層、アグリゲーション層(またはディストリビューション層)、アクセス層という3つの主要な層に分かれています。 このトポロジーでは、サーバーはアクセス層のスイッチに接続されています。エッジルーターはコアに接続され、WAN(広域ネットワーク)やインターネットとの間のアクセスを提供します。以下の図に示すように、これらのルーターはコアとインターネットの間に配置されています。
ネットワークをデータリンク層(L2)やネットワーク層(L3)などに区分するOSI(オープン・システム相互接続)モデルにおいて、”アクセス・アグリゲーション・コア”というネットワークトポロジーは、図に示すように複数の層にまたがっています。
これら3つの層について、順に見ていきましょう。
コア層
ネットワークコア(コアネットワークとも呼ばれる)は、ネットワーク全体の中核をなす構成要素である。プライマリノードはコアに接続されている。コアネットワークは通常、メッシュネットワークトポロジーに基づいており、フルメッシュネットワークトポロジーの場合、コア内のすべてのノードが他のすべてのノードと接続されている。ネットワークコア内のスイッチやルーターは、高速リンク(バックボーン接続とも呼ばれる)で相互に接続されている。 ネットワークコアではルーターが使用されるため、コア層ではL3トラフィックが処理されます。
配信／集約層
これは、3層ネットワークトポロジーの下位層(L2で動作するアクセス層)から、より高帯域幅のリンクを使用してネットワークコア層(通常はL3で動作する)へのアップリンクを集約するために使用される中間層です。ディストリビューション層では、多数の低速ポートと少数の高速トランクポートを組み合わせます。 このネットワークトポロジーでは、データがアクセス層から転送されると、ディストリビューション／アグリゲーション層でルーティングが開始されます。ファイアウォール、ロードバランシング、その他のセキュリティ設定は、アグリゲーション層で設定されます。アグリゲーション／ディストリビューション層は、データセンター内の配線構成を簡素化し、管理の利便性を高めるために使用されます。 アグリゲーション層に設置されるスイッチは、メモリ内のMACアドレステーブルにより多くのMACアドレスを格納できる必要があります。アクセス層はL2トラフィックを処理するのに対し、ディストリビューション層はL2およびL3トラフィックを処理します。
アクセス層
この層は、L2で動作するスイッチで構成されています。サーバーやワークステーションは、アクセス層のスイッチに接続されています。通常、ブロードキャストトラフィックを削減し、セキュリティを強化するために、VLAN(仮想ローカルエリアネットワーク)を使用してL2ブロードキャストドメインを分離します。
ボトルネックを回避するため、ネットワークコアに近い場所では、より帯域の広いリンクが使用されます。 例えば、サーバーは10 Gbit/sのネットワークインターフェースを使用してアクセススイッチに接続され、アクセススイッチは10 Gbit/sのインターフェースを使用してアグリゲーションスイッチに接続され、アグリゲーション層のスイッチ／ルーターは100 Gbit/sのリンクを介してネットワークコアスイッチ／ルーターに接続されます。この場合、リンクアグリゲーションを使用して帯域幅と冗長性を高めることができます。 サーバーからのすべてのトラフィックはアップリンクに転送されます。このネットワークトポロジーの階層の最上位には、”ゴッドボックス”という愛称で呼ばれる一連のインテリジェントなネットワーク機器が配置されています。ゴッドボックスは、ルーティングおよびその他すべてのサービスを担当します。 階層型ネットワークトポロジーにより、モジュール式のネットワークを構築できます。
前の図に示したネットワークトポロジーでは、1つのリンクが障害を起こすと、そのネットワークセグメント全体が機能停止に陥ります。このため、この種のネットワークトポロジーでは、各ネットワーク層において予備チャネルと冗長性が採用されています(次の図を参照)。1つのデバイスやリンクが障害を起こしてもパフォーマンスは低下しますが、ネットワークは引き続き動作します。この冗長化されたネットワークトポロジーでは通常、 STP (Spanning Tree Protocol).
メンテナンス。 この3層ネットワークトポロジーの上にあるネットワーク機器の一部を、ソフトウェアの更新やその他のメンテナンス作業のために切断すると、ネットワークのパフォーマンスが低下します。一部のサービスが一時的に利用できなくなる場合があります。
拡張性。 サーバー上で稼働しているサービスの数は年々増加しており、それに伴いトラフィック量も増加しています。このような状況に対応するため、MSPネットワークのネットワーク帯域幅のアップグレードおよび拡張が必要となっています。従来のデータセンターにおいてネットワーク帯域幅を拡張するには、通常、以下の作業が必要でした:
- リンクアグリゲーション(LAG)接続の増加
- ネットワークカードの購入
- ネットワークカードを取り付けるための空きスロットがない場合は、新しいサーバーや関連機器を購入する必要があります。
データセンターに新しいモジュールとして新しいサーバーラック(ラックキャビネット)を追加する必要がある場合、そのラックおよびそこに設置されたサーバーへのネットワーク帯域幅を拡大することができます。この種のネットワークトポロジーでは、次のようなL2プロトコルの特性により、高レベルのリンク予約や冗長性を確保することはできません。 STP そして MSTP (Multiple Spanning Tree Protocol).
データセンターにおける従来の3層ネットワークトポロジーは、”End of Row(行末)”および”Top of Rack(ラック上部)”の設計と組み合わせることができます。現在では、”Top of Rack”接続方式の方がより一般的になっています。この名称が用いられるのは、サーバーやスイッチが各ラック上のメインスイッチに接続されているためです。 Top of Rackスイッチ(ToRスイッチ)は、MSPネットワークの上位階層にあるスイッチやルーターに接続されます。ToRスイッチはユーザーエッジスイッチとは異なり、複数の追加の高速アップリンクポート(10 Gbit/sポートなど)と、サーバーを接続するための多数のポートを備えています。ToRスイッチは、冗長性を確保し、スイッチのメンテナンスを可能にするために、ペアで設置されます。 このToR接続方式の利点は、ラック内およびラック間の機器を配線する際のケーブル長が短くなることです。多層階層型ネットワークトポロジーのアクセススイッチは、通常、ToRスイッチとして使用されます。
通行方向
前述の欠点はそれほど重大なものではなく、適切な管理を行えばデータセンターのネットワークは問題なく稼働します。ネットワークの一部でL2からL3へ移行することで、一連の問題の解決につながります。また、データセンターの進化や、アプリケーションの稼働方法が以前とは異なっていることに関連するもう1つの特徴があります。2000年代には、アプリケーションは集中型アーキテクチャを用いて構築されており、クライアント・サーバー型アーキテクチャのアプリケーションは主に モノリシック. つまり、アプリケーションの各コンポーネントは単一のサーバー上に配置される可能性があるということです。その結果、図に示すように、ユーザーのリクエストはネットワークの上層から送信され、アプリケーションによって生成されたリクエストは、サーバーの下層からネットワークの上層へと送り返されました。ユーザーのリクエストは単一のホスト上で処理されました。ホスト間の水平(東西)トラフィックは最小限に抑えられ、南北方向のトラフィックが主流となりました。 データセンター内のMSPネットワークで使用される、階層型の従来のマルチティア・ネットワークトポロジーは、これらの要件を満たしています。しかし、時が経つにつれて、アプリケーション開発においては新しいアーキテクチャが好まれるようになりました。
N層アーキテクチャ。 アプリケーションのコンポーネントは、ロジック層、プレゼンテーション層、データ層など、複数の層に分散されています。複数のコンポーネントを持つWebアプリケーションでは、これらのコンポーネントをWebサーバー、アプリケーションサーバー、および データベースサーバー. 複数のサーバー上で実行されているアプリケーションコンポーネントは、ネットワークを介して相互に通信します。
マイクロサービスアーキテクチャ アプリケーションの構成要素(サービス)は、ネットワークを介して相互に接続された、論理的に分離された個別のコンテナ内で実行されることを前提としています。 コンテナ では、異なるホスト上で実行できます クラスター. このアーキテクチャは拡張性に優れており、現在ではクラウド環境で広く採用されています。
さらに、データセンターでは現在、ビッグデータ、大規模データベース、アナリティクス、コンテキスト広告、人工知能(AI)に基づくアプリケーション、および複数のサーバー、ストレージアレイ、仮想マシン、あるいはコンテナとの相互接続を必要とするその他のソフトウェアが運用されています。 アプリケーションコンポーネントは、データセンター内の複数のサーバーや仮想マシン(VM)に分散配置されています。
その結果、MSPネットワークでは、南北方向のトラフィックよりも東西方向のトラフィックの方が多くなります。データセンターネットワーク内の内部トラフィック(DC内トラフィック)は、データセンターにリクエストを送信する外部ユーザーとの間のトラフィックよりも多くなります。ストレージシステム間の内部トラフィックについても忘れてはなりません。 データベースのレプリケーション、データのバックアップ、およびデータセンター内のネットワークを利用したその他のサービス業務。
以下の図は、ここ数年にわたるデータセンター内のMSPネットワークにおける内部トラフィックの増加傾向をグラフで示したものです。この傾向から、データセンター内のトラフィックは、入出トラフィックよりも速いペースで増加していることがわかります。
従来の階層型3層ネットワークトポロジーを用いて構築された従来のネットワークは、信頼性は高いものの、ラテラルなトラフィックの流れに対して最も合理的な形で対応できていません。これは、L2ネットワークとノース・サウス方向のトラフィックに重点が置かれているためです。
Closネットワークのトポロジー
クロース・ネットワークは、1938年にエドソン・アーウィンによって考案されました。 1953年、チャールズ・クロスは、クロスバー方式に比べ通信をより合理的に利用するため、電話システムにノンブロッキング・スイッチング・ネットワークを採用することを決定しました。相互接続数、入力数、出力数が少ないアレイでは、一見すると接続方式は複雑に見えます。しかし、次の式に示すように、接続点数が少ないため、クロース・ネットワークはそれほど複雑ではありません: 6n^(3/2)-3n. この事実は、接続エンドポイントが36個からになると明らかになります。
もし m は入力スイッチの数であり、 n を出力スイッチの数とする。この場合、Closネットワークのブロッキング特性は、次の式を用いて計算される。Closの定理によれば、Closネットワークは、第2段階のスイッチの数が m ≥ 2n−1.
ブロッキング・ネットワーク これは、空き入力ポートから空き出力ポートへの通信経路を見つけることが不可能なネットワークである。
ノンブロッキングネットワーク これは、任意の入力ポートと出力ポートを結ぶ経路が常に存在するネットワークである。ノンブロッキングネットワークは、追加の交換段を設けることで構築される。
再構成可能なノンブロッキング・ネットワーク すべての入力ポートと出力ポートを接続するすべての可能な経路を、自由に再配置できるネットワークのことである。
1990年代の終わり頃、通信技術やコンピュータネットワークの進化に伴い、クロースネットワークの概念が再び注目されるようになった。ネットワークファブリック内では、すべてのノードが相互に通信できることが求められており、可能であれば、すべてのデバイスを相互接続する際にフルメッシュトポロジーを使用しないことが望ましい。 ネットワーク機器を相互接続するために、新たな通信層が追加された。その結果、CLOSネットワークの概念は新たな形で復活した。次の図は、ツリー層構造を持つCLOSネットワークの典型的な構成を示している。
Closネットワークの概念を、広く用いられているものに修正してみましょう。 Leaf-Spine 図の左右両側を折りたたむと、より見やすくなります。このネットワークトポロジーは、 Leaf-Spine, Folded Clos、および3段階のClosネットワーク(次の図を参照)。
脊椎層。 スパインスイッチは、フルメッシュネットワークトポロジーにおいて、すべてのリーフスイッチを相互接続するために使用されます。スパイン層は、従来の3層階層型ネットワークトポロジーで使用されるアグリゲーション層を、ある程度置き換えるものです。しかし、スパイン層はアグリゲーション層と完全に同一のものではありません。スパイン層の主な役割は、あるリーフから別のリーフへデータを高速に転送することです。エンドポイントデバイスはスパインスイッチには接続されません。
葉の層。 このモデルでは、データセンター内のサーバーやその他のエンドポイントデバイスがリーフに接続されています。 すべてのリーフはすべてのスパインに接続されています。その結果、すべてのサーバー間で、等しい帯域幅を持つネットワーク接続が多数存在します。スパインとリーフの間にはL3接続(OSIモデルにおけるL3)が存在します。
ネットワーク内でトラフィックが送信元から宛先へ伝送される際、ホップ数は同じになります(例えば、2層構成内の任意のサーバー間でデータを転送するには3ホップが必要です)。 leaf-spine (以下の方式に基づくネットワーク)。遅延は予測可能で、かつ小さい。また、以下を使用する必要がないため、ネットワーク容量も向上する。 STP 今。いつ STP スイッチ間の冗長接続に使用されますが、一度にアクティブにできるリンクは1つだけです。
この leaf-spine ネットワークトポロジー、その Equal-Cost Multipath (ECMP) ルーティングプロトコルを使用することで、トラフィックの負荷分散やネットワークループの防止(L3ネットワーク接続の場合)が可能になります。BGP、OSPF、 EIGRP、ISISプロトコルも利用可能です。
このネットワークの概念は、マルチレイヤーとも呼ばれています。 fat-tree ネットワークトポロジー。その考え方は、ツリーの上位層(ツリーのルートに近い部分)におけるボトルネックを回避し、これらのセグメントにリンクを追加して帯域幅を拡大することにある。その結果、ルートに向かってリンク容量が増加していく。その fat tree は、クロース・ネットワークの特殊なケースである。3層のクロース・ネットワークは、2層の leaf-spine フォールディング後のネットワーク。外部ネットワークや他のデータセンターにアクセスするには、リーフスイッチ、あるいはリーフエッジスイッチ／ルーターを使用できます。
の利点 leaf-spine ネットワークトポロジー
その leaf-spine このネットワークトポロジーは、アクセス・アグリゲーション・コアのネットワークトポロジーに比べて、一連の利点をもたらします。この一連の利点が、このトポロジーを採用する理由となっています。 leaf-spine データセンターにおけるネットワークトポロジーの種類。
最適化された接続。 ネットワークデバイス間の帯域幅の広いリンクは、イースト・ウェスト・トラフィックに最適です。(L2の代わりにL3が使用されるため)未使用のリンクは存在しません。 ECMP 高い効率が期待できるため推奨され、 STP 必要ありません。
信頼性。 1台のデバイスの故障や1つのリンクの切断があっても、重大な悪影響や不利益が生じることはありません。リーフスイッチとして機能するToRスイッチが故障した場合、対応するラックに影響が及びます。スパインスイッチが故障した場合、ネットワークの帯域幅は低下しますが、従来の3層階層型ネットワークトポロジーと比較すると、その低下幅はそれほど大きくありません。スパイン・リーフトポロジーにおける帯域幅の低下は 1/n, そこで n は棘の数である。階層型トポロジーにおける帯域幅の低下は 50% この場合は。
高い拡張性。 スパインに空きポートがある限り、新しいリーフを追加できます。新しいスパインを追加することで、リーフのアップリンク数を増やすことができます。エッジスイッチやルーターを追加して、外部ネットワークへの帯域幅を拡大します。ツリー層の階層型ネットワークトポロジーにおいて、帯域幅を拡大し、より多くのサーバーを接続するための従来のアプローチは、ポート数の多いネットワークカードや、より高速なネットワークインターフェースを備えたネットワーク機器、そして全般的に高性能なハードウェアを追加することです。この従来のアプローチは 規模拡大 または 垂直スケーラビリティ.
以下の leaf-spine データセンターやMSPネットワークのネットワークトポロジーにおいては、スパイン層をさらに追加することができます。このアプローチは 水平スケーラビリティ または スケールアウト. スイッチやルーターなどの一般的なネットワーク機器を1台追加するだけで、スケーラビリティが直線的に向上します。
メンテナンス。 メンテナンスや交換の際は、スパインをネットワークから簡単に切り離すことができます。スパインにはインテリジェント機能が搭載されていないため、ゴッドボックスと比較してメンテナンス作業に伴うリスクは低く、また、切り離した後の帯域幅の低下も最小限に抑えられます。
多層型CLOSネットワーク
前のセクションでは、入力スイッチ、中間スイッチ、出力スイッチという3つのステージからなる3段階のClosネットワークについて説明しました。入力ステージと出力ステージのデバイスはデータの受信・送信に使用されるため、2層からなる中間ラインを用いることで、このネットワーク構成を折りたたむことができます。 leaf-spine ネットワークトポロジー。ステージを追加して、このネットワークにさらに多くのネットワークデバイスを接続するための多層型CLOSネットワークを構築することができます。この場合、ステージは”入力スイッチ”、”中間スイッチ1″、”中間スイッチ2″、”中間スイッチ3″、”出力スイッチ”の5つとなります。
以下の図は、青と緑のブロックを再配置した後の、5ステージ構成のノンブロッキング型CLOSネットワークの初期構成を示しています。また、折りたたまれた leaf-spine 表示、または fat-tree (4,3) ビュー(このステージには4つのスパインスイッチと3つのステージがあるため、 leaf-spine (スキーム)ですが、ここでは5段階のClosネットワークにデバイスを接続する方法を順を追って見ていきましょう。5段階を超えるClosネットワークのトポロジーは一般的ではなく、接続数が多すぎるため、実際には使用されません。
5段クロース回路の初期回路図を時計回りに90度回転させると、入力スイッチ、出力スイッチ、および3段の中間スイッチからなる従来の図が表示されます。回路図の中央にある中間スイッチを通る折り線を描き、5段クロース回路の折りたたみ図を作成してみましょう。
スキームを折りたたむと、折りたたんだ状態のビュー、あるいは leaf-spine この種のネットワークトポロジーの概要(下図を参照)。配信拠点(POD)として機能する4つの独立したグループが存在します。PODは、データセンターを構築するための基本単位です。PODは、第1レベルのスパインに接続されています。 データセンターを拡張したり、サーバーやネットワーク機器を追加したりする必要がある場合は、新しいPODを追加してネットワークファブリックに接続します。あるPODのスパインは、第2レベルのスパインを介して他のPODのスパインに接続されます。同時に、すべてのL1スパインがすべてのL2スパインに接続されているわけではなく、これらはプレーンによって分割されています。
プレーンは2つあり―― Plane 0 そして Plane 1 以下の構成に基づいています。この概念が採用されているのは、スパインのポート数が限られているためであり、この場合、完全接続型のネットワークトポロジーを構築することは不可能です。以下の構成では、各スパインのポート数は4つに制限されています。この基本構想によれば、ノンブロッキング・クロス・ネットワークは、同じ要素(以下に示す4ポートスイッチ)に基づいています。
一見すると、”クロ”といった用語に戸惑ってしまうかもしれませんが、 folded Clos, leaf-spine、および fat tree. これらの用語について、詳しく説明させてください。
クロ または Closネットワーク これは、Closネットワークトポロジー型の理論的基礎を包括する用語である。
Folded Clos これは、入力と出力が同じ役割を果たし、同じ場所に配置されているClosネットワークをより分かりやすく表したものです。
Leaf-spine これは、Closネットワーク方式に基づいたネットワークトポロジーであり、MSPネットワークを含むデータセンターでのネットワーク構築に実際に用いられています。
Fat tree 通常、クロース・ネットワークのバリエーションとして言及される。この用語は、一部の論文では fat tree 従来のアクセス・アグリゲーション・コアネットワークとして。RFC 7938の文書を参照すると、そこには次のように記載されています。 fat tree は、以下の folded Clos ネットワークトポロジー。
計算
以下の計算式を使用することで、選択した構成のネットワークに必要なコアスイッチ、エッジスイッチ、スイッチの総数、および接続可能なホストの総数を算出できます。計算式は以下の通りです:
k は、スイッチのポート数です
L は、のレベル数です。 leaf-spine (fat tree) ネットワークトポロジー
ネットワークを構築する前に算出しておくべき主なパラメータは、サポート対象のホスト数です。その fat-tree 設定は次のように記述できます。 FT(k, L). 例えば、 FT(32,3) は3段階の fat-tree 32ポートスイッチを備えたネットワーク。これを使用できます 無料の電卓 Closネットワークについては、選択した構成の可視化スキームも生成されます。
もしあなたの fat-tree ネットワーク構成が2階層で、スイッチ1台あたり8ポートある場合、32台のホストをネットワークに接続できます。スイッチ1台あたりのポート数を増やせば、サポート可能なホスト数は512台に増えます。ご覧のとおり、接続できるホストの数は各スイッチのポート数によって決まります。もし fat tree 2つのレベル(3段階のClosネットワーク)で構成し、スイッチあたりのポート数を増やすと、スパインの数が大幅に増加します。この問題は、ネットワークにさらに1つのレベルを追加することで解決できます。 fat tree. 3段階の fat tree, スイッチ1台あたりのポート数が8つの場合、128台のホストを接続できます。
スイッチあたりのポート数を32に増やせば、このネットワークトポロジーを使用して8192台のホストを接続できます。この5段階CLOSネットワークにおける接続台数は、3段階CLOSネットワークの16倍になります。 データセンター内でのサーバーやネットワーク機器の設置計画を立てる際は、サーバーラックの制限に留意してください。
ノンブロッキングなClosネットワークを構築するには、奇数のステージ数(3、5、7など)が使用されます。 2段階のClosネットワークでは、ノンブロッキング接続やスイッチ間の複数の接続は提供されません。
次の図から、2段階のClosネットワークの場合、サーバー1とサーバー2を接続する伝送経路が1つしかないことがわかります。ポートの4分の1しか接続されておらず、他のポートは接続されておらず、通信を遮断してしまいます。
超過申込率 これは、下位層から上位層へ向かう方向における、入力帯域幅と出力帯域幅の比率です。オーバーサブスクリプション比は通常、2から4の範囲で変動します。
例:あるスイッチには、10 Gビットポートが48個と、40 Gビットのアップリンクポートが4個あります。サーバーへのダウンリンクの合計帯域幅は、48×10＝480 Gビット/秒です。 アップリンクの合計速度は 4 × 40 = 160 Gbit/s です。オーバーサブスクリプション比は 480/160 = 4 となります。
スイッチのすべてのダウンリンクおよびアップリンクポートの合計帯域幅が等しい場合、そのスイッチはオーバーサブスクリプション状態ではなく、この場合はボトルネックが発生しません。 オーバーサブスクリプション比が1:1であることが理想的なケースです。スイッチを購入する前に、各方向のトラフィック量を推定し、適切な速度とポート数を備えたスイッチを選択してください。
オーバーサブスクリプション比が1を超えるスイッチは、ネットワークのリーフ層でよく使用されます。 leaf-spine ネットワークトポロジー。スパイン層では、オーバーサブスクライブされていないスイッチを使用する必要があります。リーフ層のスイッチについては、 leaf-spine ネットワークトポロジーのタイプとしては、通常、ToRスイッチが使用されます。ただし、リーフスイッチをEnd of Rowスイッチとして設置することも可能です。
本質的な違い
ネットワークを構築する際、その構成に影響を与える決定事項がいくつかあります。ここでは、ネットワークの機能に影響を与える”どちらか一方”を選択する決定事項をいくつか紹介します。
ラック上段 vs 列の端
その ラック上部 データセンターにおける(ToR)ネットワーク接続方式とは、各ラックに1台または複数のスイッチを設置する方式です。 ラック上部のスイッチと、ラック内の他のネットワーク機器やサーバーとの接続には、短いパッチケーブルが使用されます。ToRスイッチは通常、上位のスイッチやルーターへの高速アップリンクを備えており、光ファイバーケーブルで接続することも可能です。この接続方式をMSPネットワークに採用する利点は、データセンター内の各ラックから大量の太いケーブルを敷設する必要がないことです。 ToR方式を採用することで、データセンター内のケーブル使用はより合理化されます。この場合、配線コストを削減でき、ケーブル管理も改善されます。影響を受けるのは1つのラック内のサーバーのみであるため、データセンター内の他のラックに影響を与えることなく、各ラックを単一のモジュールとして管理できます。方式名とは異なり、スイッチは各ラックの中央や下部にも設置可能です。
その 行の終わり (EoR) ネットワーク接続方式とは、列の末端にあるサーバーラックにネットワーク機器を設置する方式です。この機器には、その列にあるすべてのサーバーラック内のサーバーやその他のデバイスを接続するための共通ネットワークスイッチが含まれます。EoR サーバーラックに設置されたネットワーク機器からのケーブルは、各ラックに取り付けられたパッチパネルを介して、その列のすべてのラック内のデバイスに接続されます。その結果、1 列内のすべてのネットワークデバイスを接続するために長いケーブルが使用されます。 冗長化されたネットワーク接続が採用される場合、ケーブルの数も増加します。太くまとまったケーブルの束は、機器への空気の流れを妨げる可能性があります。
データセンターでは、通常、サーバーラックが横一列に並べて配置されます。例えば、1列に10台または12台のラックが配置されることがあります。データセンター内のMSPネットワークでEoR接続方式を使用する場合、列全体が単一の管理単位と見なされます。この場合、列単位の管理モデルが採用されます。 EoRネットワーク接続モデルでは、必要な個々のスイッチの数が少なくて済みます。ただし、EoRスイッチの接続を切断すると影響を受けるデバイスが増えるため、メンテナンスやスイッチのアップグレードを行う際の柔軟性は低くなります。名称とは異なりますが、共通のスイッチ(複数可)を備えたラックを列の中央に配置することも可能です。
レイヤー2とレイヤー3の接続
ネットワーク内の接続方法を決定するには、信頼性、速度、コストに加え、構築するトポロジーも考慮した総合的な判断が必要となります。
例えば、3層構造の”アクセス・アグリゲーション・コア”ネットワークトポロジーには、それぞれのネットワークセグメントがあり、 Leaf-Spine トポロジー。そこでは、トラフィックはOSIモデルのレイヤ2およびレイヤ3で転送されます。階層型の3層ネットワークでは、アクセス層はレイヤ2で動作し、ディストリビューション／アグリゲーション層はレイヤ2のリンクを集約してレイヤ3のルーティングを行い、コアネットワーク層はOSIモデルの第3層でルーティングを行います。多層ネットワークの Leaf-Spine トポロジーは、L2ではVLANを、L3ではIPルーティングとサブネットを使用して構成できます。
L2ネットワーク機器はL3ネットワーク機器よりも安価ですが、データセンターのMSPネットワーク内でネットワーク機器を接続する際にL2ネットワークを使用する場合、いくつかのデメリットがあります。VLANは通常、同じ物理環境を使用するネットワークを論理的に分離するために使用されます。VLANの最大数は4095です(ただし、以下のような予約済みVLANを除きます)。 0, 4095, 1002-1005).
また、前述の通り、もう一つの欠点は、 STP L2で使用されます。これは、同時にアクティブにできるリンクが1つだけであり、すべてのリンクの利用可能な帯域幅が十分に活用されていないためです。そこで、以下のL2ドメインでは STP 規模が大きくなると、不適切な配線や人為的ミスによる問題が発生する確率が高まり、トラブルシューティングも困難になります。
L3ネットワーク構成により、エンジニアはMSPネットワークおよびデータセンターネットワーク全般の安定性と拡張性を向上させることができます。
以下のネットワークプロトコルは、L3ネットワークの管理やトラフィックのルーティングに役立ちます。
BGP(Border Gateway Protocol)は、動的ルーティングのためのプロトコルであり、広く使用されており、大規模なデータセンターを持つ多くの組織において標準と見なされています。BGPは、拡張性、拡張可能性、効率性に優れたプロトコルです。
ECMP (Equal Cost Multipath Routing) OSIモデルの第3層におけるメトリックによって定義される複数の最適経路を用いてトラフィックを分散させるために使用されるネットワークルーティング技術である。 ECMP ルーティングプロトコルは、大規模なネットワークにおける負荷分散に利用されます。BGPを含むほとんどのルーティングプロトコルは、 EIGRP, IS-IS, OSPF, 対応 ECMP 技術。
常に、より先進的なネットワークプロトコルを使用するよう心がけてください。ただし、ネットワークで使用するプロトコルが少ないほど、ネットワーク管理は容易になることを忘れないでください。
NVおよびSDNのネットワークトポロジー
ハードウェア仮想化に加え、以下の使用 仮想マシン、アプリケーション中心のアプローチによるネットワーク仮想化も普及してきています。VMware NSX、OpenStack ネットワーキング、Cisco ASI などのネットワーク仮想化(NV)ソリューションは、物理ネットワークにおけるイースト・ウェスト・トラフィックを集中的に利用しており、 leaf-spine こうした理由から、ネットワークトポロジーはネットワーク仮想化ソリューションに適しています。この件に関するブログ記事をご覧ください。 VMware NSX ネットワーク仮想化について詳しく知るには。
ソフトウェア定義ネットワーク(SDN)は、リソースの効率的な活用、柔軟性、および一元管理を実現するために、ネットワークを仮想化する技術です。これは、ネットワークに接続された仮想マシンが利用される仮想化データセンターにおいて、最適なソリューションとなります。仮想マシンは 移行する サーバー間で通信が行われ、データセンター内にイースト・ウエスト・トラフィックが発生します。SDNは、IaaS(Infrastructure as a Service)を提供するMSP(マネージド・サービス・プロバイダー)によるMSPネットワークで広く利用されています。
ソフトウェア定義ネットワークの設定は、基盤となる leaf-spine データセンター内のサーバー間通信向けに、動的ルーティング、固定ホップ数、予測可能な低遅延、および東西方向のトラフィック最適化を備えたネットワークトポロジー。
VXLAN
VXLAN(Virtual eXtensible Local Area Network)は、オーバーレイネットワークにおいてVLANの代わりに使用される改良されたネットワークプロトコルです。基盤となるL3ネットワーク(L3ネットワークアンダーレイ)を利用してL2トンネルを構築し、従来のVLANの制限を受けずにL2ネットワーク接続を実現します。VXLANを使用すると、L3ネットワーク上にL2ネットワークを構成することができます。 仮想トポロジーは、基盤となるネットワークの物理的なネットワークトポロジーとは異なる場合があります。
VXLANフレームは、 MAC-in-UDP カプセル化方式。 VNI これはVLAN IDに相当します。最大数は VNI は 2^24、つまり約 1,600 万です。VXLAN は、地理的に分散した環境において L2 ネットワークを構築するために使用されます。例えば、地理的に分散した 2 つのデータセンター間にネットワークを構築する必要がある場合などです。
VXLANとネットワーク仮想化を利用することで、ToRスイッチのMACアドレステーブルのサイズを最適化できます。これは、VMや関連するL2トラフィックで使用されるMACアドレスが、VXLANを利用したL2オーバーレイネットワークを介して転送されるためです。これにより、物理スイッチのMACテーブルに過度な負荷がかかることはありません。物理スイッチのMACアドレステーブルは、スイッチの最大テーブル容量を超過することはありません。
結論
従来、データセンターのネットワークは、従来の”アクセス・アグリゲーション・コア”という3層トポロジーを用いて構築されてきました。しかし、現代のクライアント・サーバー型アプリケーションや分散型アプリケーション、マイクロサービス、およびMSPネットワーク内でのイースト・ウエスト・トラフィックの発生源となるその他のソフトウェアが進化するにつれて、 leaf-spine Closネットワークの概念に基づいたネットワークトポロジーは、現代のデータセンターで好んで採用されており、最も一般的なネットワークトポロジーの一つです。その leaf-spine このトポロジーは信頼性と拡張性に優れているため、大規模データセンターには最適なネットワークトポロジーです。データセンターにネットワークを構築する前に、計算を行い、発生するトラフィックやワークロードを見積もってください。ネットワークにおいては、バックアップやレプリケーションなどのサービストラフィックも考慮に入れてください。
NAKIVO Backup & Replication これは、VMware Cloud Directorのワークロード、VMware仮想マシン、Hyper-V仮想マシン、さらには物理LinuxおよびWindowsマシン、Oracleデータベースを保護できる、強力な仮想マシン用バックアップソフトウェアです。インフラストラクチャ・アズ・ア・サービス(IaaS)、バックアップ・アズ・ア・サービス(BaaS)、ディザスタリカバリ・アズ・ア・サービス(DRaaS)を提供するマネージドサービスプロバイダーは、これを利用して NAKIVO Backup & Replication マルチテナントモードでインストールされます。の無料試用版をダウンロードしてください。 NAKIVO Backup & Replication MSP向け</a> マルチテナント型のインストールモードに対応しているもの。
