Cấu trúc mạng MSP dành cho người mới bắt đầu
Đối với các nhà cung cấp dịch vụ quản lý (MSP), việc xây dựng một mạng lưới có hiệu suất cao và khả năng mở rộng là yếu tố then chốt quyết định thành công. Trong bài viết trước trên blog bài viết trên blog, chúng tôi đã giới thiệu các loại cấu trúc mạng cơ bản; và trong bài viết này, chúng tôi sẽ phân tích các loại cấu trúc mạng phức tạp hơn dành cho các nhà cung cấp dịch vụ, bao gồm cả những loại được ưa chuộng trong mạng lưới của các MSP. Hãy đọc bài viết này để tìm hiểu cấu trúc mạng nào là phù hợp nhất cho trung tâm dữ liệu của một MSP, và lý do tại sao.
Mạng phân cấp 3 tầng truyền thống
Trước khi Mạng định nghĩa bằng phần mềm (SDN) trở nên phổ biến, các mạng trong trung tâm dữ liệu được xây dựng dựa trên cấu trúc mạng dạng cây phân cấp. Cấu trúc này được chia thành ba lớp chính: lớp lõi, lớp tổng hợp hoặc phân phối, và lớp truy cập. Trong cấu trúc này, các máy chủ được kết nối với các bộ chuyển mạch (switch) ở lớp truy cập. Các bộ định tuyến biên (edge router) được kết nối với lớp lõi để cung cấp kết nối từ/đến mạng diện rộng (WAN) và internet. Các bộ định tuyến này nằm giữa lớp lõi và internet theo sơ đồ dưới đây.
Theo mô hình OSI (Open Systems Interconnection), vốn chia mạng thành lớp liên kết dữ liệu (L2) và lớp mạng (L3), v.v., cấu trúc mạng Truy cập-Tập trung-Lõi trải dài qua các lớp, như được thể hiện trong hình vẽ.
Hãy xem xét lần lượt ba lớp này.
Lớp lõi
Lõi mạng (còn gọi là mạng lõi) là thành phần trung tâm của toàn bộ mạng. Các nút chính được kết nối với lõi. Mạng lõi thường dựa trên cấu trúc mạng lưới (mesh), nơi tất cả các nút đều kết nối với tất cả các nút khác trong lõi (đối với loại cấu trúc mạng lưới đầy đủ). Các bộ chuyển mạch và bộ định tuyến trong mạng lõi được kết nối với nhau bằng các liên kết tốc độ cao (còn được gọi là kết nối xương sống). Do sử dụng bộ định tuyến trong mạng lõi, lớp lõi hoạt động với lưu lượng L3.
Lớp phân phối/tập trung
Đây là lớp trung gian được sử dụng để tập trung các liên kết lên từ lớp dưới cùng của cấu trúc mạng ba lớp (lớp truy cập, hoạt động ở lớp 2) đến lớp lõi mạng (thường hoạt động ở lớp 3) thông qua các liên kết băng thông cao. Lớp phân phối kết hợp một số lượng lớn cổng tốc độ thấp với một số lượng nhỏ cổng trunk tốc độ cao. Quá trình định tuyến bắt đầu trên lớp phân phối/tập trung của cấu trúc mạng này khi dữ liệu được chuyển từ lớp truy cập. Tường lửa, cân bằng tải và các cấu hình bảo mật khác được thiết lập trên lớp tập trung. Lớp tập trung/phân phối được sử dụng để giảm thiểu và đơn giản hóa sơ đồ cáp trong trung tâm dữ liệu nhằm quản lý thuận tiện hơn. Các thiết bị chuyển mạch được cài đặt trên lớp tổng hợp phải hỗ trợ lưu trữ nhiều địa chỉ MAC hơn trong bảng địa chỉ MAC trong bộ nhớ của chúng. Trong khi lớp truy cập hoạt động với lưu lượng L2, lớp phân phối hoạt động với lưu lượng L2 và L3.
Lớp truy cập
Lớp này bao gồm các thiết bị chuyển mạch hoạt động trên L2. Các máy chủ và máy trạm được kết nối với các bộ chuyển mạch lớp truy cập. VLAN (mạng cục bộ ảo) thường được sử dụng để tách các miền phát sóng L2 nhằm giảm lưu lượng phát sóng và tăng cường bảo mật.
Để tránh tình trạng tắc nghẽn, các liên kết có băng thông lớn hơn được sử dụng ở khu vực gần lõi mạng hơn. Ví dụ: các máy chủ được kết nối với các thiết bị chuyển mạch truy cập bằng cách sử dụng các giao diện mạng 10 Gbit/s, các thiết bị chuyển mạch truy cập được kết nối với các thiết bị chuyển mạch tổng hợp bằng cách sử dụng các giao diện 10 Gbit/s, và các thiết bị chuyển mạch/bộ định tuyến của lớp tổng hợp được kết nối với các thiết bị chuyển mạch/bộ định tuyến lõi mạng qua các liên kết 100 Gbit/s. Trong trường hợp này, có thể sử dụng tổng hợp liên kết để tăng băng thông và độ dự phòng. Tất cả lưu lượng từ các máy chủ được chuyển đến các liên kết lên (uplinks). Có một bộ thiết bị mạng thông minh, được gọi là ‘god boxes’, nằm ở đỉnh của cấu trúc mạng này. God boxes chịu trách nhiệm định tuyến và tất cả các dịch vụ khác. Cấu trúc mạng phân cấp cho phép tạo ra một mạng mô-đun.
Trong cấu trúc mạng được hiển thị trong sơ đồ trước đó, sự cố của một liên kết dẫn đến sự cố của đoạn mạng đó. Vì lý do này, các kênh dự phòng và tính dự phòng được sử dụng cho loại cấu trúc mạng này (xem sơ đồ sau) trên mỗi lớp mạng. Sự cố của một thiết bị hoặc liên kết gây ra suy giảm hiệu suất, nhưng mạng vẫn tiếp tục hoạt động. Cấu trúc mạng dự phòng này thường yêu cầu STP (Spanning Tree Protocol).
Bảo trì. Nếu ngắt kết nối một số thiết bị mạng trên cấu trúc mạng 3 tầng này để cập nhật phần mềm hoặc thực hiện các tác vụ bảo trì khác, hiệu suất mạng sẽ giảm sút. Một số dịch vụ có thể tạm thời không khả dụng.
Khả năng mở rộng. Số lượng dịch vụ chạy trên máy chủ đang tăng lên hàng năm và lưu lượng truy cập cũng tăng theo. Tình huống này đòi hỏi phải nâng cấp và tăng băng thông mạng trong mạng MSP. Việc tăng băng thông mạng trong một trung tâm dữ liệu truyền thống thường yêu cầu các bước sau:
- Tăng số kết nối gộp liên kết (LAG)
- Mua thẻ mạng
- Nếu không có khe cắm trống để lắp đặt thẻ mạng, cần mua máy chủ mới hoặc thiết bị liên quan
Nếu bạn cần thêm một tủ máy chủ (rack) mới làm mô-đun trong trung tâm dữ liệu, bạn có thể tăng băng thông mạng đến tủ này và các máy chủ được lắp đặt trong tủ đó. Loại cấu trúc mạng này không thể đảm bảo mức độ dự phòng và dự trữ liên kết cao do các tính năng của giao thức L2 như STP và MSTP (Multiple Spanning Tree Protocol).
Cấu trúc mạng ba tầng cổ điển trong trung tâm dữ liệu có thể được kết hợp với các thiết kế End of Row (EOR) và Top of Rack (ToR). Hiện nay, sơ đồ kết nối Top of Rack đang phổ biến hơn. Tên gọi này được sử dụng vì các máy chủ và thiết bị chuyển mạch được kết nối với thiết bị chuyển mạch chính trên mỗi giá đỡ. Các bộ chuyển mạch Top of Rack (ToR) được kết nối với các bộ chuyển mạch/bộ định tuyến ở các cấp cao hơn trong mạng MSP. Bộ chuyển mạch ToR khác với bộ chuyển mạch biên người dùng, và có nhiều cổng uplink tốc độ cao (như cổng 10 Gbit/s) cùng số lượng cổng lớn để kết nối máy chủ. Bộ chuyển mạch ToR được lắp đặt theo cặp để đảm bảo dự phòng và thuận tiện cho việc bảo trì bộ chuyển mạch. Ưu điểm của sơ đồ kết nối ToR này là chiều dài cáp ngắn hơn khi đi dây các thiết bị trong một rack và giữa các rack. Các bộ chuyển mạch truy cập (Access switches) trong cấu trúc mạng phân cấp nhiều tầng thường được sử dụng làm bộ chuyển mạch ToR.
Hướng lưu lượng
Các nhược điểm đã được giải thích trước đó không quá nghiêm trọng, và mạng trung tâm dữ liệu có thể hoạt động thành công với quản trị đúng cách. Việc chuyển đổi từ L2 sang L3 trong một phần của mạng giúp giải quyết một số vấn đề. Có một đặc điểm khác liên quan đến cách trung tâm dữ liệu đã phát triển và cách các ứng dụng chạy ngày nay khác so với trước đây. Trong những năm 2000, các ứng dụng được tạo ra bằng kiến trúc tập trung, và các ứng dụng của kiến trúc máy khách-máy chủ chủ yếu là monolithic . Điều này có nghĩa là các thành phần của một ứng dụng có thể nằm trên một máy chủ duy nhất. Do đó, trong sơ đồ của chúng tôi, yêu cầu của người dùng được gửi từ đầu mạng, và yêu cầu do ứng dụng tạo ra được gửi từ cấp máy chủ dưới cùng trở lại đầu mạng. Yêu cầu của người dùng được xử lý trên một máy chủ duy nhất. Lưu lượng ngang (đông-tây) giữa các máy chủ là tối thiểu, và lưu lượng dọc (bắc-nam) được ưu tiên. Cấu trúc mạng truyền thống nhiều tầng phân cấp được sử dụng cho các mạng MSP trong trung tâm dữ liệu đáp ứng các yêu cầu này. Tuy nhiên, theo thời gian, các kiến trúc mới được ưa chuộng hơn khi phát triển ứng dụng.
Kiến trúc nhiều tầng N-tier. Các thành phần ứng dụng được phân phối trên nhiều tầng, ví dụ như tầng logic, tầng trình bày và tầng dữ liệu. Các ứng dụng web có nhiều thành phần yêu cầu các thành phần này phải chạy trên các máy chủ khác nhau, ví dụ như máy chủ web, máy chủ ứng dụng và máy chủ cơ sở dữ liệu. Các thành phần ứng dụng chạy trên nhiều máy chủ tương tác với nhau qua mạng.
Kiến trúc microservice giả định rằng các thành phần của một ứng dụng (các dịch vụ) chạy trong các container riêng biệt, được cách ly về mặt logic và kết nối với nhau qua mạng. Thùng chứa có thể chạy trên các máy chủ khác nhau trong cụm. Kiến trúc này có khả năng mở rộng cao và hiện nay được sử dụng rộng rãi trên nền tảng đám mây.
Ngoài ra, các trung tâm dữ liệu hiện nay hoạt động với Big Data, cơ sở dữ liệu lớn, phân tích, quảng cáo theo ngữ cảnh, các ứng dụng dựa trên trí tuệ nhân tạo và các phần mềm khác yêu cầu kết nối với nhiều máy chủ, mảng lưu trữ, máy ảo hoặc container. Các thành phần ứng dụng được phân tán trên nhiều máy chủ hoặc máy ảo (VM) trong trung tâm dữ liệu.
Do đó, lưu lượng đông-tây (east-west) cao hơn lưu lượng bắc-nam (north-south) trong mạng MSP. Lưu lượng nội bộ trong mạng trung tâm dữ liệu (intra-DC traffic) cao hơn lưu lượng từ/đến người dùng bên ngoài gửi yêu cầu đến trung tâm dữ liệu. Đừng quên lưu lượng nội bộ giữa các hệ thống lưu trữ, sao chép cơ sở dữ liệu, sao lưu dữ liệu và các hoạt động dịch vụ khác sử dụng mạng trong trung tâm dữ liệu.
Trên các sơ đồ sau, bạn có thể thấy biểu diễn đồ họa về sự gia tăng lưu lượng nội bộ trong các mạng MSP bên trong trung tâm dữ liệu trong vài năm qua. Xu hướng cho thấy lưu lượng intra-DC đang tăng trưởng nhanh hơn so với lưu lượng vào/ra.
Các mạng truyền thống, được xây dựng dựa trên kiến trúc mạng phân cấp ba tầng truyền thống, tuy đáng tin cậy nhưng không được tối ưu hóa một cách hợp lý nhất cho các luồng lưu lượng ngang. Điều này là do sự tập trung vào mạng L2 và lưu lượng north-south.
Cấu trúc mạng Clos
Ban đầu, mạng Clos được phát minh bởi Edson Erwin vào năm 1938. Năm 1953, Charles Clos quyết định sử dụng các mạng chuyển mạch không chặn trong hệ thống điện thoại để sử dụng thông tin liên lạc hợp lý hơn so với sơ đồ giao tiếp dạng thanh ngang. Với các mảng có số lượng kết nối, đầu vào và đầu ra thấp, sơ đồ kết nối này ban đầu có vẻ phức tạp. Tuy nhiên, mạng Clos ít phức tạp hơn do số điểm kết nối thấp hơn theo công thức: 6n^(3/2)-3n . Thực tế này trở nên rõ ràng khi bắt đầu từ 36 điểm kết nối. 
Nếu m là số lượng cổng chuyển mạch đầu vào và n là số lượng cổng chuyển mạch đầu ra, thì đặc tính chặn của mạng Clos được tính toán bằng công thức. Theo định lý Clos, một mạng Clos được gọi là không chặn tuyệt đối nếu số lượng cổng chuyển mạch cấp hai m ≥ 2n−1 .
Mạng chặn là mạng mà trong đó không thể tìm thấy đường dẫn truyền thông từ một cổng đầu vào trống đến một cổng đầu ra trống.
Mạng không chặn là mạng trong đó luôn tồn tại một đường dẫn để kết nối bất kỳ cổng đầu vào và đầu ra nào. Mạng không chặn được tạo ra bằng cách thêm một giai đoạn chuyển mạch bổ sung.
Mạng không chặn có thể sắp xếp lại là mạng trong đó tất cả các đường dẫn có thể để kết nối tất cả các cổng đầu vào và đầu ra có thể được sắp xếp lại.
Vào cuối thập niên 1990, cùng với sự phát triển của công nghệ viễn thông và mạng máy tính, khái niệm mạng Clos lại trở nên có ý nghĩa. Có nhu cầu để tất cả các nút trong cấu trúc mạng có thể giao tiếp với nhau và, nếu có thể, không sử dụng cấu trúc lưới đầy đủ khi tất cả các thiết bị được kết nối. Một lớp giao tiếp mới đã được thêm vào để kết nối các thiết bị mạng. Kết quả là, khái niệm mạng Clos đã được hồi sinh dưới một hình thức mới. Trong hình ảnh sau đây, bạn có thể thấy sơ đồ điển hình của mạng Clos ba lớp.
Hãy điều chỉnh sơ đồ mạng Clos sang dạng ” Leaf-Spine ” (mạng Clos ba giai đoạn) để thuận tiện hơn bằng cách gấp hai bên trái và phải của sơ đồ. Cấu trúc mạng này được gọi là ” Leaf-Spine“, ” Folded Clos” và “3-stage Clos network” (xem hình ảnh sau).
Lớp spine. Các bộ chuyển mạch spine được sử dụng để kết nối tất cả các bộ chuyển mạch leaf trong cấu trúc mạng lưới toàn phần. Lớp spine thay thế, đến một mức độ nào đó, lớp tổng hợp được sử dụng trong cấu trúc mạng phân cấp ba tầng truyền thống. Tuy nhiên, lớp spine không phải là tương đương trực tiếp của lớp tổng hợp. Nhiệm vụ chính của lớp spine là truyền dữ liệu nhanh chóng từ một leaf sang leaf khác. Các thiết bị đầu cuối không được kết nối với các thiết bị chuyển mạch cột sống.
Lớp lá. Trong mô hình này, các máy chủ hoặc các thiết bị đầu cuối khác trong trung tâm dữ liệu được kết nối với các thiết bị lá. Tất cả các thiết bị lá đều được kết nối với tất cả các thiết bị cột sống. Kết quả là, có một số lượng lớn các kết nối mạng với băng thông bằng nhau giữa tất cả các máy chủ. Có các kết nối L3 giữa các thiết bị cột sống và các thiết bị lá (L3 trong mô hình OSI). Khi lưu lượng được truyền từ nguồn đến đích trong mạng, số bước nhảy là như nhau (ví dụ: cần ba bước nhảy để truyền dữ liệu giữa bất kỳ máy chủ nào trong mạng hai tầng leaf-spine theo sơ đồ sau). Độ trễ có thể dự đoán được và ở mức thấp. Dung lượng mạng cũng được tăng lên vì hiện không cần sử dụng STP nữa. Khi STP được sử dụng cho các kết nối dự phòng giữa các thiết bị chuyển mạch, chỉ có một liên kết có thể hoạt động tại một thời điểm.
Trong cấu trúc mạng leaf-spine , giao thức định tuyến Equal-Cost Multipath (ECMP) có thể được sử dụng để cân bằng tải lưu lượng và ngăn chặn vòng lặp mạng (đối với kết nối mạng L3). Các giao thức BGP, OSPF, EIGRP, ISIS cũng có thể được sử dụng.
Khái niệm mạng này còn được gọi là cấu trúc mạng đa lớp fat-tree . Ý tưởng là tránh các điểm nghẽn ở các lớp trên của cây (gần gốc cây) và thêm các liên kết bổ sung để tăng băng thông tại các đoạn này. Kết quả là, dung lượng liên kết hướng về gốc ngày càng tăng. fat tree là một trường hợp đặc biệt của mạng Clos. Mạng Clos ba tầng được chuyển đổi thành mạng hai tầng leaf-spine sau khi gấp lại. Có thể sử dụng các thiết bị chuyển mạch lá hoặc thiết bị chuyển mạch/bộ định tuyến cạnh lá để truy cập các mạng bên ngoài và các trung tâm dữ liệu khác.
Ưu điểm của cấu trúc mạng leaf-spine
Cấu trúc mạng leaf-spine mang lại một loạt ưu điểm so với cấu trúc mạng truy cập-tập hợp-lõi. Bộ ưu điểm này là lý do để sử dụng loại cấu trúc mạng leaf-spine trong trung tâm dữ liệu.
Kết nối được tối ưu hóa. Các liên kết có băng thông cao giữa các thiết bị mạng là tối ưu cho lưu lượng đông-tây. Không có liên kết nào bị bỏ trống (vì L3 được sử dụng thay vì L2). ECMP được khuyến nghị để đạt hiệu quả cao, và STP không cần thiết.
Độ tin cậy. Sự cố của một thiết bị hoặc ngắt kết nối của một liên kết không gây ra hậu quả tiêu cực đáng kể. Nếu bộ chuyển mạch ToR đóng vai trò là bộ chuyển mạch lá bị hỏng, giá đỡ tương ứng sẽ bị ảnh hưởng. Nếu bộ chuyển mạch cột sống bị hỏng, băng thông mạng sẽ giảm nhưng không đáng kể so với cấu trúc mạng phân cấp 3 tầng truyền thống. Sự suy giảm băng thông cho cấu trúc spine-leaf là 1/n , trong đó n là số lượng các thiết bị spine. Sự suy giảm băng thông cho cấu trúc phân cấp là 50% trong trường hợp này.
Khả năng mở rộng cao. Bạn có thể thêm các thiết bị leaf mới cho đến khi hết cổng trống trên các thiết bị spine. Việc thêm các thiết bị spine mới cho phép bạn tăng số lượng kết nối uplink của các thiết bị leaf. Thêm các thiết bị chuyển mạch/bộ định tuyến biên để tăng băng thông kết nối với các mạng bên ngoài. Phương pháp truyền thống để tăng băng thông và kết nối thêm máy chủ trong cấu trúc mạng phân cấp dạng cây là bổ sung thêm các thẻ mạng có nhiều cổng hơn, thiết bị mạng có giao diện mạng nhanh hơn, và phần cứng mạnh mẽ hơn nói chung. Phương pháp truyền thống này được gọi là mở rộng theo chiều dọc hoặc khả năng mở rộng theo chiều dọc .
Khi sử dụng leaf-spine cấu trúc mạng trong trung tâm dữ liệu và cho các mạng MSP, bạn có thể bổ sung thêm một lớp spine. Cách tiếp cận này được gọi là khả năng mở rộng theo chiều ngang hoặc mở rộng theo chiều ngang . Việc thêm một thiết bị mạng tiêu biểu như bộ chuyển mạch/bộ định tuyến sẽ tăng khả năng mở rộng theo cách tuyến tính.
Bảo trì. Bạn có thể dễ dàng ngắt kết nối các thiết bị spine khỏi mạng để bảo trì hoặc thay thế. Các tác vụ bảo trì trên thiết bị spine không rủi ro so với các thiết bị trung tâm vì thiết bị spine không có chức năng thông minh và việc giảm băng thông là tối thiểu sau khi ngắt kết nối.
Mạng Clos nhiều tầng
Trong phần trước, tôi đã giải thích về mạng Clos ba tầng với các tầng: Switch đầu vào, Switch giữa và Switch đầu ra. Vì các thiết bị ở tầng đầu vào và đầu ra được sử dụng để nhận/gửi dữ liệu, sơ đồ mạng có thể được gấp lại bằng cách sử dụng một đường giữa gồm cấu trúc mạng hai tầng leaf-spine . Bạn có thể thêm nhiều giai đoạn hơn và xây dựng mạng Clos nhiều tầng để kết nối nhiều thiết bị mạng hơn với mạng này. Trong trường hợp này, bạn có năm giai đoạn: Bộ chuyển mạch đầu vào, Bộ chuyển mạch giữa 1, Bộ chuyển mạch giữa 2, Bộ chuyển mạch giữa 3, Bộ chuyển mạch đầu ra.
Trên sơ đồ sau, bạn có thể thấy sơ đồ ban đầu của mạng Clos năm giai đoạn không chặn sau khi sắp xếp lại các khối màu xanh lam và xanh lục. Cũng có chế độ xem gấp lại leaf-spine hoặc chế độ xem fat-tree (4,3) (vì có 4 bộ chuyển mạch cột sống và 3 giai đoạn trên sơ đồ leaf-spine ), nhưng hãy cùng xem cách kết nối các thiết bị vào mạng Clos 5 giai đoạn từng bước một. Loại cấu trúc mạng Clos có hơn 5 giai đoạn không phổ biến và không được sử dụng trong thực tế vì số lượng kết nối quá lớn.
Sau khi xoay sơ đồ ban đầu của mạng Clos 5 giai đoạn 90 độ theo chiều kim đồng hồ, bạn sẽ có được hình ảnh truyền thống với các công tắc đầu vào, công tắc đầu ra và ba giai đoạn của các công tắc giữa. Hãy vẽ đường gấp qua các công tắc giữa ở trung tâm của sơ đồ để tạo ra hình ảnh gấp của mạng Clos 5 giai đoạn. 
Sau khi gấp sơ đồ lại, bạn sẽ có được hình ảnh gấp lại hoặc hình ảnh ” leaf-spine ” của loại cấu trúc mạng này (xem sơ đồ dưới đây). Có 4 nhóm riêng biệt đóng vai trò là các điểm phân phối (POD). POD là đơn vị cơ bản để xây dựng trung tâm dữ liệu. Các POD được kết nối với các trục chính (spines) của cấp độ đầu tiên. Nếu bạn cần mở rộng trung tâm dữ liệu hoặc thêm máy chủ/thiết bị mạng, hãy thêm các POD mới và kết nối chúng với cấu trúc mạng. Các đường trục (spines) của một POD được kết nối với các đường trục của các POD khác thông qua các đường trục cấp 2. Đồng thời, không phải tất cả các đường trục cấp 1 (L1) đều được kết nối với tất cả các đường trục cấp 2 (L2), và chúng được chia thành các mặt phẳng (planes).
Có hai lớp – Plane 0 và Plane 1 trong sơ đồ sau. Khái niệm này được sử dụng do số lượng cổng hạn chế trên các bộ chuyển mạch chính, và việc tạo ra một cấu trúc mạng kết nối hoàn toàn là không khả thi trong trường hợp này. Trong sơ đồ sau, mỗi bộ chuyển mạch chính có giới hạn 4 cổng. Theo ý tưởng chính, mạng Clos không chặn dựa trên các thành phần tương tự (các bộ chuyển mạch 4 cổng, như được hiển thị bên dưới).
Ban đầu, bạn có thể nhầm lẫn với các thuật ngữ như Clos, folded Clos, leaf-spine, và fat tree. Hãy để tôi làm rõ các thuật ngữ này.
Clos hoặc mạng Clos là thuật ngữ bao quát cơ sở lý thuyết của loại cấu trúc mạng Clos.
Folded Clos là một cách thể hiện thuận tiện hơn của mạng Clos, nơi các cổng vào và ra có vai trò tương tự và được đặt tại cùng một vị trí.
Leaf-spine là một cấu trúc mạng dựa trên sơ đồ mạng Clos được sử dụng trong thực tế tại các trung tâm dữ liệu để xây dựng mạng, bao gồm cả mạng MSP.
Fat tree thường được gọi là một biến thể của mạng Clos. Thuật ngữ này gây nhầm lẫn nhất vì một số bài viết đề cập đến fat tree như là mạng truy cập-tập trung-lõi cổ điển. Tôi tham khảo tài liệu RFC 7938, trong đó nêu rõ rằng fat tree dựa trên cấu trúc mạng folded Clos .
Tính toán
Bạn có thể tính toán số lượng bộ chuyển mạch lõi, bộ chuyển mạch biên, tổng số bộ chuyển mạch cần thiết và tổng số máy chủ có thể kết nối vào mạng của cấu hình đã chọn bằng cách sử dụng các công thức sau:
k là số cổng trên bộ chuyển mạch
L là số cấp trong cấu trúc mạng leaf-spine (fat tree)
Thông số chính cần tính toán trước khi xây dựng mạng là số lượng máy chủ được hỗ trợ. Cấu hình fat-tree có thể được viết dưới dạng FT(k, L). Ví dụ, FT(32,3) là mạng ba cấp fat-tree với các bộ chuyển mạch 32 cổng. Bạn có thể sử dụng công cụ này máy tính miễn phí cho các mạng Clos, công cụ này cũng tạo ra sơ đồ trực quan cho cấu hình đã chọn.
Bạn có thể tính toán rằng nếu sơ đồ mạng fat-tree của bạn có 2 tầng và 8 cổng trên mỗi bộ chuyển mạch, thì bạn có thể kết nối 32 máy chủ vào mạng. Nếu bạn tăng số lượng cổng trên mỗi bộ chuyển mạch, số lượng máy chủ được hỗ trợ sẽ tăng lên 512. Như bạn có thể thấy, số lượng máy chủ được kết nối phụ thuộc vào số lượng cổng trên mỗi bộ chuyển mạch. Nếu bạn giữ nguyên cấu trúc mạng fat tree ở 2 cấp (mạng Clos 3 cấp) và tăng số cổng trên mỗi bộ chuyển mạch, số lượng bộ chuyển mạch chính sẽ tăng đáng kể. Bạn có thể giải quyết vấn đề này bằng cách thêm một cấp nữa vào cấu trúc mạng fat tree. Đối với cấu trúc mạng fat tree3 cấp, nếu số cổng trên mỗi bộ chuyển mạch là 8, bạn có thể kết nối 128 máy chủ.
Nếu bạn tăng số cổng trên mỗi bộ chuyển mạch lên 32, bạn có thể kết nối 8192 máy chủ bằng cấu trúc mạng này. Con số này đối với mạng Clos 5 tầng cao gấp 16 lần so với mạng Clos 3 tầng. Hãy lưu ý các giới hạn của tủ máy chủ khi lập kế hoạch bố trí máy chủ và thiết bị mạng trong trung tâm dữ liệu.
Số giai đoạn lẻ được sử dụng để xây dựng mạng Clos không chặn (3, 5, 7, v.v.). Mạng Clos 2 giai đoạn không cung cấp kết nối không chặn và các kết nối đa dạng giữa các bộ chuyển mạch.
Trong sơ đồ sau, bạn có thể thấy rằng trong trường hợp mạng Clos hai tầng, chỉ có một đường truyền để kết nối Máy chủ 1 và Máy chủ 2. Chỉ ¼ cổng được kết nối, các cổng còn lại không được kết nối và chúng gây tắc nghẽn.
Tỷ lệ quá tải là tỷ lệ giữa băng thông đầu vào và băng thông đầu ra theo hướng từ các tầng thấp hơn lên các tầng cao hơn. Tỷ lệ quá tải thường dao động từ 2 đến 4.
Ví dụ: Một bộ chuyển mạch có 48 cổng 10 Gbit và 4 cổng uplink 40 Gbit. Tổng băng thông của các cổng downlink đến máy chủ là 48 × 10 = 480 Gbit/s. Tổng tốc độ của các cổng uplink là 4 × 40 = 160 Gbit/s. Tỷ lệ oversubscription là 480/160 = 4.
Nếu tổng băng thông của tất cả các cổng downlink và uplink trên bộ chuyển mạch bằng nhau, bộ chuyển mạch không bị oversubscription và không có điểm nghẽn trong trường hợp này. Tỷ lệ quá tải 1:1 là trường hợp lý tưởng. Hãy ước tính lưu lượng trong các hướng khác nhau trước khi mua các bộ chuyển mạch có tốc độ và số lượng cổng phù hợp.
Các bộ chuyển mạch có tỷ lệ quá tải cao hơn 1 thường được sử dụng ở giai đoạn lá trong các mạng có cấu trúc mạng leaf-spine. leaf-spine
Nên sử dụng các thiết bị chuyển mạch không quá tải ở tầng trung tâm (spine). Các thiết bị chuyển mạch ở tầng lá (leaf) trong kiểu cấu trúc mạng
thường được sử dụng làm thiết bị chuyển mạch ToR. Tuy nhiên, vẫn có thể lắp đặt các thiết bị chuyển mạch lá làm thiết bị chuyển mạch End of Row.
Những điểm khác biệt cơ bản
Khi thiết lập mạng, một số quyết định sẽ ảnh hưởng đến cách bố trí mạng. Dưới đây là một số quyết định mang tính lựa chọn ảnh hưởng đến hoạt động của mạng.
Top of Rack so với End of Row
The 
Top of Rack (ToR) là phương án kết nối mạng trong trung tâm dữ liệu, trong đó một hoặc nhiều bộ chuyển mạch được lắp đặt trong mỗi giá đỡ. Các cáp nối ngắn được sử dụng để kết nối bộ chuyển mạch Top of Rack với các thiết bị mạng và máy chủ khác trong cùng giá đỡ. Các bộ chuyển mạch ToR thường có các kết nối uplink tốc độ cao đến các bộ chuyển mạch/bộ định tuyến cấp cao hơn và có thể được kết nối bằng cáp quang. Ưu điểm là khi sử dụng sơ đồ kết nối này cho mạng MSP, bạn không cần phải lắp đặt một lượng lớn cáp dày đặc từ mỗi tủ rack trong trung tâm dữ liệu. Việc sử dụng cáp trong trung tâm dữ liệu trở nên hợp lý hơn khi áp dụng sơ đồ ToR. Trong trường hợp này, bạn tiết kiệm chi phí cho hệ thống cáp và có quản lý cáp tốt hơn. Bạn có thể quản lý từng tủ rack như một mô-đun độc lập mà không ảnh hưởng đến các tủ rack khác trong trung tâm dữ liệu vì chỉ các máy chủ trong một tủ rack bị ảnh hưởng. Mặc dù tên gọi của sơ đồ, bạn có thể lắp đặt bộ chuyển mạch ở giữa hoặc phía dưới của mỗi tủ rack.
Sơ đồ kết nối mạng “End of Row” (EoR) là khi tủ rack máy chủ ở cuối hàng chứa thiết bị mạng. Thiết bị này bao gồm một bộ chuyển mạch mạng chung để kết nối tất cả máy chủ và các thiết bị khác của tất cả các tủ máy chủ trong hàng. Các dây cáp từ thiết bị mạng được lắp đặt trong tủ máy chủ EoR được kết nối với các thiết bị trong tất cả các tủ của hàng thông qua các bảng cắm (patch panels) được lắp đặt trong mỗi tủ. Kết quả là, các dây cáp dài được sử dụng để kết nối tất cả các thiết bị mạng trong một hàng. Nếu sử dụng kết nối mạng dự phòng, số lượng dây cáp cũng tăng lên. Các bó dây cáp dày có thể cản trở luồng không khí đến thiết bị.
Các giá đỡ máy chủ thường được bố trí thành các hàng đặt cạnh nhau trong trung tâm dữ liệu. Ví dụ, một hàng có thể chứa 10 hoặc 12 giá đỡ. Toàn bộ hàng được coi là một đơn vị quản lý duy nhất khi sử dụng sơ đồ kết nối EoR cho mạng MSP trong trung tâm dữ liệu. Trong trường hợp này, mô hình quản lý theo hàng được áp dụng. Mô hình kết nối mạng EoR cần ít bộ chuyển mạch riêng lẻ hơn. Độ linh hoạt sẽ giảm khi bạn cần bảo trì hoặc nâng cấp các thiết bị chuyển mạch vì sẽ có nhiều thiết bị bị ảnh hưởng hơn khi một thiết bị chuyển mạch EoR bị ngắt kết nối. Mặc dù có tên gọi như vậy, một giá đỡ có thiết bị chuyển mạch chung (các thiết bị chuyển mạch) vẫn có thể được đặt ở giữa hàng.
Kết nối Lớp 2 so với Lớp 3
Việc quyết định các kết nối trong mạng là một phép tính liên quan đến độ tin cậy, tốc độ và chi phí, cũng như cấu trúc mạng đang được xây dựng.
Ví dụ, có các phân đoạn mạng cho cấu trúc mạng ba tầng Access-Aggregation-Core và Leaf-Spine cấu trúc mạng. Tại đó, lưu lượng được truyền trên các lớp L2 và L3 của mô hình OSI. Trong mạng ba tầng phân cấp, lớp truy cập hoạt động trên L2, lớp phân phối/tập trung tổng hợp các liên kết L2 và cung cấp định tuyến L3, lớp mạng lõi thực hiện định tuyến trên lớp thứ ba của mô hình OSI. Mạng có cấu trúc nhiều tầng Leaf-Spine có thể được cấu hình bằng cách sử dụng L2 với VLAN và L3 với định tuyến IP và mạng con.
Thiết bị mạng L2 có giá thành rẻ hơn thiết bị mạng L3, nhưng có một số nhược điểm khi sử dụng mạng L2 để kết nối các thiết bị mạng trong mạng MSP của trung tâm dữ liệu. VLAN thường được sử dụng để cách ly logic các mạng sử dụng cùng một môi trường vật lý. Số lượng VLAN tối đa là 4095 (trừ một số VLAN được dành riêng như 0, 4095, 1002-1005).
Một nhược điểm khác, như đã đề cập trước đó, là không thể sử dụng các liên kết dự phòng khi STP được sử dụng trên L2. Điều này là do chỉ có một liên kết có thể hoạt động cùng một lúc, và toàn bộ băng thông có sẵn của tất cả các liên kết không được tận dụng. Khi miền L2 với STP trở nên lớn, xác suất xảy ra sự cố do cáp nối không đúng cách và lỗi của con người sẽ tăng lên, và việc khắc phục sự cố trở nên khó khăn.
Cấu hình mạng L3 cho phép các kỹ sư cải thiện tính ổn định và khả năng mở rộng của mạng MSP và mạng trung tâm dữ liệu nói chung.
Các giao thức mạng sau đây giúp bạn quản lý mạng L3 và định tuyến lưu lượng.
BGP (Border Gateway Protocol) là giao thức định tuyến động được sử dụng rộng rãi và được coi là tiêu chuẩn trong nhiều tổ chức có trung tâm dữ liệu quy mô lớn. BGP là giao thức có khả năng mở rộng, linh hoạt và hiệu quả cao.
ECMP (Equal Cost Multipath Routing) là công nghệ định tuyến mạng được sử dụng để phân phối lưu lượng bằng cách sử dụng nhiều đường dẫn tối ưu được xác định bởi các chỉ số trên lớp thứ ba của mô hình OSI. ECMP kết hợp với các giao thức định tuyến được sử dụng để cân bằng tải trong các mạng quy mô lớn. Hầu hết các giao thức định tuyến, bao gồm BGP, EIGRP, IS-IS, OSPF, đều hỗ trợ ECMP công nghệ.
Luôn cố gắng sử dụng các giao thức mạng tiên tiến hơn. Nhưng hãy nhớ rằng càng ít giao thức được sử dụng trong mạng, việc quản trị mạng càng thuận tiện.
Cấu trúc mạng cho NV và SDN
Ngoài ảo hóa phần cứng và việc sử dụng máy ảo, ảo hóa mạng với phương pháp tiếp cận tập trung vào ứng dụng cũng đã trở nên phổ biến. Các giải pháp ảo hóa mạng (NV) như VMware NSX, OpenStack networking và Cisco ASI sử dụng mạnh mẽ lưu lượng đông-tây trong mạng vật lý, và một leaf-spine cấu trúc mạng là phù hợp cho các giải pháp ảo hóa mạng vì lý do này. Đọc bài viết trên blog về VMware NSX để tìm hiểu thêm về ảo hóa mạng.
Mạng được định nghĩa bằng phần mềm (SDN) được sử dụng để ảo hóa mạng nhằm sử dụng tài nguyên hiệu quả, linh hoạt và quản trị tập trung. Đây là giải pháp tối ưu trong trung tâm dữ liệu ảo hóa nơi các máy ảo kết nối với mạng được sử dụng. Các máy ảo có thể chuyển đổi giữa các máy chủ, từ đó tạo ra lưu lượng đông-tây trong trung tâm dữ liệu. SDN được sử dụng rộng rãi cho mạng MSP bởi các nhà cung cấp MSP cung cấp dịch vụ IaaS (cơ sở hạ tầng như một dịch vụ).
Cấu hình mạng định nghĩa bằng phần mềm (SDN) hiệu quả khi sử dụng cấu trúc mạng cơ sở leaf-spine với định tuyến động, số bước nhảy cố định, độ trễ thấp và có thể dự đoán được, cùng tối ưu hóa lưu lượng đông-tây cho giao tiếp giữa các máy chủ trong trung tâm dữ liệu.
VXLAN
VXLAN (Mạng cục bộ ảo mở rộng) là giao thức mạng cải tiến được sử dụng thay thế cho VLAN trong các mạng lớp phủ. Các đường hầm L2 được tạo ra bằng cách sử dụng các mạng L3 cơ sở (mạng L3 dưới lớp) để cung cấp kết nối mạng L2 mà không bị giới hạn bởi VLAN truyền thống. Với VXLAN, bạn có thể cấu hình mạng L2 trên mạng L3. Cấu trúc mạng ảo có thể khác với cấu trúc mạng vật lý của mạng cơ sở.
Các khung VXLAN được đóng gói vào các gói IP bằng cách sử dụng phương thức đóng gói MAC-in-UDP . VNI tương đương với ID VLAN. Số lượng tối đa của VNI là 2^24, tức là khoảng 16 triệu. VXLAN được sử dụng để tạo các mạng L2 trong các môi trường trải rộng về mặt địa lý, ví dụ như khi bạn cần tạo một mạng giữa hai trung tâm dữ liệu phân tán về mặt địa lý.
Sử dụng VXLAN và ảo hóa mạng giúp tối ưu hóa kích thước của bảng địa chỉ MAC cho các bộ chuyển mạch ToR. Điều này là do các địa chỉ MAC được sử dụng bởi các máy ảo (VM) và lưu lượng L2 liên quan được truyền qua mạng lớp 2 phủ (L2 overlay network) bằng cách sử dụng VXLAN. Chúng không làm quá tải các bảng địa chỉ MAC của các thiết bị chuyển mạch vật lý. Các bảng địa chỉ MAC của các thiết bị chuyển mạch vật lý không vượt quá dung lượng bảng tối đa có sẵn của các thiết bị này.
Kết luận
Theo truyền thống, các mạng trong trung tâm dữ liệu được xây dựng dựa trên cấu trúc ba tầng cổ điển: truy cập – tổng hợp – lõi. Với sự phát triển của các ứng dụng client-server và phân tán hiện đại, microservices và các phần mềm khác là nguồn của lưu lượng đông-tây bên trong mạng MSP, kiến trúc mạng leaf-spine dựa trên khái niệm mạng Clos được ưa chuộng trong các trung tâm dữ liệu hiện đại và là một trong những kiến trúc mạng phổ biến nhất. Kiến trúc mạng leaf-spine là kiến trúc mạng tốt nhất cho các trung tâm dữ liệu lớn vì kiến trúc này có độ tin cậy cao và khả năng mở rộng tốt. Trước khi triển khai mạng trong trung tâm dữ liệu, hãy thực hiện các tính toán và ước tính lưu lượng và tải công việc được tạo ra. Cần tính đến lưu lượng dịch vụ như lưu lượng sao lưu và sao chép trong mạng.
NAKIVO Backup & Replication là phần mềm sao lưu máy ảo mạnh mẽ có thể bảo vệ các tải công việc VMware Cloud Director, máy ảo VMware, máy ảo Hyper-V, cũng như các máy Linux và Windows vật lý, cơ sở dữ liệu Oracle. Các nhà cung cấp dịch vụ quản lý (MSP) cung cấp hạ tầng như một dịch vụ (IaaS), sao lưu như một dịch vụ (BaaS) và phục hồi thảm họa như một dịch vụ (DRaaS) có thể sử dụng NAKIVO Backup & Replication được cài đặt ở chế độ đa người dùng. Tải xuống bản dùng thử miễn phí của NAKIVO Backup & Replication dành cho MSP tại , hỗ trợ chế độ cài đặt đa người dùng.
