Cấu trúc mạng MSP dành cho người mới bắt đầu
Đối với các nhà cung cấp dịch vụ quản lý (MSP), việc xây dựng một mạng lưới có hiệu suất cao và khả năng mở rộng là nền tảng cho sự thành công. Trong bài viết trước trên blog “ bài blog”, chúng tôi đã đề cập đến các loại cấu trúc mạng cơ bản; còn trong bài viết này, chúng tôi sẽ phân tích các loại cấu trúc mạng phức tạp hơn dành cho các nhà cung cấp dịch vụ, bao gồm cả những loại được ưa chuộng trong mạng lưới của các MSP. Hãy đọc bài viết này để tìm hiểu cấu trúc mạng nào là phù hợp nhất cho trung tâm dữ liệu của một MSP, và lý do tại sao.
Mạng phân cấp 3 tầng truyền thống
Trước khi mạng định nghĩa bằng phần mềm (SDN) trở nên phổ biến, các mạng trong trung tâm dữ liệu được xây dựng dựa trên cấu trúc mạng dạng cây phân cấp. Cấu trúc này được chia thành ba lớp chính: lớp lõi, lớp tổng hợp hoặc phân phối và lớp truy cập. Trong cấu trúc này, các máy chủ được kết nối với các bộ chuyển mạch (switch) ở lớp truy cập. Các bộ định tuyến biên (edge router) được kết nối với lớp lõi để cung cấp kết nối đến/từ mạng diện rộng (WAN) và internet. Các bộ định tuyến này nằm giữa lớp lõi và internet như minh họa trong sơ đồ dưới đây.
Theo mô hình OSI (Kết nối Hệ thống Mở), vốn chia mạng thành lớp liên kết dữ liệu (L2) và lớp mạng (L3), cùng các lớp khác, cấu trúc mạng Truy cập-Tổng hợp-Lõi trải dài qua các lớp, như thể hiện trong hình minh họa.
Hãy xem xét lần lượt ba lớp này.
Lớp lõi
Lõi mạng (còn gọi là mạng lõi) là thành phần trung tâm của toàn bộ mạng. Các nút chính được kết nối với lõi. Mạng lõi thường dựa trên cấu trúc mạng lưới (mesh), nơi tất cả các nút đều được kết nối với tất cả các nút khác trong lõi (đối với loại cấu trúc mạng lưới đầy đủ). Các bộ chuyển mạch và bộ định tuyến trong mạng lõi được kết nối với nhau qua các liên kết tốc độ cao (còn được gọi là kết nối xương sống). Do sử dụng bộ định tuyến trong mạng lõi, lớp lõi xử lý lưu lượng L3.
Lớp phân phối/tổng hợp
Đây là lớp trung gian được sử dụng để tổng hợp các liên kết lên từ lớp dưới cùng của cấu trúc mạng ba lớp (lớp truy cập, hoạt động ở lớp 2) đến lớp lõi mạng (thường hoạt động ở lớp 3) bằng cách sử dụng các liên kết có băng thông cao hơn. Lớp phân phối kết hợp một số lượng lớn các cổng tốc độ thấp với một số lượng nhỏ các cổng trunk tốc độ cao. Quá trình định tuyến bắt đầu tại lớp phân phối/tổng hợp của cấu trúc mạng này khi dữ liệu được truyền từ lớp truy cập. Tường lửa, cân bằng tải và các cấu hình bảo mật khác được thiết lập trên lớp tổng hợp. Lớp tổng hợp/phân phối được sử dụng để giảm thiểu và đơn giản hóa sơ đồ cáp trong trung tâm dữ liệu, giúp việc quản lý thuận tiện hơn. Các thiết bị chuyển mạch được lắp đặt trên lớp tổng hợp phải hỗ trợ lưu trữ nhiều địa chỉ MAC hơn trong bảng địa chỉ MAC trong bộ nhớ của chúng. Trong khi lớp truy cập hoạt động với lưu lượng L2, lớp phân phối hoạt động với lưu lượng L2 và L3.
Lớp truy cập
Lớp này bao gồm các thiết bị chuyển mạch hoạt động trên L2. Các máy chủ và máy trạm được kết nối với các bộ chuyển mạch lớp truy cập. Các mạng VLAN (mạng cục bộ ảo) thường được sử dụng để tách các miền phát sóng L2 nhằm giảm lưu lượng phát sóng và tăng cường bảo mật.
Để tránh tình trạng tắc nghẽn, các liên kết có băng thông lớn hơn được sử dụng ở khu vực gần lõi mạng hơn. Ví dụ: các máy chủ được kết nối với các thiết bị chuyển mạch truy cập bằng cách sử dụng các giao diện mạng 10 Gbit/s, các thiết bị chuyển mạch truy cập được kết nối với các thiết bị chuyển mạch tổng hợp bằng cách sử dụng các giao diện 10 Gbit/s, và các thiết bị chuyển mạch/bộ định tuyến của lớp tổng hợp được kết nối với các thiết bị chuyển mạch/bộ định tuyến lõi mạng qua các liên kết 100 Gbit/s. Trong trường hợp này, có thể sử dụng tính năng tổng hợp liên kết để tăng băng thông và độ dự phòng. Tất cả lưu lượng từ các máy chủ đều được chuyển tiếp lên các liên kết uplink. Có một bộ thiết bị mạng thông minh, được gọi là “god boxes”, nằm ở đỉnh của cấu trúc phân cấp trong cấu trúc mạng này. God boxes chịu trách nhiệm định tuyến và tất cả các dịch vụ khác. Cấu trúc mạng phân cấp cho phép bạn tạo ra một mạng mô-đun.
Trong cấu trúc mạng được thể hiện trong sơ đồ trước đó, sự cố của một liên kết sẽ dẫn đến sự cố của phân đoạn mạng đó. Vì lý do này, các kênh dự phòng và tính dự phòng được áp dụng cho loại cấu trúc mạng này (xem sơ đồ sau) trên mỗi lớp mạng. Sự cố của một thiết bị hoặc liên kết gây ra suy giảm hiệu suất, nhưng mạng vẫn tiếp tục hoạt động. Cấu trúc mạng dự phòng này thường yêu cầu STP (Spanning Tree Protocol).
Bảo trì. Nếu bạn ngắt kết nối một số thiết bị mạng trên cấu trúc mạng 3 tầng này để cập nhật phần mềm hoặc thực hiện các tác vụ bảo trì khác, hiệu suất mạng sẽ bị suy giảm. Một số dịch vụ có thể tạm thời không khả dụng.
Khả năng mở rộng. Số lượng dịch vụ chạy trên máy chủ đang tăng lên hàng năm và lượng lưu lượng cũng tăng theo. Tình huống này đòi hỏi phải nâng cấp và tăng băng thông mạng trong mạng MSP. Việc tăng băng thông mạng trong một trung tâm dữ liệu truyền thống thường đòi hỏi các bước sau:
- Tăng số kết nối gộp liên kết (LAG)
- Mua thẻ mạng
- Nếu không có khe cắm trống để lắp đặt thẻ mạng, cần mua máy chủ mới hoặc thiết bị liên quan
Nếu bạn cần thêm một tủ máy chủ mới (rack cabin) làm mô-đun mới trong trung tâm dữ liệu của mình, bạn có thể tăng băng thông mạng đến tủ máy chủ này và các máy chủ được lắp đặt trong tủ đó. Loại cấu trúc mạng này không thể đảm bảo mức độ dành riêng liên kết và dự phòng cao do các tính năng của giao thức L2 như STP và MSTP (Multiple Spanning Tree Protocol).
Cấu trúc mạng ba tầng cổ điển trong trung tâm dữ liệu có thể được kết hợp với các thiết kế End of Row (EoR) và Top of Rack (ToR). Hiện nay, sơ đồ kết nối Top of Rack đang được ưa chuộng hơn. Tên gọi này được sử dụng vì các máy chủ và thiết bị chuyển mạch được kết nối trực tiếp với thiết bị chuyển mạch chính trên mỗi giá đỡ. Các bộ chuyển mạch Top of Rack (bộ chuyển mạch ToR) được kết nối với các bộ chuyển mạch/bộ định tuyến ở các cấp cao hơn trong mạng MSP. Bộ chuyển mạch ToR khác với bộ chuyển mạch cạnh người dùng, và có nhiều cổng uplink tốc độ cao bổ sung (chẳng hạn như cổng 10 Gbit/s) cùng số lượng cổng lớn để kết nối với các máy chủ. Bộ chuyển mạch ToR được lắp đặt theo cặp để đảm bảo dự phòng và thuận tiện cho việc bảo trì bộ chuyển mạch. Ưu điểm của sơ đồ kết nối ToR này là chiều dài cáp ngắn hơn khi đi dây các thiết bị trong một rack và giữa các rack. Các bộ chuyển mạch truy cập (Access switches) trong cấu trúc mạng phân cấp nhiều tầng thường được sử dụng làm bộ chuyển mạch ToR.
Hướng lưu lượng
Những nhược điểm đã được giải thích trước đó không quá nghiêm trọng, và mạng trung tâm dữ liệu có thể hoạt động thành công với việc quản trị đúng cách. Việc chuyển đổi từ L2 sang L3 ở một phần của mạng giúp giải quyết một số vấn đề. Còn có một đặc điểm khác liên quan đến sự phát triển của các trung tâm dữ liệu và cách các ứng dụng ngày nay vận hành khác so với trước đây. Vào những năm 2000, các ứng dụng được tạo ra dựa trên kiến trúc tập trung, và các ứng dụng theo kiến trúc máy khách-máy chủ chủ yếu là kiến trúc nguyên khối . Điều này có nghĩa là các thành phần của một ứng dụng có thể được đặt trên một máy chủ duy nhất. Do đó, trong sơ đồ của chúng tôi, yêu cầu của người dùng được gửi từ phần trên cùng của mạng, và yêu cầu do ứng dụng tạo ra được gửi từ cấp máy chủ dưới cùng trở lại phần trên cùng của mạng. Yêu cầu của người dùng được xử lý trên một máy chủ duy nhất. Lưu lượng ngang (đông-tây) giữa các máy chủ là tối thiểu, trong khi lưu lượng dọc (bắc-nam) được ưu tiên. Cấu trúc mạng truyền thống nhiều tầng phân cấp được sử dụng cho các mạng MSP trong trung tâm dữ liệu đáp ứng các yêu cầu này. Tuy nhiên, theo thời gian, các kiến trúc mới được ưa chuộng hơn khi phát triển ứng dụng.
Kiến trúc nhiều tầng N-tier. Các thành phần ứng dụng được phân tán trên nhiều tầng, ví dụ như tầng logic, tầng trình bày và tầng dữ liệu. Các ứng dụng web có nhiều thành phần yêu cầu các thành phần này phải chạy trên các máy chủ khác nhau, ví dụ như máy chủ web, máy chủ ứng dụng và máy chủ cơ sở dữ liệu. Các thành phần ứng dụng chạy trên nhiều máy chủ tương tác với nhau qua mạng.
Kiến trúc microservice giả định rằng các thành phần của một ứng dụng (các dịch vụ) chạy trong các container riêng biệt, được cách ly về mặt logic và kết nối với nhau qua mạng. Thùng chứa có thể chạy trên các máy chủ khác nhau trong cụm. Kiến trúc này có khả năng mở rộng cao và hiện nay được sử dụng rộng rãi trên nền tảng đám mây.
Ngoài ra, các trung tâm dữ liệu hiện nay hoạt động với Big Data, cơ sở dữ liệu lớn, phân tích dữ liệu, quảng cáo theo ngữ cảnh, các ứng dụng dựa trên trí tuệ nhân tạo và các phần mềm khác yêu cầu kết nối với nhiều máy chủ, mảng lưu trữ, máy ảo hoặc container. Các thành phần ứng dụng được phân tán trên nhiều máy chủ hoặc máy ảo (VM) trong trung tâm dữ liệu.
Do đó, lưu lượng đông-tây (east-west) cao hơn lưu lượng bắc-nam (north-south) trong mạng MSP. Lưu lượng nội bộ trong mạng trung tâm dữ liệu (lưu lượng intra-DC) cao hơn lưu lượng từ/đến người dùng bên ngoài gửi yêu cầu đến trung tâm dữ liệu. Đừng quên lưu lượng nội bộ giữa các hệ thống lưu trữ, sao chép cơ sở dữ liệu, sao lưu dữ liệu và các hoạt động dịch vụ khác sử dụng mạng trong trung tâm dữ liệu.
Trên các sơ đồ sau đây, bạn có thể thấy biểu diễn đồ họa về sự gia tăng lưu lượng nội bộ trong các mạng MSP bên trong trung tâm dữ liệu trong vài năm qua. Xu hướng cho thấy lưu lượng intra-DC đang tăng trưởng mạnh hơn so với lưu lượng vào/ra.
Các mạng truyền thống, được xây dựng dựa trên cấu trúc mạng phân cấp ba tầng truyền thống, tuy đáng tin cậy nhưng không được tối ưu hóa một cách hợp lý nhất cho các luồng lưu lượng ngang. Điều này là do sự tập trung vào mạng L2 và lưu lượng north-south.
Cấu trúc mạng Clos
Ban đầu, mạng Clos được phát minh bởi Edson Erwin vào năm 1938. Năm 1953, Charles Clos quyết định áp dụng các mạng chuyển mạch không chặn (non-blocking switching) trong hệ thống điện thoại để sử dụng tài nguyên truyền thông hiệu quả hơn so với phương án truyền thông dạng crossbar. Với các mảng có số lượng điểm kết nối, đầu vào và đầu ra thấp, sơ đồ kết nối này ban đầu có vẻ phức tạp. Tuy nhiên, mạng Clos lại ít phức tạp hơn do số điểm kết nối ít hơn theo công thức: 6n^(3/2)-3n . Thực tế này trở nên rõ ràng khi số điểm kết nối đạt từ 36 trở lên. 
Nếu m là số lượng công tắc đầu vào và n là số lượng công tắc đầu ra, thì đặc tính chặn của mạng Clos được tính toán bằng công thức. Theo định lý Clos, một mạng Clos được gọi là hoàn toàn không chặn nếu số lượng công tắc giai đoạn hai m ≥ 2n−1 .
Mạng chặn là mạng mà trong đó không thể tìm thấy đường dẫn truyền thông từ một cổng đầu vào trống đến một cổng đầu ra trống.
Mạng không chặn là mạng trong đó luôn tồn tại một đường dẫn để kết nối bất kỳ cổng đầu vào và cổng đầu ra nào. Mạng không chặn được tạo ra bằng cách thêm một giai đoạn chuyển mạch bổ sung.
Mạng không chặn có thể sắp xếp lại là mạng trong đó tất cả các đường dẫn khả thi để kết nối tất cả các cổng đầu vào và cổng đầu ra đều có thể được sắp xếp lại.
Vào cuối những năm 1990, cùng với sự phát triển của công nghệ viễn thông và mạng máy tính, khái niệm về mạng Clos lại trở nên có ý nghĩa. Có nhu cầu để tất cả các nút có thể giao tiếp với nhau trong cấu trúc mạng và, nếu có thể, không sử dụng cấu trúc mạng lưới toàn phần (full mesh topology) khi tất cả các thiết bị được kết nối với nhau. Một lớp giao tiếp mới đã được thêm vào để kết nối các thiết bị mạng. Kết quả là, khái niệm mạng Clos đã được hồi sinh dưới một hình thức mới. Trong hình ảnh sau đây, bạn có thể thấy sơ đồ điển hình của mạng Clos theo cấu trúc cây.
Hãy điều chỉnh sơ đồ mạng Clos sang dạng ” Leaf-Spine ” (mạng cây-cột) được sử dụng rộng rãi để thuận tiện hơn bằng cách gấp gọn hai bên trái và phải của sơ đồ. Cấu trúc mạng này được gọi là ” Leaf-Spine“, ” Folded Clos” và mạng Clos 3 giai đoạn (xem hình ảnh sau).
Lớp spine. Các thiết bị chuyển mạch spine được sử dụng để kết nối tất cả các thiết bị chuyển mạch leaf trong cấu trúc mạng lưới toàn diện. Lớp spine thay thế, ở một mức độ nào đó, lớp tổng hợp được sử dụng trong cấu trúc mạng phân cấp ba tầng truyền thống. Tuy nhiên, lớp spine không hoàn toàn tương đương với lớp tổng hợp. Nhiệm vụ chính của lớp spine là truyền dữ liệu nhanh chóng từ một thiết bị leaf này sang thiết bị leaf khác. Các thiết bị đầu cuối không được kết nối với các thiết bị chuyển mạch spine.
Lớp leaf. Trong mô hình này, các máy chủ hoặc các thiết bị đầu cuối khác trong trung tâm dữ liệu được kết nối với các thiết bị leaf. Tất cả các thiết bị leaf đều được kết nối với tất cả các thiết bị spine. Do đó, có một số lượng lớn các kết nối mạng với băng thông bằng nhau giữa tất cả các máy chủ. Có các kết nối L3 giữa các thiết bị spine và leaf (L3 trong mô hình OSI). Khi lưu lượng được truyền từ nguồn đến đích trong mạng, số bước nhảy là như nhau (ví dụ: cần ba bước nhảy để truyền dữ liệu giữa bất kỳ máy chủ nào trong mạng hai tầng leaf-spine theo sơ đồ sau). Độ trễ có thể dự đoán được và ở mức thấp. Dung lượng mạng cũng được tăng lên vì hiện không cần sử dụng STP nữa. Khi STP được sử dụng cho các kết nối dự phòng giữa các thiết bị chuyển mạch, chỉ có một liên kết có thể hoạt động tại một thời điểm.
Trong cấu trúc mạng leaf-spine , giao thức định tuyến Equal-Cost Multipath (ECMP) có thể được sử dụng để cân bằng tải lưu lượng và ngăn chặn vòng lặp mạng (đối với các kết nối mạng L3). Các giao thức BGP, OSPF, EIGRPvà ISIS cũng có thể được sử dụng.
Khái niệm mạng này còn được gọi là cấu trúc mạng đa lớp fat-tree . Ý tưởng là tránh các điểm nghẽn ở các lớp trên của cây (gần gốc cây) và thêm các liên kết bổ sung để tăng băng thông tại các đoạn này. Kết quả là, dung lượng liên kết về phía gốc ngày càng tăng. Cấu trúc mạng fat tree là một trường hợp đặc biệt của mạng Clos. Mạng Clos ba tầng được chuyển đổi thành mạng leaf-spine hai tầng sau khi gộp lại. Các bộ chuyển mạch lá (leaf switches) hoặc bộ chuyển mạch/bộ định tuyến cạnh lá (leaf edge switches/routers) có thể được sử dụng để truy cập các mạng bên ngoài và các trung tâm dữ liệu khác.
Ưu điểm của cấu trúc mạng leaf-spine
Cấu trúc mạng leaf-spine mang lại một số ưu điểm so với cấu trúc mạng truy cập-tổng hợp-lõi. Bộ ưu điểm này là lý do để sử dụng loại cấu trúc mạng leaf-spine trong trung tâm dữ liệu.
Kết nối được tối ưu hóa. Các liên kết có băng thông cao giữa các thiết bị mạng là tối ưu cho lưu lượng đông-tây. Không có liên kết nào bị bỏ trống (vì sử dụng L3 thay vì L2). ECMP được khuyến nghị để đạt hiệu quả cao, và STP không cần thiết.
Độ tin cậy. Sự cố của một thiết bị hoặc việc ngắt kết nối một liên kết không gây ra hậu quả tiêu cực đáng kể hay bất lợi nào. Nếu bộ chuyển mạch ToR đóng vai trò là bộ chuyển mạch lá bị hỏng, giá đỡ tương ứng sẽ bị ảnh hưởng. Nếu bộ chuyển mạch cột sống bị hỏng, băng thông mạng sẽ giảm sút nhưng không đáng kể so với cấu trúc mạng phân cấp 3 tầng truyền thống. Mức suy giảm băng thông đối với cấu trúc spine-leaf là 1/n , trong đó n là số lượng switch spine. Mức suy giảm băng thông đối với cấu trúc mạng phân cấp là 50% trong trường hợp này.
Khả năng mở rộng cao. Bạn có thể thêm các switch leaf mới cho đến khi còn cổng trống trên các switch spine. Việc thêm các switch spine mới cho phép bạn tăng số lượng kết nối uplink của các switch leaf. Thêm các thiết bị chuyển mạch/bộ định tuyến biên để tăng băng thông tới các mạng bên ngoài. Cách tiếp cận truyền thống nhằm tăng băng thông và kết nối thêm nhiều máy chủ hơn cho cấu trúc mạng phân cấp dạng cây là bổ sung thêm các thẻ mạng có nhiều cổng hơn, thiết bị mạng có giao diện mạng nhanh hơn và phần cứng mạnh mẽ hơn nói chung. Cách tiếp cận truyền thống này được gọi là mở rộng theo chiều dọc hoặc khả năng mở rộng theo chiều dọc .
Khi sử dụng leaf-spine cấu trúc mạng trong các trung tâm dữ liệu và cho mạng MSP, bạn có thể thêm một lớp spine bổ sung. Cách tiếp cận này được gọi là khả năng mở rộng theo chiều ngang hoặc mở rộng theo chiều ngang . Việc thêm một thiết bị mạng tiêu biểu như bộ chuyển mạch/bộ định tuyến sẽ tăng khả năng mở rộng theo cách tuyến tính.
Bảo trì. Bạn có thể dễ dàng ngắt kết nối các thiết bị spine khỏi mạng để bảo trì hoặc thay thế. Các tác vụ bảo trì trên thiết bị spine không rủi ro so với các thiết bị trung tâm (god boxes) vì thiết bị spine không có chức năng thông minh và việc giảm băng thông sau khi ngắt kết nối là tối thiểu.
Mạng Clos nhiều tầng
Trong phần trước, tôi đã giải thích về mạng Clos ba tầng với các tầng: Switch đầu vào, Switch giữa và Switch đầu ra. Vì các thiết bị ở tầng đầu vào và đầu ra được sử dụng để nhận/gửi dữ liệu, sơ đồ mạng có thể được gấp lại bằng cách sử dụng một đường giữa bao gồm cấu trúc mạng hai tầng leaf-spine . Bạn có thể thêm nhiều giai đoạn hơn và xây dựng mạng Clos nhiều tầng để kết nối thêm các thiết bị mạng vào mạng này. Trong trường hợp này, bạn sẽ có năm giai đoạn: Bộ chuyển mạch đầu vào, Bộ chuyển mạch giữa 1, Bộ chuyển mạch giữa 2, Bộ chuyển mạch giữa 3 và Bộ chuyển mạch đầu ra.
Trên sơ đồ sau đây, bạn có thể thấy sơ đồ ban đầu của mạng Clos năm giai đoạn không chặn sau khi sắp xếp lại các khối màu xanh dương và xanh lá. Cũng có chế độ xem gấp lại leaf-spine hoặc chế độ xem fat-tree (4,3) (vì có 4 bộ chuyển mạch cột sống và 3 giai đoạn trên sơ đồ leaf-spine ), nhưng hãy cùng xem cách kết nối các thiết bị vào mạng Clos năm giai đoạn từng bước một. Loại cấu trúc mạng Clos có hơn 5 giai đoạn không phổ biến và không được sử dụng trong thực tế vì số lượng kết nối quá lớn.
Sau khi xoay sơ đồ ban đầu của mạng Clos 5 giai đoạn 90 độ theo chiều kim đồng hồ, bạn sẽ có được hình ảnh truyền thống với các công tắc đầu vào, công tắc đầu ra và ba giai đoạn của các công tắc giữa. Hãy vẽ đường gấp qua các công tắc giữa ở trung tâm của sơ đồ để tạo ra hình ảnh gấp của mạng Clos 5 giai đoạn. 
Sau khi gấp sơ đồ lại, bạn sẽ thấy hình ảnh gấp lại hoặc hình ảnh “ leaf-spine ” của loại cấu trúc mạng này (xem sơ đồ dưới đây). Có 4 nhóm riêng biệt đóng vai trò là các điểm phân phối (POD). POD là đơn vị cơ bản để xây dựng trung tâm dữ liệu. Các POD được kết nối với các “spine” cấp một. Nếu bạn cần mở rộng trung tâm dữ liệu hoặc thêm máy chủ/thiết bị mạng, hãy thêm các POD mới và kết nối chúng với mạng cơ sở. Các đường trục (spines) của một POD được kết nối với các đường trục của các POD khác thông qua các đường trục cấp 2. Đồng thời, không phải tất cả các đường trục cấp 1 (L1) đều được kết nối với tất cả các đường trục cấp 2 (L2), và chúng được phân chia theo các mặt phẳng (planes).
Có hai mặt phẳng – Plane 0 và Plane 1 trong sơ đồ sau đây. Khái niệm này được áp dụng do số lượng cổng trên các thiết bị spine bị giới hạn, và việc tạo ra một cấu trúc mạng kết nối đầy đủ là không khả thi trong trường hợp này. Trong sơ đồ sau, mỗi thiết bị spine có giới hạn 4 cổng. Theo ý tưởng chính, mạng Clos không bị chặn (non-blocking) dựa trên các thành phần tương tự (các bộ chuyển mạch 4 cổng, như hình dưới đây).
Thoạt nhìn, bạn có thể nhầm lẫn giữa các thuật ngữ như Clos, folded Clos, leaf-spine, và fat tree. Hãy để tôi làm rõ các thuật ngữ này.
Clos hoặc mạng Clos là thuật ngữ bao quát cơ sở lý thuyết của loại cấu trúc mạng Clos.
Folded Clos là cách biểu diễn thuận tiện hơn của mạng Clos, trong đó đầu vào và đầu ra có vai trò giống nhau và được đặt ở cùng một vị trí.
Leaf-spine là một cấu trúc mạng dựa trên sơ đồ mạng Clos, được sử dụng trong thực tế tại các trung tâm dữ liệu để xây dựng mạng, bao gồm cả mạng MSP.
Fat tree thường được coi là một biến thể của mạng Clos. Thuật ngữ này gây nhầm lẫn nhất vì một số bài viết đề cập đến fat tree như là mạng truy cập-tập trung-lõi cổ điển. Tôi tham khảo tài liệu RFC 7938, trong đó nêu rõ rằng fat tree dựa trên cấu trúc mạng folded Clos .
Các phép tính
Bạn có thể tính toán số lượng bộ chuyển mạch lõi, bộ chuyển mạch biên, tổng số bộ chuyển mạch cần thiết và tổng số máy chủ có thể kết nối với mạng theo cấu hình đã chọn bằng cách sử dụng các công thức sau, trong đó:
k là số cổng trên bộ chuyển mạch
L là số cấp trong cấu trúc mạng leaf-spine (fat tree)
Thông số chính cần tính toán trước khi xây dựng mạng là số lượng máy chủ được hỗ trợ. Cấu hình fat-tree có thể được viết dưới dạng FT(k, L). Ví dụ, FT(32,3) là một mạng ba cấp fat-tree với các bộ chuyển mạch 32 cổng. Bạn có thể sử dụng liên kết này máy tính miễn phí cho các mạng Clos, công cụ này cũng tạo ra sơ đồ trực quan cho cấu hình đã chọn.
Bạn có thể tính toán rằng nếu sơ đồ mạng fat-tree của bạn có 2 cấp và 8 cổng trên mỗi bộ chuyển mạch, thì bạn có thể kết nối 32 máy chủ vào mạng. Nếu bạn tăng số lượng cổng trên mỗi bộ chuyển mạch, số lượng máy chủ được hỗ trợ sẽ tăng lên 512. Như bạn có thể thấy, số lượng máy chủ được kết nối phụ thuộc vào số lượng cổng trên mỗi bộ chuyển mạch. Nếu bạn giữ nguyên fat tree ở 2 cấp (mạng Clos 3 giai đoạn) và tăng số cổng trên mỗi bộ chuyển mạch, số lượng bộ chuyển mạch cột sống sẽ tăng đáng kể. Bạn có thể giải quyết vấn đề này bằng cách thêm một cấp nữa vào fat tree. Đối với mạng Clos 3 cấp fat tree, nếu số cổng trên mỗi bộ chuyển mạch là 8, bạn có thể kết nối 128 máy chủ.
Nếu tăng số cổng trên mỗi bộ chuyển mạch lên 32, bạn có thể kết nối 8.192 máy chủ bằng cấu trúc mạng này. Con số này đối với mạng Clos 5 tầng cao gấp 16 lần so với mạng Clos 3 tầng. Hãy lưu ý các giới hạn của giá đỡ máy chủ khi lập kế hoạch bố trí máy chủ và thiết bị mạng trong trung tâm dữ liệu.
Số giai đoạn lẻ được sử dụng để xây dựng mạng Clos không chặn (3, 5, 7, v.v.). Mạng Clos 2 giai đoạn không cung cấp kết nối không chặn và các kết nối đa hướng giữa các bộ chuyển mạch.
Trong sơ đồ sau, bạn có thể thấy rằng trong trường hợp mạng Clos hai tầng, chỉ có một đường truyền để kết nối Máy chủ 1 và Máy chủ 2. Chỉ ¼ cổng được kết nối, các cổng còn lại không được kết nối và chúng gây tắc nghẽn.
Tỷ lệ quá tải là tỷ lệ giữa băng thông đầu vào và băng thông đầu ra theo hướng từ các tầng thấp hơn lên các tầng cao hơn. Tỷ lệ quá tải thường dao động từ 2 đến 4.
Ví dụ: Một bộ chuyển mạch có 48 cổng 10 Gbit và 4 cổng uplink 40 Gbit. Tổng băng thông của các cổng downlink đến máy chủ là 48 × 10 = 480 Gbit/s. Tổng tốc độ của các cổng uplink là 4 × 40 = 160 Gbit/s. Tỷ lệ oversubscription là 480/160 = 4.
Nếu tổng băng thông của tất cả các cổng xuống và cổng lên trên bộ chuyển mạch bằng nhau, bộ chuyển mạch không bị oversubscription và không có điểm nghẽn trong trường hợp này. Tỷ lệ quá tải 1:1 là trường hợp lý tưởng. Hãy ước tính lưu lượng theo các hướng khác nhau trước khi mua các bộ chuyển mạch có tốc độ và số lượng cổng phù hợp.
Các bộ chuyển mạch có tỷ lệ quá tải cao hơn 1 thường được sử dụng ở tầng lá (leaf) trong các mạng có cấu trúc mạng leaf-spine. Nên sử dụng các bộ chuyển mạch không quá tải ở tầng spine. Các bộ chuyển mạch ở cấp leaf trong loại cấu trúc mạng leaf-spine thường được sử dụng làm bộ chuyển mạch ToR. Tuy nhiên, vẫn có thể lắp đặt các bộ chuyển mạch leaf làm bộ chuyển mạch End of Row.
Những điểm khác biệt cơ bản
Khi thiết lập mạng, một số quyết định sẽ ảnh hưởng đến cách bố trí mạng. Dưới đây là một số quyết định “hoặc là… hoặc là…” ảnh hưởng đến hoạt động của mạng.
Top of Rack so với End of Row
Phương án kết nối mạng Top of Rack (ToR) trong trung tâm dữ liệu là khi một hoặc nhiều bộ chuyển mạch được lắp đặt trong mỗi giá đỡ. Các cáp nối ngắn được sử dụng để kết nối bộ chuyển mạch Top of Rack với các thiết bị mạng và máy chủ khác trong giá đỡ. Các bộ chuyển mạch ToR thường có các liên kết lên tốc độ cao đến các bộ chuyển mạch/bộ định tuyến cấp cao hơn và có thể được kết nối bằng cáp quang. Ưu điểm là khi áp dụng sơ đồ kết nối này cho mạng MSP, bạn không cần phải lắp đặt một lượng lớn cáp dày đặc từ từng rack trong trung tâm dữ liệu. Việc sử dụng cáp trong trung tâm dữ liệu trở nên hợp lý hơn khi áp dụng sơ đồ ToR. Trong trường hợp này, bạn sẽ tiết kiệm chi phí lắp đặt cáp và có hệ thống quản lý cáp hiệu quả hơn. Bạn có thể quản lý từng giá máy chủ như một mô-đun độc lập mà không ảnh hưởng đến các giá máy chủ khác trong trung tâm dữ liệu, vì chỉ các máy chủ trong một giá máy chủ cụ thể mới bị ảnh hưởng. Mặc dù tên gọi của sơ đồ này là “ToR”, bạn vẫn có thể lắp đặt bộ chuyển mạch ở giữa hoặc phía dưới mỗi giá máy chủ.
Sơ đồ kết nối mạng “End of Row” (EoR) ( ) là khi giá máy chủ ở cuối hàng chứa thiết bị mạng. Thiết bị này bao gồm một bộ chuyển mạch mạng chung để kết nối tất cả các máy chủ và các thiết bị khác của tất cả các giá máy chủ trong hàng. Các dây cáp từ thiết bị mạng được lắp đặt trong giá máy chủ EoR được kết nối với các thiết bị trong tất cả các giá máy chủ của hàng thông qua các bảng cắm (patch panels) được lắp đặt trong từng giá máy chủ. Do đó, các dây cáp dài được sử dụng để kết nối tất cả các thiết bị mạng trong một hàng. Nếu sử dụng các kết nối mạng dự phòng, số lượng dây cáp cũng sẽ tăng lên. Các bó dây cáp dày có thể cản trở luồng không khí đến thiết bị.
Các giá máy chủ thường được bố trí thành các hàng đặt cạnh nhau trong trung tâm dữ liệu. Ví dụ, một hàng có thể chứa 10 hoặc 12 giá máy chủ. Toàn bộ hàng được coi là một đơn vị quản lý duy nhất khi sử dụng sơ đồ kết nối EoR cho mạng MSP trong trung tâm dữ liệu. Trong trường hợp này, mô hình quản lý theo hàng được áp dụng. Mô hình kết nối mạng EoR yêu cầu ít bộ chuyển mạch riêng lẻ hơn. Độ linh hoạt sẽ giảm khi bạn cần thực hiện bảo trì hoặc nâng cấp các thiết bị chuyển mạch, bởi vì việc ngắt kết nối một thiết bị chuyển mạch EoR sẽ ảnh hưởng đến nhiều thiết bị hơn. Mặc dù có tên gọi như vậy, một giá đỡ có thiết bị chuyển mạch chung (các thiết bị chuyển mạch) vẫn có thể được đặt ở giữa hàng.
Kết nối Lớp 2 so với Lớp 3
Việc quyết định các kết nối trong mạng là một phép tính cân nhắc giữa độ tin cậy, tốc độ và chi phí, cũng như cấu trúc mạng đang được thiết lập.
Ví dụ, có các phân đoạn mạng cho cấu trúc mạng ba tầng Truy cập-Tập trung-Lõi và Leaf-Spine cấu trúc mạng. Tại đó, lưu lượng được truyền trên các lớp L2 và L3 của mô hình OSI. Trong mạng phân cấp ba tầng, lớp truy cập hoạt động trên lớp L2, lớp phân phối/tập trung tổng hợp các liên kết L2 và cung cấp định tuyến L3, còn lớp mạng lõi thực hiện định tuyến trên lớp thứ ba của mô hình OSI. Mạng có cấu trúc nhiều tầng Leaf-Spine có thể được cấu hình bằng cách sử dụng L2 với VLAN và L3 với định tuyến IP và mạng con.
Thiết bị mạng L2 có giá thành hợp lý hơn so với thiết bị mạng L3, nhưng việc sử dụng mạng L2 để kết nối các thiết bị mạng trong mạng MSP của trung tâm dữ liệu cũng có một số nhược điểm. VLAN thường được sử dụng để cách ly logic các mạng sử dụng chung một môi trường vật lý. Số lượng VLAN tối đa là 4095 (trừ một số VLAN được dành riêng như 0, 4095, 1002-1005).
Một nhược điểm khác, như đã đề cập trước đó, là không thể sử dụng các liên kết dự phòng khi STP được áp dụng ở lớp 2. Điều này do chỉ có một liên kết có thể hoạt động cùng lúc, và toàn bộ băng thông khả dụng của tất cả các liên kết không được khai thác hết. Khi miền L2 với STP trở nên rộng lớn, xác suất xảy ra sự cố do hệ thống cáp không đúng cách và lỗi con người sẽ tăng lên, đồng thời việc khắc phục sự cố cũng trở nên khó khăn.
Cấu hình mạng L3 cho phép các kỹ sư cải thiện tính ổn định và khả năng mở rộng của mạng MSP cũng như các mạng trung tâm dữ liệu nói chung.
Các giao thức mạng sau đây giúp bạn quản lý mạng L3 và định tuyến lưu lượng.
BGP (Border Gateway Protocol) là giao thức định tuyến động được sử dụng rộng rãi và được coi là tiêu chuẩn tại nhiều tổ chức sở hữu các trung tâm dữ liệu quy mô lớn. BGP là giao thức có khả năng mở rộng cao, linh hoạt và hiệu quả.
ECMP (Equal Cost Multipath Routing) là công nghệ định tuyến mạng được sử dụng để phân phối lưu lượng bằng cách sử dụng nhiều đường dẫn tối ưu nhất, được xác định bởi các chỉ số trên lớp thứ ba của mô hình OSI. ECMP kết hợp với các giao thức định tuyến được sử dụng để cân bằng tải trong các mạng quy mô lớn. Hầu hết các giao thức định tuyến, bao gồm BGP, EIGRP, IS-IS, OSPF, đều hỗ trợ ECMP công nghệ.
Hãy luôn cố gắng sử dụng các giao thức mạng tiên tiến hơn. Nhưng hãy nhớ rằng, càng ít giao thức được sử dụng trong mạng, việc quản trị mạng càng thuận tiện.
Cấu trúc mạng cho NV và SDN
Bên cạnh ảo hóa phần cứng và việc sử dụng máy ảo, ảo hóa mạng theo phương pháp tập trung vào ứng dụng cũng đã trở nên phổ biến. Các giải pháp Ảo hóa Mạng (NV) như VMware NSX, mạng OpenStack và Cisco ASI tận dụng mạnh mẽ lưu lượng đông-tây trong mạng vật lý, và leaf-spine cấu trúc mạng là lựa chọn phù hợp cho các giải pháp ảo hóa mạng vì lý do này. Đọc bài viết trên blog về VMware NSX để tìm hiểu thêm về ảo hóa mạng.
Mạng định nghĩa bằng phần mềm (SDN) được sử dụng để ảo hóa mạng nhằm tối ưu hóa việc sử dụng tài nguyên, tăng tính linh hoạt và quản trị tập trung. Đây là giải pháp tối ưu trong trung tâm dữ liệu ảo hóa, nơi các máy ảo kết nối với mạng được sử dụng. Các máy ảo có thể di chuyển di chuyển giữa các máy chủ, từ đó tạo ra lưu lượng mạng theo hướng đông-tây bên trong trung tâm dữ liệu. SDN được các nhà cung cấp dịch vụ quản lý (MSP) sử dụng rộng rãi cho mạng của họ khi cung cấp dịch vụ IaaS (cơ sở hạ tầng như một dịch vụ).
Việc cấu hình mạng định nghĩa bằng phần mềm (SDN) mang lại hiệu quả cao khi sử dụng cấu trúc mạng cơ sở leaf-spine kết hợp với định tuyến động, số bước nhảy cố định, độ trễ thấp và có thể dự đoán được, cùng với tối ưu hóa lưu lượng đông-tây cho giao tiếp giữa các máy chủ trong trung tâm dữ liệu.
VXLAN
VXLAN (Mạng khu vực cục bộ ảo mở rộng) là một giao thức mạng cải tiến được sử dụng thay thế cho VLAN trong các mạng lớp phủ. Các đường hầm L2 được tạo ra bằng cách sử dụng các mạng L3 cơ sở (mạng L3 underlay) để cung cấp kết nối mạng L2 mà không bị giới hạn bởi các hạn chế truyền thống của VLAN. Với VXLAN, bạn có thể cấu hình mạng L2 trên mạng L3. Cấu trúc ảo có thể khác với cấu trúc mạng vật lý của mạng cơ sở.
Các khung VXLAN được đóng gói vào các gói IP bằng cách sử dụng phương thức đóng gói MAC-in-UDP . VNI tương đương với ID VLAN. Số lượng tối đa của VNI là 2^24, tức khoảng 16 triệu. VXLAN được sử dụng để tạo các mạng L2 trong các môi trường trải rộng về mặt địa lý, ví dụ như khi bạn cần tạo một mạng kết nối hai trung tâm dữ liệu phân tán về mặt địa lý.
Việc sử dụng VXLAN và ảo hóa mạng giúp tối ưu hóa kích thước bảng địa chỉ MAC cho các bộ chuyển mạch ToR. Điều này là do các địa chỉ MAC được các máy ảo (VM) sử dụng và lưu lượng L2 liên quan được truyền qua mạng lớp 2 phủ (L2 overlay network) bằng công nghệ VXLAN. Chúng không gây quá tải cho bảng địa chỉ MAC của các thiết bị chuyển mạch vật lý. Bảng địa chỉ MAC của các thiết bị chuyển mạch vật lý không vượt quá dung lượng bảng tối đa có sẵn của các thiết bị này.
Kết luận
Theo truyền thống, các mạng trong trung tâm dữ liệu được xây dựng dựa trên cấu trúc ba tầng cổ điển: truy cập – tổng hợp – lõi. Với sự phát triển của các ứng dụng client-server và phân tán hiện đại, microservices cùng các phần mềm khác – vốn là nguồn tạo ra lưu lượng east-west bên trong mạng MSP – kiến trúc mạng leaf-spine dựa trên khái niệm mạng Clos được ưa chuộng trong các trung tâm dữ liệu hiện đại và là một trong những kiến trúc mạng phổ biến nhất. Kiến trúc mạng leaf-spine là lựa chọn tối ưu cho các trung tâm dữ liệu quy mô lớn vì nó mang lại độ tin cậy và khả năng mở rộng cao. Trước khi triển khai mạng trong trung tâm dữ liệu, hãy thực hiện các tính toán và ước tính lưu lượng mạng cùng khối lượng công việc được tạo ra. Cần tính đến lưu lượng dịch vụ như lưu lượng sao lưu và sao chép trong mạng.
NAKIVO Backup & Replication là phần mềm sao lưu máy ảo mạnh mẽ, có khả năng bảo vệ các khối lượng công việc VMware Cloud Director, máy ảo VMware, máy ảo Hyper-V, cũng như các máy vật lý chạy Linux và Windows, cùng các cơ sở dữ liệu Oracle. Các nhà cung cấp dịch vụ quản lý (MSP) cung cấp cơ sở hạ tầng như một dịch vụ (IaaS), sao lưu như một dịch vụ (BaaS) và phục hồi thảm họa như một dịch vụ (DRaaS) có thể sử dụng NAKIVO Backup & Replication được cài đặt ở chế độ đa người thuê. Tải xuống bản dùng thử miễn phí của NAKIVO Backup & Replication dành cho MSP tại </a> , hỗ trợ chế độ cài đặt đa người thuê.
