Phân tích nhật ký VMware để khắc phục sự cố

Các sản phẩm phần mềm máy chủ VMware cung cấp các tệp nhật ký ghi lại dữ liệu về các sự kiện của từng thành phần phần mềm kèm theo dấu thời gian. Nhật ký VMware có thể được sử dụng để khắc phục sự cố, chẩn đoán và giải quyết các vấn đề. Bài viết này sẽ đề cập đến nhật ký ESXi và vCenter, hướng dẫn cách kiểm tra nhật ký trong VMware vSphere, cách tìm kiếm thông tin cần thiết và phân tích chúng.

NAKIVO cho sao lưu VMware vSphere

Bảo vệ dữ liệu toàn diện cho các máy ảo VMware vSphere và các tùy chọn khôi phục tức thì. Các điểm sao lưu an toàn tại chỗ, ngoài cơ sở và trên đám mây. Các tính năng chống ransomware.

KHÁM PHÁ GIẢI PHÁP

Nhật ký ESXi

VMware ESXi là một trình ảo hóa được sử dụng rộng rãi, cho phép người dùng tạo và quản lý các máy ảo trên các máy chủ vật lý. Để đảm bảo máy chủ ESXi hoạt động đúng, khắc phục sự cố và giám sát, nhiều loại nhật ký khác nhau được tạo ra. Các nhật ký này ghi lại các sự kiện quan trọng, lỗi và dữ liệu hiệu suất, giúp các quản trị viên và đội ngũ hỗ trợ xác định vấn đề và duy trì sự ổn định của cơ sở hạ tầng ảo. Dưới đây là phần giải thích về một số nhật ký VMware ESXi thiết yếu.

Nhật ký VMkernel

/var/log/vmkernel.log 

Nhật ký này ghi lại các hoạt động của VMkernel, bao gồm sự kiện trình điều khiển thiết bị, lưu trữ, mạng và các hoạt động liên quan đến kernel khác. Nó cung cấp thông tin chi tiết về các hoạt động hệ thống cấp thấp và rất quan trọng để chẩn đoán các vấn đề liên quan đến phần cứng. Vị trí của nhật ký vmkernel là thư mục /var/log/ .

/var/log/vmkwarning.log

Tệp nhật ký này chứa các thông báo cảnh báo do VMkernel tạo ra, đây là lõi của trình ảo hóa ESXi. Nó ghi lại các sự kiện và điều kiện có thể cần được chú ý nhưng không phải là lỗi nghiêm trọng.

/var/log/vmksummary.log

vmksummary.log là tệp nhật ký tóm tắt cung cấp tổng quan về trạng thái hoạt động của máy chủ ESXi, bao gồm các sự kiện khởi động và tắt máy, việc sử dụng tài nguyên hệ thống và một số thống kê hiệu suất chính.

Nhật ký quản lý máy chủ

/var/log/hostd.log

Tệp nhật ký này chứa các mục liên quan đến dịch vụ quản lý máy chủ ESXi (hostd). Nó ghi lại các sự kiện liên quan đến các thao tác nguồn của máy ảo, xử lý tác vụ và sự kiện, cũng như giao tiếp với vCenter Server nếu có.

Nhật ký máy ảo

/vmfs/volumes/datastore_name/vm_name/vmware.log

Mỗi máy ảo duy trì một tệp nhật ký ghi lại các sự kiện cụ thể của máy ảo đó, chẳng hạn như các thao tác nguồn, thay đổi phần cứng ảo và các sự kiện ứng dụng từ hệ điều hành khách. Vị trí tệp vmware.log là một thư mục máy ảo trên kho dữ liệu.

Nhật ký lưu trữ

/var/log/vobd.log

Nhật ký này tập trung vào các vấn đề liên quan đến lưu trữ và các thao tác iSCSI.

/var/log/vmkernel.log

Như đã đề cập trước đó, nhật ký VMkernel cũng ghi lại các sự kiện liên quan đến lưu trữ.

Nhật ký mạng

/var/log/vobd.log

Nhật ký này bao gồm các sự kiện liên quan đến mạng, chẳng hạn như vMotion, kết nối mạng và lỗi giao tiếp.

/var/log/vmkernel.log

Nhật ký VMkernel cũng chứa các thông báo liên quan đến mạng.

Nhật ký xác thực và người dùng

/var/log/auth.log

Nhật ký này ghi lại các sự kiện xác thực, bao gồm đăng nhập và đăng xuất của người dùng.

Nhật ký ESXi shell và SSH

/var/log/shell.log

Nhật ký này ghi lại các lệnh ESXi Shell (TSM) do người dùng thực thi.

/var/log/ssh.log

Nếu SSH được bật trên máy chủ ESXi, nhật ký này sẽ ghi lại các sự kiện liên quan đến SSH.

Thông báo hệ thống

/var/log/syslog.log

Tệp nhật ký syslog.log chứa nhật ký toàn diện về các thông báo hệ thống từ VMkernel và các dịch vụ khác nhau đang chạy trên máy chủ ESXi. Tệp này ghi lại nhiều loại thông tin, bao gồm thông báo khởi động, sự kiện phần cứng, hoạt động mạng và nhiều thông tin khác.

Nhật ký tường lửa

/var/log/firewall.log
Nhật ký này theo dõi các sự kiện liên quan đến tường lửa ESXi, bao gồm các kết nối được phép và bị từ chối.

Nhật ký máy chủ vCenter trên ESXi (nếu kết nối với máy chủ vCenter)

/var/log/vpxa.log

Tệp nhật ký này dành riêng cho các máy chủ ESXi được quản lý bởi máy chủ vCenter. Tệp vpxa.log liên quan đến vCenter Agent (vpxa) đang chạy trên máy chủ ESXi. Nó ghi lại các tương tác giữa máy chủ ESXi và máy chủ vCenter, bao gồm các tác vụ được khởi tạo từ vCenter, chẳng hạn như các thao tác nguồn của máy ảo, di chuyển và thay đổi cấu hình, cũng như các cập nhật trạng thái máy chủ, việc thực thi tác vụ và sự kiện, cùng với giao tiếp với máy chủ vCenter.

Nhật ký cập nhật ESXi

/var/log/esxupdate.log

Tệp esxupdate.log chứa các nhật ký liên quan đến Cập nhật và vá lỗi cho máy chủ ESXi. Tệp nhật ký này ghi lại thông tin về việc cài đặt, nâng cấp và gỡ bỏ các gói phần mềm (VIBs) trên máy chủ ESXi.

Nhật ký USB

/var/log/usb.log

Tệp usb.log ghi lại các sự kiện liên quan đến Các thiết bị USB được kết nối với máy chủ ESXi. Nó theo dõi việc phát hiện, kết nối và ngắt kết nối các thiết bị USB, cũng như bất kỳ vấn đề nào liên quan đến việc truyền qua USB hoặc sử dụng dịch vụ điều phối USB.

Nhật ký VMware vCenter

VMware vCenter là nền tảng quản lý tập trung cho phép quản trị viên quản lý hiệu quả nhiều máy chủ VMware ESXi và máy ảo. Để duy trì tình trạng hoạt động và hiệu suất của máy chủ vCenter và các máy chủ ESXi được kết nối với nó, một số nhật ký được tạo ra, mỗi nhật ký phục vụ một mục đích cụ thể. Dưới đây là giải thích về một số tệp nhật ký VMware vCenter quan trọng.

vpxd.log

Vị trí: /var/log/vmware/vpxd/vpxd.log

Tệp nhật ký này ghi lại các sự kiện liên quan đến dịch vụ vCenter Server và vị trí tệp nhật ký vpxd là thư mục /var/log/vmware/vpxd/ trên máy chủ vCenter. Tệp nhật ký vpxd chứa thông tin về quá trình khởi động dịch vụ vCenter, các sự kiện kết nối từ các khách hàng vSphere, xác thực người dùng, cấp phép, và các tác vụ quản trị khác được thực hiện thông qua khách hàng vSphere hoặc API. Tệp nhật ký

/var/log/vmware/vpxd/vpxd-alert.log chứa thông tin không quan trọng về quá trình vpxd .

fdm.log

Vị trí: /var/log/fdm.log

Nhật ký Fault Domain Manager (FDM) rất quan trọng cho việc khắc phục sự cố Khả năng sẵn sàng cao của vSphere (HA). Nó chứa thông tin về các sự cố máy chủ và máy ảo, cấu hình HA, dữ liệu nhịp tim và việc bầu chọn máy chủ chính trong cụm HA.

vmsyslogd.log

Vị trí: /var/log/vmware/vmsyslogd.log

Tệp nhật ký này liên quan đến dịch vụ syslog đang chạy trên vCenter Server Appliance. Nó ghi lại các thông báo được chuyển tiếp đến syslog của vCenter Server từ các thành phần và dịch vụ khác nhau.

vmware-vpostgres.log

Vị trí: /var/log/vmware/vpostgres/postgresql-xx.log

Tệp nhật ký này chứa các thông báo chi tiết liên quan đến cơ sở dữ liệu PostgreSQL, bao gồm trạng thái sao chép, nhật ký giao dịch và các sự kiện cơ sở dữ liệu khác.

catalina.log

Vị trí: /var/log/vmware/vpostgres/catalina.out

Tệp nhật ký này thuộc về dịch vụ cơ sở dữ liệu VMware Postgres. Nó chứa các thông báo liên quan đến các hoạt động cơ sở dữ liệu, bao gồm các sự kiện khởi động và tắt máy, truy vấn và lỗi.

sms.log

Vị trí: /var/log/vmware/sms/sms.log

Nhật ký Dịch vụ Giám sát Lưu trữ (SMS) ghi lại các sự kiện liên quan đến các tác vụ giám sát và quản lý lưu trữ, bao gồm kho dữ liệu, thiết bị lưu trữ và cảnh báo lưu trữ.

invsvc.log

Vị trí: /var/log/vmware/invsvc/invsvc.log

Nhật ký Dịch vụ Danh mục chứa thông tin về các hoạt động danh mục vCenter Server, chẳng hạn như cập nhật đối tượng, thu thập dữ liệu và đồng bộ hóa.

applmgmt.log

Vị trí: /var/log/vmware/applmgmt/applmgmt.log

Tệp nhật ký này liên quan đến dịch vụ quản lý thiết bị và cung cấp thông tin về việc triển khai và cấu hình vCenter Server Appliance.

vmware-sts-idmd.log

Vị trí: /var/log/vmware/sso/vmware-sts-idmd.log

Tệp nhật ký này ghi lại các sự kiện liên quan đến dịch vụ Đăng nhập một lần của VMware (SSO), quản lý danh tính và các quy trình xác thực.

stats.log

Vị trí: /var/log/vmware/perfcharts/stats.log

Tệp stats.log liên quan đến dịch vụ Biểu đồ Hiệu suất vCenter Server (còn được gọi là vCenter Performance Charts). Nó chứa dữ liệu thống kê và thông tin liên quan đến hiệu suất được thu thập bởi dịch vụ Biểu đồ Hiệu suất.

Dịch vụ Performance Charts cung cấp các biểu diễn đồ họa của các chỉ số hiệu suất cho máy ảo và máy chủ. Tệp stats.log ghi lại dữ liệu có thể được sử dụng để tạo biểu đồ và đồ thị hiệu suất nhằm theo dõi và phân tích hiệu suất của các thành phần cơ sở hạ tầng ảo.

LƯU Ý: Dịch vụ Performance Charts là thiết yếu để theo dõi hiệu suất thời gian thực của máy ảo và máy chủ, và tệp stats.log đóng vai trò trong việc lưu trữ dữ liệu cơ sở.

eam.log

Vị trí: /var/log/vmware/eam/eam.log

Tệp eam.log thuộc về dịch vụ ESX Agent Manager (EAM) trong vCenter Server. EAM chịu trách nhiệm quản lý các tác nhân vSphere, bao gồm các gói cài đặt vSphere (VIB) và các tác nhân mở rộng.

Tệp eam.log ghi lại các sự kiện và hoạt động liên quan đến quản lý vòng đời của các tác nhân vSphere. Nó lưu trữ thông tin về việc triển khai, nâng cấp và xác thực tác nhân. Nếu bạn đang tìm kiếm vị trí lưu trữ nhật ký của VMware Lifecycle Manager, hãy truy cập /var/log/vmware/eam/eam.log

LƯU Ý: ESX Agent Manager đảm bảo rằng các phiên bản VIB chính xác được cài đặt trên các máy chủ ESXi và các tác nhân mở rộng được đăng ký đúng cách. eam.log đóng vai trò quan trọng trong việc theo dõi các hoạt động này và phát hiện bất kỳ sự cố nào liên quan đến các tác nhân vSphere.

Nơi lưu trữ nhật ký

Hãy cùng tìm hiểu xem nhật ký VMware được lưu trữ trên phân vùng nào và trong các thư mục nào. Trong cài đặt VMware ESXi mặc định, nhật ký được lưu trữ trong một số thư mục trên các phân vùng khác nhau. Vị trí điển hình của nhật ký VMware, chẳng hạn như nhật ký VMkernel trên máy chủ ESXi, là:

/scratch/log/


Các liên kết tượng trưng (symlinks) nằm tại /var/log/ nhưng các tệp nhật ký được lưu trữ trên phân vùng tạm thời của ESXi (xem các ảnh chụp màn hình ở trên và dưới). Chúng tôi đã đề cập đến phân vùng tạm thời và bộ nhớ tạm khi giải thích về ” Cách cài đặt ESXi trên ổ USB“.

Ví dụ, bạn có thể truy cập Nhật ký Quản lý Máy chủ tại /var/log/hostd.log bằng liên kết tượng trưng (symlink), nhưng tệp hostd.log được đặt trong thư mục log trên phân vùng /scratch .

Nhật ký máy ảo thường được lưu trữ trên kho dữ liệu (datastore) của máy ảo trong thư mục máy ảo và không bị xóa sau khi khởi động lại máy chủ ESXi, ví dụ: /vmfs/volumes/datastore_name/vm_name/vmware.log

Khi tệp nhật ký máy ảo (vmware.log) đầy, nó sẽ được đổi tên thành vmware-1.log, vmware-2.log, v.v.

Bạn có thể bật hoặc tắt nhật ký máy ảo bằng cách truy cập VM settings > VM options trong VMware vSphere Client và mở rộng các tùy chọn Advanced , bao gồm hộp kiểm Enable logging .

Do đó, phân vùng /scratch được sử dụng để lưu trữ nhật ký và các tệp tạm thời khác trên máy chủ ESXi. Trong một số cài đặt, phân vùng /scratch được cấu hình là hệ thống tệp trong bộ nhớ (tmpfs). Nếu bạn cần lưu giữ nhật ký qua các lần khởi động lại, bạn có thể cấu hình vị trí lưu trữ bền vững cho nhật ký bằng lệnh “esxcli system syslog” và các lệnh khác được giải thích bên dưới.

Hãy lưu ý rằng vị trí của nhật ký ESXi có thể thay đổi tùy thuộc vào phiên bản và cấu hình ESXi. Ngoài ra, nhật ký có thể được lưu trữ trên thiết bị lưu trữ bền vững nếu được quản trị viên hệ thống cấu hình rõ ràng.

Vị trí của nhật ký vCenter

Hầu hết nhật ký vCenter Server được đặt trong thư mục /var/log/vmware/ . VMware vCenter Server không lưu trữ nhật ký trên phân vùng tạm thời (không bền vững) như ESXi. Thay vào đó, nhật ký vCenter Server thường được lưu trữ trên đĩa cục bộ của hệ điều hành hoặc một khối lưu trữ được gắn, có nghĩa là chúng được duy trì qua các lần khởi động lại. Thiết bị VMware vCenter Server (VCSA) được xây dựng trên nền tảng Photon Linux, như chúng ta đã biết, và VCSA là phương pháp triển khai vCenter mới nhất được sử dụng tại các phiên bản vSphere mới nhất.

Vị trí lưu trữ nhật ký vCenter cho bản cài đặt dựa trên Linux (VCSA) là:

/var/log/vmware/vpx/

Vị trí chính xác của nhật ký vCenter phụ thuộc vào hệ điều hành mà vCenter Server được cài đặt. vCenter Server dựa trên Windows, được sử dụng cho đến VMware vSphere 6.7 và hiện đã bị loại bỏ, sử dụng vị trí mặc định sau để lưu trữ nhật ký VMware vCenter:

C:ProgramDataVMwarevCenterServerlogs

Lưu ý rằng vị trí nhật ký vCenter có thể thay đổi tùy thuộc vào phiên bản và cấu hình của vCenter Server. Bạn có thể tham khảo tài liệu chính thức của VMware hoặc tài liệu của phiên bản vCenter Server cụ thể để tìm vị trí nhật ký chính xác.

Vì vCenter Server là nền tảng quản lý trung tâm, nó dựa vào nhật ký lưu trữ lâu dài để duy trì thông tin lịch sử và hỗ trợ việc khắc phục sự cố cũng như phân tích hiệu suất theo thời gian. Khác với ESXi, vốn sử dụng hệ thống tệp trong bộ nhớ cho nhật ký tạm thời (đối với một số cấu hình mặc định), nhật ký vCenter Server được thiết kế để lưu trữ lâu dài và được lưu trên thiết bị lưu trữ vĩnh viễn. Đối với lưu trữ không bền vững cho nhật ký ESXi, bạn có thể thay đổi vị trí lưu trữ nhật ký trên ESXi.

Cách truy cập nhật ký VMware

Chúng ta đã tìm hiểu về nhật ký VMware là gì và chúng được lưu trữ ở đâu. Bây giờ chúng ta cần tìm hiểu cách kiểm tra nhật ký VMware ESXi để thực hiện phân tích sâu hơn. Bạn có thể truy cập nhật ký VMware ESXi theo nhiều cách khác nhau.

VMware Host Client

Thực hiện các bước sau để xem nhật ký ESXi trong VMware Host Client:

1. Đăng nhập vào VMware Host Client trong trình duyệt web của bạn.
2. Nhấp vào Host > Monitor trong bảng Navigator và chọn tab Logs .
3. Chọn một trong các nhật ký ESXi để xem thông tin đã ghi. Bạn có thể tìm kiếm chuỗi cần thiết bằng cách sử dụng trường Search .

   

DCUI (ESXi)

Bạn có thể sử dụng giao diện người dùng bảng điều khiển trực tiếp trên ESXi để xem nhật ký. Bạn cần truy cập vật lý vào máy chủ ESXi, bao gồm màn hình và bàn phím hoặc bạn có thể sử dụng công tắc KVM và các công nghệ tương tự.

1. Đăng nhập vào giao diện người dùng bảng điều khiển trực tiếp ESXi (DCUI).
2. Chọn mục View System Logs trong menu System Customization .
3. Nhấn một phím từ 1 đến 6 để xem nhật ký VMware thích hợp trên máy chủ ESXi của bạn. Giải thích cho từng chữ số được hiển thị ở khung bên phải của giao diện.

   

4. Sau khi nhập số cần thiết, bạn sẽ thấy một trang toàn màn hình hiển thị nhật ký. Bạn có thể gõ / và nhập chuỗi tìm kiếm để chỉ hiển thị các dòng chứa thông tin cần thiết. Nhấn q để thoát khỏi chế độ này và quay lại menu DCUI trước đó.

   

Trình duyệt web

Sử dụng liên kết trong trình duyệt web để mở trang có các liên kết tải xuống tệp nhật ký. Bạn phải nhập thông tin đăng nhập có quyền quản trị cho máy chủ ESXi để truy cập trang này.

https:///host

Dòng lệnh ESXi

Dòng lệnh ESXi ( Dòng lệnh ESXi), tương tự như DCUI, có thể được sử dụng để xem nhật ký ESXi nếu kết nối mạng không khả dụng và bạn không thể sử dụng các phương pháp xem nhật ký từ xa qua mạng.

1. Đảm bảo rằng ESXi Shell đã được bật trong DCUI (Troubleshooting Options > Enable ESXi Shell).
2. Nhấn Alt+F1 để mở ESXi Shell.
3. Sử dụng các lệnh để xem nhật ký ESXi.

SSH

Truy cập SSH từ xa là một trong những phương pháp thuận tiện và mạnh mẽ nhất để xem và phân tích nhật ký VMware.

1. Kích hoạt SSH trong DCUI ( Tùy chọn khắc phục sự cố > Kích hoạt SSH ) hoặc VMware Host Client để cho phép truy cập SSH từ xa vào máy chủ ESXi.
2. Kết nối với máy chủ ESXi bằng trình khách SSH (ví dụ: PuTTY nếu kết nối từ Windows).
3. Sử dụng các lệnh để xem nhật ký ESXi và phân tích nhật ký VMware.

   

Phân tích nhật ký VMware với các ví dụ

Bây giờ chúng ta đã biết tên và vị trí của các nhật ký VMware cũng như các phương pháp truy cập nhật ký, những thông tin vô cùng quý giá để khắc phục sự cố trong môi trường ảo hóa. Đã đến lúc khám phá một số ví dụ thực tế về cách sử dụng nhật ký VMware để khắc phục sự cố.

Xác định các vấn đề kết nối của máy chủ ESXi

Vấn đề : Các máy ảo trên máy chủ ESXi đang gặp phải các vấn đề kết nối mạng không ổn định.

Nhật ký cần kiểm tra :

Các bước khắc phục sự cố . Kiểm tra nhật ký VMkernel để tìm các thông báo liên quan đến mạng và tìm kiếm lỗi hoặc gói tin bị mất. Ngoài ra, xem xét các nhật ký hostd để phát hiện các vấn đề liên quan đến dịch vụ quản lý máy chủ. Nhật ký vobd.log có thể cung cấp thông tin về các vấn đề liên quan đến lưu trữ có thể ảnh hưởng đến mạng của máy ảo.

Lỗi tạo bản sao lưu máy ảo (VM snapshot)

Vấn đề : Việc cố gắng tạo bản sao lưu máy ảo ( bản chụp nhanh của một máy ảo ) bị thất bại.

Nhật ký cần kiểm tra :

Các bước khắc phục sự cố . Kiểm tra tệp nhật ký vmware.log của máy ảo cụ thể để tìm các lỗi hoặc thông báo cảnh báo liên quan đến ảnh chụp nhanh. Đồng thời, kiểm tra nhật ký VMkernel để phát hiện các vấn đề liên quan đến lưu trữ có thể cản trở thao tác tạo ảnh chụp nhanh.

Suy giảm hiệu suất máy ảo

Vấn đề : Máy ảo đang gặp phải các vấn đề về hiệu suất, chẳng hạn như mức sử dụng CPU hoặc bộ nhớ cao.

Nhật ký cần kiểm tra :

Các bước khắc phục sự cố . Phân tích tệp nhật ký vmware.log của máy ảo bị ảnh hưởng để tìm các lỗi cụ thể của ứng dụng hoặc các đợt tăng đột biến trong việc sử dụng tài nguyên. Đồng thời, kiểm tra nhật ký VMkernel để tìm các thông báo liên quan đến hiệu suất và đảm bảo máy chủ ESXi có đủ tài nguyên sẵn có.

Lỗi khởi động dịch vụ vCenter

Vấn đề : Dịch vụ vCenter Server không khởi động được.

Nhật ký cần kiểm tra :

Các bước khắc phục sự cố . Xem xét vpxd.log để tìm lỗi hoặc ngoại lệ trong quá trình khởi động vCenter Server. Ngoài ra, kiểm tra vpxa.log trên các máy chủ ESXi được quản lý để đảm bảo giao tiếp đúng cách giữa vCenter và các máy chủ.

Vấn đề chuyển đổi dự phòng cụm VMware High Availability (HA)

Vấn đề : Các máy ảo không thể khởi động lại trên các máy chủ khác trong cụm HA sau khi máy chủ ESXi gặp sự cố.

Nhật ký cần kiểm tra : /var/log/fdm.log

Các bước khắc phục sự cố . Phân tích fdm.log trên các máy chủ bị ảnh hưởng để xác định bất kỳ lỗi hoặc vấn đề nào với cụm HA. Tìm kiếm các thông báo nhịp tim, quá trình bầu chọn máy chủ chính và các nguyên nhân có thể dẫn đến lỗi chuyển đổi dự phòng máy ảo.

Lỗi vMotion

Vấn đề : VMware vMotion thất bại khi cố gắng di chuyển một VM giữa các máy chủ.

Nhật ký cần kiểm tra :

Các bước khắc phục sự cố . Kiểm tra vmkernel.log để tìm các thông báo liên quan đến vMotion và các vấn đề kết nối mạng. Ngoài ra, kiểm tra vobd.log để phát hiện các vấn đề liên quan đến lưu trữ có thể ảnh hưởng đến vMotion.

Vấn đề cài đặt VMware Tools

Vấn đề : Cài đặt VMware Tools thất bại trên một máy ảo.

Nhật ký cần kiểm tra : /vmfs/volumes/datastore_name/vm_name/vmware.log

Các bước khắc phục sự cố . Kiểm tra tệp vmware.log trong máy ảo để tìm các lỗi liên quan đến VMware Tools hoặc thông báo cài đặt.

Khi khắc phục sự cố bằng nhật ký VMware, việc liên kết các sự kiện qua nhiều tệp nhật ký là rất quan trọng để hiểu rõ vấn đề một cách toàn diện. Ngoài ra, các công cụ phân tích nhật ký như VMware Aria Operations for Logs (trước đây là vRealize Log Insight)có thể giúp tối ưu hóa quy trình kiểm tra nhật ký và hỗ trợ khắc phục sự cố VMware hiệu quả hơn trong các môi trường phức tạp.

Khắc phục sự cố lưu trữ

Bạn có thể sử dụng nhật ký VMware để xác định các sự cố liên quan đến ổ cứng (HDD) hoặc ổ cứng thể rắn (SSD), ví dụ như khi có các khối dữ liệu bị hỏng trên ổ HDD. Để xác định các sự cố liên quan đến ổ cứng (HDD) hoặc ổ cứng thể rắn (SSD) trong môi trường VMware, bạn có thể sử dụng các loại nhật ký VMware khác nhau để theo dõi và phân tích các sự kiện và lỗi liên quan đến lưu trữ.

1. Xem nhật ký VMkernel (/var/log/vmkernel.log):

   Nhật ký VMkernel cung cấp thông tin hệ thống cấp thấp, bao gồm các sự kiện liên quan đến lưu trữ. Tìm các thông báo chỉ ra lỗi I/O đĩa hoặc mã cảm biến SCSI liên quan đến vấn đề đĩa.

   Ví dụ lỗi: "Device I/O errors", "Medium Error Detected" hoặc "Uncorrectable error in data"

2. Kiểm tra nhật ký cụ thể về lưu trữ (/var/log/vobd.log):

   Tệp vobd.log chứa các thông báo liên quan đến lưu trữ, bao gồm các lỗi mà hệ thống con lưu trữ gặp phải.

   Ví dụ về lỗi: "Storage Error: Device 'naa.xxxxxxxxxxxxxx'... Sense: Unrecovered read error"

3. Kiểm tra nhật ký máy ảo (/vmfs/volumes/datastore_name/vm_name/vmware.log):

   Nhật ký cụ thể của máy ảo có thể tiết lộ các lỗi I/O đĩa mà một máy ảo cụ thể gặp phải.

   Ví dụ về lỗi: "Disk I/O error occurred on one or more virtual disks", "Disk error detected" hoặc "Error Stack: Unable to read partition table"

Khuyến nghị: Nên sử dụng gì ngoài nhật ký VMware

Có các khuyến nghị về việc sử dụng gì cùng với nhật ký VMware để chẩn đoán và khắc phục sự cố tốt hơn và chi tiết hơn nhằm phát hiện các vấn đề lưu trữ kịp thời.

• Theo dõi cảnh báo và sự kiện vCenter . Theo dõi các cảnh báo và sự kiện vCenter Server liên quan đến lưu trữ. Các cảnh báo được kích hoạt do vấn đề lưu trữ có thể cung cấp thông tin về các vấn đề tiềm ẩn của đĩa.
• Sử dụng Kiểm tra Sức khỏe VMware . VMware cung cấp các loại kiểm tra sức khỏe có thể thực hiện thông qua vSphere Client. Các kiểm tra này có thể xác định các vấn đề liên quan đến lưu trữ và đưa ra các khuyến nghị.
• Sử dụng các công cụ giám sát của bên thứ ba . Triển khai các công cụ Giám sát CNTT và phân tích nhật ký chuyên dụng để tập trung và phân tích dữ liệu nhật ký từ nhiều máy chủ và máy ảo. Các công cụ này có thể giúp xác định các vấn đề liên quan đến đĩa trên toàn bộ cơ sở hạ tầng ảo.
• Khi xác định các khối lỗi trên ổ cứng, điều quan trọng là phải chú ý đến các thông báo lỗi và mẫu lỗi khác nhau, đặc biệt là những thông báo cho thấy lỗi phương tiện hoặc lỗi đọc/ghi. Các khối lỗi có thể dẫn đến hỏng dữ liệu hoặc suy giảm hiệu suất và việc phát hiện sớm có thể ngăn chặn các vấn đề nghiêm trọng hơn. Khôi phục dữ liệu từ bản sao lưu VMware Nếu dữ liệu trên các thiết bị đĩa bị lỗi bị mất, việc sao chép dữ liệu sang các đĩa hoạt động bình thường là rất quan trọng.

Các vấn đề về cụm

Việc sử dụng nhật ký VMware ESXi và nhật ký vCenter có thể đóng vai trò quan trọng trong việc xác định các vấn đề liên quan đến cụm trong môi trường ảo hóa của bạn. Các vấn đề về cụm có thể biểu hiện dưới dạng sự cố với Hiệu suất của máy ảo, chuyển đổi dự phòng HA, lỗi vMotion hoặc các hoạt động khác liên quan đến cụm.

• Xem lại nhật ký vCenter Server:
  • Truy cập nhật ký vCenter, chẳng hạn như vpxd.log và vpxa.log, nằm tại /var/log/vmware/vpxd/vpxd.log và /var/log/vpxa.log tương ứng.
  • Tìm kiếm các lỗi hoặc thông báo cảnh báo liên quan đến hoạt động cụm, quản lý tài nguyên và giao tiếp giữa vCenter và các máy chủ ESXi.
  • Chú ý đến các sự kiện xảy ra trong quá trình tạo cụm, thay đổi cấu hình và các vấn đề liên quan đến dịch vụ cụm.
• Kiểm tra nhật ký máy chủ ESXi và truy cập nhật ký máy chủ ESXi, bao gồm vmkernel.log, hostd.log và fdm.log:
  • vmkernel.log: Xem xét để kiểm tra các sự kiện liên quan đến cụm, chẳng hạn như các nỗ lực vMotion, vấn đề nhịp tim HA hoặc lỗi trong quá trình chia sẻ tài nguyên.
  • hostd.log: Tìm kiếm các thông báo liên quan đến cụm liên quan đến các tác vụ và sự kiện được xử lý bởi dịch vụ quản lý máy chủ.
  • fdm.log: Kiểm tra để phát hiện các sự kiện liên quan đến HA, bao gồm sự cố máy chủ, khởi động lại VM và các sự kiện bầu chọn máy chủ chính.
• Kiểm tra nhật ký máy ảo:
  • Truy cập nhật ký VM, chẳng hạn như vmware.log, để xác định các vấn đề cụ thể của từng VM trong cụm.
  • Nhật ký máy ảo có thể cung cấp thông tin chi tiết về hiệu suất máy ảo, hạn chế tài nguyên hoặc sự cố trong quá trình thực hiện vMotion.
• Giám sát các cảnh báo và sự kiện cụ thể của cụm:
  • Sử dụng vCenter để tạo các cảnh báo và sự kiện liên quan đến hiệu suất và tình trạng sức khỏe của cụm.
  • Cấu hình cảnh báo cho các vấn đề như sử dụng tài nguyên quá mức, phân vùng cụm hoặc sự cố máy ảo.
  • Kiểm tra tab Events trong vCenter để xem các sự kiện liên quan đến cụm, chẳng hạn như di chuyển máy ảo, cấu hình lại cụm hoặc các sự kiện HA.

Bằng cách kết hợp thông tin từ nhật ký ESXi, nhật ký vCenter, chỉ số hiệu suất và các sự kiện cụ thể của cụm, bạn có thể có được cái nhìn tổng quan hiểu biết toàn diện về tình trạng hoạt động của cụm máy chủ và xác định các vấn đề ảnh hưởng đến hiệu suất máy ảo, tính sẵn sàng cao và sự ổn định tổng thể của cụm. Phân tích nhật ký thường xuyên và giám sát chủ động có thể giúp ngăn chặn các vấn đề của cụm hoặc giải quyết chúng nhanh chóng khi chúng xảy ra.

Khắc phục sự cố mạng

Khắc phục sự cố mạng trong VMware vSphere bao gồm việc xác định và giải quyết các vấn đề liên quan đến mạng ảnh hưởng đến các máy ảo và giao tiếp giữa các máy chủ ESXi. Nhật ký VMware ESXi và vCenter có thể đóng vai trò quan trọng trong việc xác định chính xác các vấn đề này. Dưới đây là một số ví dụ về khắc phục sự cố mạng bằng cách sử dụng nhật ký ESXi và vCenter, cùng với các lệnh để trích xuất thông tin liên quan.

Xác định các vấn đề kết nối mạng của máy ảo

Vấn đề : Một máy ảo không thể truy cập mạng.

• Lệnh để kiểm tra nhật ký VMkernel (trên máy chủ ESXi):

  cat /var/log/vmkernel.log | grep -E 'Failed to send packet|dropped|no network'

  Lệnh này lọc nhật ký VMkernel để tìm các thông báo liên quan đến lỗi gói tin, gói tin bị bỏ qua hoặc mạng không khả dụng.

• Lệnh để kiểm tra cấu hình mạng của máy ảo (trên máy chủ ESXi):

  esxcfg-vmknic -l

  Lệnh này liệt kê các giao diện mạng VMkernel và địa chỉ IP đã được cấu hình trên máy chủ ESXi. Kiểm tra xem máy ảo có Mạng đã được cấu hình đúng cách.

Khắc phục sự cố vMotion

Vấn đề : vMotion thất bại giữa hai máy chủ ESXi.

• Lệnh kiểm tra nhật ký VMkernel (trên cả máy chủ ESXi nguồn và đích):

  cat /var/log/vmkernel.log | grep -E 'Migration to host|vMotion'

  Lệnh này giúp tìm các thông báo liên quan đến vMotion trên cả máy chủ ESXi nguồn và đích.

• Lệnh kiểm tra sự kiện vCenter (trên vCenter Server):

  vim-cmd vmsvc/get.eventlog | grep 'Migrate'

  Thay thế bằng ID Máy ảo (VMID) của máy ảo bị ảnh hưởng. Lệnh này truy xuất nhật ký sự kiện của máy ảo và tìm kiếm các sự kiện liên quan đến vMotion.

Xác định các điểm nghẽn hiệu suất mạng

Vấn đề : Các máy ảo gặp phải tình trạng suy giảm hiệu suất mạng.

• Lệnh để kiểm tra thống kê ESXTOP (trên máy chủ ESXi):

  esxtop

  Trong esxtop, nhấn n để chuyển sang chế độ xem mạng. Theo dõi các chỉ số như Network Throughput (MBTx/rx), Network Packets/s, và Network Dropped/s để xác định các điểm nghẽn tiềm ẩn. Lệnh này và các lệnh tiếp theo được sử dụng để hiển thị dữ liệu không từ tệp nhật ký VMware mà hiển thị thông tin được cập nhật theo thời gian thực để khắc phục sự cố VMware. Bạn cũng có thể xem thời gian hoạt động của ESXi bằng cách sử dụng lệnh esxtop .

Khắc phục sự cố vSphere Distributed Switch (VDS)

Vấn đề : Vấn đề kết nối với các máy ảo trên vSphere Distributed Switch .

• Lệnh kiểm tra tình trạng VDS (trên vCenter Server):

  net-dvs -l

  Lệnh này liệt kê tất cả các bộ chuyển mạch ảo phân tán (VDS) và trạng thái của chúng.

• Lệnh kiểm tra trạng thái cổng VDS (trên vCenter Server):

  net-dvs -p

  Thay thế bằng tên của VDS. Lệnh này hiển thị trạng thái của tất cả các cổng trên bộ chuyển mạch ảo phân tán được chỉ định.

Hãy nhớ rằng, việc khắc phục sự cố mạng thường yêu cầu phân tích nhật ký và dữ liệu hiệu suất từ nhiều nguồn, bao gồm nhật ký VMkernel, nhật ký vCenter, chỉ số hiệu suất và cấu hình mạng. Các ví dụ được cung cấp ở trên là điểm khởi đầu để thu thập thông tin liên quan đến các vấn đề mạng và bạn có thể cần điều chỉnh các lệnh dựa trên vấn đề cụ thể mà bạn gặp phải trong môi trường vSphere của mình.

Biểu thức chính quy cho phân tích nhật ký VMware

Như bạn có thể thấy trong các ví dụ trên, truy cập vỏ lệnh ESXi qua SSH và sử dụng dòng lệnh là phương pháp mạnh mẽ để xem nhật ký VMware và phân tích nhật ký VMware. Bạn có thể sử dụng các công cụ dòng lệnh gốc làm công cụ phân tích nhật ký VMware ESXi. Các công cụ dòng lệnh này quen thuộc với người dùng Linux:

• cat là công cụ dòng lệnh ghép nối và hiển thị nội dung của một hoặc nhiều tệp văn bản trên terminal. Nó thường được sử dụng để xem toàn bộ nội dung của một tệp cùng một lúc. Tuy nhiên, đối với các tệp lớn, việc sử dụng cat có thể dẫn đến lượng đầu ra quá lớn, cuộn ra khỏi màn hình nhanh chóng, khiến việc đọc các tệp như vậy trở nên kém thực tế.
• less là một tiện ích trình duyệt dòng lệnh cho phép bạn xem và cuộn qua nội dung của một tệp văn bản. Nó hiển thị một màn hình văn bản tại một thời điểm và cung cấp các tùy chọn điều hướng để di chuyển tiến và lùi trong tệp. Không giống như cat, vốn hiển thị toàn bộ nội dung tệp lên terminal, less hữu ích hơn trong việc đọc các tệp lớn một cách hiệu quả hơn.
• grep là viết tắt của “Global Regular Expression Print”. Đây là một công cụ dòng lệnh mạnh mẽ được sử dụng để tìm kiếm các mẫu văn bản (biểu thức chính quy) trong một hoặc nhiều tệp. grep có thể lọc và hiển thị các dòng chứa mẫu đã chỉ định. Nó thường được sử dụng để tìm kiếm văn bản, phân tích nhật ký và trích xuất thông tin cụ thể từ các tệp.
• tail là một tiện ích dòng lệnh hiển thị vài dòng cuối cùng của một tệp văn bản. Theo mặc định, tail hiển thị mười dòng cuối cùng của tệp. Công cụ này đặc biệt hữu ích để theo dõi các tệp nhật ký theo thời gian thực, vì nó có thể hiển thị các mục mới ngay khi chúng được thêm vào nhật ký. Lệnh ` tail ` thường được sử dụng cùng với tùy chọn ` -f ` để theo dõi liên tục một tệp và xem các cập nhật theo thời gian thực. `
• head ` là một tiện ích dòng lệnh hiển thị N dòng đầu tiên của một tệp văn bản. Theo mặc định, công cụ head hiển thị 10 dòng đầu tiên của tệp. Điều này hữu ích để xem trước nhanh phần đầu của tệp hoặc trích xuất thông tin ban đầu. Tương tự như tail, bạn có thể chỉ định số dòng cần hiển thị bằng tùy chọn -n .

Bạn có thể sử dụng các công cụ dòng lệnh này kết hợp với nhau và với biểu thức chính quy để đạt hiệu quả cao nhất trong phân tích nhật ký VMware. Phân tích tệp nhật ký bằng biểu thức chính quy (regex) trong dòng lệnh ESXi có thể là một cách mạnh mẽ để trích xuất thông tin cụ thể và hiểu rõ hơn về các vấn đề hoặc mẫu. Dưới đây là một số ví dụ thực tế về cách sử dụng biểu thức chính quy để phân tích nhật ký trong ESXi.

Lọc nhật ký cho các sự kiện cụ thể

Giả sử bạn muốn tìm tất cả các lần xuất hiện của một sự kiện cụ thể, chẳng hạn như "Disk I/O error", trong tệp vmkernel.log .

cat /var/log/vmkernel.log | grep -E 'Disk I/O error'

Lệnh này sẽ hiển thị tất cả các dòng chứa cụm từ "Disk I/O error" trong tệp vmkernel.log.

Trích xuất địa chỉ IP từ nhật ký

Để trích xuất địa chỉ IP từ nhật ký trong tệp hostd.log , bạn có thể sử dụng mẫu regex khớp với địa chỉ IPv4.

cat /var/log/hostd.log | grep -E -o '([0-9]{1,3}.){1}[0-9]{1,3}'

Lệnh này sẽ hiển thị tất cả các địa chỉ IPv4 được tìm thấy trong tệp hostd.log.

Tìm kiếm mẫu có số lượng

Giả sử bạn muốn tìm tất cả các dòng trong tệp vmware.log chứa bất kỳ số lượng chữ số liên tiếp nào.

cat /vmfs/volumes/datastore_name/vm_name/vmware.log | grep -E '[0-9]+'

Lệnh này sẽ hiển thị tất cả các dòng chứa một hoặc nhiều chữ số trong tệp vmware.log.

Tìm kiếm nhiều mẫu

Để tìm các dòng trong tệp vpxd.log chứa "error" hoặc "warning", bạn có thể sử dụng toán tử OR | trong mẫu regex.

cat /var/log/vmware/vpxd/vpxd.log | grep -E 'error|warning'

Lệnh này sẽ hiển thị tất cả các dòng chứa "error" hoặc "warning" trong tệp vpxd.log.

So khớp với ký tự đại diện

Giả sử bạn muốn tìm tất cả các dòng trong tệp vobd.log chứa từ "failed" bất kể chữ hoa hay chữ thường.

cat /var/log/vobd.log | grep -i 'failed'

Lệnh này sẽ hiển thị tất cả các dòng chứa "failed", "FAILED", "Failed", v.v., trong tệp vobd.log.

Sử dụng nhóm bắt giữ

Để trích xuất thông tin ngày và giờ từ các dòng trong tệp sms.log , bạn có thể sử dụng nhóm bắt giữ trong mẫu regex. cat /var/log/vmware/sms/sms.log | grep -Eo '([0-9]{2}-[0-9]{3}-[0-9]{4}) ([0-9]{5}:[0-9]{6}:[0-9]{7})'

Lệnh này sẽ hiển thị tất cả các trường hợp xuất hiện của ngày và giờ trong tệp nhật ký ` sms.log`.

LƯU Ý: Bạn có thể thay đổi đường dẫn đến tệp nhật ký cần thiết cho trường hợp cụ thể của mình.

Các ví dụ này minh họa cách sử dụng biểu thức chính quy kết hợp với lệnh ` grep ` để thực hiện phân tích nhật ký trong giao diện dòng lệnh ESXi. Biểu thức chính quy cung cấp khả năng khớp mẫu mạnh mẽ, cho phép bạn trích xuất thông tin cụ thể, lọc nhật ký và tìm kiếm các mẫu một cách hiệu quả. Hãy lưu ý rằng các mẫu regex thực tế có thể thay đổi tùy thuộc vào nội dung tệp nhật ký và thông tin bạn muốn trích xuất hoặc tìm kiếm. Bạn có thể sử dụng các ví dụ này và điều chỉnh các lệnh để đáp ứng nhu cầu cụ thể của mình trong việc phân tích nhật ký VMware.

Cách xuất nhật ký VMware và tải xuống gói hỗ trợ

Có thể xảy ra trường hợp phân tích nhật ký VMware không giúp bạn giải quyết các sự cố xảy ra trên máy chủ ESXi hoặc vCenter. Trong trường hợp này, bạn có thể xuất nhật ký hoặc tải xuống gói hỗ trợ và gửi thông tin này đến bộ phận hỗ trợ của VMware. Các chuyên gia từ bộ phận hỗ trợ của VMware có thể giúp bạn giải quyết các vấn đề với môi trường VMware nếu bạn có phiên bản có giấy phép của VMware vSphere.

VMware Host Client

Để tạo gói hỗ trợ và xuất nhật ký VMware, hãy thực hiện các bước sau:

1. Nhấp vào Monitor trong ngăn Navigator .
2. Chọn tab Logs .
3. Nhấp vào Generate support bundle.
4. Lưu tệp lưu trữ gói đã tải xuống trong trình duyệt web của bạn.

   

VMware vSphere Client

Để xuất nhật ký hệ thống VMware trong vSphere Client, hãy thực hiện như sau:

1. Chọn chế độ xem Hosts and Clusters và chọn máy chủ ESXi có nhật ký bạn muốn xuất (trong khung bên trái, tức là khung điều hướng).
2. Nhấp chuột phải vào máy chủ ESXi và nhấp vào Export system logs trong menu hiện ra.

   

3. Chọn nhật ký ESXi mà bạn muốn xuất và nhấp vào Export logs.

   

Để tải lên gói lên bộ phận hỗ trợ VMware trong vSphere Client, hãy thực hiện như sau:

1. Nhấp vào biểu tượng Menu ở góc trên cùng bên trái.
2. Truy cập Administration > Support > Upload File to Service Request và nhấp vào nút Upload File to Service Request .

   

Liên kết trong trình duyệt web

Sử dụng liên kết đến tập lệnh cgi trên máy chủ ESXi:

http:///cgi-bin/vm-support.cgi

Tải xuống và lưu gói chứa nhật ký ESXi đã xuất (một tệp .tgz).

Tạo gói hỗ trợ trong giao diện dòng lệnh ESXi (ESXi shell)

Bạn có thể chạy lệnh sau để tạo gói hỗ trợ chứa nhật ký ESXi trong giao diện dòng lệnh ESXi:

/usr/bin/vm-support

Kết luận

Khi khắc phục sự cố với VMware vSphere, bao gồm ESXi và vCenter, việc phân tích nhật ký VMware có thể giúp quản trị viên xác định nguyên nhân gốc rễ của vấn đề và thực hiện các biện pháp khắc phục phù hợp. Bằng cách phân tích các nhật ký này, quản trị viên có thể xác định và giải quyết các vấn đề như tắc nghẽn hiệu suất, sự cố kết nối, lỗi cấu hình và các mối lo ngại tiềm ẩn về bảo mật. Việc xem xét nhật ký thường xuyên là điều cần thiết để quản lý chủ động và duy trì sự ổn định và độ tin cậy của VMware vCenter và môi trường ảo hóa.

Việc giám sát thường xuyên cơ sở hạ tầng VMware và sao lưu máy ảo cho phép bạn ngăn chặn các sự cố kịp thời và tránh mất dữ liệu.

Hãy thử NAKIVO Backup & Replication

Đăng ký dùng thử miễn phí để khám phá toàn bộ các tính năng bảo vệ dữ liệu của giải pháp. 15 ngày miễn phí. Không có bất kỳ giới hạn nào về tính năng hay dung lượng. Không cần thẻ tín dụng.

Dùng thử miễn phí