Analiza logów VMware w celu rozwiązywania problemów

Oprogramowanie serwerowe VMware udostępnia pliki dziennika, w których rejestrowane są dane dotyczące zdarzeń związanych z poszczególnymi komponentami oprogramowania wraz z sygnaturami czasowymi. Dzienniki VMware mogą służyć do wykrywania i usuwania usterek oraz do diagnozowania i rozwiązywania problemów. W tym wpisie na blogu omówiono dzienniki ESXi i vCenter, wyjaśniono, jak przeglądać dzienniki w VMware vSphere, jak znaleźć potrzebne informacje oraz jak je analizować.

NAKIVO do tworzenia kopii zapasowej VMware vSphere

Kompleksowa ochrona danych dla maszyn wirtualnych VMware vSphere oraz opcje natychmiastowego odzyskiwania. Bezpieczne lokalizacje kopii zapasowych na miejscu, zdalnie oraz w chmurze. Funkcje ochrony przed oprogramowaniem wymuszającym okup.

ODKRYJ ROZWIĄZANIE

Dzienniki ESXi

VMware ESXi to powszechnie stosowany hiperwizor, który umożliwia użytkownikom tworzenie maszyn wirtualnych i zarządzanie nimi na serwerach fizycznych. Aby zapewnić prawidłowe działanie, diagnostykę i monitorowanie serwerów ESXi, generowane są różne dzienniki. Dzienniki te rejestrują ważne zdarzenia, błędy i dane dotyczące wydajności, pomagając administratorom i zespołom pomocy technicznej w identyfikowaniu problemów oraz utrzymaniu stabilności infrastruktury wirtualnej. Poniżej znajduje się opis niektórych kluczowych dzienników VMware ESXi.

Dzienniki VMkernel

/var/log/vmkernel.log 

Ten dziennik rejestruje działania VMkernel, w tym zdarzenia sterowników urządzeń, magazyn, sieć i inne działania związane z jądrem. Zapewnia wgląd w operacje systemowe niskiego poziomu i ma kluczowe znaczenie dla diagnozowania problemów związanych ze sprzętem. Lokalizacja dziennika vmkernel to katalog /var/log/ .

/var/log/vmkwarning.log

Ten plik dziennika zawiera komunikaty ostrzegawcze generowane przez VMkernel, który jest rdzeniem hiperwizora ESXi. Rejestruje zdarzenia i warunki, które mogą wymagać uwagi, ale nie są błędami krytycznymi.

/var/log/vmksummary.log

vmksummary.log to dziennik podsumowujący, który zawiera przegląd stanu operacyjnego hosta ESXi, w tym zdarzenia związane z uruchamianiem i wyłączaniem, wykorzystaniem zasobów systemowych oraz niektóre kluczowe statystyki wydajności.

Dzienniki zarządzania hostem

/var/log/hostd.log

Ten dziennik zawiera wpisy związane z usługą zarządzania hostem ESXi (hostd). Rejestruje on zdarzenia związane z operacjami zasilania maszyn wirtualnych, przetwarzaniem zadań i zdarzeń oraz komunikacją z vCenter Server, jeśli ma to zastosowanie.

Dzienniki maszyn wirtualnych

/vmfs/volumes/datastore_name/vm_name/vmware.log

Każda maszyna wirtualna prowadzi plik dziennika rejestrujący zdarzenia specyficzne dla tej maszyny, takie jak operacje zasilania, zmiany sprzętu wirtualnego oraz zdarzenia aplikacji z poziomu systemu operacyjnego gościa. Plik vmware.log znajduje się w katalogu maszyny wirtualnej na magazynie danych.

Dzienniki pamięci masowej

/var/log/vobd.log

Ten dziennik skupia się na problemach związanych z pamięcią masową i operacjami iSCSI.

/var/log/vmkernel.log

Jak wspomniano wcześniej, logi VMkernel rejestrują również zdarzenia związane z pamięcią masową.

Logi sieciowe

/var/log/vobd.log

Ten log zawiera zdarzenia związane z siecią, takie jak vMotion, łączność sieciowa i błędy komunikacyjne.

/var/log/vmkernel.log

Logi VMkernel zawierają również komunikaty związane z siecią.

Dzienniki uwierzytelniania i użytkowników

/var/log/auth.log

Ten dziennik rejestruje zdarzenia uwierzytelniania, w tym logowanie i wylogowywanie użytkowników.

Dzienniki powłoki ESXi i SSH

/var/log/shell.log

Ten dziennik rejestruje polecenia powłoki ESXi (TSM) wykonywane przez użytkowników.

/var/log/ssh.log

Jeśli na hoście ESXi włączono SSH, ten dziennik rejestruje zdarzenia związane z SSH.

Komunikaty systemowe

/var/log/syslog.log

Plik syslog.log zawiera obszerny dziennik komunikatów systemowych pochodzących z jądra VMkernel oraz różnych usług działających na hoście ESXi. Rejestruje on szeroki zakres informacji, w tym komunikaty uruchamiania, zdarzenia sprzętowe, aktywność sieciową i inne.

Dzienniki zapory sieciowej

/var/log/firewall.log
Ten dziennik śledzi zdarzenia związane z zaporą sieciową ESXi, w tym połączenia dopuszczone i odrzucone.

Dzienniki serwera vCenter na ESXi (jeśli jest połączony z serwerem vCenter)

/var/log/vpxa.log

Ten plik dziennika dotyczy wyłącznie hostów ESXi zarządzanych przez serwer vCenter. Plik vpxa.log jest powiązany z agentem vCenter (vpxa) działającym na hoście ESXi. Rejestruje on interakcje między hostem ESXi a serwerem vCenter, w tym zadania zainicjowane z poziomu vCenter, takie jak operacje zasilania maszyn wirtualnych, migracje i zmiany konfiguracji, a także aktualizacje stanu hosta, wykonywanie zadań i zdarzeń oraz komunikację z serwerem vCenter.

Dzienniki aktualizacji ESXi

/var/log/esxupdate.log

Plik esxupdate.log zawiera dzienniki związane z Instalowanie poprawek i aktualizacji na hoście ESXi. Ten plik dziennika rejestruje informacje o instalacji, aktualizacji i usuwaniu pakietów oprogramowania (VIB) na hoście ESXi.

Dzienniki USB

/var/log/usb.log

Plik usb.log rejestruje zdarzenia związane z Urządzenia USB podłączone do hosta ESXi. Śledzi wykrywanie, podłączanie i odłączanie urządzeń USB, a także wszelkie problemy związane z przekazywaniem USB lub korzystaniem z usługi arbitra USB.

Dzienniki VMware vCenter

VMware vCenter to scentralizowana platforma administracji, która pozwala administratorom efektywnie zarządzać wieloma hostami VMware ESXi i maszynami wirtualnymi. Aby utrzymać sprawność i wydajność serwera vCenter oraz podłączonych do niego hostów ESXi, generowanych jest kilka dzienników, z których każdy służy konkretnemu celowi. Poniżej znajduje się wyjaśnienie niektórych istotnych logów VMware vCenter.

vpxd.log

Lokalizacja: /var/log/vmware/vpxd/vpxd.log

Ten plik logu rejestruje zdarzenia związane z usługą vCenter Server, a lokalizacja logu vpxd znajduje się w katalogu /var/log/vmware/vpxd/ na serwerze vCenter. Log vpxd zawiera informacje o uruchomieniu usługi vCenter, zdarzeniach połączeń z klientami vSphere, uwierzytelnianiu użytkowników, udzielanie licencjioraz różnych zadaniach administracyjnych wykonywanych za pośrednictwem klienta vSphere lub API.

/var/log/vmware/vpxd/vpxd-alert.log zawiera informacje o charakterze niekrytycznym dotyczące procesu vpxd .

fdm.log

Lokalizacja: /var/log/fdm.log

Dziennik menedżera domeny awarii (FDM) ma kluczowe znaczenie dla vSphere – wysoka dostępność (HA) rozwiązywania problemów. Zawiera informacje o awariach hostów i maszyn wirtualnych, konfiguracji HA, danych sygnału kontrolnego oraz wyborze hosta głównego w klastrze HA.

vmsyslogd.log

Lokalizacja: /var/log/vmware/vmsyslogd.log

Ten plik dziennika dotyczy usługi syslog działającej na urządzeniu vCenter Server Appliance. Rejestruje on komunikaty przekazywane do serwerów vCenter za pośrednictwem syslog z różnych komponentów i usług.

vmware-vpostgres.log

Lokalizacja: /var/log/vmware/vpostgres/postgresql-xx.log

Ten dziennik zawiera szczegółowe komunikaty związane z bazą danych PostgreSQL, w tym stan replikacji, dzienniki transakcji i inne zdarzenia dotyczące bazy danych.

catalina.log

Lokalizacja: /var/log/vmware/vpostgres/catalina.out

Ten plik dziennika należy do usługi bazy danych VMware Postgres. Zawiera komunikaty związane z operacjami bazy danych, w tym zdarzenia uruchamiania i wyłączania, zapytania oraz błędy.

sms.log

Lokalizacja: /var/log/vmware/sms/sms.log

Dziennik usługi monitorowania pamięci masowej (SMS) rejestruje zdarzenia związane z monitorowaniem pamięci masowej i zadaniami zarządzania, w tym magazynami danych, urządzeniami pamięci masowej oraz alarmami dotyczącymi pamięci masowej.

invsvc.log

Lokalizacja: /var/log/vmware/invsvc/invsvc.log

Dziennik usługi inwentaryzacji zawiera informacje o operacjach inwentaryzacji vCenter Server, takich jak aktualizacje obiektów, gromadzenie danych oraz synchronizacja.

applmgmt.log

Lokalizacja: /var/log/vmware/applmgmt/applmgmt.log

Ten plik dziennika jest powiązany z usługą zarządzania urządzeniem i zawiera informacje dotyczące wdrażania oraz konfiguracji vCenter Server Appliance.

vmware-sts-idmd.log

Lokalizacja: /var/log/vmware/sso/vmware-sts-idmd.log

Ten dziennik rejestruje zdarzenia związane z usługą Jednokrotne logowanie VMware (SSO), zarządzaniem tożsamością oraz procesami uwierzytelniania.

stats.log

Lokalizacja: /var/log/vmware/perfcharts/stats.log

Plik stats.log jest powiązany z usługą wykresów wydajności vCenter Server (znaną również jako vCenter Performance Charts). Zawiera dane statystyczne oraz informacje dotyczące wydajności zebrane przez usługę wykresów wydajności.

Usługa Performance Charts zapewnia graficzne przedstawienie wskaźników wydajności maszyn wirtualnych i hostów. Plik stats.log rejestruje dane, które mogą być wykorzystane do generowania wykresów wydajności oraz diagramów służących do monitorowania i analizowania wydajności komponentów infrastruktury wirtualnej.

UWAGA: Usługa Performance Charts jest niezbędna do monitorowania wydajności maszyn wirtualnych i hostów w czasie rzeczywistym, a plik stats.log odgrywa rolę w przechowywaniu danych bazowych.

eam.log

Lokalizacja: /var/log/vmware/eam/eam.log

Plik eam.log należy do usługi ESX Agent Manager (EAM) w vCenter Server. EAM odpowiada za zarządzanie agentami vSphere, w tym pakietami instalacyjnymi vSphere (VIB) i agentami rozszerzeń.

Plik eam.log rejestruje zdarzenia i działania związane z zarządzaniem cyklem życia agentów vSphere. Przechowuje informacje o wdrażaniach, aktualizacjach i weryfikacjach agentów. Jeśli szukasz lokalizacji logów VMware Lifecycle Manager, zajrzyj na stronę /var/log/vmware/eam/eam.log

UWAGA: ESX Agent Manager dba o to, by na hostach ESXi były zainstalowane właściwe wersje pakietów VIB oraz by agenci rozszerzeń byli poprawnie zarejestrowani. Strona eam.log odgrywa kluczową rolę w śledzeniu tych operacji i wykrywaniu wszelkich problemów związanych z agentami vSphere.

Gdzie przechowywane są logi

Sprawdźmy, na której partycji i w jakich katalogach przechowywane są logi VMware. W domyślnej instalacji VMware ESXi logi są przechowywane w kilku katalogach na różnych partycjach. Typowa lokalizacja logów VMware, takich jak logi VMkernel na hoście ESXi, to:

/scratch/log/


Dowiązania symboliczne znajdują się w /var/log/ ale pliki logów są przechowywane na partycji tymczasowej ESXi (patrz zrzuty ekranu powyżej i poniżej). Omówiliśmy partycję tymczasową i magazyn tymczasowy podczas wyjaśniania Jak zainstalować ESXi na pendrive’ie.

Na przykład można uzyskać dostęp do dzienników zarządzania hostem w /var/log/hostd.log za pomocą dowiązania symbolicznego (symlink), ale plik hostd.log znajduje się w katalogu log na partycji /scratch .

Logi maszyn wirtualnych są zazwyczaj umieszczane w magazynie danych maszyny wirtualnej w katalogu VM i nie są usuwane po ponownym uruchomieniu serwera ESXi, na przykład: /vmfs/volumes/datastore_name/vm_name/vmware.log

Gdy plik logu maszyny wirtualnej (vmware.log) jest pełny, zostaje przemianowany na vmware-1.log, vmware-2.logitp.

Logi maszyn wirtualnych można włączyć lub wyłączyć, przechodząc do VM settings > VM options w kliencie VMware vSphere i rozwijając opcje Advanced , które zawierają pole wyboru Enable logging .

W ten sposób partycja /scratch służy do przechowywania logów i innych plików tymczasowych na hoście ESXi. W niektórych instalacjach partycja /scratch jest skonfigurowana jako system plików w pamięci (tmpfs). Jeśli chcesz zachować logi po ponownym uruchomieniu, możesz skonfigurować trwałą lokalizację przechowywania logów za pomocą polecenia „esxcli system syslog” oraz innych poleceń wyjaśnionych poniżej.

Pamiętaj, że lokalizacje logów ESXi mogą się różnić w zależności od wersji i konfiguracji ESXi. Ponadto logi mogą być przechowywane na trwałym urządzeniu pamięci masowej, jeśli administrator systemu wyraźnie to skonfiguruje.

Lokalizacja logów vCenter

Większość logów vCenter Server znajduje się w katalogu /var/log/vmware/ . VMware vCenter Server nie przechowuje logów na partycji tymczasowej (nietrwałej), tak jak ESXi. Zamiast tego logi vCenter Server są zazwyczaj przechowywane na lokalnym dysku systemu operacyjnego lub zamontowanym woluminie pamięci masowej, co oznacza, że są one trwałe po ponownym uruchomieniu systemu. Urządzenie VMware vCenter Server (VCSA) opiera się na systemie Photon Linux, jak pamiętamy, a VCSA to najnowsza metoda wdrażania vCenter stosowana w najnowsze wersje vSphere.

Lokalizacja logów vCenter dla instalacji opartej na systemie Linux (VCSA) to:

/var/log/vmware/vpx/

Dokładna lokalizacja logów vCenter zależy od systemu operacyjnego, na którym zainstalowano vCenter Server. vCenter Server oparty na systemie Windows, który był używany do wersji VMware vSphere 6.7 i został wycofany, wykorzystywał następującą domyślną lokalizację do przechowywania logów VMware vCenter:

C:ProgramDataVMwarevCenterServerlogs

Należy pamiętać, że lokalizacje logów vCenter mogą się różnić w zależności od wersji i konfiguracji vCenter Server. Zawsze można zapoznać się z oficjalną dokumentacją VMware lub dokumentacją konkretnej wersji vCenter Server, aby znaleźć dokładne lokalizacje logów.

Ponieważ vCenter Server jest centralną platformą zarządzania, opiera się na logach trwałych w celu zachowania informacji historycznych oraz ułatwienia rozwiązywania problemów i analizy wydajności w czasie. W przeciwieństwie do ESXi, który wykorzystuje system plików w pamięci do logów tymczasowych (w przypadku niektórych konfiguracji domyślnych), logi vCenter Server są zaprojektowane jako trwałe i są przechowywane na stałym urządzeniu pamięci masowej. Jeśli chodzi o pamięć nietrwałą dla logów ESXi, można zmienić lokalizację przechowywania logów w ESXi.

Jak uzyskać dostęp do logów VMware

Omówiliśmy, czym są logi VMware i gdzie są przechowywane. Teraz musimy dowiedzieć się, jak sprawdzić logi VMware ESXi w celu przeprowadzenia dalszej analizy. Dostęp do logów VMware ESXi można uzyskać na różne sposoby.

VMware Host Client

Aby wyświetlić logi ESXi w VMware Host Client, wykonaj następujące kroki:

1. Zaloguj się do VMware Host Client w przeglądarce internetowej.
2. Kliknij Host > Monitor w panelu Navigator i przejdź do zakładki Logs .
3. Wybierz jeden z logów ESXi, aby wyświetlić zarejestrowane informacje. Możesz wyszukać potrzebny ciąg znaków, korzystając z pola Search .

   

DCUI (ESXi)

Możesz użyć interfejsu użytkownika konsoli bezpośredniej w ESXi, aby przeglądać logi. Konieczny jest fizyczny dostęp do hosta ESXi, w tym do monitora i klawiatury, lub można użyć przełącznika KVM i podobnych technologii.

1. Zaloguj się do interfejsu użytkownika konsoli bezpośredniej ESXi (DCUI).
2. Wybierz pozycję View System Logs w menu System Customization .
3. Naciśnij klawisz od 1 do 6 , aby wyświetlić odpowiedni dziennik VMware na serwerze ESXi. Objaśnienie każdej cyfry jest wyświetlane w prawym panelu interfejsu.

   

4. Po wprowadzeniu wymaganej cyfry wyświetli się pełnoekranowa strona z logami. Można wpisać / i wprowadzić ciąg wyszukiwania, aby wyświetlić tylko wiersze zawierające potrzebne informacje. Naciśnij q , aby wyjść z tego trybu i powrócić do poprzedniego menu DCUI.

   

Przeglądarka internetowa

Użyj linku w przeglądarce internetowej, aby otworzyć stronę z linkami do pobrania plików logów. Aby uzyskać dostęp do tej strony, należy wprowadzić poświadczenia z uprawnieniami do administracji dla hosta ESXi.

https:///host

Wiersz poleceń ESXi

Wiersz poleceń ESXi, podobnie jak DCUI, może służyć do przeglądania logów ESXi, jeśli połączenie sieciowe jest niedostępne i nie można skorzystać z metod zdalnego przeglądania logów przez sieć.

1. Upewnij się, że powłoka ESXi jest włączona w DCUI (Troubleshooting Options > Enable ESXi Shell).
2. Naciśnij Alt+F1 , aby otworzyć powłokę ESXi.
3. Użyj poleceń, aby wyświetlić logi ESXi.

SSH

Zdalny dostęp SSH jest jedną z najwygodniejszych i najpotężniejszych metod przeglądania i analizowania logów VMware.

1. Włącz SSH w DCUI ( Opcje rozwiązywania problemów > Włącz SSH ) lub VMware Host Client, aby umożliwić zdalny dostęp SSH do hosta ESXi.
2. Połącz się z hostem ESXi za pomocą klienta SSH (na przykład PuTTY w przypadku łączenia się z systemu Windows).
3. Użyj poleceń, aby wyświetlić logi ESXi i przeprowadzić analizę logów VMware.

   

Analiza logów VMware z przykładami

Teraz znamy nazwy i lokalizacje logów VMware, a także metody uzyskiwania do nich dostępu, które są nieocenione podczas rozwiązywania różnych problemów w środowisku wirtualnym. Czas zapoznać się z praktycznymi przykładami wykorzystania logów VMware do rozwiązywania problemów.

Identyfikacja problemów z łącznością hosta ESXi

Problem : Maszyny wirtualne na hoście ESXi doświadczają sporadycznych problemów z łącznością sieciową.

Dzienniki do sprawdzenia :

Kroki rozwiązywania problemów . Sprawdź dzienniki VMkernel pod kątem komunikatów związanych z siecią i poszukaj błędów lub utraconych pakietów. Przejrzyj również hostd dzienniki pod kątem wszelkich problemów z usługą zarządzania hostem. vobd.log może dostarczyć informacji na temat problemów związanych z pamięcią masową, które mogą wpływać na działanie sieci maszyn wirtualnych.

Błąd tworzenia migawki maszyny wirtualnej

Problem : Próba utworzenia migawka maszyny wirtualnej kończy się niepowodzeniem.

Dzienniki do sprawdzenia :

Kroki rozwiązywania problemów . Sprawdź plik vmware.log danej maszyny wirtualnej pod kątem błędów lub komunikatów ostrzegawczych związanych z migawkami. Jednocześnie sprawdź logi VMkernel pod kątem problemów związanych z pamięcią masową, które mogą uniemożliwiać operację tworzenia migawki.

Spadek wydajności maszyny wirtualnej

Problem : Maszyna wirtualna wykazuje problemy z wydajnością, takie jak wysokie zużycie procesora lub pamięci.

Logi do sprawdzenia :

Kroki rozwiązywania problemów . Przeanalizuj plik vmware.log dotkniętej maszyny wirtualnej pod kątem błędów związanych z aplikacją lub skoków wykorzystania zasobów. Jednocześnie sprawdź logi VMkernel pod kątem komunikatów związanych z wydajnością i upewnij się, że host ESXi ma wystarczające zasoby.

Błąd uruchamiania usługi vCenter

Problem : Usługa vCenter Server nie uruchamia się.

Logi do sprawdzenia :

Kroki rozwiązywania problemów . Przejrzyj vpxd.log pod kątem błędów lub wyjątków podczas uruchamiania vCenter Server. Dodatkowo sprawdź vpxa.log na zarządzanych hostach ESXi, aby upewnić się, że komunikacja między vCenter a hostami przebiega prawidłowo.

Problem z trybem failover klastra VMware High Availability (HA)

Problem : Maszyny wirtualne nie uruchamiają się ponownie na innych hostach w klastrze HA po awarii hosta ESXi.

Dzienniki do sprawdzenia : /var/log/fdm.log

Kroki rozwiązywania problemów . Przeanalizuj fdm.log na hostach, których dotyczy problem, aby zidentyfikować wszelkie błędy lub problemy z klastrem HA. Poszukaj komunikatów o sygnale kontrolnym, procesie wyboru hosta głównego oraz możliwych przyczyn niepowodzeń trybu failover maszyn wirtualnych.

Niepowodzenie vMotion

Problem : VMware vMotion nie udaje się podczas próby migracji maszyny wirtualnej między hostami.

Dzienniki do sprawdzenia :

Kroki rozwiązywania problemów . Sprawdź vmkernel.log pod kątem komunikatów związanych z vMotion oraz wszelkich problemów z łącznością sieciową. Dodatkowo sprawdź vobd.log pod kątem potencjalnych problemów związanych z pamięcią masową, które mogą mieć wpływ na vMotion.

Problemy z instalacją VMware Tools

Problem : Instalacja VMware Tools nie udaje się na maszynie wirtualnej.

Dzienniki do sprawdzenia : /vmfs/volumes/datastore_name/vm_name/vmware.log

Kroki rozwiązywania problemów . Przejrzyj plik vmware.log w maszynie wirtualnej pod kątem błędów związanych z VMware Tools lub komunikatów instalacyjnych.

Podczas rozwiązywania problemów przy użyciu logów VMware kluczowe znaczenie ma korelacja zdarzeń w wielu logach, aby uzyskać kompleksowy obraz problemu. Ponadto narzędzia do analizy logów, takie jak VMware Aria Operations for Logs (wcześniej vRealize Log Insight), mogą pomóc usprawnić proces przeglądania logów i umożliwić bardziej efektywne rozwiązywanie problemów z VMware w złożonych środowiskach.

Rozwiązywanie problemów związanych z pamięcią masową

Można korzystać z logów VMware w celu identyfikacji problemów z dyskami twardymi lub dyskami półprzewodnikowymi, na przykład w przypadku występowania uszkodzonych bloków na dysku HDD. Aby zidentyfikować problemy z dyskami twardymi (HDD) lub dyskami półprzewodnikowymi (SSD) w środowisku VMware, można wykorzystać różne logi VMware do śledzenia i analizowania zdarzeń oraz błędów związanych z pamięcią masową.

1. Przejrzyj logi VMkernel (/var/log/vmkernel.log):

   Logi VMkernel zawierają podstawowe informacje o systemie, w tym zdarzenia związane z pamięcią masową. Poszukaj komunikatów wskazujących na błędy wejścia/wyjścia dysku lub kody SCSI związane z problemami dyskowymi.

   Przykład błędu: "Device I/O errors", "Medium Error Detected" lub "Uncorrectable error in data"

2. Sprawdź logi dotyczące pamięci masowej (/var/log/vobd.log):

   Plik vobd.log zawiera komunikaty związane z pamięcią masową, w tym błędy napotkane przez podsystem pamięci masowej.

   Przykład błędu: "Storage Error: Device 'naa.xxxxxxxxxxxxxx'... Sense: Unrecovered read error"

3. Sprawdź logi maszyn wirtualnych (/vmfs/volumes/datastore_name/vm_name/vmware.log):

   Logi specyficzne dla maszyn wirtualnych mogą ujawnić błędy operacji wejścia/wyjścia na dysku napotkane przez konkretną maszynę wirtualną.

   Przykład błędu: "Disk I/O error occurred on one or more virtual disks", "Disk error detected" lub "Error Stack: Unable to read partition table"

Zalecenia: Co warto wykorzystać oprócz logów VMware

Istnieją zalecenia dotyczące tego, co warto wykorzystać wraz z logami VMware w celu uzyskania lepszej i bardziej szczegółowej diagnostyki oraz rozwiązywania problemów, aby na czas wykrywać problemy z pamięcią masową.

• Monitoruj alarmy i zdarzenia vCenter . Zwracaj uwagę na alarmy i zdarzenia vCenter Server związane z pamięcią masową. Alarmy wywołane problemami z pamięcią masową mogą dostarczyć informacji na temat potencjalnych problemów z dyskami.
• Korzystaj z funkcji VMware Health Checks . VMware udostępnia różne badania kontrolne , które można wykonać za pomocą vSphere Client. Kontrole te pozwalają zidentyfikować problemy związane z pamięcią masową i oferują zalecenia.
• Wykorzystaj narzędzia do monitorowania innych producentów . Wdroż specjalne Monitorowanie systemów informatycznych i narzędzia do analizy logów, aby scentralizować i analizować dane logów z wielu hostów i maszyn wirtualnych. Narzędzia te mogą pomóc w identyfikacji problemów związanych z dyskami w całej infrastrukturze wirtualnej.
• Podczas identyfikacji uszkodzonych bloków na dyskach twardych należy zwrócić uwagę na różne komunikaty o błędach i wzorce, zwłaszcza te wskazujące na błędy nośnika lub błędy odczytu/zapisu. Uszkodzone bloki mogą prowadzić do uszkodzenia danych lub spadku wydajności, a wczesne wykrycie może zapobiec poważniejszym problemom. W przypadku utraty danych z uszkodzonych dysków niezbędne jest Odzyskiwanie danych z kopii zapasowej VMware przeniesienie ich na sprawne dyski.

Problemy z klastrem

Korzystanie z dzienników VMware ESXi i vCenter może okazać się kluczowe w identyfikacji problemów związanych z klastrem w środowisku wirtualnym. Problemy z klastrem mogą objawiać się jako trudności z Wydajność maszyn wirtualnych, Trybem failover HA, niepowodzeniami vMotion lub innymi operacjami związanymi z klastrem.

• Przejrzyj dzienniki vCenter Server:
  • Uzyskaj dostęp do dzienników vCenter, takich jak vpxd.log i vpxa.log, znajdujących się odpowiednio pod adresami /var/log/vmware/vpxd/vpxd.log i /var/log/vpxa.log .
  • Poszukaj komunikatów o błędach lub ostrzeżeń związanych z operacjami klastra, zarządzaniem zasobami oraz komunikacją między vCenter a hostami ESXi.
  • Zwróć uwagę na zdarzenia podczas tworzenia klastra, zmian konfiguracji oraz problemów z usługami klastra.
• Sprawdź logi hostów ESXi i uzyskaj do nich dostęp, w tym vmkernel.log, hostd.log oraz fdm.log:
  • vmkernel.log: Przejrzyj je, aby sprawdzić, czy występują zdarzenia związane z klastrem, takie jak próby vMotion, problemy z sygnałem kontrolnym HA lub błędy podczas współdzielenia zasobów.
  • hostd.log: Poszukaj komunikatów związanych z klastrem, dotyczących zadań i zdarzeń obsługiwanych przez usługę zarządzania hostami.
  • fdm.log: Sprawdź, czy występują zdarzenia związane z HA, w tym awarie hostów, ponowne uruchomienia maszyn wirtualnych oraz zdarzenia związane z wyborem mastera.
• Sprawdź logi maszyn wirtualnych:
  • Uzyskaj dostęp do logów maszyn wirtualnych, takich jak vmware.log, aby zidentyfikować problemy specyficzne dla poszczególnych maszyn wirtualnych w klastrze.
  • Logi maszyn wirtualnych mogą dostarczyć informacji na temat wydajności maszyn wirtualnych, ograniczeń zasobów lub awarii podczas operacji vMotion.
• Monitoruj alarmy i zdarzenia specyficzne dla klastra:
  • Użyj vCenter do tworzenia alarmów i zdarzeń związanych z wydajnością i kondycją klastra.
  • Skonfiguruj alarmy dla problemów takich jak nadmierne zużycie zasobów, partycjonowanie klastra lub awarie maszyn wirtualnych.
  • Sprawdź kartę vCenter Events pod kątem zdarzeń związanych z klastrem, takich jak migracje maszyn wirtualnych, rekonfiguracje klastra lub zdarzenia HA.

Łącząc informacje z dzienników ESXi, dzienników vCenter, wskaźników wydajności i zdarzeń specyficznych dla klastra, można uzyskać dogłębne zrozumienie stanu klastra i zidentyfikować problemy wpływające na wydajność maszyn wirtualnych, wysoką dostępność i ogólną stabilność klastra. Regularna analiza dzienników i proaktywne monitorowanie mogą pomóc w zapobieganiu problemom z klastrem lub szybkim ich rozwiązywaniu, gdy się pojawią.

Rozwiązywanie problemów sieciowych

Rozwiązywanie problemów sieciowych w środowisku VMware vSphere polega na identyfikacji i usuwaniu problemów związanych z siecią, które mają wpływ na maszyny wirtualne oraz komunikacja między hostami ESXi. Logi VMware ESXi i vCenter mogą odegrać kluczową rolę w lokalizowaniu takich problemów. Poniżej przedstawiono kilka przykładów rozwiązywania problemów sieciowych z wykorzystaniem logów ESXi i vCenter wraz z poleceniami służącymi do pozyskiwania istotnych informacji.

Identyfikacja problemów z łącznością sieciową maszyn wirtualnych

Problem : Maszyna wirtualna nie ma dostępu do sieci.

• Polecenie do sprawdzania logów VMkernel (na hoście ESXi):

  cat /var/log/vmkernel.log | grep -E 'Failed to send packet|dropped|no network'

  To polecenie filtruje logi VMkernel pod kątem komunikatów związanych z błędami pakietów, utraconymi pakietami lub niedostępnością sieci.

• Polecenie do sprawdzania konfiguracji sieci maszyn wirtualnych (na hoście ESXi):

  esxcfg-vmknic -l

  To polecenie wyświetla listę skonfigurowanych interfejsów sieciowych VMkernel oraz adresów IP na hoście ESXi. Sprawdź, czy maszyna wirtualna sieć jest poprawnie skonfigurowana.

Rozwiązywanie problemów z vMotion

Problem : vMotion nie działa między dwoma hostami ESXi.

• Polecenie do sprawdzania logów VMkernel (na hostach ESXi źródłowym i docelowym):

  cat /var/log/vmkernel.log | grep -E 'Migration to host|vMotion'

  To polecenie pomaga znaleźć komunikaty związane z vMotion zarówno na hostach ESXi źródłowym, jak i docelowym.

• Polecenie do sprawdzania zdarzeń vCenter (na serwerze vCenter Server):

  vim-cmd vmsvc/get.eventlog | grep 'Migrate'

  Zastąp identyfikatorem maszyny wirtualnej (VMID) danej maszyny wirtualnej. To polecenie pobiera dziennik zdarzeń dla maszyny wirtualnej i wyszukuje zdarzenia związane z vMotion.

Identyfikowanie wąskich gardeł wydajności sieci

Problem : Maszyny wirtualne doświadczają spadku wydajności sieci.

• Polecenie sprawdzające statystyki ESXTOP (na hoście ESXi):

  esxtop

  W esxtopnaciśnij n , aby przełączyć się do widoku sieciowego. Monitoruj wskaźniki, takie jak przepustowość sieci (MBTx/rx), Network Packets/si Network Dropped/s , aby zidentyfikować potencjalne wąskie gardła. To i następne polecenia służą do wyświetlania danych nie z pliku dziennika VMware, ale do wyświetlania aktualizowanych w czasie rzeczywistym informacji dotyczących rozwiązywania problemów z VMware. Można również sprawdzić czas pracy ESXi za pomocą polecenia esxtop .

Rozwiązywanie problemów z przełącznikiem rozproszonym vSphere (VDS)

Problem : Problemy z łącznością maszyn wirtualnych w przełączniku rozproszonym vSphere .

• Polecenie służące do sprawdzania stanu VDS (na serwerze vCenter Server):

  net-dvs -l

  Polecenie to wyświetla listę wszystkich rozproszone przełączniki wirtualne (VDS) wraz z ich statusem.

• Polecenie służące do sprawdzania stanu portów VDS (na serwerze vCenter Server):

  net-dvs -p

  Zastąp nazwą VDS. Polecenie to wyświetla stan wszystkich portów na wskazanym rozproszonym przełączniku wirtualnym.

Pamiętaj, że rozwiązywanie problemów sieciowych często wymaga analizy logów i danych dotyczących wydajności z wielu źródeł, w tym logów VMkernel, logów vCenter, wskaźników wydajności i konfiguracji sieciowych. Podane powyżej przykłady służą jako punkty wyjścia do zebrania informacji istotnych dla problemów sieciowych i może być konieczne dostosowanie poleceń w oparciu o konkretny problem napotkany w środowisku vSphere.

Wyrażenia regularne do analizy logów VMware

Jak widać na powyższych przykładach, dostęp do powłoki ESXi przez SSH i użycie wiersza poleceń to potężna metoda przeglądania logów VMware i ich analizy. Jako narzędzia do analizy logów VMware ESXi można używać natywnych narzędzi wiersza poleceń. Te narzędzia wiersza poleceń są znane użytkownikom Linuksa:

• cat to narzędzie wiersza poleceń, które łączy i wyświetla zawartość jednego lub więcej plików tekstowych na terminalu. Jest ono powszechnie używane do przeglądania całej zawartości pliku za jednym razem. Jednak w przypadku dużych plików użycie cat może skutkować przytłaczającą ilością danych, które szybko przewijają się poza ekran, co sprawia, że czytanie takich plików jest mniej praktyczne.
• less to narzędzie do przeglądania plików tekstowych z wiersza poleceń, które pozwala przeglądać i przewijać zawartość pliku tekstowego. Wyświetla ono tekst na jednym ekranie naraz i zapewnia opcje nawigacji umożliwiające poruszanie się do przodu i do tyłu w pliku. W przeciwieństwie do cat, które wyświetla całą zawartość pliku w terminalu, less jest przydatne do bardziej efektywnego czytania dużych plików.
• grep oznacza „Global Regular Expression Print”. Jest to potężne narzędzie wiersza poleceń służące do wyszukiwania wzorców tekstowych (wyrażeń regularnych) w jednym lub wielu plikach. grep może filtrować i wyświetlać wiersze zawierające określony wzorzec. Jest powszechnie używane do wyszukiwania tekstu, analizy logów i wyodrębniania określonych informacji z plików.
• tail to narzędzie wiersza poleceń, które wyświetla kilka ostatnich wierszy pliku tekstowego. Domyślnie tail pokazuje ostatnie dziesięć wierszy pliku. Jest to szczególnie przydatne do monitorowania plików dziennika w czasie rzeczywistym, ponieważ pozwala wyświetlać nowe wpisy w miarę ich dodawania do dziennika. Polecenie ` tail ` jest często używane wraz z opcją ` -f `, aby na bieżąco monitorować plik i obserwować aktualizacje w czasie rzeczywistym. `
• head ` to narzędzie wiersza poleceń, które wyświetla pierwsze N wierszy pliku tekstowego. Domyślnie narzędzie head wyświetla pierwsze 10 wierszy pliku. Jest to pomocne w szybkim przeglądaniu początku pliku lub wyodrębnianiu początkowych informacji. Podobnie jak w przypadku tail, można określić liczbę wierszy do wyświetlenia za pomocą opcji -n .

Narzędzia wiersza poleceń można używać razem ze sobą oraz z wyrażeniami regularnymi, aby uzyskać najwyższą wydajność analizy logów VMware. Analiza plików dziennika przy użyciu wyrażeń regularnych (regex) w wierszu poleceń ESXi może być skutecznym sposobem na wyodrębnienie konkretnych informacji i uzyskanie wglądu w problemy lub wzorce. Poniżej można zobaczyć kilka praktycznych przykładów wykorzystania wyrażeń regularnych do analizy dzienników w ESXi.

Filtrowanie logów pod kątem konkretnych zdarzeń

Załóżmy, że chcesz znaleźć wszystkie wystąpienia konkretnego zdarzenia, takiego jak "Disk I/O error", w pliku vmkernel.log .

cat /var/log/vmkernel.log | grep -E 'Disk I/O error'

To polecenie wyświetli wszystkie wiersze zawierające frazę "Disk I/O error" w pliku vmkernel.log.

Wyodrębnianie adresów IP z logów

Aby wyodrębnić adresy IP z logów w pliku hostd.log , możesz użyć wzorca regex, który dopasowuje adresy IPv4.

cat /var/log/hostd.log | grep -E -o '([0-9]{1,3}.){1}[0-9]{1,3}'

To polecenie wyświetli wszystkie adresy IPv4 znalezione w pliku hostd.log.

Wyszukiwanie wzorców z kwantyfikatorami

Załóżmy, że chcesz znaleźć wszystkie wiersze w pliku vmware.log zawierające dowolną liczbę kolejnych cyfr.

cat /vmfs/volumes/datastore_name/vm_name/vmware.log | grep -E '[0-9]+'

To polecenie wyświetli wszystkie wiersze zawierające co najmniej jedną cyfrę w pliku vmware.log.

Wyszukiwanie wielu wzorców

Aby znaleźć wiersze w pliku vpxd.log zawierające albo "error" albo "warning", można użyć operatora OR | we wzorcu wyrażenia regularnego.

cat /var/log/vmware/vpxd/vpxd.log | grep -E 'error|warning'

To polecenie wyświetli wszystkie wiersze zawierające albo "error" albo "warning" w pliku vpxd.log.

Dopasowywanie za pomocą symboli wieloznacznych

Załóżmy, że chcesz znaleźć wszystkie wiersze w pliku vobd.log , które zawierają słowo "failed" bez względu na wielkość liter.

cat /var/log/vobd.log | grep -i 'failed'

To polecenie wyświetli wszystkie wiersze zawierające "failed", "FAILED", "Failed"itp. w pliku vobd.log.

Korzystanie z grup przechwytujących

Aby wyodrębnić informacje o dacie i godzinie z wierszy w pliku sms.log , możesz użyć grup przechwytujących w wyrażeniu regularnym. cat /var/log/vmware/sms/sms.log | grep -Eo '([0-9]{2}-[0-9]{3}-[0-9]{4}) ([0-9]{5}:[0-9]{6}:[0-9]{7})'

To polecenie wyświetli wszystkie wystąpienia daty i godziny w pliku sms.log.

UWAGA: Możesz zmienić ścieżkę do potrzebnego pliku dziennika w zależności od konkretnego przypadku użycia.

Te przykłady pokazują, jak używać wyrażeń regularnych w połączeniu z poleceniem grep do przeprowadzania analizy dzienników w interfejsie wiersza poleceń ESXi. Wyrażenia regularne zapewniają zaawansowane możliwości dopasowywania wzorców, umożliwiając wydobywanie konkretnych informacji, filtrowanie dzienników i skuteczne wyszukiwanie wzorców. Należy pamiętać, że rzeczywiste wzorce wyrażeń regularnych mogą się różnić w zależności od zawartości pliku dziennika oraz informacji, które chcesz wyodrębnić lub wyszukać. Możesz skorzystać z tych przykładów i dostosować polecenia do swoich konkretnych potrzeb związanych z analizą dzienników VMware.

Jak wyeksportować dzienniki VMware i pobrać pakiet pomocy technicznej

Może się zdarzyć, że analiza dzienników VMware nie pomoże w rozwiązaniu problemów, które wystąpiły na hoście ESXi lub w vCenter. W takim przypadku można wyeksportować logi lub pobrać pakiet pomocy technicznej i przesłać te informacje do pomocy technicznej VMware. Specjaliści z pomocy technicznej VMware mogą pomóc w rozwiązaniu problemów ze środowiskiem VMware, jeśli posiadasz wersja licencyjna VMware vSphere.

VMware Host Client

Aby wygenerować pakiet pomocy technicznej i wyeksportować logi VMware, wykonaj następujące kroki:

1. Kliknij Monitor w panelu Navigator .
2. Wybierz zakładkę Logs .
3. Kliknij Generate support bundle.
4. Zapisz archiwum pakietu pobrane w przeglądarce internetowej.

   

VMware vSphere Client

Aby wyeksportować logi systemowe VMware w vSphere Client, wykonaj następujące czynności:

1. Wybierz widok Hosts and Clusters i wybierz host ESXi, którego logi chcesz wyeksportować (w lewym panelu, który jest panelem nawigacyjnym).
2. Kliknij prawym przyciskiem myszy host ESXi i kliknij Export system logs w menu, które się otworzy.

   

3. Wybierz logi ESXi, które chcesz wyeksportować, i kliknij Export logs.

   

Aby przesłać pakiet do pomocy technicznej VMware w vSphere Client, wykonaj następujące czynności:

1. Kliknij ikonę Menu w lewym górnym rogu.
2. Przejdź do Administration > Support > Upload File to Service Request i kliknij przycisk Upload File to Service Request .

   

Link w przeglądarce internetowej

Użyj linku do skryptu cgi na hoście ESXi:

http:///cgi-bin/vm-support.cgi

Pobierz i zapisz pakiet z wyeksportowanymi logami ESXi (plik .tgz).

Generowanie pakietu w powłoce ESXi (wiersz poleceń)

Aby wygenerować pakiet pomocy technicznej zawierający logi ESXi w powłoce ESXi, można uruchomić następujące polecenie:

/usr/bin/vm-support

Podsumowanie

Podczas rozwiązywania problemów związanych z VMware vSphere, w tym z ESXi i vCenter, analiza logów VMware może pomóc administratorom w zidentyfikowaniu pierwotnej przyczyny problemów i podjęciu odpowiednich działań naprawczych. Analizując te logi, administratorzy mogą zidentyfikować i rozwiązać problemy, takie jak wąskie gardła wydajności, problemy z łącznością, błędy konfiguracji oraz potencjalne zagrożenia bezpieczeństwa. Regularna analiza logów jest niezbędna do proaktywnej administracji oraz utrzymania stabilności i niezawodności VMware vCenter oraz środowiska wirtualnego.

Regularne monitorowanie infrastruktury VMware oraz wykonanie kopii zapasowej maszyn wirtualnych pozwala na zapobieganie problemom na czas i uniknięcie utraty danych.

Wypróbuj NAKIVO Backup & Replication

Skorzystaj z bezpłatnej wersji próbnej, aby zapoznać się ze wszystkimi funkcjami rozwiązania w zakresie ochrony danych. 15 dni za darmo. Bez żadnych ograniczeń dotyczących funkcji ani pojemności. Nie trzeba podawać danych karty kredytowej.

Wypróbuj za darmo