Jak przekształcić fizyczną maszynę z systemem Linux w maszynę wirtualną VMware

Co zrobić, jeśli trzeba przeprowadzić odzyskiwanie serwera fizycznego z kopii zapasowej, ale źródłowy serwer fizyczny jest uszkodzony i nie ma żadnego wolnego serwera fizycznego, którego można by użyć do odzyskiwania? W takim przypadku możesz przywrócić serwer fizyczny do środowiska wirtualnego i pracować na przywróconej maszynie wirtualnej (VM) do czasu naprawy sprzętu maszyny fizycznej.

Ten wpis na blogu wyjaśnia, jak przywrócić fizyczny serwer Linux do maszyny wirtualnej z kopii zapasowej przy użyciu NAKIVO Backup & Replication. Co więcej, ten przewodnik szczegółowo opisuje, jak przekształcić maszyny fizyczne w maszyny wirtualne, używając NAKIVO Backup & Replication jako konwertera P2V.

NAKIVO do wykonywania kopii zapasowych komputerów z systemem Linux

NAKIVO do wykonywania kopii zapasowych komputerów z systemem Linux

Szybkie i wydajne tworzenie kopii zapasowych dla serwerów i stacji roboczych z systemem Linux. Ochrona przed oprogramowaniem wymuszającym okup, wiele lokalizacji kopii zapasowych, elastyczne opcje odzyskiwania danych i wiele więcej!

Przykłady zastosowań odzyskiwania P2V

Odzyskiwanie maszyny fizycznej do maszyny wirtualnej nazywane jest również odzyskiwaniem P2V. Istnieją dwa główne przypadki użycia odzyskiwania P2V — tymczasowe odzyskiwanie P2V oraz stała migracja P2V.

Temporary P2V recovery. Jest to odzyskiwanie maszyny fizycznej do maszyny wirtualnej z kopii zapasowej do czasu naprawy, ponownej konfiguracji lub wymiany uszkodzonej maszyny fizycznej. Takie podejście charakteryzuje się minimalnym czasem przestoju. Jeśli serwer fizyczny lub stacja robocza przestaną działać, można odzyskać tę maszynę do postaci maszyny wirtualnej z kopii zapasowej. Do czasu naprawy lub wymiany maszyny fizycznej odzyskana maszyna wirtualna działa w miejsce uszkodzonego serwera fizycznego lub stacji roboczej. W przypadku odzyskiwania stacji roboczej metodą P2V użytkownik może połączyć się z odzyskaną maszyną wirtualną zdalnie z dowolnego dostępnego komputera. Po naprawie uszkodzonej maszyny fizycznej wszystkie niezbędne dane należy przenieść na naprawioną maszynę. Następnie tymczasowa maszyna wirtualna, która działała podczas naprawy maszyny fizycznej, może zostać usunięta, a całe obciążenie można przenieść na naprawioną maszynę fizyczną.

Maszyny fizyczne powinny być regularnie wykonywane na nich kopie zapasowe. W ten sposób, nawet jeśli komputer niespodziewanie ulegnie awarii, można mieć pewność, że dane są bezpieczne i można je wykorzystać do odzyskiwania danych. Poniższa ilustracja przedstawia zalety tymczasowego odzyskiwania P2V, które pomaga skrócić czas przestoju.

Advantages of temporary P2V recovery

Permanent P2V migration. Opcja ta jest często stosowana podczas zmiany infrastruktury IT i konwersji maszyn fizycznych na maszyny wirtualne do stałego użytku. Na przykład, jeśli kupujesz nowy serwer do uruchomienia hiperwizora, możesz zdecydować się na konwersję fizycznego serwera Linux na maszynę wirtualną VMware (VM) lub konwersję fizycznego serwera Windows na maszynę wirtualną Hyper-V (w zależności od środowiska wirtualnego). W tym celu NAKIVO Backup & Replication może służyć jako konwerter P2V.

Jak działa Linux Server Backup

Ten wpis na blogu opisuje proces odzyskiwania maszyn z systemem Linux metodą P2V. Nie będzie jednak możliwe przywrócenie danych bez uprzedniego wykonania kopii zapasowej. Przyjrzyjmy się, jak działa funkcja tworzenia kopii zapasowej serwerów Linux w NAKIVO Backup & Replication.

Po dodaniu fizycznego serwera Linux do zasobów w NAKIVO Backup & Replication na komputerze z systemem Linux wdrażany jest agent maszyny fizycznej komunikujący się z NAKIVO Backup & Replication Dyrektor oraz Przewoźnicy . Plik instalatora inst.sh jest przesyłany na docelowy komputer z systemem Linux za pośrednictwem SSH. Następnie w celu zapewnienia bezpiecznej komunikacji między agentem a serwerem dyrektorskim przesyłane są certyfikat (certificate.pem) oraz plik tokenu bhsvc.id (identyfikator + klucz wstępny), po czym agent jest instalowany w trybie cichym. Po instalacji agent działa jako usługa i uruchamia się automatycznie (o ile nie jest to jednorazowe wdrażanie agenta). Agenta maszyny fizycznej nie można zainstalować na komputerze, na którym jest już zainstalowany Transporter. Fizyczna maszyna z systemem Linux stanie się widoczna w sekcji Inventory w NAKIVO Backup & Replication po pomyślnej instalacji agenta. Po dodaniu maszyn fizycznych do sekcji Inventory można tworzyć i uruchamiać zadania tworzenia kopii zapasowych dla tych maszyn, podobnie jak w przypadku maszyn wirtualnych VMware i Hyper-V.

Możliwości agenta maszyny fizycznej:

  • Obsługuje migawki LVM (logical volume management).
  • Działa w trybie bezpiecznym przy użyciu certyfikatu i klucza wstępnego.
  • W przypadku aktualizacji NAKIVO Backup & Replication (Director) powiązane agenty maszyn fizycznych zostaną zaktualizowane automatycznie.
  • Obsługiwane jest odzyskiwanie na poziomie plików do źródła.
  • Obsługiwane jest tworzenie kopii zapasowych przyrostowych z wykorzystaniem zastrzeżonej metody śledzenia zmian.

Wymagania

Fizyczny serwer Linux, którego kopię zapasową chcesz wykonać, musi spełniać następujące wymagania.

Hardware requirements:

32-bitowy lub 64-bitowy Procesor (architektura x86 / x86-64)

Co najmniej 1 GB pamięci RAM

Maksymalny obsługiwany rozmiar dysku to 64 TB

Tabela partycji MBR lub GPT

Storage requirements:

Obsługiwane typy dysków i systemy plików na fizycznym serwerze źródłowym z systemem Linux: Ext2, Ext3, Ext4, XFS, ReiserFS, NTFS, FAT32, Linux SWAP

Obsługiwane typy LVM: Liniowy, RAID 0, RAID 1

Officially supported Linux distributions:

Ubuntu 16 – Ubuntu 18 LTS, 64-bit

SLES (SUSE Linux Enterprise Server) v12.0-12.4, 64-bit

CentOS v6.6-7.6, 64-bit

Red Hat Enterprise Linux v6.3-7.5, 64-bit

Network requirements:

Serwer SSH musi działać na serwerze Linux (pakiet openssh-server musi być zainstalowany).

Na docelowym fizycznym serwerze Linux muszą być otwarte następujące porty TCP:

  • Port TCP 22 musi być otwarty w celu nawiązania połączeń SSH (bezpieczne logowanie i transfer plików za pośrednictwem SCP i SFTP).
  • Port TCP 9446 jest używany przez NAKIVO Backup & Replication do komunikacji z maszyną.

Do wdrażania agenta wymagane są uprawnienia użytkownika głównego. Można włączyć dostęp użytkownika głównego przez SSH na maszynie z systemem Linux, ale nie jest to najlepsza opcja pod względem bezpieczeństwa. Jeśli użytkownik nie jest użytkownikiem głównym, upewnij się, że może połączyć się z fizycznym komputerem z systemem Linux przez SSH i uruchomić polecenie sudo w celu uzyskania uprawnień roota. Na serwerze SSH musi być włączone uwierzytelnianie za pomocą hasła.

Algorytm odzyskiwania P2V dla serwerów z systemem Linux

Oto sekwencja czynności związanych z odzyskiwaniem P2V dla serwerów z systemem Linux:

  • Utwórz kopię zapasową fizycznego serwera z systemem Linux do repozytorium kopii zapasowych
  • Wyeksportuj dane z kopii zapasowej na dysk wirtualny w odpowiednim formacie (VMDK, VHD lub VHDX)
  • Skopiuj pliki dysku wirtualnego do magazynu danych, do którego ma dostęp hiperwizor
  • Utwórz nową maszynę wirtualną i skonfiguruj ją tak, aby korzystała z wyeksportowanego dysku
  • Uruchom maszynę wirtualną na komputerze fizycznym z uruchomionym hiperwizorem

Przebieg odzyskiwania P2V

Przejdźmy krok po kroku przez cały proces odzyskiwania P2V fizycznego serwera z systemem Linux na maszynę wirtualną VMware, korzystając z przykładu. Serwer źródłowy z systemem Linux działa pod kontrolą Ubuntu 18.04 LTS, natomiast docelowy host ESXi działa pod kontrolą ESXi 6.5 i jest zarządzany przez vCenter Server (wersja 6.5). Konto używane na serwerze z systemem Linux to user1 z włączoną opcją sudo . W tym przypadku nie są używane żadne dodatkowe konwertery P2V. Fizyczny serwer Linux jest konwertowany na maszynę wirtualną z kopii zapasowej przy użyciu NAKIVO Backup & Replication.

Dodawanie fizycznej maszyny Linux do inwentarza

  1. Najpierw musisz dodać fizyczny serwer Linux do inwentarza w NAKIVO Backup & Replication. Zaloguj się do NAKIVO Backup & Replication, przejdź do Configuration > Inventory. Kliknij Add New i wybierz Physical machine(s).Adding physical Linux server to Inventory
  2. Na stronie Dodaj nową maszynę fizyczną (maszyny fizyczne) ustaw wymagane parametry.
    Nazwa wyświetlana: Maszyna fizyczna Ubuntu
    Typ: Linux
    Nazwy hostów lub adresy IP: 192.168.16.61
    Nazwa użytkownika: user1
    Hasło: ********
    Port SSH: 22
    P Agent maszyny fizycznej zostanie zainstalowany na fizycznej maszynie z systemem Linux.
  3. Kliknij Add.Adding physical Linux server to Inventory in NAKIVO Backup & Replication
  4. Teraz możesz zobaczyć swój fizyczny serwer Linux w sekcji Inventory.physical Linux server is added to Inventory

Tworzenie kopii zapasowej fizycznego serwera z systemem Linux

Utwórz nowe zadanie tworzenia kopii zapasowej maszyny fizycznej w NAKIVO Backup & Replication. Na stronie głównej kliknij Create > Physical machine backup job.

Creating a new Physical machine backup job

Otworzy się Kreator nowego zadania tworzenia kopii zapasowej dla maszyny fizycznej.

1. Machines. Wybierz potrzebną maszynę z dostępnej listy maszyn fizycznych. Maszyny z systemem Linux i Windows są posortowane w oddzielnych kategoriach. W tym przykładzie wybrano maszynę fizyczną z systemem Ubuntu . Kliknij Next , aby przejść do kolejnego kroku kreatora.

Selecting the Ubuntu physical machine in New Backup Job Wizard for Physical machine

2. Destination. Wybierz repozytorium kopii zapasowych. W tym przykładzie do przechowywania fizycznej kopii zapasowej maszyny z systemem Linux używane jest repozytorium kopii zapasowych CIFS. Możesz rozszerzyć opcje, klikając nazwę swojego serwera Linux (w tym przypadku – fizyczna maszyna z systemem Ubuntu lub ) i wybierając dyski oraz partycje, które chcesz wykonać kopię zapasową dla nich.

Selecting a backup repository to store a physical machine backup

3. Schedule. Jest to standardowy krok przy wykonywaniu kopii zapasowej w NAKIVO Backup & Replication. Wybierz wymagane ustawienia harmonogramu.

Configuring scheduling options

4. Retention.

Ustaw potrzebne ustawienia przechowywania danych.

Configuring retention settings

5. Options. Tutaj możesz ustawić nazwę zadania, włączyć lub wyłączyć tryb spójności z aplikacją, wybrać metodę śledzenia zmian oraz skonfigurować przyspieszenie sieciowe i szyfrowanie. Należy pamiętać, że w przeciwieństwie do zadań dla maszyn wirtualnych VMware i Hyper-V, do śledzenia zmian można używać wyłącznie metody zastrzeżonej przez NAKIVO. Wynika to z faktu, że wykonuje się kopię zapasową maszyny fizycznej, a nie maszyny wirtualnej na poziom hosta.

Po skonfigurowaniu wszystkich opcji zadania należy kliknąć Finish w celu zakończenia tworzenia zadania lub Finish & Run w celu zapisania ustawień zadania i jego uruchomienia.

Configuring physical job backup options

Należy poczekać, aż kopia zapasowa fizycznego serwera Linux zostanie wykonana. Postęp tworzenia kopii zapasowej jest wyświetlany w interfejsie internetowym NAKIVO Backup & Replication.

A physical Linux machine backup job is running

Eksport kopii zapasowej

Po wykonaniu kopii zapasowej fizycznego serwera Linux można przywrócić maszynę i przekonwertować ją na maszynę wirtualną Hyper-V lub VMware za pomocą NAKIVO Backup & Replication, korzystając z eksportu kopii zapasowej.

Na stronie głównej kliknij Recover > Export backups , aby wyeksportować dane z kopii zapasowej na dysk wirtualny w odpowiednim formacie.

Selecting backup export for P2V recovery

Otworzy się Kreator eksportu kopii zapasowej.

1. Backups. Wybierz kopię zapasową fizycznego serwera Linux i wymagany punkt odzyskiwania. Domyślnie wybrany jest najnowszy punkt odzyskiwania. Kliknij Next na każdym kroku, aby kontynuować.

Selecting the Ubuntu physical machine to recover a VM from backup

2. Disks. Wybierz wymagane dyski z kopii zapasowej. Domyślnie zaznaczone są wszystkie istniejące dyski.

Selecting the disks to be exported and recovered

3. Options. Wybierz opcje eksportu kopii zapasowej.

Format eksportu : VMDK

Lokalizacja eksportu: Udostępnienie CIFS

Ścieżka do udostępnienia: FILESERVERShare07

Nazwa użytkownika: backupuser

Hasło: ********

Kliknij Test Connection , aby sprawdzić, czy wprowadziłeś prawidłowe dane uwierzytelniające z wystarczającymi uprawnieniami do odczytu/zapisu.

Configuring backup export destination options

Po pomyślnym przetestowaniu połączenia kliknij przycisk Export , aby rozpocząć proces eksportu kopii zapasowej.

Connection test is successful

4. Finish. Po rozpoczęciu eksportu kopii zapasowej możesz przejść do zakładki i monitorować postęp uruchomionego zadania eksportu kopii zapasowej.

Backup Export started

Poczekaj, aż zadanie eksportu kopii zapasowej zostanie zakończone.

Backup Export job is running_disks of a backed-up physical machine are exported to the virtual disks

Kopiowanie wyeksportowanych dysków do magazynu danych ESXi

Po zakończeniu zadania eksportu kopii zapasowej w określonej lokalizacji będą widoczne pliki dysków wirtualnych. W naszym przypadku jest to folder współdzielony, w którym przechowywane są dwa pliki dysków wirtualnych w formacie VMware ESXi:

Ubuntu-physical-machine_Disk1_Wed–29-Jan-2020-at-10-17-30-(UTC-+00-00).vmdk

Ubuntu-physical-machine_Disk1_Wed–29-Jan-2020-at-10-17-30-(UTC-+00-00)-flat.vmdk

Format dysku wirtualnego ESXi wymaga dwóch plików — pliku deskryptora dysku (.vmdk ) oraz pliku zawierającego surowe dane (-flat.vmdk ). Nazwy wyeksportowanych plików zawierają nazwę maszyny fizycznej zdefiniowanej w Inventory, numer dysku oraz dzień tygodnia, datę, godzinę i strefę czasową.

Converted virtual disks have been exported to SMB share

Dla wygody zmieńmy nazwy plików dysków wirtualnych na krótsze przed przesłaniem ich do magazynu danych podłączonego do hosta ESXi.

Physical_Linux_Recovered.vmdk

Physical_Linux_Recovered-flat.vmdk

The renamed virtual disk files

Editing a virtual disk descriptor after renaming virtual disk files

Skopiuj pliki dysków wirtualnych do magazynu danych. W tym przykładzie do połączenia z vCenter i konfiguracji hosta ESXi zarządzanego przez vCenter używamy VMware vSphere Client.

W programie VMware vSphere Client przejdź do Datastores i wybierz magazyn danych podłączony do hosta ESXi, którego chcesz użyć do uruchomienia odzyskanego serwera Linux. W tym przykładzie nazwa wybranego magazynu danych to SSD2 . Następnie otwórz kartę Files i kliknij New Folder , aby utworzyć nowy katalog w wybranym magazynie danych.

Creating a new folder in the ESXi datastore to upload the exported VMware virtual disk files

Zdefiniuj nazwę nowego katalogu, na przykład Physical_Linux_recovered .

Creating a new folder in the ESXi datastore

Katalog Physical_Linux_Recovered zostanie utworzony w magazynie danych SSD2 .

Otwórz utworzony katalog, kliknij Upload Files, i wybierz dwa wyeksportowane i przemianowane pliki (.vmdk oraz -flat.vmdk ) do przesłania.

Uploading virtual disk files to the ESXi datastore (P2V converter)

Po przesłaniu dwóch plików (.vmdk oraz -flat.vmdk ) widoczny będzie tylko jeden plik dysku wirtualnego, mimo że magazyn danych zawiera dwa przesłane pliki. Można sprawdzić, czy istnieją dwa pliki, łącząc się z hostem ESXi przez SSH i sprawdzając zawartość katalogu, do którego zostały przesłane te pliki.

Virtual disk file is uploaded to the ESXi datastore

W konsoli widać dwa pliki dysku wirtualnego.

All necessary virtual disk files are uploaded to the ESXi datastore

Tworzenie nowej maszyny wirtualnej docelowej w ESXi

Teraz należy utworzyć nową maszynę wirtualną i skonfigurować ją tak, aby korzystała z wyeksportowanego dysku wirtualnego. W kliencie VMware vSphere Client przejdź do Hosty i klastry i wybierz host ESXi, do którego magazynu danych przesłałeś pliki wyeksportowanego dysku wirtualnego. Kliknij prawym przyciskiem myszy hosta ESXi i w menu kontekstowym wybierz opcję „ New Virtual Machine ”, aby utworzyć nową maszynę wirtualną.

Creating a new VM on the ESXi host to import the exported virtual disk to that VM

Otworzy się kreator nowej maszyny wirtualnej.

1. Select a creation type. Wybierz opcję „ ” „Utwórz nową maszynę wirtualną” . Kliknij przycisk „ Next ” na każdym etapie kreatora, aby kontynuować.

Creating a new virtual machine

2. Select a name and folder. Należy podać unikalną nazwę maszyny wirtualnej i wybrać lokalizację docelową. W tym przykładzie nazwa nowej maszyny wirtualnej to Physical_Liniux_Recovered , a nazwa docelowego centrum danych zarządzanego przez vCenter to PM .

Selecting VM name and folder (P2V converter)

3. Select a compute resource. Podczas tego kroku należy wybrać host ESXi, z którym połączony jest magazyn danych zawierający przesłane pliki dysków wirtualnych. Zasoby obliczeniowe tego hosta ESXi zostaną wykorzystane do uruchomienia maszyny wirtualnej. W tym przykładzie maszyna wirtualna jest tworzona na hoście ESXi o adresie IP 10.10.10.74 .

Selecting a compute resource for a new VM

4. Select storage. Wybierz magazyn danych, w którym umieściłeś pliki dysku wirtualnego wyeksportowane w celu odtworzenia fizycznego serwera Linux na maszynie wirtualnej VMware. W tym przykładzie pliki te są przechowywane w magazynie danych SSD2 i ten magazyn danych jest wybrany.

Selecting storage for a new VM (P2V converter)

5. Select compatibility. Wybierz zgodność sprzętową maszyny wirtualnej (wersja sprzętowa VM). Jeśli planujesz migrację maszyny wirtualnej na inne hosty ESXi starszych wersji, wybierz w tym kroku najniższą wersję ESXi. ESXi 6.5 i nowsze jest w naszym przypadku zaznaczone.

Selecting compatibility for the new VM

6. Select a guest OS. Wybierz rodzinę i wersję systemu operacyjnego gościa (OS). Ponieważ dostępny jest dysk wirtualny z zainstalowaną maszyną Linux (Ubuntu 18 x64), musimy wybrać Linux i Ubuntu Linux (64-bit).

Selecting a guest OS family and version

7. Customize hardware. Jest to najciekawszy krok w kreatorze nowej maszyny wirtualnej, niezbędny do zaimportowania wyeksportowanego dysku wirtualnego z wykonanej kopii zapasowej fizycznego serwera Linux. Domyślnie kreator sugeruje utworzenie nowego, pustego dysku wirtualnego. Wybierz ten dysk wirtualny i kliknij ikonę „x” przy opcji „ ” ( ) (zaznaczoną na zrzucie ekranu poniżej).

Customizing VM hardware to import the exported virtual disk for P2V recovery

Następnie kliknij przycisk „ Add New Device ” i wybierz opcję „ Existing Hard Disk”.

Adding the existing virtual disk

W wyskakującym okienku „ ” ( ) wybierz katalog, do którego przesłałeś pliki wyeksportowanego dysku wirtualnego, a następnie wybierz plik dysku wirtualnego. W naszym przypadku plik danych dysku wirtualnego (-flat.vmdk ) oraz plik deskryptora dysku wirtualnego (.vmdk ) są przechowywane w SSD2 magazynie danych w katalogu Physical_Linux_recovered . Jak wspomniano powyżej, do magazynu danych przesłano dwa pliki dysku wirtualnego, ale w VMware vSphere Client wyświetlany jest tylko jeden. Kliknij OK , aby zatwierdzić wybór pliku.

Selecting the exported virtual disk

Teraz widać, że wyeksportowany dysk wirtualny został dodany do sprzętu wirtualnego nowej maszyny wirtualnej.

The exported virtual disk has been added to the new VM for P2V recovery (P2V converter)

8. Ready to complete. Sprawdź podsumowanie konfiguracji nowej maszyny wirtualnej i kliknij Finish , aby zakończyć tworzenie nowej maszyny wirtualnej.

Ready to complete the VM creation

Przejdź do Hosts and Clusters, wybierz właśnie utworzoną maszynę wirtualną na odpowiednim hoście ESXi ( Physical_Linux_Recovered na 10.10.10.74 ), a następnie kliknij Actions > Power > Power On , aby uruchomić maszynę wirtualną.

Powering on the VMware VM after conversion

Po uruchomieniu maszyny wirtualnej nie zapomnij zainstalować Narzędzia VMware. Teraz fizyczny serwer Linux został przywrócony do maszyny wirtualnej VMware z wykonanej kopii zapasowej przy użyciu NAKIVO Backup & Replication. Na poniższym zrzucie ekranu widać, że konwersja Linux P2V (odzyskiwanie P2V) została pomyślnie zakończona.

The Ubuntu Linux VM is running after conversion from a physical machine

Wnioski

Odzyskiwanie maszyn fizycznych do maszyn wirtualnych może być przydatne w niektórych przypadkach użycia i pomóc w skróceniu przestojów. NAKIVO Backup & Replication to uniwersalne rozwiązanie do ochrony danych, które zapewnia ulepszone wsparcie dla maszyn fizycznych, umożliwiające wykonanie kopii zapasowej i odzyskiwanie fizycznych serwerów z systemem Linux i Windows, a także stacji roboczych z systemem Windows. NAKIVO Backup & Replication z funkcjami tworzenia kopii zapasowych maszyn fizycznych oraz Eksport kopii zapasowej może służyć jako konwerter P2V bez konieczności pobierania żadnego innego oprogramowania do konwersji P2V.

W ten sposób można przekonwertować maszynę fizyczną na maszynę wirtualną za pomocą NAKIVO Backup & Replication po wykonaniu kopii zapasowej. Wystarczy po konwersji zaimportować dysk wirtualny do nowej maszyny wirtualnej. W tym wpisie na blogu wykorzystano przykład ilustrujący konwersję fizycznego serwera z systemem Linux na maszynę wirtualną VMware ESXi, pokazując, że jest to prosty proces.

NAKIVO do tworzenia kopii zapasowej Hyper-V

NAKIVO do tworzenia kopii zapasowej Hyper-V

Kopie zapasowe bezagentowe spójne z aplikacją dla Hyper-V. Ochrona przed oprogramowaniem wymuszającym okup, natychmiastowe uruchamianie maszyn wirtualnych z kopii zapasowej, wsparcie dla innych platform wirtualnych i fizycznych oraz wiele innych funkcji.

People also read