Wykorzystanie usług Amazon S3 i AWS EC2 jako chmurowej przestrzeni dyskowej do tworzenia kopii zapasowych
Amazon oferuje usługi obliczeniowe i pamięci masowej w chmurze. Do przechowywania kopii zapasowych w chmurze i zapewnienia ochrony danych można wykorzystać różne usługi AWS, w tym Amazon EC2 i Amazon S3. Usługi te różnią się jednak pod względem sposobu działania oraz tego, jakie dane kopii zapasowych mogą przechowywać i w jaki sposób.
W tym wpisie na blogu wyjaśniono, w jaki sposób woluminy EBS podłączone do instancji Amazon EC2 oraz Amazon S3 mogą służyć do przechowywania danych kopii zapasowych.
Uwaga: Ten wpis nie stanowi pełnego porównania usług EC2 i S3, ponieważ EC2 jest platformą przetwarzania w chmurze służącą do uruchamiania obciążeń w chmurze. Skupia się on natomiast na usłudze Elastic Block Storage (EBS) wykorzystywanej do przechowywania danych EC2 i porównuje ją z usługą S3.
Dlaczego warto korzystać z AWS do tworzenia kopii zapasowych danych
Zgodnie z wytycznymi Zasada tworzenia kopii zapasowej 3-2-1należy przechowywać co najmniej trzy kopie danych krytycznych, z których jedna powinna znajdować się zdalnie. Magazyn-chmura, w tym Amazon S3 oraz woluminy EBS w instancjach Amazon EC2, może służyć jako zdalna lokalizacja do przechowywania kopii zapasowych. Ale jak i kiedy z nich korzystać? Zacznijmy od omówienia możliwości tych dwóch usług AWS.
- Instancje Amazon EC2 (Elastic Cloud Computing) to maszyny wirtualne działające w chmurze AWS na serwerach AWS i w centrach danych AWS. Kontener, w którym przechowywane są dane instancji, nazywa się woluminem EBS (Elastic Block Storage) i jest odpowiednikiem dysku wirtualnego.
Woluminy EBS są klasyfikowane jako pamięć blokowa, ponieważ podstawową jednostką przechowywania danych jest blok. Woluminy EBS są podłączone do instancji i przechowują podstawowe dane tych instancji. W przypadku woluminów EBS można wybierać między dyskami twardymi (HDD) a dyskami półprzewodnikowymi (SSD).
- Amazon S3 (Simple Storage Service) to usługa przechowywania obiektów AWS. Pojemnik używany do przechowywania danych nazywa się bucketem. Dane są przechowywane w bucketach jako obiekty, a nie jako bloki. Przechowywanie oparte na obiektach umożliwia stosowanie przechowywania wersji, co jest przydatną funkcją przy Odzyskiwaniu danych.
Wykorzystanie Amazon EC2 do odzyskiwania obciążeń
Instancje Amazon EC2 mogą służyć do odzyskiwania w chmurze lokalnych maszyn wirtualnych, gdy lokalne centrum danych produkcyjne staje się niedostępne. Aby być przygotowanym na taki scenariusz, należy przenieść lokalne obciążenia do chmury przy użyciu kopii zapasowych lub replik w ramach plan odzyskiwania awaryjnego.
W przypadku awarii replikacja do EC2 jest lepszym rozwiązaniem niż kopie zapasowe. Wznowienie działania aplikacji i serwerów przy użyciu replik wymaga mniej czasu niż przy użyciu kopii zapasowych (czyli mniejszy RTO). Na przykład można replikować bazy danych lokalnie na serwerach lub w maszynach wirtualnych do instancji EC2 i wykonać niemal natychmiastowe Tryb failover gdy jest to potrzebne aby podnieść się po katastrofie.
Woluminy EBS używane przez instancje EC2 zapewniają szybką pamięć blokową. Poniżej przedstawiono kilka zalet i wad korzystania z woluminów EBS do tworzenia kopii zapasowych i przywracania danych.
- Zalety : EBS może być wykorzystywany do obsługi obciążeń wymagających wysokiej wydajności. Dane można kopiować z dużą prędkością z jednego woluminu EBS na drugi. W przypadku instancji EC2 można również osiągnąć lepszą wydajność bazy danych przy użyciu woluminów EBS niż w przypadku magazynu Amazon S3.
Jeśli konieczne jest przesyłanie danych lokalnie, a prędkość połączenia internetowego stanowi wąskie gardło, w takim przypadku bardziej racjonalnym rozwiązaniem może być skorzystanie z usługi Amazon S3.
- Wady : Z wyjątkiem wykorzystania woluminów EBS do tworzenia kopii zapasowych innych woluminów EBS, EBS jest zbyt kosztownym rozwiązaniem jako miejsce docelowe do wykonania kopii zapasowej, zwłaszcza w przypadku obciążeń innych niż instancje EC2.
Ochrona danych instancji EC2 w AWS
Instancje Amazon EC2 i podłączone do nich woluminy EBS nie są automatycznie wykonywane na nich kopie zapasowe w AWS. Dane są replikowane wyłącznie między serwerami w tej samej strefie dostępności w centrach danych Amazon w celu zapewnienia nadmiarowości centrum danych na wypadek awarii dysku lub serwera (awarii sprzętu).
Chociaż funkcja wykonania kopii zapasowej nie jest dostępna, AWS zapewnia trzy natywne metody ochrony danych w instancjach EC2:
- Tworzenie migawek EBS. Jest to łatwy sposób na tworzenie punktów odzyskiwania dla woluminów EBS (w tym dla zaszyfrowanych woluminów EBS). Migawki można wykorzystać do przywrócenia danych na nowych woluminach EBS. W przypadku korzystania z menedżerów woluminów logicznych, takich jak LVM lub mdadm , warto rozważyć wykonanie kopii zapasowej na poziomie menedżera woluminów zamiast korzystania z migawek EBS, aby zachować spójność danych i zgodność woluminów podkomponentów. Należy pamiętać, że podczas przywracania woluminów EBS przy użyciu migawek, woluminy te muszą być zamontowane na przygotowanej instancji EC2.
- Tworzenie obrazu Amazon Machine Image (AMI). AMI to obraz zawierający system operacyjny, wszystkie ustawienia konfiguracyjne oraz dane niezbędne do uruchomienia instancji EC2. Korzystając z AMI, można utworzyć nową instancję EC2 na podstawie tego obrazu. Podejście to służy do odzyskiwania instancji EC2 oraz ich klonowania. Należy pamiętać, że najpierw należy zatrzymać uruchomioną instancję EC2, a następnie utworzyć nowy obraz AMI.
Zaletą tej metody w porównaniu z wykorzystaniem migawek woluminów EBS jest to, że przywracana jest cała instancja EC2, a nie tylko woluminy EBS (które po zakończeniu procesu przywracania należy ręcznie zamontować do utworzonej instancji EC2). Konfiguracja obrazów AMI do wykorzystania w procesie odzyskiwania zajmuje więcej czasu, ale sprawdza się dobrze pod względem odzyskiwania i skalowalności.
- Kopiowanie instancji EC2 do S3. Kopiowanie danych przechowywanych na woluminach EBS do zasobników Amazon S3 jest alternatywną metodą ochrony danych w instancjach EC2. Ponieważ Amazon S3 jest pamięcią obiektową, a Amazon EBS pamięcią blokową, do odczytu i zapisu plików w zasobnikach S3 niezbędny jest system plików FUSE (filesystem in userspace). System FUSE można zainstalować w systemie operacyjnym działającym na instancji EC2, maszynie wirtualnej lub komputerze fizycznym w celu uzyskania dostępu do zasobników Amazon S3.
Jednak jeśli chodzi o spójność danych, kopiowanie plików używanych przez aplikacje (takich jak bazy danych) do S3 może spowodować uszkodzenie danych.
Wykorzystanie Amazon S3 do Odzyskiwania danych
Amazon S3 udostępnia funkcję przechowywania wersji obiektów przechowywanych w zasobnikach. Domyślnie przechowywanie wersji jest wyłączone w Amazon S3, ale można łatwo włączyć tę funkcję. Gdy przechowywanie wersji jest włączone, poprzednie wersje obiektów są zachowywane po zapisaniu w nich zmian. Zmiany są zapisywane jako nowa wersja obiektu, a usunięte obiekty nie są trwale usuwane.
Korzystanie z Amazon S3 do przechowywania wersji ma swoje zalety i wady.
- Zalety : Amazon S3 oferuje różne klasy magazynów w różnych przedziałach cenowych w zależności od częstotliwości dostępu do danych i czasu ich pobierania. Amazon zapewnia również elastyczną politykę cenową dotyczącą korzystania z magazynu Amazon S3, co sprawia, że S3 jest przystępny cenowo dla wielu użytkowników. Dowiedz się więcej o Amazon S3, aby poznać Jak działa AWS S3.
Amazon S3 obsługuje również blokadę obiektów, aby zapewnić niezmienność magazynu i chronić obiekty przed niepożądanymi zmianami lub usunięciem. Ta konfiguracja magazynu jest również nazywana zapisuj raz, czytaj wielokrotnie (WORM).
- Wady : Jeśli nie chcesz kopiować plików ręcznie za pomocą interfejsu internetowego AWS, potrzebne są specjalne narzędzia. Ponadto AWS pobiera opłaty za transfer danych wychodzących z Amazon S3 (opłaty te zależą od ilości danych przesyłanych z AWS oraz wykorzystanej usługi obsługi warstw).
Przykłady przypadków użycia ochrony danych w Amazon S3
Istnieje wiele przypadków użycia wykorzystujących Amazon S3 jako miejsce docelowe dla kopii zapasowych. Rozważ wybór tego typu magazynu w następujących przypadkach:
- Kopie danych przechowywanych na woluminach EBS. Jak wspomniano powyżej, woluminy EBS używane przez instancje EC2 można skopiować do magazynu Amazon S3.
- Kopiowanie danych między zasobnikami S3.
- Kopie zapasowe danych przechowywanych na komputerach fizycznych i maszynach wirtualnych działających lokalnie.
Jak chronić dane w Amazon S3
Do ochrony danych w Amazon S3 przed utratą można wykorzystać różne narzędzia AWS. Włącz i skonfiguruj przechowywanie wersji obiektów, aby przechowywać różne wersje obiektów w zasobnikach S3 na potrzeby odzyskiwania danych, a następnie zapoznaj się z dostępnymi narzędziami poniżej:
-
Narzędzia wiersza poleceń . Kopiuj obiekty z jednego zasobnika S3 do drugiego za pomocą AWS SDK lub inne narzędzia. Można również skorzystać z innych popularnych narzędzi wiersza poleceń dla systemów Linux i Windows, takich jak
s3cmd,s4cmdorazAWS CLI. Zainstaluj jedno z tych narzędzi, aby przesyłać dane do i z zasobników S3. Można również używać tych narzędzi wiersza poleceń do kopiowania danych między zasobnikami w celach odzyskiwania.Korzystanie ze skryptów do tworzenia kopii zapasowych w S3 jest powszechnym podejściem, ale wymaga dużego nakładu pracy. Podejście to ma zastosowanie do tworzenia kopii zapasowych danych z zasobników S3, instancji EC2 oraz maszyn fizycznych i wirtualnych.
- Zalety Narzędzia CLI i skrypty są dostępne za darmo.
- Wady Konfiguracja kopiowania danych przy użyciu skryptów jest skomplikowana. Ponadto przed rozpoczęciem procesu kopiowania należy zatrzymać działające aplikacje i wyłączyć funkcje takie jak migawki woluminów w systemach operacyjnych, aby zachować spójność danych.
- AWS Storage Gateway . Za pomocą AWS Storage Gateway można przesyłać dane lokalnie z maszyn fizycznych i wirtualnych do zasobników Amazon S3.
AWS Storage Gateway to hybrydowa usługa pamięci masowej wdrażana jako maszyna wirtualna, która zapewnia opcje buforowania w celu szybszego dostępu do plików. Istnieją trzy rodzaje AWS Storage Gateway: brama plików, brama woluminów i brama taśmowa.
Po wdrażaniu bramy pamięci masowej można korzystać ze standardowych protokołów udostępniania, takich jak SMB, NFS i iSCSI, w celu uzyskania dostępu do pamięci masowej Amazon S3. AWS Storage Gateway jest udostępniana jako urządzenie wirtualne dla VMware vSphere i platform Hyper-V i można ją pobrać bezpłatnie, jeśli posiadasz plan subskrypcyjny umożliwiający korzystanie z Amazon S3.
Rozwiązania do bezpośredniego tworzenia kopii zapasowych danych w AWS
Bardziej wydajnym i niezawodnym sposobem ochrony danych w AWS jest wdrażanie zewnętrznego rozwiązania do ochrony danych, które oferuje integrację z AWS, takiego jak NAKIVO Backup & Replication. Rozwiązanie NAKIVO to uniwersalne rozwiązanie do ochrony danych, które obsługuje:
- Kopię zapasową Amazon EC2 . Spójne kopie zapasowe i odzyskiwanie instancji EC2 (do EBS i usługi Amazon S3). Nie musisz ręcznie tworzyć i konfigurować nowych instancji EC2 ani montować odzyskanych woluminów EBS. Możesz rozpocząć odzyskiwanie plików i obiektów aplikacji, gdy tylko ich potrzebujesz.
- Replikacja wystąpienia Amazon EC2 . Twórz repliki ważnych instancji EC2 w AWS i korzystaj z replik EC2 zgodnie ze scenariuszami odzyskiwania danych oraz planami odzyskiwania awaryjnego, zapewniając wysoki wskaźnik RTO.
- Kopia zapasowa do usługi Amazon S3 . Twórz kopie zapasowe maszyn wirtualnych Microsoft Hyper-V i VMware vSphere, fizycznych komputerów z systemem Windows i Linux oraz instancji EC2 do zasobników Amazon S3. Obsługiwane jest bezpośrednie tworzenie kopii zapasowych do zasobników Amazon S3 bez konieczności wdrażania AWS Storage Gateway. W zasobniku S3 tworzone jest specjalne repozytorium kopii zapasowych Amazon S3.
- Kopia zapasowa do usługi Amazon S3 . Można utworzyć repozytorium kopii zapasowych na instancji EC2, skonfigurować połączenie sieciowe między centrum danych a siecią używaną przez instancje EC2 oraz wykonać kopię zapasową danych na instancji EC2.
NAKIVO Backup & Replication zapewnia zestaw przydatnych funkcji, które sprawiają, że konfiguracja kopii zapasowej w AWS jest szybsza, wygodniejsza i bardziej niezawodna. Funkcje te obejmują:
- Pamięć masowa Amazon S3 z wsparciem dla niezmienności może służyć jako miejsce docelowe kopii zapasowej w celu ochrony przed niepożądanymi zmianami danych, zarówno przypadkowymi, jak i spowodowanymi przez oprogramowanie ransomware.
- Odzyskiwanie lokacji umożliwia automatyzację i orkiestrację procesów odzyskiwania awaryjnego dla instancji EC2 i innych środowisk wirtualnych w zależności od zdefiniowanych warunków i działań. Złożone scenariusze odzyskiwania awaryjnego można łatwo wdrożyć dzięki funkcji Odzyskiwanie lokacji.
- Planowanie zadań . Zadania tworzenia kopii zapasowych można zaplanować tak, aby były wykonywane automatycznie. Elastyczne ustawienia blokady pozwala zachować wiele punktów odzyskiwania dla różnych przypadków odzyskiwania.
- Tworzenie kopii zapasowej spójnej z aplikacją jest ważne dla spójności danych. NAKIVO Backup & Replication wykorzystuje funkcje takie jak VSS (Volume Shadow Copy) na komputerach z systemem Windows, aby zachować spójność danych, gdy aplikacje (na przykład serwer bazy danych, Active Directory serwer itp.) wykonują operacje zapisu do plików.
