Come funziona Amazon Storage Gateway: guida completa
Amazon Web Services (AWS) è utilizzato da molti utenti e organizzazioni grazie alla sua scalabilità, affidabilità e altri vantaggi. Quando si migrano i dati sul cloud AWS, è necessario tenere conto di alcune funzioni. Per impostazione predefinita, Amazon fornisce l’interfaccia web per la gestione dell’ambiente cloud e il caricamento/scaricamento dei file. Tuttavia, l’utilizzo dell’interfaccia web per il caricamento regolare di grandi quantità di dati può risultare scomodo. Se si utilizza Amazon S3 come storage sul cloud per i propri dati, è possibile montare un bucket S3 come disco di rete nel tuo sistema operativo.
Il montaggio di un bucket come disco può semplificare notevolmente la copia dei file sul cloud Amazon. Questa soluzione è adatta per piccole aziende e utenti singoli, ma se si intende utilizzare l’storage sul cloud Amazon per ambienti aziendali di grandi dimensioni, è necessaria una soluzione più scalabile. Un altro aspetto da considerare è che ricostruire un’intera infrastruttura non è un processo facile se la maggior parte dei processi è correlata ai server fisici nei data center della propria azienda. Fortunatamente, Amazon fornisce uno strumento speciale che consente di utilizzare la propria infrastruttura fisica tradizionale per copiare i dati sul cloud Amazon o da esso. Questo strumento si chiama AWS Storage Gateway e questo post del blog spiega come utilizzare e configurare Amazon Storage Gateway.
Che cos’è AWS Storage Gateway?
AWS Storage Gateway è una soluzione speciale che funge da ponte tra le macchine fisiche o VM tradizionali e lo storage sul cloud in AWS. Fornisce una perfetta integrazione tra gli ambienti on-premise e cloud. AWS Storage Gateway fornisce accesso illimitato allo storage Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive e Amazon EBS (Elastic Block Storage). Questo concetto di integrazione tra storage on-premise e storage sul cloud può anche essere definito storage ibrido. Per Amazon Storage Gateway è obbligatoria una connessione Internet, poiché deve essere stabilita una connessione ai server AWS.
Tipi di Storage Gateway
Esistono tre tipi di gateway di storage AWS: gateway file, gateway volume e gateway nastro.
Gateway file. Questo tipo di gateway di archiviazione consente di accedere ai file archiviati come oggetti in un bucket Amazon S3 utilizzando SMB (versioni 2 e 3 del protocollo CIFS) e condivisioni NFS (versioni 3 e 4.1 del protocollo).. È necessario configurare un punto di montaggio SMB (Server Message Block) o NFS (Network File System) nel sistema operativo per poter accedere ai file/oggetti in un bucket S3.
Il gateway file supporta le seguenti classi di storage Amazon S3: S3 Standard, S3 Standard-Infrequent Access (IA) e S3 One Zone-IA. È supportato il controllo delle versioni: è possibile modificare, eliminare e rinominare i file accedendovi tramite i protocolli NFS o SMB e ogni modifica apportata ai file viene memorizzata come nuova versione in un bucket S3. Il vantaggio principale dell’utilizzo del controllo delle versioni per la condivisione file (oggetti) è rappresentato dalle funzionalità di ripristino estese. Oltre al controllo delle versioni, è possibile abilitare la gestione del ciclo di vita e la replica tra regioni per gli oggetti archiviati in Amazon S3.
È possibile effettuare l’implementazione di una VM Storage Gateway sul server 1 del data center 1 e di una VM Storage Gateway sul server 2 del data center 2. Se entrambi i gateway sono connessi allo stesso bucket ed entrambi i server sono connessi allo storage gateway appropriato, è possibile caricare un file sul bucket S3 dal server 1 e visualizzare quel file sul server 2 utilizzando la condivisione NFS o SMB. Ciò è possibile grazie all’API RefreshCache che avvia un nuovo inventario su File Gateway 2.
Volume Gateway consente ai server e alle applicazioni on-premise di connettersi allo storage a blocchi AWS (volumi EBS) nel cloud utilizzando il protocollo iSCSI (Internet Small Computer Systems Interface). Mentre SMB e NFS utilizzati da un gateway file sono protocolli di condivisione a livello di file, iSCSI funziona a livello di blocco. Esistono due tipi di Volume Gateway: volumi archiviati e volumi memorizzati nella cache.
Volumi archiviati. L’archiviazione locale, come un disco rigido su un server fisico o un disco virtuale di una VM, viene utilizzata come storage dati principale. Il backup asincrono viene eseguito in Amazon S3 come snapshot EBS. È possibile accedere all’archiviazione con bassa latenza quando si utilizzano i volumi archiviati. La dimensione dei volumi archiviati può essere compresa tra 1 TB e 16 TB. Un volume archiviato viene montato come dispositivo iSCSI.
Volumi memorizzati nella cache (Gateway con cache). I dati utilizzati di frequente vengono archiviati nei volumi EBS, mentre quelli utilizzati di rado vengono migrati su Amazon S3. Questo approccio è più conveniente dal punto di vista economico, poiché il prezzo per l’utilizzo dei bucket Amazon S3 è inferiore a quello per l’utilizzo dei volumi EBS. La dimensione massima di un volume può essere di 32 TB. Un volume viene montato come dispositivo iSCSI.
Quando si utilizza un gateway volume per l’archiviazione a blocchi, i volumi possono essere collegati o scollegati dal Volume Gateway. Questa funzione consente di migrare i volumi tra i gateway per effettuare l’upgrade dell’hardware di storage sui server locali (on-premise), ad esempio.
Tape Gateway viene utilizzato per eseguire il backup dei dati per l’archiviazione a lungo termine su Amazon Glacier e per archiviare tali dati su nastri virtuali. Infatti, i dati vengono archiviati in Amazon S3 Glacier o Amazon S3 Glacier Deep Archive. In questo caso, l’interfaccia fisica utilizzata per scrivere i dati sui nastri collegando unità nastro e librerie su nastro viene sostituita con un’interfaccia Tape Gateway Library compatibile che consente di archiviare i dati nel cloud Amazon. Il protocollo iSCSI viene utilizzato per collegare i dispositivi di backup esistenti al Tape Gateway. È possibile conservare la configurazione e il flusso di lavoro di backup esistenti. È possibile salvare i dati nel cloud direttamente tramite il Tape Gateway o utilizzando applicazioni specializzate per il backup dei dati.
I Tape Gateway possono essere utilizzati per eseguire il backup dei dati senza apportare modifiche significative alla configurazione di backup esistente o in alternativa alle unità nastro e alle librerie su nastro (che non sono convenienti dal punto di vista economico).
Piattaforme host supportate
AWS Storage Gateway è fornito come virtual appliance (immagine/modello di VM) che può essere implementata su diverse piattaforme.
Le piattaforme di virtualizzazione host supportate sono:
- VMware ESXi
- Hyper-V (2012 R2 o versioni successive)
- Linux KVM
- Amazon EC2
Tuttavia, esiste anche un dispositivo hardware che può essere utilizzato se un’organizzazione non dispone di hypervisor nella propria Infrastruttura. È possibile acquistare l’appliance Amazon Storage Gateway sul sito web di Amazon e verrà consegnato al cliente.
Prezzi
Il criterio dei prezzi di Amazon per i servizi cloud forniti è quello di pagare solo ciò che si utilizza. Amazon Storage Gateway non fa eccezione. Il costo dipende dal tipo di storage (Amazon S3 o EBS) e dalla regione AWS. Se si archiviano dati in Amazon S3, il prezzo dipende dalla classe di storage S3 e dal numero di richieste. Il prezzo è calcolato per GB al mese. Se si archiviano i dati nei volumi EBS, gli snapshot vengono fatturati se vengono acquisiti. Per quanto riguarda Amazon Storage Gateway, viene addebitato l’utilizzo del gateway (per gateway al mese). È possibile verificare i prezzi effettivi sul sito web di Amazon in qualsiasi momento.
Vantaggi di AWS Storage Gateway
I principali vantaggi dell’utilizzo di Amazon Storage Gateway sono:
- Integrazione delle configurazioni hardware e software senza modifiche hardware.
- Possibilità di utilizzare lo storage on-premise e lo storage sul cloud in Amazon (il concetto di storage ibrido).
- Migrazione fluida da l’infrastruttura fisica al cloud AWS.
Come effettuare l’implementazione di AWS Storage Gateway?
Scopriamo come effettuare l’implementazione di AWS Storage Gateway per accedere ai file archiviati come oggetti in Amazon S3 collegandosi a un gateway file tramite NFS. È necessario disporre di un account AWS e di un host ESXi per eseguire la VM Storage Gateway.
Scarica l’immagine
Aprire l’interfaccia web della console AWS.
Fare clic su Servizi e selezionare Storage Gateway nella categoria Archiviazione .
Nella pagina Storage Gateway , fare clic su Crea gateway nel pannello di navigazione Gateway . In questa pagina è possibile trovare i gateway di storage creati in precedenza, se presenti.
Si apre la procedura guidata Crea gateway .
Seleziona il tipo di gateway. Seleziona Gateway file per archiviare i file come oggetti in Amazon S3. Fare clic su Avanti in ogni fase della procedura guidata per continuare.
Selezionare la piattaforma host. Sono disponibili cinque piattaforme host supportate per l’implementazione. Selezionare VMware ESXi e fare clic sul pulsante Scarica immagine .
Salva il file. Nel nostro caso il nome del file scaricato è aws-storage-gateway-latest.ova e salviamo questo file su D:virtual su un computer locale. Non chiudere la scheda corrente del browser con la procedura guidata Create gateway visualizzata nell’interfaccia web di AWS, perché in seguito sarà necessario continuare a configurare lo storage gateway da questo passaggio.
Implementazione dell’virtual appliance su un host ESXi
Ora è necessario eseguire l’implementazione del file di modello scaricato aws-storage-gateway-latest.ova su un host ESXi. Nel nostro esempio, gli host ESXi sono gestiti da vCenter e utilizzeremo l’interfaccia web di VMware vSphere Client per effettuare l’implementazione dell’appliance virtuale AWS Storage Gateway.
Connettiti al tuo vCenter, vai su Host e cluster e seleziona l’host VMware ESXi necessario che dispone di risorse libere sufficienti.
Requisiti: Il gateway file richiede 16 GB di RAM, 4 processori virtuali (vCPU), un disco virtuale da 80 GB e un disco virtuale aggiuntivo da 150 GB per la cache di storage.
Nel nostro esempio, selezioniamo l’host con indirizzo IP 10.10.10.90. Dopo aver selezionato l’host ESXi in VSphere Client, fare clic su Azioni > Distribuisci modello OVF.
Si apre la procedura guidata Distribuisci modello OVF.
1. Selezionare un modello OVF. Selezionare File locale e fare clic su Sfoglia per selezionare il file scaricato ova . In questo caso selezioniamo aws-storage-gateway-latest.ova in D:virtual. Premere Avanti ad ogni passaggio della procedura guidata per continuare.
2. Selezionare un nome e una cartella. Immettere un nome per la VM, ad esempio aws-storage-gateway e selezionare una ubicazione per la VM in vCenter.
3. Selezionare una risorsa di calcolo. Selezionare un host ESXi su cui verrà eseguita la VM Storage Gateway. In questo esempio selezioniamo 10.10.10.90 .
4. Rivedere i dettagli. Verifica e rivedere i dettagli del modello dell’virtual appliance AWS Storage Gateway che si sta per implementare.
5. Selezionare l’storage. Selezionare l’archivio dati con spazio libero sufficiente per archiviare i file del disco virtuale e altri file VM. Selezionare il formato del disco virtuale. Si consiglia di selezionare Thick Provisioned come formato del disco virtuale, poiché tutto lo spazio di storage necessario per il funzionamento di un disco virtuale viene allocato immediatamente. Per ulteriori informazioni sul provisioning thick e thin, consultare questo post del blog.
6. Selezionare le reti. Selezionare un vSwitch collegato a un router e che fornisce una connessione Internet. Dopo l’implementazione, un adattatore di rete virtuale della VM verrà collegato a questo vSwitch e alla rete appropriata.
7. Pronto per il completamento. Rivedere la configurazione della VM che verrà implementata da un modello e premere Termina per avviare la creazione della VM. Leggi il post sul blog relativo ai modelli di VM per scoprire di più.
Attendi fino a quando la VM Storage Gateway non viene implementata dal modello. È possibile visualizzare lo stato del processo nella barra degli strumenti Recent Tasks barra degli strumenti in vSphere Client.
Una volta completata l’implementazione della VM, è possibile visualizzare il nome della VM definito in precedenza nell’elenco delle VM dell’host ESXi appropriato (10.10.10.90 nel nostro caso).
Fare clic con il pulsante destro del mouse sulla VM (aws-storage-gateway è il nome della VM Storage Gateway distribuita dal modello in questo esempio) e nel menu contestuale selezionare Modifica impostazioni.
Ora è necessario aggiungere un nuovo disco rigido virtuale per la cache. Questo disco virtuale viene utilizzato per archiviare i file a cui si è acceduto di recente e quelli a cui si accede frequentemente, al fine di ridurre la latenza durante l’accesso a tali dati.
Nella scheda Hardware virtuale di Modifica impostazioni finestra clicca Aggiungi nuovo dispositivo e seleziona Disco rigido.
La dimensione minima consigliata per un disco rigido virtuale utilizzato per archiviare la cache da AWS Storage Gateway è di 150 GB. È necessario creare un disco virtuale con provisioning thick per la cache. Nella stringa Nuovo disco rigido digitare 150 GB. Nella stringa Provisioning del disco selezionare una delle opzioni Provisioning spesso opzioni. Premere OK per salvare le impostazioni e creare un disco virtuale.
Assicurarsi che l’ora sia impostata correttamente sulla VM Storage Gateway, sugli host ESXi e sui server vCenter. L’ora sulla VM deve essere sincronizzata per evitare problemi e garantire l’attivazione corretta del gateway.
Seleziona la tua aws-storage-gateway VM nell’elenco delle VM, fai clic su Modifica impostazioni. Nella schermata Modifica impostazioni schermata selezionare la scheda Opzioni VM , fare clic su Strumenti VMware per espandere le impostazioni e selezionare la casella di controllo “Sincronizza l’ora del guest con quella dell’host“. Premere OK per salvare le impostazioni.
Verifica della connettività di rete
Si consiglia di testare la connessione di rete di Amazon Storage Gateway in esecuzione come VM localmente con AWS Storage sul cloud.
Accendere la VM Storage Gateway.
Accedere alla VM AWS Appliance utilizzando le credenziali predefinite.
Nome utente: admin
Password: password
È possibile controllare l’indirizzo IP. Se nella rete è presente un server DHCP, la Configurazione IP viene ottenuta automaticamente. Si consiglia di impostare l’indirizzo IP statico per un utilizzo a lungo termine di Amazon Storage Gateway.
Se si desidera impostare l’indirizzo IP statico, premere 2:
2: Configurazione di rete
Quindi inserire 3:
3: Configurare l’IP statico
Seguire le raccomandazioni per impostare l’indirizzo IP statico.
Nel nostro esempio, l’indirizzo IP dell’appliance virtuale Storage Gateway è 192.168.17.122 e la netmask è 255.255.255.0.
Dopo aver configurato la Configurazione IP, è necessario verificare la connettività di rete.
Nel menu principale selezionare 3:
3: Testare la connettività di rete
Quindi selezionare 1:
1: Pubblico
Inserisci regione:
eu-west-1
Seleziona tipo di endpoint:
1: Standard
Nel nostro caso il test è stato superato, come si può vedere nella schermata qui sotto.
Creazione di un bucket
Prima di continuare, assicurati che sia stato creato un bucket in Amazon S3 per il tuo account. Puoi utilizzare questo link per creare un bucket. Il nome del bucket utilizzato in questa procedura guidata è blog-bucket01. Devi disporre di autorizzazioni sufficienti per il tuo account AWS. Se intendi utilizzare altre applicazioni per accedere al bucket, è necessario generare le chiavi di accesso AWS. È possibile ottenere l’ID della chiave di accesso AWS e una chiave di accesso segreta per il proprio account su questa pagina AWS.
Attivazione del gateway file
Ora devi definire l’indirizzo IP di Amazon Storage Gateway e attivare il gateway file.
Torna all’interfaccia web della console AWS. Come ricorderai, ci siamo fermati al secondo passaggio della procedura guidata Crea gateway. Se hai chiuso quella pagina, apri la console AWS, vai su Servizi > Storage Gateway, clicca su Crea gateway. Nel primo passaggio della procedura guidata (Seleziona il tipo di gateway) seleziona Gateway file. Questi passaggi sono spiegati all’inizio della procedura guidata e sono accompagnati da schermate.
Selezionare la Piattaforma host. Selezionare VMware ESXi e fare clic su Avanti.
Selezionare l’endpoint del servizio. Selezionare Pubblico come tipo di endpoint, quindi premere Avanti. L’accesso di rete del browser Web alla VM Storage Gateway alla porta TCP 80 deve essere consentito.
Controllare l’indirizzo IP della VM Gateway (VA). È possibile trovare l’indirizzo IP della VM nell’interfaccia di VMware vSphere Client selezionando la VM necessaria. In questo esempio, l’indirizzo IP interno della VM AWS Storage Gateway è 192.168.17.122.
Inserisci l’indirizzo IP della VM (l’appliance virtuale Storage Gateway), non l’IP esterno (WAN) del router.
Fare clic su Connetti il gateway.
Attivare il gateway. L’attivazione del gateway associa in modo sicuro il gateway all’account AWS.
Selezionare il fuso orario del gateway.
Inserisci il nome del gateway, ad esempio Storage Gateway AWS. Il nome può essere diverso dal nome della VM e dal nome DNS della VM (appliance). Ricorda che la porta TCP 80 deve essere aperta sulla VM del gateway.
Fare clic su Attivare il gateway e attendere fino a quando i dischi cache vengono identificati.
Configurare i dischi locali. Assicurarsi che il disco virtuale da 150 GB sia allocato alla cache. Quindi premere Configurare la registrazione.
Configurare la registrazione. La registrazione offre ulteriori funzionalità per la risoluzione dei problemi e il controllo. Selezionare Creare un nuovo gruppo di registri. Fare clic su Verifica VMware HA.
Fare clic su Verifica VMware HA se la VM Storage Gateway è in esecuzione nel cluster VMware High Availability. Abbiamo raggiunto Esci da poiché la virtual appliance Amazon Storage Gateway non è implementata nel cluster VMware HA nel nostro esempio.
Ora il File Gateway è stato creato correttamente ed è in esecuzione.
Creazione di una condivisione file
È ora di creare una condivisione file per connettersi a un bucket utilizzando i protocolli standard NFS o SMB (CIFS). Configuriamo la connessione a un bucket Amazon S3 tramite NFS.
Seleziona il tuo File Gateway e clicca su Crea condivisione file (vedi screenshot sopra).
Inserisci il nome del bucket S3. Il nome del bucket utilizzato in questo esempio è blog-bucket01.
Accedi agli oggetti utilizzando: Network File System (NFS).
Gateway: Selezionare S3 Storage Gateway di implementazione nell’elenco a discesa.
L’aggiunta di tag è facoltativa e può essere saltata. Premere Avanti per continuare.
Archiviazione. Configura come i file saranno archiviati in Amazon S3.
Nome bucket Amazon S3: blog-bucket01
Classe di storage per i nuovi oggetti: S3 Standard
Metadati oggetto: Indovina il tipo MIME e Concedi al proprietario del bucket il controllo completo le caselle di controllo devono essere selezionate.
Accesso al tuo bucket S3. Crea un nuovo ruolo IAM.
Crittografia: Chiavi gestite da S3 (SSE-S3).
Revisione. È possibile lasciare i valori predefiniti per il ruolo IAM e altri valori, ad eccezione dei seguenti.
Client consentiti: 0.0.0.0/0 – per impostazione predefinita è consentito l’accesso da qualsiasi indirizzo IP. Per motivi di sicurezza, si consiglia di definire indirizzi IP consentiti personalizzati.
Livello di compressione. Fare clic su Modifica in Opzioni di montaggio e seleziona Tutti gli squash per assicurarti che tutto funzioni correttamente.
Clicca su Crea condivisione file.
Se il pulsante Crea condivisione file non è attivo, fare clic su Precedente e quindi fare nuovamente clic su Avanti .
La condivisione file NFS viene creata sul gateway file. Nella parte inferiore della pagina Condivisione file è possibile vedere esempi di comandi che possono essere utilizzati per montare la condivisione file su Linux, Windows e macOS.
Connessione alla condivisione file
Creiamo una directory che verrà utilizzata come punto di montaggio su una macchina Linux (Ubuntu 18.04) e impostiamo le autorizzazioni necessarie. In questo esempio, il nome del nostro account utente Linux è user1.
mkdir /mnt/s3-gateway/
Impostare il proprietario e le autorizzazioni per la directory creata:
chown user1:user1 /mnt/s3-gateway
chmod 0775 /mnt/s3-gateway
Montare la condivisione NFS fornita da AWS Storage Gateway:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
Potrebbe verificarsi un errore:
mount: /mnt/s3-gateway: opzione non valida; per diversi file system (ad esempio nfs, cifs) potrebbe essere necessario un /sbin/mount.
In questo caso, provare a installare il pacchetto nfs-common
sudo apt install nfs-common
Quindi eseguire il comando:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
È possibile verificare se il bucket S3 (blog-bucket01) è montato come condivisione NFS fornita da AWS Storage Gateway su /mnt/s3/gateway/ con i comandi:
df -h
mount | grep gateway
ls -al /mnt/s3-gateway/
Come puoi vedere nella schermata qui sotto, il bucket è stato montato con successo.
Lo stesso contenuto del bucket viene visualizzato nell’interfaccia web di AWS. Puoi assicurarti che tutto funzioni correttamente e copiare un file nella console Linux nel bucket, quindi controllare il contenuto del bucket nell’interfaccia web di AWS.
È possibile configurare il montaggio automatico all’avvio di Linux modificando /etc/fstab.
Allo stesso modo, è possibile configurare una condivisione SMB (CIFS) su AWS Storage Gateway e montare tale condivisione in diversi sistemi operativi. Se si seleziona l’opzione SMB per un gateway di file, è possibile aggiungere AWS Storage Gateway a un dominio Active Directory.
Conclusione
Amazon Storage Gateway è una soluzione cloud ibrida che consente di utilizzare l’infrastruttura fisica e virtuale attuale con lo storage sul cloud Amazon senza modifiche significative alla configurazione hardware e software attuale. Vengono utilizzati protocolli di storage standard: SMB e NFS vengono utilizzati per fornire l’accesso ai file archiviati come oggetti in Amazon S3 a livello di file e l’accesso all’archiviazione a blocchi (volumi Amazon EBS) viene fornito utilizzando iSCSI. È possibile connettersi alle librerie nastro virtuali in Amazon S3 tramite iSCSI invece di utilizzare librerie nastro fisiche. Questo post del blog ha illustrato il principio di funzionamento di Amazon Storage Gateway e ha spiegato come è possibile effettuare l’implementazione di File Gateway su VMware ESXi e connettersi a un bucket Amazon S3 tramite File Gateway tramite NFS da Ubuntu Linux.
Amazon Storage Gateway può essere utilizzato per copiare manualmente i backup dei dati su AWS o con soluzioni di backup speciali che che funzionano con i protocolli NFS, SMB o iSCSI. NAKIVO Backup & Replication è una soluzione universale per la protezione dei dati che consente di eseguire il backup dei dati su Amazon S3 e Amazon EBS. NAKIVO Backup & Replication può eseguire il backup dei dati direttamente su Amazon S3 senza utilizzare AWS Storage Gateway.
