Come funziona Amazon Storage Gateway: guida completa
Amazon Web Services (AWS) è utilizzato da numerosi utenti e organizzazioni grazie alla sua scalabilità, affidabilità e ad altri vantaggi. Quando si migrano i dati sul cloud AWS, è necessario tenere conto di alcune funzioni. Per impostazione predefinita, Amazon fornisce un’interfaccia web per la gestione dell’ambiente cloud e per il caricamento e il download dei file. Tuttavia, l’utilizzo dell’interfaccia web per il caricamento regolare di grandi quantità di dati può risultare scomodo. Se si utilizza Amazon S3 come storage sul cloud per i propri dati, è possibile montare un bucket S3 come disco di rete nel proprio sistema operativo.
Il montaggio di un bucket come disco può semplificare notevolmente la copia dei file sul cloud di Amazon. Questa soluzione è adatta per piccole aziende e singoli utenti, ma se si intende utilizzare l’storage sul cloud di Amazon per grandi ambienti aziendali, è necessaria una soluzione più scalabile. Un altro aspetto da considerare è che ricostruire un’intera infrastruttura non è un processo semplice se la maggior parte dei processi è legata ai server fisici presenti nei data center della propria azienda. Fortunatamente, Amazon mette a disposizione uno strumento specifico che consente di utilizzare la propria infrastruttura fisica tradizionale per copiare dati verso il cloud di Amazon o dal cloud di Amazon. Questo strumento si chiama AWS Storage Gateway e questo articolo del blog spiega come utilizzare e configurare Amazon Storage Gateway.
Che cos’è AWS Storage Gateway?
AWS Storage Gateway è una soluzione specifica che funge da ponte tra le macchine fisiche o virtuali tradizionali e lo storage sul cloud su AWS. Garantisce un’integrazione perfetta tra gli ambienti on-premise e quelli cloud. AWS Storage Gateway offre accesso illimitato allo storage Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive e Amazon EBS (Elastic Block Storage). Questo concetto di integrazione tra storage on-premise e storage sul cloud può anche essere definito “storage ibrido”. Per Amazon Storage Gateway è obbligatoria una connessione a Internet, poiché deve essere stabilita una connessione ai server AWS.
Tipi di Storage Gateway
Esistono tre tipi di AWS Storage Gateway: File Gateway, Volume Gateway e Tape Gateway.
File Gateway. Questo tipo di Storage Gateway consente l’accesso ai file archiviati come oggetti in un bucket Amazon S3 tramite SMB (versioni 2 e 3 del protocollo CIFS) e condivisioni NFS (versioni 3 e 4.1 del protocollo). Nel sistema operativo è necessario configurare un punto di montaggio SMB (Server Message Block) o NFS (Network File System) da utilizzare per accedere ai file/oggetti in un bucket S3.
Il File Gateway supporta le seguenti classi di storage Amazon S3: S3 Standard, S3 Standard-Infrequent Access (IA) e S3 One Zone-IA. È supportato il controllo delle versioni: è possibile modificare, eliminare e rinominare i file accedendovi tramite i protocolli NFS o SMB e ogni modifica al file viene archiviata come nuova versione in un bucket S3. Il vantaggio principale dell’utilizzo del controllo delle versioni per la condivisione file (oggetti) è rappresentato dalle funzionalità di ripristino estese. Oltre al controllo delle versioni, è possibile abilitare la gestione del ciclo di vita e la replica interregionale per gli oggetti archiviati in Amazon S3.
È possibile implementare una VM Storage Gateway sul server 1 del data center 1 e una VM Storage Gateway sul server 2 del data center 2. Se entrambi i gateway sono collegati allo stesso bucket ed entrambi i server sono collegati al gateway di archiviazione appropriato, è possibile caricare un file nel bucket S3 dal server 1 e visualizzare quel file sul server 2 utilizzando la condivisione NFS o SMB. Ciò è possibile grazie alla chiamata all’API RefreshCache che avvia un nuovo inventario su File Gateway 2.
Volume Gateway consente ai server e alle applicazioni on-premise di connettersi allo storage a blocchi di AWS (volumi EBS) nel cloud utilizzando il protocollo iSCSI (Internet Small Computer Systems Interface). Mentre SMB e NFS utilizzati da un file gateway sono protocolli di condivisione a livello di file, iSCSI opera a livello di blocco. Esistono due tipi di Volume Gateway: i volumi archiviati (Stored Volumes) e i volumi in cache (Cached Volumes).
Volumi archiviati (Stored Volumes) . Lo spazio di archiviazione locale, come un disco rigido su un server fisico o un disco virtuale di un VM, viene utilizzato come archivio dati principale. Il backup asincrono viene eseguito in Amazon S3 sotto forma di snapshot EBS. Utilizzando i volumi archiviati è possibile accedere allo spazio di archiviazione con bassa latenza. La dimensione dei volumi archiviati può variare da 1 TB a 16 TB. Un volume archiviato viene montato come dispositivo iSCSI.
Volumi in cache (Cached Gateway). I dati a cui si accede frequentemente vengono archiviati in volumi EBS, mentre quelli utilizzati raramente vengono migrati su Amazon S3. Questo approccio è più conveniente in termini di costi, poiché il prezzo per l’utilizzo dei bucket Amazon S3 è inferiore a quello dei volumi EBS. La dimensione massima di un volume può essere di 32 TB. Un volume viene montato come dispositivo iSCSI.
Quando si utilizza un Volume Gateway per l’archiviazione a blocchi, i volumi possono essere collegati o scollegati dal Volume Gateway. Questa funzione consente di migrare i volumi tra i gateway, ad esempio per effettuare un upgrade dell’hardware di storage sui server on-premise.
Tape Gateway viene utilizzato per eseguire il backup dei dati in vista di un’archiviazione a lungo termine su Amazon Glacier e per memorizzare tali dati su nastri virtuali. In realtà, i dati vengono archiviati in Amazon S3 Glacier o Amazon S3 Glacier Deep Archive. In questo caso, l’interfaccia fisica utilizzata per scrivere i dati sui nastri tramite il collegamento di unità nastro e librerie su nastro viene sostituita da un’interfaccia Tape Gateway Library compatibile che consente di archiviare i dati nel cloud di Amazon. Il protocollo iSCSI viene utilizzato per collegare i dispositivi di backup esistenti al Tape Gateway. È possibile mantenere la configurazione e il flusso di lavoro di backup esistenti. È possibile salvare i dati sul cloud direttamente tramite il Tape Gateway o utilizzando applicazioni specializzate per il backup dei dati.
I Tape Gateway possono essere utilizzati per eseguire il backup dei dati senza apportare modifiche significative a una configurazione di backup esistente o come alternativa alle unità su nastro e alle librerie su nastro (che non sono convenienti dal punto di vista economico).
Piattaforme host supportate
AWS Storage Gateway è fornito come virtual appliance (un’immagine/modello di VM) che può essere implementata su diverse piattaforme.
Le piattaforme di virtualizzazione host supportate sono:
- VMware ESXi
- Hyper-V (2012 R2 o versioni successive)
- Linux KVM
- Amazon EC2
Tuttavia, è disponibile anche un’appliance hardware che può essere utilizzata se un’organizzazione non dispone di hypervisor nella propria infrastruttura. È possibile acquistare l’appliance hardware Amazon Storage Gateway sul sito web di Amazon, che verrà poi consegnata all’indirizzo indicato.
Prezzi
Il criterio tariffario di Amazon per i servizi cloud forniti prevede il pagamento in base al consumo effettivo. Amazon Storage Gateway non fa eccezione. L’addebito dipende dal tipo di storage – Amazon S3 o EBS – e dalla regione AWS. Se si archiviano dati su Amazon S3, il prezzo dipende dalla classe di storage S3 e dal numero di richieste. Il prezzo viene calcolato per GB al mese. Se si archiviano dati su volumi EBS, gli snapshot vengono fatturati se vengono creati. Per quanto riguarda Amazon Storage Gateway, viene addebitato il costo per l’utilizzo del gateway (per gateway al mese). È possibile verificare i prezzi effettivi su Sito web di Amazon in qualsiasi momento.
Vantaggi di AWS Storage Gateway
I principali vantaggi dell’utilizzo di Amazon Storage Gateway sono:
- Integrazione delle configurazioni hardware e software senza modifiche all’hardware.
- La possibilità di utilizzare lo storage on-premise e quello sul cloud su Amazon (il concetto di storage ibrido).
- Transizione fluida migrazione dall’infrastruttura fisica al cloud AWS.
Come implementare AWS Storage Gateway?
Scopriamo come implementare AWS Storage Gateway per accedere ai file archiviati come oggetti in Amazon S3 collegandosi a un file gateway tramite NFS. È necessario disporre di un account AWS e di un host ESXi per eseguire la VM Storage Gateway.
Scarica l’immagine
Aprire l’interfaccia web della console AWS.
Fare clic su Services e selezionare Storage Gateway nella categoria Storage .
Nella pagina Storage Gateway , fare clic sul pulsante Create Gateway nella sezione Gateways del riquadro di navigazione. In questa pagina è possibile trovare gli storage gateway creati in precedenza, se presenti.
Si apre la procedura guidata Create gateway .
Select gateway type. Selezionare File gateway per archiviare i file come oggetti in Amazon S3. Fare clic su Next in ogni fase della procedura guidata per continuare.
Select host platform. Sono disponibili cinque piattaforme host supportate per l’implementazione. Selezionare VMware ESXi e fare clic sul pulsante Download image .
Salvare il file. Nel nostro caso il nome del file scaricato è aws-storage-gateway-latest.ova e lo salviamo in D:virtual su una macchina locale. Non chiudere la scheda corrente del browser con la procedura guidata Crea gateway visualizzata nell’interfaccia web di AWS, poiché in seguito sarà necessario continuare a configurare lo storage gateway partendo da questo passaggio.
Distribuzione dell’virtual appliance su un host ESXi
Ora è necessario distribuire il file del modello scaricato aws-storage-gateway-latest.ova su un host ESXi. Nel nostro esempio, gli host ESXi sono gestiti da vCenter e utilizzeremo l’interfaccia web di VMware vSphere Client per effettuare l’implementazione dell’appliance virtuale AWS Storage Gateway.
Connettiti al tuo vCenter, vai su Hosts and Clusters e seleziona l’host ESXi necessario che disponga di risorse libere sufficienti.
Requisiti: Il File Gateway richiede 16 GB di RAM, 4 processori virtuali (vCPU), un disco virtuale da 80 GB e un disco virtuale aggiuntivo da 150 GB per la cache di storage.
Nel nostro esempio, selezioniamo l’host con indirizzo IP 10.10.10.90 . Dopo aver selezionato l’host ESXi in vSphere Client, fare clic su Actions > Deploy OVF Template.
Si apre la procedura guidata “Deploy OVF Template”.
1. Select an OVF template. Selezionare Local file e fare clic su Browse per selezionare il file ova scaricato. In questo caso selezioniamo aws-storage-gateway-latest.ova in D:virtual . Fare clic su Next in ogni fase della procedura guidata per continuare.
2. Select a name and folder. Immettere un nome per la VM, ad esempio aws-storage-gateway e selezionare una posizione per la VM in vCenter.
3. Select a compute resource. Selezionare un host ESXi su cui verrà eseguita la VM Storage Gateway. In questo esempio selezioniamo 10.10.10.90 .
4. Review details. Verifica e controlla i dettagli del modello dell’virtual appliance AWS Storage Gateway che stai per implementare.
5. Select storage. Seleziona il data store con spazio libero sufficiente per archiviare i file del disco virtuale e altri file della macchina virtuale. Seleziona il formato del disco virtuale. Si consiglia di selezionare Thick Provisioned come formato del disco virtuale, poiché tutto lo spazio di archiviazione necessario per la funzionalità del disco virtuale viene allocato immediatamente. Per ulteriori informazioni sul thick provisioning e sul thin provisioning, consultare questo post del blog.
6. Select networks. Selezionare un vSwitch collegato a un router e che fornisca una connessione a Internet. Dopo l’implementazione, un adattatore di rete virtuale della VM verrà collegato a questo vSwitch e alla rete appropriata.
7. Ready to complete. Verificare la configurazione della VM che verrà distribuita dal modello e fare clic su Finish per avviare la creazione della VM. Per ulteriori informazioni, leggere il post del blog su Modelli VM .
Attendere che la VM Storage Gateway venga implementata dal modello. È possibile visualizzare lo stato del processo nella barra degli strumenti Attività recenti in vSphere Client.
Una volta implementata la VM, è possibile visualizzare il nome della VM definito in precedenza nell’elenco delle VM dell’host ESXi appropriato ( 10.10.10.90 nel nostro caso).
Fare clic con il tasto destro sulla macchina virtuale ( aws-storage-gateway è il nome della macchina virtuale Storage Gateway distribuita dal modello in questo esempio) e nel menu contestuale selezionare Edit Settings. 
Ora è necessario aggiungere un nuovo disco rigido virtuale per la cache. Questo disco virtuale viene utilizzato per memorizzare i file a cui si è acceduto di recente e quelli a cui si accede frequentemente, al fine di ridurre la latenza durante l’accesso a tali dati.
Nella scheda Hardware virtuale della finestra Modifica impostazioni fare clic su Add new device e selezionare Hard disk.
La dimensione minima consigliata per un disco rigido virtuale utilizzato da AWS Storage Gateway per memorizzare la cache è di 150 GB. È necessario creare un disco virtuale con allocazione “Thick Provisioned” per la cache. Nel campo “New Hard disk” digitare 150 GB. Nel campo “Disk Provisioning” selezionare una delle opzioni Thick Provisioning . Fare clic su OK per salvare le impostazioni e creare un disco virtuale.
Assicurarsi che l’ora sia impostata correttamente sulla VM di Storage Gateway, sugli host ESXi e sui server vCenter. L’ora sulla VM deve essere sincronizzata per evitare problemi e garantire il corretto funzionamento del gateway.
Selezionare la VM aws-storage-gateway nell’elenco delle VM, quindi fare clic su Edit Settings. Nella schermata Modifica impostazioni selezionare la scheda Opzioni VM , fare clic su VMware Tools per espandere le impostazioni e selezionare la casella di controllo “Synchronize guest time with host”. Fare clic su OK per salvare le impostazioni.
Verifica della connettività di rete
Si consiglia di verificare la connessione di rete di Amazon Storage Gateway in esecuzione come VM in locale con lo storage sul cloud AWS.
Accendere la VM di Storage Gateway.
Accedere alla VM dell’appliance AWS utilizzando le credenziali predefinite.
Nome utente: admin
Password: password
È possibile verificare l’indirizzo IP. Se nella rete è presente un server DHCP, la Configurazione IP viene ottenuta automaticamente. Si consiglia di impostare un indirizzo IP statico per un utilizzo a lungo termine di Amazon Storage Gateway.
Se si desidera impostare l’indirizzo IP statico, premere 2:
2: Network Configuration
Quindi inserire 3:
3: Configure Static IP
Seguire le indicazioni per impostare l’indirizzo IP statico.
Nel nostro esempio, l’indirizzo IP dell’virtual appliance Storage Gateway è 192.168.17.122 e la netmask è 255.255.255.0 .
Dopo aver configurato la configurazione IP, è necessario verificare la connettività di rete.
Nel menu principale selezionare 3:
3: Test Network Connectivity
Quindi selezionare 1:
1: Public
Inserire la regione:
eu-west-1
Selezionare il tipo di endpoint:
1: Standard
Nel nostro caso il test è stato superato, come si può vedere nella schermata qui sotto.
Creazione di un bucket
Prima di poter continuare, assicurarsi che sia stato creato un bucket in Amazon S3 per il proprio account. È possibile utilizzare questo link per creare un bucket. Il nome del bucket utilizzato in questa guida è blog-bucket01 . È necessario disporre di autorizzazioni sufficienti per il proprio account AWS. Se si intende utilizzare altre applicazioni per accedere al bucket, è necessario generare le chiavi di accesso AWS. È possibile ottenere l’ID della chiave di accesso AWS e la chiave di accesso segreta per il proprio account all’indirizzo questa pagina di AWS.
Attivazione del File Gateway
Ora è necessario definire l’indirizzo IP di Amazon Storage Gateway e attivare il File Gateway.
Torna all’interfaccia web della console AWS. Come ricorderai, ci eravamo fermati al secondo passaggio della procedura guidata “Crea gateway”. Se hai chiuso quella pagina, apri la console AWS, vai su Services > Storage Gateway, clicca su Create Gateway. Nel primo passaggio della procedura guidata ( Select gateway type ) selezionare File gateway. Questi passaggi sono spiegati sopra all’inizio della guida pratica e sono corredati da schermate.
Select host platform. Selezionare VMware ESXi e fare clic su Next.
Select service endpoint. Selezionare Public come tipo di endpoint, quindi premere Next. Deve essere consentito l’accesso di rete del browser web alla VM di Storage Gateway sulla porta TCP 80.
Verificare l’indirizzo IP della VM del gateway (VA). È possibile trovare l’indirizzo IP della VM nell’interfaccia di VMware vSphere Client selezionando la VM desiderata. In questo esempio, l’indirizzo IP interno della VM di AWS Storage Gateway è 192.168.17.122 .
Inserire l’indirizzo IP della VM (l’appliance virtuale di Storage Gateway), non l’IP esterno (WAN) del router.
Fare clic su Connect to gateway.
Activate gateway. L’attivazione del gateway associa in modo sicuro il gateway al proprio account AWS.
Selezionare il fuso orario del gateway.
Immettere il nome del gateway, ad esempio Storage Gateway AWS . Il nome può essere diverso dal nome della VM e dal nome DNS della VM (appliance). Ricordare che la porta TCP 80 deve essere aperta sulla VM del gateway.
Fare clic su Activate gateway e attendere che i dischi della cache vengano identificati.
Configure local disks. Assicurarsi che il disco virtuale da 150 GB sia allocato alla cache. Quindi fare clic su Configure logging.
Configure logging. La registrazione offre funzionalità aggiuntive per la risoluzione dei problemi e l’audit. Selezionare Create a new log group. Fare clic su Verify VMware HA.
Fare clic su Verify VMware HA se la VM di Storage Gateway è in esecuzione nel Cluster VMware ad alta disponibilità. Abbiamo selezionato Exit poiché, nel nostro esempio, l’appliance virtuale di Amazon Storage Gateway non è implementata nel cluster VMware HA.
Ora il File Gateway è stato creato con successo ed è in esecuzione. 
Creazione di una condivisione file
È ora di creare una condivisione file per connettersi a un bucket utilizzando i protocolli standard NFS o SMB (CIFS). Configuriamo la connessione a un bucket Amazon S3 tramite NFS.
Selezionate il vostro File Gateway e fate clic su Create file share (vedere la schermata sopra).
Inserisci il nome del bucket S3. Il nome del bucket utilizzato in questo esempio è blog-bucket01 .
Accedi agli oggetti utilizzando: Network File System (NFS).
Gateway: Seleziona lo Storage Gateway S3 distribuito dall’elenco a discesa.
L’aggiunta di tag è facoltativa e può essere saltata. Fai clic su Next per continuare.
Storage. Configura come i file verranno archiviati in Amazon S3.
Nome del bucket Amazon S3: blog-bucket01
Classe di storage per i nuovi oggetti: S3 Standard
Metadati degli oggetti: Indovina il tipo MIME e Concedi al proprietario del bucket il controllo completo le caselle di controllo devono essere selezionate.
Accedi al tuo bucket S3. Crea un nuovo ruolo IAM .
Crittografia: Chiavi gestite da S3 (SSE-S3).
Review. È possibile lasciare i valori predefiniti per il ruolo IAM e gli altri valori, ad eccezione dei seguenti.
Client consentiti: 0.0.0.0/0 – per impostazione predefinita è consentito l’accesso da qualsiasi indirizzo IP. Per motivi di sicurezza, si consiglia di definire indirizzi IP consentiti personalizzati.
Livello di squash . Fare clic su Edit nella sezione Opzioni di montaggio e selezionare All squash per assicurarsi che tutto funzioni correttamente.
Fare clic su Create file share.
Se il pulsante Create file share non è attivo, fare clic su Previous e poi fare nuovamente clic su Next .
La condivisione file NFS è stata creata sul proprio file gateway. Nella parte inferiore della pagina Condivisioni file è possibile visualizzare esempi di comandi utilizzabili per montare la condivisione file su Linux, Windows e macOS.
Connessione alla condivisione file
Creiamo una directory che verrà utilizzata come punto di montaggio su una macchina Linux (Ubuntu 18.04) e impostiamo i permessi necessari. In questo esempio, il nome del nostro account utente Linux è user1 .
mkdir /mnt/s3-gateway/
Impostare il proprietario e i permessi per la directory creata:
chown user1:user1 /mnt/s3-gateway
chmod 0775 /mnt/s3-gateway
Montare la condivisione NFS fornita da AWS Storage Gateway:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
Potrebbe verificarsi un errore:
mount: /mnt/s3-gateway: opzione non valida; per diversi file system (ad es. nfs, cifs) potrebbe essere necessario il programma di supporto /sbin/mount.<type>
In questo caso provare a installare il pacchetto nfs-common :
sudo apt install nfs-common
Quindi eseguire il comando: sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
È possibile verificare se il bucket S3 ( blog-bucket01 ) è montato come condivisione NFS fornita da AWS Storage Gateway su /mnt/s3/gateway/ utilizzando i comandi:
df -h
mount | grep gateway
ls -al /mnt/s3-gateway/
Come si può vedere nella schermata qui sotto, il bucket è stato montato correttamente.
Lo stesso contenuto del bucket viene visualizzato nell’interfaccia web di AWS. È possibile verificare che tutto funzioni correttamente copiando un file dalla console Linux al bucket e controllando poi il contenuto del bucket nell’interfaccia web di AWS.
È possibile configurare il montaggio automatico all’avvio di Linux modificando /etc/fstab .
Allo stesso modo, è possibile configurare una condivisione CIFS sul proprio AWS Storage Gateway e montare tale condivisione su diversi sistemi operativi. Se si seleziona l’opzione SMB per un file gateway, è possibile aggiungere il proprio AWS Storage Gateway a un dominio Active Directory.
Conclusione
Amazon Storage Gateway è una soluzione cloud ibrida che consente di utilizzare la propria infrastruttura fisica e virtuale attuale con lo storage sul cloud di Amazon senza modifiche significative alla configurazione hardware e software esistente. Vengono utilizzati protocolli di storage standard: SMB e NFS sono utilizzati per fornire l’accesso ai file archiviati come oggetti in Amazon S3 a livello di file, mentre l’accesso all’archiviazione a blocchi (volumi Amazon EBS) è garantito tramite iSCSI. È possibile connettersi alle librerie su nastro virtuali in Amazon S3 tramite iSCSI invece di utilizzare librerie su nastro fisiche. Questo post del blog ha illustrato il principio di funzionamento di Amazon Storage Gateway e ha spiegato come è possibile effettuare l’implementazione del File Gateway su VMware ESXi e connettersi a un bucket Amazon S3 tramite il File Gateway via NFS da Ubuntu Linux.
Amazon Storage Gateway può essere utilizzato per copiare i backup dei dati su AWS manualmente o tramite soluzioni di backup specifiche compatibili con i protocolli NFS, SMB o iSCSI. NAKIVO Backup & Replication è una soluzione universale di protezione dei dati che consente di eseguire il backup dei dati su Amazon S3 e Amazon EBS. NAKIVO Backup & Replication è in grado di eseguire il backup dei dati direttamente in Amazon S3 senza utilizzare AWS Storage Gateway.
