Cómo funciona Amazon Storage Gateway: guía paso a paso completa
Amazon Web Services (AWS) es utilizado por numerosos usuarios y organizaciones gracias a su ampliabilidad, fiabilidad y otras ventajas. A la hora de migrar datos a la nube de AWS, debes tener en cuenta ciertas funciones. De forma predeterminada, Amazon proporciona una interfaz web para gestionar el entorno en la nube y subir o descargar archivos. Sin embargo, utilizar la interfaz web para subir regularmente grandes cantidades de datos puede resultar poco práctico. Si utilizas Amazon S3 como almacenamiento en la nube para tus datos, puedes montar un bucket de S3 como disco de red en tu sistema operativo.
Montar un bucket como un disco puede simplificar considerablemente la copia de archivos a la nube de Amazon. Esta solución es adecuada para pequeñas empresas y usuarios particulares, pero si vas a utilizar el almacenamiento en la nube de Amazon para entornos empresariales de gran tamaño, necesitarás una solución más ampliable. Otro aspecto a tener en cuenta es que reconstruir toda una infraestructura no es un proceso sencillo si la mayoría de los procesos están relacionados con servidores físicos en los centros de datos de su empresa. Afortunadamente, Amazon ofrece una herramienta especial que le permite utilizar su infraestructura física tradicional para copiar datos a la nube de Amazon o desde ella. Esta herramienta se llama AWS Storage Gateway y en esta entrada del blog se explica cómo utilizar y configurar Amazon Storage Gateway.
¿Qué es AWS Storage Gateway?
AWS Storage Gateway es una solución específica que actúa como puente entre tus máquinas físicas o virtuales tradicionales y el almacenamiento en la nube de AWS. Proporciona una integración perfecta entre los entornos locales y los de la nube. AWS Storage Gateway proporciona acceso a almacenamiento ilimitado en Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive y Amazon EBS (Elastic Block Storage). Este concepto de integración entre el almacenamiento local y el almacenamiento en la nube también se conoce como almacenamiento híbrido. Se requiere una conexión a Internet para utilizar Amazon Storage Gateway, ya que es necesario establecer una conexión con los servidores de AWS.
Tipos de Storage Gateway
Existen tres tipos de AWS Storage Gateway: File Gateway, Volume Gateway y Tape Gateway.
File Gateway. Este tipo de Storage Gateway proporciona acceso a los archivos almacenados como objetos en un bucket de Amazon S3 mediante SMB (versiones 2 y 3 del protocolo CIFS) y recursos compartidos NFS (versiones 3 y 4.1 del protocolo). Es necesario configurar un punto de montaje SMB (Server Message Block) o NFS (Network File System) en el sistema operativo para poder acceder a los archivos u objetos de un depósito de S3.
File Gateway es compatible con las siguientes clases de almacenamiento de Amazon S3: S3 Standard, S3 Standard-Infrequent Access (IA) y S3 One Zone-IA. Se admite el control de versiones: puede editar, eliminar y renombrar archivos accediendo a ellos a través de los protocolos NFS o SMB, y cada modificación del archivo se almacena como una nueva versión en un bucket de S3. La principal ventaja de utilizar el control de versiones para un recurso compartido de archivos (objetos) son las capacidades de recuperación ampliadas. Además del control de versiones, puede habilitar la gestión del ciclo de vida y la replicación entre regiones para los objetos almacenados en Amazon S3.
Puede instalar una máquina virtual de Storage Gateway en el servidor 1 del centro de datos 1 y otra máquina virtual de Storage Gateway en el servidor 2 del centro de datos 2. Si ambas puertas de enlace están conectadas al mismo depósito y ambos servidores están conectados a la puerta de enlace de almacenamiento correspondiente, podrá cargar un archivo al depósito de S3 desde el servidor 1 y ver ese archivo en el servidor 2 mediante los recursos compartidos NFS o SMB. Esto es posible gracias a la llamada a la API RefreshCache, que inicia un nuevo inventario en la puerta de enlace de archivos 2.
Volume Gateway permite que sus servidores y aplicaciones que se ejecutan localmente se conecten al almacenamiento en bloques de AWS (volúmenes EBS) en la nube mediante el protocolo iSCSI (Internet Small Computer Systems Interface). Mientras que SMB y NFS, utilizados por una puerta de enlace de archivos, son protocolos de recursos compartidos a nivel de archivo, iSCSI funciona a nivel de bloque. Existen dos tipos de Volume Gateway: los volúmenes almacenados y los volúmenes en caché.
Volúmenes almacenados . Tu almacenamiento local, como un disco duro en un servidor físico o un disco virtual de un máquina virtual, se utiliza como almacenamiento principal de datos. Se realiza un backup asíncrono en Amazon S3 en forma de instantáneas de EBS. Puedes acceder al almacenamiento con baja latencia cuando utilizas volúmenes almacenados. El tamaño de los volúmenes almacenados puede oscilar entre 1 TB y 16 TB. Un volumen almacenado se monta como un dispositivo iSCSI.
Volúmenes en caché (Cached Gateway). Los datos a los que se accede con frecuencia se almacenan en volúmenes EBS y los datos que se utilizan con poca frecuencia se migran a Amazon S3. Este enfoque resulta más rentable, ya que el precio por utilizar buckets de Amazon S3 es inferior al precio por utilizar volúmenes EBS. El tamaño máximo de un volumen puede ser de 32 TB. Un volumen se monta como un dispositivo iSCSI.
Cuando se utiliza una puerta de enlace de volúmenes para almacenamiento en bloques, los volúmenes se pueden conectar a la puerta de enlace de volúmenes o desconectarse de ella. Esta función permite migrar volúmenes entre puertas de enlace para, por ejemplo, actualizar el hardware de almacenamiento en servidores locales (en las propias instalaciones).
Tape Gateway se utiliza para hacer backup de datos con fines de archivo a largo plazo en Amazon Glacier y almacenar dichos datos en cintas virtuales. De hecho, los datos se almacenan en Amazon S3 Glacier o en Amazon S3 Glacier Deep Archive. En este caso, la interfaz física utilizada para escribir datos en cintas mediante la conexión de unidades de cinta y bibliotecas de cintas se sustituye por una interfaz compatible con la biblioteca de Tape Gateway que permite almacenar datos en la nube de Amazon. Se utiliza el protocolo iSCSI para conectar los dispositivos de backup existentes a la puerta de enlace de cinta. Se pueden conservar la configuración y el flujo de trabajo de backup existentes. Puede guardar datos en la nube directamente a través de la pasarela de cintas o utilizando aplicaciones especializadas de copia de seguridad de datos.
Las pasarelas de cintas se pueden utilizar para hacer backup de datos sin realizar cambios significativos en una configuración de backup existente o como alternativa a las unidades y bibliotecas de cintas físicas (que no son rentables).
Plataformas de host compatibles
AWS Storage Gateway se proporciona como una appliance virtual (una imagen o plantilla de máquina virtual) que se puede instalar en diferentes plataformas.
Las plataformas de virtualización de host compatibles son:
- VMware ESXi
- Hyper-V (2012 R2 o posterior)
- Linux KVM
- Amazon EC2
Sin embargo, también existe una appliance de hardware que se puede utilizar si una organización no cuenta con ningún hipervisor en su infraestructura. Puedes adquirir la appliance de Amazon Storage Gateway en la página web de Amazon y te la enviarán a tu domicilio.
Precios
La política de precios de Amazon para los servicios en la nube que ofrece se basa en el pago por uso. Amazon Storage Gateway no es una excepción. El cobro depende del tipo de almacenamiento —Amazon S3 o EBS— y de la región de AWS. Si almacenas datos en Amazon S3, el precio depende de la clase de almacenamiento de S3 y del número de solicitudes. El precio se calcula por GB mensual. Si almacenas datos en volúmenes de EBS, las instantáneas se facturan si se crean. En cuanto a Amazon Storage Gateway, se cobra por el uso de la pasarela (por pasarela y al mes). Puede consultar los precios actuales en Página web de Amazon en cualquier momento.
Ventajas de AWS Storage Gateway
Las principales ventajas de utilizar Amazon Storage Gateway son:
- Integración de configuraciones de hardware y software sin cambios de hardware.
- La capacidad de utilizar almacenamiento local y almacenamiento en la nube de Amazon (el concepto de almacenamiento híbrido).
- Transición fluida migración desde la infraestructura física a la nube de AWS.
¿Cómo se instala AWS Storage Gateway?
Veamos cómo instalar AWS Storage Gateway para acceder a archivos almacenados como objetos en Amazon S3 conectándonos a una puerta de enlace de archivos a través de NFS. Debes disponer de una cuenta de AWS y un host ESXi para ejecutar la máquina virtual de Storage Gateway.
Descargar la imagen
Abre la interfaz web de la consola de AWS.
Haz clic en Services y selecciona Storage Gateway en la categoría Almacenamiento .
En la página Storage Gateway , haz clic en el botón Create Gateway en la sección Gateways del panel de navegación. En esta página puedes encontrar las puertas de enlace de almacenamiento creadas anteriormente, si las hay.
Se abre el asistente Create gateway .
Select gateway type. Selecciona File gateway para almacenar archivos como objetos en Amazon S3. Haz clic en Next en cada paso del asistente para continuar.
Select host platform. Hay cinco plataformas de host compatibles para la instalación. Selecciona VMware ESXi y haz clic en el botón Download image .
Guarde el archivo. En nuestro caso, el nombre del archivo descargado es aws-storage-gateway-latest.ova y lo guardamos en D:virtual en un equipo local. No cierre la pestaña actual del navegador en la que se muestra el asistente «Crear puerta de enlace» en la interfaz web de AWS, ya que más adelante tendrá que continuar configurando la puerta de enlace de almacenamiento a partir de este paso.
Implementación de la appliance virtual en un host ESXi
Ahora debe instalar el archivo de plantilla descargado aws-storage-gateway-latest.ova en un host ESXi. En nuestro ejemplo, los hosts ESXi están gestionados por vCenter y usaremos la interfaz web del Cliente de VMware vSphere para instalar el appliance virtual AWS Storage Gateway.
Conéctese a su vCenter, vaya a Hosts and Clusters y seleccione el host ESXi necesario que tenga suficientes recursos libres.
Requisitos: El File Gateway requiere 16 GB de RAM, 4 procesadores virtuales (vCPUs), un disco virtual de 80 GB y un disco virtual adicional de 150 GB para caché de almacenamiento.
En nuestro ejemplo, seleccionamos el host con dirección IP 10.10.10.90 . Después de seleccionar el host ESXi en VSphere Cliente, haga clic en Actions > Deploy OVF Template.
Se abre el asistente de Despliegue de Plantilla OVF.
1. Select an OVF template. Seleccione Local file y haga clic en Browse para seleccionar el archivo ova descargado. En este caso, seleccionamos aws-storage-gateway-latest.ova en D:virtual . Haga clic en Next en cada paso del asistente para continuar.
2. Select a name and folder. Introduzca un nombre para la máquina virtual, por ejemplo, aws-storage-gateway y seleccione una ubicación para la VM en vCenter.
3. Select a compute resource. Seleccione un host ESXi donde correrá la máquina virtual Storage Gateway. Seleccionamos 10.10.10.90 en este ejemplo.
4. Review details. Verifique y revise los detalles de la plantilla del appliance virtual AWS Storage Gateway que está a punto de instalar.
5. Select storage. Seleccione el almacén de datos con suficiente espacio libre para almacenar archivos de disco virtual y otros archivos de la máquina virtual. Seleccione el formato del disco virtual. Se recomienda seleccionar Thick Provisioned como formato de disco virtual porque todo el espacio de almacenamiento necesario para que funcione un disco virtual se asigna inmediatamente. Lea más sobre aprovisionamiento grueso y delgado en esta entrada del blog.
6. Select networks. Seleccione una vSwitch que esté conectada a un router y proporcione una conexión a internet. Un adaptador de red virtual de la máquina virtual se conectará a este vSwitch y a la red adecuada después de la instalación.
7. Ready to complete. Revise la configuración de la máquina virtual que se instalará desde la plantilla y presione Finish para iniciar la creación de la máquina virtual. Lea el artículo del blog sobre Plantillas de máquinas virtuales para conocer más.
Espere hasta que la máquina virtual Storage Gateway se instale desde la plantilla. Puede ver el estado del job en la barra de tareas recientes en el cliente vSphere.
Una vez instalada la máquina virtual, puede ver el nombre de la máquina virtual que ha definido antes en la lista de máquinas virtuales del host ESXi adecuado ( 10.10.10.90 en nuestro caso).
Haga clic derecho en la máquina virtual ( aws-storage-gateway es el nombre de la máquina virtual Storage Gateway instalada desde la plantilla en este ejemplo) y en el menú contextual haga clic en Edit Settings. 
Ahora debe agregar un nuevo disco duro virtual para caché. Este disco virtual se utiliza para almacenar archivos accesados recientemente y archivos que se acceden con frecuencia para reducir la latencia al acceder a esos datos.
En la pestaña Virtual Hardware de la ventana Editar Configuración , haga clic en Add new device y seleccione Hard disk.
El tamaño mínimo recomendado para un disco duro virtual utilizado para almacenar caché por AWS Storage Gateway es de 150 GB. Debe crear un disco virtual Provisionado Fijo para caché. En la cadena Nuevo Disco Duro , escriba 150 GB. En la cadena Provisión de Discos , seleccione una de las opciones Thick Provisioning. Presione OK para guardar los ajustes y crear un disco virtual.
Asegúrese de que la hora esté configurada correctamente en el VM de Storage Gateway, los hostes de ESXi y los servidores de vCenter. La hora en el VM debe estar sincronizada para evitar problemas y para una activación exitosa del gateway.
Seleccione su VM aws-storage-gateway en la lista de máquinas virtuales, haga clic en Edit Settings. En la pantalla Editar Configuración , seleccione la pestaña Opciones de VM , haga clic en VMware Tools para expandir los ajustes y seleccione la casilla de verificación “Synchronize guest time with host”. Presione OK para guardar los ajustes.
Probando la conectividad de red
Se recomienda probar la conexión de red del Amazon Storage Gateway que se ejecuta como una VM localmente con el almacenamiento en la nube de AWS.
Encienda el VM de Storage Gateway.
Inicie sesión en el VM Appliance AWS utilizando las credenciales predeterminadas.
Nombre de usuario: admin
Contraseña: password
Puede verificar la dirección IP. Si hay un servidor DHCP en su red, la configuración de IP se obtiene automáticamente. Se recomienda establecer la dirección IP estática para un uso a largo plazo del Amazon Storage Gateway.
Si desea establecer la dirección IP estática, presione 2:
2: Network Configuration
Luego ingrese 3:
3: Configure Static IP
Siga las recomendaciones para establecer la dirección IP estática.
En nuestro ejemplo, la dirección IP del appliance virtual Storage Gateway es 192.168.17.122 y la máscara de subred es 255.255.255.0 .
Después de configurar la configuración de red IP, debe probar la conectividad de red.
En el menú principal, seleccione 3:
3: Test Network Connectivity
Luego seleccione 1:
1: Public
Ingrese la región:
eu-west-1
Seleccione el tipo de punto final:
1: Standard
La prueba ha sido aprobada en nuestro caso y puede verlo en la captura de pantalla a continuación.
Creando un bucket
Antes de poder continuar, asegúrese de que se haya creado un bucket en Amazon S3 para su cuenta. Puede utilizar este enlace para crear un bucket. El nombre del bucket usado en este tutorial es blog-bucket01 . Debe tener suficientes permisos para su cuenta de AWS. Se deben generar claves de acceso de AWS si va a utilizar otras aplicaciones para acceder al bucket. Puede obtener el ID de clave de acceso de AWS y una clave de acceso secreta para su cuenta en esta página de AWS.
Activación del gateway de archivos
Ahora debe definir la dirección IP de Amazon Storage Gateway y activar el File Gateway.
Regrese a la interfaz web de la consola de AWS. Como recuerda, nos detuvimos en el segundo paso del asistente de creación de gateway. Si ha cerrado esa página, abra la consola de AWS, vaya a Services > Storage Gateway, haga clic en Create Gateway. En el primer paso del asistente ( Seleccione tipo de gateway ) seleccione File gateway. Estos pasos se explican arriba al inicio del tutorial y se complementan con capturas de pantalla.
Select host platform. Seleccione VMware ESXi y haga clic en Next.
Select service endpoint. Seleccione Public como el tipo de endpoint, luego presione Next. Se debe permitir el acceso de red de su navegador web a la máquina virtual de Storage Gateway al puerto TCP 80.
Verifique la dirección IP de la máquina virtual (VM) de Gateway. Puede encontrar la dirección IP de la máquina virtual en la interfaz de VMware vSphere Client seleccionando la máquina virtual necesaria. En este ejemplo, la dirección IP interna de la máquina virtual de AWS Storage Gateway es 192.168.17.122 .
Ingrese la dirección IP de la máquina virtual (el appliance virtual de Storage Gateway), no la IP externa (WAN) de su enrutador.
Haga clic en Connect to gateway.
Activate gateway. La activación del gateway asocia de manera segura su gateway con su cuenta de AWS.
Seleccione la zona horaria del gateway.
Ingrese el nombre del gateway, por ejemplo Storage Gateway AWS . El nombre puede ser diferente del nombre de la máquina virtual y del nombre DNS de la máquina virtual (appliance). Recuerde que el puerto TCP 80 debe estar abierto en la máquina virtual del gateway.
Haga clic en Activate gateway y espere hasta que los discos de caché sean identificados.
Configure local disks. Asegúrese de que su disco virtual de 150 GB esté asignado a la caché. Luego presione Configure logging.
Configure logging. El registro le proporciona habilidades adicionales para solucionar problemas y auditoría. Seleccione Create a new log group. Haga clic en Verify VMware HA.
Haga clic en Verify VMware HA si su máquina virtual de Storage Gateway se está ejecutando en el Clúster de alta disponibilidad de VMware. Presionamos Exit ya que el appliance virtual de Amazon Storage Gateway no está desplegado en el clúster de VMware HA en nuestro ejemplo.
Ahora el File Gateway se ha creado exitosamente y está en funcionamiento. 
Creación de un recurso compartido de archivos
Es el momento de crear un recurso compartido de archivos para conectarse a un bucket mediante los protocolos estándar NFS o SMB (CIFS). Vamos a configurar la conexión a un bucket de Amazon S3 a través de NFS.
Selecciona tu File Gateway y haz clic en Create file share (véase la captura de pantalla anterior).
Introduzca el nombre del depósito de S3. El nombre del depósito utilizado en este ejemplo es blog-bucket01 .
Acceder a los objetos mediante: Network File System (NFS).
Gateway: Seleccione el S3 Storage Gateway instalado en la lista desplegable.
Añadir etiquetas es opcional y se puede omitir. Haga clic en Next para continuar.
Storage. Configure cómo se almacenarán los archivos en Amazon S3.
Nombre del bucket de Amazon S3: blog-bucket01
Clase de almacenamiento para nuevos objetos: S3 Standard
Metadatos de los objetos: Adivinar el tipo MIME y Otorgar control total al propietario del bucket Las casillas de verificación deben estar marcadas.
Acceso a su bucket de S3. Crear una nueva función de IAM .
Cifrado: Claves gestionadas de S3 (SSE-S3).
Review. Puede dejar los valores predeterminados para la función de IAM y otros valores, excepto los siguientes.
Clientes permitidos: 0.0.0.0/0 – por defecto, se permite el acceso desde cualquier dirección IP. Se recomienda definir direcciones IP permitidas personalizadas por motivos de seguridad.
Nivel de compresión . Haga clic en Edit en la página Opciones de montaje y seleccione All squash para asegurarse de que todo funcione correctamente.
Haga clic en Create file share.
Si el botón Create file share no está activo, haga clic en Previous y, a continuación, vuelva a hacer clic en Next .
El recurso compartido de archivos NFS se ha creado en su pasarela de archivos. En la parte inferior de la página «Recursos compartidos» puedes ver ejemplos de comandos que se pueden utilizar para montar tu recurso compartido en Linux, Windows y macOS.
Conexión a la compartición de recursos compartidos
Creemos un directorio que se utilizará como punto de montaje en una máquina Linux (Ubuntu 18.04) y configuremos los permisos necesarios. En este ejemplo, el nombre de nuestra cuenta de usuario de Linux es user1 .
mkdir /mnt/s3-gateway/
Establece el propietario y los permisos del directorio creado:
chown user1:user1 /mnt/s3-gateway
chmod 0775 /mnt/s3-gateway
Monta el recurso compartido NFS proporcionado por AWS Storage Gateway:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
Puede producirse un error:
mount: /mnt/s3-gateway: opción incorrecta; para algunos sistemas de archivos (por ejemplo, nfs, cifs) es posible que necesites un programa auxiliar /sbin/mount.<type>
En este caso, intenta instalar el paquete nfs-common :
sudo apt install nfs-common
A continuación, ejecuta el comando: sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
Puedes comprobar si el bucket de S3 ( blog-bucket01 ) está montado como recursos compartidos NFS proporcionados por AWS Storage Gateway en /mnt/s3/gateway/ mediante los siguientes comandos:
df -h
mount | grep gateway
ls -al /mnt/s3-gateway/
. Como puedes ver en la captura de pantalla que aparece a continuación, el bucket se ha montado correctamente.
El mismo contenido del bucket se muestra en la interfaz web de AWS. Puede comprobar que todo funciona correctamente copiando un archivo desde la consola de Linux al bucket y, a continuación, verificando el contenido del bucket en la interfaz web de AWS.
Puede configurar el montaje automático al iniciar Linux editando /etc/fstab .
Del mismo modo, puede configurar recursos compartidos CIFS en su AWS Storage Gateway y montar esos recursos compartidos en diferentes sistemas operativos. Si selecciona la opción SMB para una pasarela de archivos, es posible añadir su AWS Storage Gateway a un dominio de Active Directory.
Conclusión
Amazon Storage Gateway es una solución de nube híbrida que le permite utilizar su infraestructura física y virtual actual con el almacenamiento en la nube de Amazon sin necesidad de realizar cambios significativos en su configuración actual de hardware y software. Se utilizan protocolos de almacenamiento estándar: SMB y NFS se emplean para proporcionar acceso a los archivos almacenados como objetos en Amazon S3 a nivel de archivo, mientras que el acceso al almacenamiento en bloques (volúmenes de Amazon EBS) se proporciona mediante iSCSI. Puede conectarse a bibliotecas de cintas virtuales en Amazon S3 a través de iSCSI en lugar de utilizar bibliotecas de cintas físicas. En esta entrada del blog se ha explicado el principio de funcionamiento de Amazon Storage Gateway y se ha detallado cómo se puede instalar File Gateway en VMware ESXi y conectarse a un bucket de Amazon S3 a través de File Gateway mediante NFS desde Ubuntu Linux.
Amazon Storage Gateway se puede utilizar para copiar las copias de backup de sus datos a AWS de forma manual o con soluciones de backup especiales compatibles con los protocolos NFS, SMB o iSCSI. NAKIVO Backup & Replication es una solución universal de protección de datos que le permite hacer backup de datos en Amazon S3 y Amazon EBS. NAKIVO Backup & Replication puede hacer backup de datos directamente en Amazon S3 sin necesidad de utilizar AWS Storage Gateway.
