Amazon Storage Gateway 的運作原理：完整指南
Amazon Web Services (AWS) 被眾多個人和組織使用,因其具備大幅延展性、可靠性等優勢。在將資料遷移至 AWS 雲端時,您應考慮某些特點。預設情況下,Amazon 提供了網站介面來管理雲端環境和上傳/下載檔案。但是,若經常性地大量上傳資料,用網站介面可能不是那麼便利。如果您使用 Amazon S3 作為資料的雲端儲存,您可以在操作系統中將 S3 儲存桶掛載為網路磁碟。
將储存桶掛載為磁碟可以大大簡化檔案至 Amazon 雲的複製過程。此解決方案適用於小型公司和個人用戶,但如果您打算在大型企業環境中使用 Amazon 雲端儲存,您需要更具延展性的方案。另一個方面是,若大多數過程涉及在公司資料中心的實體伺服器,重建整個基礎設施並不是一個簡單的過程。幸運的是,Amazon 提供了一個名為 AWS Storage Gateway 的特殊工具,它允許您使用傳統的實體基礎設施將資料複製至 Amazon 雲端或從 Amazon 雲端複製。本文將解釋如何使用和設定 Amazon Storage Gateway。
什麼是 AWS Storage Gateway？
AWS Storage Gateway 是一項特殊的解決方案,可作為您傳統實體或虛擬機器與 AWS 雲端儲存之間的橋樑。它能實現本地端與雲端環境之間的無縫整合。 AWS Storage Gateway 可讓您存取無限制的 Amazon S3 儲存空間、Amazon S3 Glacier、Amazon S3 Glacier Deep Archive 以及 Amazon EBS(彈性區塊儲存)。這種整合本地儲存與雲端儲存的概念,亦可稱為混合儲存。由於必須建立與 AWS 伺服器的連線,因此 Amazon Storage Gateway 需要網際網路連線。
儲存閘道器類型
AWS 儲存閘道器共有三種類型:檔案閘道器、卷宗閘道器及磁帶閘道器。
File Gateway。此類儲存閘道器可透過 SMB(CIFS 協定第 2 版和第 3 版)及 NFS 分享(協定第 3 版和第 4.1 版),存取儲存於 Amazon S3 儲存桶中以物件形式儲存的檔案。 您必須在作業系統中設定 SMB(伺服器訊息區塊)或 NFS(網路檔案系統)掛載點,才能存取 S3 儲存桶中的檔案／物件。
檔案閘道支援以下 Amazon S3 儲存類別:S3 Standard、S3 Standard-Infrequent Access (IA) 以及 S3 One Zone-IA。 本系統支援版本控制——您可以透過 NFS 或 SMB 協定存取檔案,並進行編輯、刪除及重新命名,而每次檔案修改都會以新版本的形式儲存於 S3 儲存桶中。對檔案分享啟用版本控制的主要優勢在於擴展了還原能力。除了版本控制外,您還可以為儲存於 Amazon S3 中的物件啟用生命週期管理及跨區域複製功能。
您可以在資料中心 1 的伺服器 1 上部署一台 Storage Gateway 虛擬機器,並在資料中心 2 的伺服器 2 上部署另一台 Storage Gateway 虛擬機器。若兩台閘道器皆連接到同一個儲存桶,且兩台伺服器皆連接到對應的儲存閘道器,則您可以從伺服器 1 將檔案上傳至 S3 儲存桶,並透過 NFS 或 SMB 共用在伺服器 2 上查看該檔案。 這得益於 RefreshCache API 呼叫,該呼叫會觸發檔案閘道 2 進行重新清點。
Volume Gateway 允許您在本地端運行的伺服器和應用程式,透過 iSCSI 協定(Internet Small Computer Systems Interface)連線至雲端中的 AWS 區塊儲存(EBS 卷)。雖然檔案閘道所使用的 SMB 和 NFS 屬於檔案層級的分享協定,但 iSCSI 則在區塊層級運作。 Volume Gateway 分為兩種類型——儲存型卷 (Stored Volumes) 與快取型卷 (Cached Volumes)。
儲存型卷 (Stored Volumes) 。您的本地儲存空間(例如實體伺服器上的硬碟,或是 虛擬磁碟 中的 虛擬機器)將用作主要資料儲存空間。系統會以 EBS 快照的形式,將資料異步備份至 Amazon S3。使用儲存型卷時,您可以以低延遲存取儲存空間。 儲存卷的大小範圍為 1 TB 至 16 TB。儲存卷會以 iSCSI 裝置的形式掛載。
快取卷 (快取閘道)。頻繁存取的資料儲存於 EBS 卷中,而較少使用的資料則會遷移至 Amazon S3。由於使用 Amazon S3 儲存桶的價格低於使用 EBS 卷的價格,因此此方法更具成本效益。 單一卷的最大容量可達 32 TB。卷會以 iSCSI 裝置的形式掛載。
在將 Volume Gateway 用於區塊儲存時,卷可掛載至或從 Volume Gateway 卸載。此特點讓您能在閘道之間遷移卷,例如用於升級本地伺服器(本地端)上的儲存硬體。
Tape Gateway 用於備份資料至 Amazon Glacier 進行長期歸檔,並將該資料儲存於虛擬磁帶上。 事實上,資料是儲存於 Amazon S3 Glacier 或 Amazon S3 Glacier Deep Archive 中。在此情況下,原先透過連接磁帶機和磁帶庫將資料寫入磁帶的實體介面,已被相容的磁帶閘道庫介面所取代,讓您能夠將資料儲存於 Amazon 雲端中。iSCSI 協定用於將現有的備份裝置連接至磁帶閘道。現有的備份設定和工作流程均可保留。 您可以透過磁帶閘道直接將資料儲存至雲端,或使用專用的資料備份應用程式。
磁帶閘道可用於備份資料,無需對現有備份配置進行重大變更,亦可作為實體磁帶驅動器和磁帶庫(其成本效益較低)的替代方案。
支援的主機平台
AWS Storage Gateway 以 VA (virtual appliance) 的形式提供,可部署於不同平台上。
支援的主機虛擬化平台包括:
- VMware ESXi
- Hyper-V (2012 R2 或更新版本)
- Linux KVM
- Amazon EC2
此外,若組織的基礎架構中未配備任何虛擬化平台,亦可選用硬體裝置。 您可於 Amazon 網站購買 Amazon Storage Gateway 裝置,該裝置將寄送至您指定之處。
定價
Amazon 針對所提供雲端服務的定價政策為”按用量計費”。 Amazon Storage Gateway 亦不例外。收費取決於儲存類型(Amazon S3 或 EBS)以及 AWS 區域。若您將資料儲存於 Amazon S3,價格取決於 S3 儲存類別及請求次數,並以每月每 GB 為單位計算。若您將資料儲存於 EBS 卷,則僅在建立快照時才會產生費用。 至於 Amazon Storage Gateway,您需支付閘道使用費(按每個閘道每月計費)。您可隨時透過 亞馬遜網站 查詢實際價格。
AWS Storage Gateway 的優勢
使用 Amazon Storage Gateway 的主要優勢包括:
- 無需變更硬體即可整合硬體與軟體配置。
- 能夠同時使用本地儲存與 Amazon 雲端儲存(混合儲存概念)。
- 從實體基礎架構到 AWS 雲端的無縫 遷徙 遷移。
如何部署 AWS Storage Gateway？
讓我們來了解如何透過 NFS 連線至檔案閘道,將 AWS Storage Gateway 部署至 Amazon S3 中以存取以物件形式儲存的檔案。您應具備 AWS 帳戶及一台 ESXi 主機,以執行 Storage Gateway 虛擬機器。
下載映像檔
開啟 AWS 控制台的網頁介面。
點擊 Services 並在 Storage Gateway 儲存 類別中選取 。
在 儲存閘道 頁面中,請於導覽窗格的 Create Gateway 閘道 區段中,按一下 按鈕。若先前已建立儲存閘道,您可在此頁面中找到它們。
建立閘道 精靈隨即開啟。
Select gateway type. 請選取 File gateway ,將檔案以物件形式儲存至 Amazon S3。在精靈的每個步驟中,請按一下 Next 以繼續。
Select host platform. 共有五種受支援的主機平台可供部署。請選取 VMware ESXi ,並按一下 Download image 按鈕。
儲存檔案。在本例中,下載檔案的名稱為 aws-storage-gateway-latest.ova ,我們將此檔案儲存至本機的 D:virtual 目錄中。請勿關閉目前顯示 “建立閘道” 精靈的 AWS 網頁介面瀏覽器分頁,因為稍後您將需要從此步驟繼續設定儲存閘道。
在 ESXi 主機上部署 VA (virtual appliance)
現在,您必須將下載的 aws-storage-gateway-latest.ova 範本檔案部署至 ESXi 主機上。 在本範例中,ESXi 主機由 vCenter 管理,我們將使用 VMware vSphere Client 的網頁介面來部署 AWS Storage Gateway VA (virtual appliance)。
連線至您的 vCenter,前往 Hosts and Clusters ,並選取具備足夠可用資源的所需 ESXi 主機。
需求: 檔案閘道器需要 16 GB 記憶體、4 個虛擬處理器 (vCPU)、一個 80 GB 的虛擬磁碟,以及一個額外的 150 GB 虛擬磁碟用作儲存快取。
在本範例中,我們選擇 IP 位址為 10.10.10.90 的主機。在 vSphere Client 中選取 ESXi 主機後,請按一下 Actions > Deploy OVF Template。
“部署 OVF 範本”精靈隨即開啟。
1. Select an OVF template. 選取 Local file 並點擊 Browse 以選取已下載的 ova 檔案。在此範例中,我們選取 aws-storage-gateway-latest.ova 位於 D:virtual 目錄下。在精靈的每個步驟中,點擊 Next 以繼續。
2. Select a name and folder. 輸入虛擬機器名稱,例如 aws-storage-gateway 並在 vCenter 中為該虛擬機器選取位置。
3. Select a compute resource. 選取將執行 Storage Gateway 虛擬機器的 ESXi 主機。 在此範例中,我們選擇 10.10.10.90 。
4. Review details. 驗證並檢視您即將部署的 AWS Storage Gateway VA (virtual appliance) 的範本詳細資訊。
5. Select storage. 選擇具有足夠可用空間以儲存虛擬磁碟檔案及其他虛擬機器檔案的資料儲存區。選擇虛擬磁碟格式。建議選擇 厚式配置 作為虛擬磁碟格式,因為虛擬磁碟的功能性所需的所有儲存空間都會立即被分配。 有關厚式與薄式配置的詳細資訊,請參閱 這篇部落格文章。
6. Select networks. 選擇一個 vSwitch ,該 vSwitch 須已連線至路由器並提供網際網路連線。虛擬機器部署完成後,其虛擬網路介面卡將連線至此 vSwitch 及相應的網路。
7. Ready to complete. 檢視將從範本部署的虛擬機器設定,並點擊 Finish 以開始建立虛擬機器。請閱讀部落格文章 虛擬機器範本 以了解更多資訊。
請等待 Storage Gateway 虛擬機器從範本部署完成。您可在 vSphere Client 的 “最近的任務” 工具列中查看工作狀態。
虛擬機器部署完成後,您將能在對應的 ESXi 主機(本例中為 10.10.10.90 )的虛擬機器清單中,看到您先前定義的虛擬機器名稱。
右鍵點擊該虛擬機器( aws-storage-gateway 是本範例中從範本部署的 Storage Gateway 虛擬機器的名稱),並在快顯選單中點選Edit Settings。 
現在您必須新增一個用於快取的虛擬硬碟。此虛擬硬碟用於儲存最近存取的檔案以及經常存取的檔案,以減少存取該資料時的延遲。
在 “虛擬硬體” 索引標籤的 “編輯設定” 視窗中,點擊 Add new device 並選擇 Hard disk。
AWS Storage Gateway 用於儲存快取的虛擬硬碟建議最小大小為 150 GB。 您應為快取建立一個”厚配置”虛擬磁碟。在 “新增硬碟” 欄位中,輸入 150 GB。在 “磁碟配置” 欄位中,選擇其中一個 Thick Provisioning 選項。點擊 OK 以儲存設定並建立虛擬磁碟。
請確保 Storage Gateway 虛擬機器、ESXi 主機及 vCenter 伺服器上的時間設定正確。虛擬機器上的時間必須同步,以避免問題並確保閘道能成功啟用。
在虛擬機器清單中選取您的 aws-storage-gateway 虛擬機器,然後按一下 Edit Settings。在 “編輯設定” 畫面中,選取 “虛擬機器選項” 索引標籤,按一下 VMware Tools 展開設定,並勾選”Synchronize guest time with host“核取方塊。按一下 OK 以儲存設定。
測試網路連線
建議在本地端測試以虛擬機器形式運作的 Amazon Storage Gateway 與 AWS 雲端儲存之間的網路連線。
開啟 Storage Gateway 虛擬機器的電源。
使用預設憑證登入 AWS Appliance 虛擬機器。
使用者名稱:admin
密碼:password
您可以檢查 IP 位址。若您的網路中有 DHCP 伺服器,系統會自動取得 IP 設定。若要長期使用 Amazon Storage Gateway,建議設定靜態 IP 位址。
若要設定靜態 IP 位址,請按 2:
2: Network Configuration
接著輸入 3:
3: Configure Static IP
依照建議設定靜態 IP 位址。
在此範例中,Storage Gateway VA 的 IP 位址為 192.168.17.122 ,而網路遮罩為 255.255.255.0 。
完成 IP 網路設定後,應測試網路連通性。
在主選單中選擇 3:
3: Test Network Connectivity
接著選擇 1:
1: Public
輸入區域:
eu-west-1
選擇端點類型:
1: Standard
在本例中測試已通過,您可參閱下方的螢幕截圖。
建立儲存桶
在繼續之前,請確保您的帳戶已在 Amazon S3 中建立儲存桶。您可以使用 這個連結 來建立儲存桶。 本操作指南中使用的儲存桶名稱為 blog-bucket01 。您的 AWS 帳戶必須具備足夠的權限。若您打算使用其他應用程式存取該儲存桶,則應產生 AWS 存取金鑰。您可於 此 AWS 頁面取得帳戶的 AWS 存取金鑰 ID 及秘密存取金鑰。
檔案閘道啟用
現在您必須定義 Amazon Storage Gateway 的 IP 位址,並啟用檔案閘道。
返回 AWS 控制台網頁介面。如您所知,我們先前在”建立閘道”精靈的第二步暫停。若您已關閉該頁面,請開啟 AWS 控制台,前往 Services > Storage Gateway,點擊 Create Gateway。 在精靈的第一步( 選擇閘道類型 )中,請選擇 File gateway。上述步驟已在本操作指南開頭說明,並附有螢幕截圖。
Select host platform. 選擇 VMware ESXi ,然後點擊 Next。
Select service endpoint. 選擇 Public 作為端點類型,接著點擊 Next。必須允許您的網頁瀏覽器透過 TCP 埠 80 存取 Storage Gateway 虛擬機器。
檢查閘道虛擬機器(VA)的 IP 位址。 您可在 VMware vSphere Client 的介面中,選取所需的虛擬機器以查看其 IP 位址。在此範例中,AWS Storage Gateway 虛擬機器的內部 IP 位址為 192.168.17.122 。
請輸入虛擬機器的 IP 位址(即 Storage Gateway VA (virtual appliance)),而非路由器的外部(WAN)IP 位址。
點擊 Connect to gateway。
Activate gateway. 啟用閘道可將您的閘道與 AWS 帳戶安全地關聯起來。
選擇閘道的時區。
輸入閘道名稱,例如 Storage Gateway AWS 。此名稱可與虛擬機器名稱及虛擬機器(裝置)的 DNS 名稱不同。請注意,閘道虛擬機器上必須開啟 TCP 80 埠。
點擊 Activate gateway 並等待直到快取磁碟被識別。
Configure local disks. 請確認您的 150 GB 虛擬磁碟已分配給快取。接著點選 Configure logging。
Configure logging. 記錄功能可提供您額外的疑難排解與稽核能力。請選取 Create a new log group。 點選 Verify VMware HA。
若您的 Storage Gateway 虛擬機器正在 Verify VMware HAVMware 高可用性叢集中執行,請點選 。由於本範例中 Amazon Storage Gateway VA (virtual appliance) 未部署於 VMware HA 叢集,因此我們點選 Exit 。
至此,檔案閘道器已成功建立並正在執行中。 
建立檔案分享
現在該建立檔案分享,以便透過標準的 NFS 或 SMB (CIFS) 協定連線至儲存桶。讓我們設定透過 NFS 連線至 Amazon S3 儲存桶。
選取您的 File Gateway,然後按一下 Create file share (參見上方的螢幕截圖)。
輸入 S3 儲存桶名稱。本範例中使用的儲存桶名稱分別為 blog-bucket01 。
“使用以下方式存取物件”: Network File System (NFS)。
“閘道器”: 下拉式清單中選取已部署的 S3 Storage Gateway。
新增標籤屬可選步驟,可跳過。點擊 Next 繼續。
Storage. 設定檔案在 Amazon S3 中的儲存方式。
Amazon S3 儲存桶名稱: blog-bucket01
新物件的儲存類別: S3 Standard
物件元資料: 推測 MIME 類型 以及 授予儲存桶擁有者完全控制權 這些核取方塊必須勾選。
存取您的 S3 儲存桶。 建立新的 IAM 角色 。
加密: S3 託管金鑰 (SSE-S3)。
Review. 除了以下值之外,您可以保留 IAM 角色和其他值的預設值。
允許的客戶端: 0.0.0.0/0 – 預設允許來自任何 IP 位址的存取。基於安全性考量,建議定義自訂的允許 IP 位址。
壓縮層級 。在 Edit 的 Mount options 中,點擊 並選取 All squash ,以確保一切運作正常。
點擊 Create file share。
若 Create file share 按鈕處於非活躍狀態,請點擊 Previous ,然後再次點擊 Next 。
NFS 檔案分享已建立於您的檔案閘道上。 在 “檔案分享” 頁面的底部,您可以看到可用於將檔案分享掛載至 Linux、Windows 及 macOS的指令範例。
連線至檔案分享
讓我們建立一個目錄,作為 Linux 機器(Ubuntu 18.04)上的掛載點,並設定所需的權限。在此範例中,我們的 Linux 使用者帳戶名為 user1 。
mkdir /mnt/s3-gateway/
設定已建立目錄的所有者與權限:
chown user1:user1 /mnt/s3-gateway
chmod 0775 /mnt/s3-gateway
掛載由 AWS Storage Gateway 提供的 NFS 分享:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
可能會發生錯誤:
mount: /mnt/s3-gateway: 選項錯誤;對於某些檔案系統(例如 nfs、cifs),您可能需要使用 /sbin/mount。<type> 輔助程式
在這種情況下,請嘗試安裝 nfs-common 套件:
sudo apt install nfs-common
然後執行以下指令: sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
您可以透過以下指令,檢查 S3 儲存桶( blog-bucket01 )是否已由 AWS Storage Gateway 掛載為 NFS 共用,並指向 /mnt/s3/gateway/ :
df -h
mount | grep gateway
ls -al /mnt/s3-gateway/
如下方螢幕截圖所示,該儲存桶已成功掛載。
該儲存桶的相同內容也會顯示在 AWS 的網頁介面中。您可以確認一切運作正常,並在 Linux 控制台將檔案複製到儲存桶中,然後在 AWS 的網頁介面中檢查儲存桶的內容。
您可以透過編輯 /etc/fstab 來設定 Linux 開機時的自動掛載。
同樣地,您可以在 AWS Storage Gateway 上設定 SMB (CIFS) 共用,並在不同的作業系統中掛載該共用。 若為檔案閘道器選擇 SMB 選項,即可將您的 AWS Storage Gateway 加入 Active Directory 網域。
結論
Amazon Storage Gateway 是一項混合雲解決方案,讓您能在不大幅變更現行硬體與軟體配置的情況下,將現有的實體與虛擬基礎架構與 Amazon 雲端儲存整合使用。 本解決方案採用標準儲存協定——透過 SMB 和 NFS 提供對儲存於 Amazon S3 中以物件形式存放之檔案的檔案層級存取,並透過 iSCSI 提供對區塊儲存(Amazon EBS 卷宗)的存取。 您可以透過 iSCSI 連線至 Amazon S3 中的虛擬磁帶庫,而無需使用實體磁帶庫。這篇部落格文章已介紹 Amazon Storage Gateway 的運作原理,並說明如何在 VMware ESXi 上部署 File Gateway,以及如何從 Ubuntu Linux 透過 NFS 經由 File Gateway 連線至 Amazon S3 儲存桶。
您可以透過 Amazon Storage Gateway 手動將資料備份複製至 AWS,或使用支援 NFS、SMB 或 iSCSI 協定的專用備份解決方案。NAKIVO Backup & Replication 是一套通用資料保護解決方案,可讓您將資料備份至 Amazon S3 和 Amazon EBS。NAKIVO Backup & Replication 能夠直接將資料備份至 Amazon S3,無需使用 AWS Storage Gateway。
