Amazon Storage Gateway 的運作原理：完整指南
鑑於其可擴展性、可靠性及其他優勢,許多使用者與組織皆採用 Amazon Web Services (AWS)。在將資料遷移至 AWS 雲端時,您應考量某些特點。預設情況下,Amazon 提供網頁介面來管理雲端環境以及上傳/下載檔案。然而,若需定期上傳大量資料,使用網頁介面可能會不太方便。如果您使用 Amazon S3 作為資料的雲端儲存空間,您可以 將 S3 儲存桶掛載為網路磁碟 在您的作業系統中。
將儲存桶掛載為磁碟,可大幅簡化將檔案複製至 Amazon 雲端的流程。此解決方案適合小型企業及個別使用者,但若您打算在大型 Enterprise 環境中使用 Amazon 雲端儲存服務,則需要更具擴展性的解決方案。 另一個考量是,若多數流程都與貴公司資料中心內的實體伺服器相關,重建整個基礎架構絕非易事。所幸,Amazon 提供了一項特殊工具,讓您能利用現有的傳統實體基礎架構,將資料複製至 Amazon 雲端或從 Amazon 雲端擷取。此工具稱為 AWS Storage Gateway,本篇部落格文章將說明如何使用及設定 Amazon Storage Gateway。
什麼是 AWS Storage Gateway？
AWS Storage Gateway 是一項特殊的解決方案,它如同一座橋樑,連接您的傳統實體或虛擬機器與 AWS 中的雲端儲存空間。它能實現本地端與雲端環境之間的無縫整合。AWS Storage Gateway 提供對 Amazon S3 儲存空間、Amazon S3 Glacier、Amazon S3 Glacier Deep Archive 以及 Amazon EBS(彈性區塊儲存)的無限存取權限。這種整合本地端儲存與雲端儲存的概念,亦可稱為混合儲存。 由於必須建立與 AWS 伺服器的連線,因此 Amazon Storage Gateway 需要網路連線。
儲存閘道器的類型
AWS 儲存閘道共有三種類型:檔案閘道、卷閘道和磁帶閘道。
File Gateway此儲存閘道類型可透過 SMB(CIFS 協定第 2 版和第 3 版)及 CIFS/NFS 分享(協定第 3 版和第 4.1 版),存取儲存於 Amazon S3 儲存桶中的物件檔案。 您必須在作業系統中設定 SMB(伺服器訊息區塊)或 NFS(網路檔案系統)掛載點,才能存取 S3 儲存桶中的檔案/物件。
檔案閘道支援以下 Amazon S3 儲存類別:S3 Standard、S3 Standard-Infrequent Access (IA) 以及 S3 One Zone-IA。 本服務支援版本控制功能——您可透過 NFS 或 SMB 協定存取檔案並進行編輯、刪除及重新命名,且每次檔案修改都會以新版本的形式儲存於 S3 儲存桶中。針對檔案分享啟用版本控制的主要優勢在於擴展了資料還原能力。除了版本控制外,您還可為儲存於 Amazon S3 中的物件啟用生命週期管理及跨區域複製功能。
您可以在資料中心 1 的伺服器 1 上部署一台 Storage Gateway 虛擬機器,並在資料中心 2 的伺服器 2 上部署另一台 Storage Gateway 虛擬機器。如果這兩台閘道器都連接到同一個儲存桶,且兩台伺服器都連接到對應的 Storage Gateway,那麼您就可以從伺服器 1 將檔案上傳至 S3 儲存桶,並透過 NFS 或 SMB 共用在伺服器 2 上查看該檔案。 這得益於 RefreshCache API 呼叫,該呼叫會觸發檔案閘道器 2 重新進行清點。
Volume Gateway 讓您在本地端運行的伺服器和應用程式能夠透過 iSCSI 協定(Internet Small Computer Systems Interface)連線至雲端中的 AWS 區塊儲存(EBS 卷)。雖然檔案閘道所使用的 SMB 和 NFS 是檔案層級的分享協定,但 iSCSI 則是在區塊層級運作。卷閘道主要分為兩種類型:儲存卷和快取卷。
儲存卷. 您的本地儲存裝置,例如實體伺服器上的硬碟,或是 虛擬磁碟 的 虛擬機器, 作為主要資料儲存裝置。系統會以 EBS 快照的形式,將資料異步備份至 Amazon S3。使用儲存卷時,您可以享有低延遲的儲存存取體驗。儲存卷的大小範圍為 1 TB 至 16 TB。儲存卷會以 iSCSI 裝置的形式掛載。
快取卷 (快取閘道)。頻繁存取的資料儲存於 EBS 卷宗中,而較少使用的資料則會遷移至 Amazon S3。此方法更具成本效益,因為使用 Amazon S3 儲存桶的價格低於使用 EBS 卷宗的價格。卷宗的最大容量可達 32 TB。 磁碟區會以 iSCSI 裝置的形式掛載。
在將 Volume Gateway 用於區塊儲存時,可將磁碟區掛載至或從 Volume Gateway 卸載。此特點讓您能在閘道之間遷移磁碟區,例如用於升級本地伺服器(本地)上的儲存硬體。
Tape Gateway 用於將資料備份至 Amazon Glacier 進行長期歸檔,並將該資料儲存於虛擬磁帶中。實際上,資料是儲存於 Amazon S3 Glacier 或 Amazon S3 Glacier Deep Archive 中。在此情況下,原本用於連接磁帶機和磁帶庫以將資料寫入磁帶的實體介面,將被相容的 Tape Gateway Library 介面所取代,讓您能夠將資料儲存於 Amazon 雲端中。 iSCSI 協定用於將現有的備份裝置連接到磁帶閘道。現有的備份配置和工作流程均可保留。您可以透過磁帶閘道直接將資料儲存至雲,或使用專用的資料備份應用程式進行儲存。
磁帶閘道可用於備份資料,無需對現有的備份配置進行重大變更,亦可作為實體磁帶機和磁帶庫(其成本效益較低)的替代方案。
支援的主機平台
AWS Storage Gateway 以 VA (virtual appliance) 的形式提供,可部署於不同平台上。
支援的主機虛擬化平台包括:
- VMware ESXi
- Hyper-V (2012 R2 或更新版本)
- Linux KVM
- Amazon EC2
不過,如果組織的基礎架構中沒有任何虛擬化平台,也可以使用一款硬體裝置。您可以在 Amazon 網站上購買 Amazon Storage Gateway 裝置,我們會將其寄送給您。
定價
亞馬遜針對所提供的雲端服務採行"按用量計費"的定價政策,Amazon Storage Gateway 亦不例外。收費標準取決於儲存類型(Amazon S3 或 EBS)以及 AWS 區域。若您將資料儲存於 Amazon S3,價格將依據 S3 儲存類別及請求次數而定,並以每月每 GB 為單位計算。若您將資料儲存於 EBS 卷,則僅在建立快照時才會產生費用。 至於 Amazon Storage Gateway,您需支付閘道使用費(按每個閘道每月計費)。您可於 亞馬遜網站 隨時。
AWS Storage Gateway 的優勢
使用 Amazon Storage Gateway 的主要優勢包括:
- 整合硬體與軟體配置,無需變更硬體。
- 能夠同時使用本地儲存空間與 Amazon 雲端儲存空間(即混合儲存概念)。
- 流暢 遷徙 從實體基礎設施遷移至 AWS 雲。
如何部署 AWS 儲存 Gateway？
讓我們來了解如何部署 AWS Storage Gateway,透過 NFS 連線至檔案閘道,以存取儲存在 Amazon S3 中的物件檔案。您需要擁有一個 AWS 帳戶,以及一台用於執行 Storage Gateway 虛擬機的主機。
下載圖片
開啟 AWS 控制台的網頁介面。
點擊 Services 並選擇 Storage Gateway 在 儲存 類別。
在 儲存閘道 頁面,點擊 Create Gateway 按鈕位於 閘道器 導覽窗格中的區段。在此頁面中,您可以找到先前建立的儲存閘道(如有)。
該 建立閘道 精靈已開啟。
Select gateway type. 選擇 File gateway 若要以物件形式將檔案儲存至 Amazon S3,請按一下 Next 在精靈的每個步驟中,請點擊以繼續。
Select host platform. 共有五種受支援的主機平台可供部署。請選擇 VMware ESXi 然後點擊 Download image 按鈕。
儲存檔案。在本例中,下載檔案的名稱為 aws-storage-gateway-latest.ova 然後我們將此檔案儲存至 D:virtual 在本地電腦上。請勿關閉當前顯示該頁面的瀏覽器分頁 建立閘道 AWS 網頁介面中顯示的設定精靈,因為您稍後需要從此步驟繼續設定儲存閘道。
在 ESXi 主機上部署 VA (virtual appliance)
現在您必須部署已下載的 aws-storage-gateway-latest.ova ESXi 主機上的範本檔案。在本範例中,ESXi 主機由 vCenter 我們將使用 VMware vSphere Client 的網頁介面來部署 AWS Storage Gateway VA。
連線至您的 vCenter,前往 Hosts and Clusters 並選擇具備足夠可用資源的所需 ESXi 主機。
需求: 檔案閘道器需要 16 GB 記憶體、4 個虛擬處理器 (vCPU)、一個 80 GB 的虛擬磁碟,以及一個額外的 150 GB 虛擬磁碟用作儲存快取。
在本範例中,我們選擇 IP 位址為 10.10.10.90. 在 vSphere Client 中選取 ESXi 主機後,請按一下 Actions > Deploy OVF Template.
"部署 OVF 範本"精靈隨即開啟。
1. Select an OVF template. 選擇 Local file 然後點擊 Browse 以選取已下載的 ova 檔案。在此情況下,我們選擇 aws-storage-gateway-latest.ova 在 D:虛擬. 點擊 Next 在精靈的每個步驟中,請點擊以繼續。
2. Select a name and folder. 請輸入虛擬機器名稱,例如: aws-storage-gateway 並在 vCenter 中為虛擬機器選擇一個位置。
3. Select a compute resource. 請選擇一個將用於執行 Storage Gateway 虛擬機的主機。我們選擇 10.10.10.90 在此範例中。
4. Review details. 請確認並檢視您即將部署的 AWS Storage Gateway VA (virtual appliance) 的範本詳細資訊。
5. Select storage. 請選擇具有足夠可用空間的資料儲存區,以存放虛擬磁碟檔案及其他虛擬機器檔案。請選擇虛擬磁碟格式。建議選擇 厚配置 作為虛擬磁碟格式,因為虛擬磁碟運作所需的所有儲存空間都會立即分配。欲進一步了解厚式與薄式配置,請參閱 這篇部落格文章.
6. Select networks. 請選擇一個 vSwitch 該 vSwitch 連接到路由器並提供網際網路連線。虛擬機器部署完成後,其虛擬網路介面卡將連接到此 vSwitch 及對應的網路。
7. Ready to complete. 檢視將從範本部署的虛擬機器設定,然後按下 Finish 開始建立虛擬機器。請閱讀關於 虛擬機器範本 了解更多。
請等待 Storage Gateway 虛擬機器從範本部署完成。您可以在 最近的任務 vSphere Client 中的工具列。
虛擬機器部署完成後,您可以在對應的 ESXi 主機的虛擬機器清單中看到先前所定義的虛擬機器名稱(10.10.10.90 (以我們的情況為例)。
右鍵點擊虛擬機器(aws-storage-gateway (此處為本範例中從範本部署的 Storage Gateway 虛擬機器的名稱),然後在快顯選單中點選 Edit Settings.
現在您必須新增一個用於快取的虛擬硬碟。此虛擬硬碟用於儲存最近存取的檔案以及經常存取的檔案,以減少存取該資料時的延遲。
在 虛擬硬體 的""分頁 編輯設定 點擊視窗 Add new device 並選擇 Hard disk.
AWS Storage Gateway 用於儲存快取的虛擬硬碟建議最小大小為 150 GB。您應為快取建立一個"厚配置"虛擬硬碟。在 新硬碟 字串,類型 150 GB。在 磁碟配置 字串,請選擇其中一個 Thick Provisioning 選項。按下 OK 以儲存設定並建立虛擬磁碟。
請確保 Storage Gateway 虛擬機器、ESXi 主機及 vCenter 伺服器上的時間設定正確。虛擬機器上的時間必須與其他系統同步,以避免問題並確保閘道器能成功啟用。
請選擇您的 aws-storage-gateway 在虛擬機器清單中,點選 Edit Settings. 在 編輯設定 在螢幕上選取 虛擬機器選項 分頁,點擊 VMware Tools 展開設定,然後選取"Synchronize guest time with host” 核取方塊。按下 OK 以儲存設定。
測試網路連線
建議在本地端測試以虛擬機器形式運作的 Amazon Storage Gateway 與 AWS 雲端儲存空間之間的網路連線。
啟動 Storage Gateway 虛擬機器。
使用預設憑證登入 AWS Appliance 虛擬機器。
使用者名稱:admin
密碼:password
您可以檢查 IP 位址。如果您的網路中有 DHCP 伺服器,系統會自動取得 IP 設定。若要長期使用 Amazon Storage Gateway,建議設定靜態 IP 位址。
若要設定靜態 IP 位址,請按 2:
2: Network Configuration
然後輸入 3:
3: Configure Static IP
請依照建議設定靜態 IP 位址。
在本範例中,Storage Gateway VA 的 IP 位址為 192.168.17.122 而子網掩碼是 255.255.255.0.
完成 IP 網路設定後,應測試網路連線。
在主選單中選擇 3:
3: Test Network Connectivity
然後選擇 1:
1: Public
請輸入地區:
eu-west-1
選擇端點類型:
1: Standard
在我們的案例中,測試已通過,您可以在下方的螢幕截圖中看到。
建立儲存桶
在繼續之前,請確認您的帳戶已在 Amazon S3 中建立了一個儲存桶。您可以使用 此連結 建立一個儲存桶。本教學中使用的儲存桶名稱是 blog-bucket01. 您的 AWS 帳戶必須具備足夠的權限。若您打算使用其他應用程式存取儲存桶,則應生成 AWS 存取金鑰。您可以在 此 AWS 頁面.
檔案閘道啟用
現在您必須設定 Amazon Storage Gateway 的 IP 位址,並啟用 File Gateway。
請返回 AWS 控制台網頁介面。如您所知,我們在"建立閘道"精靈的第二步暫停了。如果您已關閉該頁面,請開啟 AWS 控制台,前往 Services > Storage Gateway,點擊 Create Gateway. 在精靈的第一個步驟中(選擇閘道器類型) 選取 File gateway. 上述步驟已在操作指南開頭說明,並附有螢幕截圖作為輔助。
Select host platform. 選擇 VMware ESXi 然後點擊 Next.
Select service endpoint. 選擇 Public 作為終點類型,然後按下 Next. 必須允許您的網頁瀏覽器透過 TCP 80 埠存取 Storage Gateway 虛擬機器。
請檢查閘道虛擬機器 (VA) 的 IP 位址。您可以在 VMware vSphere Client 的介面中,選取所需的虛擬機器,即可找到該虛擬機器的 IP 位址。在此範例中,AWS Storage Gateway 虛擬機器的內部 IP 位址為 192.168.17.122.
請輸入虛擬機器(Storage Gateway VA)的 IP 位址,而非路由器的外部(WAN)IP 位址。
點擊 Connect to gateway.
Activate gateway. 啟用閘道器可將您的閘道器安全地與您的 AWS 帳戶關聯。
選擇閘道器的時區。
輸入閘道器名稱,例如 儲存閘道 AWS. 此名稱可能與虛擬機器(VM)的名稱以及虛擬機器(裝置)的 DNS 名稱不同。請注意,必須在閘道器虛擬機器上開啟 TCP 80 埠。
點擊 Activate gateway 並等待直到識別出快取磁碟。
Configure local disks. 請確認您的 150 GB 虛擬磁碟已分配給快取。接著按下 Configure logging.
Configure logging. 記錄功能可提供您更多用於疑難排解和稽核的能力。請選擇 Create a new log group. 點擊 Verify VMware HA.
點擊 Verify VMware HA 如果您的 Storage Gateway 虛擬機器正在 VMware 高可用性叢集. 我們撞上了 Exit 因為在本範例中,Amazon Storage Gateway VA 並未部署在 VMware HA 叢集中。
現在檔案閘道已成功建立並正在運行。
建立檔案分享
現在是時候建立一個檔案分享,以便透過標準的 NFS 或 SMB (CIFS) 協定連線至儲存桶。讓我們設定透過 NFS 連線至 Amazon S3 儲存桶。
選擇您的 File Gateway,然後點擊 Create file share (請參閱上方的螢幕截圖)。
輸入 S3 儲存桶名稱。本範例中使用的儲存桶名稱是 blog-bucket01.
使用以下方式存取物件: Network File System (NFS).
入口: 在下拉式清單中選取已部署的 S3 儲存 Gateway。
新增標籤屬可選步驟,可跳過。按下 Next 繼續。
Storage. 設定檔案在 Amazon S3 中的儲存方式。
Amazon S3 儲存桶名稱: blog-bucket01
新物件的儲存類別: S3 標準
物件元資料: 推測 MIME 類型 以及 授予桶擁有者完全控制權 必須勾選這些核取方塊。
存取您的 S3 儲存桶。 建立新的 IAM 角色.
加密: S3 託管金鑰 (SSE-S3)。
Review. 除了以下值之外,您可以保留 IAM 角色的預設值以及其他值的預設設定。
允許的客戶端: 0.0.0.0/0 – 預設情況下,允許從任何 IP 位址存取。基於安全考量,建議定義自訂的允許 IP 位址。
壁球等級. 點擊 Edit 在 掛載選項 並選擇 All squash 以確保一切運作正常。
點擊 Create file share.
如果 Create file share 按鈕目前無法使用,請點擊 Previous 然後點擊 Next 再次。
NFS 檔案分享已建立在您的檔案閘道器上。在 檔案分享 在此頁面中,您可以查看可用於將您的檔案分享掛載至 Linux、Windows 及 macOS.
連線至檔案分享
讓我們在 Linux 系統(Ubuntu 18.04)上建立一個目錄,作為掛載點,並設定必要的權限。在此範例中,我們的 Linux 使用者帳號名稱是 user1.
mkdir /mnt/s3-gateway/
設定已建立目錄的所有者與權限:
chown user1:user1 /mnt/s3-gateway
chmod 0775 /mnt/s3-gateway
掛載由 AWS Storage Gateway 提供的 NFS 共用資料夾:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
可能會發生錯誤:
mount: /mnt/s3-gateway:選項不正確;對於某些檔案系統(例如 nfs、cifs),您可能需要使用 /sbin/mount。
在這種情況下,請嘗試安裝 nfs-common 套件:
sudo apt install nfs-common
接著執行以下指令:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
您可以檢查 S3 儲存桶(blog-bucket01) 已掛載為由 AWS Storage Gateway 提供的 NFS 共用資料夾,路徑為 /mnt/s3/gateway/ 使用以下指令:
df -h
mount | grep gateway
ls -al /mnt/s3-gateway/
如下方截圖所示,儲存桶已成功掛載。
該儲存桶的內容也會顯示在 AWS 的網頁介面上。您可以確認一切運作正常,方法是將檔案從 Linux 控制台複製到儲存桶中,然後在 AWS 的網頁介面上檢查儲存桶的內容。
您可以透過編輯來設定 Linux 開機時的自動掛載 /etc/fstab.
同樣地,您可以在 AWS Storage Gateway 上設定 SMB (CIFS) 共用,並在不同的作業系統中掛載該共用。若您為檔案閘道器選取 SMB 選項,即可將您的 AWS Storage Gateway 加入 Active Directory 網域。
結論
Amazon Storage Gateway 是一項混合雲解決方案,讓您能在不大幅變更現有硬體與軟體配置的情況下,將現有的實體與虛擬基礎架構與 Amazon 雲端儲存整合使用。此方案採用標準儲存協定:透過 SMB 和 NFS 提供對 Amazon S3 中以物件形式儲存之檔案的檔案層級存取,並透過 iSCSI 提供對區塊儲存(Amazon EBS 卷宗)的存取。 您可以透過 iSCSI 連線至 Amazon S3 中的虛擬磁帶庫,而無需使用實體磁帶庫。這篇部落格文章已說明 Amazon Storage Gateway 的運作原理,並解說如何在 VMware ESXi 上部署 File Gateway,以及如何透過 Ubuntu Linux 上的 File Gateway 經由 NFS 連線至 Amazon S3 儲存桶。
Amazon Storage Gateway 可用於手動將資料備份複製至 AWS,或搭配支援 NFS、SMB 或 iSCSI 協定的專用備份解決方案進行操作。 NAKIVO Backup & Replication 這是一套通用的資料保護解決方案,可讓您將資料備份至 Amazon S3 和 Amazon EBS。 NAKIVO Backup & Replication 可直接將資料備份至 Amazon S3,無需使用 AWS Storage Gateway。
