什麼是 VMFS？VMware 檔案系統概述
VMware vSphere 是資料中心中最常部署的虛擬化平台。它提供豐富的 Enterprise 特點,用於執行虛擬機器 (VM)。為了提供與 vSphere 特點相容且可靠、高效的儲存解決方案,VMware 開發了專屬的檔案系統,名為 VMFS.
這篇部落格文章介紹 VMware VMFS 特點、它們如何與其他 vSphere 功能協同運作,以及 VMFS 用於儲存虛擬機器檔案及執行虛擬機器。
什麼是 VMFS?
Virtual Machine File System (VMFS) 這是一個針對儲存虛擬機器檔案(包括 VMware vSphere 中的虛擬磁碟)所優化的叢集檔案系統。其開發目的是為了提升虛擬機器的儲存虛擬化效率。 VMFS 這是一款高效能且可靠的專有檔案系統,專為在可擴展環境中運行虛擬機器(VM)而設計——適用於從小型到大型,乃至超大型的資料中心。 VMware vSphere VMFS 作為卷管理器,並允許您將虛擬機器檔案儲存於稱為 VMFS 資料存放區。
該 VMFS 可在以下位置建立檔案系統 SCSI基於磁碟的系統(直接連接 SCSI 以及 SAS 磁碟)以及透過儲存設備 iSCSI, Fibre Channel (FC),以及 Fibre Channel over Ethernet (FCoE). VMFS 可在連接至 ESXi 伺服器的磁碟上運作,但無法在執行 VMware Workstation 或 VMware Player.
VMFS 版本
VMware VMFS 自第一版本發布以來,已有了顯著的演進。以下是簡要概述: VMFS 版本,用以追蹤主要變更與特點。
VMFS 1曾用於 ESX Server 1.x。此版本的 VMwareVMFS不支援叢集特點,且每次僅限於單一伺服器使用。不支援多台伺服器的並行存取。VMFS 2曾用於 ESX Server 2.x,有時也用於 ESX 3.x。VMFS 2沒有目錄結構。VMFS 3曾用於 vSphere 中的 ESXi Server 3.x 和 ESXi Server 4.x。此版本新增了對目錄結構的支援。檔案系統的最大容量為 50 TB。最大logical unit number (LUN)容量為 2 TB。 ESXi 7.0 不支援VMFS 3.VMFS 5此功能自 VMware vSphere 5.x 起開始使用。卷(檔案系統)大小已增加至 64 TB,而 VMDK 檔案的最大大小則增加至 62VMFS 5. 然而,ESXi 5.5 對 VMDK 虛擬磁碟的大小支援上限為 2 TB。支援GPT已新增分割區佈局。兩者GPT以及MBR受支援(先前VMFS僅支援以下版本MBR).VMFS 6於 vSphere 6.5 版本中發布,並應用於 vSphere 6.7, vSphere 7.0,以及較新版本,例如 vSphere 8.
VMFS 特點
VMware VMFS 因為……,因此特別適合儲存大型檔案 VMDK 虛擬磁碟通常會佔用大量儲存空間。一個 VMFS 資料存放區是一種使用 VMFS 用於在基於區塊的儲存裝置上儲存檔案的檔案系統,或 LUN. 資料存放區是建置在儲存卷之上的。一個 VMFS volume 可透過使用一個或多個 extents. 儲存區取決於底層的分區。
VMware VMFS 區塊大小
VMFS 5 以及 VMFS 6 使用 1 MB 的區塊大小。區塊大小會影響檔案的最大大小,並決定檔案所佔用的空間。您無法變更此檔案的區塊大小 VMFS 5 以及 VMFS 6.
VMware 採用 sub-block allocation 適用於小型目錄及檔案,且 VMFS 6 以及 VMFS 5. Sub-blocks 當儲存小於 1 MB 的檔案時,可協助節省儲存空間,避免這些檔案佔用整個 1 MB 區塊。一個 sub-block 為 64 KB VMFS 6 以及 8 KB 用於 VMFS 5.
VMFS 6 引入了一種使用小檔案區塊與大檔案區塊的新概念。請勿將小檔案區塊與預設的 1 MB 區塊混為一談。大小為 small file blocks (SFB) 在 VMFS 6 是 1 MB。 VMFS 6 也可以使用 large file blocks (LFB),其大小為 512 MB,以提升建立大型檔案時的效能。 LFBs 主要用於建立厚式配置磁碟和暫存檔。配置磁碟中無法容納的部分 LFBs,位置在 SFBs. SFBs 用於 薄配置磁碟.
檔案碎片化
所謂的碎片化,是指一個檔案的區塊分散在磁碟區各處,且彼此之間存在空隙。這些空隙可能是空的,也可能是被其他檔案的區塊佔用的。碎片化的檔案會降低磁碟的讀寫效能。 要恢復效能,必須進行磁碟重組,即重新整理儲存於磁碟上的資料片段,使其在磁碟上具有相同的位置(將檔案使用的區塊連續排列在一起)。如此一來,硬碟的讀寫頭便能讀寫這些區塊,無需額外的頭部移動。
VMware VMFS 不太容易發生嚴重的檔案碎片化。碎片化與 VMFS 因為使用了大型區塊。該 VMware VMFS 如前所述,區塊大小為 1 MB。例如,Windows 的 NTFS 檔案系統使用 4 KB 的區塊,若其位置在硬碟上,應定期進行磁碟重組。儲存於 VMFS 不過,佔用大量空間的通常是大型檔案——例如虛擬磁碟檔案、暫存檔以及安裝映像檔。如果檔案之間存在空隙,這些空隙通常也相當大;當硬碟需要尋道讀取用於儲存檔案的多個區塊時,這種影響微乎其微。事實上, VMFS 無法對該磁碟區進行碎片整理,而且也沒有這個必要。
請勿在客體作業系統 (OS) 中對該客體 OS 所使用的磁碟執行磁碟重組。從客體 OS 執行磁碟重組並無助益。這是因為虛擬機器 (VM) 的儲存效能取決於 input/output (I/O) 在物理儲存陣列上的負載,該陣列儲存了多個虛擬機器(包括以 VMDK 檔案形式存在的虛擬磁碟),且這些虛擬機器可透過不同方式使用此儲存陣列 I/O 大量。此外,若您從客體作業系統開始對位於精簡配置磁碟上的分割區進行磁碟重組,區塊將會被移動,儲存位置 I/O 隨著負載增加,這些薄磁碟的容量也會隨之增大。
對連結克隆虛擬機器(linked clone VMs)以及具有快照的虛擬機器進行磁碟重組,會導致重做日誌(redo logs)增加,進而佔用更多儲存空間。如果您 使用解決方案備份 VMware 虛擬機器 依賴於 變更區塊追蹤此外,磁碟重組也會增加已變更區塊的數量,由於需要備份的資料量增加,因此備份時間也會隨之延長。在執行時,從客體作業系統進行磁碟重組會產生負面影響 Storage vMotion 將虛擬機器移至其他資料存放區。
資料存放區區段
A VMFS volume 位於一個或多個 extents. 每個 extent 佔用了一個分割區,而該分割區的位置則位於底層的 LUN. Extents 為……提供額外的擴展性 VMFS volumes. 當您建立一個 VMFS volume,您至少使用一個 extent. 您可以再添加更多 extents 至現有的 VMFS volume 以擴展磁碟區。區段與 RAID 0 striping.
- 若您發現其中一個已連接的延伸區塊已離線,您可以識別出該卷中的哪個延伸區塊處於離線狀態。只需輸入以下指令:
vmkfstools -Ph /vmfs/volumes/iscsi_datastore/The result displays the SCSI identifier (NAA id) of the problematic LUN.
- 如果其中一個延伸區塊發生故障,則
VMFS volume仍可保持在線狀態。但如果虛擬機器的虛擬磁碟在發生故障的區段中至少有一個區塊,該虛擬機器的虛擬磁碟便會無法存取。 - 如果某個
VMFS volume一旦該資料存放區離線,整個 VMFS 資料存放區將會變為非活躍狀態,因為位址解析資源的位置位於第一個區段中。因此,請使用VMFS extents以建立並擴大VMFS volumes如果沒有其他方法可以增加音量。
請定期備份 VMware vSphere,以保護虛擬機器資料並避免因 VMFS volumes 包含多個 extents 儲存虛擬機器檔案。
日誌記錄
VMFS 使用磁碟上的分散式日誌來更新檔案系統的元資料。建立一個 VMFS 檔案系統、VMware VMFS 分配儲存空間以存放日誌資料。日誌記錄用於追蹤尚未提交至檔案系統的變更。
將變更寫入檔案系統元資料中進行日誌記錄,可提高在發生意外關機或系統當機時,成功還原檔案最新版本的可能性。日誌記錄有助於重播自上次成功提交以來的變更,從而重建 VMFS 檔案系統資料。日誌式檔案系統在發生故障後,無需執行完整的檔案系統檢查來驗證資料一致性,因為您可以直接檢查日誌。有 .sf 位於根目錄中的檔案 VMFS 用於儲存 VMFS 檔案系統元資料的儲存區。每個連接到該 VMFS 資料存放區可存取此元資料,以取得資料存放區中每個物件的狀態。
VMFS 元資料包含檔案系統描述符:區塊大小、卷容量、延伸區數量、卷標、 VMFS 版本,以及 VMFS UUID. VMFS 元資料對於……可能有所幫助 VMFS 還原.
目錄結構
建立虛擬機器時,所有虛擬機器檔案(包括 VMDK 虛擬磁碟檔案)都會存放於資料存放區上的單一目錄中。該目錄名稱與虛擬機器名稱相同。若需將特定 VMDK 檔案儲存至其他位置(例如,存放在另一個 VMFS (資料存放區),您可以手動複製 VMDK 檔案,並在虛擬機器設定中開啟該虛擬磁碟以掛載磁碟。結構化的架構可簡化備份與 災難還原 因為在進行虛擬機器備份時,應將目錄中的內容一併複製,以便在原始虛擬機器發生資料遺失時能夠進行還原。
精簡配置
精簡配置是一種 VMFS 這項特點可優化儲存空間利用率,並有助於節省儲存空間。您可以在虛擬磁碟層級(針對虛擬機器中的特定虛擬磁碟)設定精簡配置。 當資料寫入精簡配置的虛擬磁碟時,該虛擬磁碟的大小會動態擴展。精簡磁碟的優勢在於,僅在任何特定時刻使用磁碟所需的儲存空間。
例如,您建立了一個大小為 50 GB 的精簡配置虛擬磁碟,但此虛擬磁碟僅使用了 10 GB 的儲存空間。虛擬磁碟檔案的大小(*-flat.vmdk) 在此情況下為 10 GB。客體作業系統偵測到磁碟的最大容量為 50 GB,並顯示已使用空間為 10 GB。
您可以確保精簡配置依賴於 VMFS 檔案系統,若您嘗試複製一個精簡配置的虛擬磁碟 (.vmdk 以及 -flat.vmdk 虛擬磁碟檔案)至格式化為 NTFS 的本地磁碟,或 ext4 檔案系統。複製虛擬磁碟後,虛擬磁碟的大小將等於最大預配置磁碟大小(而非上該薄預配置磁碟的實際大小) VMFS 資料存放區).
註: VMware vSphere 亦支援建立資料存放區,包括位於 NFS 檔案系統,並支援精簡配置。
回收可用空間
自動空間回收(自動 SCSI UNMAP) 來自 VMFS 6 以及客體作業系統,使儲存陣列能夠從 VMFS 資料存放區。在 VMware vSphere 6.0 及 VMFS 5, 空間回收是透過手動方式進行的,使用 esxcli storage vmfs unmap 指令。
空間回收特點可解決以下問題:當底層儲存裝置無法偵測到檔案系統中已刪除的檔案時,必須釋放相應的實體儲存空間(磁碟上的區塊)。此特點對於薄配置磁碟特別有用。當來賓作業系統刪除薄虛擬磁碟內的檔案時,該磁碟的已用空間會減少,而檔案系統也不會再使用對應的區塊。 此時,檔案系統會通知儲存陣列這些區塊現已閒置,儲存陣列便會釋放選定的區塊,這些區塊隨後即可用於寫入資料。
讓我們來仔細看看,在使用虛擬化與虛擬機器時,儲存裝置中的資料是如何被刪除的。假設有一台虛擬機器,其客體作業系統使用的是具備 NTFS 等檔案系統的虛擬磁碟, ext4,或另一個檔案系統。此精簡配置的虛擬磁碟儲存於一個具備 VMFS 檔案系統。該 VMFS 檔案系統正在使用底層分割區,且 LUN 位於儲存陣列上。
- 在虛擬磁碟上使用某種檔案系統(例如 NTFS)運作的客體作業系統中,刪除了某個檔案。
- 來賓作業系統啟動
UNMAP. - 位於
VMFS資料存放區縮小(虛擬磁碟的大小減少)。 - ESXi 啟動
UNMAP至實體儲存陣列。
UNMAP 由……發布 ESXi 附上 VMFS 當檔案從資料存放區中刪除或移動時 VMFS 資料存放區(VMDK 檔案、快照檔案、暫存檔、ISO 映像檔等),當從客體作業系統縮小分割區時,以及當虛擬磁碟內的檔案大小減少時。
自動 UNMAP 因為 VMware VMFS 6 自 ESXi 6.5 起,此操作採非同步處理。可用空間的回收不會立即發生,但最終會在無需使用者介入的情況下完成回收。
非同步 UNMAP 具有一些優勢:
- 避免硬體儲存陣列立即過載,因為
UNMAP請求是以恆定速率發送的。 - 必須釋放的區域會被分批處理,並一併解除映射。
- 這不會對輸入/輸出效能及其他操作造成負面影響。
是怎麼 UNMAP 在之前的 ESXi 版本中能運作嗎？
- ESXi 5.0 –
UNMAP是自動且同步的 - ESXi 5.0 Update 1 –
UNMAP是透過 vmkfstools 在command line interface (CLI) - ESXi 5.5 與 ESXi 6.0 – 手冊
UNMAP在以下環境中執行時,其效能已獲得提升ESXCLI - ESXi 6.0 –
EnableBlockDelete允許VMFS發布UNMAP若從虛擬機器內部縮小 VMDK 虛擬磁碟檔案,則會自動執行UNMAP.
快照與稀疏虛擬磁碟
您可以選擇 VMware 中的虛擬機器快照 vSphere 會儲存當前虛擬機器及虛擬磁碟的狀態。當您建立虛擬機器快照時,系統會在 VMFS 資料存放區 (a -delta.vmdk 檔案)。此快照檔案稱為"增量磁碟"或"子磁碟",代表虛擬機器當前狀態與建立快照時的前一狀態之間的差異
在 VMFS 在資料存放區中,增量磁碟是一種稀疏磁碟,它採用"寫入時複製"機制,在建立快照後寫入新資料時節省儲存空間。根據底層的配置不同,稀疏格式主要分為兩種類型: VMFS 資料存放區: VMFSsparse 以及 SEsparse.
VMFSsparse用於VMFS 5以及容量小於 2 TB 的虛擬磁碟。此快照技術是建構於VMFS因為重做日誌在啟動時是空的,並會在快照擷取後寫入資料時逐漸增長。SEsparse用於容量大於 2 TB 的虛擬磁碟,適用於VMFS 5以及所有位於VMFS 6. 此格式基於 VMFSsparse 格式,但進行了一系列增強,例如支援空間回收功能,這使得 ESXi 虛擬機器管理程式能夠UNMAP在客體作業系統刪除資料或刪除快照檔案後,剩餘的未使用區塊。
註: 在 ESXi 6.7 中, VMFS 6, UNMAP 因為 SEsparse 磁碟(針對精簡配置磁碟的快照磁碟)會自動啟動,因為該磁碟上存在 2 GB 的閒置空間(資料已被刪除但尚未回收) VMFS 檔案系統。如果您從客體作業系統刪除多個檔案,例如四個 512 MB 的檔案,那麼異步 UNMAP 已啟動。您可以觀看即時 UNMAP 在…中更新統計資料 esxtop 按下 v 啟用 VM 檢視後,請按下 f 以選擇欄位順序,並按下 L 顯示 UNMAP 統計資料。預設值為 2 GB,不過您可以在 CLI. 在 ESXi 7.0 U3 中,由 VMFS 是 2 GB。
RAW Device Mapping
整合 Raw Device Mapping (RDM) 磁碟至 VMware VMFS 此架構在處理虛擬機器儲存時,能提供您更大的彈性。共有兩種 RDM VMware vSphere 中的相容性模式。
RDM處於虛擬相容模式的磁碟. 會在VMFS資料存放區 (*-rdmp.vmdk) 來映射一個實體LUN在儲存陣列上指派給虛擬機器。使用此方法將實體儲存空間映射至虛擬機器時,有幾項特定注意事項。主要儲存管理操作,例如
Open以及其他SCSI指令會透過 ESXi 虛擬化程式管理員的虛擬化層傳遞,但Read and Write指令會直接傳送至儲存裝置進行處理,並繞過虛擬化層。
這表示虛擬機器可以與已映射的
RDM SCSI雖然它僅作為儲存裝置使用,但大多數 vSphere 特點(例如快照)仍可使用。
RDM處於實體相容模式的磁碟. ESXi 主機會在VMFS資料存放區,但SCSI指令會被處理為一個LUN直接存取裝置,從而繞過虛擬化管理程式的虛擬化層(除了LUNReport(指令)。這是一種虛擬化程度較低的磁碟類型。不支援 VMware 快照。
聚類特點
Clustering and concurrent access對資料存放區中的檔案進行操作,是另一項出色的特點VMware VMFS. 與傳統檔案系統不同,VMware VMFS允許多個伺服器在任何時刻讀取和寫入檔案資料。透過鎖定機制,多個 ESXi 主機可同時存取虛擬機器檔案,且不會造成資料損毀。每個 VMDK 檔案都會加上鎖定機制,以防止兩個虛擬機器或兩個 ESXi 主機同時對開啟的 VMDK 檔案進行寫入。VMware 在 VMFS 中共享儲存裝置中支援兩種檔案鎖定機制。Atomic test and set (ATS)"only"僅適用於支援儲存設備T10標準vStorage API for Array Integration (VAAI)規格。此鎖定機制亦稱為硬體輔助鎖定。該演算法採用針對每個磁碟區塊的離散鎖定機制。預設情況下,所有使用VMFS 5以及VMFS 6使用ATS但前提是底層儲存裝置必須支援此鎖定機制,且不使用SCSI預約。ATS用於透過多個延伸區建立的資料存放區,且 vCenter 會過濾掉non-ATS儲存裝置。ATS + SCSI reservations. 如果ATS失敗,SCSI會使用保留字。與ATS,SCSI當需要對修改元資料的操作進行元資料保護時,預留區會鎖定整個儲存裝置。此操作完成後,VMFS發布預留空間,以便其他操作能夠繼續進行。從VMFS 3繼續使用ATS+SCSI機制。
VMware VMFS 6 支援在 vSphere 中將虛擬機器虛擬磁碟檔案 (VMDK) 與多達 32 台 ESXi 主機共用。
支援 vMotion 以及 Storage vMotion
VMware vMotion 這是一項用於在 ESXi 主機之間進行虛擬機器即時遷移的特點(虛擬機器的 CPU、記憶體和網路元件皆會被遷移),且不會中斷其運作。 Storage vMotion 這是一項特點,可將虛擬機器檔案(包括虛擬磁碟)從一個資料存放區遷移至另一個資料存放區,即使虛擬機器處於運行狀態,也能無中斷地進行遷移。該 VMFS 檔案系統是讓即時遷移得以運作的主要要素之一,因為在遷移過程中,會有多個 ESXi 主機對正在遷移的虛擬機器檔案進行讀寫操作。
支援 HA 以及 DRS
Distributed Resource Scheduler (DRS), High Availability (HA), 以及 Fault Tolerance 基於 VMFS 的檔案鎖定機制、即時遷移及叢集特點運作。當您啟用 HA 執行此操作,並在您使用時啟動虛擬機器即時遷移以平衡叢集 DRS. 您可以使用 HA 以及 DRS 一起。
支援 Storage DRS. 支援使用 VMFS 5 以及 VMFS 6 在同一個資料存放區群集內,將虛擬機器檔案在不同資料存放區之間進行遷移。請使用同質儲存裝置來 VMware vSphere Storage DRS.
增加 VMFS 卷數
您可以增加一個 VMFS 在虛擬機器運行時擴充資料存放區,並使用該資料存放區的位置所含有的虛擬機器檔案。第一種方法是增加 LUN 由您現有的資料存放區所使用。增加 LUN 發生在儲存系統中(而非 vSphere)。接著,您可以擴展分割區並增加 VMFS 音量。
您也可以將 VMFS 透過將多個磁碟或 LUN 彙整在一起來建立卷。新增 VMFS 區段以增加 VMFS 在此情況下,指的是卷。使用多個磁碟的擴展資料存放區也稱為跨區資料存放區。必須使用同質的儲存裝置。例如,如果資料存放區使用的第一個儲存裝置是 512n,那麼新新增的儲存裝置必須 512n-block 裝置。此特點可協助繞過上限 LUN 當支援的最大資料存放區大小高於最大值時,會受到限制 LUN 大小。
範例: 對於一個 LUN,且您需要在單一虛擬機器資料存放區上建立一個配備 3 TB 虛擬磁碟的虛擬機器。透過使用兩個各為 2 TB 的延伸區,即可解決此問題。您必須使用 GPT 分區方案,用於建立容量超過 2 TB 的分區和資料存放區。
減少 VMFS 卷數
將一個 VMFS 不支援此音量。若您想降低 VMFS volume 大小,您需要將所有檔案從 VMFS volume 你想簡化為另一種 VMFS 資料存放區。接著,您需要刪除要縮減的資料存放區,並建立一個新的 VMFS volume 並設定較小的容量。當已建立的磁區上準備好一個較新的、容量較小的資料存放區時,請將虛擬機器檔案遷移至此新資料存放區。
VMFS 資料存放區升級
您可以升級 VMFS 3 至 VMFS 5 直接執行,無需遷移虛擬機器檔案並重新建立一個新的 VMFS 5 資料存放區。目前支援 VMFS 3 至 VMFS 5 在虛擬機器運行時即可進行即時升級,無需關機或遷移虛擬機器。升級完成後, VMFS 5 保留了所有 VMFS 3 先前使用的設定。例如,區塊大小仍維持 64 KB 而非 1 MB,且對於不超過 2 TB 的分割區,仍保留 MBR。
然而,升級 VMFS 5 以及較舊的版本 VMFS 資料存放區至 VMFS 6 不支援直接操作。您需要將檔案從(即將升級的)資料存放區移至安全位置,然後刪除該 VMFS 5 資料存放區,建立一個新的 VMFS 6 資料存放區,然後將檔案複製回新的 VMFS 6 資料存放區。
若將 ESXi 升級至 ESXi 6.5 或更新版本,您仍可繼續使用 VMFS 3 以及 VMFS 5 在 ESXi 升級之前建立的資料存放區。您無法建立 VMFS 3 ESXi 6.5 及後續版本中的資料存放區。
閱讀詳細內容 VMFS 5 vs VMFS 6 比較並了解如何升級至最新版本 VMFS 版本。在某些情況下,您可以 在 Linux 中掛載 VMFS.
結論
VMware VMFS 這是一個可靠、可擴展且經過優化的檔案系統,用於儲存虛擬機器檔案。 VMFS 支援多個 ESXi 主機的並行存取、精簡配置, Raw Device Mapping、虛擬機器即時遷移、日誌記錄、採用 Advanced Format 的實體磁碟,包括 512e 以及 4Kn,該 GPT 分區方案、虛擬機器快照、可用空間回收及其他實用特點。由於區塊大小為 1 MB,最新的 VMFS 這些版本不易因檔案碎片化而導致效能下降。將虛擬機器檔案儲存於 VMFS 在 VMware vSphere 中,資料存放區是儲存虛擬機器(VM)的建議方式。
無論您使用何種檔案系統來儲存虛擬機器,都必須定期備份資料,以防發生故障、中斷或其他干擾時造成資料遺失。請考慮 NAKIVO Backup & Replication,這是一套能讓您進行資料保護並快速恢復的解決方案 vCenter-受管及獨立運作的 ESXi 工作負載。
