‍‍‍‍‍‍‍‍家用固態(tài)硬盤的測試內容相對簡單，就是看看順序讀寫，4K隨機讀寫性能。有些朋友比較關注SLC緩存外寫入速度，并對掉速現(xiàn)象深以為恨。實際上，固態(tài)硬盤真正發(fā)揮實力的場景是在服務器中，也就是要用到企業(yè)級固態(tài)硬盤。3HHesmc

這次PCEVA評測室將測試新一代PCIe 4.0接口企業(yè)級SSD。在消費級產(chǎn)品已經(jīng)能夠跑滿PCIe 4.0帶寬的情況下，一起來看看企業(yè)級產(chǎn)品能夠帶來哪些改變。3HHesmc

3HHesmc

本次測試的三款3.84TB容量企業(yè)級SSD：大普微R5101、英特爾D7-P5510、三星PM9A3，均具備1DWPD寫入耐久度指標，屬于讀取密集型產(chǎn)品。3HHesmc

這里首先介紹下SSD的一些分類方式。3HHesmc

通常大家將SSD分成企業(yè)級（服務器用）和消費級（家用）。而一些SSD制造商可能會進一步細分企業(yè)級產(chǎn)品：企業(yè)（Enterprise）SSD和數(shù)據(jù)中心（Data Center）SSD，差異主要是在性能層面。消費級固態(tài)硬盤通常也可稱為客戶級（Client SSD）。3HHesmc

這次我們測試的大普微R5101和英特爾D7-P5510屬于企業(yè)級SSD，三星PM9A3屬于數(shù)據(jù)中心級SSD。另外還有一張1TB容量的消費級SSD作為參考。3HHesmc

產(chǎn)品介紹

Intel D7-P55103HHesmc

大家對英特爾的企業(yè)級SSD應該都耳熟能詳，它們在二手市場也很受歡迎。這次測試的P5510屬于D7系列，在英特爾企業(yè)級SSD產(chǎn)品線中是僅次于使用傲騰的頂級產(chǎn)品。D7-P5510 3.84TB的順序讀取帶寬6500MB/s，順序寫入帶寬3400MB/s，4K隨機讀寫700K/170K IOPS。3HHesmc
3HHesmc

Samsung PM9A33HHesmc

三星企業(yè)級SSD擁有很高的市占率。這次測試的PM9A3提供U.2、M.2 22110和E1.S三種規(guī)格。U.2接口3.84TB型號的順序讀取帶寬6800MB/s，順序寫入帶寬4000MB/s，4K隨機讀寫1000/180K IOPS。3HHesmc

 3HHesmc

DapuStor R51013HHesmc

作為近年崛起的國內頭部企業(yè)級存儲廠商代表DapuStor（大普微）具備從芯片設計到產(chǎn)品交付量產(chǎn)全棧能力，產(chǎn)品涵蓋使用eTLC閃存的企業(yè)級固態(tài)硬盤和使用XL-Flash的SCM存儲級內存。3HHesmc

這次測試的DapuStor R5101是大普微嶸神5系列成員，主打低延遲、高可靠及易擴展。3.84TB型號的順序讀取帶寬7400MB/s，順序寫入帶寬5700MB/s，4K隨機讀寫1750K/240K IOPS。3HHesmc

 3HHesmc

紙面分析看企業(yè)級強在哪

平時大家接觸到的家用SSD在標稱讀寫性能的時候都有一個Up to xxxx MB/s，也就是至高多少兆每秒，這個峰值速度需要借助SLC緩存的幫助才能在理想狀態(tài)下實現(xiàn)。家用環(huán)境默認使用負載是比較低的，所以不會標出SLC緩存用完后的性能。3HHesmc

在下面的規(guī)格表中可以看到，企業(yè)級固態(tài)硬盤的性能指標跟消費級旗艦相比并沒有更大的優(yōu)勢，三星PM9A3的指標相比使用同款主控的消費級旗艦980PRO還略低一些，這是因為企業(yè)級SSD并不追求極限爆發(fā)性能，而是需要充分考慮重負載條件下能夠持續(xù)輸出的性能，并且竭盡所能在各種條件下都提供一致的性能表現(xiàn)。3HHesmc

3HHesmc

得益于大普微DPU600系列主控的強悍實力，DapuStor R5101的性能指標明顯更強一些，其1750K IOPS的4K隨機讀取性能已經(jīng)遠遠超越現(xiàn)有消費級SSD。3HHesmc

此外，企業(yè)級SSD相比消費級SSD還具備很多優(yōu)勢。比如更高的耐久度，更強的性能，更強的保護。3HHesmc

企業(yè)級固態(tài)硬盤使用冗余數(shù)據(jù)恢復技術來處理閃存中多個die失效的故障，并且不影響數(shù)據(jù)完整和業(yè)務運行，UBER不可修復的錯誤比特率通常會比消費級SSD低一到兩個數(shù)量級。3HHesmc

企業(yè)級固態(tài)硬盤還可提供全路徑端到端數(shù)據(jù)保護，在數(shù)據(jù)從主機端通過 PCIe 鏈路傳輸?shù)絊SD主控，主控將數(shù)據(jù)傳輸?shù)介W存接口，再通過閃存接口將數(shù)據(jù)寫入閃存顆粒中，再返回給主機端的整個傳輸路徑中，每一段傳輸路徑都有糾錯/檢錯算法保證數(shù)據(jù)被正確傳輸，降低靜默錯誤風險。3HHesmc

以上介紹完產(chǎn)品還有基本的紙面，下面進行實測來體驗企業(yè)級真正的實力。3HHesmc

測試平臺

3HHesmc

本次測試依然是在PC測試平臺上進行，通過同樣的腳本測試，讓三款企業(yè)級固態(tài)與一款消費級旗艦進行對比，已經(jīng)能體現(xiàn)出來明顯優(yōu)勢。除了用于對照的消費級SSD直接安裝在CPU直連的M.2插槽之外，三款企業(yè)級SSD在測試時均通過U.2轉接卡連接到CPU直連的主板PCIE插槽。3HHesmc

3HHesmc

CrystalDiskInfo信息識別：三款企業(yè)級SSD均使用PCIe 4.0 x4接口，DapuStor R5101和三星PM9A3支持NVMe 1.4協(xié)議，英特爾D7-P5510則沿用NVMe 1.3。3HHesmc

3HHesmc

在測試英特爾D7-P5510的時候發(fā)生了一個小插曲，這塊測試樣品默認使用了512B+8B的扇區(qū)格式，Windows Server 2019無法正確識別，而在Linux下則能夠正常工作。我們在Linux下通過nvme-cli將其高級格式化為標準的512B扇區(qū)，成功解決了這個問題。3HHesmc

3HHesmc

性能測試

01讀寫性能測試3HHesmc

在我們熟悉的Windows操作系統(tǒng)中，CrystalDiskMark是非常好用的SSD帶寬和IOPS測試工具。只需簡單調整就可以評估SSD能否達到其標稱性能。3HHesmc

3HHesmc

不過這一次CrystalDiskMark失靈了，Windows系統(tǒng)似乎在1000K IOPS左右存在一個瓶頸，無法測出DapuStor R5101應有的1750K隨機讀取IOPS。即便請出IOMeter也僅僅是能跑出7500MB/s順序讀取，4K隨機讀取IOPS依然無法體現(xiàn)出來。3HHesmc

3HHesmc

而在Linux系統(tǒng)下，DapuStor R5101通過fio可以輕松跑出1800K IOPS。除了平均延遲之外，fio還提供詳細的99百分位延遲信息。雖然很多Linux下的測試工具沒有漂亮的圖形界面，但性能與功能都比Windows下的同類軟件更強，后續(xù)的測試也將以Linux系統(tǒng)為主。3HHesmc

3HHesmc

02ezFIO腳本測試3HHesmc

ezFIO是經(jīng)NVM Express推薦的企業(yè)級SSD綜合測試，它是一個可重復進行的穩(wěn)定態(tài)性能測試腳本。在測試開始前有兩次全盤容量寫入的預處理階段，幫助模擬企業(yè)級SSD的長期性能。ezFIO同時支持Windows和Linux平臺，測試完成后可自動生成測試報告。以下成績在是Linux系統(tǒng)下搭配fio 3.27測得。3HHesmc

ezFIO的長期性能穩(wěn)定性檢驗通過穩(wěn)定態(tài)隨機混合讀寫進行，根據(jù)平均IOPS和標準差計算得出變異系數(shù)，變異系數(shù)越低說明SSD在長期高負荷使用后的性能越穩(wěn)定，越不容易產(chǎn)生程序需要等待IO的情況（卡頓）。3HHesmc

  三款企業(yè)級SSD的穩(wěn)定性表現(xiàn)都非常不錯，其中三星PM9A3的穩(wěn)定性最佳（變異系數(shù)0.70%），DapuStor R5101的綜合性能表現(xiàn)更好。從平均IOPS來看，消費級PCIe 4.0 SSD能達到企業(yè)級的十分之一左右，但高負載下糟糕的性能穩(wěn)定性使得10塊消費級SSD加起來也不能充當一塊企業(yè)級SSD來使用。3HHesmc

接下來的穩(wěn)定態(tài)4K隨機讀寫測試，又到了企業(yè)級和消費級的岔路口。消費級SSD的隨機讀寫IOPS都建立在SLC緩存基礎上，而企業(yè)級SSD則會按照穩(wěn)定態(tài)標注，一個是最佳狀態(tài)，一個是最惡劣條件。3HHesmc

測試的結果也比較符合我們的預期：DapuStor R5101 3.84TB穩(wěn)定態(tài)4K隨機讀寫符合1750K/240K IOPS標稱值、英特爾D7-P5510 3.84TB穩(wěn)定態(tài)4K隨機讀寫符合700K/170K IOPS標稱值、三星PM9A3 3.84TB穩(wěn)定態(tài)4K隨機讀寫符合1000K/180K IOPS標稱值。對照用的消費級旗艦固態(tài)穩(wěn)定態(tài)4K隨機讀寫777K/14K IOPS，讀取尚能達標，寫入則比理想狀態(tài)下定義的標稱值低了將近40倍。3HHesmc

下面是穩(wěn)定態(tài)4K混合讀寫測試，其中讀取占比70%，寫入占比30%。為什么要測試混合讀寫？讀取和寫入同時進行的難度遠比純讀取或純寫入高，但恰恰是這種難度更高的情況更貼近實際使用。金庸小說射雕英雄傳里練成左右互搏術的僅有3人，SSD要在混合讀寫一項上取得好成績更是考驗廠商的技術實力。3HHesmc

3HHesmc

消費級SSD在自身能力上同企業(yè)級SSD有著巨大差距，能順利跑完測試就算成功了。DapuStor R5101則延續(xù)它在純讀取和純寫入時的領先優(yōu)勢，以459K IOPS的成績奪魁，領先第二名的三星PM9A3大約28%。3HHesmc

ezFIO腳本還提供了4K混合隨機讀寫的99百分位延遲數(shù)據(jù)，有助于全面評估SSD在復雜高壓條件下的性能一致性表現(xiàn)。圖中將讀取（左）和寫入（右）延遲分開統(tǒng)計，橫軸是延遲，越低越好，不同QD下成績越接近越好。3HHesmc

 3HHesmc

整體來看三塊企業(yè)級SSD各有千秋，DapuStor和三星的寫入延遲較低，但英特爾的可預期延遲范圍更集中一些。3HHesmc

03 SNIA SSS PTS-E 2.03HHesmc

SSS PTS的全稱為Solid State Storage Performance Test Specification，即固態(tài)存儲性能測試規(guī)范，它由SNIA存儲網(wǎng)絡行業(yè)協(xié)會制定，當前最新版本是2.0，包括針對企業(yè)級SSD的PTS-E規(guī)范以及針對消費級SSD的PTS-C規(guī)范。3HHesmc

3HHesmc

PTS測試在設備而非文件系統(tǒng)級別進行，通俗的說就是SSD在沒有分區(qū)的狀態(tài)下進行。PTS測試的是SS（Steady State穩(wěn)定態(tài)）性能，而非FOB（Fresh-Out-of-the-Box開箱狀態(tài)即出廠態(tài)）表現(xiàn)。3HHesmc

3HHesmc

為了使SSD達到穩(wěn)定態(tài)，PTS測試需要先執(zhí)行預處理，也就是我們常說的“填盤”：用隨機數(shù)據(jù)寫入全盤2倍容量。而后執(zhí)行一系列隨機寫入，穩(wěn)定態(tài)的判定方式為：檢查測試窗口中的4K隨機寫入、64K R65:W35混合隨機寫入和1024K隨機讀取三項成績，允許波動范圍+-10%，確認SSD已經(jīng)進入穩(wěn)定態(tài)后才會繼續(xù)后續(xù)測試。3HHesmc

接下來是對SSS PTS測試報告內容的解讀。SSD PTS測試報告會展示測試平臺的軟硬件配置情況（包括主板、CPU、內存以及操作系統(tǒng)、測試軟件版本等）、受測SSD的信息（包括制造商、型號、序列號、固件版本、容量、擦除方式、寫入緩存開關等）、測試設定（包括數(shù)據(jù)模型、測試范圍、預處理方式等等）。下圖是DapuStor R5101 3.84TB的SSS PTS測試信息：3HHesmc

3HHesmc

SSS PTS測試的內容包括512字節(jié)、4K、8K、16K、32K、64K、128K和1MB塊大小，在0/100、5/95、35/65、50/50、65/35、95/5和100/0混合讀寫比例下的穩(wěn)定態(tài)IOPS，并以數(shù)據(jù)表格、2D和3D圖示三種形式進行展現(xiàn)。3HHesmc

首先是DapuStor R5101 3.84TB的成績：3HHesmc

然后是英特爾D7-P5510 3.84TB的成績：3HHesmc

  最后是三星PM9A3 3.84TB的成績：3HHesmc

  作為參照物的消費級PCIe 4.0 SSD，我們?yōu)樗档碗y度，選擇適合它的PTS-C測試標準，測試范圍從100%降低到75%，寫入緩存從禁用改為啟用：3HHesmc

  即便是降低了考試的難度，這款產(chǎn)品依舊壓力很大，畢竟現(xiàn)在消費級SSD突出的都是爆發(fā)力，針對家用系統(tǒng)盤環(huán)境極優(yōu)化的SLC緩存算法，不一定適合穩(wěn)定態(tài)。3HHesmc

  為了方便對比，我們直接把PTS成績中的數(shù)據(jù)表格拼到同一張圖中：3HHesmc

3HHesmc

DapuStor R5101的穩(wěn)定態(tài)性能全面超越了其他對手。三星和英特爾之間的戰(zhàn)況膠著，在512字節(jié)和4K塊大小上三星有比較明顯的優(yōu)勢，而在64K以上則是英特爾占優(yōu)。消費級參照型號繼續(xù)打醬油，就無需過多評論了。3HHesmc

04 PCMark 10盤一致性測試3HHesmc

PCMark 10盤性能一致性測試是Windows系統(tǒng)下的長期高負載測試。測試開始前有兩次全盤填充過程、結束后有一次全盤填充過程，此外，每個性能降級階段將隨機寫入1分鐘或50GB，以先到者為準，這就使得高性能的企業(yè)級SSD有機會更快地完成整個測試。3HHesmc

3HHesmc

最終DapuStor R5101以3小時37分5秒率先到達終點，三星PM9A3和英特爾D7-P5510的用時分別為4小時50分36秒和4小時55分5秒。作為參照的消費級SSD則耗時11小時41分36秒。各盤成績對比如下：3HHesmc

3HHesmc

一張盤跑上好幾個小時，消耗數(shù)十TB的寫入壽命，如果就只看這么一個總分成績就太不劃算了。下面我們導出詳細測試數(shù)據(jù)進行分析。PCMark 10盤性能一致性測試在大量隨機寫入過程中摻雜了若干存儲性能測試項目，其中包括代表大文件同盤內復制（混合讀寫）的cp2：4個ISO鏡像文件，共計20GB。DapuStor R5101最快，三星PM9A3次之，英特爾D7-P5510第三。作為參照的消費級SSD一旦進入到性能降級階段就開始打醬油了。3HHesmc

3HHesmc

代表零碎小文件同盤內復制的cps2：339個JPEG圖片文件，共計2.37GB。英特爾D7-P5510在這個測試中強勢翻身奪得第一，DapuStor R5101和三星PM9A3分居第二和第三。作為參照的消費級PCIe 4.0 SSD除了開始階段的亮點（SLC緩存爆發(fā)力強）之外，就沒有了太多表現(xiàn)的機會。3HHesmc

3HHesmc

代表設計應用的Photshop重負載測試psh：DapuStor R5101表現(xiàn)得游刃有余，英特爾D7-P5510排名第二，三星PM9A3屈居第三，但性能一致性表現(xiàn)的還可以。3HHesmc

3HHesmc

下表為穩(wěn)定態(tài)階段Photoshop重負載項目的第99百分位延遲數(shù)據(jù)。3HHesmc

3HHesmc

05 VDBench測試3HHesmc

VDBench是甲骨文推出的存儲性能評估工具，能夠支持去重和壓縮等特性，我們參考PURESTORAGE的數(shù)據(jù)制作了模擬甲骨文數(shù)據(jù)庫、VDI、VCI三種企業(yè)級應用負載的測試腳本，并將IOPS和延遲的關系制表。圖中橫軸為IOPS為IOPS（越高越好），縱軸為對應的延遲（越低越好）。iorate的原理是VDBench先以無限制的方式測一次IOPS，而后以其作為100%基準，按照curve參數(shù)中給出百分比的IOPS為目標測定延遲。3HHesmc

在VDBench甲骨文數(shù)據(jù)庫工作負載中，DapuStor R5101 3.84TB以192477 IOPS和663us的成績排名第一。三星PM9A3 3.84TB以116021 IOPS和1102us延遲的成績位列次席。3HHesmc

3HHesmc

VDI虛擬化桌面模擬測試，排名順序不變：DapuStor R5101 3.84TB以195731 IOPS和646us的成績勇奪頭名，其后分別是三星PM9A3、英特爾D7-P5510。3HHesmc

3HHesmc

VSI虛擬化存儲模擬測試，消費級SSD直接將雙手舉過了頭頂，這畢竟不是它該來的賽場。DapuStor R5101 3.84TB則以141327 IOPS和897us的成績遙遙領先于其他競爭對手。3HHesmc

3HHesmc

VDBench的iorate曲線功能可以方便得顯示出各SSD在逐步達到其極限之前的延遲增長情況。三個測試項目的成績排名順序一致：DapuStor R5101、三星PM9A3、英特爾D7-P5510。3HHesmc

總結

這是近幾年來PCEVA首次正式評測企業(yè)級SSD，雖然測試沒有在真正的服務器平臺上進行，但我們盡最大努力讓每個讀者能夠由淺入深地了解一些企業(yè)級SSD同消費級SSD差異、企業(yè)級SSD的測試方法和原理。3HHesmc

本次測試的三款企業(yè)級SSD來自三星、英特爾和大普微。從全球市場來看，三星和英特爾的企業(yè)級SSD的出貨量分別位居第一和第二位。DapuStor R5101則是當前最具實力的國產(chǎn)企業(yè)級SSD之一，它使用的DPU616主控在去年榮獲2021中國芯“芯火”新銳產(chǎn)品獎，于穩(wěn)定態(tài)混合隨機讀寫性能上有著極為出色的表現(xiàn)。3HHesmc

性能上，同樣是PCIe 4.0接口，消費級SSD追求各項“全能”，同時滿足辦公、游戲、設計需求，但是只適合處理讀取為主的中輕度任務。企業(yè)級SSD在外觀和性能指標上都顯得樸實無華，但所標稱的性能卻是實打實的不含水分，他們的重負載使用性能是消費級SSD無法企及的。3HHesmc

安全性上，企業(yè)級SSD不僅具備比消費級SSD更低的UBER（不可修復的錯誤比特率），還提供閃存die級別的內部冗余數(shù)據(jù)安全保護，自身故障率更低。此外，企業(yè)級SSD能夠提供“可預期的性能”，這一點對于給SSD組建RAID陣列非常重要。消費級SSD由于SLC緩存釋放等因素的影響，強行組建RAID陣列不僅性能差而且容易導致陣列崩潰。而企業(yè)級SSD則可以通過RAID陣列進一步增強原本就更高的數(shù)據(jù)安全性。3HHesmc

用過企業(yè)級SSD之后，小編才感受到了SSD的真正實力：它提供了酣暢淋漓的舒適感、無后顧之憂的信任感和安全感。經(jīng)常感嘆SSD一年不如一年的朋友或許可以開拓一下新視角。3HHesmc