優化 RAID 0 最佳的 strip size, 眾說紛紜, 孰家為是?

achen

我今天在網路上做了許多搜尋, 關於 RAID 0 的 stripe size 究竟要設多少才會得到最佳的 performance
眾家說法紛紜, 有人說越小越好, 有人說越大越好, 有人說 64 KB 最好

讀了幾個小時的文章後, 發現兩個最有用的說法:

(1)  http://jonstechbits.com/2008/03/ ... ptimal-stripe-size/

大意是這樣的 :

1. 因為現在電腦玩家處理的檔案 size 越來越大, 所以一般來說, stripe size 越大, 效能越佳 (檔案不用被分配到數量太多的小磁區)
2. windows 的 swap file (page file) 本身的 cluster allocation unit 是 4 KB, 如果這個檔案所在的 RAID Array 之 stripe size 也是 4 KB 的話, 可以得到最佳效能
3. 作者用的 ICH9R controller, 有支援把一個實體 array 分成兩個 RAID array, 做不同的設定, 所以他分一個小 array 設定 stripe size = 4 KB, 另外一個大 array 設定 stripe size = 128 KB
4. 把 OS  裝在 stripe size =128 KB 那個 array 裡, 然後把 page file 指定到 stripe size = 4 KB的哪個 array 裡, 這樣效能最好.


(2) http://forum.slime.com.tw/thread103079.html

大意是這樣的 :
1. 不論如何, strip size 與 cluster size 相等的時候, 效能最佳.
2. 先在 BIOS 階段把 RAID array 建立好, 設定 stripe size (建議為 16 KB)
3. 再同一台電腦裡加裝一顆臨時硬碟, 裝一個臨時 OS 去開機, 安裝 RAID driver, 重新 format 這個 RAID array, 指定 cluster size= 16 KB (這是因為 Windows OS 的安裝程式內的 format 功能沒有支援自訂 cluster size)
4. 把這顆額外硬碟取下, 然後再把 OS 安裝到 RAID array 上面 (安裝過程中不再進行 format)

======================================================
即使上面兩個說法都很中肯 (並不是求極大, 或求極小), 但是彼此之間還是有衝突, 我的問題:

Q1. 第一篇的第二點, "檔案"本身沒有所謂的 allocation unit, 這 4 KB 的結論是從硬碟的 allocation unit 得來的吧? 如果把 page file 搬到 culster= 16 KB 的磁區他就是 16 KB, 搬到 culster= 64 KB 的磁區他就是 64 KB. 根據第一點 "檔案 size 越大時, stripe size 越大效能越好", 那放在 stripe size= 128 kb 就好啦, 何必再多開一個 stipr size = 4 kb 的 array 指定給 page file 用?

Q2. Windows OS 安裝程式內的 format 功能設定的  cluster size (allocation unit) 是 4 KB. 如果這個值需要變更才會得到效能最佳值, 為什麼被用到 Windows Vista 還沒有改變?  MS 的程式設計師不是白痴吧?  擅自把它改成 16 KB 之後, 可能讀寫大檔案會快一點, 但是以 windows OS 隨機處理 file 的習慣來說, 對系統整體效能真的有加分作用嗎?

[ 本文最後由 achen 於 2008-5-19 22:52 編輯 ]

achen

經過了一天的研究, 以下是我自己整理出來的結論: (未把 cluster size 考慮進去, 是因為假設保留 OS 預設值不去變動)

假設藍紅為兩顆不同的實體硬碟. a, b, c 每個字母表示 4k 大小

在 stripe size= 128kb 的 RAID 0 array 下, 512k 容量在兩顆實體硬碟的配置是這樣
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaabbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaabbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb

在 stripe size= 16kb 的 RAID 0 array 下, 512k 容量在兩顆實體硬碟的配置是這樣
aaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbbaaaabbbb

- 我分析自己的 C 槽 (Windows XP), 平均檔案大小是 112 KB, 剛好 24 個字母
cccccccccccccccccccccccc

拿這個 size 的檔案來說, 在第一個 RAID 0 之下, 在讀寫的時候只會用到第一顆實體硬碟,  根本沒有機會 stripe 到第二顆去.  而因為這個 size 是平均值, 也表示如果把 OS 放在這樣的 RAID 0, 將會有一半數量的檔案, 在讀取或寫入時, 是用不到 striping 來得到加速優勢的.

- 而其他的資料 (照片每張 5~6 MB, 連續劇每部 180 MB, 光碟 ISO 每片4.7 GB..), 若放在第二個 RAID, 將會增加太多零碎的讀取動作, 所以放第一個 RAID 是比較適合的.

因此, 我的結論是: OS drive 要設小的 stripe size, Data drive (包括 swap file) 要設大的 stripe size. 咦? 怎麼跟上面的第一個說法相反?? 連我自己都不是很肯定我的結論是正確的, 有誰可以來輔佐說明一下嗎?

[ 本文最後由 achen 於 2008-5-18 23:33 編輯 ]

小酒蟲

印象中 Windows 的 cluster size 預設值會隨 partition 大小而跟著變化？

82544

原文由 achen 於 2008-5-19 08:51 發表
Q1. 第一篇的第二點, "檔案"本身沒有所謂的 allocation unit, 這 4 KB 的結論是從硬碟的 allocation unit 得來的吧? 如果把 page file 搬到 culster= 16 KB 的磁區他就是 16 KB, 搬到 culster= 64 KB 的磁區他就是 64 KB. 根據第一點 "檔案 size 越大時, stripe size 越大效能越好", 那放在 stripe size= 128 kb 就好啦, 何必再多開一個 stipr size = 4 kb 的 array 指定給 page file 用?

Q2. Windows OS 安裝程式內的 format 功能設定的  cluster size (allocation unit) 是 4 KB. 如果這個值需要變更才會得到效能最佳值, 為什麼被用到 Windows Vista 還沒有改變?  MS 的程式設計師不是白痴吧?  擅自把它改成 16 KB 之後, 可能讀寫大檔案會快一點, 但是以 windows OS 隨機處理 file 的習慣來說, 對系統整體效能真的有加分作用嗎?

1. 第一個問題, 我沒詳細看, 也不打算詳細看, 更沒打算針對問題回答.
    理由很簡單, 我不覺得任何的結果有很大的意義. 當系統需要動用到 pagefile 來 swap 的時候, 基本上這台電腦已經暫時處於效能不足
    的狀態了, 既然主機本身效能已經不足需要去做 pagefile swap, 那 swap 的快不快已經不是重點了吧, 重點是要改善這台主機的整體效能
    而不是靠著使用比較有效率的 unit 來改善 pagefile 的交換速度. 如果可以把 pagefile 放到 ram disk 去交換, 那他用多少 unit 應該也沒啥影響
    不是嗎? 改善主機的整體效能讓他盡量不落入需要動用 pagefile 的狀況, 個人覺得應該是比較有意義的.

2. 很多年以前, 有一套 Adaptec 出的軟體叫做 EZ-SCSI, 裡面有 Benchmark 程式, 是用來測試 SCSI HDD 效能用的.
    當時我發現, 使用完全沒有格式化過空的 SCSI HDD, 在 4K-8K 之間有著最好的平均效能.
    而當年所謂的 AV 硬碟, 在 16-32K 時候平均效能最高. 所以當時我的結論, 如果硬碟一開始被設計的時候, 效能就已經鎖定於某一個區塊
    範圍, 那 user 使用該硬碟要得到最高的效能, 當然是要去配合硬體的設計. 而 AV 檔案因為本身檔案就都比較大, 加上區塊連續特性,
    所以設計在 16K 效能比較好也是可以理解, 不然何必特別強調這是 AV 硬碟
  
    而你的問題, 我想 OS 廠商應該是經過長期統計的資料來做結論的, 4096 bytes 應該是符合大多數人和大多數情況下的平均最佳存放長度,
    如果設計成 8K or 16K 為一單位, 那一個 500 bytes 的檔案也要耗用掉 8 or 16K 的空間, 這樣不是太浪費了嗎? 畢竟小檔案在大多數電腦中
    數量遠超過大檔案啊. 所以, 當軟體決定使用 4K 時候, 硬體也以 4K or 8K 來做作最佳效能設計的基礎, 那整體效能自然可以配合到最好.

    我印象中, 好像只有 IBM OS/2 for x86 PC 預設 512 bytes 吧.

    硬碟陣列韌體預設 unit K 數, 基本上應該和陣列種類有關係, 如果是 HDD x4 RAID0, 那我覺得unit 設定 4kx4pcs =16k 或是 8kx4pcs=32k
    未必是件壞事. , 因為  RAID0 檔案是平均分散到所有硬碟中, 所以一次提取就是一個 unit 單位 x硬碟數量.

[ 本文最後由 82544 於 2008-5-19 16:04 編輯 ]

achen

原文由 82544 於 2008-5-18 23:49 發表
硬碟陣列韌體預設 unit K 數, 基本上應該和陣列種類有關係, 如果是 HDD x4 RAID0, 那我覺得unit 設定 4kx4pcs =16k 或是 8kx4pcs=32k
    未必是件壞事. , 因為  RAID0 檔案是平均分散到所有硬碟中, 所以一次提取就是一個 unit 單位 x硬碟數量.

"一次提取" 這句話說得很一針見血. 你是以 stripe size 去算最佳 allocation unit, 而我之前沒有想到這樣的思考方向.

所以用兩顆硬碟的 RAID + RAID controller 支援最小設定為 4kb 的假設前提下, OS Drive 就是 stripe size= 4kb, allocation unit= 8kb, 這樣可以確保每單一個 unit 的存取, 都用得到 striping 的加速, 這樣是否為最佳設定 (理論上就可以得到兩倍的效率) ?

但如果考慮到 OS 預設的 unit 4kb 不想變動它, 或是不想大費周章裝另一個 OS 來處理的話,  stripe size= 4kb, allocation unit= 4kb 就是 OS Drive 的最佳設定囉?

gcvincent

我不是很懂，
最近看到pcdvd有個測試
( pcdvd在台灣時間的晚上6~11點比較慢 )
LSI MegaRAID SAS 8308ELP 陣列卡 + Seagate Savvio 2.5" 10K.2 SAS 73GB x 7 Raid 0 詳測  

我一直誤會raid 0硬碟數量必須為2的倍數，原來3,7都行～
硬體access time的限制也是有影響的

[ 本文最後由 gcvincent 於 2008-5-19 20:46 編輯 ]

thinker

我會建議樓主查清楚 page 的單位，swap 的目的是將硬碟當記憶體使用，所以會以記憶體的 page 容量為主，也就是說 page (記憶體配置單位) 與 stripe size (硬碟配置單位) 是不同的東西，page 不太可能會隨硬碟的 stripe size 或 cluster allocation unit 變化。
如果 page 的容量為 4k，在交換時一定是以 4k 為單位。所以 page 與 stripe size 不合，效率就會下降。這個解釋大概可以回答你的問題1。

另外，stripe size 是很大的學問。如果 size 太大，每個檔案平均會浪費 stripe size / 2 的空間。如果 size 太小，在長期使用後，檔案會變得零碎，存取時間會變長，而且愈多的 stripe 就須要愈多的檔案配置表記錄，結果還是浪費空間，這是 size 太小的另一個問題。會建議將 size 調大，我想主要是檔案變大是個趨勢，並打算以空間換取時間。

[ 本文最後由 thinker 於 2008-5-19 22:28 編輯 ]

achen

原文由 thinker 於 2008-5-19 06:13 發表
我會建議樓主查清楚 page 的單位，swap 的目的是將硬碟當記憶體使用，所以會以記憶體的 page 容量為主，
也就是說 page (記憶體配置單位) 與 stripe size (硬碟配置單位) 是不同的東西，page 不太可能會隨硬碟的 stripe size 或 cluster allocation unit 變化。
{恕刪}

另外，stripe size 是很大的學問。如果 size 太大，每個檔案平均會浪費 stripe size / 2 的空間。{恕刪}

1.
page 的配置單位似乎不是很多人討論, 我只查到 NT 是 4kb, 我不確定 Win2K, XP, Vista 一路走來, 是否還用 4kb.
(PS: 給看的很亂的朋友) 這邊講的 page 配置單位是把 RAM 切割給 thread 存取的單位大小, 和 swap file 本身的檔案特性 (size, allocation unit) 是兩回事.

2.
stripe size 和浪費空間有關係嗎?   stripe size 是在決定下圖 A1, A2, A3... 等區塊的大小, 對 OS 來說, 這個 array 硬碟的區塊是 A1 + A2 + A3 + A4 + A5 + A6... 串起來. 如果 size 太大, 會導致的後果是一些小檔案, A1 還沒寫滿就結束存取了, 用不到第二顆硬碟, 那以這個檔案來說, 效能和放在單顆硬碟是一模一樣的.  浪費空間與否應該只和 allocation unit 有關.



如果我的說法有誤, 還請不吝說明 "如果 size 太大，每個檔案平均會浪費 stripe size / 2 的空間" 的原因, 謝謝~

achen

原文由 小酒蟲 於 2008-5-18 23:37 發表
印象中 Windows 的 cluster size 預設值會隨 partition 大小而跟著變化？

上面的說法基本上是沒錯, 但是你猜猜這個 default 值最高到多少?

這個 default 值, 早在 2GB 大小的時候, 就達到 "盡蹦" 了,  放再大的硬碟, 預設還是 4 KB, 所以不要以為 format 一顆 500GB, windows 會聰明到幫你設 64 KB 或是 128 KB.............



(FAT32 最大支援只到32GB, 所以假設大家都用 NTFS)

圖片來源:: http://support.microsoft.com/kb/140365

[ 本文最後由 achen 於 2008-5-19 08:02 編輯 ]

achen

為了實驗 stripe  size 對 OS  效能的影響, 也為了找出最佳設定, 我把 RAID 砍掉重練成 OS Array 和 Data Array, 以下是兩次不同設定的 RAID 比較:

測試 block= 128 KB, 模擬  OS 頻繁隨機存取小檔案

舊 RAID (stripe size= 128 KB, allocation unit= 4 KB)
RAID 資訊忘了抓, 不過和第三張圖一樣 (同一顆 RAID)


新 RAID 趴萬 (stripe size= 4 KB, allocation unit= 4 KB)


Single Drive (8MB cache, SATA II, 7200 RPM)


結論:
平均傳輸率從 132.4 MB /s 提到 153.9 MB /s  !!
傳輸率的起伏 (最高及最低數值的差別) 從 55 降到30 !!
Access time 從 15.4ms 降到 10.3 ms !!
OS 灌在第二個 RAID, 其實什麼測試軟體都不需要, Vista 本身的東西玩一玩 (開啟檔案總管, 開啟控制台, 我的電腦按右鍵..) 就可以感覺明顯變快
但是 stripe size 小的疑慮, 我怕 ICH9R 晶片撐不住頻繁的存取而過熱. 至於改用 16 或是 32 KB 會有啥改善, 我不確定我還有沒有時間再去實驗, 可能就這樣開始裝軟體, 用它個兩年吧.


測試 block= 8 MB: 模擬存取大 size 的資料檔

舊 RAID (stripe size= 128 KB, allocation unit= 4 KB)


新 RAID 趴兔 (stripe size= 128 KB, allocation unit= 128 KB)


Single Drive (8MB cache, SATA II, 7200 RPM)


結論:
基本上這個測試在兩個 RAID 沒有差太多的原因, 可能是因為 block size 早就超出 allocation unit 和 stipe size 的好幾倍, 所以即使在舊 RAID 的設定, 已經幾乎達到硬體傳輸的最優極限. 不過新 RAID 的傳輸最低值有提高將近 20 MB /s, 不知道有沒有啥意義....

[ 本文最後由 achen 於 2008-5-28 18:22 編輯 ]

thinker

原文由 achen 於 2008-5-19 23:26 發表


如果我的說法有誤, 還請不吝說明 "如果 size 太大，每個檔案平均會浪費 stripe size / 2 的空間" 的原因, 謝謝~

基本上我是採用第2個建議的說法，所以沒有區分 strip size 與 cluster size。實際上，是以作業系統配置的單位為準，所以應該是每個檔案平均會浪費 allocation unit / 2 的空間。

achen

研究這個問題開始感覺頭昏腦脹了. 做個總結..

1. cluster size
基本上維持 Windows OS 的預設值 (4K), 我覺得 Microsoft 的工程師群作的考量與實驗, 應該比網路上一堆人耍嘴皮子還可靠一點.  我剛剛找到一個 source, 有一位微軟 MVP 說 4K cluster 對 Vista 是最好的. Link 第 #16 篇發言

2. stripe size on OS drive

很明顯的一個結論:

Data drive (線性讀取) stripe size 越大越好,  
OS drive (隨機讀取) stripe size 越小越好,

但是即使是 "越小越好", 網路上鮮少人推薦 OS 使用 4K 甚或 8K, 大部分都推薦 16K / 32K.  這是因為 "太小的 stripe 值設定之下, 太頻繁地以小單位讀取每個實體磁碟, 對 RAID Controller 晶片的負荷超過了優勢, 反而造成負面效果" 嗎?  以上這個假設真實度有多高 ?

[ 本文最後由 achen 於 2008-5-21 07:07 編輯 ]

82544

原文由 achen 於 2008-5-21 00:18 發表
但是即使是 "越小越好", 網路上鮮少人推薦 OS 使用 4K 甚或 8K, 大部分都推薦 16K / 32K.  這是因為 "太小的 stripe 值設定之下, 太頻繁地以小單位讀取每個實體磁碟, 對 RAID Controller 晶片的負荷超過了優勢, 反而造成負面效果" 嗎?  以上這個假設真實度有多高 ?

那也要看用哪種 RAID  Controller 吧, 我如果沒有記錯, ICH 7/8/9R  都是屬於 Software RAID,  RAID Controller 又不只有 Intel,
這種附加的 RAID function, 真的就是附加功能而已 (意思就是可以用就好, 不要太認真計較)

SW RIAD 效能就和 SI 31xx 系列一樣, 讀是還可以, 寫就很兩光了, 尤其是 RAID 5