[求助] 如何增進壓縮\解壓縮檔案的效能？

拿波里昂

因為工作需要！所以常需要在個人電腦上傳輸一些檔案到大型主機上做事
小的話有10-20GB，大的話也有120GBB)
因為資料夾裡都是很多小檔案！如果不壓縮起來一起傳會拖延大量的時間，壓縮檔案再來傳輸會比較快

想問一下各位：
要增進壓縮\解壓縮檔案的效能，針對像是壓縮軟體、RAM、HD、RAID哪方面升級較快？
還有一些我沒想到的，請各位不吝指正！謝謝

拿波里昂

謝謝您的建議，我有機會會去試試看的


剛試跑了一下RAMDISK
2小時40分跟3小時實在差距不大（這還是比較小的測試檔）B)

Originally posted by todau at 2005-5-24 12:48 PM:
mfshieh 說的沒錯, 多檔案在傳輸, 最慢的部份除了傳輸外,
其實就慢在開檔上頭.

既然傳輸免不了, 那麼 pack 成單一檔案就可以先省掉一直開檔的問題.
這樣會快很多的.

至於包成單一檔案, 方法就很多了. 常用的 zip 可以.
我則是慣用 tar (這是 Unix command).
包成 ISO 也是一種方式.

但是, 既然重點在省時間, 那當然是選最省時間的 pack 方式囉.
都試試就知道了.  

拿波里昂

您說的NAS/SAN 網路硬碟，目前還沒有這方面需求，因為現在想增進的是個人PC上的壓縮\解壓縮檔案的效能
沒有120GB的記憶體啦:o！我是說有時要壓縮的檔案會到120GB！

目前應該會逐漸把PC轉成LINUX用

Originally posted by mfhsieh at 2005-5-24 01:03 PM:


rsync 是一項軟體，一般的 unix like 的系統都會有。在 windows 上我是用 cygwin 附的 rsync。
(cygwin 的 rsync 效率不彰，不過整體來看，我覺得還是比壓縮省時。)

至於網路硬碟，我是指 NAS/SAN 之類的系統。它的效率遠甚一般網路分享的硬碟。
(好像不能這樣比，等級不同，拿大炮打小鳥。不過買 120G 記憶體的 PC，大概夠買 NAS/SAN 了。)

--

另外，在 wintel 架構下，我還沒找到夠快的 tar。與在 unix like 系統下相比，都很慢。

[ Last edited by mfhsieh on 2005-5-24 at 13:14 ]

mfhsieh

Originally posted by 拿波里昂 at 2005-5-24 12:19:
用 rsync 的方式傳檔？是指在個人PC上嗎？是一種軟體嗎？
我們公司也是gigabit 等級的內部網路，測試結果！還是直接拿硬碟來外接最快

rsync 是一項軟體，一般的 unix like 的系統都會有。在 windows 上我是用 cygwin 附的 rsync。
(cygwin 的 rsync 效率不彰，不過整體來看，我覺得還是比壓縮省時。)

至於網路硬碟，我是指 NAS/SAN 之類的系統。它的效率遠甚一般網路分享的硬碟。
(好像不能這樣比，等級不同，拿大炮打小鳥。不過買 120G 記憶體的 PC，大概夠買 NAS/SAN 了。)

--

另外，在 wintel 架構下，我還沒找到夠快的 tar。與在 unix like 系統下相比，都很慢。

[ Last edited by mfhsieh on 2005-5-24 at 13:14 ]

todau

mfshieh 說的沒錯, 多檔案在傳輸, 最慢的部份除了傳輸外,
其實就慢在開檔上頭.

既然傳輸免不了, 那麼 pack 成單一檔案就可以先省掉一直開檔的問題.
這樣會快很多的.

至於包成單一檔案, 方法就很多了. 常用的 zip 可以.
我則是慣用 tar (這是 Unix command).
包成 ISO 也是一種方式.

但是, 既然重點在省時間, 那當然是選最省時間的 pack 方式囉.
都試試就知道了.  

拿波里昂

目前部分工作流程為：假設A硬碟的檔案要拿到B電腦跟C電腦上面去，目前的作法是先把A外接到B上，將A硬碟的那個檔案壓縮起來，壓完後傳到B電腦上，再把A硬碟拿到C上直接傳輸壓縮檔，再來的動作就是B、C電腦上各自進行解壓縮動作。

TO mfhsieh兄：
用 rsync 的方式傳檔？是指在個人PC上嗎？是一種軟體嗎？
我們公司也是gigabit 等級的內部網路，測試結果！還是直接拿硬碟來外接最快

TO PALMAOI兄
用實體的RAM作成的硬碟有想過，不知可不可以應付這麼大的緩衝量，改天來試試看好了，先跟老闆要求加到2G的DDR吧！用WINISO就是軟體問題，我會嘗試看看！謝謝

mfhsieh

大的話也有120GB

用 ram disk...，可能乾脆買個 gigabit 等級的網路硬碟來共享比較快。

PALMAOI

用實體的RAM作成的硬碟, 關鍵字搜尋Ram Disk, 應該可以找到網路上的相關資料.
然後解壓縮/壓縮軟體的暫存路徑指向它,
當然執行壓縮動作的主機端, Ram盡量裝多一些,
如果要包裝小檔案成單一檔案, 作成ISO檔, 不知道會不會比較快...
用WinISO之類的程式...

mfhsieh

用 rsync 的方式傳檔。不過不是拿來同步用，只要目的端是空的，全部都會傳上去。

用 -S 參數: handle sparse files efficiently
用 -z 參數: compress file data

而且用 rsync ，在斷掉後只要再重傳一次，就會自行接下去。

--

不過檔案一多，不管怎麼傳都很花時間。瓶頸是在作業系統建立檔案時，所以要轉速快才有用。
(用壓縮的方式，在建立壓縮或是解壓時都要很久，因為硬碟要不斷地 seek)

--

以前我們是用 rsync 來做少異動資料的異地備援工作。指令式的工具，最大的好處就是可以射後不理，定時執行。

[ Last edited by mfhsieh on 2005-5-24 at 11:36 ]

iZERO

tar 我也沒用過
不過我想todau兄的重點應該是說不用在乎壓縮比吧
如果將RAR或ZIP的壓縮比調到最低的話，有可能會快一些嗎？
不過不知道會快多少就是了

拿波里昂

Originally posted by todau at 2005-5-24 11:06 AM:
如果只在乎的是多檔傳輸耗時, 而不是在意空間.
那麼建議用 tar 就好.
並不需要做壓縮, 用 tar 把所有檔案 pack 在單一檔案就行了.

這軟體我沒用過，請問一下
用 tar 把所有檔案 pack 在單一檔案容量大小應該是不變的吧！還有，需要多少時間呢？在WIN XP系統下的話！

謝謝

拿波里昂

RAM Driver是指？？

我同事有用1G DDR333與512DDR333雙通道跑過比較
（80GB，120000個檔案壓成12GB單檔）
竟然512DDR333雙通道比起1G DDR333快了近40％
不過我的就是1G DDR333（512*2）單通道B)

RAID想來應該有所助益，不過都裝在IBM高階伺服器上（12顆SCSI 73GB，組RAID 5）我的只是個人PC，還是DELL準系統等級的，只能裝一顆HD...B)

todau

如果只在乎的是多檔傳輸耗時, 而不是在意空間.
那麼建議用 tar 就好.
並不需要做壓縮, 用 tar 把所有檔案 pack 在單一檔案就行了.

阿輝

應該首先先以 Raid 增加實體效率為主
RAM 當然也越多越好吧

不知道 RAM Driver 對解壓縮程式有沒有幫助