請教網管同仁, 具備 TOE 功能的網卡好處在哪?

achen

日前定了一台 Dell Server, 看到這個選項, 每張網卡只需加 USD $100 左右
想說來試看看, 就訂了, 但是老實說我不知道 TOE (TCP Offload Engine) 到底有什麼好處, 希望不會是買錯了..

有朋友使用過 TOE, 可以為我略述一二嗎?

lifaung

我的古早印象,可能不太準
--
小弟四年前曾經當過幾年的水電工
--
說正題,那玩意兒感覺很像是以前INTEL的SERVER等級網卡的標準配備
應該是利用部分的網路功能實做來降低主機CPU端的負擔

當時最早玩這套的似乎是intel 82558,再來是縮小化並且降低發熱量的82559
此外,3COM的990系列好像也是玩這個

總之,應該是讓你的機器端負載降低的東西,例如說某些小事情如丟掉不正常的封包等等的事情都會由網卡代勞掉
當年的SERVER用的網路卡小弟也有一張82559配CPU的版本,不過那張要上萬Orz
只要多加一百的網路卡看起來對SERVER來說似乎說便宜又沒很便宜,說貴又不貴,大概可以理解您的兩難XD
----
我覺得要看到差異還滿簡單的,用Reltek螃蟹卡和這張交叉測試就知道差多少了Orz
用螃蟹卡保證你的系統性能大降

對DELL不用怕,先訂個兩台,一台沒有TOE,一台配備TOE,十四天內把不滿意的那台退掉,其他全都訂成同款式的即可
DELL可以讓你這樣玩

achen

嗯, 有趣...  所以就像是配備 GPU 的顯示卡一樣的意思囉

但是 graphic 和 network 對 CPU 來說是兩個等級應該差蠻多的工作
以 networking 來說, U/D 的流量要到達多少,才能受益到 TOE 的好處?
一般不需要太好的時效性 (email server, file server) 應該不用吧, database application 或是 proxy server 大概就有差了.

HUANGLIFU

TOE唷，在Gigabit Ethernet非常重要唷，以P3-1G的CPU來說，用不具備TOE的NIC來說，CPU使用率至少都要30%，用Intel入門級的Intel PRO/1000MT DESKTOP ADAPTOR的話，CPU使用率大約是5%，這邊在執行的AP也不過是IOMeter的循序讀取，經過iSCSI通訊協定。

其實會有TOE的原因是因為TCP是一個非常沒有效率的協定，TCP在通訊的時候要作的事情太多，如果全部用CPU做事的話，以P2的CPU來說，用Linux是還好，用Windows的話大概就不用作事了，CPU光處理NIC的TCP封包堆疊就不夠力，P3是勉強，有雙CPU的話會比較保險。

TOE的網卡如同內建一個協同處理器的網路卡，可以把TCP封包的資料直接解出來丟給CPU。
TOE的重要性在1000M以上的網路變的很重要，因為光NIC跟CPU之間的I/O對電腦就是相當的負擔，更不要說TCP的封包解譯過程會把CPU資源耗盡的問題，加上接下來的的iSCSI/iWAPR/RDMA等協定，沒有TOE的支援的話大概一張網卡會廢掉一個CPU。

詳情這邊寫的很清楚，我要說的事情是，

1. 你希望你的Server有該有的效能，現在所有ServerBoard上內建的網路卡一定都有TOE的功能，所以是不用擔心。
2. 如果要加網卡，你希望你的電腦在1000M區域網路有該有的效能，沒有TOE的網卡是可以丟掉。
3. 如果你要跑File Server或類似NAS功能的軟體，對效能也不要求的話，沒有TOE的1000M NIC是可以加減用，不過不要期待會多快，我手上就三四張R8169放在那邊納涼。

AbinLee

我不是網管，是搞儲存媒體的.. 不過對 TOE 有一點點涉獵..
由於網路的介面速度越來越快，從 10M->100M->1GbE，每次都是十倍速的成長
網路的封包流量相對的也是十倍成長
一般除了 LAN 或骨幹外， GbE 其實幾乎都塞不滿，而且，你需要的不只是 NIC
線也要好 (CAT6)、Hub or Switch or Router 也要支援到 GbE，它才有機會全速..
即使設備都是 GbE 了，你拿來傳檔，你硬碟的讀寫速度也要跟得上..
好，如果你硬碟搞磁碟陣列，硬是把頻寬塞滿，恭喜你，GbE 的恐怖效能才用得到
那，TOE 有效果嗎？如果你的 Server CPU 超強，平常負載又不高，這樣全速的 GbE 環境使用 TOE 可能還是沒感覺，因為原來封包解 header 的工作對 CPU 有一定影響，不過可能沒大到影響作業..

那到底 TOE 有使用的必要嗎？
有！在一個環境下是最好要有的，就是你如果用 iSCSI 架設 IP SAN ..
這時候不單純只是網路封包，而是所有 I/O 都要走 TCP/IP 網路，如果還多人存取，要灌爆 GbE 是很容易的，這時候 CPU 除了一般工作，還要去解一大堆被包起來的 I/O 封包，沒有 TOE 就知道苦了..

另外，10 GbE也出來了... TOE 就一定是必備的配備了
不過，以上環境建置成本，可能不便宜了..要花的應該遠超過 USD $100..
所以，目前一般環境 TOE 還不實用，多花那個成本的效果感覺不出來...

sagadc

感謝以上兩位前輩的解說啊
小弟也長了知識，之前自己在家裡搞Giga網路環境
總覺得速度不如預期般的快，原來還有那麼多因素存在

HUANGLIFU

其實iSCSI的效能不會比CIFS差到哪邊去，要說實在的，兩個都很爛，只是iSCSI是走block device，比較單純。

achen

原文由 HUANGLIFU 於 2006-11-6 17:34 發表
1. 你希望你的Server有該有的效能，現在所有ServerBoard上內建的網路卡一定都有TOE的功能，所以是不用擔心。

不知道為什麼, 我以前訂 server 的時候都沒有發現 TOE 選項
難道它已經基本到可以不用寫出來的程度了嗎?

原文由 lifaung 於 2006-11-6 10:46 發表我的古早印象,可能不太準
對DELL不用怕,先訂個兩台,一台沒有TOE,一台配備TOE,十四天內把不滿意的那台退掉,其他全都訂成同款式的即可
DELL可以讓你這樣玩

是沒錯, 但是我怕亂退東西把關係搞壞了
目前我與 Dell 的關係是可以拿到比 Premier site 更便宜的價格
我先登入 Premier Site, 把要的機器組好, 再把 detail email 給我們的 account manager, 然後他會給我更低的價錢, 不從 Premier  下訂
說到這個才想到, 光昨天和今天兩天就跟 Dell 灑了 USD $13, 800 呢 (1 x server, 3 x laptop)

HUANGLIFU

原文由 achen 於 2006-11-8 09:47 發表

不知道為什麼, 我以前訂 server 的時候都沒有發現 TOE 選項
難道它已經基本到可以不用寫出來的程度了嗎?

以ServerBoard內建的1000M NIC來說，TOE真的是基本要有的功能，不過TOE內建也是最近一兩年的事情，我不知道你買Server的評率就是了。

lifaung

TOE類似功能的東西應該很久以前就有了
印象中是用i960作為運算核心

另外,退一台,定很多台補回來並不會讓你和Dell的關係變差
dell還沒小鼻子小眼睛到那種程度吧

HUANGLIFU

TOE靠網卡跟驅動程式支援，google都找的到。TOE可以有更低的CPU使用率跟更快的TCP封包反應時間。

surprise_idea

對我們目前在使用的產品來說！ TOE 可以解的層數！有的是
IPv4 的 TCP , UDP , IP 層的資料！這個對流量大的時候，對 CPU 真的有可以減少
很多功作！

因為一個網路封包！最大封包大小以 1472 BYTE (不含 IP , TCP 的包頭) 計算一次
TCP 的 CRC16 計算，就要搬移一次 1472 BYTE 的資料量， IP 層要計算 1500 BYTE
的 CRC16 計算！

而網絡的封包不只有接收，發送也要計算一次！現在的 TOE 功能是由！網卡在發
送接收過程中！可以即時檢查計算 CRC16 的檢查碼！真的是可以有助增加效能！

PS. 此功能現在已有 10/100M 網卡也有了，只是市場不在 PC 上，在 STB 上面！
        那一邊的 CPU 更需要這一個功能！我想應該不會有人想要看到老是慢動作
        的 IP-TV 吧！

HUANGLIFU

基本上要加速網路效能TOE是一定要的，如果環境可以搭配會再開JumboFrame，CRC計算的問題，因為有TOE的網卡會在網卡本身自己決定CRC的正確與否，來決定封包要不要重送的動作，所以計算CRC的動作CPU不用干涉，只要拿到結果就可以了。

不過TOE的功能在一個狀況會派不上用場，如果有公司像我目前工作的單位是一個Gateway對兩個1000Mb LAN作Routing的話，因為標準的IP Routing只有處理IP的部分，IP判斷完就把資料轉送出去，所以不去解TCP/UDP封包的資料，所以沒有用，這個時候就可以用沒有TOE的1000Mb網卡，不過要有一定的效能的話也還是要PCI-64或PCI-X的介面效能才夠。

我工作的地方還一些第一代的1000Mb TOE卡，被同事比喻為神器，一張卡那個時候售價要好幾萬~~

10/100Mb的部分的TOE，已經不是什麼太困難的問題，處理器不要太慢的話也不需要TOE，有些內建的NIC也有TOE，只要接個PHY晶片就可以了。會需要100Mb TOE的IPTV，處理器可能只有資料轉送能力，運算的部分都交給協同處理器，如音效解碼晶片/MPEG2/4/H.264解碼晶片等。

[ 本文最後由 HUANGLIFU 於 2006-11-30 02:34 編輯 ]