[狂想] 支援 Big5E 的 CJKOS (輸入法暫時可用)

hobart

"假設", "有一天", CJKOS 支援了 GBK 編碼, 大陸人手中的 Palm,
將不再有缺字問題, 或是說, 缺字問題將會少很多.
不但原有的簡體字, 還包含了繁體字, 日文字 (含漢字).......
  
但是對台灣而言, 台灣通行的是 Big5, 雖然中推會制定了 Big5E,
卻不為台灣各軟體所採用, 最重要的, 是微軟違背了當初的承諾,
沒將 Big5E 加入到作業系統中. 所以, Big5E 更沒人用等於是胎死腹中.
  
沒在 Big5 中的中文字, 想要使用, 就要和 unicode 混用.
這是身為台灣 Palm 使用的悲哀, 因為, 現在的 Palm 是不支援 unicode.
所以, 想要在 Palm 上面使用那些罕用字和簡體字, 還是只有 Big5E 一途.
  
為什麼不直接將所有的 Big5 都轉為 GBK? 因為現有許多資料都是 Big5,
要轉, 得寫許多程式將不同軟體內的資料一一轉碼, 這樣子花的成本太大了.
最理想的方式, 就是 CJKOS 本身能直接支援 Big5E, 這樣,
原本的資料可以不用動, 又可以享用那些只在 unicode 上出現的罕用字.
  
就算是 CJKOS 支援了 GBK, 必定不會支援 Big5E, 因為台灣軟體自己都不用.
杜氏工作室的人沒那麼閒不會在 CJKOS 中加入沒人用的 Big5E 碼.
很幸運地, Big5E 的編碼範圍, 正好完全在 GBK 的編碼範圍內,
所以, 有朝一日 CJKOS 支援了 GBK, 只要一些修改, 就可以變成 Big5E.
  
GBK 共有 24066 字, Big5E 有 21585 字, 許多字仍是不存在於 Big5E 的,
所以, 在 GBK 的編碼範圍內, 將 GBK 比 Big5E 多出來的字納入,
就成了有 24066 字的 Big5E, 我稱為 Big5EH (Big5 EnHanced).
(多一個 H 是 EnHanced 的 H, 別和我同事一樣, 聯想成 Hobart 的 H.... )
以下, 就來討論如何將支援 GBK 的 CJKOS 改成 Big5EH.
  
想要 Big5EH 的 CJKOS, 有兩個必要的程序:
  
1. Big5EH 的字型
2. Big5EH 的輸入法

hobart

1. Big5EH 的字型
Big5EH 和 GBK 最大的不同點, 就只在於字本身和編碼的 mapping 順序不同,
想要得到 Big5EH 的字型, 可以直接將 GBK 的字順序互相調換,
就可以得到 Big5EH 的字型了.
因為編碼範圍是 GBK, 所以要選用 ChineseGBK 的 Charset.
  
以下程式可以將 GBK 的 CJKOS 字型檔轉成 Big5EH 的字型檔.
無論是 10, 12, 16, 24 都可使用, "如果" 有熱心的大陸網友自己作了 GBK 字型,
就可以用這個程式轉成 Big5EH.

hobart

2. Big5EH 的輸入法
如果沒有輸入法的支援, 那 Big5EH 也只能看不能寫,
以下是我自己試作的 Big5EH 的倉頡輸入法及注音輸入法.
因為這兩種輸入法都可以找到簡體版, 中推會也有提供 Big5E 的倉頡.
將這兩份資料合併就可以了.
  
這個附件包含兩個檔案:
臨時轉好的 cj.pdb, phone.pdb, 可能不太好看, 因為我沒時間做 KeyboardBitmap　
所以輸入法看到的鍵盤是 a, b, c...而不是 日, 月, 金, 或 ㄅ ㄆ ㄇ...
我得另找個時間做 keyboard bitmap, 如果有人可以提供那更好了.....

hobart

現在 CJKOS 可以使用 Big5EH 了, 但, 我們在電腦上的資料如何放入 Palm 呢?
因為在 windows 上, Big5 以外的漢字都以 unicode 存放,
以下是 unicode -> Big5EH 的對照表, 如果有人有興趣, 可以寫個程式來轉.

hobart

這個範例程式可以將 UTF-8 的網頁或文字檔轉成 Big5EH.
因為 Big5EH 有日文字漢字, 可以將 UTF-8 的日本網頁
(或是存放時以 UTF-8 格式儲存的文字檔)
就可以在 Palm 上使用日文.

hobart

應用範例
  
許多人對於 "日華華日" 字典已經 '哈' 很久了,
但是因為原來的 Big5 中文碼中沒有日文和漢字, 所以每次有人問,
最後的回答就是 "沒有".
Big5EH 就不同了, 因為 Big5EH 有日文字及許多漢字,
有了 Big5EH, 你可以有 "日華華日", "法漢漢法"......
只要是 Big5EH 有的字, 你就可以自己建個字典了.
對於很哈日文的朋友可以歡呼了, 因為你可以將你的日文資料先轉成 unicode,
或是以 UTF-8 來儲存, 再用我上面的程式轉成 Big5EH,
你會很高興, 你的日文和中文不再衝突, 中日兩國從此和平共存......
  
以下圖例為某個 "眼睛博士 2002 豪華版" 所附的日華華日辭典轉出來的.

hobart

文字是資訊傳遞的基礎, 能有更多的字, 就能處理更多的資訊.
有了 Big5EH, 相信放在你 Palm 裏面的資料將可以比以前更多更豐富.
從此不用在忍受 "陶吉吉" "游錫方方土" "魚安魚康" "酉先" "火田"......
你手中的 Palm 不再文化沙漠.
  
Ok, 感謝大家耐心看完, 祝各位有美好的每一天.

hobart

補充
  
原本我是不想提的......
這是大陸網友 kuuldor 所修改而成的 GBK 版 CJKOS, 修改是不允許的,
但是這位有良心的網友並沒有將註冊的地方拿掉,
也就是說, 你必須是合法的使用者才能使用這個版本.
我是覺得對於原著作的利益和權益沒有受到損害,
所以才將這連結放上來......
  
http://www.echoice.com.cn/bbsimg/echoice_21293_CJKOS_GBK_all_427.prc
  
同時也有測試用的表格, 可以用 isilo 等電子書軟體去看
  
http://www.echoice.com.cn/bbsimg/echoice_20965_gbk.pdb
  
這是大陸網友 ivox 所作的字型檔, 請用我的程式去轉就可以用.
  
http://ivox.bjht.com/palm/allfonts.rar

mace

hobart wrote:
文字是資訊傳遞的基礎, 能有更多的字, 就能處理更多的資訊.
有了 Big5EH, 相信放在你 Palm 裏面的資料將可以比以前更多更豐富.
從此不用在忍受 "陶吉吉" "游錫方方土" "魚安魚康" "酉先" "火田"......
你手中的 Palm 不再文化沙漠.
  
Ok, 感謝大家耐心看完, 祝各位有美好的每一天.

  
最簡單的方式，用蒙恬筆 for Palm 香港版(4000字) 這個版本
  
ftp://ftp.penpower.com.tw/public/palm/HK.ZIP
  
在設定選項部份，勾“香港字“就可以了～

tako

hobart wrote:
這個範例程式可以將 UTF-8 的網頁或文字檔轉成 Big5EH.
因為 Big5EH 有日文字漢字, 可以將 UTF-8 的日本網頁
(或是存放時以 UTF-8 格式儲存的文字檔)
就可以在 Palm 上使用日文.

  
這樣的話,現階段要將日文網頁弄下來,就還要先經過另存新檔的步驟...
  
上面提到的windows上轉碼的,是跟unicode補完套件類似,將內碼表的對應做修正嗎?
就怕會跟unicode補完套件一樣,造成沒安裝的人看不到有裝的人打的東西.....
  
抱歉,我是標準的會用不會做的人...so......只能在旁搖旗吶喊.....(汗)
中日可並存的話,真的可以解決很多事說.....

浮屍

hobart wrote:
2. Big5EH 的輸入法
如果沒有輸入法的支援, 那 Big5EH 也只能看不能寫,
以下是我自己試作的 Big5EH 的倉頡輸入法及注音輸入法.
因為這兩種輸入法都可以找到簡體版, 中推會也有提供 Big5E 的倉頡.
將這兩份資料合併就可以了.
  
(因工作忙碌, 所以晚點放上來, 不過可能沒人用, 我想放上來是多餘)

  
H大大千萬別這麼說...
輸入法對於有整套的solution有極大的幫忙...
期待ing...

hobart

tako wrote:
[quote]hobart wrote:
這個範例程式可以將 UTF-8 的網頁或文字檔轉成 Big5EH.
因為 Big5EH 有日文字漢字, 可以將 UTF-8 的日本網頁
(或是存放時以 UTF-8 格式儲存的文字檔)
就可以在 Palm 上使用日文.

  
這樣的話,現階段要將日文網頁弄下來,就還要先經過另存新檔的步驟...
  
上面提到的windows上轉碼的,是跟unicode補完套件類似,將內碼表的對應做修正嗎?
就怕會跟unicode補完套件一樣,造成沒安裝的人看不到有裝的人打的東西.....
  
抱歉,我是標準的會用不會做的人...so......只能在旁搖旗吶喊.....(汗)
中日可並存的話,真的可以解決很多事說..... [/quote]
  
如你所說的, 因為 windows 不支援直接存檔為 big5eh, 所以要先存成 utf-8 格式,
再用我上面的程式轉:
utf8-big5eh < utf-8.html > big5eh.html
  
除非有人能依我的 unicode -> big5eh 對照表寫個 windows 的 patch,
不然是無法直接存的. 大陸的網友在使用 gbk 時就沒這煩惱了,
他們只要直接存成 gb18030 就可以直接使用 (gbk 為 gb18030 的 subset)
所以囉, 微軟有沒有支援就有這麼大的差別!!!!!!

浮屍

沒辦法...誰叫我們是小國...

tako

ㄟ....
或是,hobart兄要不要跟 http://unicode.cosdreamer.com/ 合作?
降子跟舊big5日文間的互通性或許會更好
不過那邊也好久沒更新的樣子了....(汗汗汗)

hobart

tako wrote:
ㄟ....
或是,hobart兄要不要跟 http://unicode.cosdreamer.com/ 合作?
降子跟舊big5日文間的互通性或許會更好
不過那邊也好久沒更新的樣子了....(汗汗汗)

  
主意不錯, 其實, 只要有 Unicode -> big5 (日文字部分) 的表格我就可以處理,
還有日文的輸入法, 我正在傷腦筋中呢.
如果是 unicode -> big5eh 的資料, 在 pda 上沒問題可閱讀,
但是舊的 big5 日文資料將會受到影響, 因為我不確定我手上的資料是不是已經包含舊日文 big5 碼......

Ramius

浮屍 wrote:
沒辦法...誰叫我們是小國...

  
也不能說是小國的問題，而是要推行加強版big5的時候，unicode已經很明顯會成為主流。與其在那個時候推一個不三不四(就是多一些字但又不是有很多字)的encoding，倒不如直接跳過去用完全兼容的unicode，這樣才不會浪費資源在3個encoding之間轉來轉去。

Ramius

tako wrote:
上面提到的windows上轉碼的,是跟unicode補完套件類似,將內碼表的對應做修正嗎?
就怕會跟unicode補完套件一樣,造成沒安裝的人看不到有裝的人打的東西.....

  
我比較擔心這個問題…試想想現在有幾個人在用big5eh？如果是自己用那當然很方便，但如果要跟人家分享的話，那就會很麻煩。
就像前一陣子看香港的報紙，因為香港字比較多，所以變成看A報要用A報的字型，看B報要用B報的字型。雖然解決了問題，但對讀者卻很困擾了。
  
其實我比較希望是有(偽)unicode支援。就是說文件是用unicode儲存，但開啟的時候自動將機內的big5、gb等字型自動配對。這樣就可以不用把檔案encoding轉來轉去了。

hobart

Ramius wrote:
[quote]浮屍 wrote:
沒辦法...誰叫我們是小國...

  
也不能說是小國的問題，而是要推行加強版big5的時候，unicode已經很明顯會成為主流。與其在那個時候推一個不三不四(就是多一些字但又不是有很多字)的encoding，倒不如直接跳過去用完全兼容的unicode，這樣才不會浪費資源在3個encoding之間轉來轉去。 [/quote]
  
小國, 其實他也沒說錯. 大陸在推行 gb18030 的時候, 強制規沒支援 gb18030的軟體一律不准在國內販售, 結果, 不只是大大小小的軟體公司將產品大改版, 連微軟也趕緊出了 patch, 為什麼? 大陸大呀, 市場大呀. 而我們呢? Big5+ 在六七年前就制定, 微軟當時也是要加入的, 結果, 不只是沒加入 big5 中原有的日文也不恢復.
我們小國沒有影響力, 大陸一句話, 微軟也不得不低頭呢!!

hobart

Ramius wrote:
[quote]tako wrote:
上面提到的windows上轉碼的,是跟unicode補完套件類似,將內碼表的對應做修正嗎?
就怕會跟unicode補完套件一樣,造成沒安裝的人看不到有裝的人打的東西.....

  
我比較擔心這個問題…試想想現在有幾個人在用big5eh？如果是自己用那當然很方便，但如果要跟人家分享的話，那就會很麻煩。
就像前一陣子看香港的報紙，因為香港字比較多，所以變成看A報要用A報的字型，看B報要用B報的字型。雖然解決了問題，但對讀者卻很困擾了。
  
其實我比較希望是有(偽)unicode支援。就是說文件是用unicode儲存，但開啟的時候自動將機內的big5、gb等字型自動配對。這樣就可以不用把檔案encoding轉來轉去了。 [/quote]
  
其實我也早料到 Big5EH 不會有人用, 但是我自己會去用, 因為我只要將資料以 utf-8 來存放, 要 sync 到 clie 前轉一下碼就可以了.
將來出了 unicode 的 Palm, 那就可以直接用 UTF-8 的資料傳進去.
Big5EH 只是個過渡時期的解決方案而己, 我一開始就做出 unicode <-> Big5EH 的對照表, 其實最終也是在等待 unicode. (我很失望, OS5 沒預想的支援 unicode) 在還沒有  unicode 前, 暫時以這方式來解決 Palm 上面顯示的問題.
這些問題可能對你們比較少影響, 對我的影響就很大了, 因為我常用自建的 KDIC 字典, 對於常遇到沒在 big5 的字非常痛苦. 這 Big5EH 其實只是為了我自己在用字典時舒服一點而己.
其實以穩定性來說, 我個人也是不建議用修改過的 CJKOS.
  
我剛剛一直在用模擬器在試, 我想, 我自己會很滿意 Big5EH 的暫時解決方案的.
我還沒碰到我找不到的字, 只要是 unicode 上有的漢字都差不多都在 GBK/Big5EH 中了. 是覺得滿不錯的. 最酷的其中一個, 就是 Palm 界還沒人其他人有的日華華日字典囉

tako

hobart wrote:
這個範例程式可以將 UTF-8 的網頁或文字檔轉成 Big5EH.
因為 Big5EH 有日文字漢字, 可以將 UTF-8 的日本網頁
(或是存放時以 UTF-8 格式儲存的文字檔)
就可以在 Palm 上使用日文.

  
不能run.....:<
執行下去,就停在那了~

Ramius

看你另外轉了一個Big5EH字型，這做法看來跟對岸轉GBK的方法應該比較接近吧？
  
但我想，CJKOS 本身所附的字型就已經很豐富了，繁簡港日韓，該有的都有了。如果可以直接使用現有字型，使用者可以按需要而安裝的話，那就更好了。
  
比如說有人只是能看游錫[$#22531]就好，那就不需要日文和簡體字了。

tako

灌下去用了,除了小字形不好看以外(笑)
舊的資料顯示還算正常
這幾天用用,看怎樣在說~

hobart

tako wrote:
[quote]hobart wrote:
這個範例程式可以將 UTF-8 的網頁或文字檔轉成 Big5EH.
因為 Big5EH 有日文字漢字, 可以將 UTF-8 的日本網頁
(或是存放時以 UTF-8 格式儲存的文字檔)
就可以在 Palm 上使用日文.

  
不能run.....:<
執行下去,就停在那了~ [/quote]
  
抱歉, 我忘了說最重要的事,
因為我急著寫出程式,
所以直接是用 stdin 讀入 stdout 輸出,
  
utf8-big5eh < utf-8.txt > big5eh.txt
utf8-big5eh < utf-8.htm > big5eh.htm
  
得原諒我呀, 為了寫這些東東, 我一整夜沒睡昨天上班時不小心睡著了.......

hobart

其實字型部分, 因為我是想到沒什麼人用, 所以才沒急著做.
我目前打算做的, 是提供一個程式, 將原有的簡體, 繁體及日文字納入,
(也就是說, 如果各位有掌X 的 cjkos 字體, 也可以加入哦)
  
輸入法部分, 我目前發現一些問題, 當要用全型符號時,
因為使用的是 GBK, 所以出來的是 GBK 的全型,
這樣子就無法輸出全型符號......這點我正在想辦法中.
  
最近工作比較忙, 所以才急著昨天凌晨趕出大部分來.
所有的工作還沒完成呢...
  
其實, big5eh 沒多大的價值, 但是可以使用 "罕用字" 及
希望 "中日共存" 的人, 將來 big5eh 成熟些的話還是可以考慮使用
  
big5eh 不是為了取代 unicode, 所以大家想使用時,
希望只是將 utf-8 的資料放上去, 原本的 utf-8 的資料還是留著.
將來 Palm 支援 unicode 後, 就全改用 unicode 了.
在 Palm 輸入簡體字或罕用字是最好避免,
雖然我可以提供 big5eh 轉回 utf-8 的程式,
但是你寫的東西愈多, 得轉的就多.
big5eh 我自己是定位在, 看電子書, 查字典時.
我不會在我的資料中, 像是記事, note, pmt 等存入不屬於 big5 的字,
因為, 這些東西的格式我不知道, 我自己到時也轉不了......

tako

辛苦了......>o< /
嗯....剛試了試...
在DOS模式(習慣這樣講)下輸入
utf8-big5eh < utf-8.htm > big5eh.htm  
嗎?
我在win2000,出現"系統找不到指定檔案"的訊息......

tako

嗯嗯,我目前寄望的也只是能將電腦上的東西轉進pda,看電子書跟字典
並且能中日共存~
  
嗯嗯.....hobart大~靠你了...XD

hobart

tako wrote:
辛苦了......>o< /
嗯....剛試了試...
在DOS模式(習慣這樣講)下輸入
utf8-big5eh < utf-8.htm > big5eh.htm  
嗎?
我在win2000,出現"系統找不到指定檔案"的訊息......

  
是這樣用的:
如果你在網路上看到一個不錯的日文文章, 想放在 pda 上,
你就另存新檔
  
檔案 -> 另存新檔
  
這時你可能指定檔名為 good-article.htm, 記得指定為 utf-8 編碼.
然後, 使用 utf8-big5eh
  
utf8-big5eh < good-article.htm > big5eh-article.htm
  
這時, 你就可以用 isilo 將 big5eh-article.htm 轉成電子書, 就可以用啦.
  
這個程式不是用來改變 windows 為支援 big5eh 的,
這個程式只是單純轉網頁或文字檔的編碼而已.

tako

我發現問題在哪了
  
我檔名中有特殊符號...:Q ("="
將 = 拿掉後就可以了....
sorry,耍笨....^^|||