中文資訊處理

中文資訊處理是指用電子計算機對中文的音、形、義等資訊進行處理和加工。中文資訊處理是自然語言資訊處理的一個分支，是一門與計算機科學、語言學、數學、資訊學、聲學等多種學科相關聯的綜合性學科。資訊處理技術在現代有廣泛的應用，從1980年代開始，中文資訊處理進入了快速發展階段，並極大地提高了中文社會的資訊處理效率。中文資訊處理分為漢字資訊處理與漢語資訊處理兩部分，具體內容包括對字、詞、句、篇章的輸入、儲存、傳輸、輸出、識別、轉換、壓縮、檢索、分析、理解和生成等方面的處理技術。基於歷史、國家疆域、政治等各種問題，中文資訊處理系統所需要處理的文字，有時不僅包括漢文，也包括藏文、蒙文、壯文、維吾爾文等大量中國少數民族的文字，周邊國家的日語假名、諺文，還包括古漢語文字、西夏文、契丹文等各種不同的文字。中文資訊處理可以從硬體及軟體兩方面去看，以下詳述中文資訊處理的發展歷史、現況及未來發展等多方面的面貌。範疇.相關學科.語言文字學、計算機科學、模式識別、人工智慧、心理學、數學、數理統計、控制論、神經計算、模型論、資訊學、形式化理論、聲學等發展歷史.電腦在1946年發明，當時的電腦主要用於計算。及至1960年代，商用電腦開始普及，電腦被用於處理大規模的資料，當中其一個重要專案是圖書館的目錄整理。在當時，美國國會圖書館及多家大學都有不少來自東亞的藏書。為了有效管理這批藏書，必須要有一套有效處理東亞文字的系統。這套系統包括了兩方面：其一是如何把東亞文字儲存在電腦內；其二是如何在電腦表示出東亞文字。1959年，麻省理工學院電機工程系教授Samuel Hawks Caldwell在軍方財政支援下，發明第一部處理中文電腦，稱為SinoType。Caldwell在哈佛大學漢學教授楊聯陞幫助下，研究漢字結構，發明按筆劃分拆，以二十二鍵鍵盤，用筆劃輸入中文。SinoType操作接近中文打字機，操作員在鍵盤輸入筆劃，電腦按輸入編成內碼，以光學矩陣顯示。操作員確認輸入後按"影"鍵，即行列印。按當時的實驗，操作員受八小時訓練後，中文字輸入速度為每四秒一字。SinoType的發明及設計，記載於1959年6月計算機學報Journal of Franklin Institute。一年後Samuel Caldwell過世，SinoType未被重用，然而其技術卻成為日後中文處理基礎。在過去，每一臺電腦都有各自的資料表達方式，使電腦之間不能溝通。到1960年代美國資訊交換標準碼的出現，電腦之間才可以互相溝通。不過，ASCII並不能有效處理英文以外的文字。而當時美國的圖書館開始電腦化，一批中文書有待編入目錄。最早商用可以處理中文的電腦，可以追溯到1970年。在當年舉辦的日本大阪萬國博覽會上，IBM公司公開了部分漢字處理系統的技術資料，到了1971年正式發表。當時公佈的機種包括有「IBM 2345 漢字印刷機」、「IBM 029 漢字穿孔機」、「IBM System/360-System/370 OS/VS」及「DOS/VSE」等。其後，日本本土公司也爭相開發，包括有富士通的JEF等，全是大型電腦。到了1979年5月，NEC發表了可使用漢字ROM的私人電腦PC-8000系列；到了1982年10月，更開發出有名的16位元的PC-9801私人電腦，能處理漢字的電腦在日本漸漸普及。在1970年代末期，更出現一種專門用作編輯檔案的文書處理器，可看成為一種擁有特定功能的小型電腦，1980年代中後期再演化成手提方式，並可打印出漢字。至於輸入方式，由1978年9月26日東芝發售「JW-10」起，「假名漢字變換」成為主流的漢字輸入法；即以日文拼音的方式，配合人工智慧，輸入漢字詞匯。在還沒有真正的中文電腦前，中國大陸部分學者依靠入口日本的電腦來處理中文。1973年，中國新華社派出考察團到日本，參觀了日本共同社、日立、日本電氣、松下及東芝等公司。他們看到共同社採用磁芯技術解決了2000左右漢字和片假名的儲存問題，並發現工作人員使用大鍵盤方式輸入稿件。他們回國後，提出了採用電腦技術改善新華社收發編印四方面，並由中國四機部與北京市科技局邀請了富士通等公司到中國進行技術座談會。後來，四機部提出研製漢字資訊處理系統。在1974年8月，中國開始了748工程，包括了用計算機來處理中文字，展開了各種研究工作，後來到1980年公佈了GB 2312-80漢字編碼的國家標準，1983年中國科學院研究Unix中文化，1985年推出了Unix中文版。臺灣方面，早期美國空軍研究部門曾經與IBM公司合作研發中文電腦，而多家公司也開發了終端機式的中文系統，包括有王安、工技院及神通等。這些機器多數採用大鍵盤的輸入方式，有數十至數百個鍵。到了1976年，中文電腦之父朱邦復發明瞭一套形意檢字法，並在1978年改進為倉頡輸入法，以英文鍵盤輸入中文。在1979年，朱邦復提出以圖形功能及從顯示器的英文字元產生器入手，研發中文電腦，並由宏碁公司出產。之後，在原有英文作業系統上外掛中文系統的方法大行其道，多套中文軟體相繼推出，包括有國喬、倚天及仲鼎等。中文資訊處理在20世紀經歷了兩次高潮：1990年前後，核心內容是漢字的計算機處理問題；經過幾年的發展低潮之後，2000年之前，中文資訊處理的重點轉向語音識別、語音合成和語義處理方面。被打字機忽視的時代.在20世紀上半葉，英文打字機的普及極大的提高了文字資料的錄入速度。但由於打字機設計之初，並沒有考慮到非字母輸入的需要，再加上當時中國的積弱，印表機在中國並沒有普及。但仍然在當時出現了中文打字機，不過這些印表機大都需要配備數千個鉛字組成的大字盤，機器成本昂貴和操作相比活字印刷並沒有優勢。漢字的輸入難題，還體現在活字印刷術的應用歷史中。雖然早在北宋就已經發明泥活字，隨後在元朝、明朝又發明了木活字、銅活字，但一直到晚清西方技術傳入，中國的印刷仍然以雕版為主。這最主要的難題就是在大量使用生僻字、異體字的時代，漢字的印刷活字起碼需要應付上萬個不同字元。而西方字母文字僅需要幾十個不同字元就足夠用了。穩健的基礎：計算機時代.20世紀中葉，計算機開始出現，並進入中文地區，由於和打字機同樣的理由，設計當初並沒有考慮到中文等非英語文字的處理問題，使得計算機在最初的使用裡，中文處理成了一個很大的問題，甚至於有人重拾漢字拉丁化問題。中文處理的大量基礎也都是在這一階段完成的，甚至出現了足以媲美英語的中文處理系統。學術理論.1990年代中期，最為普及的計算機作業系統由DOS升級到Windows平臺。微軟公司從繁體中文版的Windows 3.0及簡體中文版的Windows 3.2開始，在作業系統裡集成了漢字處理技術，使傳統中文資訊處理產品迅速失去了市場。中文資訊處理進入一個低谷，原先做中文資訊處理的公司紛紛轉行。Windows 2000及以上版本，無論採用何種文字，均已支援中文處理。快速追趕：PC時代.隨著PC在20世紀末21世紀初在中文地區的普及，中文資訊處理出現了巨大的發展。超越：觸控時代.自2006年開始，隨著微軟的Surface平板電腦的問世，人機互動方式發生了巨大的變革。一種接近人類日常溝通模式的人機互動模式已經大量應用於最新的科技產品之中。新的漢字構造分解技術，中文智慧輸入的已有積累，中文字型的表現力，中文手寫的安全性等方面都遠遠超越了英文，中文輸入的方便開始出現明顯超越的趨勢。第二代象形輸入法也開始在新產品中應用，其輸入效率透過基本的適應期之後，已經可以超越了原有的所有輸入法。漢語資訊處理階段.與此同時，為方便使中國各民族電腦化的步伐加快，政府作出一連序列動去使這些民族的語言更便於“計算機化”。這一連序列動包括以下各項：電腦對漢字的親和性增加，而Unicode在統漢碼之後，亦不斷推出擴充套件A至G計劃，以涵蓋歷史上所有曾經出現過及使用過的漢字，並為它們編碼記錄。現時已整理好接近十萬個漢字。中文電腦系統.執行在DOS上的中文系統.下列都是1980年代出產的軟體，隨著Windows通行都逐一沒落了。