前言

われわれの 21 世紀 COE プログラム「東アジア世界の人文情報學研究教育
據點」では “漢字文化の全き繼承と發展” をスローガンに掲げている。漢字による文化資源を全面的に繼承するためには、漢字文獻の各種データベースをコンテンツの面で量的に充實させるばかりでなく、更に新しい技術の開發による利便性の向上を目指すことが求められるのは當然であろう。しかも今後の漢字文獻データベースは、少なくとも東アジアの漢字使用圈における廣範
な利用者を前提にして設計されねばならない。そのためには技術開發の面で、中國との交流を推進し、相互理解に努めること、ひいては日中間において存在し得る幾つかの問題について、その解決はともかく、現狀を正確に認識しておくことが緊急の課題であると思われる。そこで漢字文獻のデータベース化において中國で中心的な役割を果たしている中國國家圖書館とのあいだで、
日中共同シンポジウム「漢字文獻資料庫的新技術」を開催することで、この課題に絲口を見いだそうと考えた。
幸いにして國家圖書館の陳力副館長、及び嚴向東國際交流處長をはじめとする同館スタッフの熱心な協力があり、約半年に及ぶ準備の末、2005 年 1 月

22 日（土）、嚴しい寒さのなか、國家圖書館にほど近い湖北大厦を會場として開催の運びとなった。漢字文獻データベースの技術的な問題に關して、日本側 4 名、中國側 4 名の報告が行われ、それらを中心に率直かつ活潑な意見交換を行うことが出來たことは、極めて有意義であった。本册子にはこれらの報告の改訂稿を、當日の報告順に從って掲載する。ただ中國側報告者の内、中國國家圖書館科研處處長孫一鋼（SUN Yigang）氏の「數字文獻處理的標準
規範研究」については、同氏からの申し出によりここに收録することが出來なかったのは殘念である。
漢字文獻データベースの技術について日中の研究者のあいだで直接に意見交換を行う機會はこれまでも決して多くなかった。今後、この種の試みが繼續して行われ、東アジア的規模で漢字文化繼承の具體的問題が一層活潑に討議されることを願ってやまない。

2005 年 7 月 17 日
高田時雄

目

次

Table of Contents

安岡孝一（YASUOKA Koichi）
京都大學人文科學研究所附屬漢字情報研究センター助教授

Text-Searchable Image and Its Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
孫衛（SUN Wei）
數字圖書館管理處総工程師

古籍數字化處理與服務中中文信息處理技術的研究 . . . . . . . . . . . . . . . . . . . . . . . . 7
維習安（Christian WITTERN)京都大學人文科學研究所附屬漢字情報研究センター助教授

From Text to Information – Small Steps towards a Knowledgebase of Tang Civilization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
牛振東（NIU Zhendong）
中國數字圖書館有限責任公司技術總監

多語言處理系統研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
守岡知彦 (MORIOKA Tomohiko)
京都大學人文科學研究所附屬漢字情報研究センター助手

Character Processing Based on Character Ontology . . . . . . . . . . . . . . . . . . . . . . . . 55
翟喜奎（ZHAI Xikui）
數字圖書館管理處

基于字符集的中文信息處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

A. Charles MÜLLER
東洋學園大學教授

Using XML for Storage and Delivery of an Online Dictionary of Buddhism – theDigital Dictionary of Buddhism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Text-Searchable Image and Its Applications
Koichi Yasuoka
Documentation and Information Center for Chinese Studies,
Institute for Research in Humanities, Kyoto University

1

Introduction

Since 1996 proposal of the Council for Science, the university libraries inJapan have progressed “The Digital Library Project”. Nowadays the union
catalogue database of the university libraries (NACSIS-CAT) is almost completely equipped, and we can easily ﬁnd any books and magazines in thelibraries through the database on the Internet. But we are still far and awayfrom the goal of “The Digital Library Project”, which is the digitalization of
all the books and the magazines in the libraries. The university libraries have
only made displays of images of the rare books without their digital texts,
their digital tables of contents, or their digital indices. The digital libraries
in Japan now are not “libraries” but something like “museums”, since they
don’t give us the way to “read” the books digitally.
In this paper the author represents the concept of text-searchable images
and its applications. The author shows two formats, Portable Document
Format and Scalable Vector Graphics, to actualize text-searchable images,
and also shows a JavaScript-based program “ttext-kanbun” to produce textsearchable images in these formats. The author contributes this paper toward
the true progress of the digital “libraries”.

2

Text-Searchable Images

In this section we examine two formats, Portable Document Format (PDF)
and Scalable Vector Graphics (SVG), to actualize text-searchable images.

2.1

PDF for Text-Searchable Images

The author has studied long time about text-searchable images using PDF[2]. And Adobe adopted some results of the study into PDF-1.4 [3] as “transparent text”. Now we have two ways to actualize text-searchable images

using PDF. The one is to put a transparent text upon an image, and theother is to put an image upon a text written in white characters. The former
way is only available with the browsers of PDF-1.4 and after, and the latter
way PDF-1.2 and after. In this paper we use the latter way for backward
compatibility.
PDF can represent both images and texts, but has some limitations on
its format. PDF supports only two compression methods for color images,that are JPEG and ZIP. PDF supports several character-sets for CJK texts,
Adobe-Japan1-6 [7] (including 14663 漢字 characters), Adobe-GB1-4 [1] (including 27629 汉字 characters), Adobe-CNS1-4 [5] (including 17625 漢字
characters), and Adobe-Korea1-2 [6] (including 4620 漢字 characters) underJapanese, mainland Chinese, Taiwanese, and Korean circumstances, respectively. We need “Japanese Language Pack” to read and search PDFs written in Adobe-Japan1-6 character-set, so as mainland Chinese, Taiwanese,and Korean. This means that these character-sets are incompatible with
one another, and that PDFs for text-searchable images actually cannot get
across the borderlines. In this paper we use JPEG for color images and
Adobe-Japan1-6 character-set for texts to produce text-searchable images
with PDF.

2.2

SVG for Text-Searchable Images

Tomohiko Morioka has studied about text-searchable images using SVG [4].
He actualized a text-searchable image to put an image upon a text. But
in this paper we put a transparent text upon an image to actualize a textsearchable image using SVG.
SVG can include both images and texts, but the most contemporary
viewer “Adobe SVG Viewer 3.0” has some limitations. SVG supports any
kind of formats for color images, but the viewer suports only JPEG, PNG,
and GIF. SVG supoorts any text-encodings but prefers UTF-8. In this paper
we use JPEG for color images and UTF-8 for texts to produce text-searchable
images with SVG.

3

Experiment and Result

The author wrote a JavaScript-based program “ttext-kanbun” to produce
text-searchable images using PDF or SVG. “ttext-kanbun” runs on Internet
Explorer 6 under Microsoft Windows XP.

We, members of COE21-project at Institute for Research in Humanities,
Kyoto University, tried to make text-searchable images of 大唐西域記 (ex橘寺-collection) with “ttext-kanbun” (Figure 1). We prepared 319 JPEG
images for 大唐西域記, where each image has 2100×1950 pixels and total sizeof all images is 196807821 bytes, and its text written in UTF-8 consisting of104725 characters (3138 diﬀerent).

Figure 1: Snapshot of “ttext-kanbun”
First we produced text-searchable images using PDF (Figure 2). The
total size of 319 PDF ﬁles was 202662390 bytes, 2.97% increasing from original JPEG images. We couldn’t write 390 characters out of 104725 using
PDF since they were not included in Adobe-Japan1-6. The 390 charactersconsisted of 51 diﬀerent characters shown in Table 1. Then we combined the319 PDF ﬁles into a multi-page PDF. The ﬁle-size of the combined PDF was
202440575 bytes, 2.86% increasing from original JPEG images.
Second we produced text-searchable images using SVG (Figure 3). The

Figure 2: Searching “西域” on “Adobe Reader 6.0”

Table 1: Characters not in Adobe-Japan1-6

Figure 3: Searching “西域” on “Adobe SVG Viewer 3.0”

Table 2: Invisible characters on “Adobe SVG Viewer 3.0”

total size of SVG ﬁles and JPEG images was 203752662 bytes, 3.53% increasing from JPEG images only. All characters could be represented in SVG ﬁles,but 14 characters shown in Table 2 couldn’t be displayed on “Adobe SVG
Viewer 3.0”, since the Viewer didn’t support Unicode Plane-2 fonts.

4

Conclusion

In this paper the author has represented the concept of text-searchable images and its actualization using PDF or SVG. The author wrote a JavaScriptbased program “ttext-kanbun” to produce such text-searchable images. As
a result we have found that only 3% to 4% ﬁle-size increase is needed to
add texts on JPEG images. The author now distributes “ttext-kanbun” at
http://coe21.zinbun.kyoto-u.ac.jp/~yasuoka/ftp/program/ and ispleased to help anyone to produce such text-searchable images.

References[1] Adobe-GB1-4 Character Collection for CID-Keyed Fonts, Technical Note#5079, Adobe Systems (November 2000).
[2] Koichi Yasuoka and Tokio Takata: Digital Rubbings — Their Past andFuture, 2001 Paciﬁc Neighborhood Consortium Proceedings (January2001), ECAI Rubbings Work Session.
[3] Adobe Systems Incorporated: PDF Reference third edition — Adobe
Portable Document Format Version 1.4, Addison-Wesley (December2001).
[4] 守岡知彦: ポスト文字コード時代の文書処理技術に関する展望, 全国文
献·情報センター人文社会科学学術セミナーシリーズ, No.12 (November
2002), pp.59-70.
[5] Adobe-CNS1-4 Character Collection for CID-Keyed Fonts, Technical
Note #5080, Adobe Systems (May 2003).
[6] Adobe-Korea1-2 Character Collection for CID-Keyed Fonts, Technical
Note #5093, Adobe Systems (May 2003).
[7] Adobe-Japan1-6 Character Collection for CID-Keyed Fonts, Technical
Note #5078, Adobe Systems (June 2004).

古籍数字图书馆的中文信息处理技术综述孙卫
中国国家图书馆目 录
第一章 概述 ………………………………………………………… 8
第二章 基本中文信息处理技术一、编码体系关系 ………………………………………………… 15
二、输入法的关系 ………………………………………………… 17
第三章 中文检索技术及其相关技术
一、基本检索技术 ………………………………………………… 19
二、关联的重要性 ………………………………………………… 19
第四章 古籍处理中的技术瓶颈
一、古籍全文的 XML 格式文档的结构化 ………………………… 23
二、曲线字的处理能力 …………………………………………… 23
三、中文输入能力的处理能力 …………………………………… 24
四、字的处理能力 ………………………………………………… 24
五、古籍研究平台的使用推广 …………………………………… 25
六、古籍研究平台的国际合作 …………………………………… 26
第五章 国家图书馆的古籍研究平台的考虑
一、古籍内容数字化 ……………………………………………… 27
二、古籍研究平台实验 …………………………………………… 28

第一章 概述
中国现存最早的文字是甲骨文。距今已有 3500 年的甲骨文就是刻
在龟甲或兽骨上的文字。主要是商代的文字。

上图是甲骨文到现在汉字的演变过程示意。
中国出土的最早的纸质绘画是甘肃玉门发现的，距今大约 1600
年。
我国最早的竹木简古写本是《仪礼》。1959 年考古学家在武威汉
墓中发现了 504 根竹、木简。其中有 469 根，据初步考订，是西汉末
年所抄写的《仪礼》。我国已发现的最早的比较完整的竹木简是战国
时代的1。
我国现存最早的帛写书是《缯书》。《缯书》距今已有两千多年。
l942 年 9 月在湖南长沙东郊子弹库的纸源冲的战国楚墓中出土。这是
一件用毛笔墨书、彩绘在丝织品上的帛书，高约 30 厘米、长约 39 厘
米。帛的中间写有长篇文字，分左右两部分。左方十三行，右方倒写
1

中国国家图书馆陈力馆长纠正11 行，共计六百多字。所用字体为战国时代的古文，有的文字漫漶
不清，多不可识。文字四周有植物、怪兽、三头戴角人像等十二奠。
图像间注有说明文字。
《缯书》于 1946 年被美国人柯克思诓骗掠夺到华盛顿，现藏耶鲁大学图书馆。
我国现存最早的纸写书是晋人手抄的《三国志》。手抄本《三国志》
是陈寿撰成后不久抄写的。现有甲乙两种抄本。甲本于 l924 年在新疆鄯善县出土，是《吴书·虞翻传》、《吴臧张温传》的部分内容，共计 80 行、1090 余字，中有残缺。原本流入日本，国内有新印本流传；乙本于 1965 年 1 月在新疆吐鲁番县的英沙古城附近的一座佛塔遗址
中发现，是《吴书。吴主权传》和《魏书·臧洪传》的残卷，共 40 行，
计有 570 余字，中有残缺。甲、乙两种抄本均隶书体、行款恭正，但非一人抄写。乙本抄书年代早于甲本，但相距时间不会太长。
我国现存最早的木刻印本书是《陀罗尼经咒》。这是一张唐刻梵文
经咒，1944 年 4 月出土于成都市东门外望江楼附近的唐墓。印本长34 厘米、宽 3l 厘米，用唐代名茧纸印制，质地薄而透明，韧性强。
印本中间小方栏内刻一菩萨像。栏外四周有数行梵文经咒。梵文外，又雕双栏，其中四角及每边刻有菩萨，像之间为佛教供品的图像。根据印本右边的题汉文可知，这张经咒是成都府成都县龙池坊卞家印卖咒文。据考证，《陀罗尼经咒》为唐代末期作品，不早于 757 年，印刷于公元 850 年以后的可能性大。此书现藏中国历史博物馆。
我国文献资料中提到的最早的雕版印刷书是唐朝的《女则》。根据明朝邵经邦《弘简录》一书的记载，唐太宗的皇后长孙氏编了一本书，名叫《女则》。贞观十年，长孙皇后死去，宫中有人把此书送给
唐太宗。唐太宗看到这本书讲的都是封建社会中妇女典型人物的故事，宣扬封建伦理道德，对巩固封建王朝的统治有好处，就下令用雕
版印刷把它印了出来。

我国和世界现存最早的有日期的雕版印刷的书是《金刚经》。
《金刚经》印成于唐咸通九年(公元 868 年)。它是一部长约 1 丈、6 尺、高约 1 尺的卷子，由六张面积相等的印有经文的纸粘缀而成。卷首另有二幅扇画，画着释迎牟尼佛在祗树给孤独园的说法图。其余为《金刚经》全文，题有“咸通九年四月十五日王为二亲敬造普施”一行。这卷举世闻名的《金刚经》，原藏甘肃敦煌
千佛洞，1899 年发现，1907 年被英人斯坦因盗去，现藏伦敦不列颠博物馆。
西漢初年，政治穩定，思想文化十分活躍，對傳播工具的需求旺
盛，紙作為新的書寫材料應運而生。許慎著的“說文解字”，成書於西元 100 年。
尽管中文的文字历史有 3500 年以上，计算机的历史也有 100 多年，
而我国在计算机进行中文文字处理是在 20 世纪 70 年代中期的国家
748 工程开始的，目的是利用计算机和激光照排机替代铅字印刷进行
出版。在 20 世纪 80 年代中期，电子工业部计算机总局开始组织个人计算机设计研究工作，在长城 0525 计算机中 014/015 板的设计中，
首次实现了硬件的中文显示技术与西文显示技术的合一，完成了CCDOS 中文汉化操作系统的研制等工作。在 Windows 3.1 操作系统上实现中文是采用的外挂中文环境的方式，自从 Windows 3.2 操作系
统以后，操作系统都采用了内核汉化技术，在 Windows 95、Windows
97、Windows 98、Windows ME 等都是采用不同语言的国家采用不同
的内核处理语言的技术。Windows NT 4.0 以后，Windows 2000 和
Windows XP 都采用了底层采用 Unicode 编码进行文件的存放，在表
现层可以支持各个国家不同语言标准的内核与表现层相结合的技术。
基本的中文处理技术是：1，中文的计算机输入技术。在键盘输入技术中有音码、形码、混合三种输入方式。鼠标输入中有部首、部首+笔画等输入方式。语音输入方式。光学字符识别输入方式。手写识别输入方式等。各种输入方法都是落后于字符标准的变化的。先有汉字编码，再对应各种输入方法的码表。2，中文汉字显示技术。主要是点阵显示方式、曲线显示方式、混合显示方式。在计算机屏幕上先
采用的是点阵显示技术，现在发展到曲线显示或者混合显示技术。而
早期的打印机是自己带各种字库来支持打印的，现在是靠曲线字来支
持打印的。
对于中文文档和数据库的处理，需要更多的中文信息处理技术，
主要是：1，中文检索技术。根据中文词表，对于文档或者数据库中
的中文进行词切分，形成索引词表。再根据检索词在索引词表中寻找对应的词，根据这些词的位置找到相应的文档。由于中文很难由字的编码准确的判别检索词，所以中文检索技术是中文信息处理技术的难点之一。利用字符的完全匹配的计算机统配符技术很难满足中文检索
的需要。2，中文检索结果集的排序。由于中文信息编码是逐步增加和变化的，所以，到现在为止很难有一个统一的中文排序方法，拼音、笔画、部首等的排序方法都存在一定的缺陷。3，中文关联检索。在使用 Unicode 以后，如何对于简-繁关联进行检索就成为使得各种需
要的人都能检索到满足自己需要的文档。
更难的是中文语义分析，进行中文概念的判断，中文文档的自动分类、标引、主题提取等是更难的中文信息处理技术。比较典型的是汉字联想输入2、汉字句子3输入并自动根据意思纠错。
对于国家图书馆，大量是现代书籍与古籍并存。现代的书籍用字
范围大概在 3 万-3.5 万汉字之间4。而《康熙字典》5的正字范围在 4
万 7 千字左右，《汉语大字典》6的正字范围在 5 万 6 千字左右。台湾
整理出来的正字与异体字7大约在 10 万 6 千字左右。日本整理出来的汉字8大约在 5 万字左右。韩国当年处理《高丽藏》9使用了 2 万个左
右的汉字。即使是Unicode 4.0 / ISO 10646-2003 也只有 71000 汉字。
国家图书馆最近实验的《数字方志项目》又整理出了 4 千多个在地方志中出现的汉字。对于古籍的数字化处理过程中，除了用字数量以外，
大量的避讳字也是一个难以处理的问题，所以古籍用字范围是一个主要的难点。在中国国家标准中，GB13000 是GB2312/GBK/Big5 等字形的一个包容集，采用的是ISO10646 的编码规范，对于字形进行过2

微软汉语拼音输入法 2003
拼音之星 2000
4
国家新闻出版总署 2002 年研究项目，对于 1949 年以后，新闻出版所使用的汉字范围进行统计，统计的结果在 3 万到 3 万 5 千汉字之间——北京中易公司（项目的技术支持单位）。
5
同文书局石印版
6
四川辞书出版社与湖北辞书出版社联合出版
7
http://140.111.1.40/start.htm
8《大汉和辞典》诸桥辙次
9《高丽藏》电脑工程考察记 乌.阿浦 著 刘建 译
3

相应的规范。在这 20902 个汉字（ISO10646 基本集）
、扩充A 6582 个汉字，总计 27494 个汉字是可以拼音输入10的。但是，对于扩充B的 4
万 3 千多个字是无法用拼音输入的。所以的汉字的输入方法也是古籍
数字化的难点之一。光学识别 ( OCR ) 技术，在中国进行的大量技
术研究，目前比较理想的识别率是对于铅字印刷的文字作品，对于比较规范的抄本或者刻板识别率很难做到 99.997%，识别的字大约在 1
万 5 千个汉字。由于中国 5 千年的历史，遗留的文字作品很多，有些作品并没有一个规律可以去发现和学习，利用技术中的学习方法找到其中规律，提高准确率是很难做到的。对于古籍的利用，如果不能达
到一定的准确率，全文化就失去了很多研究的价值。古籍的检索与现
代文的检索技术也有很大的差异，现代文一般强调词和复合词的检索技术，所以词切分就非常重要。而古籍在大部分时间是字或字的组合检索，所以字的切分与关联就是最重要的。由于古籍的用字与计算机规范的字是有差异的，所以全文与古籍全文图像的对应位置的对应就
非常重要。这些都是现代文档和古籍在中文信息处理技术上的差异。
对于一个古籍数字图书馆的基本要求如下:
1，

一个 B/S 结构的古籍数字资源的发布、服务、研究系统。古籍
数字化的目的不是为了古籍的保存，这点是非常明确的，古籍
数字化最主要的是把人类文化遗产最大限度的揭示出来，并能够在揭示的基础上做研究。全世界对于中文的研究尤其对于古
籍的研究，是对中国历史的认识的加深，所以为了方便这些学

10

香港华通《拼音大师》

者把注意力放在研究古籍上，而不是计算机操作上，古籍数字资源的发布、服务、研究需要建立在 B/S 结构上，只要会上网就能进入研究。
2，在这个系统上，客户端要解决轻量级的曲线字、多种中文输入法、标准字库和自定义字库等基本中文信息处理技术。

3，在这个系统上，服务器端要解决中文检索、全文与图像的文字位置对应、中文关联检索、打印输出控制、用户管理与授权等
中文信息处理技术和安全控制技术。

4，

内容上有古籍的图像、全文、知识库等部分构成。

第二章 基本中文信息处理技术一、编码体系关系

编码表
TrueType
表1

字编码区ISO10646
对 应 到
150 万 个
各种字

真正的图
形区域，每
个区域最
多 65536
个图形

TrueType
表2

编码表

TrueType
表n图 1、字形与编码的关系示意在图 1 中，示意出了计算机的曲线字库与编码表之间的关系。由于 ISO10646 是变字节编码技术，所以，在这个编码体系中可以容纳
150 多万个各种字。所以，ISO10646 标准是编码和形同时具备的字符
集，在这个字符集中可以同时容纳与显示世界上所有的计算机上的文字。在古籍中要采用 ISO10646 的考虑，一个是字的数量大，一个是
全世界研究文字的人可以交换各种文字的数据。
GB2312/GB18030/
GBK 编码

TrueType

BIG5 编码

TrueType

ISO10646
编码

TrueType
1

TrueTypen图 2、国家标准和台湾规范进入国际标准在图 2 中，我们可以清楚地看到不同编码之间，完全不相同的部
分是编码的码表，而曲线字现在是一样的。
GB2312/GB18030/
GBK 编码

ISO10646
编码BIG5 编码

TrueType
1

TrueTypen图 3、编码转换机制

在图 3 中，我们只需要采用一种曲线图形，而把不同的编码转换到ISO10646 编码就可以实现内核采用一种统一编码11，表现层采用不同的编码格式的目的。

元数据（输
入产生）

图像（扫描
产生）

全文（输入
产生）
全文（OCR
产生）
知识库（输
入产生）

服务器端，
基
于
ISO10646
编码规范

转
换

客户端，基
于任意编
码规则

直接使用

用户使用
环境，浏览
器，可以是
任意编码
关系
用户使用
环境，浏览
器，能正常
使用
ISO10646
编码显示
最终结果

图 4、客户端、服务器端关联关系

图 4 简要解释了 B/S 结构中编码转换的位置关系。对于世界各国
都要研究古籍，就需要在底核采用 ISO 10646，在表现层可以灵活。
TrueType 曲线字库过大，不宜在 B/S 结构下传输字库与各种操11

微软公司的Windows 2000 和Windows XP等就是采用这样一种方式方法

作系统支持下正常使用这个曲线字库。

二、输入法的关系

拼
音
输
入
法

输入的汉字数量有限，对于不认识的字无法处
理，大部分的人使用这个输入方法，简单与日常习惯相同，非大陆体系的人无法很好的使用。台湾体系主要是注音输入，与拼音输入法
雷同。

形
码
输
入
法

看见字就能输入，对于不认识的字可以处理，
小部分的人使用这个输入方法，主要是录入员
使用，对于要使用的字不认识也写不出来无法处理，学习掌握有一定难度。

语
音
输
入
法

底层有发音规则的字就能输入，对于不认识的
字无法处理，小部分的人使用这个输入方法，
主要是录入员使用，语音识别准确有一定难度。汉字数量有限

所有的汉字
能够被输入

能解决 95%以上的汉字的输入。需要采
用部首+笔画，四角
号码等补充 5%

图 5、主流输入方法的比较

全部的汉字可以正常显示与
打印、网络传输快捷
中文显示
中文输入

能够保证在各种操作系
统的终端计算机和服务
器上正常工作中文打印

图 6，中文支撑环境在各种操作系统的正常工作图 5 表明了要使用中文的第一个重要的步奏就是要把汉字能够在
各种计算机操作系统环境下输入进入浏览器并能正常的现实与打印

中文。图 6 是对于计算机支撑中文的最低要求，如果不能满足这个要求，也就无法做到在 B/S 结构下使用古籍数字图书馆系统。

识别率
古籍扫描图像

OCR
识别
校正

认同处
理

形码
输入

古籍全文

<0,03%
错误率图 7、工业化输入的方式方法

图 7 是古籍中文全文化加工的主要的方式与方法。在这个过程中，
困难的是保证全文化的错误率小于 0.03%。OCR的识别范围在 1 万 5
千字，处理近代的铅字版、稳定的刻版、抄版有一定的工业化的加工
全文的能力12。人工输入处理时代范围大，刻版、抄版不一致的有一定的工业化加工能力，主要的错误来自于人为对于字的拆解和抄版的
不清楚13，可以在 7 万 1 千汉字标准中进行录入处理。
还有一种输入方法就是手写识别，如果这种输入方法能够与 7 万
1 千汉字紧密结合，并保证识别率，将是一种受欢迎的输入方式。其他的传统输入方法搬进计算机，象不受输入法、笔画输入法、四角号
码输入法等利用鼠标保证 7 万 1 千个不常用的字的输入也是非常有价
值的工作。

12
13

香港迪志公司与中国书同文公司合作加工的《四库全书》
北京中易公司为国家图书馆进行的数字方志项目的实验

第三章 中文检索技术及其相关技术
一、基本检索技术

元数据
全文数

索引提
取

结果
排序

索引
词表

全文
检索
引擎

索引
字表

知识库

全显
示

参考
字
表

简要
显示

词
表

检索字、
检索词
图像库

图 8、古籍全文检索系统结构关系示意图 8 是一个全文检索系统结果的过程关系示意图，这个检索与现
代文的检索有些不同，主要是字表和全文与图像的对应。在古汉语中，单词检索是对于古籍研究中的一个重要的检索方式。全文中检索字或者词的加亮与图像上对应的字或词进行加亮是另一个重要的用途，由于计算机用字是规范的标准，而古籍上的很多字是非规范的，所以必须方便古籍的研究者能够利用计算机进行检索，也可以根据检索到的结果对应原始的扫描图像进行比对研究。

二、关联的重要性
1，字关联

索引
词表

结果
排序

全文检索引擎

简要
显示

索引
字表
关联
字表

检索
字

全显
示

图 9、字关联位置关系示意图 9 是一个字关联位置的关系示意。因为在 ISO10646 中，有大量的异形异体字，字关联主要是指简——繁关联，异形异体——同义关联。当研究者发一个简体字进入检索系统，先通过关联字表找到对应的繁体字，把简体、繁体字一起发到检索引擎中去，在索引字表中找到对应的位置，一并作为结果返回。这样的字关联可以极大的方便研究者找到自己知道或者自己不熟悉的字和同义异形异体字。作为古籍数字图书馆来说，这个字关联是非常重要的。
2，知识关联

全文

知识提取

知识库建
立过程

知识库

全文

图 10、知识库建立示意图 10 是知识库建立过程的示意。在一个全文中提出或者多个全文中提出的知识点，知识点的集合称为知识库。提取知识库是对于古籍

研究中重要的参考工作之一。
人工连接标引
全文

全
文

索
引
表

索引提取

参考
知识库

知识库

词库

字库

结果
排序
全
文

索
引
表

索引提取

检索引擎

参考
词库

简要
显示
全
显示

字库
关键词
知识库
图 11、知识库多种用法示意图 11 中示意了多种知识库的使用方法，一种是在全文中对于知识
点进行标引、挂接。然后在正常的使用全文检索。这个方法好处是标
引清楚、链接准确，但是带来一个问题，就是知识点随着时间的变化而增多时，要不断的对全文进行标引、链接。另一种是把知识库作为进行索引提取的依据，对于全文进行字、词、知识库参考索引表提取。
检索者只要发检索词在某个知识点上，就会自动关联链接。缺点是知
识库变化，就要重新抽取索引，当数据很大时，这个索引时间也是很
长很长的。还有一种方法，就是对于检索关键词进行知识关联，再利用检索引擎中的词、字组合技术产生知识关联，这个方法的好处就是对于全文、索引的变化小，而是需要研究一个关联分析和词、字组合技术来实现。
3、其他关联

全文检索
全文
含版式的全文

全文显示

全文版式
对比显示

全文图像

图 12、其他关联示意图 12 是一个多关联的显示，OCR 或者全文输入后的全文，一般
是参加检索用，现在增加一个版式关系以后，全文显示更象原来古籍的版型了。检索的词或者字在全文中加亮是一般能做到的，现在要把这个对应的加亮对应到全文图像和全文版式文件中，更好的方便使用者进行对比和比较。

第四章 古籍处理中的技术瓶颈
一、古籍全文的 XML 格式文档的结构化对于古籍数字化加工后形成的图像、全文、版式、位置关系、知识点挂接等，需要一个合理的 XML 文档结构进行组织。这个结构化的文档作为数据交换的基础。
在这个文档中，至少应该包括以下的几个部分：（1） 头文件区里应该能指明字符集规范（编码规范、形体规范）（2） 版式描述区中，应该对于每个页的版式进行描述（坐标参考点、
版式的分栏、分栏变量（列））（3） 内容描述区中，可以把元数据标明，然后把内容结构标明，对应的列变量与版式描述区中对应。
（4） 在一个目录下，至少有一个总的 XML 结构，描述在这个目录
下的各个 XML 文档的关系。
（5） 应该标明对应的图像文件的标识关系。

二、曲线字的处理能力
在 B/S 结构中，主页中应该有一个 JAVA 的环境变量检查程序，
探明本地计算机是否有支撑 ISO10646-2003 的标准字库，如果本地没
有时，应该替换 XML 结构中的字库标准与规范为轻量的曲线字。这
个轻量曲线字应该是曲线字标准，但是总的字节数很小，有利于网络下载，可以支持 B 上的缩放和打印等功能。不能在 XML 原始结构中去调整字符的选择，所以增加一个判断和替换环境变量的方法来满足
内容显示的需要。

三、中文输入能力的处理能力
在 B/S 结构中，主页中应该有一个 JAVA 的环境变量检查程序，
探明本地计算机是否有支撑 ISO10646-2003 的标准字库的输入方法，
如果本地没有大字符集输入方法时，应该在服务器中下载一个中文环
境外挂包，有各种输入法，必须要有鼠标按照部首、笔画、四角号码
等一般的输入方法。由于计算机环境是很多的，只有通过判断来增加
中文环境支撑包。

四、字的处理能力
根据国家图书馆数字方志试验项目看，ISO10646 2003 标准中的 7
万 1 千多个汉字可以满足 95%以上的用字需求，由于中国有 3500 年
文字的历史，古籍文献越古老，需要的汉字的数量将会增加。在数字
方志中，增加了 4 千多个汉字。在国家图书馆另一个项目中，对于西夏文处理，专门制作了 6 千多个西夏文用字。而不断增加的字，需要标准化，这个是古籍全文化处理的一个难点。
还有一个问题，就是古籍中的避讳字的处理14，这个部分是在正字
的基础上进行限制，如何使得古籍全文化中保持避讳字这个特别的历史事实也是很重要的。
由于中国文字历史有 3500 年历史，很多是手抄本、刻版的古籍、
14《开放古籍平台的意义和实作》叶健欣

手稿，所以，因人而异的文字变化随处可见，既要保留历史事实，又要减少造字数量，所以辨别这些问题也是比较困难的。

五、古籍研究平台的使用推广
由于古籍处理的工作量很大，难度很大，而使用的人相对较少。
为了解决这个使用人少的问题，开专门的 B/S 结构古籍研究平台有很大的价值，就是维系一套资源齐全的系统，而不需要每个有古籍研究
者的地方都维护一个系统，这样可以节省整体的系统的维护成本。
1999 年在美国的访问中，专门在美国国会图书馆东亚部、伯克利大学东亚图书馆、斯坦福大学东亚图书馆、哈佛大学燕京图书馆等，对
于中文古籍的研究这些大学和单位都有相应的研究学者，但是这些研
究者与中国和台湾、香港、新加坡等中文古籍的研究者在使用与操作
上完全不同。所以，建立统一的古籍研究平台的难点是推广使用问题。
（1） 美国的学者是用英文检索所需的资料，再使用中文的资料的
检索、借阅资料的方式。新加坡学者中有一部分与美国学者
一样，一部分与台湾、中国、香港等地学者的使用一样。台湾和香港主要是使用 BIG5 规范和注音、仓颉等输入方式检
索中文。在中国有使用 GB 标准，也有使用 ISO10646 标准
和音码、形码组合的输入方式检索中文。如何能够不改变各个学者原有的研究习惯来使用古籍研究平台是一个值得研
究的问题。
（2） 原始文献有一大部分是集中的，所以加工比较容易，但是，由于历史原因，不少文献散落在世界各地，如何协调一致进
行加工处理，再把检索用资源集中放置在古籍研究平台中，把图像分布在各个原始藏品地。这样的合作是建设好这个古
籍研究平台的内容的关键。合作建设了就可以在研究中有优先权使用。
（3） 多语言的一个学者讨论环境也是古籍研究平台所需要。数字
古籍的主要价值是利用计算机技术来帮助学者进行古籍的研究，至少在古籍内容查找和做多古籍比较中，计算机的检
索技术是一个重要的工具。计算机的文字的可编辑性与图像的可裁减形式研究者撰写文章的选择方法之一。多国学者对
于某个共同的问题在研究平台上的讨论，也是对于全世界的汉学研究者提供一个对话的基础。而多语言支持能力是这个
平台的关键。

六、古籍研究平台的国际合作
（1） 内容制作上的合作。这个是古籍研究平台国际合作中最有价值
的地方。具体的合作主要是：资源制作标准与规范的协调一致；
元数据标准规范的协调一致。
（2） 技术规范的合作。主要表现在输入技术、各个国家的编码技术到 ISO 10646 的转换对照技术、组字技术、检索技术等。
（3） 人员上的交流与研究者之间的沟通，主要对于标准字、避讳字、
组字、异型异体字的认同与意义研究的交流

第五章 国家图书馆的古籍研究平台的考虑
一、古籍内容数字化（1） 拓片、敦煌文献等数字化实验
原件

研究
的成
果

扫描

图像

扫描

识别

书目记录
内容描述

内容描述

书目记录

图像

全文

全文
研究文献库

研究文献库
图 13、拓片数字化示意（2）方志的数字化实验
原件

研究
的成
果

扫描

图像

扫描

识别

书目记录
内容描述

内容描述

书目记录

图像

全文

全文
研究文献库

研究文献库
八个知识库
八个知识库
图 14、方志数字化示意这两个部分的部分数字资源可以在国家图书馆的网络上看到。数字方志部分将逐步开放使用。

二、古籍研究平台实验
（1）http://idp.nlc.gov.cn/

在这个项目中，检索采用的是多条件组合的排列式检索。就是在多个条件下，所有的结果排列出来，由使用者来选择。不是我们常用的检索方式。
检索到的结果基本是用图像挂接方式显示的。但是，链接的图像有
一部分在中国国内，一部分在英国。这个是一个典型的对象分布的古籍研究平台，而且是国际合作的结果。目前，全世界的敦煌研究者都可以免费使用这个古籍研究平台的所有的数字资源。

（2）http://202.96.31.42:9080/ros/index.htm

检索后，可以看内容描述，元数据

也可以看拓片3、http://202.96.31.42:9080/wenxian/西夏碎金也是国家图书馆古籍研究平台的一个实验，基本的与拓片相同。
4、数字方志后村居士集全文数据格式说明
（1） 数据组织
数据的命名方法：遵照中易古籍数字化加工系统的统一命名规则。数据以”页”为单位，数据的文件名格式为 10+3，即 10 位文件
名加 3 位格式扩展名——”bbbbvvvppp.xxx”。
”bbbb”代表书目编号
BookID；”vvv”代表卷编号；”ppp”代表卷内页号；”xxx”是扩展
名。
提交的数据格式共有 3 种：*.jpg（原文图像数据）、*.xml（含格式描述信息的全文数据）、*.pdf（版式还原的电子书）。

在中易的古籍数字化库中，后村居士集的 BookID 为 9999，共分
为 52 卷。3 种格式的数据分置于 3 个目录中，以下不再分目录。
数据组织如下所示。

（2） 全文数据（*.xml）格式
01. <?xml version="1.0" encoding="utf-16" standalone="yes"?>
02. <page pageid="9999001040" bookid="" relate="9999001040">
03.
<staffidx>
04.
</staffidx>
05.
<workflow>71</workflow>
06.
<info>
07.
<format count="6">08.
<modulus id="imagewidth">1103</modulus>
09.
<modulus id="imageheight">1856</modulus>
10.
<modulus id="landscape">0</modulus>
11.
<modulus id="l2r">0</modulus>
12.
<modulus id="type">0</modulus>
13.
<modulus id="case">000</modulus>
14.
</format>15.
<setting count="23">
16.
<modulus id="1" />17.
<modulus id="2" />18.
<modulus id="3" />19.
<modulus id="4" />20.
<modulus id="5" />21.
<modulus id="6" />22.
<modulus id="7" />23.
<modulus id="8" />24.
<modulus id="9" />25.
<modulus id="10" />26.
<modulus id="11" />27.
<modulus id="12" />28.
<modulus id="13" />29.
<modulus id="14" />30.
<modulus id="15" />31.
<modulus id="16" />32.
<modulus id="17" />33.
<modulus id="18" />34.
<modulus id="19" />35.
<modulus id="20" />36.
<modulus id="21" />37.
<modulus id="22" />38.
<modulus id="23" />39.
</setting>40.
</info>41.
<data>
42.
<text count="10">43.
<line id="1">44.
<position>1070,190,966,1766</position>
45.
<content>眞隱寺
道傍松</content>
46.
</line>47.
<line id="2">48.
<position>966,190,863,1766</position>
49.
<content>
枕峰寺
乍歸九首</content>
50.
</line>51.
<line id="3">52.
<position>863,190,760,1766</position>
53.
<content>
題坡公贈鄭介夫詩三首</content>
54.
</line>55.
<line id="4">56.
<position>760,190,656,1766</position>
57.
<content> 卷第七┳詩┻</content>
58.
</line>59.
<line id="5">60.
<position>656,190,553,1766</position>
61.
<content>
蔡忠惠家觀帖
癸未瑞慶節</content>
62.
</line>63.
<line id="6">64.
<position>553,190,447,1766</position>
65.
<content>有感
挽水心先生二首</content>
66.
</line>67.
<line id="7">68.
<position>447,190,343,1766</position>
69.
<content>
林容州別墅
哭林山人</content>
70.
</line>71.
<line id="8">72.
<position>343,190,240,1766</position>
73.
<content>
挽方孚若二首挽方武成二首</content>
74.
</line>75.
<line id="9">76.
<position>240,190,137,1766</position>
77.
<content>
福州道山
建州</content>
78.
</line>79.
<line id="10">80.
<position>137,190,33,1766</position>
81.
<content>起來
入浙</content>
82.
</line>83.
</text>84.
<annotate count="0" />85.
</data>86. </page>以上是一个 xml 数据格式的例子。
第 03-05 行，工序记录信息，与全文无关；第 07-14 行，相应的原扫描图像的总体信息；第 15-39 行，用于版式还原成 pdf 的排版系数；
第 41-85 行，页内的全文信息，其中：
第 42-83 行为正文信息，包含在<text>中；
一列文字信息包含在一个<line>中；列在原图像上的位置包含在一个<position>中，逗号隔开的四个数依次表示该列位置的对角坐标的 x 和 y 值；
列内的全文信息包含在一个<content>中；如果该页有批注信息，将包含在第 84 行的<annotate>中，格式
与正文的<line>相同。

下面着重说明<content>中的数据格式。
因为 xml 数据中的全文信息是含版式还原的格式描述的，所以<content>中除文字以外还会出现一些排版符（如第 57 行）。
因排版需要，会出现比较多的符号，如果仅仅关心文字数据的话，
可将符号归类为以下几种。
¾ 大字（正文）
普通大字没有标示“【” “】” 起始-结束
“［” “］” 起始-结束

¾ 小字（注释）“『” “』” 起始-结束
“┳” “┻” 起始-结束
“┉”小字或小小字在列内的折行符号¾ 小小字（注释的注释）“＃” “％” 起始-结束
¾ 插入字“＊” “＆” 起始-结束
“＠” “＆”起始-结束
¾ 可直接滤掉的排版符
“
《” “》
”字带方框
“※”反白字 起始-结束
“‖”字边带方框 起始-结束
“┆”字边带三点 起始-结束
“│”字边带单线 起始-结束
“ｈ”黑体字 起始-结束
“
〖” “〗
”字号+2
“Х”删除标记 起始-结束
“→”字符横向右旋转 90 度“≮” “≯”横排“∈”空过行高一半的高度“╩”分段对齐符号

“⊙”其后的字外带圈
“Ｊ”句号、“Ｎ”顿号、“Ｄ”逗号、“Ｍ”冒号
可以看出，绝大多数符号像括号一样是一开一关的。标示大、小字的符号对全文数据的提取是最有用的。
（3） 全文图像版式（4）检索

（5）全文版式（6）全文图像

致谢：
本文的完成，引用了中国国家图书馆分馆的《数字方正》项目的
数据和得到了中国国家图书馆分馆的帮助。引用了中国国家图书馆的《敦煌研究》、《西夏碎金》和《碑帖菁华》项目的数据和得到中国国
家图书馆善本特藏部的帮助。相关的技术得到来自于北京中易中标电子信息技术有限公司、北京国图数字技术有限公司、台湾易符智慧科技公司的帮助。借此文正式发表之际，对于帮助者一起致谢。

&ROM 4EXT TO )NFORMATION  3MALL 3TEPS TOWARDS A+NOWLEDGEBASE OF 4ANG #IVILIZATION#HRISTIAN 7ITTERN

1. Introduction
4HE +NOWLEDGEBASE OF 4ANG #IVILIZATION IS AIMING AT PROVIDING A COMPREHENSIVEINTERLINKED RESEARCH TOOL TO AID IN ANY RESEARCH THAT HAS SOME RELATION TO 4ANG
#IVILIZATION 4O BUILD SUCH A +NOWLEDGEBASE  WORK HAS STARTED WITH A FOCUS ON
HISTORICAL TEXTS  EG THE TWO DYNASTIC ÒSTANDARDÒ HISTORIES *IU 4ANG 3HU 㸈ᤎ✥ BY,IU 8U ᚇ♘ AND OTHERS   8IN 4ANG 3HU ◝ᤎ✥ BY /UYANG 8IU ⭽剻Ɋ AND
OTHERS   AS WELL AS 3IMA 'UANGS ៶唣ᕇ :IZHI 4ONGJIAN 䣅⳨䰘偏  THE LATTERPROVIDES A CONVENIENT CHRONICLE OF EVENTS OF THE 4ANG YEARS FOR OUR PURPOSE
4HE FIRST CHALLENGE IN THE ATTEMPT TO MAKE TEXTS AVAILABLE FOR SUCH A PURPOSE IS
TO TRANSFER THEM IN A DIGITAL FORMAT THAT CAN BE USED AS A FUNDAMENT FOR ALL FURTHER
WORK 4HIS TRANSFORMATION WILL NEED TO REFLECT THE BASIC STRUCTURE OF THE TEXT AS
WELL AS PROVIDE A MEANS TO RELATE TO THE HIGHER LEVEL SEMANTIC ENTITIES CONTAINEDTHEREIN 7ITH SUCH A TEXT IN PLACE  THE NEXT STEP IS TO ISOLATE  ANALYZE AND NORMALIZE
THE INFORMATION ATOMS THE TEXT RELATES  WHICH ARE IN THIS CASE NAMES OF PERSONSMENTIONED IN THE TEXTS  TITLES OF BOOKS  TEMPORAL AND SPATIAL IDENTIFICATIONS NAMESOF PLACES  DATES ETC  BUT ALSO ADMINISTRATIVE TITLES AND ACTS AND FINALLY THE EVENTSTHAT THESE TEXT ARE REPORTING
)N ORDER TO MAKE ALL THIS USEABLE IN THE +NOWLEDGEBASE  HOWEVER THERE IS ONE
FURTHER STEP NEEDED 4HE INDIVIDUAL INFORMATION ITEMS NEED TO BE RELATED TO EACHOTHER EXPLICITLY IN SOME WAY 7HILE THIS CONNECTION IS OF COURSE CONTAINED IN THE
TEXTUAL SOURCES  SOMETIMES EXPLICIT  BUT AT LEAST IMPICIT  IT REQUIRES CONSIDERABLEEFFORT TO ENCODE THESE RELATIONS IN MACHINE READABLE FORM

2. The Zizhi Tongjian
2.1. The text and its tradition
4HE :IZHI 4ONGJIAN À#OMPREHENSIVE MIRROR TO AID IN GOVERNMENTÁ   BY 3IMA'UANG ៶唣ᕇ  IS EASILY THE MOST INFLUENTIAL SINGLE WORK OF CHRONOLOGICAL㧦ё嘈  HISTORICAL WRITING IN #HINA  IN INFLUENCE ON LATER WORKS SECOND ONLY TO
THE 3HIJI ៰䘖 À2ECORD OF THE (ISTORIANÁ BY 3IMA 1IAN ៶唣䱵 4HE WORK HAS BEEN
FREQUENTLY ANNOTATED  EXCERPTED  AND EXPANDED THERE HAVE BEEN CRITICAL
EXAMINATIONS AND A CONSIDERABLE NUMBER OF SEQUELS &IGURE  SHOWS THE TEXTAVAILABLE IN THE WIDELY USED "AINA व㤋 EDITION !S CAN BE SEEN  THE TEXT IS RUNNING
THROUGH  WITH ONLY OCCASIONAL SPACES TO INDICATE A CHANGE OF TOPIC

&IGURE_
3IMA 'UANG AND HIS COMPILERS MADE A CRITICAL EXAMINATION OF THE SOURCESAVAILABLE TO THEM AND RECORDED INSTANCES WHERE THEY HAD TO CHOOSE FROM CONFLICTING
ACCOUNTS 4HIS WAS PUBLISHED SEPARATELY AS :IZHI 4ONGJIAN +AOYI 䣅⳨䰘偏㰁㌯ IN
 JUAN BY 3IMA 'UANG HIMSELF !MONG THE ANNOTATIONS THAT WHERE MADE TO THE
TEXT OF THE 䣅⳨䰘偏 THOSE BY 3HI :HAO ៰⿂    AND (U 3ANXING 㳟ፂॢ   ARE THE MOST FREQUENTLY USED /VER TIME  THEY HAVE BEEN FOLDED INTO
THE TEXT  TOGETHER WITH 3IMA 'UANGS +AOYI TO MAKE UP THE TEXT  AS IT IS NOW MOSTCONVENIENTLY ACCESSED THROUGH THE PUNCTUATED EDITION FROM :HONGHUA #HUJU ţ㿭✥ά 4HIS TEXT  WHICH HAS ALSO BEEN THE BASIS FOR OUR DIGITIZATION  IS SHOWN IN&IGURE !PART FROM 3IMA 'UANG HIMSELF THE THREE MAIN EDITORS WHERE ,IU "AN ᚇ╪ WHO WAS RESPONSIBLE FOR THE 7ARRING 3TATES  1IN AND (AN PERIODS  ,IU 3HU ᚇԝ
  WHO TOOK CHARGE OF THE PERIOD FROM THE 4HREE +INGDOMS TO 3UI AND &AN :UYU 㼁ਟ਺   WHO EDITED THE RECORDS FOR THE 4ANG AND &IVE $YNASTIES PERIOD
4HE 3HIWEN ䷉▴ COMMENTARY⃨䘹 'UANGZHU AND ટ䘹 9INZHU COMMENTARY IN  JUAN

&IGURE_

2.2. Structural features of the text
!S CAN BE SEEN FROM &IGURE   THE STRUCTURE OF THIS TEXT IS MUCH MORE COMPLEX THAN
THE ONE SEEN IN &IGURE  5SING THIS AS A BASIS FOR DIGITIZATION SEEMS A MUCH MORECOMPLEX AND UNNECESSARY CUMBERSOME UNDERTAKING )T HAS HOWEVER THE ADVANTAGE
TO PROVIDE ADDITIONAL INFORMATION ABOUT THE TEXT AND THE ENTITIES THE TEXT TALKSABOUT FOR THIS REASON IN A LONG TERM PERSPECTIVE  IT SEEMED MOST CONVENIENT TO
START OUT FROM THE MODERN EDITION
4HE TEXT AS IT IS PUBLISHED IS DIVIDED INTO THE RECORDS OF  DYNASTIES OR KINGDOMS
/F THESE  THE 4ANG 2ECORDS ᤎ㣾 IN  JUAN IS BY FAR THE MOST VOLUMINOUS &OR THE
4ANG +NOWLEDGEBASE  WORK DID CONCENTRATE EXCLUSIVELY ON THIS PART OF THE TEXT
7ITHIN THE 4ANG 2ECORDS  THE DIVISION IS BY %MPEROR  THEN BY ERA PERIOD AND FINALLY
BY YEAR 4HE EDITORS CHOOSE TO TREAT A CALENDAR YEAR AS THE BASIC UNIT  ALTHOUGH
OBVIOUSLY SOME CHANGES OF EMPEROR OR ERA DO NOT FALL AT THE BEGINNING OF THE YEAR
7ITHIN A YEAR  THE NARRATIVE IS DIVIDED INTO INDIVIDUAL PARAGRAPHS  WHICH MOSTLYFOLLOW THOSE WHITE SPACES OF THE EARLIER EDITIONS  AS CAN BE SEEN BY COMPARING THE
À:HONGHUA 3HUJUÁ EDITION WITH THE À"AINAÁ EDITION )N CASES WHERE THE EDITORS DID
FEEL A FURTHER DIVISION WAS NECESSARY  THEY DID INTRODUCE THEIR OWN PARAGRAPHSAND  TO DISTINGUISH THESE TWO TYPES OF PARAGRAPHS  THE ONES THAT APPEARED ALREADYIN THE EARLY WOODBLOCK EDITION AND MIGHT HAVE BEEN INTRODUCED FOR ALL WE KNOW
BY 3IMA 'UANG HIMSELF  HAVE NUMBERS ATTACHED TO THEM  WHICH RUN THROUGH FOR

ONE WHOLE YEAR )N A FIRST APPROXIMATION  SUCH A PARAGRAPH CAN BE SEEN AS THE MOST
BASIC NARRATIVE UNIT  REPORTING ONE ÀEVENTÁ
7ITHIN A PARAGRAPH  THE NOTES OF VARIOUS TYPES ARE DISTINGUISHED FROM THE
RUNNING TEXT BY SMALLER POINT SIZE  BUT THEY ARE NOT FURTHER SEPARATED NEITHER BY
SOURCE NOR BY CATEGORY /THER CLEARLY DISTINGUISHABLE FEATURES OF THE TEXT ARE WAIVY
AND STRAIGHT LINES  WHICH INDICATE TITLES OF TEXTS AND OTHER NAMED ENTITIESRESPECTIVELY

2.3. Translating structure to markup!S DESCRIBED ABOVE  THE STRUCTURAL FEATURES OF THE TEXT VISIBLE IN THE LAYOUT POINT
TO SEMANTIC FEATURES &OR THE ELECTRONIC TEXT TO BE USEFUL  THESE FEATURES HAVE TO
BE NAMED AND TRANSPOSED INTO MACHINE READABLE FORM &OR THE PURPOSE OF THISPROJECT  THE 'UIDELINES FOR %LECTRONIC 4EXT %NCODING AND )NTERCHANGE HAVE BEEN USED
AND ADAPTED TO THE SPECIAL PURPOSES OF THIS PROJECT )N MOST CASES THE TRANSPOSITION
FROM STRUCTURE TO MARKUP HAS BEEN STRAIGHTFORWARD AND COULD BE APPLIED IN A SEMIAUTOMATED FASHION 7HAT PROVED TO BE MOST DIFFICULT WAS THE INTRODUCTION OF
DISTINCTIONS THAT HAD NO EQUIVALENT IN THE PRINTED PAGE &OR EXAMPLE  THE NAMED
ENTITIES MARKED WITH A STRAIGHT LINE LUMPED TOGETHER QUITE DISTINCT FEATURESÈ

0ERSONAL NAMES <rm> È.AMES OF 0LACES <dm>È

%RA NAMES <y>È

.AMES OF DYNASTIC PERIODS OR KINGDOMS <dyn>)DENTIFYING AND ASSIGNING THE PROPER CATEGORIES FOR THESE ITEMS PROVED TO BE BY
FAR THE MOST TIME CONSUMING TASK 4HE DIFFICULTY HERE IS THAT EVEN WITH SUPPORTING
AUTHORITY FILES  WHICH WE GRADUALLY CREATED DURING THIS PROJECT  THE ASSIGNMENTITSELF STILL HAS TO BE CHECKED CAREFULLY !NOTHER PROBLEM WAS THE DESIRE TO NOT ONLYIDENTIFY THE CATEGORIES  BUT ALSO LINK TO THE AUTHORITY FILE  WHICH MIGHT HAVEDIFFERENT NAMES FOR A PERSON AND ADDITIONAL INFORMATION
4HE TEXT IN SMALLER PRINT  WHICH LUMPED TOGETHER ALL ANNOTATIONS THAT HAD BEEN
ADDED TO THE ORIGINAL TEXT EITHER BY 3IMA 'UANG OR BY A RANGE OF LATER COMMENTATORS
AND EDITORS  CAN BE DISTINGUISHED IN THE FOLLOWING WAYÈ


TEXT CRITICAL NOTES <app>%DITED BY -ICHAEL 3PERBERG -C1UEEN AND ,OU "URNARD &IRST PUBLISHED IN   THE
MOST RECENT REVISION IS OF 
!DAPTABILITY IS ONE OF THE MAJOR FEATURES OF THESE 'UIDELINES  WHICH ALLOW THEM TO BE
BOTH VERY BROADLY APPLICABLE AND YET SPECIFIC ENOUGH FOR VARYING LOCAL REQUIREMENTS 4HE
ADOPTION IN THIS CASE CONSISTED MOSTLY OF REMOVING UNNECESSARY ELEMENTS AND MAKING
THE CONTENT MODELS MORE STRINGENT  SO THAT IT WAS EASIER TO CHECK THE MARKUP)N PARENTHESES THE ELEMENTS USED TO INDICATE THIS FEATURE 3EE THE !PPENDIX FOR A
CORRESPONDENCE OF THESE NOTATIONS TO THE STANDARD 4%) NOTATIONÈ

SOUND GLOSSES <gloss>

È

CROSS REFERENCES <xref>

È

CRITIC OF SOURCES THIS IS INDICATED BY A REFERENCE TO :IZHI 4ONGJIAN +AOYI

ÈADDITIONAL INFORMATION PROVIDED BY (U 3ANXING OR OTHERSÈCITATIONS <cit>)T IS BY NO MEANS ALWAYS OBVIOUS  WHO IS RESPONSIBLE FOR A GIVEN NOTE AND WHEN IT
WAS INTRODUCED  ALTHOUGH IN SOME CASES  THE NAME IS MENTIONED EXPLICITLY
)N APPLYING THE MARKUP  THE NEED TO ECONOMIZE ON THE AMOUNT OF EFFORT THAT IS
REQUIRED TO CREATE TEXTS WITH MARKUP ADDS ADDITIONAL LIMITATIONS FOR THIS REASONNOT ALL DESIRABLE FEATURES HAVE BEEN INTRODUCED! SHORT EXCERPT FROM THE MARKUP OF THE MASTER FILES  SHOWING A PART FROM THE
TEXT IN &IGURE  IS GIVEN IN THE !PPENDIX

3. Beyond markup
4HE PURPOSE OF APPLYING THIS TYPE OF MARKUP IS OF COURSE TO MAKE AVAILABLE THE
TEXT CONTENT FOR FURTHER PROCESSING 7ITHIN THE CONTEXT OF THE +NOWLEDGEBASE
THIS MEANS DERIVING INFORMATION FROM THE TEXT  ABSTRACTING FROM THE INDIVIDUAL
EXPRESSIONS USED THERE
/NE AREA WHERE THIS IS SPECIFICALLY IMPORTANT IS WITH REGARD TO THE PERSONSMENTIONED IN THE TEXT $EPENDING ON THE CONTEXT AND THEIR STANDING IN THE WORLD
MANY PERSONS ARE REFERRED TO BY DIFFERENT NAMES IN THE COURSE OF THEIR LIFE  AND
THIS IS NATURALLY ALSO REFLECTED IN OUR SOURCES !DDITIONALLY  THE CHRONOLOGICALACCOUNT AND THE SEVERAL LAYERS OF NOTES TO REFER TO PERSONS DIFFERENTLY IN MANY
CASES
)N ADDITION TO SIMPLY MARKING TEXTUAL FEATURES AS BEING NAMES OF PLACES  PERSONSAND SO ON  WORK HAS BEGAN TO IDENTIFY PERSONS AND RELATE THEIR NAMES THIS IS DONESEPARATELY FROM THE TEXT THAT CONSTITUTES THE ÀRESOURCE LAYERÁ IN WHAT WE CALL THEÀINFORMATION LAYERÁ 4HIS IS OF COURSE A SIGNIFICANT TASK THAT EVEN FOR A TEXT OF
COMPARATIVELY LIMITED SCOPE  AS THE 4ANG 2ECORDS OF THE 䣅⳨䰘偏  WHERE FOR ABOUT
THE FIRST HALF OF THE 4ANG PERIOD  AT THE MOMENT WE HAVE IDENTIFIED MORE THAN DIFFERENT PERSONS MENTIONED IN THE TEXT 4HIS IDENTIFICATION IS COMPLICATED
BY THE FACT THAT NAMES OR IDENTIFICATIONS SUCH AS 0RINCE OF 1IN ੍࠺  ARE USED FOR
DIFFERENT PERSONS AT DIFFERENT TIMES FREQUENTLY PERSONS ARE ONLY MENTIONED BY
4O BE EXACT  AT PRESENT THE PERIOD FROM THE FIRST YEAR OF 7UDE ⮓ӓ   TO THE END
OF 4IANBAO ʘự  HAS BEEN ANALYZED
4HIS FIGURE  WHICH SHOULD OF COURSE NOT BE TAKEN TO BE THE FINAL TOLL  DOES ALSO INCLUDEPERSONS FROM EARLIER PERIODS THAT ARE MENTIONED IN THE TEXT  AS WELL AS THE NAMES OF LATERCOMMENTATORS AND OTHER PERSONS  WHOSE NAMES APPEAR IN THE SOURCES /NLY VERYPRELIMINARY WORK HAS BEEN DONE TO FURTHER ANALYZE AND CATEGORIZE THESE DATA SO FAR AND
WE EXPECT TO DEVOTE MORE TIME AND EFFORT ON THIS ASPECT IN THE YEARS TO COME

THEIR GIVEN NAME  WHICH MAY INCREASE THE NUMBER OF IDENTICAL STRINGS THAT STILLHAVE TO BE ASSIGNED TO DIFFERENT RECORDS
7HILE THE AMOUNT OF EFFORT TO IDENTIFY PERSONS IN SUCH A WAY IS PROHIBITING HIGH
ON THE OTHER SIDE  WE HOPE THAT THE RESULTING DATA CAN BE USED AS A TRAINING CORPUS
TO FURTHER ANNOTATE TEXTS IN THIS WAY SEMI AUTOMATICALLY  BOTH TEXTS FROM THE 4ANGPERIOD  WHERE THE DATA AND ITS CONTENT IN THE INFORMATION LAYER CAN BE
STRAIGHTFORWARDLY APPLIED  BUT ALSO TEXTS FROM OTHER PERIODS  WHERE HEURISTICS OF
THE TEXTUAL CONTEXT DERIVED FROM THESE DATA CAN PROVIDE HINTS TO WHAT HAS TO BE
CONSIDERED A PERSONAL NAME
4O GIVE AN EXAMPLE  HERE IS A LIST OF NAMES USED IN OUR SOURCES FOR THE SECOND
4ANG EMPEROR 4AIZONG  WHO IS BY FAR MOST FREQUENTLY MENTIONED IN THE PERIODCONSIDERED HEREÈœⰾ 

Èᤎʙ͜ 

Èʙ͜ 

Èʙ͜▴⮓हк Èʙ͜▴⮓㱔हк 

È

▴⮓ 

È

▴⮓हк 

È▴⮓ʗ㱔ʗ⃨̿हк È▴⮓ʗ㱔हк È▴⮓हк È▴हк 

È੍ᕪœⰾ 

È

੍࠺ 

È

੍࠺œⰾ 

È

䦗ᕪ 

È

䦗ᕪœⰾ 

4HERE ARE  DIFFERENT APPELLATIONS FOR 4AIZONG AND IT SHOULD BE CLEAR THAT IT WOULD
BE QUITE IMPOSSIBLE TO FIND ALL PLACES WHERE HE IS MENTIONED IN THE SOURCE TEXT BY
TRYING TO PERFORM A SIMPLE SEARCH FOR HIS NAME
4HERE ARE OF COURSE COUNTLESS MORE ASPECTS IN WHICH EVEN A COMPARATIVELYSIMPLE MARKUP LIKE THE ONE USED HERE CAN BE USED TO FURTHER EXTRACT AND ANALYZE
THE TEXT TO GAIN NEW INFORMATION )T IS FOR EXAMPLE INTERESTING TO SEE AT WHICH TIME
WHICH NAME WAS USED TO REFER TO A PERSON  OR WHICH NOMINAL TITLE WAS CONFERRED


4HE FIGURES IN PARENTHESES ARE THE NUMBER OF OCCURRENCES IN THE TEXT OF THE :IZHI
4ONGJIAN FROM  UP TO THE END OF THE ERA 4IANBAO  AT WHICH TIME 3INCE OUR TEXT IS A CHRONOLOGICAL RECORD  IT IS QUITE EASY TO DERIVE
THIS INFORMATION FROM THE STRUCTURE OF THE TEXT 4HE FOLLOWING 4ABLE  GIVES THE
NAMES AS THEY HAVE BEEN USED  BROKEN DOWN BY YEAR IT IS ALSO MENTIONED WHETHER
THE NAME IS MENTIONED IN THE NARRATIVE MAIN TEXT  OR SOMEWHERE IN THE
COMMENTARY
4ABLE_
9EAR ⮓ӓpt ⮓ӓpu ⮓ӓpv

 ⮓ӓpw

 ⮓ӓpx ⮓ӓpy/CC TOTAL












/CC IN TEXT NOTE  TOTAL È੍ᕪœⰾ   Èœⰾ   È䦗ᕪ   È䦗ᕪœⰾ   Èʙ͜   È੍࠺   È੍࠺œⰾ   È੍࠺œⰾ   Èʙ͜   Èœⰾ   È੍࠺œⰾ   Èœⰾ   Èʙ͜   È੍࠺œⰾ   Èʙ͜   Èœⰾ   È੍࠺œⰾ   Èœⰾ   Èʙ͜   È੍࠺œⰾ   

3INCE THE TEXT DOES GIVE EXACT DATES FOR MANY EVENTS  WE DO IN FACT PLAN TO MAKE THISINFORMATION ACCESSIBLE IN MACHINE READABLE FORM  BUT IT HAS NOT YET BEEN APPLIED TO THE
MASTER COPY OF OUR TEXT )T SHOULD ALSO BE NOTED THAT THE NARRATIVE IS AT PLACES NOT STRICTLYCHRONOLOGICAL  BUT DOES FOLLOW THE EVENTS WHERE NECESSARY  SO THE PURELY POSITIONALCOMPUTATION DOES HAVE ITS LIMITATIONS
3INCE THIS TABLE IS JUST MENT TO ILLUSTRATE THE IDEA  SOME YEARS BETWEEN THE BEGINNING
OF :HENGUAN 䢜䖾 AND THE END OF 4IANBAO HAVE BEEN SKIPPED TO SAVE SOME SPACE

9EAR ⮓ӓpz/CC TOTAL/CC IN TEXT NOTE  TOTAL Èœⰾ   Èʙ͜   È੍࠺œⰾ   Èœⰾ    ⮓ӓp{È੍࠺œⰾ    ⮓ӓp|È੍࠺œⰾ   Èœⰾ   Èʙ͜   Èʙ͜   È੍࠺    䢜䖾pt 䢜䖾puÈʙ͜    ʘựp{Èʙ͜   È▴⮓ʗ㱔हк   Èʙ͜   È▴⮓ʗ㱔ʗ⃨̿हк    ʘựptv

4. Conclusions)T SHOULD BE CLEAR THAT THIS IS JUST ONE EXAMPLE OF HOW BY ABSTRACTING FROMINFORMATION CONTAINED IN THE TEXT NEW LAYERS OF INFORMATION CAN BE CONSTRUCTED
7HILE ONLY A VERY SIMPLE EXAMPLE HAS BEEN GIVEN  OTHER RATHER EASILY GAINEDINFORMATION ITEMS ARE THE CO OCCURRENCE OF PERSONS AND PLACES PARTICIPATING IN
AN EVENT AS DESCRIBED IN ONE PARAGRAPH  !LSO  FORMAL RECORDS OF ASTRONOMICALEVENTS  SACRIFICES AND EXCURSIONS OF THE %MPEROR CAN RATHER EASILY BE HARVESTEDINTO MACHINE READABLE FORM !T TIMES  THIS MIGHT RESEMBLE APPROACHES COMMON
FROM DATA MINING METHODOLOGY  THERE ARE NEVERTHELESS DIFFERENCES 3INCE THE
RESEARCH TARGET IS INFORMATION TO BE DERIVED FROM NARRATIVE TEXTS  ALL IRREGULARITIESAND INCONSISTENCIES OF NATURAL LANGUAGE AND LITERARY STYLE HAVE TO BE TAKEN INTO
ACCOUNT $ATA MINING AND ANALYTIC TOOLS ARE THUS MOST USEFULLY EMPLOYED TO GIVEA ROUGH DATASET  WHICH IS THEN REFINED BY A HUMAN RESEARCHER
&OR THIS REASON  THE GOAL OF CONSTRUCTING THE +NOWLEDGEBASE OF 4ANG #IVILIZATION
DOES NOT PRIMARY LIE IN CONSTRUCTING A COMPREHENSIVE REPOSITORY OF INFORMATION
AND RESOURCES PERTAINING TO THE 4ANG  BUT TO PROVIDE THE RESEARCHER WITH AN

INFRASTRUCTURE THAT ASSISTS HER IN GETTING ANSWERS TO HER QUESTIONS FROM THE SOURCES
AND SOMETIMES EVEN GETTING ANSWER FOR QUESTIONS SHE DID NOT ASK

5. References# - 3PERBERG -C1UEEN ,OU "URNARD 'UIDELINES FOR %LECTRONIC 4EXT %NCODING AND)NTERCHANGE 0  4%) #ONSORTIUM /XFORD  0ROVIDENCE  #HARLOTTESVILLE  "ERGEN  
"IAODIAN :IZHI 4ONGJIAN 8IAOZU ⤢奔䣅⳨偏Δ㥂:IZHI 4ONGJIAN 䣅⳨䰘偏  "EIJING


6. Appendix
6.1. Markup Example
4HE FOLLOWING IS AN EXAMPLE OF HOW A PART OF THE TEXT IN THE SECTIONS SHOWN IN&IGURE  AND  HAS BEEN ENCODED IN OUR FILES 4HE SECTION STARTES WITH THE HEADERFOR THE YEAR  BUT THEN SKIPS RIGHT DIRECTLY TO PARAGRAPH  ON PAGE 
4HE FOLLOWING ELEMENTS HAVE BEEN ABBREVIATED <dm> FOR <name type="place"><rm> FOR <name type="person">  <y> FOR <date>  <dyn> FOR <nametype="dynasty"> )NSTEAD OF LINEBREAKS  <lb> INDICATES PLACES WHERE BREAKS OCCURIN OUR INTERNAL MASTER DOCUMENTS
~+0= ~/,(+ 5e⮓ӓpveፂё~56;, 73(*,e05305,ekѨ䮮ႲᕫƐ
౨l~r56;,~r/,(+~+0= 5etze~7ʍ౤᫙✵౤ŕࢯ౤ፃਧ~+4㿭ς~r+4౳ᳪ͹౤䲂~+4兵͖~rႳ ~3) 5ex{{sptzxer~56;, 73(*,e05305,e㿭౤⌁᜔㯹Ⴓ⅕౤䲂ͧ㯹Ⴓ~r56;,~r7 ~r+0=
~+0= 5et{e~7㭬~+4ोЖ䱑~r+4䑊㷸౤ǋ~+4ो~r+4Ⴒ~+4ᘧ~r+4Ⴒ
~+4 ~3) 5ex{{spusser✰~r+4Ⴒ~+4䴚~r+4౤~+4ⶇ~r+4Ⴒ~+4䱀~r+4ᕫ㨻㞟劶‫މ‬Ⴓ~56;, 73(*,e05305,e~+4ोЖ~r+4౤~+@5 2,@e*/tzwe劉~r+@5Ŵ~+4䋾䳟~r+4Ⴓ~+4ᘧЖ~r+4౤~+@5 2,@e*/tzwe劉~r+@5 ~3)
5ex{{spuuxerŴ~+4㮧ᯌ䳟~r+4౤~+@5 2,@e*/tyye⢮~r+@5Ŵ~+4ఆ
Ж~r+4౤~+@5 2,@e*/ttse♶~r+@5Ŵ~+4♶᳸~r+4౤~5(4,䋾~r5(4,Ŵ~+4⺐᳸~r+4౤~+@5 2,@e*/tu|e⺐~r+@5Ŵ~+4䁫䀊~r+4ƃႳ ~3)
5ex{{spuxser~+4✰Ж~r+4౤~+@5 2,@e*/tzwe劉~r+@5Ŵ~+4ⶡЕ㨡~r+4~+4✰ụ侬~r+4౤~5(4,䕽୬~r5(4,Ŵ~+4✰Ж~r+4ƃႳ~+4䴚Ж~r+4౤~+@5 2,@e*/tzwe劉~r+@5Ŵ~+4 ~3) 5ex{{spuzxerፃ䳟~r+4౤
~5(4,䕽୬~r5(4,Ŵ~+4▤Ж~r+4౤~+@5 2,@e*/ty|eӅ୬~r+@5Ŵ~+4᜕㿭Ж~r+4~+4ţ䳦~r+4~+4▤ᯌ䳟~r+4ƃ౤~@ ;6eţe =(3<,eʙᢊeʙᢊţ~r@ ~3) 5ex{{spvsser⿎~+4➞੍Ж~r+4Ⴓ~+4ⶇЖ~r+4౤~+@5
2,@e*/tzwe劉~r+@5Ŵ~+4͖͟䳟~r+4Ⴓ~+4䱀Ж~r+4౤~+@5
2,@e*/tzwe劉~r+@5Ŵ~+4䱀ụ䳟~r+4౤~+@5 2,@e*/tu|e⺐~r+@5Ŵ~+4 ~3) 5ex{{spvuxer⃨⺐㨡~r+4ƃႳ♜♯~+4ोЖ~r+4䑊㷸ֽ㥯౤䥵~5(4,䋾~r5(4,౤䧦~+4劲~r+4㰊➞᜕Ⴓ~r56;,~r7 ~r+0=
~+0= 5et|e~7~94 2,@e9ssu{se ᚇ⮓ ~3) 5ex{{spvxserᡦ~r94▥╨~+4‫ٺ‬Ж~r+4౤⿎~94 2,@e9stytte ❻Ǒ▴~r94ֽ▄Ⴓ~56;,73(*,e05305,e▥౤ֽ䗐㯹Ⴓ▄౤䓚䱿㯹Ⴓ~r56;,~94 2,@e9sytz|e  ~3)
5ex{{spvzxer͗䷏ᙙ~r94䫋ţ૘㐍౳ň❗౤~94 2,@e9sytz|e䷏ᙙ~r94᜕䥮౤~94 2,@e9stysue੍࠺œⰾ~r94䯻ŴႳ~r7 ~r+0=
~+0= 5euse~7~94 2,@e9svs{te 㮃ᳩ ~3) 5ex{{spwsserɃ~r94ᬋ~+4
ս⻥~r+4౤~56;, 73(*,e05305,e~*0;~;0;3,劉Ӣ~r;0;3,౲~8~+4Ⳡ᝕䳟~r+4~+4͖᳸㨡~r+4✶~4 9,-e*x{{spwsteս⻥~r4Ⴓ~r8~r*0;~*0;~;0;3,ⱡ㦑䘹~r;0;3,౲~8~+4◝͖~r+4✶~+4 ~3)
5ex{{spwuxer̿ⱡ~r+4౤~+4̿ⱡ~r+4➞᜿䷊✶ⱡ౤œ䜀Ŵ~49,-e*x{{spwsteս⻥~r4Ⴓ~r8~r*0;~r56;,~94 2,@e9sux|se ࠺œᕃ
~r94Ț~94 2,@e9swutseʙ̴࠷⊷~r94 ~3) 5ex{{spwxser~(779,:7eჁ㛞Ⴢe~3,4╾~r3,4~9+. >0;e᜿Ɛ䑊❙౳ſ᜿ጺ䑊౳̷❙e؇~r9+.~r(77Ŵ౤ ~3) 5ex{{spwzxer~r56;,~94 2,@e9svs{te ᳩɃ~r94
ᘸ~94 2,@e9swutse ࠷⊷~r94Ლ唣౤~56;, 73(*,e05305,eᘸ౤ጼƢ㯹Ⴓ~r56;,ƭ╾Ŵ౤ӉᕋႳ~r7 ~r+0=
~+0= 5eute~7ᳪ̴౤ ~3) 5ex{{spxsserǋ~+4呑Ж䱑~r+4䑊㷸~94
2,@e9sxw|se⥷ᳩ⟄~r94⿎䑊㷸Κ✥ǊႳ~56;, 73(*,e05305,eឹё⮐✵౤~94 2,@e9sxw|se⥷ᳩ⟄~r94剋Ⴓ ~3) 5ex{{spxuxer~r56;, ~7)
5ex{{tper~r7 ~r+0=
~+0= 5euue~7ࢮ͹౤᚞~94 2,@e9stysue੍࠺œⰾ~r94~+4ोЖ䱑~r+4䑊㷸Κ✥ǊႳ~r7 ~r+0= ~r+0=多语言处理系统研究

１

牛振东
中国数字图书馆有限责任公司 北京 １０００８１
ｚｎｉｕ＠ｎｌｃ．ｇｏｖ．ｃｎ

摘要 本文研究多语言处理系统，重点论述多语言处理系统的体系结构和多语言主题词表等关键技术。
关键词多语言处理、主体词表、 知识分类、多语言检索系统Ｔｈｅ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｓｉｇｎ ｏｆ Ｍｕｌｔｉｌｉｎｇｕａｌ Ｐｒｏｃｅｓｓ Ｓｙｓｔｅｍ

Ｚｈｅｎｄｏｎｇ Ｎｉｕ
Ｃｈｉｎａ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｙ Ｃｏｒｐ． Ｌｔｄ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ １０００８１
ｚｎｉｕ＠ｎｌｃ．ｇｏｖ．ｃｎ

Ａｂｓｔｒａｃｔ： Ｔｈｉｓ ｐａｐｅｒ ｄｉｓｃｕｓｓｅｓ ｔｈｅ ｍｕｌｔｉｌｉｎｇｕａｌ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍ． Ｉｔ
ｍａｉｎｌｙ ｆｏｃｕｓｅｓ ｏｎ ｔｈｅ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ｍｕｌｔｉｌｉｎｇｕａｌ ｐｒｏｃｅｓｓ ｓｙｓｔｅｍ ａｎｄｔｈｅ ｒｅｌａｔｅｄ ｋｅｙ ｔｅｃｈｎｉｑｕｅｓ ｉｎｃｌｕｄｉｎｇ ｔｈｅｓａｕｒｕｓ， ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｃｈｅｍｅｓ
ｅｔｃ．
Ｋｅｙｗｏｒｄｓ： ｍｕｌｔｉｌｉｎｇｕａｌ ｐｒｏｃｅｓｓ， ｔｈｅｓａｕｒｕｓ， ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｃｈｅｍｅｓ，
ｍｕｌｔｉｌｉｎｇｕａｌ ｒｅｔｒｉｅｖａｌ ｓｙｓｔｅｍ

１ 引言多语言信息服务是一个相当复杂的领域，它涉及信息管理、语言学、人工智能、计算机软件等领域的技术。多语言处理系统不仅仅是文字翻译问题，它还包
括信息采集、分类、存储、索引、检索和显示输出等多个关键环节。

1

本文部分研究得到中国国家图书馆 2004 年度科研项目文化网格项目支持。

在欧共体总部所在地布鲁塞尔，欧洲议会有一个数百人的机构专门来处理多语言信息并提供相关的服务。早在９０年代初期，欧洲议会便投入经费研究使用多语言处理系统，图１．１表示了一个用于欧洲议会的多语言处理系统界面。

图 1.1 用于检索欧洲议会文献库的多语言信息系统

在过去的十年里，中文信息处理和智能接口技术都有了长足的飞跃。但是，由于我国国情和其他原因，我国缺少生产大型多语言信息服务平台方面的经验，缺少大型（多点可切换式）多语言信息服务系统，在多文种信息处理方面，我们更存在很多空白，在小规模双语言的研发上也常常存在着许多局限性。为此，国家“８６３”高科技研究发展计划，以及国家计委、信息产业部和外经贸委的“振兴软件产业行动计划”中，多语言信息服务系统的开发问题被作为一个重要内容提出。
数字图书馆的一个理想是实现人类在任何地方可以检索世界上任何国家的
任何文字的数字资源信息，因此，多语言信息处理系统是数字图书馆领域必须解决的问题。
针对我国现状，结合国际上多语言处理的成果，本文主要研究多语言信息处理和综合服务平台的结构及包括多语言主题词表、自动信息分类和索引编制软件包、多语言检索引擎等核心组件等在内的多语言处理关键技术，设计一种基于主题词表的多语言用户检索系统。 本第二部分重点介绍多语言信息服务平台系统
的结构设计，第三部分介绍多语言处理系统的关键组成部分和关键技术，第四部
分对有关问题进行讨论，最后一部分是致谢。

２ 多语言信息服务平台的系统结构

多语言信息服务平台涉及信息的采集、分类、编码、存储管理、翻译、索引、
检索等方面。一个典型的多语言处理信息服务平台应包括数据信息的采集系统、
信息分类系统、多语言搜索引擎系统、多语言索引系统、内容管理系统、用户接
口系统等关键部分［１－４］。图２．１ 表示了一个多语言信息服务系统的基本结构。

ＨＴＴＰ 服 务 器
信息采集／数据录入

ＣＭＳ内容管理服务器

互联网
多语言信息
分类／索引处理

负载均衡器

信息查询
ＷＡＰ 服 务 器

机器翻译
信息查询

无线网

多语言
检索引擎

ＣＭＳ内容管理服务器

数据检索
负载均衡器
无线计算装置ＵＭＳ 服务器

信息查询

分布式数据库
人工翻译校对

人工翻译校对

人工翻译校对

电话

互联网
后期编辑

后期编辑

后期编辑

ＡＣＤ
手机

电话网络

多语言信息服务系统数据流程图
Ｆａｘ图 2.1 多语言信息服务平台的系统结构

在图 ２．１ 中， 信息采集和数据录入系统获得各种信息资源；多文种信息分类
和索引编制软件包是一个专用软件包用来对文章，网页等进行自动扫描，根据关键字来进行自动或半自动分类及存入数据库并对其编制索引等；多文种检索引擎
是信息检索的核心组件，提供对多语言的检索服务；多语言信息综合服务平台是上述系统和 Ｗｅｂ Ｓｅｒｖｉｃｅｓ， 内容管理等相关模块在互联网上的系统集成实现，作为多语言信息应用服务系统，它支持多种用户终端等，具有直观、易用、检索
效率高等特点。

３

多语言处理系统的关键技术本节论述多语言信息服务平台的主要构件和关系，并重点介绍主题词表技术。图３．１ 显示出多语言检索引擎、主题词表和多语言分类索引系统组件在多语
言信息系统中的重要性和相互关系。

ＨＴＴＰ

ＷＡＰ

ＵＭＳ

多语言
检索引擎
信息检索

１

３

数据库

多语言主题词表处理
信息多语言自动信息分类／索引软件包
２

新产品生产顺序及用途

机器翻译多语言信息服务平台的构成图 3.1 相关组件与多语言服务平台的关系

信息或知识分类结构是建立多语言信息服务系统的基础，只有做好这部分工
作，多语言自动分类，自动索引和检索引擎的开发才能有效地完成。多文种主题词表是多语言信息或知识的分类结构表达系统［５－６］。
在图３．１中，多语言主题词表是多语言信息处理的核心，它不仅是研发多语言信息分类和索引编制软件包，及检索引擎的基础，它还可以有来设计直观、容易使用的智能用户界面。
图３．２示范如何用多语言主题词表里设计主题树，方便用户浏览所需信息。例如，一个到北京来的游客想查找本地交通信息时，他可以通过（结构化）树状景
观，逐层深入，找到他想要的信息如地铁。 当用户点击地铁图的某一个站点时，其相关区域的信息可进一步显示出来。
除信息分类、用户界面技术外，多语言处理系统的其他重要技术包括中间信
息的表示和搜索引擎等关键技术等。目前的主流中间信息表示技术是建立相应标
准并提供对ＸＭＬ表示的支持。

图 3.2 利用主题词表建立起来的树状景观（Tree View）方便用户浏览和查找所需信息4讨论

信息或知识分类结构（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｃｈｅｍｅｓ）是信息服务系统的开发和生产的关键。如果没有对信息或知识进行有效的组织和分类，机器翻译后的信息
也难以得到充分的使用，用户恐无法找到他们需要的信息。
近年来我国在中文信息分类上作了很大的投入，中国图书馆分类法编委会及
４０家合作单位共同努力，于 １９９８年在“中图法”第三版的基础上成功的编制了我国第一部 “中国分类主题词表”。它为实现机助标引，自动标引，提高检索效率
创造了条件。“中国分类主题词表”在２０００年又以“中图法”第四版为基础进行了更新。

图表 4.1 中图法信息分类结构

但是，我们的主体分类词表仅对各主题类别进行了代码化，并没有对其进行数
码化。面对今天信息技术和网络技术的高速发展，这种处理方式已无法满足计算机高速处理的前提条件。此外，在中图分类法中，对数字资源尤其是网络资源、
新闻、体育，旅游和交通等主要方面都存在着收录不足问题，如上表所示，“中图法”仅仅对体育进行了相当粗略的主题分类。
中文的“中国分类主题词表”尚欠完善，在多文种信息分类方面，我国更存在着不少空白点，这种缺陷显然束缚了我国多文种信息服务的发展。多文种信息分类和知识结构（ｋｎｏｗｌｅｄｇｅ ｏｒｇａｎｉｚａｔｉｏｎ）是计算机信息处理的重要基础，只有搞好这方面的工作，多文种自动分类，自动索引和检索引擎的开发才能有效地完成。
当 前 中 文 的 主 题 词 表 （ ｔｈｅｓａｕｒｕｓ ） 和 受 控 词 汇 表 （ ｃｏｎｔｒｏｌｌｅｄ
ｖｏｃａｂｕｌａｒｉｅｓ）欠完整，分类码（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｏｄｅ），或结构化相关主题词
表（ｓｕｂｊｅｃｔ ｈｅａｄｉｎｇｓ）也有很多不足。建设好的多语言处理平台以上问题是关键。
针对上述问题，我们正开发基于本体的知识分类体系［７］，并期望通过引入知识本体来提高多语言处理的效率，整个系统的原型开发也在进行中。

5致谢感谢美国Ｂｅｒｋｅｌｅｙ实验室研究员李春生博士提供材料并提供很多有价值的建议。感谢中国国家图书馆的研究支持。

参考文献：

1． Jerome Yen. Multimodel and multilingual informedia – The iVIEW system. 2nd CCDL.
Beijing. 2004.
2． Michael R. Lyn, Edward Yau, Sam Sze. A multilingual, multimodal digital video librarysystem. Proceedings of the 2nd ACM/IEEE-CS joint conference on Digital libraries. P
145-153. ACM Press. 2002
3． Akira Maeda. Multilingual information processing for Digital libraries. Department ofComputer Science, Ritsumeikan University 2001
4． Nuno Freire. Integration of Multilingual Classification Systems with the Dienst digital
library system. http://www.ercim.org/ws-proceedings/DEL0S8/freire.pdf.
5． A Steven Pollitt. The key role of classification and indexing in view-based searching.
IFLA’97 Copenhagen. Aug 31 –Sept. 2. 1997
6． C S Li A S Pollitt & M P Smith. Multilingual MenUSE – A Japanese front-end for searching
English language database and vice versa. 14th BCS IRDG information retrieval colloquium,
Lancaster 1992 Tony McEnery & Chris Paice (eds). Springer Verlag. Pp 14-37.
7． Zhendong Niu Mingkai Dong Jie Zhang Huaming Chen. A knowledge based solution for
Digital libraries. 2nd CCDL. Beijing. 2004.

Character Processing Based on Character Ontology
MORIOKA Tomohiko

1Introduction

We use characters as a basis for data representation in computers, and as a tool for communication over computer
networks. Computer programs are made of characters, we exchange mails that are sequences of characters, andmany of the contents available over the Internet are realized in the form of characters.
Currently, in the ﬁeld of information processing, characters are deﬁned and shared using coded character sets.
Character processing based on coded character sets, however, has two problems:
1. Coded character sets do not always contain a necessary character
2. Characters in coded character sets have ﬁxed semantics
To resolve the problems, I proposed “Chaon” model which is a new model of character processing based on
character ontology. In Chaon model, characters are deﬁned, represented and processed according to its own
character databases. Characters in Chaon model are independent from coded character sets for informationinterchange, and semantics of the characters stored in the database can be freely added or altered.
To realize the character processing based on Chaon model, I started “CHISE (Character Information Service
Environment)” project with some other members. In CHISE project, we have developed some systems anddatabases to edit/process/print characters and texts. CHISE project is an open source project, so the results
are freely distributed. We are realizing character processing environment based on Chaon model. In this paper,
I explain an overview of the current state of character processing technology in CHISE project.

2

Chaon model

In Chaon model of character representation, a character is not a code point of a coded character set, but a setof the features it has. Characters are represented as character objects, and character objects are deﬁned bycharacter features. Character objects and character features are stored in character databases, and a charactercan be accessed using its feature as a key.
There are various information related with characters, so we can regard various things as character features,for example, shapes, phonetic values, semantic values, code points in various character codes. Figure 1 shows asample image of a character representation in Chaon model which indicate a character “吉”.

Figure 1: sample of character features to indicate “吉”In CHISE model, each character is represented by a set of character features, so we can use set operations tocompare characters. Figure 2 shows a sample of a Venn diagram of character objects. The diagram indicatesthat there are common semantic and phonetic values between characters “言”, “云” and “謂” even if they don’t
have the same glyph, and characters “云” and “雲” have the common semantic and phonetic values in China.

Figure 2: Venn diagram of characters
As we have already explained, a coded character set (CCS) and a code point in the set can also be characterfeatures. Those features enable exchanging a character information with the applications that depend on codedcharacter sets. If a character object has only a CCS feature, processing for the character object is the samewith processing based on the coded-character model now we are ordinarily using. Namely we can regard thecoded-character model as a subset of Chaon model.

3

Overview of CHISE system

Character processing based on Chaon model is to represent each character as a set of character features insteadof a code point of a coded character set and process the character by various character features. It indicates thatcharacter processing system based on Chaon model is a kind of database system to operate character ontology.
So the major targets of CHISE project are (1) character database systems, (2) character database contentsand (3) CHISE based applications. CHISE Project is working on the targets and provides some results as free
software.
As character database systems (and language bindings), following implementations are available:
libchise is a library to provide fundamental features to operate character database
XEmacs CHISE is a Chaon implementation based on XEmacs [9] (extensible text editing environment with
Emacs Lisp interpreter) [Figure 3]
Ruby/CHISE is a Chaon implementation based on Ruby [8] (scripting language)
Perl/CHISE is a Chaon implementation based on Perl (scripting language)
For the Chaon implementations, currently two database contents are available as follows:
CHISE basic character database is a general character database attached to XEmacs CHISE
CHISE-IDS is a database about shapes of Ideographic characters
As CHISE based applications, we need at least editing system, printing system and character database utilities.
As editing system, XEmacs CHISE is available. As printing system, the following programs are available:
Ω/CHISE is a multilingual type setting system based on Ω [5] (a multilingual TEX)Figure 3: XEmacs CHISE

chise2otf is a converter to process CHISE texts with pLATEX[7] + OTF package [6]chise-tex.el is like chise2otf, but it is implemented as a coding-system of XEmacs CHISE (written by Emacs
Lisp)
As character database utilities, there are some emacs lisp programs, Ruby scripts attached to Ruby/CHISE andPerl scripts attached to Perl/CHISE.
In addition, the following system is available:
Kage is an automatic Ideographic glyph generating system [10]Currently Kage is used in Ω/CHISE and chise2otf.

4

XEmacs CHISE

XEmacs CHISE (Figure 3), Ruby/CHISE and Perl/CHISE provide operations about character features basedon Chaon model. In this paper, I describe a overview of them in the XEmacs CHISE case as an example.

4.1

Character representation

XEmacs CHISE represents a character as a character object. A character object is a ﬁrst class object, just likea character in XEmacs, and completely a diﬀerent type from the integer.
For programmers of Emacs Lisp applications, a character is represented by a set of character features. The
character feature is a pair of a feature key and its value. The feature key must be a symbol and the value canbe any Lisp object, that is, a character object itself can be a feature value of other characters, which makes it
easy to represent relation network among characters. Namely a character is represented by an association-listof Lisp. In XEmacs CHISE, such kind of association-list which represents a character by its features is named“character-speciﬁcation (char-spec)”.

Each character also has an unique identiﬁer called “character-id” although it is usually hidden from Emacs
Lisp users.

4.2

Character object related functions

In order to deﬁne and handle a character and character features, XEmacs CHISE provides the following built-infunctions.
Function deﬁne-char (char-spec)
deﬁnes a character object that has a set of character feature features, and returns the object. charspec should be an association-list.
［Example］(define-char’((name. "CJK RADICAL MEAT")(general-category
symbol other)(bidi-category. "ON")(mirrored. nil)(ideographic-radical . 130) ; 肉 (radical)(ideographic-strokes . 0) ; (body strokes)(total-strokes. 4) ; (total strokes)(<-ideographic-component-forms((=ucs. #x8089)
; 肉
))
(=ucs
. #x2EBC); 月(->subsumptive ; (included variants)((=gt. 37857)(=gt-pj-6. #x3879)(=daikanwa. 29237))((=ucs@unicode. #x2EBC))((=big5-cdp. #x8A73))((=big5-cdp. #x8958)(=gt-k. 00417)(=gt-pj-k1. #x377D)))))

Function get-char-attribute (character feature &optional default-value)
returns a value of a character feature speciﬁed by the key feature of a character object character.
If the value of feature is not deﬁned, default-value is returned. If default-value is omitted, nil isreturned.
［Example］(get-char-attribute ?\u2EBC ’name)→ "CJK RADICAL MEAT"

Function put-char-attribute (character feature value)
adds or changes the value of a feature of a character. This function sets a Lisp object value to avalue of the character feature speciﬁed by the key feature of a character object character.
［Example］(get-char-attribute ?あ ’foo)→ nil(put-char-attribute ?あ ’foo 1)→1(get-char attribute ?あ ’foo)→1

Function remove-char-attribute (character feature)removes character feature feature from character object character.
Function ﬁnd-char (char-spec)
retrieves the character that has speciﬁed features char-spec.
XEmacs CHISE provides a map function for character features also. This function aims at ﬁnding characterswith certain character features or processing characters using its character features.
Function map-char-attribute (function feature)
This function maps function over entries in feature (an association-list). Function is called with twoarguments, a key and a value in the list repeatedly, until all the pairs in feature is used up.
Function char-attribute-alist (character )returns the features of the character character. Every feature of a character is retrieved by thisfunction.
Function char-attribute-list ()returns the list of all existing character features except coded character sets.
XEmacs CHISE has on-memory database per each process besides the CHISE character database shared in
the CHISE environment. The on-memory database works as a kind of cache memory for the external database.
If a character feature is not found in the on-memory database, the feature value is read from the external
database and the value is stored into the on-memory database. If a character feature is found in the on-memory
database, XEmacs CHISE does not access the external database.
Modiﬁcation functions for characters or their features of XEmacs CHISE, such as put-char-attribute, work foron-memory database. However it is volatile. So XEmacs CHISE has a function to save the character data.
Function save-char-attribute-table (feature)saves each character’s value of character feature feature into the CHISE character database.
XEmacs CHISE has functions to clear character data in the on-memory database to be able to reread fromthe CHISE database.
Function reset-char-attribute-table (feature)
clears character feature feature of every character in the on-memory database to be able to reread
each value of the feature from the CHISE database.
Function reset-charset-mapping-table (coded-charset)
clears decoding-table of coded-charset in the on-memory database to be able to reread from theCHISE database.
XEmacs CHISE has a function to read every character’s value of a speciﬁed feature from the CHISE databaseat a burst.
Function load-char-attribute-table (feature)reads every character’s value of a speciﬁed feature from the CHISE database at a burst.
In addition, there is a function to register a character feature.
Function mount-char-attribute-table (feature)registers character feature name feature as a target to read from the CHISE character database.
By the way, Ruby/CHISE and Perl/CHISE don’t have on-memory database, so written character data are
written into the CHISE database directly. So there are no functions to sync between on-memory database andthe CHISE database.

5Character features

5.1

Categorization

In the character processing based on Chaon model, it is important to analyze characters and their various
properties and behaviors and represent them as character features. We can ﬁnd sundry properties and behaviorsof characters, and we can use inﬁnite kind of character features. However common character database requires
a guideline about character features. So we think that it is feasible to regard each character feature as an
abstraction of an operation for characters.
In the point of view, character features can be categorized like following:
1. general character properties (such as descriptions of dictionaries)
2. mappings for character IDs
3. relations between characters
For example, radicals, strokes and phonetic values can be classed into the category 1, code points of UCS [2]can be classed into the category 2 and relations between character variants can be classed into the category 3.
Information of the category 2 is used for processing about character codes, such as code conversion. Processing
about character codes consists of two kind of operations: encoding and decoding. To encode a character by
a CCS is to get the CCS feature’s value in the character. To decode a code-point of a CCS is to search acharacter whose value of the CCS feature is the code-point. Processing about character codes should be fast,
so the CHISE character database has special indexes for decoding.1
For the processing about character variants, information of the category 3 is used.

5.2

Description for complex information

For development of a general purpose character database, we may ﬁnd some cases that there are diﬀerent kindof usages, purposes, applications, sources, interpretations, theories, etc. so it is hard to chose one feature value
and we want to provide alternative values. In that cases, we may want to add metadata, such as sources of thevalues. To resolve the problem, we have to introduce structured feature value or structured feature name (key).
To represent structured feature values, a format named “character reference (char-ref)” is used in CHISE. It
is a kind of property-list of S-expression (Lisp), property name indicates kind of metadata and property value
indicates its data. As a special property name, :char is reserved to indicate a character which is added themetadata. Currently :sources is deﬁned to indicate information source.
CHISE also has a format to represent structured feature names. In the structured feature names, “domain
identiﬁers” and/or “metadata identiﬁers” are added to ordinary (base) feature names. The format is deﬁned asfollowing deﬁnitions:<concrete feature name>:= <base feature name> @ <domain identiﬁer>| <concrete feature name> / <domain identiﬁer><metadata feature name>:= <concrete feature name> * <metadata identiﬁer>

For example, when total strokes is represented by character feature total-strokes and ucs is used as a domain
identiﬁer, concrete feature name is total-strokes@ucs. When source is represented by metadata identiﬁer sources,
total-strokes@ucs’s source is represented by metadata feature name total-strokes@ucs*sources.
If there is a correspondence between diﬀerent kind of features, such as radical and body-strokes, we canrepresent the correspondence by a domain identiﬁer. For example, when radical is represented by ideographicradical and body-strokes is represented by ideographic-strokes, two concrete feature names
ideographic-radical@ucs
ideographic-strokes@ucs
are corresponding.
1 For the special treatment, we distinguish the category 1 and 2, but it seems that there are no essential diﬀerences.

5.3

Inheritance of character deﬁnition

If we construct a large scale character database including a lot of character variants, inheritance of characterdeﬁnition is good way to avoid to write a lot of common features. So CHISE introduces four special features torepresent parent and child relations:<–subsumptive deﬁned character is a child of each character indicated by its value<–denotational likewise–>subsumptive each character indicated by its value is a child of the deﬁned character–>denotational likewise

6

Database contents

Character database is a fundamental part of the Chaon character representation model. Users can, of course,
freely deﬁne or modify characters by adding new character features, but a rich and accurate database would bea great place to start, and it will also attract new users. We have thus developed a standard character database
for Chaon implementations. Currently two database distributions are available:
1. CHISE basic character database
2. Database about structure information of Ideographs (CHISE-IDS)
The former is a basic character database attached in XEmacs CHISE which is realized by a collection of deﬁnechars while the later is a database for Ideographs to represent information about shapes which is represented
by “Ideographic Description Sequence (IDS)” format deﬁned in ISO/IEC 10646-1:2000 [2].
Structure information of Ideographs is information about combinations of components of Ideographs. A lotof Ideographs can be represented by a combination of components, so the information is a useful. It is not
only representation of abstract shapes, but also related with semantic values and/or phonetic values. So weplanned to develop a database about structure information of Ideographs for every Ideograph which consistsof combination of components. In the 2001 ﬁscal year, we realized CHISE-IDS database with supporting of“Exploratory Software Project (未踏ソフトウェア創造事業)” run by IPA (Information-technology Promotion
Agency, Japan) [11]. Currently it supports CJKV Uniﬁed Ideographs and Extension A of ISO/IEC 106461:2000 [2] and Extension B of ISO/IEC 10646-2 [3]. We are also working for representative glyph image of JIS
X 0208:1990 and Daikanwa Dictionary.
Before we developed CHISE-IDS database, there are some databases including structure information of
Ideographs: CDP database [1] by Academia Sinica, database about gaiji (private used character) used in
CBETA and “Konjaku Mojikyo” [4]. These databases use original formats so it is not easy to convert to IDS
format. Konjaku Mojikyo is a proprietary software so their data are not opened for the public. In the view oflicence, CDP database and CBETA database are available with free software licenced under the term of GPL
while Konjaku Mojikyo is not. So we converted CDP database and CBETA database to IDS and integratethem with CHISE database.
Currently CHISE basic character database (is a part of XEmacs CHISE) and CHISE-IDS package are distributed separately. However CHISE-IDS package provides an installer to integrate CHISE-IDS database ﬁleswith CHISE basic character database. CHISE-IDS package also have some utility programs to use structure
information of Ideographs in XEmacs CHISE:
ids.el IDS parser
ids-read.el utility to read CHISE-IDS database ﬁles into XEmacs CHISE
ids-dump.el utility to dump structure information of Ideographs stored in XEmacs CHISE (represented bycharacter feature ideographic-structure) into CHISE-IDS database format
ids-util.el utility to convert structure information of Ideographs into other representative glyph images corresponding with speciﬁed domains
ids-ﬁnd.el utility to search Ideographs by components

Currently, ids-ﬁnd.el has two commands to search Ideographs by components named: ids-ﬁnd-chars-includingcomponents (= ideographic-structure-search-chars) and ids-ﬁnd-chars-covered-by-components.
If you typeM-x ideographic-structure-search-chars [CR] components [CR]
Ideographs that have every component are displayed. (Figure 4)

Figure 4: result of M-x ideographic-structure-search-chars [CR] 木金 [CR]If you typeM-x ids-ﬁnd-chars-covered-by-components [CR] components [CR]
Ideographs that consists of one or more usage of every component are displayed. (Figure 5).

Figure 5: result of M-x ids-ﬁnd-chars-covered-by-components [CR] 木金 [CR]7

Conclusion

I have described a brand new character processing model Chaon and overview of CHISE project and character
processing in CHISE systems such as XEmacs CHISE. Chaon character representation model is powerful andradical enough to solve the problems that the present coded character model has, and the implementation of
XEmacs CHISE or other CHISE systems have shown that the model is feasible enough to build a applicationon.
Chaon model gives users freedom to create, deﬁne and exchange characters of their need, as it is easy to change
character databases or modify character features dynamically. XEmacs CHISE provides a good framework toexperiment the character representation. With the CHISE basic character database, XEmacs CHISE can handle
various characters including characters deﬁned in Unicode. Even if a character is not deﬁned in Unicode, users
can add it into CHISE database to deﬁne it by its features. Users can handle each character based on theirpoint of view or policy. For example, XEmacs CHISE provides some uniﬁcation rules or mapping policies about
Unicode. With the CHISE-IDS database, users can search Ideographs easily. This method is also available for
non-Unicode characters.
Currently, CHISE project provides basic elements to process Chaon based text: text editor (XEmacs CHISE),
scripting languages (Ruby/CHISE and Perl/CHISE) and type setting system (Ω/CHISE). You can try KNOPPIX/CHISE which is a DVD bootable GNU/Linux system including XEmacs CHISE and Ω/CHISE. Its image
is available at http://kanji.zinbun.kyoto-u.ac.jp/projects/chise/dist/KNOPPIX/.
CHISE project is an open source project, so its results are distributed as free software. Information about
CHISE project is available at:• http://cvs.m17n.org/chise/• http://kanji.zinbun.kyoto-u.ac.jp/projects/chise/
These WWW pages, various programs and data are managed by CVS (a kind of revision control system), so
users can get the latest snapshot. There are mailing-lists about CHISE project: for English and Japanese. If
you are interested in CHISE project, please join to the lists.

References[1] 漢字庫. http://www.sinica.edu.tw/~cdp/zip/hanzi/hanzicd.zip.
[2] International Organization for Standardization (ISO). Information technology — Universal Multiple-Octet
Coded Character Set (UCS) – Part 1: Architecture and Basic Multilingual Plane (BMP), March 2000.
ISO/IEC 10646-1:2000.
[3] International Organization for Standardization (ISO). Information technology — Universal Multiple-Octet
Coded Character Set (UCS) – Part 2: Supplementary Planes, November 2001. ISO/IEC 10646-2:2001.
[4] 今昔文字鏡. http://www.mojikyo.com/.
[5] The Omega typesetting and document processing system. http://omega.cse.unsw.edu.au:8080/.
[6] Open Type font 用 VF. http://psitau.at.infoseek.co.jp/otf.html.
[7] Ascii 日本語 TEX(pTEX). http://www.ascii.co.jp/pb/ptex/.
[8] The object-oriented scripting language Ruby. http://www.ruby-lang.org/.
[9] XEmacs. http://www.xemacs.org/.
[10] 上地 宏一. 漢字フォント自動生成サーバ “影 KAGE” の構築 — 文字コードの枠組みを越える次世代漢字処理の提案 —. 漢字文献情報処理研究, 3:143–147, 2002.
[11] 守 岡 知 彦 and ク リ ス ティア ン・ウィッテ ル ン.
文 字 デ ー タ ベ ー ス に 基 づ く 文 字 オ ブ ジェク ト 技術 の 構 築.
In 情 報 処 理 振 興 事 業 協 会 平 成 13 年 度 成 果 報 告 集. 情 報 処 理 振 興 事 業 協 会, 2002.
http://www.ipa.go.jp/NBP/13nendo/reports/explorat/charadb/charadb.pdf.

基于字符集的中文信息处理翟喜奎（国家图书馆 数字图书馆管理处）

文摘：根据在古籍文献处理时所遇到的中文信息处理问题提出了基于字符集的中文信息处
理。基于字符集的中文信息处理应包括汉字排序，汉字可有多种排序标准(拼音、部首、笔
画、四角号码等等)；规范检索，用简体、繁体、异体字都能统一检索；汉字输入方法；支持大字符集的显示等等。探讨基于字符集的中文信息处理方法。
关键词： 中文信息处理 汉字字符集 汉字排序 汉字属性标准

一、中文字符集的发展
1．GB 2312-80《信息交换用汉字编码字符集－基本集》
中国于1980 年3 月颁布了第一个汉字编码字符集标准，即GB 2312-80《信息交换用汉
字编码字符集－基本集》。该标准符合ISO 2022编码体系结构。1981 年5 月1 日开始正式
实施，它奠定了中国中文信息处理技术的发展基础。
随着GB 2312-80的颁布，中国颁布了相应的《15×16、24×24、32×32汉字点阵字模
集及字模数据集》。所谓点阵字形，就是以点的形式来表现的字符或汉字的形态。
15×16点阵字形，可以表示《信息交换用汉字编码字符集－基本集》中的绝大部分汉字。
由于15×16的点阵字形只能表示横向笔画和竖向笔画都不超过八笔的汉字。如果一个汉字
的横向笔画或者竖向笔画超过了八笔（如“量、酬”等字），在点阵字模就容纳不下。在《基本集》中，这样的汉字共有138个，只好压缩笔画做变通处理。15×16点阵字形适于屏幕显
示，作校对之用。
24×24点阵字形，可以全部表示《基本集》中的6763个汉字的笔形结构，用不着压缩笔画，而且能够保持横细竖粗的宋体风格，适用于针式打印、喷墨打印，是一种很有使用
价值的点阵字形。
32×32点阵字形比24×24点阵字形更能体现宋体风格，能完整地表现汉字的笔锋，使撇笔和捺笔自然婉转，舒畅流利，字体质量较高。
1992年中国颁布了矢量汉字的字模集及数据集：

GB/T 13844-1992图形信息交换用矢量汉字 单线宋体字模集及数据集GB/T 13845-1992图形信息交换用矢量汉字 宋体字模集及数据集GB/T 13846-1992图形信息交换用矢量汉字 仿宋体字模集及数据集GB/T 13847-1992图形信息交换用矢量汉字 楷体字模集及数据集GB/T 13848-1992图形信息交换用矢量汉字 黑体字模集及数据集

1992年、1993年中国颁布了高精度点阵汉字标准：

GB/T 14242-1993 信息交换用汉字64×64点阵黑体字模集及数据集GB/T 14243-1993 信息交换用汉字64×64点阵楷体字模集及数据集GB/T 14244-1993 信息交换用汉字64×64点阵仿宋体字模集及数据集

GB/T 14245-1993 信息交换用汉字64×64点阵宋体字模集及数据集GB/T 14717-1993 信息交换用汉字128×128点阵宋体字模集及数据集GB/T 14718-1993 信息交换用汉字128×128点阵黑体字模集及数据集GB/T 13443-1992 信息交换用汉字128×128点阵楷体字模集及数据集GB/T 13444-1992 信息交换用汉字128×128点阵仿宋体字模集及数据GB/T 14719-1993 信息交换用汉字256×256点阵宋体字模集及数据集GB/T 14720-1993 信息交换用汉字256×256点阵黑体字模集及数据集GB/T 13445-1992 信息交换用汉字256×256点阵楷体字模集及数据集GB/T 13446-1992 信息交换用汉字256×256点阵仿宋体字模集及数据集

2．编码字符集的繁体字和简体字对应编码1984 年“全国计算机与信息处理标准化技术委员会”提出编码字符集的繁体字和简体字对应编码的原则，并做出了制定六个信息交换用汉字编码字符集的计划。这六个集分别
命名为基本集（GB2312-80）、第一辅助集(辅一)、第二辅助集(辅二)、第三辅助集(辅三)、第四辅助集(辅四)、第五辅助集(辅五)。其中，基本集、辅二集、辅四集是简体字集，辅一
集、辅三集、辅五集分别是基本集、辅二集、辅四集的繁体字映射集，且简/繁字在两个字
符集中同码(个别简/繁关系为一对多的汉字除外)。这六个集均采用双七位编码方式，但为了避开ASCII表中的控制码，每个七位只选取了94 个编码位置。所以每张代码表分94 个区
和94 个位。其中前15 区作为拼音文字及符号区或保留未用，16 区到94 区为汉字区。第一辅助集(辅一)、第二辅助集(辅二)、第三辅助集(辅三)、第四辅助集(辅四)、第五辅助集(辅五)分别于1987年至1991年颁布。






GB 12345-90《信息交换用汉字编码字符集——第一辅助集》
GB 7589-87《信息交换用汉字编码字符集——第二辅助集》
GB13131-1991《信息交换用汉字编码字符集——第三辅助集》
GB 7590-87《信息交换用汉字编码字符集——第四辅助集》
GB13132-1991《信息交换用汉字编码字符集——第五辅助集》

3．GB13000《信息技术通用多八位编码字符集》
1990年中国颁布了GB13000《信息技术通用多八位编码字符集》。
随着国际间的交流与合作的扩大，信息处理应用对字符集提出了多文种、大字量、多用途的要求。1993年国际标准化组织发布了ISO/IEC 10646-1《信息技术通用多八位编码字
符集第一部分体系结构与基本多文种平面》。我国等同采用此标准制定了GB 13000.1-1993。
该标准采用了全新的多文种编码体系，收录了中、日、韩20902个汉字，是编码体系未来发
展方向。
4．GBK 编码字符集1995 年12 月完成GBK 规范。GBK 编码是GB2312-80 国标码的扩充（其中GB 表示国标，K 表示扩展）。但是GBK编码本身不是国家标准。该编码规范完全兼容GB2312-80。

5．GB18030-2000《信息交换用汉字编码字符集基本集的扩充》
2000年3月中国颁布了国家标准GB18030-2000《信息交换用汉字编码字符集基本集的扩
充》是我国继GB2312-1980和GB13000-1993之后最重要的汉字编码标准，是未来我国计算机系统必须遵循的基础性标准之一，该标准是国家强制性标准。在中国大部分计算机系统仍
然采用GB 2312编码。GB 18030与GB 2312一脉相承，较好地解决了旧系统向新系统的转换问题，并且改造成本较小。从我国信息技术和信息产业发展的角度出发，考虑到解决我国
用户的需要及解决现有系统的兼容性和对多种操作系统的支持，采用GB 18030是我国目前较好的选择，而GB 13000.1更适用于未来国际间的信息交换。考虑到GB 18030和GB 13000
的兼容问题，标准起草组编制了GB 18030与GB 13000.1的代码映射表，使得两个编码体系
可以自由转换。同时，还开发了GB 18030基本点阵字型库。
6．台湾字符集《中文资讯交换码 CCCII》。CCCII 是 Chinese Character Code for Information
Interchange 的缩写，是经台湾中研院中美会及国科会等单位支持,于 1979 年 12 月集合由
台湾图书馆学者、文字学家及电脑专家组成“国字整理小组”提出的汉字编码。经过一些修改，被美国采纳为美国国家标准 ANSI Z39.64-1989，同时也被称为东亚字符编码（EACC）
用于图书馆书籍目录方面。
《通用汉字标准交换码 CNS 11643》。1983 年 10 月，台湾科学委员会、教育部国语推行委员会、中央标准局、行政院主计处电子资料处理中心共同制定了《通用汉字标准交
换码》（Chinese Ideographic Standard Code for Information Interchange，简称 CISCII码），经试用修订，1986 年 8 月 4 日由台湾中央标准局公布为法定标准，标准编号为 CNS
11643。这一标准于 1992 年 5 月 21 日重新修订公布，更名为《中文标准交换码》（ChineseStandard Interchange Code）。1995 年 1 月 4 日，台湾中央标准局又公布了 CNS 11643-1《中文标准交换码使用方法》。
上述两个汉字字符集，CNS 11643 为通用的标准交换码，适用面较广。CCCII 使用面相
对较窄，相当于行业规范。
BIG-5 码是 1984 年台湾资讯工业策进会根据《通用汉字标准交换码》制订的编码方案。
7．日本字符集标准
1978 年，日本政府公布了日本工业标准 JIS C 6226-1978《信息交换用汉字字符集》。
该标准于 1983 年进行了修订，新增加了 4 个汉字，并将该标准编号改为 JIS X 0208-1983。
1990 年日本发布了第二个日本汉字编码字符集标准 JIS X 0212-1990，作为日本汉字交换码辅助集。
1993 年日本发布了第三个日本汉字编码字符集标准 JIS X 0221-1993，该标准是有
20,902 个汉字的编码标准。接着，有了 1996 年的《表外汉字字体表试案》，日本政府在公布该方案时，并且声明，它“是法令、公用文书、报纸、杂志、广播电视等一般社会生活中，使用表外汉字字体的依据”，“这个字体表将明治以来传统的印刷文字字体﹝并非《康熙字典》字体的本身，而是以《康熙字典》为依据作成的明治以来的铅字字体即《康熙字典体》﹞置于印刷标准字体的地位。”
目前，日本最新汉字编码字符集标准是 JIS X 0221-1:2001。
8．韩国字符集标准
1987 年韩国制定了韩国标准编码字符集 KS C 5601-1987，共有 8224 个字符。1991 年
韩国制定了编码字符集的辅助集 KS C 5657-1991，增收汉字 2856 个。

9．ISO/IEC 10646 与 UNICODE
国际标准化组织（ISO）于 1984 年开始研究、制定《信息技术 通用多八位编码字符集（UCS）》国际标准，即 ISO/IEC 10646。1993 年 5 月，该标准的第一部分：体系结构与基本多文种平面（即 ISO/IEC 10646.1）正式发布。前后经历了九年的时间。ISO/IEC 10646-1
的第二版更加全面，即 ISO/IEC 10646-1：2000。与 ISO/IEC 10646-1：2000 等同的工业标准是 Unicode3.0，Unicode 是 Universal Code 的简称，即统一编码。除了作为
ISO/IEC10646 编码的一种称谓外，Unicode 同时还是由 HP，IBM，APPLE，MICROSOFT 等一些国际知名企业组成的一个联盟的名称。该联盟的主要宗旨就是要通过市场手段推进多文
种的统一编码，因此称为 Unicode。它的广泛使用将会使得软件开发费用大幅度降低，开发
更为快捷，可共享资源更为丰富，使用者的投入也将大幅度降低，便于推广。软件可以实
现一个版本的世界范围内通用，不再需要多个版本、多种语言的产品了。目前兼容和支持
该标准的已有许多大型厂商，如微软、苹果、SUN、甲骨文等国际性软件公司。
目前，ISO/IEC 10646 国际标准的最新版本是 2003 年修订的 ISO/IEC 10646:2003 等同的工业标准是 Unicode 4.0。

二、中文字符集的基本内容
1．GB 2312-80《信息交换用汉字字符集—基本集》
GB2312-80《信息交换用汉字字符集—基本集》 收录汉字信息交换用的基本图形字符，
采用一字一码的原则，实现简化汉字6763 个，总计7445 个图形字符。具体包括：一般字
符202 个，序号60 个，数字22 个，英文字母大小写共52 个，日文平假名169 个，希腊字
母大小写共48 个，俄文字母大小写共66 个，汉语注音符号37 个，一二级汉字共6763 个。
其中：一级常用汉字3 755 个，按照汉语音排序；二级非常用汉字3008 个，按照偏旁部首排序。该标准的制定和应用为规范、推动中文信息化进程起了很大作用。
 双字节编码
 范围：A1A1～FEFE A1-A9：符号区，包含682 个符号 B0-F7：汉字区，包含6763 个汉字。
2．《汉字国标扩展规范GBK》《汉字国标扩展规范GBK 》，在MS Windows 9x/Me/NT/2000、IBM OS/2 的系统中广泛应用。是GB2312 国标码的扩充。它是国家技术监督局1995 年为中文Windows 95所制定
的新的汉字内码规范（其中GB 表示国标，K 表示扩展）。该规范在字汇一级上支持ISO10646
和GB13000 中的全部中日韩（CJK）汉字，并与国家标准GB2312-80 信息处理交换码相兼容。
 双字节编码，GB2312-80 的扩充，在码位上和GB2312-80 兼容 范围：8140～FEFE（剔除xx7F）共23940 个码位 包含21003 个汉字，包含了ISO/IEC 10646-1 中的全部中日韩汉字。
3．GB 12345-90《信息交换用汉字编码字符集—第一辅助集》
国家标准GB1234-90《信息交换用汉字编码字符集—第—辅助集》于1990 年发布，是与基本集对应的繁体字字符集，共收图形字符7583 个，其中前15 区除收集了GB 2312-80 中
前15 区内收的全部字符外，又增收了35 个竖排标点符号和汉语拼音符号共717个字符。从

16 区至91 区共收6866 个繁体汉字。目的在于规范必须使用繁体字的各种场合，以及古籍整理等。一级汉字数和二级汉字数都与GB2312-80 相同，另有103 个繁体字是属于简/繁为一对多的字（比GB2312 多103 个字，其它厂商的字库大多不包括这些字）。对于简/繁一对多的情况，则选一个最通用的繁体字码置于与基本集中该字相对应的码位，其余的则按拼音序编码于88和89 区。实际上可以将GB1234-90理解为GB2312-80的繁体字对应版。如果
在同一套计算机系统中要支持简、繁体字共存，只能采取两个分别代表GB2312-80 和GB12345-90 的代码页。
4．GB 7589-87《信息交换用汉字编码字符集—第二辅助集》
GB 7589-87《信息交换用汉字编码字符集—第二辅助集》是作为基本集的补充而编制的，收入通用规范的简体汉字，收字7237 个，以201个部首为序排列，部首次序按笔画数
排列，同部首字按部首以外的笔画数排列，同笔画数的字以笔形顺序(横、直、撇、点、折)为序。不收繁体字和被淘汰异体字。
5．GB 13131-1991《信息交换用汉字编码字符集—第三辅助集》
辅三集是辅二集对应的繁体字字符集，简繁体有一一对应关系，收字与辅二集相同。
6．GB 7590-87《信息交换用汉字编码字符集—第四辅助集》
辅四集是作为基本集的补充而编制的，均收通用规范的简体汉字，收字7039 个，都以201个部首为序排列，部首次序按笔画数排列，同部首字按部首以外的笔画数排列，同笔画
数的字以笔形顺序(横、直、撇、点、折)为序。不收繁体字和被淘汰异体字，第二辅助集
和第四辅助集共约有4200 多个字是经过类推简化得到的，提高了整个字符集的规范性，但
降低了字符集的实用性。
7．GB 13132-1991《信息交换用汉字编码字符集—第五辅助集》
辅五集是辅四集对应的繁体字字符集，简繁体有一一对应关系，收字与辅四集相同。
8．GB 13000《信息技术通用多八位编码字符集》（ISO/IEC10646）
GB13000是ISO/IEC10646的等同标准。国际标准化组织为了将世界各民族的文字进行统一编码，制定了UCS 标准。根据这一标准，中、日、韩三国共同制定了《CJK 统一汉字编码字符集》，其国际标准号为：ISO/IEC10646，我国国家标准号为：GB13000。该汉字编码
字符集就是通常人们所说的大字符集，它编入了20902 个汉字，收集了大陆一、二级字库中的简体字，台湾《通用汉字标准交换码》中的繁体字，58 个香港特别用字和92 个延边
地区朝鲜族“吏读”字，甚至涵盖了日文与韩文中的通用汉字，满足了方方面面的需要。
9．GB 18030-2000《信息技术信息交换用汉字编码字符集基本集的扩充》
GB18030标准是中国政府于2000年3月颁布的最新中文汉字编码标准，是我国继
GB2312-1980 和GB13000-1993 之后最重要的汉字编码标准，是未来我国计算机系统必须遵循的基础性标准之一。GB18030 收录了27484 个汉字。双字节部分收录内容主要包括
GB13000.1 全部CJK 汉字20902 个、有关标点符号、表意文字描述符13 个、增补的汉字和部首/构件80 个、双字节编码的欧元符号等。四字节部分收录了上述双字节字符之外的，
包括CJK 统一汉字扩充A 在内的GB 13000.1 中的全部字符。GB18030 编码空间约为160 万
码位，目前已编码的字符约2.6 万。随着我国汉字整理和编码研究工作的不断深入，以及国际标准ISO/IEC 10646 的不断发展，GB18030 所收录的字符将在新版本中增加。

10. 统一码（Unicode）
统一码(Unicode)与ISO 10646 国际编码标准互相兼容。统一码是由一个名为Unicode
学术学会的机构制订的字符编码系统。该系统是为了将世界上几十种紊乱的字符编码整合在一起，以期减少各电脑商开发国外市场时遇到的问题，美国各大电脑厂商组成了策进会，以推广一个世界通行的编码体制，以支持世界主要语文的书面文本的交换、处理及显示。
Unicode学术学会的成员大部分为计算机软硬件的供货商。
在1991 年，国际标准化组织与Unicode 学术学会决定共同制订一套适用于多种语文文
本的通用编码标准。自此以后，该两个组织便一直紧密合作，同步发展ISO 10646 国际编码标准及统一码。国际标准化组织提供ISO 10646 国际编码标准内的字符及编码资料，Unicode 学术学会则对这些字符及编码资料提出应用的方法以及语义资料作补充。ISO
10646 国际编码标准与统一码所包含的字符及使用的编码是相同的。统一码可被视为是ISO
10646 国际编码标准的实践版。因此，支持统一码的产品，亦支持ISO 10646 国际编码标
准。由Unicode 学术学会制订的统一码3.0 版本，于2000 年2月正式推出。这个版本收纳
了49,194 个来自世界各地不同语文的字符，其中包括27,484 个东亚的表意文字(汉字，汉字是经过CJK 整合的，即将中日韩文中相近的汉字用单一的编码，称为统一汉字Unihan，
共2 万多个，但并不包含一些罕见的字，如康熙字典中的一些古字)。Unicode 编码有多种实现，常见的有UTF8，UTF16，UCS-2，UCS-4 等，统一码3.0 版本是与ISO/IEC 10646-1:2000
对应的版本。统一码3.1 版本于2001 年3 月推出。这个版本的主要特点是增加了44，946 个
新字符，其中42，711 个为表意文字。连同统一码3.0 版本原有的字符，统一码3.1 版本
共收录了94，140 个字符，其中表意文字总数超过70，000 个。统一码于2002 年推出的3.2
版本。虽然这个版本包括了1，016 个新字符，但其包含的表意文字则与统一码3.1 版本相同。统一码2003年推出最新4.0版本，统一码4.0版本与ISO 10646:2003 国际编码标准的现行版本完全对应，目前，在网络、Windows 系统和很多大型软件中得到应用。

三、基于字符集的中文信息处理
1．问题的提出
数字图书馆，是面向未来互联网发展的信息管理模式。以数字资源的制作、存储、管理、传输和服务为主要特征的数字图书馆技术，是 21 世纪国际科技文化竞争的焦点之一。
数字图书馆涵盖多个分布式、超大规模、可互操作的异构多媒体资源库群，面向社会公众
提供全方位的知识服务。可以说，数字图书馆将实现对人类知识的普遍存取，并最终消除人们在信息获取方面的不平等。它既是知识网络，又是知识中心，同时也是一套完整的知识定位系统。
国家数字图书馆工程将在国家图书馆二期工程内建设国家数字图书馆国家中心，并通过应用系统开发实现数字资源采集、加工、处理、存储、归档、组织、发布和利用全过程。
地方志是我国所特有的一种文献形式，其中有 6, 300 余种、120, 000 余册。建国前的
旧方志是国家图书馆独具特色的馆藏之一，所存文献数量与品质极高。旧方志数字化是一
项重要的人文学术研究基础工程，利用计算机及网络技术进行深入的整理、开发，在当今
数字化时代势在必行，它将大幅度地提高大众学习、认识中国古代地方文化的效率，即可
以将学者的时间和精力从艰苦而繁琐的爬梳、翻检工作中解放出来，又可以向普通读者打开发掘、发现地方志宝藏的大门。地方志文献的数字化是全部中文文献数字化事业的一个复杂特例，是数字化图书馆事业的一个重要部分。
2004 年，国家图书馆将 50 万筒子页地方志文献进行文本化数字处理和版式还原。目的是要实现地方志文献全文检索。共处理汉字约 2.3 亿，遇到 UNICODE4.0 之外的字符集集外字大约 4500 字。因此，在处理古籍文献时，所使用的汉字数量是很大的。除此之外，规范检索问题即用简体、繁体、异体字都能统一检索；检索到的结果进行汉字排序问题；大字符集汉字输入问题；大字符集汉字显示问题等等都要进行处理。这些都是中文信息处理中所遇到的实际问题。
基于字符集的中文信息处理应包括汉字排序，汉字可有多种排序标准(拼音、部首、笔
画、四角号码等等)；规范检索，用简体、繁体、异体字都能统一检索；汉字输入方法；支持大字符集的显示等等。
2．进行汉字属性标准研究为了解决基于字符集的中文信息处理即汉字排序、规范检索、汉字输入、汉字显示等问题，就要对汉字属性标准进行研究。目前，基于GB13000.1《信息技术通用多八位编码字
符集》即(ISO/IEC10646.1-1993）、UNICODE1.0的汉字属性标准研究已经完成，解决的汉
字数量是基本集20902个汉字。但是，基于UNICODE4.0 (ISO/IEC10646：2003）的汉字属性标准研究，当前还是空白，要解决的汉字数量是扩充A集6582个汉字、扩充B集42711个汉字。
要加速该方面的研究，满足数字图书馆资源建设以及实际应用工作的需求。
汉字属性标准研究的基本内容是汉字字型标准化、汉字标准发音、字型特征（包括汉字总笔画数量、汉字起笔至末笔笔形值、部首笔画数量、部首序号、部首外起笔至末笔笔形值、异体字数量、异体字字型等）、各种编码（包括四角号码、输入编码、其他汉字字
符集编码等）以及构词和使用频度等。
3．汉字排序
汉字的排序方法是依据我国多年延续下来的传统规范和若干限定条件对汉字进行排序处理。即要使汉字象拉丁字符一样成为有序的集合，在计算机内能够进行比较、计算。我国目前使用的汉字排序方法主要有四种：部首法、汉语拼音法、笔画法和四角号码法。这
些方法的规则如下：部首法是以部首归并汉字的一种排检方法。它是先把汉字按其所属的部首归并集中。
部首按笔画数多少排列先后顺序， 笔画数目相同的部首，依起笔笔形(横、竖、撇、点、折)
排列先后顺序。同属一个部首的字，其先后顺序仍然是先按部首之外的笔画数排列， 部首之外的笔画数目相同的，再依起笔笔形顺序排列。
汉语拼音法是按照汉字发音和声调来归并排列汉字的一种方法。它的一般形式是：先按汉字的发音和声调来归并汉字，按字母的序列排序。音、调相同依笔画数多少排列。笔
画数相同，再依起笔笔形(横、竖、撇、点、折)排列先后顺序。
笔画法是按照笔画数目及起笔笔形来归并排列汉字的一种方法。它的一般形式是：先按笔画数多少来归并汉字，笔画数相同，再依起笔笔形(横、竖、撇、点、折)排列先后顺序。
四角号码法是一种以数码来代表汉字四角的笔形并据此来排列汉字先后次序的方法。
先按四角号码数多少来归并汉字。四角号码相同，依字中“横”笔的多少排列。“横”笔
相同，依整体字的笔数排列。整体字的笔数相同，再依起笔笔形(横、竖、撇、点、折)排列
先后顺序。
用计算机处理汉字排序问题的规则，见下表：

因素1

因素2

因素3

因素4

因素5

部首法

部首序号

部首外汉字
笔数

部首外汉字
起笔至末笔
笔形值

内码

汉语拼音法

汉语拼音

声调

总笔画数

汉字起笔至
末笔笔形值

内码

笔画法

总笔画数

汉字起笔至
末笔笔形值

内码

四角号码法

四角号码

横笔数

总笔画数

汉字起笔至
末笔笔形值

内码

4．规范检索要解决标准正形汉字与繁体字与异体字相互连接问题。建立相互参见对照表，解决规范检索问题。
5．输入方法要选择一种或几种适合古籍大字符集的输入方法，解决汉字输入问题。
6．汉字显示古籍资源的应用是全球化的问题，需要解决古籍大字符集的显示问题。虽然，系统都
支持UNICODE，但是没有扩A、扩B大字符集字库的支持也不能正确显示汉字。因此，需要解决支持大字符集的汉字字库问题。
总之，基于字符集的中文信息处理是当今数字图书馆古籍资源建设和应用的基础。呼吁各界重视基于字符集的中文信息处理的基础研究，再创我国中文信息处理领域的辉煌。

参考文献：《中文信息处理技术的现状与进展》 通用中文代码国际联合会 1991年3月 Version 2.0《试论中文文献的有序化》

翟喜奎《现代图书情报技术》1990年

第l期

A Model for Scholarly Collaboration in theDevelopment of On-line Reference Works: The Digital
Dictionary of Buddhism

Charles Muller
Toyo Gakuen University
Kyoto University Institute of Humanities Presentation
Beijing January 22, 2004

I. Technical Review
I began the compilation of the Digital Dictionary of Buddhism (DDB) and the
CJKV-English Dictionary soon after my entry into graduate school in Buddhist Studies,
upon my coming to awareness of the dearth of adequate lexicographical and otherreference works in English language for the textual scholar of East Asian Buddhism inparticular, and East Asian philosophy and religion in general. I decided, during my first
Buddhist and Confucian/Daoist texts readings courses to save everything I looked up, andhave continued that practice down to the present, through the course of studying scores ofclassical texts.
At the time that I began this process, I could not have dreamt of such a thing as theInternet, or even thought of the possibility of having this material available as a digital
database—I was simply envisioning the eventual publication of a new, comprehensive
printed work. But as developments in the IT world progressed, the newly appearing
potentialities gradually began to dawn on me. Then, in 1995, I tasted the Internet, andonce I figured out how to insert <html> tags at the beginning and end of a text file, I wason my way to preparing these dictionaries for web publication—the first version of which
I uploaded in the summer of 1995. Soon after this, the dictionary was discovered on byChristian Wittern, who promptly downloaded all the files, and applied a basic SGML
structure, which is the ancestor of the XML markup system used today.
Due to the lack of widespread popular implementation of SGML, I did not makeany special effort to develop this format for a few years. But after 2000, the popularity ofXML began to suddenly increase, and so I began to take this format seriously. A major
technical turning point in the history of the DDB came in January 2001, when I was
contacted by Michael Beddow, a scholar of German Literature who was also an extremely
accomplished XML programmer, and who had been using XML for some time already todevelop his own only lexicographical project, the Anglo-Norman Dictionary(http://www.anglo-norman.net). Michael generated, based on the markup structure of the
DDB, an array of indexes that used Xpointers to call up single-entry data units out oflarge files, each of which contained hundreds of entries. Michael also developed a CJKUtf-8 search engine.1

II. Content Development
In my first presentation of the DDB at the meeting of the Electronic Buddhist Text
Initiative (EBTI) in 1996, the dictionary had 3,200 entries. Today, less than nine years
later, the DDB now boasts 35,000 entries, making it by far the largest compilation of its
type in the English language, and even larger than some of the best-known Japanese
works, such as Oda's Bukkyō daijiten. An instrumental factor in this rate of growth is theaid received through JSPS research grants, which allowed us to hire graduate students to
help digitize large amounts of data for input. But this stage ended in 2002, and we haveentered a new phase, where we are finally receiving large contributions of data from
1 I have focused here on developments in the DDB, but please note that all of the same
technological enhancements have been applied to the CJKV-E.

unselfish collaborators who understand the spirit of the project and its limitless potential
for the future. Two of the largest recent individual contributions have come from Prof.
KARASHIMA Seishi, who has contributed over 7,000 entries from his research on the
Lotus Sutra, and from Dr. Stephen Hodge, who has contributed over 2,500 hundred terms
from his translation work on the Yogācārabhūmi-śāstra. In addition to these unusuallylarge contributions, we have recently been benefiting from a continuous stream of smaller
contributions, amendments, and corrections, from an ever-increasing number ofscholars.2
While the DDB can certainly be viewed as a fairly successful model of thepossibilities of online collaboration, it should be made clear that until we set up amechanism to strongly encourage (perhaps "force" is the better term here) contribution,
voluntary data submissions were few and far between. Initially we set up our password
access/quota system to deal with hacking and data-theft problems. But we also discoveredthat we could take advantage of this same system to encourage contributions. Throughthis system, users who log onto the DDB web site to search for terms are able to freely
look up ten items in a 24-hour period. After this, they are greeted by a message tellingthem that their quota is finished, but that they may gain an unlimited quota password by
making a small data contribution.
In earlier days, when the content coverage of the DDB was still rather limited, thisstrategy did not generate that much response. But during the past year, with the expansionof the coverage to its present number, usage of the resource has also increased. The DDB
has become a standard lookup tool for many Buddhist studies specialists—especiallythose who are doing intensive translation work. It is also used extensively in university
classes in North America, and is a basic research tool listed on the syllabi of Buddhist
2 For a full list of contributors, see http://www.acmuller.net/credits/credits-ddb.htm.

Studies courses in such prestigious institutions as Harvard, Stanford, Princeton,
Columbia, Berkeley, and other universities. As the DDB grows in both usefulness and in
reputation as an essential reference tool for Buddhist studies research, scholars andstudents are increasingly coming to depend upon it, and thus eventually come to needunlimited access. Most serious scholars already have a large amount of specialized
information on their hard drives that can easily be modified to become a DDB entry. Allthey need, it seems, is a small reason to make this effort, along with a little prodding.
For interested persons who do not have the specialized training to write or edit
DDB entries, paid subscriptions are available. This approach was settled upon not withthe expectation of making a lot of money, but simply to provide a recourse for persons
who demanded full access in one way or another. As a by-product of this offering
however, we decided to offer institutional subscriptions as well, and recently a number ofmajor universities have decided to have their libraries subscribe to the DDB, including
Columbia, Berkeley, Santa Barbara, and UCLA. While we are happy to gain a small
amount of money to put back into the project, at this point, the greatest value of thesesubscriptions is in the recognition being accorded to the DDB as a primary reference tool.
It is especially significant that this reference tool has been put together and produced, notby a major publishing company, but by a group of like-minded scholars.

III. The Structure of a DDB Entry
As mentioned earlier, the DDB uses XML as its basic structural format. The DTD
is based loosely on the recommendations of the Text Encoding Initiative, using many ofthe entities and attributes that are used for lexicons.3 An entry is divided into three major
3 The reason that the DDB is not based more fully on TEI is simply that most of the structure wasdeveloped before I adequately understood the TEI model. I have thought from time to time about
redoing the whole structure according to the TEI DTD, but the retooling of the stylesheets, as well assections: (1) A Pronunciation Section, wherein the readings of a Chinese term areprovided in various East Asian languages and their romanization systems. (2) A Sense
Section, which provides the translation of the term and other explanatory material, and(3) An External References Section, which provides references to the term in a variety of
Buddhist Studies reference works. Each of these larger nodes has children nodes, andvarious other entities contained within. When a user selects a term either via hyperlink orby search engine lookup, and HTML page is generated. One sample page is given below:

numerous other aspects of the web implementation of the data set are simply too daunting for me toseriously consider at this point in time.

Digital Dictionary of Buddhism
Site Home Page | DDB Index Page | DDB Search Engine | XML source

言說[Pronunciations][py] yánshuō[wg] yen-shuo[hg] 언설
[mc] eonseol[mr] ŏnsŏl
[kk] ゴンゼツ[hb] gonzetsu

Meanings[Basic Meaning:] verbal expression [s.hodge]
Senses:(Skt. vyavahāra; Tib. tha snyad) [s.hodge]
expresses, recounts; (Skt. abhi-lap*; Tib. brjod par 'gyur ba) [s.hodge]
expressing, an expression, an utterance; (Skt. abhilāpa; Tib. brjod pa) [s.hodge]
discourse; (Skt. kathā; Tib. gtam) [s.hodge]
a figurative designation; (Skt. upacāra; Tib. nye bar 'dogs pa) [s.hodge]
Language, speech (vāc), which is one of the three kinds of permeation of the store
consciousness taught in the Mahāyāna-saṃgraha. 〔攝大乘論 (T
1593.31.117c3) 〕 [cmuller]● The usage of language to teach the dharma (deśanā). [cmuller]● Language as synergistic with the mental realm of phenomenal differentiation(abhilāpa). [cmuller]
●
●
●
●
●
●

[Dictionary References]
Iwanami Bukkyō jiten 239, 293
Bukkyōgo daijiten (Nakamura)429b
Ding Fubao
Buddhist Chinese-Sanskrit Dictionary (Hirakawa)1072
Bukkyō daijiten (Mochizuki)(v.9-10)1043b
Bukkyō daijiten (Oda)582-1
Sanskrit-Tibetan Index for the Yogācārabhūmi-śāstra (Yokoyama and Hirosawa)

One distinctive feature that you will notice in this example, that one does not yet
see in standard reference works, is that attribution is not simply given for the entire entry
as a unit: responsibility is acknowledged for each segment (XML node) of the entry--andas often as possible, with the equivalent Sanskrit or Tibetan. Both characteristics areespecially helpful for those who are doing research and translation. Of course, using XML
like this, we can display more detailed information if we want to. But whether or not we
decide to display it when we publish the HTML files, the users have the option ofviewing the XML source data if they like. For the above-shown entry, the XML source
data looks like this:<entry ID="b8a00-8aaa" added_by="cmuller" add_date="1997-09-15" update="2003-10-11"
rad="言" radval="07" radno="149" strokes="00"><hdwd>言說</hdwd><pron_list><pron lang="zh" system="py" resp="cmuller">yánshuō</pron><pron lang="zh" system="wg" resp="cmuller">yen-shuo</pron><pron lang="ko" system="hg" resp="cmuller">언설</pron><pron lang="ko" system="mc" resp="cmuller">eonseol</pron><pron lang="ko" system="mr" resp="cmuller">ŏnsŏl</pron><pron lang="ja" system="kk" resp="cmuller">ゴンゼツ</pron><pron lang="ja" system="hb" resp="cmuller">gonzetsu</pron></pron_list><sense_area><trans resp="s.hodge">verbal expression</trans><sense resp="s.hodge">(Skt. <term lang="sa">vyavahāra</term>; Tib. <term lang="bo">thasnyad</term>)</sense><sense resp="s.hodge"><trans resp="s.hodge">expresses, recounts</trans>; (Skt. <term lang="sa">abhi-lap*</term>;
Tib. <term lang="bo">brjod par 'gyur ba</term>)</sense><sense resp="s.hodge"><trans resp="s.hodge">expressing, an expression, an utterance</trans>; (Skt. <termlang="sa">abhilāpa</term>; Tib. <term lang="bo">brjod pa</term>)</sense><sense resp="s.hodge"><trans resp="s.hodge">discourse</trans>; (Skt. <term lang="sa">kathā</term>; Tib. <termlang="bo">gtam</term>)</sense><sense resp="s.hodge"><trans resp="s.hodge">a figurative designation</trans>; (Skt. <term lang="sa">upacāra</term>;
Tib. <term lang="bo">nye bar 'dogs pa</term>)</sense><sense resp="cmuller">Language, <trans resp="cmuller"><termlang="en">speech</term></trans> (<term lang="sa">vāc</term>), which is one of the threekinds of permeation of the store consciousness taught in the <title>Mahāyāna-saṃgraha</title>.
<bibl type="canoncite"><cit><xref idref="b651d-5927-4e58-8ad6">攝大乘論</xref>&#160;<biblScope source="T" div="num.vol.pg-col-line">T1593.31.117c3</biblScope></cit></bibl></sense><sense resp="cmuller">The usage of language to teach the dharma (<termlang="sa">deśanā</term>). </sense><sense resp="cmuller">Language as synergistic with the mental realm of phenomenal
differentiation (<term lang="sa">abhilāpa</term>). </sense></sense_area><dictref><dict><title>Iwanami Bukkyō jiten </title><page>239, 293</page></dict><dict><title>Bukkyōgo daijiten (Nakamura)</title><page>429b</page></dict><dict><title>Ding Fubao</title><page/></dict><dict><title>Buddhist Chinese-Sanskrit Dictionary (Hirakawa)</title><page>1072</page></dict><dict><title>Bukkyō daijiten (Mochizuki)</title><page>(v.9-10)1043b</page></dict><dict><title>Bukkyō daijiten (Oda)</title><page>582-1</page></dict><dict><title>Sanskrit-Tibetan Index for the Yogācārabhūmi-śāstra (Yokoyama and Hirosawa)</title><page/></dict></dictref></entry>IV. Making Contributions
An important future enhancement for the DDB will the development of an input
form for contributors, to allow them to readily add new entries, or modify presently
existent ones. For the time being however, lacking a formal apparatus for the input of
new materials, we have been adding material received in attached mail files, mostly in
MS-Word format. As long as the contributors use a format with a uniform structure, andare able to submit their materials in Unicode, using Unicode-mapped diacritics and East
Asian characters, there is not that much else that needs to be done, as we are able to domuch of the main markup with macros and various scripts. We do, however, encourage
users to submit their materials with XML markup to whatever extent they are able tohandle it, ranging from a minimal type of markup, up to a fully marked-up document
using our DTD. On our web site, we offer users the following options (fromhttp://www.acmuller.net/ddb/notes/
Basic_Formatting.html):--------------------------------------------------------------------------------------------Basic Formatting Suggestions for DDB Entries

Topics:A. Introduction
B. Basic DDB Entry Format
C. Basic DDB Entry Format (Simple XML Markup)
D. Basic DDB Entry Format (Fully Developed XML Markup)
Updated 2004.09.05

A. Introduction
First and foremost, please understand well: the usage of XML tagging is not necessary
for contributing to the DDB. We will happily accept contributions in popular word
processor file formats with no XML markup whatsoever. If, however, you areinterested in going a step or two beyond that, and would like to learn something about
how we encode our materials, then please read on.
B. Basic DDB Entry Format
Up to now, the basic organization of a DDB entry has been like this (with someabridgments for the sake of simplicity):
Headword: (Han characters)
Pronunciations:
Chinese (Pinyin):
Chinese (Wade-Giles):Korean (Hangul):
Korean (Ministry of Education System):
Korean (McCuneReischauer):
Japanese (Katakana):
Japanese (Hepburn):
Translation: (Simple, short-phrase equivalent of the headword, if available)
Explanation: (Detailed explanation of the entry headword)

If you were adding a term, you would type the Chinese next to "Headword." You would
then add the pronunciations for the languages you know. Someone else can supply thereadings for the languages you can't handle. After the pronunciations, we usually make an
attempt to offer one (or up to a few) common renderings of the term. If it were a person,
place, temple, etc., we would just supply the commonly used name, such as "Zongmi,""Dongshan," "Jinglingsi," etc. If it were a concept, "middle way," etc. This is followed bya detailed explanation, which can have multiple nodes for multiple contributors, asnecessary.
Let's look at example. This is an entry regarding the Korean monk Iryŏn. It is an entry forwhich I provided minimal information many years ago, and which badly needs to be
expanded. But its present brevity makes it useful here:
Headword: 一然
Pronunciations:Chinese (Pinyin): Yīrán
Chinese (Wade-Giles): I-jan
Korean (Ministry of Education System): Iryeon
Korean (McCuneReischauer): Iryŏn
Japanese (Hepburn): Ichinen
Translation: Iryeon
Explanation: (1206-1289) An important Goryeo monk. A prolific writer, who is most
famous for his Samguk Yusa [Chinese title here], a collection of facts and anecdotes
which is a basic text for the study of the history of Korean Buddhism.

C. Basic DDB Entry Format: XML
Now, for XML. Rather than starting off with an explanation of XML theory, I think it issimpler if I just re-present the above example using a simplified form of XML.
<entry><hdwd>一然</hdwd><pron_list><pron>Yiran</pron><pron>I-jan</pron><pron>Iryeon</pron><pron>Iryŏn</pron><pron>Ichinen</pron></pron_list><trans>Iryeon</trans><sense> (1206-1289) An important Goryeo monk. A prolific writer, who is most famousfor his <title>Samguk Yusa</title> 三 國遺事, a collection of facts and anecdotes which
is a basic text for the study of the history of Korean Buddhism.</sense></entry>If you look at this for a minute, you will see that there is not much difference between thefirst example and the XML-tagged example. The basic difference is that here we areusing opening and closing tags to delimit information. You will notice that inside the<sense> tags, the title of Iryeon's text, Samguk Yusa, is enclosed with the tags
<title></title>, indicating that this is the name of written work. We also use similar tagsfor <term>technical terms</term>, <foreign>foreign words</foreign> and otherelements. When this entry is published as HTML, these words will automatically beitalicized. We can also use these tags to build indexes.
If can cooperate by using this simple level of XML structuring, it would be greatly
appreciated. But once again, it is not absolutely necessary for the task.
D. Basic DDB Entry Format (Fully Developed XML Markup)
The above example shows the barest XML framework—what are called ELEMENT tags.
The tags <entry>, <pron>, <title>, etc. are all known as "elements" in XML parlance. But
elements can also be enhanced by a very useful secondary layer of information, which is
known as ATTRIBUTE information. Please see the same entry, again presented in amanner much closer to the way it is actually contained in our data set:

<entry added_by="cmuller" add_date="1990-09-21" update=""><hdwd>一然</hdwd><pron_list><pron lang="zh" system="py" resp="c.wittern">Yīrán</pron><pron lang="zh" system="wg" resp="cmuller">I-jan</pron><pron lang="ko" system="mc" resp="cmuller">Iryeon</pron><pron lang="ko" system="mr" resp="cmuller">Iryŏn</pron><pron lang="ja" system="kk" resp="cmuller">イチネン</pron><pron lang="ja" system="hb" resp="cmuller">Ichinen</pron></pron_list><sense_area><trans resp="cmuller"><person_entry loc="ko">Iryeon</person_entry> </trans><sense resp="cmuller"> (1206-1289) An important Goryeo monk. A prolific writer, who
is most famous for his <title lang="ko">Samguk Yusa</title> 三國遺事, a collection offacts and anecdotes which is a basic text for the study of the history of Korean
Buddhism.</sense></sense_area>

</entry>

I believe that the point of most of the attributes should be obvious, but one of the mostimportant that I would like to draw your attention to is that of "resp", which means"responsibility"—thus, "accreditation." Far distinguished from paper publishingcounterparts, the usage of XML in a digital reference work allows us to give credit to theperson responsible for every small part of the <entry>. Thus, if someone wanted to add
another <sense> element (or "node") to this entry, it could easily be done, giving that
person credit in the "resp" attribute.
Also commonly used in the DDB is the "lang" attribute, which tells us the language of thetext or foreign word that will be italicized. For texts, we also have a "prov" (provenance)
attribute. For temples and geographical entries, we have a "loc" (location) attribute. There
are a number of others as well.
Using attributes allows for all kinds of programming possibilities, including various fonttransformations on presentation, creation of detailed indexes, and so forth.
However, once again, for those for whom this is a headache, it is fine if you want toterminate your exposure to XML here. Ensuing discussions will go into a bit more detailon XML for those who are interested, so you may ignore these if you wish.

V. Near-Term Future Prospects for the DDB
During the past year, we have reached a distinctive new stage in the developmentof the DDB, wherein suddenly a large number of recognized scholarly experts in
Buddhist Studies have begun to contribute data, and major university libraries havedecided to subscribe. We presently have some 5,000 entries on the queue awaiting input,
with new contacts from interested scholars coming weekly. Thus, we appear to be on theverge of being able to declare the DDB project a major success. We still eventually needto figure out a way to round out the balance of the coverage, so that there is more equal
representation in terms of sects and cultural traditions, but this can probably be solved by
the attainment of another significant grant or two. But if we can continue to grown at therate of 5-10,000 terms a year for the next five years or so, it will probably be the righttime to begin to turn our full attention to the proper completion of the sister project of theDDB--the CJKV-E dictionary.