中日韓統一表意文字

历史

1978年，日本基于ISO 2022，制订了全世界最早的汉字编码JIS C 6226。1980年代，中国大陆、台湾、韩国则各自制订了自己的规范。这些规范彼此之间并无关系。若要在一份文件中同时使用，则要以脱序字符的方式来交换。
1980年，日本的国立国会图书馆的高桥德太郎以图书学的观点指出，一个统一的东亚汉字编码系统是有必要的。同年，台湾制定了三字节的中文信息交换码。偶然的是，这是第一个期望可以一致处理中国、日本、韩国汉字的编码。之后，美国的国会图书馆采用了此规格，并另外命名为东亚编码字符（East Asia Coded Character，EACC，ANSI/NISO Z39.64）。
1984年，ISO的文字编码委员会（ISO/TC 97/SC2）决议制订出一套编码规格（ISO 10646），是以交换文字集的方式来统一处理世界的文字。并成立了工作小组（ISO/TC 97/SC 2/ WG 2）。这个编码一开始的构想是采用16位，而对于日本及中国等国的汉字编码则原封不动地加入。但若如此，中国当时所制订的编码都无法加入，因而反对。并于1989年，提出了各国的汉字统合集合（Han Character Collection，HCC）的构想。
1990年完成了ISO 10646的初版草案（DIS 10646）。汉字使用32位来表示。并将各国的汉字编码原封不动地加入。但中国认为，若各国各自为汉字编码，将不利于统一处理汉字，因而反对。为了日后关于汉字编码的讨论及方针能顺利进行，并呼吁WG 2特别设置了中日韩联合研究小组（CJK-JRG，Joint Research Group，为表意文字小组的前身），以持续讨论。
另一方面，1987年，施乐的Joe Becker和Lee Collins开发了统合处理全世界所有文字的统一码。1989年发表了统一码概要。基本为16位。于是，中、日、韩文字统合了。基本方针为以16位处理所有文字。
1990年，完成了基于此方针的最终草案。隔年1991年1月，大致同意此方案的企业成立了统一码联盟。中、日、韩中类似的汉字使用约二万多个字。为了未来扩展，保留了三万个汉字以供其它用途。
1991年，各国希望能以一致的方式处理文字，如统一码这般，因而否决了ISO/IEC 10646的初版草案。基于中国与统一码联盟的提议，ISO 10646和统一码成立了中日韩联合研究小组。中日韩联合研究小组将基于各国的汉字编码，独自定义定规范、制作ISO 10646和统一码的统一汉字编码。年尾，完成了Unified Repertoire and Ordering（URO）。
1992年，URO加入ISO 10646的第二版。但是，发现了一些缺失，之后进行了修正。
1993年5月，正式制订最初的中日韩统一表意文字，位于U+4E00–U+9FFF这个区域，共20,902个字。还有一个汉字“〇”（码位U+3007），被当成数字放入了符号和标点区。一个月后，制订了统一码1.1。
1999年，依据ISO/IEC 10646的第17个修正案（Amendment 17）订定扩展区A，于U+3400–U+4DFF加入6,582个字。
2001年，依据ISO/IEC 10646-2，新增扩展区B，包含42,711个汉字。位于U+20000–U+2A6FF。但因在短时间内增加了大量的汉字，导致产生了许多重复的字形。
2005年，依据ISO/IEC 10646:2003的第1个修正案（Amendment 1），基本多文种平面增加U+9FA6-U+9FBB，共22个汉字。
2009年，统一码5.2扩展区C增加U+2A700–U+2B734，基本多文种平面增加U+9FC4–U+9FCB。
2010年，统一码6.0扩展区D增加U+2B740–U+2B81F。
2012年，统一码7.0基本多文种平面增加1个汉字：U+9FCC。
2015年，统一码8.0扩展区E增加U+2B820–U+2CEAF，基本多文种平面增加U+9FCD–U+9FD5。
2017年，统一码10.0扩展区F增加U+2CEB0–U+2EBEF，基本多文种平面增加U+9FD6–U+9FEA。
2018年，统一码11.0基本多文种平面末尾增加5个汉字：U+9FEB-U+9FEF，其中前三个是新命名的化学元素用字，后两字来自日本。
此外，位于第三平面的扩展区G已经获接受，将于未来公布，码位为U+30000-U+31389。
另外，第三平面的U+31400-U+33D1F预计放置小篆，U+33E00-U+355FF预计放置甲骨文，相关提案已经提交。按路线图，该平面还会收录金文、简帛文、陶文、鸟虫书等。

Unicode 4.1汉字

为使Unicode向下兼容GB 18030和香港增补字符集（HKSCS）的所有汉字，而扩展C区又迟迟未能出笼，在Unicode 4.1版中引进了14个香港增补字符集的用字和8个GB 18030用字。该22字被编于U+9FA6—U+9FBB的位置。
另外，在U+FA70—U+FAD9的位置，放了106个来自北朝鲜的兼容汉字。

Unicode 5.1汉字

在2008年4月推出的Unicode 5.1版本，收录7个由日本Adobe公司递交的日语汉字（U+9FBC－U+9FC2），和鿃（大字加两个入字，就如陕西省的陝字换上目字旁）（U+9FC3）。本来Unicode 3.0收录了目字旁加夾（大字加两个人字）字的“䀹”（U+4039），目字旁加㚒字的字，与“䀹”无论在意义和发音均不相同，故魏安（Andrew West）和井作恒（John H. Jenkins）申请追加此字。

急用汉字

“急用汉字”是扩展E区整理后期，各地新发现并急于使用，又等不及放入扩展F区的字；和扩展E区一起收入Unicode 8.0，位置在U+9FCD - U+9FD5；当中中国大陆在此处申请收入三字，连同扩展E区的字，通用规范汉字表的8105字至此全部收入。

认同原则与字源分离原则

表意文字认同原则（Han Unification Rule，又称表意文字统合原则）与字源分离原则（Source Separation Rule，又称原规格分离原则），是两个对立的原则，它们是Unicode整理中日韩统一表意文字的基础。
东亚各国字形多有微妙的差异。如“房”字的第一笔，韩国传统汉字字形、台湾教育部标准字体作撇“房”；香港教育参考字形、中国大陆规范作点“房”；日本标准作横“房”。又如“次”字的左旁，韩国采用传统字形，首笔为横，次笔为挑；台湾教育部作两横；大陆、日本、香港等则作“冫”（俗称两点水）。这种程度的差异，理想上是整并为一个字为佳。否则，要是凡异体字都收进不同码位里，Unicode收录的汉字就会过于臃肿，用户搜索时也会因异体问题而找不到想要的结果。
然而，从之前各种受挫之文字整并计划的经验得知，集成字集与现行通用字集（Big5或国标码）等无法一一对应，是推行集成字集的最大阻碍。例如，日本的JIS标准同时收录了“剣”字与“劍”字，原本JIS文件里这两个字可以并存，但采用集成字集后反而变成同一个字，会造成使用上的困扰。而且，如果将多个不同地区字形合并，会影响阅读者，令用户不习惯并非以往所见字形；更有可能引致阅读者因习惯而书写不属于自己地区的字形（或地区性的异体字）。
于是，表意文字认同原则与字源分离原则就应运而生。
在表意文字认同原则下，Unicode“只对字（Character），而不对字形（Glyph）”编码，会把同一字的不同字形（即异体字）合并。好像上述的“次”字，在Unicode里会整并成一个码。又例如不同地区而有不同写法的部首，如“⻌（中国大陆规范、日本新字体）、⻍（港台旧字形、韩国、日本旧字体）、辶（台湾教育部）”、“礻（中国大陆规范、台湾教育部）、礻（日本新字体）、⺬（日本旧字体、韩国、港台旧字形）”、“爫（中国大陆、港台新字形）、⺥（旧字形）”等，会合并编码。这些部首的写法差异就会交由字体处理。比如说，使用依中国大陆汉字标准《印刷通用汉字字形表》的字体下（如中易宋体、微软雅黑体）便会出现“⻌、爫”；使用台湾教育部标准字体（如微软正黑体或新版细明体，但非旧版细明体）就会出现“辶、爫”等字形。这大大解决了因地区而异之部首写法。
至于字源分离原则是指，在上述所列出之各种字源里，若有任何字集同时收了两种以上的文字字形，则在Unicode中日韩统一表意文字中，也同时收录这些字。这样一来，现行的各种原有字集与Unicode汉字可以一一对应。比如“房”字，各地字集都没有分别编码，就只编进一个码位，部首第一笔的写法交由字体处理。然而，“戶”、“户”、“戸”这三个字，在一些地区标准里是分别编码的，Unicode则以三个码位来分别收录它们。
基于上述运作，Unicode能大幅减少收录汉字字数，同时让地区编码过渡至Unicode时，字集里的字符不会有流失。但是，字源分离原则破坏了Unicode“只对字，而不对字形”编码之原则，使某些汉字获得两个或多个编码，亦遭受不少批评。
后来的一些重复汉字会使用“兼容区”提供暂存编码，可通过归一化（normalization）步骤移除。一般的汉字输入法，以及多数汉字字体，也不支持兼容区字符。
另外，字源分离原则只适用于最初Unified Repertoire and Ordering（URO）的20,902字，换言之，由“扩展区A”开始就不再适用。原因是个别地区提交了不少仅有十分轻微差异的字样，比如台湾异体字字典里的各种异体，要求Unicode分别编码。然而，那些字样所建基的地区编码，并非该地区的通用编码，例如是中文标准交换码（台湾实际通行的编码是Big5码）。若Unicode全面采纳，将会令Unicode对异体字的处理更混乱。
今天，异体字选择器（Variation Sequence）以及Adobe常用的CID字体等技术，已容许在一个Unicode编码里收录和调用两个或多个汉字字样，字源分离原则在今天已成为过时技术的副产品。

起源不同原则

留意的是，可以整并的字只限异体字。如果有些汉字，它的音、义根本不一样，是两个不相同的字，即使它们外形相近，写法差异比另一些整并的字少，但仍不能合并。这规则称为起源不同原则（Noncognate Rule）。
举例说：“土”和“士”虽然形似，却是两个不同的字，我们不可以整并它们。然而，日本、韩国、大陆、香港等地的“寺”字，与台湾教育部的“寺”字，两者顶部分别是“土”和“士”，但它们音义全同，是同一字的异体，于是就能够整并。
其他起源不同的例子还有“胄”和“胄”，“汨”和“汩”，“陝”与“陜”等。

学界批评

中文文字学学界对Unicode的字源分离原则有不少批评，尤其是它令同一个异体部件时而分离，时而合并，在日常使用层面引伸了许多问题。举例说，“青”和“靑”、“淸”和“清”都在正常区域中作分离编码，获得两个码位；“晴”、“靖”、“精”虽也获两个码位，但其中一个是在兼容区中，日常难以应用；“请”、“情”、“蜻”、“静”更只有一个码位。或例如，“直”和“直”、“植”和“植”是被整并的，可是“値”和“值”却分离作两个码位。Unicode的做法，没有把含有相同异体部件的字全都合并，也没有把它们全都分离，结果经常导致字形不一致，或者用户无法选择他希望使用的字形。
其他汉字使用地区也有类似声音。例如“戋”和“㦮”两个偏旁，前者为“戔”的大陆简化字，后者为“戔”的日本略字，在“残”和“残”、“浅”和“浅”、“践”和“践”等组合里，就整并起来。可是碰到“桟”和“栈”，却不统合，分列U+685F与U+6808两个码位中。这种情况被日本学者指为Unicode的矛盾。
事实上，由于在“中日韩统一表意文字”的不同区域里，Unicode本身也使用了不一致的并分尺度，因此，早期的异体字时常获分配正常码位，后来常常只有兼容区的暂存编码，再后来则不时被直接整并并交由异体字选择器处理。若不修正或更改早期的编码，类似的问题将会持续存在。

收字过少

合并异体字，虽有助减少收录字数，但在研究学术时，如古籍、历史及文字研究等，部分文献确要将字形不同之字同时并行。已合并的各个字，在这些文献里变得各有各意思。学者若使用Unicode，遇到这种情况，就要用不同计算机字体去显示同一个字码，甚至要自行造字，或舍Unicode而用其他编码。一来查找、转换计算机字体构成不便，二来有损Unicode记录每一个字之用意，三来不能以纯文本交换，四来计算机字体或因授权条款之限，难以交换流传。另外，这亦等于不能以Unicode准确记录文献，不利于文本的计算机化。
不同字形之字合并后，若检索方法以字形为本，会产生混乱，难以检索。例如笔画检字，艸部之“艹头”，中国、日本算作三画，而传统中文为四画，留有“艸”形者则为六画。Unicode同一字码，源于字形不同，就有几种笔画，检索混乱。即使检出字，笔画与显示出来的字形也不相符。因此，批评者认为，Unicode合并异体字并不可取。

收字过多

但是另一方面，也有批评认为Unicode收入大量错讹字及写法高度相似的同一字的不同字形本身就是不应该的。计算机文本本身永远不可能完全无损地记录文献，且文献本身也会因传抄制版等原因略有不同，如果把每个字的各种写法全部编码，会浪费空间。
完全无损地研究、记录文献只能通过查看原本或照相复印版来完成，把无损保存转嫁给编码是错误的。
现时Unicode按字源分离原则，把一些异体字分别编码，带来了检索困难。只要写法稍有不同，就无法检出，令使用户检索字词时，必须反复检索其不同写法，造成重复劳动，对文献研究反而是种妨碍。例如Unicode中将“兒”和“𠒇”字安放在不同的码位里。在检索文献时，检索“兒”字时就找不到“雷庄𠒇”，检索“𠒇”字时就找不到“雷庄兒”，反而造成困扰。

收字混乱

对于同一部件，Unicode有分有合，原则不一致。如“眞”和“真”、“塡”和“填”都分离编码，但“縝”和“縝”就整并了；“直”和“直”、“植”和“植”皆整并作一码，而“値”和“值”又分开来，既令人混淆，亦令人无所适从。
此外，Unicode收录不少幽灵汉字，人们难以找到其出处，它们在实际生活上也极少机会使用，有些甚至是错讹字，或者仅是某一个人的名字用字，那个人不见得是名人，甚至可能已去世，却永久成为标准里的字符，占用了一个码位。比如台湾律师吕秋𧽚，他名字里的“𧽚”字本应作“远”，可是户政人员误听他外公说的台语，把“辵字边”听成“走马边”，外公又不敢更正。当事人长大后，才确认这是错字，“五千年来从来没人这么写过”。但这字已永久收进Unicode中。又如香港增补字符集里的许多人名用字，都被学者指出乃属讹写，或者是来历不明的自创新字，多部权威字书都没有收录，学者批评把这些字收进字库后将会永久遗害。中文信息界的李祥在其专栏批评当局“解决不了增补字集中上千错字、白字、生造字的读音问题”，呼吁“不要把香港增补字符集与申请ISO强迫联系在一起”。然而，这些人名讹字亦已经收进Unicode中。

汉字〇

“〇”是一个汉字，《集韵》中已有此字，则天文字中亦有此字。《汉语大字典》《中华字海》《现代汉语词典》都收录了此字。但在Unicode中它被放入CJK符号和标点区，被等同于数字0，在搜索“〇”的时候，会连带搜索出数字0，使用上颇为不便（搜索汉字“一、二、三”，不会搜索出数字1、2、3）。此外，很多程序限定了汉字的范围为Unicode各汉字区，区外不视为汉字，由于“〇”不在汉字区中，导致这些程序无法处理“〇”这个汉字，造成不便。