日本語の表記ゆれ問題に関する考察と対処
On orthographical variants problem and our solution
長岡技術科学大学准教授
PROFILE

山本和英

豊橋技術科学大学大学院工学研究科博士後期課程システム情報工学専攻修了。博士（工学）。1996 年～ 2005 年（株）国際電気通信基礎技術研究所（ATR）、2002 年～現在まで長岡技術科学大学、現在准教授。自然言語処理、及び日本語教育（ツール作成）の研究に従事。
yamamoto@jnlp.org

1

日本語における表記ゆれ

以上のような表記ゆれは、自然言語処理を難しくしている。表記ゆれが増すことで処理すべき語彙が不必要に増大し、これが自然言語処理の様々な問題をより難しく自然言語が持つ特徴の一つに、表現の多様性がある。

している。またこれは、産業界におけるテキスト再利用

同一の事象や概念を表現するために、自然言語では様々（産業日本語）という観点からも重大な問題である。表な表現が可能である。我々人間はそれを意図的に使い分記ゆれが適切に吸収、あるいは同一性の認識がなされてけたり、また逆に意識せずに任意の一表現を使ったりする。

いないと、文書の検索などに大きな支障を及ぼすことが言語表現の多様性は、諸外国語よりも日本語において予想される。

より顕著である。本稿では他言語との比較が目的ではな

本稿では、以上のような日本語の表記ゆれの問題についので詳細は省略するが、少なくとも日本語では表現のいて議論する。まず次章において表記ゆれの影響の大き多様性だけでなく、下記に示すような表記の多様性、いさについて考察し、これに対する従来の取り組みと我々わゆる「表記ゆれ」が数多く存在するからである。の取り組みについて紹介する。

⃝

文字種の多様性：

2「りんご」（ひらがな）

表記ゆれの影響「リンゴ」（カタカナ）「林檎」（漢字）⃝ （漢字における）字体の異なり：⃝⃝

まず、日本語にはどの程度表記ゆれがあるのか。これについては、小椋が現代日本語書き言葉均衡コーパス「付属」（BCCWJ）を対象に調査を行っている [1]。これによ「附属」（旧字体）

ると、BCCWJ コーパスに対して表記ゆれの割合を調

送り仮名の異なり：査した結果、書籍で 10.8%、Web で 10.3%、雑誌「受け付ける」で 9.0% の形態素が表記ゆれであった 。自然言語処理「受付ける」

でよく対象となる Web テキストにおいておよそ１割の外来語表記の異なり：

単語が何らかの表記ゆれを持つというのは大きな意味が「コンピューター」ある。

1

ここで簡単な試算をする。仮に入力テキストの１割に「コンピュータ」⃝

略語：「取扱説明書」
「取説」

202

1

ただし、文献 [1] で言う表記ゆれは、「上げる－挙げる－揚げる」などの異字同訓も含んでおり、本研究における表記ゆれよりは対象が広いことに注意する必要がある。

寄稿集２

⃝

炒る／煎る／いるのだろうか。例えば自然言語処理では単語の共起情報を⃝

甘い／美味い／あまい使うことがあるが、もし単語の１割が表記ゆれであれば、⃝帰る／返る／孵る／かえる

単純計算で全共起対の約２割は何らかの意味で表記ゆれ⃝

あう／会う／合う／逢う／遭うの影響を受けることになる。述語と格要素の関係を見る⃝

結う／ゆう／いう／云う／謂う

格解析・述語項構造解析も、格関係に表記ゆれの影響が⃝買える／替える／かえる／飼える／代える／換える

ほぼないと見做すことができるので、表記ゆれに影響す⃝

揚る／揚がる／騰がる／騰る／あがる／上がる

るのは述語と格要素の二項であり、影響の大きさは共起⃝

撃ち取る／討取る／討ちとる／打ち取る／討ち取る関係と同等である。

／打取る

n-gram 統計を使う場合はさらに影響は大きくなる。
例 え ば 形 態 素 3-gram を 用 い る の で あ れ ば 0.93⃝

篤い／熱し／厚い／暑し／あつい／熱い／あつし／

≒

暑い／厚し

0.73、さらに統計的機械翻訳などの際に見受けられる
形態素 5-gram の場合は 0.95 ≒ 0.59 となって約半数弱の n-gram 統計に不要な影響を与えることになる。

また逆に、下記のような語はまとめ上げがされていな
い。

以上の試算より、表記ゆれ問題は決して小さな問題ではない。概算ながら上記で試算した割合は全く看過で⃝

空缶／空カン／空かん／あき缶／空きカン／空き缶

きない割合であり、手法・モデルの改善によって得られ⃝抱合わせ／抱きあわせ／抱き合せ／抱き合わせる効果よりもはるかに大きな効果が得られる可能性があ⃝立ちあがり／立ち上がり／立上がり／立ち上りる。

⃝独り暮し／一人暮し／一人暮らし／独り暮らし⃝

あかとんぼ／赤とんぼ／赤トンボ⃝

シューマイ／シウマイ／焼売／シュウマイ

3

従来の取り組み

3.2

UniDic以上のように、表現多様性に起因する表記ゆれ問題はUniDic は国立国語研究所のコーパス構築に使用され決して小さな問題ではない。さらに、本問題は形態素レている形態素解析用辞書である。UniDic には「語彙素」

ベルの問題であることから自然言語処理のほぼすべてのという概念があり、この情報を用いて表記ゆれのまとめタスクに影響を与える。

あげを行っている。しかし、特にひらがな語と漢字語間これに対し、従来の形態素解析器がどのように対処しのまとめあげについて問題があるように見える。例えてきたかについて概観し、問題がある場合は指摘する。

ば、「にる」という単語は対応する漢字表記との間で表記ゆれが存在する。しかし、「にる」の場合は「煮る」「似3.1

NAIST-jdic

る」など、複数の対応する漢字があるため、この場合に

NAIST-jdic は、形態素解析用辞書 IPADIC の ICOT

表記ゆれを吸収することは語義曖昧性解消することを意条項をクリアすると共に表記ゆれ情報、複合語情報を付味する。しかし、我々の見る限り、UniDic を用いて形与した形態素解析用辞書である。この辞書内には Diff_

態素解析すると「にる」（例えば「母親ににる」）は常にnotation という項目があり、これによって表記ゆれのま「煮る」（語彙素表記で、母親／に／煮る）となり、語義とめ上げを行っている。しかし、我々の調査では、下記曖昧性解消が出来ているようには見えない。この結果、のように必要以上にまとめ上げている傾向が見られる。

UniDic では誤った表記ゆれの解消を行ってしまう。このような例は「にる」だけでなく、対応する漢字表記が⃝空ける／明ける

複数存在するほとんどのひらがな表記に対して発生する⃝

感づく／勘づくようである。

YEAR BOOK 2O15 203

検索の高効率化と精度向上

表記ゆれがあると自然言語処理でどのような影響がある4

雪だるまプロジェクト

ゆれ集約の結果 51,072 語となった。以上から、集約できた語彙は高頻度のものから低頻度のものまで様々であり、頻度に関わらず幅広く集約されていることが推察

我々は表記ゆれを含む形態素解析の諸問題に対処するされる。

ため、2015 年から雪だるま（英語名 SNOWMAN）

表記ゆれの吸収、すなわち語彙の集約によって同一というプロジェクトを立ち上げ、新たに同名の日本語単の語数であっても網羅性は向上する。Web 日本語 N グ

語解析システムを作成している。この単語解析器は、いラムの頻度情報を用いて我々の辞書と UniDic を調査

わゆる形態素解析器の処理後に、我々の構築した表記統した結果を図２に示す。これによると、語彙数を少な制辞書を用いて表記ゆれの集約を行う。その後に、形態くすればするほど両者の差異は大きく、例えば高頻度素結合を行うことで形態素から単語への変換処理を行

10,000 語で網羅性を見ると、UniDic では 96.8% でい、最後にこれら単語列に対して同義語辞書 [2] を用いあるが、語彙の集約を行った我々の辞書では 97.5% とて各単語に同義性情報の付与を行う。我々は、形態素解なり、0.7 ポイントの向上となった。また、図２から分析を含む以上の処理全体を「単語解析」と呼び、従来のかるように我々の辞書で高頻度 2,500 語（二つ目の測形態素解析との違いを明確にしている。以上の処理の全定点）を用いれば 91.6%、5,000 語（三つ目の測定点）体像を図１に示す。表記ゆれ以外の問題については文献で 95.1% の出現語彙を被覆することになり、少ない語[3] を参照してほしい。

彙数でかなりの出現を網羅できていることが分かる。

現在我々は UniDic を対象に表記ゆれの集約作業を行っている。この作業は UniDic や NAIST-jdic など他の表記ゆれ辞書の情報を統合させるだけでなく、問題のある表記ゆれ集約を削除するなどして日本語の表記ゆれ辞書として最大規模かつ最高品質とすることを目指して手作業を続けている。
これまでの作業で、活用情報を除いた UniDic 異なり語数 319,951 語を 287,058 語に集約することができた。これは概ね 10% の語彙数減少である。また、頻度別にみると、高頻度語（Web 日本語 N グラムにおける頻度 1 万以上の語）は、UniDic 中に 116,353 語

図2

単語数とテキストの語彙網羅率の関係あるが集約の結果 98,611 語になり、低頻度語（同言語資源で出現頻度 20 未満の語）は 53,850 語が表記5

おわりに

本稿では自然言語処理における表記ゆれ問題について議論し、我々の取り組みについて紹介した。表記ゆれは地味な現象であるが本稿で議論してきたようにその影響は小さくない。これに対し、一つ一つ表記ゆれ情報を言語資源化していくことで着実に精度は向上していく。このように、自然言語処理を本気で精度向上させるには、「地味な現象」に対して業績にならない「地味な努力」が必要である。
図 1 日本語解析システム「雪だるま」の単語解析部の処理の流れ

204

なお、雪だるまプロジェクトの URL は下記の通りで

寄稿集２ある。今後システムの公開や情報提供を当該サイトで行っていく。

検索の高効率化と精度向上

雪だるまプロジェクト URL
http://snowman.jnlp.org/

謝辞
本研究は、平成 27 ～ 31 年科学研究費補助金基盤（B）
課題番号 15H03216、課題名「日本語教育用テキス
ト解析ツールの開発と学習者向け誤用チェッカーへの展開」の助成を受けています。

参考文献
[1]

小椋 秀樹 . コーパスに基づく現代語表記のゆれの調査―BCCWJ コアデータを資料として―, 第 1 回コーパス日本語学ワークショップ , pp.321-328,
2012[2] Kazuhide Yamamoto and Kanji Takahashi.
Construction of Japanese SemanticallyCompatible Words Resource. Proceedingsof the International Conference on AsianLanguage Processing（IALP 2015）, 2015.
[3] Kazuhide Yamamoto, Yuki Miyanishi, KanjiTakahashi, Yoshiki Inomata, Yuki Mikami
and Yuta Sudo. What We Need is Word, Not
Morpheme; Constructing Word Analyzer forJapanese. Proceedings of the International
Conference on Asian Language Processing（IALP 2015）, 2015.

YEAR BOOK 2O15 205