コンピュータと人間の言語特集

特集

コンピュータと人間の言語

自然言語処理の基礎技術「形態素解析」とは？

が出てしまったり、係り受け解析や構文解析が正しく分かち書きされないので、1単語が明確ではないのです。

できなかったりして、言語研究に使えません。

日本語の形態素解析をどのように行うのですか？

それをさまざまな観点から分析します。
多種多様なことばを大量に蓄積し、複雑な分析を行うには、コンピュータが不可欠です。しかし、

国立国語研究所 研究系 教授

ら「東京都」「、カレー」と検索したら「エスカレーター」

しかし正しく区切っておかないと、「京都」と検索した

ことばの研究では、たくさんのことばを集め、小木曽智信

英語では、単語がスペースで区切られ分かち書きされるので、「これが1単語だ」と分かります。日本語は「形態素解析器」と呼ばれるコンピュータプログラム

態素解析器は、形態素解析用の辞書と組み合わせて使を使います。文を入力すると、単語に分けて、さらにいます。形態素解析器も解析用の辞書も、さまざまな品詞や活用形などを判別した結果が出力されます。形ものが開発されています。

国 語研でも形態素解析用の辞書などを開発しているのでしょうか？

ことばをコンピュータで扱うのはとても難しく、さまざまな技術が必要になります。その中でもけいたい そ基礎となる技術である「形態素解析」について、小木曽智信教授に聞きました。

国語研では 2000 年ごろから、1 億語からなる「現代日究に適した形で行えるように、新しい辞書を国語研が本語書き言葉均衡コーパス（BCCWJ）」の構築に向け中心となって開発しました。それが UniDic です。

ユニディック

めかぶた準備を始めました。コーパスとは、ことばを大量かUniDic は、MeCab という形態素解析器で利用できるつ体系的に収集し、研究用の情報を付与してさまざまようになっています。MeCab は、工藤拓氏によって開な検索ができるようにした、ことばのデータベースで発されたソフトウェアで、高速かつ高精度であることす。BCCWJ のために、形態素解析を精度よく言語研から、現在最もよく利用されている形態素解析器です。

UniDic には、どのような特長があるのでしょうか？

小 木曽さんは、どのような研究をされているのですか？
専門は日本語学と自然言語処理です。
自然言語処理とは？
自然言語処理とは、私たちが普段使っていることばを言語を自然言語と呼びます。日本語の自然言語処理にコンピュータで扱うための技術のことです。コンピューはさまざまな技術が用いられますが、中でも基礎となタで用いるプログラミング言語に対して、人が用いるる技術が「形態素解析」です。

以前からあった形態素解析用の辞書には、いくつか問

UniDic の特長の一つは、単語の区切り方を、国語研題がありました。その一つが、単語の区切り方です。
「国で決めた「短単位」というルールで統一していること立国語研究所」の例で示したように、1 単語を長く区です。短単位は、区切りの基準が分かりやすく、揺れ切ることも、短く区切ることもできます。それまでのが少なくなります。そのため、これを基盤としてさま形態素解析用の辞書では、単語の区切り方が統一されざまな研究を行うことができるのです。ていなかったため、統計的な分析が正確にできませんでした。

UniDic のもう一つの特長は、見出しが階層化されていることです。

形態素解析とは、どういう技術ですか？
形態素解析とは、文を単語に区切り、品詞や読みなどテキストに単語がいくつあって、どんな単語がどれだの情報を付ける技術をいいます。言語を研究するとき、け一緒に使われているかを知る必要があります。それ

文・単語・文字・音韻など、さまざまな単位で分析しらが分かって初めて、動詞 A を全体の中に位置付けて、ますが、それらの中で基本になる単位が、単語です。

統計的な分析ができるのです。

例えば、あるテキストの中の動詞 A について、これ従って形態素解析は、言語研究において最初に必要がどのような言葉か調べたいとしましょう。そのためな基礎的な技術です。しかし日本語は、単語に区切るには、動詞 A が出てくる回数だけでなく、対象とするということが、とても難しいのです。

語に分けられるでしょうか？

私 は 国立国語研究所に 勤め て

UniDic では見出しを、語彙素、語形、書字形、発音形
語彙素

語形

書字形

ヤハリ【矢張り】ヤハリ

矢張り
やはり矢張

ヤッパリ

具体的にはどういう難しさがあるのでしょうか？
「私は国立国語研究所に勤めています」という文は、何見出しが階層化されているとは？

い ます

このように区切ると、8 語です。
でも、
「国立国語研究所」と長いものを 1 単語として階層的見出しの例（発音形は省略）

やっぱり
ヤッパリ

ヤッパシ

やっぱし

ヤッパ

やっぱと 4 つのレベルの階層構造にしています。皆さんが使う辞書の見出しに相当するのが、語彙素です。
「ヤハリ」という単語は、「ヤッパリ」「ヤッパシ」「ヤッパ」と語形が揺れたり、「矢張り」「やはり」「矢張」と書字形が揺れたりします。以前の辞書は、複数ある語形、書字形を別々に扱っていました。これではそれぞれ別の見出しになるので、一括した検索や集計ができません。
UniDic では語形や書字形の揺れにかかわらず、同一の見出しとしてまとめられているので、目的に応じて利用することが可能です。

よいのか？と思う人もいるでしょう。
国立国語研究所

国立国語研究所

国立国語研究と区切ることもできます。

UniDic を使って形態素解析を行うには、専門知識が必要ですか？

所

MeCab も UniDic も公開されているので、パソコンにイ

そこで、もっと簡単に使えるように開発したのが、ンストールすれば誰でも形態素解析ができます。しか「Web 茶まめ」です。Web 茶まめは、インストールがし、黒い画面にコマンドを打って操作するので、慣れ不要でオンラインで使え、専門知識がなくても形態素ていない人にはハードルが高いかもしれません。

解析ができます。

W eb 茶まめの使い方を教えてください。
正岡子規の俳句「柿くへば鐘が鳴るなり法隆寺」を形態素解析してみましょう。

Web 茶まめの使い方①「Web茶まめ」のサイトにアクセス
https://chamame.ninjal.ac.jp/②解 析したいテキストを入力
テキストファイルをアップロードして解析することもできます。

柿 くへ ば 鐘 が 鳴 る なり法 隆 寺③使
 用する辞書を選択
この例では「近代文語」を選択します。
④出 力したい項目を選択

一般的な項目が初期設定されています。

⑤出
 力形式を選択⑥「解析する」ボタンをクリック⑦解 析結果

おすすめの解析を教えてください。
和語・漢語・外来語・固有名詞という語種の割合に注です。

目すると、そのテキストの特徴が見えてきて面白いで文部省唱歌の『浦島太郎』、芥川龍之介『トロッコ』

すよ。語種を自動で判別できることも、UniDic の特長の冒頭部分、日本国憲法 前文を、それぞれ Web 茶まめで形態素解析を行い、語種の割合を比べると、左のようになりました。解析結果は Excel 形式で出力でき語種の割合の比較るので、グラフもつくれます。

浦島太郎
和語
漢語

外来語
混種語

固有名詞

好きなアーティストの曲の歌詞や、好きな作家の作品について、Web 茶まめで形態素解析を行ってみては、トロッコいかがでしょうか。ほかのアーティストや作家のテキ

日本国憲法0102030405060708090100%

ストと比べることで、気付いていなかった特徴が見えてくるかもしれません。

UniDic や形態素解析について、課題や今後の計画はありますか？
Web 茶まめの「辞書選択」でお気付きかもしれません

書き言葉、現代話し言葉の辞書についても、新しい見が、UniDic は 1 種類ではありません。日本語といって出しの追加などメンテナンスが欠かせません。

も時代・地域によって違うので、それぞれの時代・地

UniDic は、日本語研究だけでなく、文学などほかの域に合わせた形態素解析用の辞書が必要です。古文用分野や産業界でも広く使っていただいています。とてを少しずつ開発してきて、現在 UniDic は 13 種類あり、もうれしいですね。

奈良時代から現代の文章まで解析できるようになって形態素解析という技術は、日本語をコンピュータでいます。関西方言用も間もなく公開できる予定です。

処理し、分析するときに基礎となる技術なので、これ固有名詞ほかの方言用の辞書の開発にも着手しています。現代からも重要な役割を果たしていくことでしょう。

70%

浦島太郎