(57)【要約】【課題】  外部情報や頻度を用いずに、未知語を正確に抽出する。【解決手段】  適切性判定部１４は、記憶部１１内の形態素解析結果に未知語タグが含まれる場合、未知語タグが付与された単語を文節拡張部１５に送出する。文節拡張部１５は、送出された単語に区切り文字が含まれるか否かに応じて、右側及び左側の拡張文節、又は拡張文節を記憶部１１に書き込む。形態素解析部１３は、記憶部１１内の拡張文節を形態素解析し、形態素解析結果を記憶部１１に書き込む。適切性判定部１４は、拡張文節の形態素解析結果に未知語タグが含まれる場合、拡張文節の形態素解析結果と、前回の形態素解析結果のうちの未知語タグが付与された単語とが一致するか否かを判定する。一致する場合、解析結果出力部１６は、前回の形態素解析結果を出力する。【選択図】図１
2011232891.tif 000002
【特許請求の範囲】
【請求項１】
対象文と前記対象文の形態素解析結果とを記憶するための記憶手段を備え、未知語を含む対象文を形態素解析した場合に、前記未知語に付与した未知語タグを含む形態素解析結果を出力するための言語解析装置に用いられる言語解析プログラムであって、
前記言語解析装置を、
前記記憶手段内の対象文を形態素解析することにより、前記対象文を構成する各単語に品詞タグを付与した形態素解析結果を前記記憶手段に書き込む対象文解析手段、
前記書き込まれた形態素解析結果に対し、前記品詞タグのうちの未知語タグが含まれるか否かを判定し、未知語タグが含まれる場合、当該形態素解析結果を送出する未知語判定手段、
前記送出された形態素解析結果から未知語タグが付与された単語を抽出し、この単語に対し、助詞、句読点、記号、文頭又は文末に相当する区切り文字が含まれるか否かを判定する区切り文字判定手段、
この判定の結果、単語に区切り文字が含まれる場合、当該含まれる区切り文字の左に最も近い区切り文字を左区切りとし、前記含まれる区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる左側の拡張文節を作成すると共に、前記含まれる区切り文字を左区切りとし、前記含まれる区切り文字の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる右側の拡張文節を作成し、前記右側の拡張文節及び前記左側の拡張文節を前記記憶手段に書き込む第１拡張文節作成手段、
前記区切り文字判定手段による判定の結果、否の場合、当該判定に用いた単語の左に最も近い区切り文字を左区切りとし、当該単語の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる拡張文節を作成し、この拡張文節を前記記憶手段に書き込む第２拡張文節作成手段、
前記記憶手段内の拡張文節を形態素解析することにより、前記拡張文節を構成する単語に品詞タグを付与した形態素解析結果を前記記憶手段に書き込む拡張文節解析手段、
前記拡張文節解析手段により前記記憶手段に書き込まれた形態素解析結果に対し、未知語タグが含まれるか否かを判定し、未知語タグが含まれる場合、前記拡張文節の形態素解析結果と、前回の形態素解析結果のうちの未知語タグが付与された単語とが一致するか否かを判定する解析結果判定手段、
この判定の結果、否の場合、当該拡張文節の形態素解析結果を前記区切り文字判定手段に送出する区切り文字判定送出手段、
前記解析結果判定手段による判定の結果、両者が一致する場合、前回の形態素解析結果を出力する解析結果出力手段、
として機能させるための言語解析プログラム。
【請求項２】
対象文と前記対象文の形態素解析結果とを記憶するための記憶手段を備え、未知語を含む対象文を形態素解析した場合に、前記未知語を出力するための言語解析装置に用いられる言語解析プログラムであって、
前記言語解析装置を、
前記記憶手段内の対象文を形態素解析することにより、前記対象文を構成する各単語に品詞タグを付与した形態素解析結果を前記記憶手段に書き込む形態素解析手段、
前記書き込まれた形態素解析結果に対し、前記品詞タグのうちの未知語タグが含まれるか否かを判定し、未知語タグが含まれる場合、当該未知語タグが付与された単語を前記記憶手段に書き込む未知語タグ判定手段、
前記記憶手段内の未知語タグが付与された単語に対し、１文字の平仮名又は片仮名ではないという第１条件と、形態素解析結果が単一の形態素から構成され、品詞タグが未知語タグであるという第２条件とを同時に満たすか否かを判定する完全未知語判定手段、
この判定の結果、否の場合、当該未知語タグが付与された単語に対し、助詞、句読点、記号、文頭又は文末に相当する区切り文字が含まれるか否かを判定する区切り文字判定手段、
この判定の結果、単語に区切り文字が含まれる場合、当該含まれる区切り文字の左に最も近い区切り文字を左区切りとし、当該含まれる区切り文字の左に最も近い区切り文字を左区切りとし、前記含まれる区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる左側の拡張文節を作成すると共に、前記含まれる区切り文字を左区切りとし、前記含まれる区切り文字の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる右側の拡張文節を作成し、前記右側の拡張文節及び前記左側の拡張文節を前記記憶手段に書き込む第１拡張文節作成手段、
前記区切り文字判定手段による判定の結果、否の場合、当該判定に用いた単語の左に最も近い区切り文字を左区切りとし、当該単語の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる拡張文節を作成し、この拡張文節を前記記憶手段に書き込む第２拡張文節作成手段、
前記記憶手段内の拡張文節を形態素解析することにより、前記拡張文節を構成する単語に品詞タグを付与した形態素解析結果を前記記憶手段に書き込む拡張文節解析手段、
前記拡張文節解析手段により前記記憶手段に書き込まれた形態素解析結果に対し、前記未知語タグ判定手段及び前記完全未知語判定手段による判定の結果、未知語タグが付与された単語が前記第１条件及び第２条件を同時に満たす場合、前記未知語である当該単語に未登録語ラベルを付与して出力する手段、
として機能させるための言語解析プログラム。
【請求項３】
請求項２に記載の言語解析プログラムにおいて、
前記拡張文節解析手段により前記記憶手段に書き込まれた形態素解析結果に対し、前記未知語タグ判定手段及び前記完全未知語判定手段による判定の結果、未知語タグが付与された単語が前記第１条件及び第２条件を同時に満たさない場合、前記未知語である当該単語に入力ミスを示すラベルを付与して出力する手段、
として機能させるための言語解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、言語解析プログラムに関する。
【背景技術】
【０００２】
一般に、日本語の形態素解析に基づいて、辞書に未登録の単語（以下、未知語又は未登録語という）を抽出する技術としては、統計的な手法と言語知識ベースの手法がある。
【０００３】
統計的な手法は、大量のコーパスから機械学習した未知語の単語らしさや接続コストにより、未知語を抽出する技術である。言語知識ベースの手法は、辞書、制約、事例などの大規模の言語知識に基づいて、未知語の誤分割を発見し、適切な未知語を抽出する技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−９９４２６号公報
【特許文献２】特開２００６−３１２９５号公報
【特許文献３】特開平５−６７０７３号公報
【特許文献４】特開平９−１９０４４０号公報
【非特許文献】
【０００５】
【非特許文献１】池谷昌紀著、「文字列が単語になる確率を用いた未知語抽出」、情報処理学会研究報告．自然言語処理研究会報告、２０００（１１）、ｐｐ．４９−５４、２０００
【非特許文献２】村脇有吾著、「形態論的制約を用いたオンライン未知語獲得」、自然言語処理，Ｖｏｌ．１７，Ｎｏ．１，２０１０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、以上のような手法は、いずれも大規模なコーパス、辞書、言語規則などの詳細な外部情報を用いる必要があるため、正確な未知語の抽出を簡単に実現させることができない。また、頻度に基づく統計的な手法の場合、よく使われる用語（高頻度語）なら認識できるが、低頻度語を認識することが困難である。
【０００７】
本発明の実施形態は、外部情報や頻度を用いずに、正確な未知語の抽出を簡単に実現し得る言語解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態の言語解析装置は、ハードウェア資源とソフトウェアとの組合せ構成で実施される場合、言語解析装置の機能を実現させるための言語解析プログラムが予めコンピュータにインストールされて実施される。
【０００９】
実施形態の言語解析装置は、対象文と対象文の形態素解析結果とを記憶するための記憶部を備え、未知語を含む対象文を形態素解析した場合に、未知語に付与した未知語タグを含む形態素解析結果を出力するためのものである。
【００１０】
実施形態の言語解析装置は、記憶部、形態素解析部、適切性判定部、文節拡張部及び解析結果出力部を備えている。
【００１１】
実施形態の記憶部は、対象文と対象文の形態素解析結果とを記憶するためのものであり、形態素解析部、適切性判定部、文節拡張部、解析結果出力部による各種処理のワークメモリとしても機能する。
【００１２】
実施形態の形態素解析部は、記憶部内の対象文を形態素解析することにより、対象文を構成する各単語に品詞タグを付与した形態素解析結果を記憶部に書き込む。
【００１３】
実施形態の適切性判定部は、記憶部に書き込まれた形態素解析結果に対し、品詞タグのうちの未知語タグが含まれるか否かを判定し、未知語タグが含まれる場合、当該未知語タグが付与された単語を文節拡張部に送出する。
【００１４】
実施形態の文節拡張部は、送出された単語に対し、助詞、句読点、記号、文頭又は文末に相当する区切り文字が含まれるか否かを判定し、判定の結果、単語に区切り文字が含まれる場合、左側の拡張文節を作成すると共に、右側の拡張文節を作成し、右側の拡張文節及び左側の拡張文節を記憶部に書き込む。
【００１５】
実施形態によれば、左側の拡張文節は、単語に区切り文字が含まれる場合、当該含まれる区切り文字の左に最も近い区切り文字を左区切りとし、含まれる区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる。
【００１６】
実施形態によれば、右側の拡張文節は、単語に区切り文字が含まれる場合、当該含まれる区切り文字を左区切りとし、当該含まれる区切り文字の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる。
【００１７】
一方、実施形態の文節拡張部は、単語に区切り文字が含まれない場合、当該判定に用いた単語の左に最も近い区切り文字を左区切りとし、当該単語の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる拡張文節を作成し、この拡張文節を記憶部に書き込む。
【００１８】
実施形態の形態素解析部は、記憶部内の拡張文節を形態素解析することにより、拡張文節を構成する単語に品詞タグを付与した形態素解析結果を記憶部に書き込む。
【００１９】
実施形態の適切性判定部は、拡張文節の形態素解析結果に対し、未知語タグが含まれるか否かを判定し、未知語タグが含まれる場合、拡張文節の形態素解析結果と、前回の形態素解析結果のうちの未知語タグが付与された単語とが一致するか否かを判定する。
【００２０】
実施形態の適切性判定部は、この判定の結果、否の場合、当該拡張文節の形態素解析結果における未知語タグが付与された単語を文節拡張部に送出する。
【００２１】
一方、実施形態の解析結果出力部は、適切性判定部による判定の結果、拡張文節の形態素解析結果と、前回の形態素解析結果のうちの未知語タグが付与された単語とが一致する場合、前回の形態素解析結果を出力する。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る言語解析装置の構成例を示すブロック図である。
【図２】同実施形態における拡張文節生成規則を示す模式図である。
【図３】同実施形態における動作の一例を説明するためのフローチャートである。
【図４】同実施形態におけるデータの遷移例を説明するための模式図である。
【図５】同実施形態における文節拡張部の動作の一例を説明するためのフローチャートである。
【図６】同実施形態におけるデータの遷移例を説明するための模式図である。
【図７】第２の実施形態に係る言語解析装置の構成例を示すブロック図である。
【図８】同実施形態における動作の一例を説明するためのフローチャートである。
【図９】同実施形態におけるデータの遷移例を説明するための模式図である。
【図１０】同実施形態におけるデータの遷移例を説明するための模式図である。
【図１１】同実施形態におけるデータの遷移例を説明するための模式図である。
【図１２】一般的な解析ミスのバリエーションを説明するための模式図である。
【発明を実施するための形態】
【００２３】
以下、各実施形態について図面を用いて説明する。なお、各実施形態の言語解析装置は、ハードウェア構成、又はハードウェア資源とソフトウェアとの組合せ構成のいずれでも実施可能となっている。組合せ構成のソフトウェアとしては、予めネットワーク又は記憶媒体から言語解析装置となるコンピュータにインストールされ、言語解析装置の機能を実現させるための言語解析プログラムが用いられる。これは各実施形態に共通している。
【００２４】
（第１の実施形態）
図１は第１の実施形態に係る言語解析装置の構成例を示すブロック図である。この言語解析装置は、未知語を含む対象文を形態素解析した場合に、未知語に付与した未知語タグを含む形態素解析結果を出力するためのものである。
【００２５】
言語解析装置は、具体的には、記憶部１１、入力部１２、形態素解析部１３、適切性判定部１４、文節拡張部１５及び解析結果出力部１６を備え、各部１１〜１６がバス１７を介して相互に接続されている。
【００２６】
記憶部１１は、例えばハードディスクドライブや不揮発性メモリ装置などのハードウェアで構成された記憶媒体であり、解析対象とする文データ（以下、対象文という）と対象文の形態素解析結果とを記憶するためのものである。また、記憶部１１は、形態素解析部１３、適切性判定部１４、文節拡張部１５、解析結果出力部１６による実行対象の制御用プログラムを記憶する。さらに、記憶部１１は、形態素解析用の解析辞書、適切性判定の判定規則、拡張文節の作成規則を格納する。また、記憶部１１は、形態素解析部１３、適切性判定部１４、文節拡張部１５、解析結果出力部１６による各種処理のワークメモリとしても機能する。  
入力部１２は、外部から対象文を入力して記憶部１１に書き込むための入力インタフェースであり、例えば、図示しないネットワークから対象文を受信して記憶部１１に書込可能な受信装置、図示しないコンピュータ読み取り可能な記憶媒体を着脱自在に保持して当該記憶媒体から対象文を読み出して記憶部１１に書き込むための記憶媒体保持装置、ユーザ操作に応じて対象文を入力して記憶部１１に書き込むためのキーボード等の入力装置などが適宜使用可能となっている。なお、言語解析装置としては、記憶部１１内に対象文が記憶されていれば形態素解析を実行できるので、記憶部１１に書き込む方法については任意の手法が使用可能となっている。
【００２７】
形態素解析部１３は、記憶部１１内の対象文を形態素解析することにより、対象文を構成する各単語に品詞タグを付与した形態素解析結果を記憶部１１に書き込む対象文解析機能と、記憶部１１内の拡張文節を形態素解析することにより、拡張文節を構成する単語に品詞タグを付与した形態素解析結果を記憶部１１に書き込む拡張文節解析機能とをもっている。具体的には、形態素解析部１３は、記憶部１１内の対象文に対して、記憶部１１に記憶される形態素解析用辞書を参照しながら、単語分割、品詞タグ付与を行い、解析結果を記憶部１１に記憶する。なお、単語分割は形態素分割と呼んでもよい。また、「単語に品詞タグを付与した」は、「単語に品詞タグを関連付けた」と読み替えてもよい。品詞タグは、品詞タグ情報と呼んでもよい。また、各実施形態では、形態素の解析方式、解析辞書の形式、及び解析結果の形式は限定しない。
【００２８】
適切性判定部１４は、形態素解析部１３で解析された結果に対して、記憶部１１に記憶された適切性判定の判定規則に基づいて、解析失敗の有無（例えば、未知語の有無）を確認し、解析結果の適切性を判定する。判定結果は、記憶部１１に記憶する。なお、「適切性判定」は「未知語の有無の判定」と読み替えてもよく、「未知語の有無」は「未知語タグが含まれるか否か」と読み替えてもよい。また、本実施形態では、適切性判定部１４は、以下の機能(f14-1)〜(f14-3)をもっている。
【００２９】
(f14-1)  対象文解析機能により記憶部１１に書き込まれた形態素解析結果に対し、品詞タグのうちの未知語タグが含まれるか否かを判定し、未知語タグが含まれる場合、当該形態素解析結果を文節拡張部１５に送出する未知語判定機能。なお、未知語タグは、未知語タグ情報、未知語ラベル、又は未知語ラベル情報、などと読み替えてもよい。
【００３０】
(f14-2)  拡張文節解析機能により記憶部１１に書き込まれた形態素解析結果に対し、未知語タグが含まれるか否かを判定し、未知語タグが含まれる場合、拡張文節の形態素解析結果と、前回の形態素解析結果のうちの未知語タグが付与された単語とが一致するか否かを判定する解析結果判定機能。なお、「未知語タグが付与された単語」は、「未知語タグに関連付けられた単語」と読み替えてもよい。
【００３１】
(f14-3)  解析結果判定機能による判定の結果、否の場合、当該拡張文節の形態素解析結果を文節拡張部１５の区切り文字判定機能に送出する区切り文字判定送出機能。
【００３２】
文節拡張部１５は、適切性判定部１４で、不適切と判定された解析結果に対して、解析失敗箇所の抽出、解析失敗箇所を含む拡張文節の切り出しを行い、抽出結果は、記憶部１１に記憶する。解析失敗箇所は、単語分割で行き詰りの文字列、或いは、解析辞書で見つからなく、品詞タグが付与されない文字列を意味するが、通常の場合、未知語と指すことができる。拡張文節とは、解析失敗箇所を含み、図２に示す如き、記憶部１１に記憶する拡張規則で定義された区切り文字によって区切られた最小単位の文字列である。拡張規則は、記憶部１１に記憶する場合に限らず、予め文節拡張部１５の機能を実現させるためのプログラムの一部として記述されていてもよい。なお、本実施形態では、文節拡張部１５は、以下の各機能(f15-1)〜(f15-3)をもっている。
【００３３】
(f15-1)  適切性判定部１４から送出された形態素解析結果から未知語タグが付与された単語を抽出し、この単語に対し、助詞、句読点、記号、文頭又は文末に相当する区切り文字が含まれるか否かを判定する区切り文字判定機能。なお、区切り文字の範囲は、助詞、句読点、記号、文頭及び文末に限らず、例えば、接続詞又は数字などのように、文章の区切りに用いられる文字であれば、任意の文字が使用可能となっている。
【００３４】
(f15-2)  この区切り文字判定機能による判定の結果、単語に区切り文字が含まれる場合、左側の拡張文節を作成すると共に、右側の拡張文節を作成し、右側の拡張文節及び左側の拡張文節を記憶部１１に書き込む第１拡張文節作成機能。
【００３５】
ここで、左側の拡張文節は、単語に区切り文字が含まれる場合、当該含まれる区切り文字の左に最も近い区切り文字を左区切りとし、含まれる区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる。
【００３６】
右側の拡張文節は、単語に区切り文字が含まれる場合、当該含まれる区切り文字を左区切りとし、当該含まれる区切り文字の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる。
【００３７】
(f15-3)  区切り文字判定機能による判定の結果、否の場合、当該判定に用いた単語の左に最も近い区切り文字を左区切りとし、当該単語の右に最も近い区切り文字を右区切りとして当該左区切りから当該右区切りまでの文字列からなる拡張文節を作成し、この拡張文節を記憶部１１に書き込む第２拡張文節作成機能。
【００３８】
解析結果出力部１６は、適切性判定部１４で適切と判定された文の形態素解析結果を出力する。例えば、解析結果出力部１６は、適切性判定部１４の解析結果判定機能による判定の結果、（拡張文節の形態素解析結果と、前回の形態素解析結果のうちの未知語タグが付与された単語との）両者が一致する場合、前回の形態素解析結果を出力する解析結果出力機能をもっている。
【００３９】
次に、以上のように構成された言語解析装置の動作について図３のフローチャートを用いて説明する。
【００４０】
言語解析装置においては、ユーザによる入力部１２の操作により、対象文を入力して記憶部１１に書き込む（Ｓ１１）。対象文は、ユーザがキーボード等から直接入力した文でも良いし、既存のファイルから読み込んだ文集合（文書）でも良い。文集合の場合、文単位で対象文を切り出す処理が必要である。
【００４１】
次に、形態素解析部１３は、記憶部１１内の対象文に対して、単語分割、品詞タグ付与からなる形態素解析を行い、形態素解析結果を記憶部１１に書き込む（Ｓ１２）。本実施形態では、図４等に示すように、単語分割の結果を「／」で示し、品詞タグを「＜」「＞」で示している。なお、品詞タグのうち、未知語を表す未知語タグは＜未＞として示される。また、品詞タグは品詞ラベルと呼んでもよく、未知語タグは未知語ラベルと呼んでもよい。
【００４２】
次に、適切性判定部１４は、記憶部１１内の形態素解析結果に対し、記憶部１１に記憶された判定規則に基づいて、解析結果が適切か否かを判定する。例えば、判定規則が「形態素解析結果に未知語タグが含まれない場合には適切と判定し、未知語タグが含まれる場合には不適切と判定する。」との旨で設定された場合、適切性判定部１４は、図４に示すように、未知語タグ“＜未＞”が含まれない例１１の形態素解析結果を適切と判定し、未知語タグ“＜未＞”が含まれる例１２の形態素解析結果を不適切と判定する。
【００４３】
適切と判定した場合、適切性判定部１４は、形態素解析結果を解析結果出力部１６に送出する。不適切と判定した場合、適切性判定部１４は、形態素解析結果を文節拡張部１５に送出する（Ｓ１３）。
【００４４】
なお、前述した判定規則は只１つの例である。判定規則は、未知語又は未登録語の有無を判定する内容であれば、「未知語」以外の表記及び数値で設定してもよい。
【００４５】
文節拡張部１５は、送出された形態素解析結果に対し、図５に示すように、解析失敗箇所を抽出し、図２に示した如き、記憶部１１内の作成規則を参照しながら以下のステップＳ１４−２〜Ｓ１４−５を実行する。
【００４６】
すなわち、文節拡張部１５は、拡張文節を作成するとき、解析失敗箇所に区切り文字が含まれるか否かを判定する（Ｓ１４−２）。
【００４７】
判定の結果、区切り文字を含む場合、その文字を区切りとして、両側の拡張文節をそれぞれ切り出して、２つの拡張文節の区切りを確定する（Ｓ１４−３）。
【００４８】
例えば、図６に示す例１３の場合、解析失敗箇所「一面しか」が区切り文字の助詞「しか」を含むので、当該含まれる区切り文字「しか」の左に最も近い区切り文字「文頭」を左区切りとし、当該含まれる区切り文字「しか」を右区切りとする（左側の拡張文節）。また、当該含まれる区切り文字「しか」を左区切りとし、当該含まれる区切り文字「しか」の右に最も近い区切り文字の助詞「が」を右区切りとする（右側の拡張文節）。
【００４９】
一方、判定の結果、区切り文字を含まない場合、解析失敗箇所の両側に最も近い区切り文字より、解析失敗箇所を含む文字列を丸ごとで切り出して、拡張文節の区切りを確定する（Ｓ１４−４）。
【００５０】
例えば、図６に示す例１２の場合、解析失敗箇所「え」が助詞、句読点、記号、文頭、文末のいずれの区切り文字も含まないので、当該判定に用いた単語「え」の左に最も近い区切り文字の助詞「の」を左区切りとし、当該単語「え」の右に最も近い区切り文字「を」を右区切りとする。
【００５１】
文節拡張部１５は、ステップＳ１４−３又はＳ１４−４により確定した区切り間の文字列からなる拡張文節を作成し（Ｓ１５）、この拡張文節を記憶部１１に書き込む。例えば、図６に示す例１３の場合、左区切り「文頭」から右区切り「しか」までの文字列「１面」からなる左側の拡張文節を作成すると共に、左区切り「しか」から右区切り「が」までの文字列「編種別データ」からなる右側の拡張文節を作成する。また、図６に示す例１２の場合、左区切り「の」から右区切り「を」までの文字列「色変え」からなる拡張文節を作成する。
【００５２】
次に、形態素解析部１３は、記憶部１１内の拡張文節に対し、再度、単語分割、品詞タグ付与からなる形態素解析を行い、形態素解析結果を記憶部１１に書き込む。
【００５３】
適切性判定部１４は、記憶部１１に書き込まれた拡張文節の形態素解析結果に対し、判定規則に基づき、形態素解析結果が適切か否かを判定する。
【００５４】
例えば、判定規則が「拡張文節の形態素解析結果に未知語がない場合、適切と判定する。また、未知語があっても、拡張文節の形態素解析結果が前回の形態素解析結果と一致する場合、適切と判定する。未知語があり、かつ、前回の形態素解析結果と不一致の場合、不適切と判定する。」と設定されているとする。
【００５５】
この設定の場合、適切性判定部１４は、図４に示す例１２の拡張文節に対して適切と判定し、拡張文節の形態素解析結果と前回の形態素解析結果を解析結果出力部１６に送出する。一方、不適切と判定した場合、適切性判定部１４は、形態素解析結果を文節拡張部１５に送出する。この場合、言語解析装置は、前述したステップＳ１４からステップＳ１２を介してステップＳ１３に至る処理を繰り返し実行する。
【００５６】
最後に、解析結果出力部１６は、適切性判定部１４により適切と判定された形態素解析結果に対し、拡張文節の形態素解析結果と前回の形態素解析結果を比較する。拡張文節が作成されない場合、又は、拡張文節の形態素解析結果と前回の形態解析結果が一致する場合、そのまま形態素解析結果を出力する。
【００５７】
また、拡張文節の形態素解析結果と前回の形態素解析結果が一致しない場合、解析結果出力部１６は、前回の形態素解析結果に、拡張文節の形態素解析結果を置き換えてから出力する（Ｓ１５）。
【００５８】
上述したように本実施形態によれば、未知語を含む形態素解析結果に対して、未知語の文節拡張を実行して再帰的に形態素解析結果を適切化することにより、未知語の抽出精度の高い形態素解析結果を得ることができる。
【００５９】
（第２の実施形態）
図７は第２の実施形態に係る言語解析装置の構成例を示すブロック図であり、図１とほぼ同一の機能部には同一符号を付してその詳しい説明を省略し、ここでは異なる部分について主に述べる。
【００６０】
すなわち、本実施形態の言語解析装置２０は、図１に示した構成に比べ、破線により囲んで示すように、適切性判定部１４に代えて未知語抽出部２１及び完全未知語判定部２２を備え、解析結果出力部１６に代えて未登録語出力部２３を備えている。また、これら各部２１〜２３の変更に伴い、言語解析装置は、未知語を含む対象文を形態素解析した場合に、前記未知語を出力するための装置となっている。同様に、各部２１〜２３の変更に伴い、記憶部１１では記憶されるプログラム及びデータが変更されている。例えば、記憶部１１は、形態素解析部１３、文節拡張部１５、未知語抽出部２１、完全未知語判定部２２及び未登録語出力部２３による実行対象の制御用プログラムを記憶する。さらに、記憶部１１は、形態素解析用の解析辞書、完全未知語判定条件、拡張文節の作成規則を格納する。また、記憶部１１は、形態素解析部１３、文節拡張部１５、未知語抽出部２１、完全未知語判定部２２及び未登録語出力部２３による各種処理のワークメモリとしても機能する。また、各部２１〜２３の変更に伴い、文節拡張部１５ではデータの入出力先などが変更されている。
【００６１】
ここで、未知語抽出部２１は、形態素解析部１３により記憶部１１に書き込まれた形態素解析結果に対し、未知語タグが含まれるか否かを判定し、未知語タグがある場合、当該未知語タグが付された単語を（形態素解析結果から抽出して）記憶部１１に書き込む未知語タグ判定機能をもっている。
【００６２】
完全未知語判定部２２は、記憶部１１内の未知語タグが付された単語（＝判定対象となる形態素解析結果）に対し、完全未知語判定条件を満たすか否かを判定する機能をもっている。
【００６３】
ここで、完全未知語判定条件は、以下の第１条件［１］及び第２条件［２］を同時に満たすという条件である。すなわち、完全未知語判定部２２による判定は、以下の第１条件［１］及び第２条件［２］を同時に満たすか否かを判定することを意味している。
【００６４】
完全未知語判定条件［１］：１文字の平仮名や片仮名ではない。
【００６５】
完全未知語判定条件［２］：形態素解析結果が単一の形態素から構成され、その品詞が未知語である。
【００６６】
この完全未知語判定条件に沿って、例えば、評価対象が「全検＜未＞」の場合、完全未知語と判定される。完全未知語とは、完全未知語判定条件を全て満たす語である。「＜未＞」は、未知語タグである。また、評価対象が「え＜未＞」、「ア＜未＞」「合計＜名＞」、「→＜記号＞特速＜未＞」の場合、完全未知語ではないと判定される。
【００６７】
なお、完全未知語判定部２２を備えたことに伴い、文節拡張部１５の区切り文字判定機能(f15-1)は、完全未知語判定手段による判定の結果、否の場合、当該未知語タグが付与された単語に対し、助詞、句読点、記号、文頭又は文末に相当する区切り文字が含まれるか否かを判定する機能となっている。文節拡張部１５の第１拡張文節作成機能(f15-2)及び第２拡張文節作成機能(f15-3)は、前述した通りである。
【００６８】
未登録語出力部２３は、完全未知語判定部２２から送られた形態素を未登録語として出力する。また、判定のタイミングと種類によって、未登録語の種類を分け、それぞれ異なるラベルを付与する。具体的には、未登録語出力部２３は、以下の機能(f23-1)〜(f23-2)をもっている。
【００６９】
(f23-1)  形態素解析部１３の拡張文節解析機能(f13-2)により記憶部１１に書き込まれた形態素解析結果に対し、未知語抽出部２１及び完全未知語判定部２２による判定の結果、未知語タグが付与された単語が第１条件［１］及び第２条件［２］を同時に満たす場合、未知語である当該単語に未登録語ラベルを付与して出力する機能。なお、「…ラベルを付与して」は「…ラベル情報に関連付けて」と読み替えてもよい。これは未登録語ラベルに限らず、他のラベルについても同様である。
【００７０】
(f23-2)  形態素解析部１３の拡張文節解析機能(f13-2)により記憶部１１に書き込まれた形態素解析結果に対し、未知語抽出部２１及び完全未知語判定部２２による判定の結果、未知語タグが付与された単語が第１条件［１］及び第２条件［２］を同時に満たさない場合、未知語である当該単語に入力ミスを示すラベルを付与して出力する機能。
【００７１】
次に、以上のように構成された言語解析装置の動作について図８のフローチャートを用いて説明する。
【００７２】
始めに、ステップＳ２１及びＳ２２は、前述したステップＳ１１及びＳ１２と同様に実行される。これにより、対象文が入力されて記憶部１１に書き込まれた後、対象文の形態素解析結果が記憶部１１に書き込まれる。
【００７３】
ここで、未知語抽出部２１は、記憶部１１内の形態素解析結果に対し、未知語タグが含まれるか否かを判定することにより、品詞が未知語である形態素があるか否かを判断する。未知語タグが含まれず、未知語が存在しない場合、対象文の形態素解析結果に対する処理が終わり、言語解析装置は、何も出力しないまま、次の対象文の入力に移行する（図９に示す例２１）。未知語タグがあり、未知語が存在する場合、未知語抽出部２１は、当該未知語タグが付された単語を記憶部１１に書き込むと共に、形態素解析部１３に送出する（Ｓ２３）。例えば、図９に示す例２２の場合、未知語タグ“＜未＞”が付された単語「変臨」を記憶部１１に書き込む。
【００７４】
次に、形態素解析部１３は、送出された未知語を形態素解析し、形態素解析結果を記憶部１１に書き込むと共に、完全未知語判定部２２に送出する（Ｓ２４）。
【００７５】
完全未知語判定部２２は、送出された未知語のみの形態素解析結果に対して、完全未知語か否かを判定するため、完全未知語判定条件を満たすか否かを判定し、完全未知語の場合（図９に示す例２２）には、該当未知語を未登録語出力部２３に送出する。
【００７６】
一方、判定の結果、完全未知語ではない場合には、完全未知語判定部２２は、該当未知語を文節拡張部１５に送出する（Ｓ２５）。例えば、図１０に示す例２３及び例２４、並びに図１１に示す例２５の場合、完全未知語ではない未知語は、それぞれ「分」及び「１面しか」並びに「されたた」となっている。
【００７７】
文節拡張部１５は、送出された未知語、及び記憶部１１内の対象文の形態素解析結果に基づいて、拡張文節を作成する。拡張文節の作成方法は、前述したステップＳ１４と同じである。
【００７８】
例えば、図１０に示す例２３の場合、解析失敗箇所「分」が助詞、句読点、記号、文頭、文末のいずれの区切り文字も含まないので、当該判定に用いた単語「分」の左に最も近い区切り文字の助詞「文頭」を左区切りとし、当該単語「分」の右に最も近い区切り文字「を」を右区切りとし、左区切り「文頭」から右区切り「を」までの文字列「遅い時分」からなる拡張文節を作成する。
【００７９】
図１０に示す例２４の場合、前述した例１３と同様に、左側の拡張文節「１面」を作成すると共に、右側の拡張文節「編種別データ」を作成する。
【００８０】
図１１に示す例２５の場合、解析失敗箇所「されたた」が助詞、句読点、記号、文頭、文末のいずれの区切り文字も含まないので、当該判定に用いた単語「されたた」の左に最も近い区切り文字の助詞「が」を左区切りとし、当該単語「されたた」の右に最も近い区切り文字「が」を右区切りとし、左区切り「が」から右区切り「が」までの文字列「保存されたた各ダイヤ」からなる拡張文節を作成する。
【００８１】
いずれにしても、文節拡張部１５は、作成した拡張文節を記憶部１１に書き込むと共に、形態素解析部１３に送る。（Ｓ２６）
形態素解析部１３は、送出された拡張文節を形態素解析し、得られた形態素解析結果を記憶部１１に書き込むと共に、未知語抽出部２１に送出する（Ｓ２７）。
【００８２】
未知語抽出部２１は、送出された拡張文節の形態素解析結果に対して、未知語タグが含まれるか否かを判定することにより、品詞が未知語である形態素があるか否かを判断する。未知語タグが含まれず、未知語が存在しない場合、言語解析装置は、入力された対象文文に対する処理が終わり、何も出力せず、次の対象文の入力に移行する（図１０に示す例２３）。未知語タグがあり、未知語が存在する場合、未知語抽出部１３は、該当未知語を記憶部１１に書き込むと共に、形態素解析部１３に送出する（図９に示す例２３、図１０に示す例２４）（Ｓ２８）。例えば、図１０に示す例２４及び図１１に示す例２５の場合、未知語は、それぞれ「編種」及び「されたた」となっている。
【００８３】
形態素解析部１３は、送出された未知語を形態素解析し、得られた形態素解析結果を記憶部１１に書き込むと共に、完全未知語判定部２２に送出する（Ｓ２９）。
【００８４】
完全未知語判定部２２は、送出された未知語のみの形態素解析結果に対して、完全未知語か否かを判定するため、完全未知語判定条件を満たすか否かを判定し、完全未知語の場合（図１０に示す例２４の「編種」）には、該当未知語に「未登録語」を示すラベルを付与して未登録語出力部２３に送出する。なお、例２４に示すように、未登録語を示すラベルとして、拡張未知語を示すラベルを用いてもよい。
【００８５】
一方、判定の結果、完全未知語判定条件を満たさず、完全未知語ではない場合（図１１に示す例２５の「されたた」）には、完全未知語判定部２２は、該当未知語に「入力ミス」を示すラベルを付与して未登録語出力部２３に送出する（Ｓ３０）。
【００８６】
未登録語出力部２３は、完全未知語判定部２２から送出された未知語を未登録語として出力する（Ｓ３１）。
【００８７】
例えば、完全未知語判定部２２は、「未登録語」と判定した未知語と、「入力ミス」と判定した未知語とに対し、互いに異なるラベルを付与すれば、ステップＳ３１では、未登録語と入力ミスを別々に出力することができる。
【００８８】
上述したように本実施形態によれば、第１の実施形態と同様に、未知語を含む形態素解析結果に対して、未知語の文節拡張を実行して再帰的に形態素解析を実行することにより、未知語の解析ミスを低減しつつ、未登録語を抽出することができる。
【００８９】
また、本実施形態によれば、完全未知語判定条件を用いた判定により、完全未知語を判定するので、第１の実施形態に比べ、未知語の抽出精度を向上させることができる。
【００９０】
さらに、本実施形態によれば、完全未知語の判定に伴い、入力ミスによって発生した未知語と、未登録語によって発生した未知語とを区別して出力する場合には、入力ミスを発見することができる。
【００９１】
また、以上のような各実施形態によれば、辞書やコーパスなどの大規模な外部情報や頻度を用いずに、正確な未知語の抽出を簡単に実現することができる。さらに、適切化した形態素解析結果を元の形態素解析結果に取り込むことにより、形態素解析の精度を向上させることができる。
【００９２】
ここで、各実施形態が低減させる解析ミスについて補足的に説明する。  
一般に、言語解析の分野では、解析精度の向上を図る観点から、形態素解析に基づく未登録語を辞書に追加登録している。多くの場合、未登録語には、専門性が高い用語、新語、又は利用者が独自に定義した用語が含まれる。このため、未登録語を追加登録することは専門知識を抽出する場合にも有用である。
【００９３】
未登録語は通常、形態素解析で「未知語」の形で出力される。このため、未知語を未登録語として抽出する方法が簡便である。但し、形態素解析結果には、文のどこかに解析失敗や行き詰りを生じた解析ミスにより、未登録語以外の未知語が含まれる場合がある。解析ミスによる未知語は未登録語ではないため、未登録語の抽出精度を低下させる。
【００９４】
従って、未登録語の抽出精度を向上させるため、形態素解析結果から解析ミスによる未知語を低減させる必要がある。解析ミスのバリエーションは、図１２に示すように、過剰判定、位置ズレ、過剰結合及び過剰分割の４タイプに定義されている。
【００９５】
なお、４番目の過剰分割による解析ミスは従来の手法で低減できるが、過剰判定、位置ズレ及び過剰結合による解析ミスは、従来の手法で低減できない。また、検証実験の結果、解析ミスのうち、約２割が過剰分割であり、残り８割が過剰判定、位置ズレ及び過剰結合であることが知られている。各実施形態の手法によれば、残り８割の過剰判定、位置ズレ及び過剰結合による解析ミスを低減させることができる。
【００９６】
なお、上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【００９７】
また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
【００９８】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。
【００９９】
さらに、上記実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【０１００】
また、記憶媒体は１つに限らず、複数の媒体から上記実施形態における処理が実行される場合も実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
【０１０１】
なお、上記実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
【０１０２】
また、上記実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって上記実施形態の機能を実現することが可能な機器、装置を総称している。
【０１０３】
なお、上記実施形態はそのままの形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の変形例を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。
【符号の説明】
【０１０４】
１１…記憶部、１２…入力部、１３…形態素解析部、１４…適切性判定部、１５…文節拡張部、１６…解析結果出力部、１７，２８…バス、２１…未知語抽出部、２２…完全未知語判定部、２３…未登録語出力部。
【図１】
2011232891.tif 000003
【図２】
2011232891.tif 000004
【図３】
2011232891.tif 000005
【図４】
2011232891.tif 000006
【図５】
2011232891.tif 000007
【図６】
2011232891.tif 000008
【図７】
2011232891.tif 000009
【図８】
2011232891.tif 000010
【図９】
2011232891.tif 000011
【図１０】
2011232891.tif 000012
【図１１】
2011232891.tif 000013
【図１２】
2011232891.tif 000014