(57)【要約】【課題】形態素コスト、品詞連接コストの設定なしに、未知語を判定できる未知語判定システム、方法及びプログラムを提供すること。【解決手段】本発明は、日本語文書を文字種により文字列に分割する文字種分割手段と、前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する未知語判定手段とを有する未知語判定システムである。【選択図】図１
2009176148.tif 000002
【特許請求の範囲】
【請求項１】
日本語文書を文字種により文字列に分割する文字種分割手段と、
前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する未知語判定手段と
を有する未知語判定システム。
【請求項２】
前記文字種分割手段は、特定の文字種の変化または文字では分割しない
請求項１に記載の未知語判定システム。
【請求項３】
前記文字種分割手段で分割されたひらがなの文字列に対して、付属語又は語の活用形に基づいて、分割位置を修正する分割位置修正手段を有する
請求項１又は請求項２に記載の未知語判定システム。
【請求項４】
前記分割位置修正手段は、ひらがな文字列に対して、前方及び後方の少なくとも一方から最長一致で付属語を検索し、付属語があれば、前記ひらがな文字列を付属語と付属語以外とに分割する
請求項３に記載の未知語判定システム。
【請求項５】
前記分割位置修正手段は、ひらがな文字列に対して、前方から最長一致で語の活用形表現を検索し、活用形表現があれば活用形文字列を前の文字列と結合する
請求項３又は請求項４に記載の未知語判定システム。
【請求項６】
前記分割位置修正手段は、ひらがな文字列に対して、前方、後方から非区切り表現の最長一致で分割し、付属語と活用形とで分割位置を修正する
請求項３から請求項５のいずれかに記載の未知語判定システム。
【請求項７】
前記未知語判定手段は、前記分割された文字列のうち単語登録されていない文字列が付属語であるかないかに基づいて、前記文字列の未知語らしさを判定する
請求項１から請求項６のいずれかに記載の未知語判定システム。
【請求項８】
前記未知語判定手段は、部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数の少なくとも一つ以上に基づいて、前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する
請求項１から請求項７のいずれかに記載の未知語判定システム。
【請求項９】
前記未知語判定手段は、あらかじめ規則にスコアをつけ、文字列に適合する規則のスコアに基づいて、前記文字列の未知語らしさを判定する
請求項１から請求項８のいずれかに記載の未知語判定システム。
【請求項１０】
前記未知語判定手段は、部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数に基づき、未知語と非未知語を識別するための規則を機械学習で獲得する
請求項１から請求項９のいずれかに記載の未知語判定システム。
【請求項１１】
単語分割された文書データと辞書属性とが登録されている単語辞書から、未知語と同一文脈で出現する単語の辞書属性の数に基づき未知語の辞書属性を推定する辞書属性推定手段を有する
請求項１から請求項１０のいずれかに記載の未知語判定システム。
【請求項１２】
前記辞書属性推定手段は、前後の数単語が一致した場合に同一文脈とする
請求項１１に記載の未知語判定システム。
【請求項１３】
前記辞書属性推定手段は、未知語と同一文脈で出現する単語の辞書属性を数え、最も頻度が高い辞書属性を推定結果とする
請求項１１又は請求項１２に記載の未知語判定システム。
【請求項１４】
前記辞書属性推定手段は、未知語と同一文脈で出現する単語の辞書属性を未知語との文字列類似度に応じて重みをつけて数え、最も頻度が高い辞書属性を推定結果とする
請求項１１から請求項１３のいずれかに記載の未知語判定システム。
【請求項１５】
未知語の品詞の活用形を後方からの最長一致で調べ、その活用形の基本形を原形とすることにより、未知語の原形とその活用形を推定する原形推定手段を有する
請求項１から請求項１４のいずれかに記載の未知語判定システム。
【請求項１６】
前記原形推定手段は、全ての未知語を可能な活用形で基本形に変換した結果、元々は異なっていた複数の未知語が基本形として一致し、かつその一致した活用形の種類が１つであったら、それらの未知語の原形をその基本形とし、活用形と原形を推定する
請求項１５に記載の未知語判定システム。
【請求項１７】
前記原形推定手段は、全ての未知語を可能な活用形で基本形に変換した結果、元々は異なっていた複数の未知語が基本形として一致し、かつその一致した活用形の種類が複数あったら、一致した複数の活用形と同じ活用形の単語を取得して文字列の類似度をはかり、最も文字列が類似している単語の活用形の基本形を未知語の原形とすることにより活用形と原形を推定する
請求項１５又は請求項１６に記載の未知語判定システム。
【請求項１８】
情報処理装置が、
日本語文書を文字種により文字列に分割し、
前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する
未知語判定方法。
【請求項１９】
日本語文書を文字列に分割する際、特定の文字種の変化、又は文字では分割しない
請求項１８に記載の未知語判定方法。
【請求項２０】
情報処理装置が、前記分割されたひらがなの文字列に対して、付属語又は語の活用形に基づいて、分割位置を修正する
請求項１８又は請求項１９に記載の未知語判定方法。
【請求項２１】
前記分割位置の修正は、ひらがな文字列に対して、前方及び後方の少なくとも一方から最長一致で付属語を検索し、付属語があれば、前記ひらがな文字列を付属語と付属語以外とに分割する
請求項２０に記載の未知語判定方法。
【請求項２２】
前記分割位置の修正は、ひらがな文字列に対して、前方から最長一致で語の活用形表現を検索し、活用形表現があれば活用形文字列を前の文字列と結合する
請求項２０又は請求項２１に記載の未知語判定方法。
【請求項２３】
前記分割位置の修正は、ひらがな文字列に対して、前方、後方から非区切り表現の最長一致で分割し、付属語と活用形とで分割位置を修正する
請求項２０から請求項２２のいずれかに記載の未知語判定方法。
【請求項２４】
前記未知語の判定は、前記分割された文字列のうち単語登録されていない文字列が付属語であるかないかに基づいて、前記文字列の未知語らしさを判定する
請求項１８から請求項２３のいずれかに記載の未知語判定方法。
【請求項２５】
前記未知語の判定は、部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数の少なくとも一つ以上に基づいて、前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する
請求項１８から請求項２４のいずれかに記載の未知語判定方法。
【請求項２６】
前記未知語の判定は、あらかじめ規則にスコアをつけ、文字列に適合する規則のスコアに基づいて、前記文字列の未知語らしさを判定する
請求項１８から請求項２５のいずれかに記載の未知語判定方法。
【請求項２７】
前記未知語の判定は、部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数に基づき、未知語と非未知語を識別するための規則を機械学習で獲得する
請求項１８から請求項２６のいずれかに記載の未知語判定方法。
【請求項２８】
情報処理装置が、単語分割された文書データと辞書属性とが登録されている単語辞書から、未知語と同一文脈で出現する単語の辞書属性の数に基づき未知語の辞書属性を推定する
請求項１８から請求項２７のいずれかに記載の未知語判定方法。
【請求項２９】
前記未知語の辞書属性の推定は、前後の数単語が一致した場合に同一文脈とする
請求項２８に記載の未知語判定方法。
【請求項３０】
前記未知語の辞書属性の推定は、未知語と同一文脈で出現する単語の辞書属性を数え、最も頻度が高い辞書属性を推定結果とする
請求項２８又は請求項２９に記載の未知語判定方法。
【請求項３１】
前記未知語の辞書属性の推定は、未知語と同一文脈で出現する単語の辞書属性を未知語との文字列類似度に応じて重みをつけて数え、最も頻度が高い辞書属性を推定結果とする
請求項２８から請求項３０のいずれかに記載の未知語判定方法。
【請求項３２】
情報処理装置が、未知語の品詞の活用形を後方からの最長一致で調べ、その活用形の基本形を原形とすることにより、未知語の原形とその活用形を推定する
請求項２８から請求項３１のいずれかに記載の未知語判定方法。
【請求項３３】
前記未知語の原形とその活用形の推定は、全ての未知語を可能な活用形で基本形に変換した結果、元々は異なっていた複数の未知語が基本形として一致し、かつその一致した活用形の種類が１つであったら、それらの未知語の原形をその基本形とし、活用形と減刑を推定する
請求項３２に記載の未知語判定方法。
【請求項３４】
前記未知語の原形とその活用形の推定は、全ての未知語を可能な活用形で基本形に変換した結果、元々は異なっていた複数の未知語が基本形として一致し、かつその一致した活用形の種類が複数あったら、一致した複数の活用形と同じ活用形の単語を取得して文字列の類似度をはかり、最も文字列が類似している単語の活用形の基本形を未知語の原形とすることにより活用形と原形を推定する
請求項３２又は請求項３３に記載の未知語判定方法。
【請求項３５】
日本語文書を文字種により文字列に分割する文字種分割処理と、
前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する未知語判定処理と
を情報処理装置に実行させるプログラム。
【請求項３６】
前記文字種分割処理は、特定の文字種の変化または文字では分割しない
請求項３６に記載のプログラム。
【請求項３７】
前記文字種分割処理で分割されたひらがなの文字列に対して、付属語又は語の活用形に基づいて、分割位置を修正する分割位置修正処理を
情報処理装置に実行させる請求項３５又は請求項３６に記載のプログラム。
【請求項３８】
前記分割位置修正処理は、ひらがな文字列に対して、前方及び後方の少なくとも一方から最長一致で付属語を検索し、付属語があれば、前記ひらがな文字列を付属語と付属語以外とに分割する
請求項３７に記載のプログラム。
【請求項３９】
前記分割位置修正処理は、ひらがな文字列に対して、前方から最長一致で語の活用形表現を検索し、活用形表現があれば活用形文字列を前の文字列と結合する
請求項３７又は請求項３８に記載のプログラム。
【請求項４０】
前記分割位置修正処理は、ひらがな文字列に対して、前方、後方から非区切り表現の最長一致で分割し、付属語と活用形とで分割位置を修正する
請求項３７から請求項３９のいずれかに記載のプログラム。
【請求項４１】
前記未知語判定処理は、前記分割された文字列のうち単語登録されていない文字列が付属語であるかないかに基づいて、前記文字列の未知語らしさを判定する
請求項３５から請求項４０のいずれかに記載のプログラム。
【請求項４２】
前記未知語判定処理は、部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数の少なくとも一つ以上に基づいて、前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する
請求項３５から請求項４１のいずれかに記載のプログラム。
【請求項４３】
前記未知語判定処理は、あらかじめ規則にスコアをつけ、文字列に適合する規則のスコアに基づいて、前記文字列の未知語らしさを判定する
請求項３５から請求項４２のいずれかに記載のプログラム。
【請求項４４】
前記未知語判定処理は、部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数に基づき、未知語と非未知語を識別するための規則を機械学習で獲得する
請求項３５から請求項４２のいずれかに記載のプログラム。
【請求項４５】
単語分割された文書データと辞書属性とが登録されている単語辞書から、未知語と同一文脈で出現する単語の辞書属性の数に基づき未知語の辞書属性を推定する辞書属性推定処理を情報処理装置に実行させる
請求項３５から請求項４４のいずれかに記載のプログラム。
【請求項４６】
前記辞書属性推定処理は、前後の数単語が一致した場合に同一文脈とする
請求項４５に記載のプログラム。
【請求項４７】
前記辞書属性推定処理は、未知語と同一文脈で出現する単語の辞書属性を数え、最も頻度が高い辞書属性を推定結果とする
請求項４５又は請求項４６に記載のプログラム。
【請求項４８】
前記辞書属性推定処理は、未知語と同一文脈で出現する単語の辞書属性を未知語との文字列類似度に応じて重みをつけて数え、最も頻度が高い辞書属性を推定結果とする
請求項４５から請求項４７のいずれかに記載のプログラム。
【請求項４９】
未知語の品詞の活用形を後方からの最長一致で調べ、その活用形の基本形を原形とすることにより、未知語の原形とその活用形を推定する原形推定処理を情報処理装置に実行させる
請求項３５から請求項４８のいずれかに記載のプログラム。
【請求項５０】
前記原形推定処理は、全ての未知語を可能な活用形で基本形に変換した結果、元々は異なっていた複数の未知語が基本形として一致し、かつその一致した活用形の種類が１つであったら、それらの未知語の原形をその基本形とし、活用形と減刑を推定する
請求項４９に記載の未知語判定システム。
【請求項５１】
前記原形推定処理は、全ての未知語を可能な活用形で基本形に変換した結果、元々は異なっていた複数の未知語が基本形として一致し、かつその一致した活用形の種類が複数あったら、一致した複数の活用形と同じ活用形の単語を取得して文字列の類似度をはかり、最も文字列が類似している単語の活用形の基本形を未知語の原形とすることにより活用形と原形を推定する
請求項４９又は請求項５０に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は未知語判定システム、方法及びプログラムに関し、特に、特に辞書に未登録であり、かつ語として妥当な文字列であるか判定する未知語判定システム、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、形態素解析、音声認識など、様々な自然言語処理システムが実サービスとして利用されている。
【０００３】
多くの自然言語処理システムには辞書が必要不可欠である。
【０００４】
一方で、近年ユーザが自由に記事を投稿できるサービスが普及したことで、新語、造語、意図的に表記を崩した語（以降、前述のように語であるが辞書に未登録である語を未知語と呼ぶ）が使われる文書が増加している。
【０００５】
それら文書を正しく処理するためには、未知語の位置を正しく認識してその後の処理を進めることや、辞書に未知語を登録していく方法があるが、どちらも未知語を正しく抽出する必要がある。
【０００６】
この種の関連する未知語収集システムの一例が、特許文献１、特許文献２に記載されている。
【０００７】
特許文献１は、まず、解析対象の文を読み込み、文の先頭から文末に向かって各位置から始まる数文字以下の部分文字列を生成する。次に、各部分文字列が形態素解析用の辞書に存在するか確認する(登録語判定部)。次に、辞書に登録されていない部分文字列を対象に、形態素となり得る未登録語か否かを調べる（未登録語判定部）。登録語判定部により、辞書に存在すると判定された文字列について、形態素コストを計算する(登録語コスト計算部)。形態素コストは、形態素の品詞、文字種、頻度、優先度に基づいて計算される。未登録語判定部により、形態素となりえる未登録語と判定された部分文字列は、未登録語コストとして、文字数、文字種、パタン、構成文字の頻度などに基づき計算される(未登録語コスト計算部)。全ての部分文字列に対して、形態素コスト、未登録語コストが計算されると、文法規則部を参照して、隣接する２つの形態素の接続チェックを行い、形態素の連接コスト、形態素コスト、未登録語コストの３種により、最もコストの小さい形態素候補の列を形態素解析結果とする（形態素解析実行部）。
【０００８】
具体例を説明する。「湾岸戦争」という文字列で（１）湾／名詞  岸／名詞  戦争／名詞、（２）湾岸戦争／未知語、（３）湾岸／未知語  戦争／名詞、という候補を形態素解析実行部でコスト評価するとする。未登録語コスト計算部において、高いコストを与えるように調整すれば、全てが登録語であり、未知語が存在しない（１）が選ばれ、逆に低めれば（２）や（３）が選ばれやすくなる。（２）と（３）は、未登録語コストで４文字以上の場合のコストを高くすると（３）が選ばれる。前述の例のように、コスト設定に応じて得られる結果を調整できるが、一般にコスト設定は難しい作業であり、専門家の知識や多くの実験が必要となる。例えば、「土田電気」という固有名詞に対して、「土田／名詞  電気／名詞」と「土田電気／未知語」という結果が得られる場合、後者を採用するために、名詞の２連続よりも結合した場合の未知語コストを高めるとする。すると、「情報検索」の「情報／名詞  検索／名詞」のような名詞の複合語を分けることができなくなる。これに対して、さらにコスト計算を詳細化して実現することも考えられるが、このような例に対して網羅的にコストを設定することは難しい。また、未知語の辞書属性(品詞)の推定が考慮されていない。
【０００９】
特許文献２は、入力文書を形態素解析し、形態素解析で分かち書きした結果から、辞書に含まれない語を未知語候補として、文書内の出現回数に基づく値、固有接尾辞の有無に基づく値、用言の語尾の有無に基づく値、文字数及び文字種に基づく値、のうち、少なくとも２つ以上の値を用いた演算結果により未知語としての信頼度を計算し、前記信頼度に基づいて未知語を抽出し、形態素解析により決定された見出し語、品詞、信頼度を提示し、ユーザに辞書に登録するか判断させる。
【００１０】
特許文献２の発明では、未知語抽出を形態素解析に任せているため、本当は１つの形態素であるにも関わらず、部分的に形態素解析されてしまう場合には、適切に未知語を抽出できない。
【００１１】
具体例を、「昨日、とってもかわゆい娘を見た。」という文で説明する。形態素解析の正解は、「昨日／名詞  、／記号  とっても／副詞  かわゆい／形容詞  娘／名詞  を／助詞  見た／動詞  。／記号」となることが分かる。しかしながら、「かわいい」の意味である「かわゆい」が、形態素解析用の辞書に存在しないとする。一方、「かわ（皮）／名詞」「ゆう／動詞」が辞書に登録されているとする。その時、「ゆい」は「ゆう」の活用形として妥当であるため、「かわゆい」は「かわ／名詞  ゆい／動詞」と解析され、「昨日／名詞  、／記号  とっても／副詞  かわ／名詞  ゆい／動詞  娘／名詞  を／助詞  見た／動詞  。／記号」となる。本結果は、２つの形態素の連接のみ見れば、可能な品詞連接である。このような解析がされないようにするためには、形態素解析のコスト設定や例外ルールの作りこみなど、非常に多くの設定が必要であることは想像に難くない。
【特許文献１】特許第３８８００８７号公報
【特許文献２】特許第３９３５３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
第１の問題点は、様々な文に対応するように形態素コスト、品詞連接コスト、未知語コストなど、各種コストを設定することが難しいことである。
【００１３】
その理由は、形態素コスト、品詞連接コスト、未知語コストを様々な文に対応するようにバランスを考えて調整するには、専門家の知識が必要であり、多くの文例を用いて試行錯誤的な実験が必要となるためである。
【００１４】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、形態素コスト、品詞連接コストの設定なしに、未知語を判定できる未知語判定システム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決する本発明は、日本語文書を文字種により文字列に分割する文字種分割手段と、前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する未知語判定手段とを有する未知語判定システムである。
【００１６】
上記課題を解決する本発明は、情報処理装置が、日本語文書を文字種により文字列に分割し、前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する未知語判定方法である。
【００１７】
上記課題を解決する本発明は、日本語文書を文字種により文字列に分割する文字種分割処理と、前記分割された文字列のうち単語登録されていない文字列の未知語らしさを判定する未知語判定処理とを情報処理装置に実行させるプログラムである。
【発明の効果】
【００１８】
本発明によれば、形態素コストや品詞連接コストの設定を必要とせずに未知語を抽出できることにある。
【００１９】
その理由は、文字種を用いて単語の区切れ目を決めて文字列を分割し、前記分割文字列のうち辞書に存在しない文字列の未知語としての妥当性を判定する構成をとっているため、品詞や形態素コストという概念を必要とせずに未知語を抽出できるためである。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態を説明する。尚、これ以降、「Ｘ／Ｙ」は、ＸとＹを分割することを表す。また、「Ｘ（Ｚ）／Ｙ」のＺは説明をわかりやすくするための付加的情報を表すものとする。
【００２１】
本発明の実施の形態における未知語判定システムは、文字種により入力文字列を区切る文字種分割手段と、付属語（単独で文節を構成できない語で自立語に付属して意味を成す語）や語の活用形を中心とした語を分割する手がかり表現により文字種による分割結果を修正する分割位置修正手段と、切り出された文字列を単語辞書と文字種や文字の長さなどから未知語らしさを判定する未知語判定手段を有している。
【００２２】
本発明の未知語判定システムでは、
１）日本語の単語の区切れ目は文字種である程度判断できる、
２）未知語となるのは基本的に自立語であり付属語は固定的である、
という２つの考えに基づいている。付属語は種類が少ないため容易に網羅的な辞書を作成することができる。
【００２３】
本発明の未知語判定システムでは、まず、文字種分割手段により、文字種が変わる部分で文字列を分割する。ここで、文字種とは、ひらがな、カタカナ、漢字、アルファベット、数字、記号などがある。ただし、「ー」や「〜」など長音を表す文字では区切らないという制約をつけても良い。
【００２４】
次に、分割位置修正手段は、文字種分割手段による分割不足や過剰分割を、付属語と活用形を手がかりに修正する。分割不足とは、「日本語／はむずかしい／。」の「はむずかしい」など、さらに分割できるが同じ文字種であるために、つながっている場合を指す。また、過剰分割とは、「学校／まで／走／る／。」の「走／る」など、文字種は違うが、前の文字列も含めて１語となる場合を指す。
【００２５】
分割不足と過剰分割とは、基本的に文字種がひらがなの文字列に隣接している部分で発生する。前述の例のように、ひらがな文字列に対する分割位置修正は、分割不足の修正により、単語として不適当な語を未知語判定手段の前にはじくことで未知語抽出の精度を上げる効果があり、過剰分割の修正により、文字種では分割されてしまう単語を正しく抽出できることで、より多くの適切な未知語候補を抽出できる効果がある。尚、このように、分割位置修正手段は本発明に対してより大きな効果を与えるが、かならずしも必項な構成要素ではない。
【００２６】
具体的には、分割位置修正手段は、まず、ひらがな文字列の前方から、付属語と活用形の文字列を最長一致で調べる。活用形の文字列の探索時には、直後からだけでなく２文字目からも探索する。これは、語幹が直後のひらがな１文字を含む語も多数存在するためである。例えば、「小さい」の語幹は「小さ」であり、「小さく」など２文字目が活用される。付属語の場合はひらがなを付属語と付属語以外で分割する。例えば、「日本語／はむずかしい／。」は「語」と「は」の間でひらがなに変わるので、付属語の存在を調べた結果、助詞の「は」が見つかり、「日本語／は(助詞)／むずかしい／。」となる。ここで、「は」より長い「はむ」は付属語辞書にも活用形にもないため、助詞の「は」となったことを補足しておく。付属語ではなく、活用形にマッチした場合は前の文字列と活用形の文字列を結合し、ひらがな側の文字列からは活用形の文字列を削除する。例えば、「学校／まで／走／る／。」は、「学校」と「まで」の間でひらがなに変わり、「まで」が助詞にマッチし、「走」と「る」の間で、「る」が活用形として存在しているので、最終的に「学校／まで(助詞)／走る／。」となる。
【００２７】
次に、ひらがなから他の文字種に変わる場所に対しての後方から付属語を最長一致で調べる。付属語が存在した場合は、先の付属語の処理と同じように、付属語を切り離して分割する。尚、後方一致での活用形の修正は、必要ないことを補足しておく。活用形は、その部分を含めて一語であるため、仮に存在したとしても分割できないためである。
【００２８】
未知語判定手段は、分割された各文字列が未知語らしさを判定する。未知語判定手段では、前段までの処理で分割された各文字列のうち、あらかじめ用意された単語辞書に存在しない文字列に対して、部分文字列、文字種、文字数、単語辞書、抽出頻度、抽出された活用の種類、抽出された活用の種類数に基づいて未知語としての妥当性を判定する。「抽出された活用の種類」について説明する。抽出された活用の種類とは、各未知語候補について、１つの活用規則で前段までの処理で文書中から抽出された活用の種類である。例えば、「チョロい」という未知語候補について、「イ形容詞アウオ段」の活用規則で「チョロい（原形）」「チョロく（連用形）」「チョロければ（条件形）」が抽出されたとする。その場合「チョロい」の活用の種類は「イ形容詞アウオ段の原形、連用形、条件形」であり、その種類数は３となる。抽出された活用の種類や数は、活用のある語であれば実際にいろいろな活用で使われるという経験則から単語らしさの指標として用いることができる。ここで、未知語として妥当でない文字列とは、単語の分割ミスのため意味をなしていない文字列や、意味はあるが単語辞書の単語の複合語であるため登録する必要がない文字列である。例えば、分割ミスの場合、異常に短い、もしくは長いひらがなのみの文字列が考えられる。一方、長いひらがなでも、「っ」や「ー」などが含まれている場合は表記を崩した表現の可能性もあるため、登録済みの語との文字列が類似していれば、その語の表記ゆれとみなせる。
【００２９】
このような構成を採用することで、形態素コストや品詞連接コストの設定を必要とせずに未知語を判定でき、本発明の目的を達成することができる。
【００３０】
また、上述した未知語判定システムに、さらに辞書属性推定手段を加えることによって辞書属性を推定できる。
【００３１】
辞書属性推定手段は、単語分割済みの文書データと、単語と辞書属性が登録された単語辞書から、未知語と判定された文字列と同じ文脈で出現する辞書に登録された単語の辞書属性と類似しているという考えに基づき動作する。例えば、「あの／女優／かっわいーい／ね／。」の「かっわいーい」と、「あの／女優／かっこいい／ね／。」の「かっこいい」とは、前後の単語列が同じであることから、同じ文脈で出現しているとみなせる。仮に、単語辞書に、「かっこいい」の辞書属性が「形容詞」と登録されていれば、「かっわいーい」の辞書属性は「形容詞」と推定できる。さらに、「あの女優いいね。」という文があり、「いい」の辞書属性が「形容詞」であるならば、「かっわいーい」の辞書属性が「形容詞」であることがより確からしくなる。このように、辞書属性推定手段は、同じ文脈で出現する単語の辞書属性の頻度を数えて、最も多い辞書属性を推定結果とすることで、辞書属性を推定できる。辞書属性は品詞に限らず、文脈によってある程度決まる辞書属性ならば任意の種類に対応できる。
【００３２】
以下、詳細に本発明の実施の形態を説明する。
【００３３】
（第１の実施の形態）
本発明を実施するための、第１の実施の形態について図面を参照して詳細に説明する。
【００３４】
尚、以下の説明において、単語区切り表現と記述した場合は、付属語と語の活用形の文字列とする。本発明における付属語は、助詞、助動詞、接頭辞、接尾辞など、単独では文節を構成できない語とする。
【００３５】
図１は、本発明を実施するための第１の実施の形態の構成を示すブロック図である。図１を参照すると、本発明の第１の実施の形態は、未知語判定の対象となる文書データを入力する文書データ入力手段１と、文書データや辞書データを記憶する記憶装置２と、プログラム制御により動作するデータ処理装置３と、判定結果を確認するための未知語表示手段４を有する。
【００３６】
これら手段のそれぞれについて説明する。
【００３７】
未知語表示手段４は、未知語判定手段３２により未知語と判定された文字列を未知語が抽出された文書と共に表示する。
【００３８】
文書データ入力手段１は、未知語の判定対象の文書データを文書データ記憶部２０に記憶させる。文書データは、文書データの本体を表す「文書データ」と、文書データの識別子を表す「文書ＩＤ」からなる。「文書データ」は任意の日本語の文字列とする。「文書ＩＤ」は、あらかじめ指定しても良いし、入力順に整数の連番となるよう文書ＩＤを付与するなど、自動的に付けても良い。
【００３９】
記憶装置２は、文書データ記憶部２０と、単語区切り表現辞書記憶部２１と、単語辞書記憶部２２と、未知語判定規則記憶部２３とを備える。
【００４０】
文書データ記憶部２０は、文書データ入力手段１により入力された文書データが記憶される。
【００４１】
単語区切り表現辞書記憶部２１には、付属語について、その文字列と品詞と原形が、活用形について、文字列と活用形の種類と基本形が記憶されている。
【００４２】
単語辞書記憶部２２には、単語の原形文字列と活用形が記憶されている。単語辞書記憶部２２は、原形文字列と活用形に加え、任意の辞書属性を持たせても良い。辞書属性の例として品詞などが考えられる。
【００４３】
未知語判定規則記憶部２３には、未知語としての妥当性を判定するための規則が記憶されている。未知語判定規則の例は後述する。
【００４４】
データ処理装置３は、文字種分割手段３０と分割位置修正手段３１と未知語判定手段３２とを備える。
【００４５】
文字種分割手段３０は、文書データ記憶部２０から文書データを読み出し、読み出した文書データを文字種の変わる部分で分割し、分割位置修正手段３１に結果を渡す。ここで、文字種とは、ひらがな、カタカナ、漢字、アルファベット、数字、記号などがある。
【００４６】
文字種による分割で、拗音（ゃ、ゅ、etc…）、促音（っ、ッ）、長音（−、〜）など、単独では明らかに意味をなさない文字では区切らないようにしても良い。また、特定文字種から他の文字種への変化点では区切らないようにしてもよい。例えば、「土田ジャイアンツ」など、漢字からカタカナへ変わる語は、固有名詞の可能性があるため区切らない、などが考えられる。
【００４７】
分割位置修正手段３１は、単語区切り表現辞書記憶部２１から単語区切り表現の情報を読み出し、読み出したデータに基づいて文字種分割手段３０から渡された分割済みの文字列の分割結果を修正し、未知語判定手段３２に修正済み分割文字列を渡す。分割位置修正手段３１は、文字種分割手段３０による分割不足や過剰分割を、単語区切り表現を手がかりに修正する。ここで、分割不足とは、さらに分割できるが同じ文字種であるためにつながっている場合を指す。また、過剰分割とは、文字種は違うが、前の文字列も含めて１語である場合を指す。
【００４８】
分割位置修正手段３１は、ひらがな文字列の前方から、単語区切り表現の存在を最長一致で調べる。活用形文字列は、２文字目からも探索する。最長一致の単語区切り表現が付属語であればひらがな文字列を付属語と付属語以外で分割し、活用形であれば活用形文字列とそれ以外に分割し、活用形文字列を前の文字列と結合する。ここで、助詞が見つかった場合に、前方の分割文字列がひらがなでない限り１つにまとめるように修正するようにしてもよい。これは、助詞の直前は基本的に名詞であり、複数の文字種からなっていても１つの名詞と考えられるためである。また、分割位置修正手段３１では、直後に促音、長音を伴う２文字や、開拗音（きゃ、キャ、etc…）の２文字は、仮想的に１文字として取り扱ってもよい。これは、前記２文字を先頭１文字で単語の区切れ目となることはないと考えられるためである。
【００４９】
次に、分割位置修正手段３１は、ひらがな文字列の後方から最長一致で付属語の存在を調べる。付属語があれば、前述した付属語の処理と同様に、付属語を切り離すことで分割する。後方一致での活用形の修正は、必要ないことを補足する。活用形は、その部分を含めて一語であるため、仮に存在したとしても分割できないので調べる必要はないためである。ここで、付属語を切り離すと、前の分割文字列がひらがな１文字になってしまう場合は、ひらがな１文字が語となることはないと考えられるため、分割しないようにしてもよい。
【００５０】
未知語判定手段３２は、単語辞書記憶部２２から単語のデータを、未知語判定規則記憶部２３から未知語判定のための規則をそれぞれ読み出し、分割位置修正手段３１から渡された修正済み分割文字列のうち、単語辞書から読み出した単語に存在しない文字列に対して、単語辞書のデータと未知語判定の規則を用いて各分割文字列の未知語としての妥当性を評価し、未知語の判定結果を未知語表示手段４に渡す。また、未知語判定手段３２は、分割された文字列をいくつか結合した文字列を作成し、単語辞書にない前記結合文字列に対して、未知語判定してもよい。例えば、「東京／タワー／に／行った。」という分割の場合、２つつなげた「東京タワー」、「タワーに」、「に行った」を未知語判定の候補としてもよい。また、前記結合文字列を生成する場合に、分割位置修正手段３１によって、付属語と分かっている文字列は結合の対象外としてもよい。その場合、前の例において「に」が付属語と分かっている場合、「に」を含む文字列は候補外となり、「東京タワー」のみが結合文字列となる。
【００５１】
具体的には、未知語判定手段３２では、各分割文字列のうち、あらかじめ用意された単語辞書に存在しない文字列の未知語としての妥当性を、未知語判定記憶部２３の未知語判定規則を用いて評価する。未知語判定規則には、部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数の少なくとも一以上に基づいて、未知語としての妥当性が定義されている。また、各規則には、スコアをつけることができる。スコアが正の場合は未知語らしい文字列を表す規則となり、負の場合は未知語らしくない文字列をあらわす規則となる。このスコアは人間が目的に応じて調整したスコアであっても、事前に未知語と非未知語を用意してそれらを識別するためのスコアを自動学習で設定してもよい。また、未知語と非未知語を部分文字列、文字種、文字数、単語辞書、抽出回数に基づき、汎用な機械学習法で規則を学習したものでもよい。汎用の機械学習の例としては、決定木やニューラスネットワークや帰納論理プログラミングやサポートベクターマシンなどが挙げられる。機械学習を用いる場合は、人手であらかじめ未知語と非未知語をいくつか分類しておく。そして、分類規則を構成する特徴量として部分文字列、文字種、文字数、単語辞書、抽出回数、抽出された活用の種類、抽出された活用の種類数を作成する。例えば、「チョロい」を原形とする「チョロい（原形）」「チョロく（連用形）」「チョロければ（条件形）」が抽出されていて、合計頻度が２０であるとする。前記情報から抽出できる特徴量の例として、「カタカナを含む」「カタカナからひらがな」「頻度＝２０」「頻度１０以上」「部分文字列＝“チョロ”」「部分文字列＝“い”」「活用の種類数＝４」「活用の種類＝“原形”」「活用の種類＝“条件形”」「活用の種類＝“連用形”」「文字数＝４」「文字数３以上」「開拗音を含む」などが考えられる。人手で分類した未知語と非未知語について、前記のような特徴量を生成しておき、汎用の機械学習アルゴリズムで分類規則を求めることができる。学習した分類規則により未知語候補が、“未知語”として分類された場合を未知語と判定することができる。以下では、人間が設定した例で説明する。
【００５２】
未知語判定規則記憶部２３に、規則１）「カタカナＮ文字を含む＝Ｎ」、規則２）「単語辞書の複数の単語で構成される＝−５」、規則３）「複数の文字種からなる＝４」の３つの規則が記憶されているとする。そして、未知語判定手段３２は、未知語候補（分割位置修正手段３１から渡された修正済み分割文字列のうち、単語辞書から読み出した単語に存在しない文字列）に各規則を適用し、適合した規則のスコアの合計が０を超えた場合に未知語と判定することとする。
【００５３】
その時、単語辞書に「東京」と「タワー」が存在するとして、「東京タワー」の判定を行う例を考える。ここで、「東京タワー」は、漢字からカタカナへの変化では分割しないという設定時、もしくは分割された文字列を結合したときに、未知語候補として抽出されたものとする。「東京タワー」は全ての規則に合致し、規則１ではスコア２、規則２ではスコア−５、規則３ではスコア４、となり合計は「１」となる。よって、閾値０を超えるため、「東京タワー」は未知語と判定される。
【００５４】
ここで、複合語が未知語と判定されにくくするという方針であれば、規則２のスコアを負の大きな値とすればよい。また、特定の複数の規則が同時に適合する場合、それぞれのスコアの和よりも大きなスコアを与えるようにするなど、複数適合時のスコアを設定してもよい。
【００５５】
単語辞書に基づく未知語判定規則の例としては、単語辞書に登録されている単語に分割文字列との編集距離が一定以下となる語が存在するなど、登録済みの単語との文字の類似性を利用する規則が考えられる。ここで、編集距離とは２つの文字列のうち、片方の文字列に対して１文字ずつ置換、挿入、削除を行うことでもう片方の文字列と同じにするための最小の手続き数として定義される。例えば、「かっわいい」と「かわいい」の編集距離は「っ」を挿入するのみで一致するので１となる。編集距離が十分に小さい場合は、語の表記ゆれと考えることができるため妥当であると判断できる。表記ゆれを重視する場合は、促音や長音などの文字を削除するコストを０とするような特別な編集距離を用いればよい。また、抽出回数に基づいた規則の例としては、「抽出された前後の単語の異なり数N=N」が上げられる。これは、前後の単語が異なるということは、様々な文脈で抽出されていることになるため、区切りミスの可能性が低いと判断できるためである。
【００５６】
次に、図１の機能ブロック図及び図２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【００５７】
まず、未知語の抽出対象の文書データを、文書データ入力手段１により文書データ記憶部２０に記憶させる（図２のＳ１）。図３は、文書データ記憶部２０に記憶されるデータの例である。図３には２つの文書データが含まれ、文書ＩＤが１である「昨日、東京タワーに行って来た。」という文書データと、文書ＩＤが２である「あの女優かっわい〜いね！」という文書データが存在する。
【００５８】
次に、文字種分割手段３０は、文書データ記憶部２０から文書データを読み込み、各文書データを文字種が変化する点で分割し、各文書ＩＤとそれに対応した分割文字列リストを生成する（図２のＳ２）。文字種は「ひらがな」「カタカナ」「漢字」「記号」「アルファベット」「数字」とする。また、「ー」「〜」を長音と考え、前記文字では区切らないようにする。図４は、生成された分割文字列リストの例である。分割文字列リストは、分割された文字列の先頭からの順番を表す「位置」と分割された文字列を表す「分割文字列」と、各文字列が修正済みであるかを表す「修正済み？」フィールドを持つ。「修正済み？」の初期値は、修正済みでないことを表す「０」となる。図４の「文書ＩＤ＝１」のリストの最初のデータは、文書ＩＤ＝１の１番目の分割文字列は「昨日」で、まだ「修正済み？」は修正済みでないので「０」が記憶されている。
【００５９】
次に、分割位置修正手段３１は、分割文字列リストの先頭から修正済みでない文字列の位置を１つ取得する(図２のＳ３)。今後、前記位置を修正位置と呼ぶ。
【００６０】
次に、分割位置修正手段３１は、前記取得した修正位置の分割文字列の文字種がひらがなであれば、単語区切り表現辞書記憶部２１から単語区切り表現を読み込み図２のＳ５へ、そうでなければ図２のＳ７へ移動する（図２のＳ４）。図５は、単語区切り表現辞書記憶部２１に記憶された単語区切り辞書のデータの例である。単語区切り辞書は、大きく付属語と活用形の文字列表現からなる。図５の付属語について、助動詞など活用がある種類ではあらかじめ活用形を展開して辞書に登録しているが、基本形のみを記憶させ活用形の展開を分割位置修正手段３１に実行させてもよい。付属語の辞書は、付属語の文字列を表す「付属語」と、その種類を表す「種類」と、活用形があれば活用形の種類を表す「活用の種類」と原形の文字列を表す「原形」からなる。活用形の辞書は、活用形の文字列を表す「活用形」とその種類を表す「種類」と活用形の種類を表す「活用の種類」と原形の文字列を表す「原形」からなる。
【００６１】
次に、分割文字列の文字種がひらがなであった場合に、分割位置修正手段３１は、文字列の前方から単語区切り表現を用いて分割を修正する（図２のＳ５）。現在の修正位置が、図４の文書ＩＤ＝１の５である場合を例に動作を説明する。まず、単語区切り表現のうち、分割文字列の前方から最長一致する文字列を探す。活用形文字列は、２文字目からも探索する。
【００６２】
本例では、助詞の「に」が最長一致であったとする。ここで、２文字目の「い」が形容詞の活用と一致するが「い」を切り離すと直後が「っ」となるため、分割されないことを補足する。付属語のいずれかと一致した場合は、その付属語を分割文字列から切り離して、現在の修正位置に付属語文字列を挿入して、さらに「修正済み？」を１に更新して、それ以降の分割文字列の位置を１ずつ足して修正し、修正位置を１つ後ろにずらす。具体的には、図４の文書ＩＤ＝１のリストは図６になる。図６では、位置５にあった「にいった」が「に」と「いった」に分割されたため、「に」を挿入してそれ以降の位置を修正している。図６では、本発明のフローチャート上、修正された「に」より前の位置の分割文字列は修正済みであることが保障されているため、「修正済み？」が１となっている点を補足しておく。修正位置は５から６となる。ここで、付属語ではなく活用形と一致した場合の例を説明する。例文として「短くはしった。」を考える。前例の文字種による分割文字列リストは、「短／くはしった」となる。ここで、ひらがなである「くはしった」の「く」が活用形に存在するとする。すると、活用形は前の語の語尾であるため、「短く／はしった」というように、活用形文字列を切り離して前の分割文字列に統合する。この場合、前の文字列が修正済みであっても再修正する。付属語と活用形の両方に一致した場合は、付属語を優先とする。また、本例の分割位置修正手段３１では、直後に促音、長音を伴う２文字や、開拗音（きゃ、キャ、etc…）の２文字は、仮想的に１文字として取り扱う。例えば、図３の文書ＩＤ＝２の位置３の「かっわい〜い」の「か」は助詞に一致するが、「かっ」を一文字と扱うため一致せず、「か」と「っわい〜い」に分割されることはない。
【００６３】
Ｓ５の次に、現在の修正位置の文字列に対して、分割位置修正手段３１は、文字列の後方から単語区切り表現のうち付属語のみを用いて分割を修正する（図２のＳ６）。現在の修正位置が、図５の文書ＩＤ＝２の３である場合を例にＳ６の修正の動作を説明する。まず、単語区切り表現の付属語から、分割文字列の後方から最長一致する文字列を探す。本例では、助詞の「ね」が最長一致であったとする。その場合、最長一致した付属語を分割文字列から切り離して、現在の修正位置を「修正済み？」を１に更新して、現在の修正位置の後ろに付属語文字列を挿入し、それ以降の位置を１つ後ろにずらし、修正位置を１つ後ろにずらす。
【００６４】
具体的には、図４の文書ＩＤ＝２のリストは図７になる。図７では、本発明のフローチャート上、修正された「ね」より前の位置の分割文字列は修正済みであることが保障されているため、「修正済み？」が１となっている点を補足しておく。修正位置は３から１ずれるため４となる。また、本例の分割位置修正手段３１では、単語区切り文字で分割した結果、分割した前の文字列がひらがな一文字となってしまう場合は、ひらがな一文字が語である可能性はほぼないと考え分割しない。例えば、図３の文書ＩＤ＝２の位置１の「あの」の「の」は助詞に一致するが、前が「あ」のみとなってしまうので分割しない。
【００６５】
次に、分割位置修正手段３１は、Ｓ４から来た場合とＳ６から来た場合の区別無く、現在の修正位置のリストの「修正済み？」を１に更新する（図２のＳ７）。
【００６６】
次に、分割位置修正手段３１は、分割文字列リストの全ての分割文字列の「修正済み？」が１となっていたらＳ９へ、なっていなければＳ３へ移動する。（図２のＳ８）。
【００６７】
次に、未知語判定手段３２は、単語辞書記憶部２２から単語データを、未知語判定規則記憶部２３から未知語判定規則をそれぞれ読み出し、各の分割文字列が単語として登録済みであるかを前記読み出した単語データを参照して調べ、未登録の分割文字列に対して、前記読み出した未知語判定規則を用い未知語であるか否かを判定する（図２のＳ９）。
【００６８】
図８は、単語辞書記憶部２２に登録されているデータ例である。単語辞書には単語の原形文字列が記憶されている「文字列」と、活用形がある場合は、その活用形の種類が記憶される「活用種」からなる。例えば、図８の２行目は、「昨日」は活用されない語であることを示している。
【００６９】
未知語判定手段３２は、活用種が指定されている場合、その活用規則に従って活用を基本形にすることで原形に変換する。例えば、「いけ（命令形）」や「いった（タ形）」などは「いく」に変換される。これは、活用による表層の違いを吸収することで、適切に頻度情報を取得するための処理である。図９は、未知語判定規則記憶部２３に登録されている規則の例であり、１０個の規則が登録されている。図９は説明をわかりやすくするために、規則を自然言語で記載しているが、実際にはプログラムにより決定的に処理できるような規則であり、自然言語で書かれた規則を解釈するわけではない。未知語判定規則記憶部２３は、規則の識別子を表す「規則ＩＤ」、規則の内容を表す「規則」、規則のスコアを表す「スコア」から構成される。「スコア」が正の値の規則は、未知語らしい規則であることを表し、逆に負の値であるものは、未知語らしくない規則であることを表す。例えば、規則ＩＤが２の「２文字以下」という規則は、２文字以下の場合は、未知語らしくなく、そのペナルティの度合いが「−２」であることを示している。
【００７０】
未知語判定手段３２は、未知語であるか判定する分割文字列に対して、全ての規則を当てはめ、合致する規則のスコアの和をとり、スコアの和が閾値より大きければ分割文字列を未知語と判定する。本例の閾値は０とする。図６、図７の分割文字列リストの全ての「修正済み？」が１であったと仮定し、両分割文字列リストを対象に動作の詳細を説明する。図６の位置１、２、３、５、６、７は、全て図８の単語辞書に登録されていると判断され、未知語候補は位置４の「タワー」となる。「タワー」に、図９の規則を適用すると、規則ＩＤ１、６、７に適合する。１からはスコア３、６からはスコア２、７からはスコア２で、合計７となり、閾値０を超え、未知語と判定される。同様に、図７のうち、位置３の分割文字列の「かっわい〜い」のみが未知語候補となり、図９の規則ＩＤ１、３、７、８に適合し、１からスコアが３、３からスコア２、７からスコア２、８からスコア−６で、スコア１となり、閾値０を超えて、未知語となる。例えば、「このほんをよみたい。」のように、全てひらがなで書かれた文は本発明ではうまく分割できないが、規則ＩＤ８の規則により大きなペナルティが課せられるため、未知語と判定されることはない。活用のある未知語候補の判定例についても説明する。活用がある未知語は、基本形が同じ未知語候補のすべての情報を用いる。例えば、未知語判定手段３２は、「チョロい（基本形）」「チョロく（連用形）」「チョロかった（タ形）」「チョロくて（タ形連用テ形）」などを、イ形容詞アウオ段に従って基本形である「チョロい」に変換する。前記の全候補の頻度は、それぞれの活用の合計となる。また、前記の全候補の活用の種類は、「基本形」「連用形」「タ形」「タ形連用テ形」の４種類となる。図９の規則を適用すると、規則ＩＤ１、４、６、９、１０に適合する。スコアは、３＋２＋６＋３＋３＝１７となり、未知語と判定される。
【００７１】
最後に、未知語表示手段４は、Ｓ９で未知語と判定された分割文字列を、未知語が抽出された文書ＩＤとその文書データと共に表示する（図２のＳ１０）。図１０に表示の例を示す。未知語が抽出された文書ＩＤと文書データは、それぞれ「文書ＩＤ」と「入力文書」として表示され、処理により分割された結果が「分割結果」で、分割文字列のうち未知語と判定された分割文字列が「未知語」として表示される。この表示法はあくまで一例であり、未知語を示すも文字列の前後に特定の文字列を埋め込んで表示してもよい。例えば、「あの女優<unknown>かっわい〜い</unknown>よ！」など、未知語を「<unknown＞」というタグで囲むなどが考えられる。
【００７２】
本実施の形態では、文字種分割手段３０により文字種で分割し、分割位置修正手段３１により付属語と語の活用形を用いて単語の区切り位置を修正することで単語分割を行う構成をとっているため、一般的な形態素解析のように、形態素コストや品詞連接コストを設定する必要なく単語分割ができ、未知語判定手段３２により、分割された文字列で単語辞書に登録されていない文字列のうち、語として妥当な文字列を未知語として判断する構成をとっているため、単語らしさのみを規則化すればよく、設定に専門知識が必要である形態素コスト、品詞連接コストの設定を必要とせずに、未知語を抽出できる。
【００７３】
ここで、本発明の未知語判定の規則の作成は、形態素解析の規則の作成よりも容易で、専門的な知識も必要ないことを説明する。まず、形態素解析を行うために必要な設定を、代表的な形態素解析ツールであるＪｕｍａｎ（非特許文献３）を例に説明する。
【００７４】
＜非特許文献３＞日本語形態素解析システム  JUMAN version 5.1 (http://nlp.kuee.kyoto-u.ac.jp/nl-resource/juman.html)
【００７５】
設定すべき項目は、形態素コストと活用形も考慮した品詞の連接コストである。品詞の種類は、文法的に区別すべき細分類も含めると、「未定義語」を除いては５０種ある。開発者は、少なくとも２５００（＝５０×５０）の品詞の連接可能性を判断して、コストを評価する必要がある。コストの評価には、文書の形態素解析結果を正しいと判断し、間違っている場合にはどこを修正すれば間違いを回避でき、かつこれまで正しく解析できていた文にも影響が起きないかを判断する力が必要である。また、単語辞書にも品詞を付与しなければならないため、初期辞書の構築にも語の細分類も含めた品詞を判断する専門性が必要である。さらに、形態素の文中での出現に対するコストである、形態素コストの設定も必要である。形態素コストの必要性を説明する。例えば、名詞と助詞を比較して、「会社は」という文字列を見た場合、「会社（名詞）／は(助詞)」と「会社(名詞)／は(名詞。葉の意味)」では、どちらが妥当であるかを判断する場合を想定する。名詞から名詞への品詞接続コストと名詞から助詞への品詞接続コストでは判断が出来ない場合に、名詞と助詞の形態素コストを用いることで判断できる。助詞の形態素コストが名詞より低い場合、「会社（名詞）／は(助詞)」と出力される。このように、品詞連接コストと形態素コストを、様々な文を想定して形態素解析が成功するように設定するのは、高い専門性と労力が必要である。
【００７６】
一方、未知語判定規則では、ひらがなで異常に文字数が多い文字列は分割不足と考えられるのでマイナスのスコア、カタカナは未知語の可能性が高いのでプラスのスコア、など、文法を意識することなく直感的に規則を作成していくことができる。また、形態素解析では、単語間の関係についてのコスト設定が必要であるが、未知語判定では、１単語のみを考えればよいことからも、設定が複雑でないと言える。
【００７７】
（第２の実施の形態）
本発明を実施するための、第２の実施の形態について図面を参照して詳細に説明する。
【００７８】
図１１は、本発明を実施するための第２の実施の形態の構成を示すブロック図である。図１１を参照すると、本発明の第２の実施の形態は、図１に示された第１の実施の形態における記憶装置２の構成に加え、非区切り表現辞書記憶部２４を有し、図１のデータ処理装置３の分割位置修正手段３１の変わりに非区切り表現考慮分割位置修正手段３３を有する点で、第１の実施の形態と異なる。
【００７９】
以下、第１の実施の形態と異なる非区切り表現辞書記憶部２４と非区切り表現考慮分割位置修正手段３３について説明する。その他の構成は第１の実施の形態と同様であるため省略する。
【００８０】
非区切り表現辞書記憶部２４には、非区切り表現として、典型的なひらがなの文字列の単語を記憶する。例として、「接続詞」や「指示詞」が非区切り表現として挙げられる。
【００８１】
非区切り表現考慮分割位置修正手段３３は、単語区切り表現辞書記憶部２１から単語区切り表現の情報を読み出し、非区切り表現辞書記憶部２４から非区切り表現の情報を読み出し、文字種分割手段３０から渡された分割済みの文字列の分割結果を修正し、未知語判定手段３２に修正済み分割文字列を渡す。
【００８２】
非区切り表現考慮分割位置修正手段３３は、各分割文字列に対して、単語区切り表現を適用する前に、前方後方から最長一致で、非区切り表現辞書に登録されている表現を探して、単語区切り表現の付属語の処理と同様の処理で、非区切り表現を切り離す点で分割位置修正手段３１と異なる。第一の実施の形態の分割位置修正手段３１では、例えば、「そのように」という文字列を「そのよう／に(助詞)」と区切るような過剰分割がなされることがあったが、非区切り表現考慮分割位置修正手段３３では、単語の区切れ目とはならない非区切り表現を用いるため、前記例のような過剰分割がなくなる効果がある。
【００８３】
次に、図１１の機能ブロック図及び図１２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【００８４】
図１２のＳ１〜Ｓ２は第一の実施の形態のフローチャートである図２のＳ１〜Ｓ２と同様であるため説明を省略する。
【００８５】
次に、非区切り表現考慮分割位置修正手段３３は、分割文字列リストの先頭から修正済みでない文字列の位置を１つ取得する（図１２のＳ３）。これを修正位置と呼ぶ。
【００８６】
次に、非区切り表現考慮分割位置修正手段３３は、前記取得した修正位置の分割文字列の文字種がひらがなであるか否かを確認し、ひらがなであれば、単語区切り表現辞書記憶部２１から単語区切り表現を読み込み、非区切り表現辞書記憶部２４から非区切り表現を読み込み、図１２のＳ５へ、そうでなければ図１２のＳ７へ移動する（図１２のＳ４）。図１３は、非区切り表現辞書記憶部２４に記憶された非区切り表現の例である。非区切り表現の辞書は、その文字列そのものを表す「文字列」フィールドからなる。典型的な非区切り文字列は指示詞や接続詞である。
【００８７】
Ｓ４で、Ｓ３で取得された分割文字列の文字種がひらがなであった場合に、非区切り表現考慮分割位置修正手段３３は、現在の修正位置の分割文字列の前方から非区切り表現を用いて分割を修正し、さらに単語区切り表現により修正する（図１２のＳ５）。
【００８８】
例として「あれはそのように依頼してください。」という文を考える。文字種分割手段３０では、「あれはそのように／依頼／してください／。」と分割される。位置１の「あれはそのように」に図１３の非区切り表現を適用すると「あれ」が最長一致し、「あれ」が位置１、「はそのように」が位置２、「依頼」が位置３、「してください」が位置４、「。」が位置５となる。位置１に「あれ」が挿入されたので、非区切り表現考慮分割位置修正手段３３は、位置１の「修正済み？」を１に更新して、現在の修正位置を２に進める。位置２の「はそのように」に対して、単語区切り表現の最長一致を探すと、助詞の「は」と一致するため、「は」が位置２、「そのように」が位置３、「依頼」が位置４、「してください」が位置５、「。」が位置６となり、位置２の「修正済み？」を１に更新して、現在の修正位置を３に進める。
【００８９】
次に、非区切り表現考慮分割位置修正手段３３は、現在の修正位置の分割文字列の後方から非区切り表現を用いて分割を修正し、さらに単語区切り表現により修正する（図１２のＳ６）。現在の修正位置は３であるため、後方からの最長一致で引く区切り文字を調べると、「そのように」と一致する。この場合、完全一致であるため、分割せずに、位置３の「修正済み？」を１に更新してＳ７へ進む。第１の実施の形態では、「そのよう／に(助詞)」と、非区切り表現を用いないことで過剰分割されてしまうことがあるが、過剰分割がなくなる。
【００９０】
図１２のＳ７〜Ｓ１０までは第１の実施の形態のフローチャートである図２のＳ７〜Ｓ１０と同様であるため説明を省略する。
【００９１】
本実施の形態では、第１の実施の形態に加え単語の区切れ目とはならない文字列を記憶させた非区切り表現辞書記憶部２４を有し、非区切り表現考慮分割位置修正手段３３により非区切り表現では文字列を分割されないよう構成されているため、ひらがな文字列の過剰分割がなくなり、より精度よく単語が切り出されるようになることで、非単語の文字列が減るため、未知語抽出の精度を向上される効果がある。
【００９２】
（第３の実施の形態）
本発明を実施するための、第３の実施の形態について図面を参照して詳細に説明する。
【００９３】
従来、形態素解析では、品詞が決まることにより、形態素コスト、品詞連接コストを用いて分かち書き結果を評価することで、出力結果を決めるので、品詞推定と形態素解析を同時に行うことは考慮されておらず、未知語の辞書属性を推定できなかった。そこで、第３の実施の形態では、第１の実施の形態の特徴に加え、未知語の辞書属性を推定する構成を追加したことを特徴とする。
【００９４】
図１４は、本発明を実施するための第３の実施の形態の構成を示すブロック図である。
【００９５】
図１４を参照すると、本発明の第３の実施の形態は、図１に示された第１の実施の形態の構成に加え、単語分割済み文書データ入力手段５と未知語情報出力手段６を有し、図１の記憶装置２の構成に加え単語分割済み文書データ記憶部２５を有し、図１のデータ処理装置３の構成に加え、辞書属性推定手段３４を有する点で第一の実施の形態と異なる。
【００９６】
以下、第１の実施の形態と異なる、単語分割済み文書データ入力手段５と、未知語情報出力手段６と、単語分割済み文書データ記憶部２５と、辞書属性推定手段３４について説明する。その他の構成は第１の実施の形態と同様であるため省略する。
【００９７】
未知語情報出力手段６は、未知語と辞書属性推定手段３４により推定された未知語の辞書属性を、未知語が抽出された文書データと共に表示する。
【００９８】
単語分割済み文書データ入力手段５は、単語分割された文書データを単語分割済み文書データ記憶部２５に記憶させる。単語分割済み文書データ入力手段により入力されるデータは、任意の形態素解析システムで自動分割した結果を挿入してもよいし、人手によって分割したデータでもよいし、第１の実施の形態の文字種分割手段３０と分割位置修正手段３１により自動分割した結果でもよい。
【００９９】
辞書属性推定手段３４は、未知語判定手段により未知語と判定された文字列と、単語辞書記憶部２２から読み出した単語データと、単語分割済み文書データ記憶部２５から読み出した単語分割済み文書データとから、単語辞書記憶部２２に定義された辞書属性の中から未知語の辞書属性を推定する。具体的には、未知語の辞書属性は、未知語と同じ文脈で現れる単語の辞書属性と類似するという考えから、未知語が抽出された文書データと未知語の周辺の単語列が同じである文書データを単語分割済み文書データから探し、同じパタンで挟まれた文字列が単語辞書に登録されている語であったら、その辞書属性の頻度を数え、最も頻度の高い辞書属性を未知語の辞書属性とする。例えば、単語辞書の辞書属性として、品詞として定義されていて、単語辞書記憶部２２には、「学校」が「名詞」、「プール」が「名詞」という少なくとも２つのデータが存在し、単語分割済み文書データ記憶部２５には、「昨日／は／学校/ へ／いった／。」と「昨日／は／プール／へ／いった／。」が記憶されていて、「昨日／は／ガッコウ／へ／いった／。」の「ガッコウ」が未知語と判定されたとする。その場合は、前後２単語の文字列パタンが同じであったら同一文脈としてみなすとすると、「学校」と「プール」が、同一文脈で出現する単語となり、どちらも辞書属性が「名詞」であるため、「ガッコウ」の辞書属性である品詞は「名詞」と推定される。ここで、前後の単語数は変えてもよい。
【０１００】
また、同一文脈で出現した単語と未知語の文字列の類似度が高い場合、その単語の辞書属性について重みをつけて頻度を数えても良い。文字列の類似度としては、編集距離や前方一致の文字数や後方一致の文字数が考えられる。特に、後方一致は、日本語において複合語は後方の単語が意味を表す場合が多く、また活用形が辞書属性の推定に有効と考えられるので有効である。また、意図的に表記を崩した文書が対象の場合は、促音や長音を表す文字の削除コストを低く設定した編集距離を用いるとよい。文字列の類似度を測る際に、未知語のカタカナ文字列をひらがなに変換した文字列を用いてもよい。例えば、カタカナをひらがなに変換すると、未知語である「カワイイ」は単語辞書の「かわいい」と一致する。辞書属性は最もよい１つではなく、頻度が閾値を超えた全ての属性を頻度順に付与してもよい。同一文脈の文書データが一つも無かった場合や、同一文脈の文書データで未知語と同じ文脈であらわれた単語のうち、辞書属性が設定されている語がなかったために頻度を数えられなかった場合、辞書属性は「不明」とする。ここで、頻度が一定以下の場合は信頼度が低いため「不明」と出力してもよい。
【０１０１】
次に、図１４の機能ブロック図及び図１５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【０１０２】
まず、未知語の抽出対象の文書データを、文書データ入力手段１により文書データ記憶部２０に記憶させ、単語分割済み文書データを単語分割済み文書データ入力手段５により単語分割済み文書データ記憶部２５に記憶させる（図１５のＳ１）。文書データ記憶部２０に記憶されたデータの例は、第一の実施の形態で説明した図３と同様とする。図１６は単語分割済み文書データ記憶部２５に記憶される文書データの例である。図１６によると、単語分割済みデータ記憶部２５は、「分割済み文書ＩＤ」と単語が分割された結果が入っている「単語分割済み文書データ」からなる。
【０１０３】
図１５のＳ２〜Ｓ９は、図２のフローチャートのＳ２〜Ｓ９と同様であるため説明を省略する。
【０１０４】
次に、辞書属性推定手段３４は、未知語判定手段３２により未知語と判定された全分割文字列を対象に、単語辞書記憶部２２から読み出した単語データと、単語分割済み文書データ記憶部２５から読み出した単語分割済み文書データを用いて辞書属性を推定する（図１５のＳ１０）。
【０１０５】
図１７は、本実施の形態の例における単語辞書記憶部２２に記憶されているデータである。辞書属性として、品詞と極性を定義している。極性は、肯定的な意味を含む語であれば「肯定的」、否定な意味を含む語であれば「否定的」を付与している。ここでは、第一の実施の形態の説明と同様に、Ｓ９までに、図２の文書ＩＤ２の文で「かっわい〜い」が未知語として判定されている前提で説明する。また、Ｓ９までの文書ＩＤ２の文の分割結果は図７の通り、「あの／女優／かっわい〜い／ね／！」となっている。本例では、未知語の前１、後ろ１単語が一致する場合に同一の文脈とする。その時、「女優／<単語>／ね 」というパタンを持つ文を図１６の単語分割済み文書データから取得すると、分割済み文書ＩＤ1〜３までの３つの文が取り出され、「かっわい〜い」と同じ文脈で出現する語は、文書ＩＤ１から「かわいい」「いい」「かっこわるい」となる。この場合、品詞は、図１７の属性１を参照すると、形容詞＝３となり、他の属性候補はないため、「かっわい〜い」の属性１（品詞）は「形容詞」と推定できる。また、極性に関しては、「かわいい」「いい」で「肯定的」が２、「かっこわるい」で否定的が１となり、「かっわい〜い」の属性２（極性）は肯定的と推定できる。ここで、仮に分割済み文書ＩＤ２の文書データが無かった場合、そのままでは肯定的も否定的も決められないが、文字列類似度に応じて重みをつけて辞書属性の頻度を数えることで決定できる場合もある。具体的には、「かっわい〜い」は「かっこわるい」よりも「かわいい」に文字列が類似しているため「かわいい」の極性である肯定的に重みをつけて頻度を数えるようにすればよい。文字列の類似度として編集距離を用いた例を説明する。編集距離は小さいほど類似しているとみなせる値であり、完全一致する文字列では０となる。「かわいい」と「かっわい〜い」の編集距離は２、「かっこわるい」と「かっわい〜い」の編集距離は３、であり「かわいい」と「かっわい〜い」の方が類似していることがわかる。重み付けの例として、編集距離の逆数を考える、「かわいい」の「肯定的」は１／２で、「かっこわるい」の「否定的」は１／３となり、文書ＩＤ２の文書データがない場合にも、文字列が類似する語の辞書属性の重みを増やすことで肯定的と推定できる。
【０１０６】
最後に、未知語情報表示手段６は、未知語判定手段３２により判定された未知語と辞書属性推定手段３４が推定した辞書属性を、抽出された文書データと共に表示する（図１５のＳ１１）。図１８は未知語情報表示手段６の表示例である。未知語が抽出された文書ＩＤと文書データは、それぞれ「文書ＩＤ」と「入力文書」として表示され、処理により分割された結果が「分割結果」で、分割文字列のうち未知語と判定された分割文字列が「未知語」として表示される。各未知語には、単語辞書で定義された任意の辞書属性の推定結果が表示されている。
【０１０７】
本実施の形態では、第１の実施の形態に加え、単語分割済み文書データ記憶部２５と辞書属性推定手段３４を有し、同じ文脈で出現する語と未知語の辞書属性が似ているという考えに基づいて辞書属性を推定しているので、文脈によってある程度決まる任意の辞書属性を推定することが可能である。
【０１０８】
（第４の実施の形態）
本発明を実施するための、第４の実施の形態について図面を参照して詳細に説明する。
【０１０９】
図１９は、本発明を実施するための第４の実施の形態の構成を示すブロック図である。図１９を参照すると、本発明の第４の実施の形態は、図１１に示された第２の実施の形態の構成に加え、単語分割済み文書データ入力手段５と未知語情報出力手段６を有し、図１１の記憶装置２の構成に加え単語分割済み文書データ記憶部２５を有し、図１１のデータ処理装置３の構成に加え、辞書属性推定手段３４を有する点で第２の実施の形態と異なる。
【０１１０】
第４の実施の形態の単語分割済み文書データ入力手段５、未知語情報出力手段６、単語分割済み文書データ記憶部２５、辞書属性推定手段３４は、第３の実施の形態の説明と同様であるので省略する。
【０１１１】
次に、図１９の機能ブロック図及び図２０のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【０１１２】
図２０のＳ１は図１５のＳ１と同様であるため、説明を省略する。
【０１１３】
図２０のＳ２〜Ｓ９は、図１２のＳ２〜Ｓ９と同様であるため、説明を省略する。
【０１１４】
図２０のＳ１０〜Ｓ１１は、図１５のＳ１０〜Ｓ１２と同様であるため説明を省略する。
【０１１５】
本実施の形態では、第２の実施の形態の構成を持っているため高精度に単語分割できることから未知語抽出の精度も高くなり、さらに単語分割済み文書データ記憶部２５と辞書属性推定手段３４を有し、同じ文脈で出現する語と未知語の辞書属性が似ているとう考えに基づいて辞書属性を推定しているので、文脈によってある程度決まる任意の辞書属性を推定することが可能である。
【０１１６】
（第５の実施の形態）
本発明を実施するための、第５の実施の形態について図面を参照して詳細に説明する。
【０１１７】
図２１は、本発明を実施するための第５の実施の形態の構成を示すブロック図である。図２１を参照すると、本発明の第５の実施の形態は、図１４に示された第３の実施の形態のデータ処理装置３の構成に加え、原形推定手段３５を有する点で第３の実施の形態と異なる。
【０１１８】
原形推定手段３５は、単語区切り表現辞書記憶部２１と単語辞書記憶部２２からそれぞれデータを読み出し、辞書属性推定手段３４により少なくとも品詞を含む未知語の辞書属性推定結果を受け取り、未知語の原形とその活用形を推定する。未知語が活用形のない品詞であれば、未知語の文字列をそのまま原形とする。
【０１１９】
原形推定手段３５は、まず単語区切り表現辞書２１から読み出した活用形表現を用いて、未知語の品詞で可能な活用形文字列を後方一致で調べ、活用形の候補を絞る。
【０１２０】
例として、仮に、抽出された未知語に、「かっわいい」「かっわいく」「かっわいかった」が存在し、それらの品詞の推定結果が「形容詞」であったとする。形容詞の活用形のうち後方一致する「い」「く」「かった」は、形容詞の活用形規則の「イ形容詞アウオ段」と「イ形容詞イ段特殊」と「イ形容詞イ段」の３つに合致したとする。ここまでで一意に決まれば、未知語の活用形を確定させ、原形はその活用形の基本形とする。決まらなければ、次に、原形推定手段３５は、単語辞書記憶部２２から読み出したデータから、前記絞り込んだ候補の活用形となる単語を読み出す。
【０１２１】
次に、各未知語をそれぞれの活用形候補で基本形に直し、同じ活用形の単語辞書の単語と類似度を測る。その時、最も類似する単語の活用形を未知語の活用形とみなし、その基本形を未知語の原形とする。文字列の類似度としては、前方一致の文字数、後方一致の文字数、編集距離、などが考えられる。編集距離を例に説明すると、前記未知語の基本形は全て「かっわいい」となり単語「かわいい」が最も類似する単語となったとすると、活用形は「かわいい」の活用形である「イ形容詞アウオ段」に確定し、原形はその基本形である「かっわいい」となる。仮に最も類似する語の類似度がことなる活用形で表れた場合は、２番目で比較するなど、一意に決まるようにしてもよいし、複数の候補を提示してもよい。未知語がカタカナの場合、ひらがなに変換して文字列類似度や活用形を調べるようにしてもよい。文字列の類似度を測る際に、高い類似性が認められ単語辞書内の単語の表記ゆれとみなせる場合は、原形を単語辞書の語としてもよい。前例の場合は、「かっわいい」の原形は「かわいい」となる。
【０１２２】
次に、図２１の機能ブロック図及び図２２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【０１２３】
図２２のＳ１からＳ１０までは、図１５のＳ１〜Ｓ１０と同様であるため、説明を省略する。
【０１２４】
次に、原形推定手段３５は、単語区切り表現辞書記憶部２１と単語辞書記憶部２２からそれぞれデータを読み出し、辞書属性推定手段３４により少なくとも品詞を含む未知語の辞書属性推定結果を受け取り、未知語の原形を推定する(図２２のＳ１１)。
【０１２５】
第３の実施の形態でのＳ１０までの例と同様に、未知語抽出と品詞の推定結果が、「タワー（名詞）」「かっわい〜い（形容詞）」となっている場合を例に説明する。まず、「タワー」は名詞であるため、活用形がないため、原形は「タワー」となる。一方、「かっわい〜い」は「形容詞」であるので活用形がある。原形推定手段３５は、単語区切り表現辞書記憶部２１から形容詞の活用形を用いて、形容詞の活用形を後方一致で調べる。後方一致で、「い」に適合する形容詞の活用形は、「イ形容詞アウオ段」「イ形容詞イ段」「イ形容詞イ段特殊」である。次に、前記３つの候補の活用形の単語のうち、基本形を単語辞書データから取得し、同じ活用形同士で全ての基本形と未知語の基本形の類似度を測る。文字列類似度の尺度として、長音（ー、〜）の削除コストをなくした編集距離を用いた例を説明する。結果、「かっわい〜い」と「かわいい」の編集距離は１となり、最も類似した語となったとする。最終的に、「かっわい〜い」の活用形は「かわいい」と同じ「イ形容詞アウオ段」となり、原形はその基本形である「かっわい〜い」となる。
【０１２６】
次に、未知語情報表示手段６は、原形推定手段３５から結果を受け取り、抽出された未知語文字列、辞書属性、原形とその活用形と未知語が抽出された文書データを表示する（図２２のＳ１２）。図２３に表示例を示す。図１３では、文書ＩＤと未知語が抽出された文書と分割処理後の結果と抽出された未知語を表示し、さらに、未知語の辞書属性と原形とその活用形を表示している。
【０１２７】
本実施の形態では、第３の実施の形態に加え、原形推定手段３５を有し、未知語の品詞と活用形文字列の後方一致により活用形候補を絞り込み、一意に決まらない場合はさらに活用形候補の単語との文字列の類似度を手がかりに活用形を決め、その活用形の基本形を原形とする構成をとっているため、未知語に活用形がある場合でも原形を推定できる。本実施の形態により、活用形によって文字列が異なる未知語があっても、同じ語であると認識する手段を提供できる。
【０１２８】
（第６の実施の形態）
本発明を実施するための、第６の実施の形態について図面を参照して詳細に説明する。
【０１２９】
図２４は、本発明を実施するための第６の実施の形態の構成を示すブロック図である。図２４を参照すると、本発明の第６の実施の形態は、図１９に示された第４の実施の形態のデータ処理装置３の構成に加え、原形推定手段３５を有する点で第３の実施の形態と異なる。
【０１３０】
原形推定手段３５は、実施の形態５で説明したものと同様であるため、説明を省略する。
【０１３１】
次に、図２４の機能ブロック図及び図２５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【０１３２】
図２５のＳ１〜Ｓ１０は、第４の実施の形態で説明した図２０のＳ１〜Ｓ１０と同様であるため、説明を省略する。
【０１３３】
図２５のＳ１１〜Ｓ１２は、第５の実施の形態で説明した図２２のＳ１１〜Ｓ１２とどうようであるため、説明を省略する。
【０１３４】
本実施の形態では、第４の実施の形態の構成を有するため、高精度に単語分割できることから未知語抽出の精度も高くなり、さらに原形推定手段３５を有し、未知語の品詞と活用形文字列の後方一致により活用形候補を絞り込み、一意に決まらない場合はさらに活用形候補の単語との文字列の類似度を手がかりに活用形を決め、その活用形の基本形を原形とする構成をとっているため、未知語を高精度に抽出でき、さらに未知語に活用形がある場合でも原形を推定できる。
【０１３５】
以上、本発明の第１から第６の実施の形態を説明したが、本発明はコンピュータソフトウェアとしても実現可能である。
【０１３６】
図２６は、本発明による未知語判定システムをインプリメントした情報処理システムの一般的ブロック構成図である。
【０１３７】
図２６に示す情報処理システムは、プロセッサ３００、プログラムメモリ３０１、記憶媒体３０２からなる。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができる。
【０１３８】
プログラムメモリ３０１には、実施の形態１から６のデータ処理装置が行う処理ステップを実行するプログラムが格納されており、このプログラムによってプロセッサ３００が動作する。記憶媒体３０２は、実施の形態１から６の記憶装置として用いられる。
【産業上の利用可能性】
【０１３９】
本発明によれば、形態素解析の前処理としての未知語抽出機能に適用できる。また、文書データから未知語と辞書属性を獲得することで、自動的な辞書増殖を実現するプログラムといった用途に適用できる。
【図面の簡単な説明】
【０１４０】
【図１】第１の実施の形態の構成を示すブロック図である。
【図２】第１の実施の形態の動作を示す流れ図である。
【図３】入力する文書データの一例を示す説明図である。
【図４】文字種分割手段により生成される分割文字列リストの一例を示す説明図である。
【図５】単語区切り表現辞書の一例を示す説明図である。
【図６】分割位置修正手段の処理を説明するための説明図である。
【図７】分割位置修正手段の処理を説明するための説明図である。
【図８】単語辞書の一例を示す説明図である。
【図９】未知語判定規則の一例を示す説明図である。
【図１０】未知語表示手段の表示例を示す説明図である。
【図１１】第２の実施の形態の構成を示すブロック図である。
【図１２】第２の実施の形態の動作を示す流れ図である。
【図１３】非区切り表現辞書の一例を示す説明図である。
【図１４】第３の実施の形態の構成を示すブロック図である。
【図１５】第３の実施の形態の動作を示す流れ図である。
【図１６】単語分割済み文書データの一例を示す説明図である。
【図１７】単語辞書の一例を示す説明図である。
【図１８】未知語情報表示手段の表示例を示す説明図である。
【図１９】第４の実施の形態の構成を示すブロック図である。
【図２０】第４の実施の形態の動作を示す流れ図である。
【図２１】第５の実施の形態の構成を示すブロック図である。
【図２２】第５の実施の形態の動作を示す流れ図である。
【図２３】未知語情報の表示例を示す説明図である。
【図２４】第６の実施の形態の構成を示すブロック図である。
【図２５】第６の実施の形態の動作を示す流れ図である。
【図２６】本発明による未知語判定システムをインプリメントした情報処理システムの一般的なブロック構成図である。
【符号の説明】
【０１４１】
１        文書データ入力手段
２        記憶装置
３        データ処理装置
２０      文書データ記憶部
２１      単語区切り表現辞書記憶部
２２      単語辞書記憶部
２３      未知語判定規則記憶部
２４      非区切り表現辞書記憶部
２５      単語分割済み文書データ記憶部
３０      文字種分割手段
３１      分割位置修正手段
３２      未知語判定手段
３３      非区切り表現考慮分割位置修正手段
３４      辞書属性推定手段
３５      原形推定手段
４        未知語表示手段
５        単語分割済み文書データ入力手段
６        未知語情報表示
３００    プロセッサ
３０１    プログラムメモリ
３０２    記憶媒体
【図１】
2009176148.tif 000003
【図２】
2009176148.tif 000004
【図３】
2009176148.tif 000005
【図４】
2009176148.tif 000006
【図５】
2009176148.tif 000007
【図６】
2009176148.tif 000008
【図７】
2009176148.tif 000009
【図８】
2009176148.tif 000010
【図９】
2009176148.tif 000011
【図１０】
2009176148.tif 000012
【図１１】
2009176148.tif 000013
【図１２】
2009176148.tif 000014
【図１３】
2009176148.tif 000015
【図１４】
2009176148.tif 000016
【図１５】
2009176148.tif 000017
【図１６】
2009176148.tif 000018
【図１７】
2009176148.tif 000019
【図１８】
2009176148.tif 000020
【図１９】
2009176148.tif 000021
【図２０】
2009176148.tif 000022
【図２１】
2009176148.tif 000023
【図２２】
2009176148.tif 000024
【図２３】
2009176148.tif 000025
【図２４】
2009176148.tif 000026
【図２５】
2009176148.tif 000027
【図２６】
2009176148.tif 000028