(57)【要約】【課題】入力された文字列から未知語候補を特定する未知語分類プログラム及び情報処理装置を提供する。【解決手段】情報処理装置１は、分類対象の文字列を受け付ける文字列情報受付手段１００と、文字列情報受付手段１００が受け付けた文字列中の文字又は文字列についての特徴量に基づいて、当該文字又は文字列と前後の文字又は文字列とが未知語として連結可能か否かを判定し、連結可能と判定された複数の文字又は文字列を未知語候補として特定する未知語候補特定手段１０１とを有する。【選択図】図１
2015014877.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
入力文字列中の文字又は文字列についての特徴量に基づいて、当該文字又は文字列と前後の文字又は文字列とが未知語として連結可能か否かを判定し、連結可能と判定された複数の文字又は文字列を未知語候補として特定する特定手段として機能させるための未知語分類プログラム。
【請求項２】
前記コンピュータを、
前記特定手段が特定した未知語候補の特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量に基づいて、前記未知語候補が未知語か否か判定する判定手段としてさらに機能させるための請求項１に記載の未知語分類プログラム。
【請求項３】
前記特定手段は、Ｎｇｒａｍモデルを用い、前記入力文字列中における文字又は文字列の出現確率を特徴量として算出する請求項１に記載の未知語分類プログラム。
【請求項４】
前記抽出手段は、前記未知語候補の文字又は文字種の分布に基づいて特徴量を抽出する請求項２に記載の未知語分類プログラム。
【請求項５】
入力文字列中の文字又は文字列についての特徴量に基づいて、当該文字又は文字列と前後の文字又は文字列とが未知語として連結可能か否かを判定し、連結可能と判定された複数の文字又は文字列を未知語候補として特定する特定手段とを有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、未知語分類プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
従来の技術として、入力文に含まれる辞書に未登録の単語（以下、「未知語」という。）を認定する情報処理装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された情報処理装置は、対象とする文字列を入力する入力部と、形態素解析に必要な語彙情報を記憶した辞書を用い、入力される文字列をキーとして辞書を検索する辞書検索部と、辞書検索部を用いて入力された文字列を形態素に分割する分割部と、分割部において分割された形態素であって１文字で形態素となりえるものが存在している場合、当該形態素と他の形態素とを連結して未知語としての単語が形成されるか否かを判断する未知語処理部と、未知語処理部の判断結果に基づいて分割された個々の単位を形態素として認定する認定部とを有し、形態素を連結して形成される単語を未知語として扱うことで未知語が含まれた文字列を解析する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１７５５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、入力された文字列から未知語候補を特定する未知語分類プログラム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の未知語分類プログラム及び情報処理装置を提供する。
【０００７】
［１］コンピュータを、
入力文字列中の文字又は文字列についての特徴量に基づいて、当該文字又は文字列と前後の文字又は文字列とが未知語として連結可能か否かを判定し、連結可能と判定された複数の文字又は文字列を未知語候補として特定する特定手段として機能させるための未知語分類プログラム。
【０００８】
［２］前記コンピュータを、
前記特定手段が特定した未知語候補の特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量に基づいて、前記未知語候補が未知語か否か判定する判定手段としてさらに機能させるための前記［１］に記載の未知語分類プログラム。
【０００９】
［３］前記特定手段は、Ｎｇｒａｍモデルを用い、前記入力文字列中における文字又は文字列の出現確率を特徴量として算出する前記［１］に記載の未知語分類プログラム。
【００１０】
［４］前記抽出手段は、前記未知語候補の文字又は文字種の分布に基づいて特徴量を抽出する前記［２］に記載の未知語分類プログラム。
【００１１】
［５］入力文字列中の文字又は文字列についての特徴量に基づいて、当該文字又は文字列と前後の文字又は文字列とが未知語として連結可能か否かを判定し、連結可能と判定された複数の文字又は文字列を未知語候補として特定する特定手段とを有する情報処理装置。
【発明の効果】
【００１２】
請求項１又は５に係る発明によれば、入力された文字列から未知語候補を特定することができる。
【００１３】
請求項２に係る発明によれば、未知語候補の文字列が未知語か否か判定することができる。
【００１４】
請求項３に係る発明によれば、Ｎｇｒａｍモデルを用いて入力文字列中の一の文字又は文字列についての特徴量を算出することができる。
【００１５】
請求項４に係る発明によれば、未知語候補の文字列中の文字又は文字種の分布に基づいて特徴量を抽出することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、情報処理装置の構成の一例を示すブロック図である。
【図２】図２は、情報処理装置の未知語候補特定動作の一例を示すフローチャートである。
【図３】図３（ａ）−（ｃ）は、情報処理装置の未知語候補特定動作を説明するための概略図である。
【図４】図４（ａ）及び（ｂ）は、情報処理装置の未知語候補特定動作を説明するための概略図である。
【図５】図５は、情報処理装置の未知語候補特定動作の一例を示すフローチャートである。
【図６】図６（ａ）及び（ｂ）は、情報処理装置の未知語候補分類動作を説明するための概略図である。
【図７】図７（ａ）及び（ｂ）は、情報処理装置の未知語候補分類動作を説明するための概略図である。
【図８】図８（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【図９】図９（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【図１０】図１０（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【図１１】図１１（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【図１２】図１２（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【図１３】図１３（ａ）及び（ｂ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【発明を実施するための形態】
【００１７】
［実施の形態］
（情報処理装置の構成）
図１は、情報処理装置１の構成の一例を示すブロック図である。
【００１８】
この情報処理装置１は、文字列のうち、辞書に未登録の単語（以下、「未知語」という。）である範囲の文字列を未知語候補として特定し、当該未知語候補の文字列が未知語か否か判定することで未知語を分類するものである。
【００１９】
また、以下の実施の形態において、辞書に登録された単語を正規表記としたとき、正規表記に対し文字の追加、削除、変更等の変形を行った異表記の単語を主に未知語として扱う。正規表記の一例として「すずしい」や「やめろ」を挙げた場合、異表記は「すーずしーい」のように「ー」（音引き）を追加したものや「やめろおおおおおお」のように「ろ」の母音である「お」を繰り返し追加したものが挙げられる。
【００２０】
なお、異表記の態様は、未知語を入力する利用者によって自由に作成されるものであり、上記した例に限られない。特に、上記した「やめろおおおおおお」のように「ろ」の母音である「お」を繰り返す例にあるように、繰り返しの回数に限定はなく、未知語の文字長は容易に変更されるものである。
【００２１】
情報処理装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やフラッシュメモリ等の記録媒体から構成され情報を記憶する記憶装置の一例としての記憶部１１と、外部データベース２０と図示しないネットワークを介して接続される通信部１２とを備える。
【００２２】
制御部１０は、後述する未知語分類プログラム１１０を実行することで、文字列情報受付手段１００、未知語候補特定手段１０１、特徴量抽出手段１０２、未知語判定手段１０３及び分類結果出力手段１０４等として機能する。
【００２３】
文字列情報受付手段１００は、未知語分類の対象とする文字列を受け付ける。文字列の一例として「今日はすーずしーいなー。」という文を受け付ける。
【００２４】
未知語候補特定手段１０１は、文字列情報受付手段１００が受け付けた文字列を構成する複数の文字の各文字境界が未知語として連結し得るか否かを判定し、連結されると判定された文字列を未知語候補として特定する。特定方法は後述するが、文字列「今日はすーずしーいなー。」においては「すーずしーい」の６文字が未知語として連結されると判定し、未知語候補として特定する。
【００２５】
特徴量抽出手段１０２は、未知語候補特定手段１０１が特定した未知語候補の文字列の特徴量を抽出する。抽出方法は後述するが、上記した例の場合、未知語候補として特定された文字列「すーずしーい」について特徴量を抽出する。
【００２６】
なお、未知語候補特定手段１０１が特定した未知語候補の文字列に、特徴量抽出手段１０２が抽出した特徴量を関連付けた情報は、学習情報１１２として記憶部１１に格納される。また、学習情報１１２を用いて図示しない学習手段によって学習を行った結果、生成される学習モデルは分類モデル情報１１３として記憶部１１に格納される。なお、学習はサポートベクターマシン、隠れマルコフモデル、ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄｓ）、ＡｄａＢｏｏｓｔ等の手法を用いて行われる。
【００２７】
未知語判定手段１０３は、未知語候補特定手段１０１が未知語候補として特定した文字列「すーずしーい」について、特徴量抽出手段１０２が抽出した特徴量に基づいて、分類モデル情報１１３を用いて未知語か否か判定する。
【００２８】
分類結果出力手段１０４は、未知語判定手段１０３の判定結果を含む文字列の分類結果を出力する。分類結果としては、文字列「すーずしーい」が未知語であるか否かを出力する。また、分類結果は、図示しない外部端末の表示部等に表示される情報として出力されるものであってもよい。
【００２９】
記憶部１１は、未知語分類プログラム１１０、文字列情報１１１、学習情報１１２及び分類モデル情報１１３等を格納する。
【００３０】
未知語分類プログラム１１０は、制御部１０で実行することにより制御部１０を上記した各手段１００〜１０４として機能させるプログラムである。
【００３１】
文字列情報１１１は、一例として、日本語であって少なくとも１つの文を含む文字列である。文は、電子メールでやりとりされるテキスト情報や、複数の利用者によって文字情報が投稿されるマイクロブログ（Ｍｉｃｒｏｂｌｏｇ）、音声をテキスト化した情報や、印刷された紙面を光学走査して得られる情報等である。なお、文字列情報１１１は、日本語に限らず他の言語を用いてもよい。なお、文字列情報１１１は、外部から取得する構成であってもよい。
【００３２】
なお、情報処理装置１は、例えば、サーバ装置やパーソナルコンピュータであり、携帯電話等や携帯情報処理端末を用いることができる。
【００３３】
また、外部データベース２０は、辞書情報２００及び正規化ルール情報２０１等を格納し、情報処理装置１の要求に応じて情報を読み出して送信する。
【００３４】
辞書情報２００は、文字列が形態素等の情報とともに予め登録された情報であり、未知語以外の正規表現の文字列が登録される。正規表現の文字列としては、例えば、「すずしい」、「やめろ」、「あぶない」、「ちくちょう」、「あついよ」等である。
【００３５】
正規化ルール情報２０１は、未知語を正規表現に変形する（以下、「正規化」という。）ルールが記載された情報であり、後述する変形例において特徴量抽出手段１０２によって用いられる情報である。正規化のルールとしては、例えば、直前の文字がひらがな又は漢字である場合に当該長音符（おんびき「ー」）を削除する（「すーずしーい」を「すずしい」に正規化する）、直前の文字がひらがなかつ同じ母音の文字である場合に当該小書き文字を削除する（「やめろおおおお」を「やめろ」に正規化する）等が挙げられる。
【００３６】
（情報処理装置の動作）
次に、本実施の形態の作用を、（１）未知語候補特定動作、（２）未知語候補分類動作に分けて説明する。
【００３７】
（１）未知語候補特定動作
図２は、情報処理装置１の未知語候補特定動作の一例を示すフローチャートである。また、図３（ａ）−（ｃ）並びに図４（ａ）及び（ｂ）は、情報処理装置１の未知語候補特定動作を説明するための概略図である。
【００３８】
まず、図３（ａ）に示すように、文字列情報受付手段１００は、文字列の一例として「今日はすーずしーいなー。」という文を受け付け、当該文字列の文字に順番にｉ＝０、１、２…、１１と配列番号を振り、テキストデータ配列Ｔ［Ｎ］とする。
【００３９】
次に、テキストデータ配列Ｔ［Ｎ］のｉ＝０から順に以下の動作を行う（Ｓ１、Ｓ２、Ｓ６）。
【００４０】
まず、未知語候補特定手段１０１は、図４（ａ）に示すように、対象となるｉ番目の文字と（図示しているのはｉ＝６の場合）、当該文字の前後数個の文字との関係から特徴量を抽出する（Ｓ３）。なお、ステップＳ３については「（１−１）出現確率及び連結判定動作」並びにその変形例にて詳細に説明する。
【００４１】
未知語候補特定手段１０１は、ステップＳ３の特徴量の抽出動作の一例として、Ｎｇｒａｍ言語モデルを用い、ｉ番目の文字をｘｉとし、１つ前の文字ｘｉ−１との境界をｐｉとしたとき、ｉ番目の文字ｘｉが未知語として出現する確率を特徴量として抽出する。ここで、図４（ｂ）に示すように、１−ｇｒａｍモデル、２−ｇｒａｍモデル、３−ｇｒａｍモデルの場合についてそれぞれ特徴量が抽出される。なお、「Ｃ」は漢字を、「Ｈ」はひらがなを、「Ｍ」は長音符を表す。なお、「Ｓａｍｅ  ｃｈａｒａｃｔｅｒ  ｃｈｅｃｋ」は、ｘｉとｘｉ−１とが同じ文字かどうか（後述する「出現確率及び連結判定の変形例２」参照）を示し、「Ｐｒｏｄｕｃｔｉｖｉｔｙ」はｐｉ-1、ｐｉ-2およびｐｉ-3の推定結果（後述する「出現確率及び連結判定の変形例３」参照）を示す。
【００４２】
次に、未知語候補特定手段１０１は、図３（ｂ）に示すように、抽出した特徴量に基づいてｉ番目の文字ｘｉと前後の文字とが連結するか否かを判定する（Ｓ４）。ここで、連結する場合を「１」、連結しない場合を「０」としている。また、なお、ステップＳ４についても「（１−１）出現確率及び連結判定動作」並びにその変形例にて詳細に説明する。
【００４３】
次に、未知語候補特定手段１０１は、上記した連結判定の結果に基づいて連結データ配列Ｓ［Ｍ］として「今  日  は  すーずしーい  なー  。」を出力する（Ｓ５）。つまり、「すーずしーい」が未知語として連結されると判定され、その他の文字は未知語として連結されないと判定されたことを示す。
【００４４】
（１−１）出現確率及び連結判定動作
上記した出現確率及び連結判定動作は、例えば、以下に説明するような複数の方法のいずれか又はこれらの組み合わせを用いて行う。複数の方法を、変形例を含めて説明する。
【００４５】
１つ目の方法として、未知語候補特定手段１０１は、Ｎｇｒａｍモデルにおいて、例えば、文字列中にＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）やメールアドレスが含まれていた場合にはこれらを１文字扱いとして、文の最初又は最後に現れる句読点のような情報をもたせ、これを出現確率及び連結判定に考慮する。
【００４６】
また、他の例として、「Ｔｗｉｔｔｅｒ」（登録商標）等のマイクロブログにおける文字列を扱う場合においては、「＠」とユーザー名との組み合わせや、「＃」と単語との組み合わせ（ハッシュタグ）といったような表現が慣用されるため、当該表現を１文字扱いとすることで文の最初、最後又は特定の位置に現れる句読点のような情報をもたせる。
【００４７】
（出現確率及び連結判定の変形例１）
また、他の方法として、未知語候補特定手段１０１は、Ｎｇｒａｍモデルにおいて、ひらがな、カタカナ、半角カナ、漢字、大文字、小文字、数字、長音符、正規化表現等の文字種を識別し、文字種に応じて出現確率を算出し、連結判定に考慮する。一例として、未知語には長音符が挿入されやすいという特徴があるため、長音符の出現確率を高く設定する。
【００４８】
（出現確率及び連結判定の変形例２）
また、未知語には同じ文字の挿入が起こりやすいという特徴があるため、境界ｐｉの前後の文字が同じかどうかを出現確率及び連結判定に反映させてもよい。
【００４９】
（出現確率及び連結判定の変形例３）
また、一部の未知語は直近で繰り返し用いられることがあるという特徴があるため、直近の連結判定結果を考慮して出現確率を算出してもよい。例えば、未知語として連結されるとした連結判定が２回連続した場合にそれに続く３回目も連結されやすいと判定し、未知語として連結されるとした連結判定が６回あった場合に７回目は連結されにくいといったように、直近の連結判定の回数によって連結されやすい又は連結されにくいと判定する。
【００５０】
（２）未知語候補分類動作
図５は、情報処理装置１の未知語候補特定動作の一例を示すフローチャートである。また、図６（ａ）及び（ｂ）並びに図７（ａ）及び（ｂ）は、情報処理装置１の未知語候補分類動作を説明するための概略図である。
【００５１】
まず、特徴量抽出手段１０２は、図６（ａ）に示す、未知語候補特定手段１０１が未知語として連結される又はされないとして特定した単位ごとに順番にｊ＝０、１、２…、５と連結データ配列Ｓ［Ｍ］に配列番号を振る。
【００５２】
次に、連結データ配列Ｓ［Ｍ］のｊ＝０から順に以下の動作を行う（Ｓ１０、Ｓ１１、Ｓ１５）。
【００５３】
まず、特徴量抽出手段１０２は、図７（ａ）に示すように、一例として、未知語候補ｗｊの前３個分の文字をｘ−３−ｘ−１、後３個分の文字をｘ＋１−ｘ＋３としたとき、未知語候補ｗｊと、文字ｘ−３−ｘ−１と文字ｘ＋１−ｘ＋３との関係から特徴量を抽出する（Ｓ１２）。なお、前後の文字数は３に限られるものではなく、自由に設定してよい。なお、ステップＳ１２については「（２−１）特徴量抽出及び未知語判定動作」並びにその変形例にて詳細に説明する。
【００５４】
次に、未知語判定手段１０３は、図６（ｂ）に示すように、特徴量抽出手段１０２が抽出した特徴量に基づいて、予め学習した結果として生成された分類モデル情報１１３を用いて未知語候補ｗｊが未知語であるか否かを判定する（Ｓ１３）。ここで、「ＯＯＶ」は未知語であると判定されたもの、「ｎｏｎｅ」は未知語でないと判定されたものである。なお、ステップＳ１３についても「（２−１）特徴量抽出及び未知語判定動作」並びにその変形例にて詳細に説明する。
【００５５】
次に、分類結果出力手段１０４は、未知語判定手段１０３の判定結果を含む文字列の分類結果を出力する（Ｓ１４）。
【００５６】
（２−１）特徴量抽出及び未知語判定動作
なお、上記した特徴量抽出は、例えば、以下に説明するような複数の方法のいずれか又はこれらの組み合わせを用いて行う。複数の方法を、変形例を含めて説明する。
【００５７】
１つ目の方法として、特徴量抽出手段１０２は、図７（ａ）に示すように、未知語候補ｗｊが、文字ｘ−３−ｘ−１と文字ｘ＋１−ｘ＋３との間に未知語として挿入される確率を特徴量として抽出する。
【００５８】
上記の特徴量の抽出は、図７（ｂ）に示すように、Ｎｇｒａｍモデルにおいて実行され、一例として、１−ｇｒａｍ、２−ｇｒａｍ、３−ｇｒａｍの場合に算出される。
【００５９】
（特徴量抽出及び未知語判定の変形例１）
図８（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【００６０】
また、他の方法として、特徴量抽出手段１０２は、図８（ａ）に示す未知語候補ｗｊについて、図８（ｂ）に示すように、一例として、１−ｇｒａｍ、２−ｇｒａｍ、３−ｇｒａｍの場合に、未知語になりやすい文字の組み合わせが含まれている場合に大きい特徴量を抽出する。
【００６１】
大きい特徴量を抽出する例としては、図８（ｃ）に示すように、１−ｇｒａｍの場合において、「やめろおおおおおお」のように正規表現「やめろ」に対して「お」が連続する場合、「あぶねえええ」のように「え」が連続する場合、「ちくしょおおぉおぉぉお」のように「お」又は「ぉ」が連続する場合、「あちーーーーーーーよ」のように「ー」が連続する場合等が挙げられる。
【００６２】
（特徴量抽出及び未知語判定の変形例２）
図９（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【００６３】
また、他の方法として、特徴量抽出手段１０２は、図９（ａ）に示す未知語候補ｗｊについて、図９（ｂ）に示すように、一例として、１−ｇｒａｍ、２−ｇｒａｍ、３−ｇｒａｍの場合に、任意の文字の組み合わせが多く含まれている場合に大きい特徴量を抽出する。
【００６４】
特徴量としては、図９（ｃ）に示すように、文字の組み合わせごとに出現数を集計して標準偏差を算出する。例えば、１−ｇｒａｍの場合において、「すーずしーい」のように「ー」の出現数が「２」と、他の文字の出現数「１」に比べて多く含まれる場合は標準偏差が「０．５」となる。
【００６５】
また、「やめろおおおおおお」のように「お」の出現数が「６」と、他の文字の出現数「１」に比べて多く含まれる場合は標準偏差が「２．５」となる。「あぶない」のように出現数が均等である場合は標準偏差が「０」となる。「ちくしょおおぉおぉぉお」のように「お」又は「ぉ」が他の文字に比べて多く含まれる場合は標準偏差が「１．３３」となる。
【００６６】
なお、上記した大書き文字「お」と小書き文字「ぉ」を同一のものとして集計してもよいし、ひらがな「あ」とカタカナ「ア」を、文字種を考慮せずに同一のものとして集計してもよい。
【００６７】
また、図９（ｂ）に示す「Ｓｔａｎｄａｒｄ  ｄｅｖｉａｔｉｏｎ」は、未知語候補「すーずしーい」についての標準偏差であり、１−ｇｒａｍで算出した標準偏差０．５を「１／０．５」と、１−ｇｒａｍで文字種を考慮せずに算出した標準偏差１．４１４を「１（ｔ）／１．４１４」と、２−ｇｒａｍで算出した標準偏差０を「２／０」と、２−ｇｒａｍで文字種を考慮せずに算出した標準偏差０．５７７を「２（ｔ）／０．５７７」と、３−ｇｒａｍで算出した標準偏差０を「３／０」と、３−ｇｒａｍで文字種を考慮せずに算出した標準偏差０．５７７を「３（ｔ）／０．５７７」と記載している。
【００６８】
（特徴量抽出及び未知語判定の変形例３）
図１０（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【００６９】
また、他の方法として、特徴量抽出手段１０２は、図１０（ａ）に示す未知語候補ｗｊについて、図１０（ｂ）に示すように、一例として、１−ｇｒａｍ、２−ｇｒａｍ、３−ｇｒａｍの場合に、任意の文字の組み合わせの出現数に応じて大きい特徴量を抽出する。
【００７０】
特徴量としては、図１０（ｃ）に示すように、文字の組み合わせごとに同じ文字の出現数を算出する。例えば、１−ｇｒａｍの場合において、「すーずしーい」のように「ー」が２回出現した場合は同じ文字の出現数が「１」となる。また、「やめろおおおおおお」のように「お」が６回出現した場合は同じ文字の出現数が「５」となる。「あぶない」のように文字が重複しない場合は同じ文字の出現数が「０」となる。「ちくしょおおぉおぉぉお」のように「お」及び「ぉ」がそれぞれ４回及び３回出現した場合は同じ文字の出現数が「５」となる。
【００７１】
なお、上記した「お」と「ぉ」を同一のものとして７回出現と集計して、出現数「６」としてもよい。また、出現数は数値で評価してもよいし、「０」、「１」、「２−４」、「５−９」「１０−」のように数値範囲で区切って段階的に評価してもよい。
【００７２】
また、図１０（ｂ）に示す「Ｎｕｍｂｅｒ  ｏｆ  ｓａｍｅ  ｃｈａｒａｃｔｅｒ」は、未知語候補「すーずしーい」についての同じ文字の出現数であり、１−ｇｒａｍで算出した出現数１を「１／１」と、２−ｇｒａｍで算出した出現数０を「２／０」と、３−ｇｒａｍで算出した出現数１を「３／０」と記載いしている。
【００７３】
（特徴量抽出及び未知語判定の変形例４）
図１１（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【００７４】
また、他の方法として、特徴量抽出手段１０２は、図１１（ａ）に示す未知語候補ｗｊについて、図１１（ｂ）に示すように、「Ｉｎｎｅｒ  ｃｈａｒａｃｔｅｒ  ｌｅｎｇｔｈ」として文字長を特徴量として抽出するとともに「０」、「１」、「２−４」、「５−９」「１０−」のように数値範囲で区切って素性化する。なお、「Ａｎｎｏｔａｔｅｄ」とは学習情報１１２に同様の表現があるかどうかを示す素性である。
【００７５】
抽出される特徴量としては、図１１（ｃ）に示すように、例えば、「すーずしーい」であれば文字長が「６」で素性化すると「５−９」となる。また、「やめろおおおおおお」であれば文字長が「９」で素性化すると「５−９」となる。「あぶない」であれば文字長が「４」で素性化すると「２−４」となる。「ちくしょおおぉおぉぉお」であれば文字長が「１１」で素性化すると「１０−」となる。
【００７６】
なお、当該方法は、他の方法と組み合わせることで未知語の判定に役立つ。例えば、文字長の値が大きく、「（特徴量抽出の変形例３）」で示した出現数の値が大きい場合は、正規表現から大きく変形されていると考えられるため、未知語であると判定する。
【００７７】
（特徴量抽出及び未知語判定の変形例５）
図１２（ａ）−（ｃ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【００７８】
また、他の方法として、特徴量抽出手段１０２は、図１２（ａ）に示す未知語候補ｗｊつまり「すーずしーい」について、正規化ルール情報２０１の直前がひらがな又は漢字なら長音符を削除する、というルールを用いて「すずしい」に正規化し、当該正規化された文字列が辞書情報２００に存在するか否かによって特徴量を抽出する。当該正規化した「やめろ」が辞書情報２００に存在する場合、図１２（ｂ）に示すように「Ｄｉｃｔｉｏｎａｒｙ：ｔｒｕｅ」となり、特徴量を大きく評価する。
【００７９】
正規化ルールの例としては、図１２（ｃ）に示すように未知語候補ｗｊ「やめろおおおおおお」について、直前がひらがなかつ同じ母音の文字である場合、当該文字を削除する、という正規化のルールを用いて「やめろ」を得る。
【００８０】
同様に、「あぶねえええ」は「あぶね」と正規化されるが、辞書情報２００に存在しないため「Ｄｉｃｔｉｏｎａｒｙ：ｆａｌｓｅ」となる。しかし、学習情報１１２に「あぶねえ」が存在する場合は、当該学習情報１１２の「あぶねえ」を直前がひらがなかつ同じ母音の文字である場合、当該文字を削除する、という正規化ルールで正規化した「あぶね」と一致するため、図１２（ｂ）に示すように「Ａｎｎｏｔａｔｅｄ  ｎｏｒｍａｌｉｚｅｄ：ｔｒｕｅ」となる。
【００８１】
また、「ちくしょおおおおぉぉぉ」は、直前がひらがなかつ同じ母音の文字である場合、当該文字を削除する、及び直前がひらがなかつ同じ母音の文字である場合、当該小書き文字を削除する、というルールを用いて「ちくしょお」と正規化され、「あちーーーーーーーよ」は、直前がひらがな又は漢字なら長音符を削除する、というルールを用いて「あちよ」と正規化された後、辞書情報２００の登録内容と照合する。
【００８２】
（特徴量抽出及び未知語判定の変形例６）
図１３（ａ）及び（ｂ）は、特徴量抽出及び未知語判定の動作の変形例を説明するための図である。
【００８３】
また、他の方法として、特徴量抽出手段１０２は、図１３（ａ）に示す未知語候補ｗｊについて、前後の未知語候補ｗｊ−３、ｗｊ−２、ｗｊ−１についての未知語判定結果を用いて特徴量を抽出する。
【００８４】
例えば、図１３（ｂ）に示すように、ｗｊ−３、ｗｊ−２、ｗｊ−１の判定結果はそれぞれ「ｎｏｎｅ」、「ＯＯＶ」、「ｎｏｎｅ」であり、ｗｊ−２が未知語と判定されているとする。さらに、同一の文字列の出現を示す「Ｐｒｅｓｅｎｃｅ」がｗｊ−２において「ｔｒｕｅ」となっており、ｗｊと同一の「やったー」という文字列がｗｊ−２に出現しているとする。この場合について、一部の未知語は直近で繰り返し用いられるという特徴があるため、ｗｊ−２が未知語と判定されている場合は、ｗｊの特徴量の抽出の際に考慮される。
【００８５】
（実施の形態の効果）
上記した実施の形態によると、文字列情報受付手段１００が受け付けた入力文字列中の一の文字又は文字列についての特徴量を抽出し、当該特徴量に基づいて当該一の文字又は文字列と前後の文字又は文字列とが未知語として連結可能か否かを判定したため、連結可能と判定された文字又は文字列からなる文字列を、未知語候補として特定することができる。特に、未知語としてその生成過程において文字長が可変であるもの、また、生成過程が一意でないものについて特定することができる。
【００８６】
また、未知語候補特定手段１０１が特定した未知語候補の文字列について特徴量抽出手段１０２により特徴量を抽出し、未知語判定手段１０３が抽出された特徴量に基づいて、未知語候補の文字列が未知語か否か判定するようにしたため、形態素解析では判定できない未知語であっても未知語と判定することができる
【００８７】
また、文字列情報１１１として日本語以外の言語を用いてもよい旨記載したが、単語間にスペースが入らないことで単語間の区切りの判定が難しい言語の場合に特に、上記した効果を奏する。
【００８８】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、品詞によって未知語の生成過程のパターンが異なることを利用して、当該パターン毎に未知語の判定手法を変えてもよい。例えば、感動詞やフィラーの場合は、「おはよおおおおーーーう」や「やっほおおおい」とのように母音や長音符が連続しやすい、といった特徴に基づいて判定する。また、助詞や助動詞の場合は、「（やった）ねー！」や「（そうだ）よー。」のように長音符や母音が連続しやすい、終助詞に関する未知語が多い、末尾の文字が長音符や母音の場合が多い、といった特徴に基づいて判定する。
【００８９】
分類結果出力手段１０４が出力する分類結果を形態素解析の際に用いる形態素ラティス（単語の候補）に追加して用いてもよい。これにより、可変長の未知語に対応した形態素解析を行うことができる。
【００９０】
上記実施の形態では制御部１０内の各手段１００−１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００９１】
１     情報処理装置
１０   制御部
１１   記憶部
１２   通信部
２０   外部データベース
１００ 文字列情報受付手段
１０１ 未知語候補特定手段
１０２ 特徴量抽出手段
１０３ 未知語判定手段
１０４ 分類結果出力手段
１１０ 未知語分類プログラム
１１１ 文字列情報
１１２ 学習情報
１１３ 分類モデル情報
２００ 辞書情報
２０１ 正規化ルール情報
【図１】
2015014877.tif 000003
【図２】
2015014877.tif 000004
【図３】
2015014877.tif 000005
【図４】
2015014877.tif 000006
【図５】
2015014877.tif 000007
【図６】
2015014877.tif 000008
【図７】
2015014877.tif 000009
【図８】
2015014877.tif 000010
【図９】
2015014877.tif 000011
【図１０】
2015014877.tif 000012
【図１１】
2015014877.tif 000013
【図１２】
2015014877.tif 000014
【図１３】
2015014877.tif 000015