(57)【特許請求の範囲】
【請求項１】
第１の時刻に対応する第１のデータおよび前記第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、前記第１のデータに対応する第１の文字列、および、前記第２のデータに対応し前記第１の文字列の一部を含む第２の文字列を認識する認識部と、
前記第１の文字列の少なくとも一部と前記第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する生成部と、
前記第１の時刻および前記第１の文字列、ならびに、前記第２の時刻および前記第２の文字列をそれぞれ関連付けて格納するバッファと
を具備し、
前記時系列データは、前記第１の時刻よりも後の第３の時刻に対応する第３のデータをさらに含み、
前記認識部は、前記第３のデータに対応し前記第１の文字列の一部を含む第３の文字列をさらに認識し、
前記バッファは、前記第３の時刻および前記第３の文字列を関連付けてさらに格納し、
前記生成部は、第１の文字列および第２の文字列の差分に応じて、前記バッファから取得する文字列の時間間隔を前記第１の時刻と前記第２の時刻との時間間隔から前記第１の時刻と前記第３の時刻との時間間隔に変更する、言語処理装置。
【請求項２】
第１の時刻に対応する第１のデータおよび前記第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、前記第１のデータに対応する第１の文字列、および、前記第２のデータに対応し前記第１の文字列の一部を含む第２の文字列を認識する認識部と、
前記第１の文字列の少なくとも一部と前記第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する生成部と
を具備し、
前記生成部は、ある時刻に対応する文字列の先頭部分と当該ある時刻よりも後の時刻に対応する文字列の後尾部分とが一致することを検知することによって、前記生成文字列の生成を終了する、言語処理装置。
【請求項３】
前記第１の時刻および前記第１の文字列、ならびに、前記第２の時刻および前記第２の文字列をそれぞれ関連付けて格納するバッファ
を更に具備する、請求項２に記載の言語処理装置。
【請求項４】
前記時系列データは、前記第１の時刻よりも後の第３の時刻に対応する第３のデータをさらに含み、
前記認識部は、前記第３のデータに対応し前記第１の文字列の一部を含む第３の文字列をさらに認識し、
前記バッファは、前記第３の時刻および前記第３の文字列を関連付けてさらに格納し、
前記生成部は、第１の文字列および第２の文字列の差分に応じて、前記バッファから取得する文字列の時間間隔を前記第１の時刻と前記第２の時刻との時間間隔から前記第１の時刻と前記第３の時刻との時間間隔に変更する、請求項３に記載の言語処理装置。
【請求項５】
前記時系列データは、文字情報を含む対象物を連続撮影することによって得られる第１の画像データ、および、文字情報を含む対象物を動画撮影することによって得られた動画から複数のフレームを切り出すことによって得られる第２の画像データのどちらかである、請求項１乃至請求項４のいずれか一項に記載の言語処理装置。
【請求項６】
前記生成文字列を第１の言語から第２の言語に機械翻訳することによって翻訳文字列を得る翻訳部
を更に具備する、請求項１乃至請求項５のいずれか一項に記載の言語処理装置。
【請求項７】
前記認識部は、前記時系列データから前記第１の文字列および前記第２の文字列が含まれる文字列範囲をさらに認識し、
前記文字列範囲に含まれる前記第１の言語の文字列を前記第２の言語の前記翻訳文字列へと置き換えることによって翻訳画像データを逐次的に生成する画像制御部
を更に具備する、請求項６に記載の言語処理装置。
【請求項８】
前記生成部は、
前記生成文字列の尤もらしさを示すスコアを算出する算出部と、
前記スコアが閾値以上であるか否かを判定する判定部と
を更に具備し、
前記判定部は、前記スコアが前記閾値以上である場合に前記生成文字列を出力する、請求項１乃至請求項７のいずれか１項に記載の言語処理装置。
【請求項９】
前記算出部は、言語モデルと前記生成文字列とを照合することによって、前記スコアを算出する、請求項８に記載の言語処理装置。
【請求項１０】
前記生成規則は、前記第１の文字列および前記第２の文字列の間の重複文字列を用いた結合規則を含み、
前記生成規則は、前記第１の文字列および前記第２の文字列の言語特徴を用いた分割規則を含み、
前記言語特徴は、句点、読点、記号、および助動詞のうちの少なくとも１つを含む、
請求項１乃至請求項９のいずれか一項に記載の言語処理装置。
【請求項１１】
第１の時刻に対応する第１のデータおよび前記第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、前記第１のデータに対応する第１の文字列、および、前記第２のデータに対応し前記第１の文字列の一部を含む第２の文字列を認識することと、
前記第１の文字列の少なくとも一部と前記第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成することと、
前記第１の時刻および前記第１の文字列、ならびに、前記第２の時刻および前記第２の文字列をそれぞれ関連付けてバッファに格納することと
前記時系列データは、前記第１の時刻よりも後の第３の時刻に対応する第３のデータをさらに含み、
前記第３のデータに対応し前記第１の文字列の一部を含む第３の文字列をさらに認識することと、
前記第３の時刻および前記第３の文字列を関連付けて前記バッファにさらに格納することと、
第１の文字列および第２の文字列の差分に応じて、前記バッファから取得する文字列の時間間隔を前記第１の時刻と前記第２の時刻との時間間隔から前記第１の時刻と前記第３の時刻との時間間隔に変更することと
を具備する、言語処理方法。
【請求項１２】
第１の時刻に対応する第１のデータおよび前記第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、前記第１のデータに対応する第１の文字列、および、前記第２のデータに対応し前記第１の文字列の一部を含む第２の文字列を認識することと、
前記第１の文字列の少なくとも一部と前記第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成することと
ある時刻に対応する文字列の先頭部分と当該ある時刻よりも後の時刻に対応する文字列の後尾部分とが一致することを検知することによって、前記生成文字列の生成を終了することと
を具備する、言語処理方法。
【請求項１３】
コンピュータを、
第１の時刻に対応する第１のデータおよび前記第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、前記第１のデータに対応する第１の文字列、および、前記第２のデータに対応し前記第１の文字列の一部を含む第２の文字列を認識する手段と、
前記第１の文字列の少なくとも一部と前記第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する手段と、
前記第１の時刻および前記第１の文字列、ならびに、前記第２の時刻および前記第２の文字列をそれぞれ関連付けてバッファに格納する手段と、
前記時系列データは、前記第１の時刻よりも後の第３の時刻に対応する第３のデータをさらに含み、
前記第３のデータに対応し前記第１の文字列の一部を含む第３の文字列をさらに認識する手段と、
前記第３の時刻および前記第３の文字列を関連付けて前記バッファにさらに格納する手段と、
第１の文字列および第２の文字列の差分に応じて、前記バッファから取得する文字列の時間間隔を前記第１の時刻と前記第２の時刻との時間間隔から前記第１の時刻と前記第３の時刻との時間間隔に変更する手段
として機能させる、言語処理プログラム。
【請求項１４】
コンピュータを、
第１の時刻に対応する第１のデータおよび前記第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、前記第１のデータに対応する第１の文字列、および、前記第２のデータに対応し前記第１の文字列の一部を含む第２の文字列を認識する手段と、
前記第１の文字列の少なくとも一部と前記第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する手段と、
ある時刻に対応する文字列の先頭部分と当該ある時刻よりも後の時刻に対応する文字列の後尾部分とが一致することを検知することによって、前記生成文字列の生成を終了する手段
として機能させる、言語処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、言語処理装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、携帯端末に内蔵のカメラデバイスによって撮影された画像から文字列を認識し、当該文字列に対して機械翻訳をする技術が知られている。係る技術は、一般的に画像中に表示されている文字列の単位で文字認識を行う。文単位となっていない文字列に対しては、形態素解析、フォントサイズ、および文字位置を用いて文字列の区切り判定を行い、機械翻訳をする技術が知られている。また、文字列が含まれる複数の画像を結合させて連続する文字領域を判定する技術や隣り合う文字列の行を連結させて文字列の区切り判定の精度を向上させる技術などが知られている。
【０００３】
しかしながら、上記の技術は、ある時刻に全ての文字列が表示されている場合を前提としている。例えば、係る技術は、空港や駅の案内表示板などにおいて、スクロールする文字列を正しく認識することができない。さらに、係る技術は、スクロール中の部分的な文字列に対して翻訳処理を行うことによって、誤った翻訳結果を生成してしまう恐れがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０６１８４号公報
【特許文献２】特開２００４−２４０６４３号公報
【特許文献３】特開２０００−３４８０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、高精度な翻訳単位を生成することができる言語処理装置、方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態によれば、言語処理装置は、認識部と、生成部とを備える。認識部は、第１の時刻に対応する第１のデータおよび第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、第１のデータに対応する第１の文字列、および、第２のデータに対応し第１の文字列の一部を含む第２の文字列を認識する。生成部は、第１の文字列の少なくとも一部と第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る言語処理装置を例示する図。
【図２】図１の言語処理装置の動作を例示するフローチャート。
【図３Ａ】案内表示板を例示する図。
【図３Ｂ】スクロールする文字列の全文を例示する図。
【図４Ａ】時系列データを例示する図。
【図４Ｂ】バッファに格納される撮影時刻および文字列を例示する図。
【図５】生成規則を例示する図。
【図６Ａ】言語モデルを例示する図。
【図６Ｂ】生成文字列およびスコアを例示する図。
【図７】生成文字列および翻訳文字列を例示する図。
【図８】第２の実施形態に係る言語処理装置を例示する図。
【図９】翻訳画像データを例示する図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、解説済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。
【０００９】
以降の説明において、原言語（第１の言語ともいう）を日本語とし、目的言語（第２の言語ともいう）を中国語とする。しかしながら、第１の言語および第２の言語はこれらに限定されず様々な言語を使用することができる。
【００１０】
（第１の実施形態）
図１に例示されるように、第１の実施形態に係る言語処理装置１００は、取得部１１０と、認識部１２０と、バッファ１３０と、生成部１４０と、翻訳部１５０とを備える。生成部１４０は、更に、算出部１４１と、判定部１４２とを備える。
【００１１】
取得部１１０は、第１の時刻に対応する第１のデータおよび第２の時刻に対応する第２のデータを含む時系列データを取得する。第２の時刻は、例えば、第１の時刻よりも後の時刻である。また、時系列データは、第１の時刻よりも後の第３の時刻に対応する第３のデータをさらに含んでもよい。取得部１１０は、時系列データを認識部１２０へと出力する。
【００１２】
時系列データは、例えば、文字情報を含む、画像データ、フレーム画像データ、および音声データを想定する。画像データは、例えば、文字情報を含む対象物を連続撮影することによって得られる。フレーム画像データは、例えば、文字情報を含む対象物を動画撮影することによって得られた動画から、任意のフレームを切り出すことによって得られる。音声データは、例えば、音声を録音することによって得られる。尚、音声データの場合は、第２のデータが第１のデータの一部を含むように分割されたデータであればよい。
【００１３】
認識部１２０は、取得部１１０から時系列データを受け取る。認識部１２０は、第１の時刻に対応する第１のデータおよび第２の時刻に対応する第２のデータを含む時系列データから、第１のデータに対応する第１の文字列および第２のデータに対応する第２の文字列を認識する。第１の文字列は、第１の言語による文字列であり、第２の文字列は、例えば、第１の文字列の一部を含む第１の言語による文字列である。また、認識部１２０は、第３のデータに対応し前記第１の文字列の一部を含む第３の文字列をさらに認識してもよい。
【００１４】
認識部１２０は、例えば、光学文字認識（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｏｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）技術などを用いた文字認識処理、或いは公知の技術を用いた音声認識処理を行うことによって文字列を認識してよい。認識部１２０は、例えば、認識した文字列をテキスト情報として得る。
【００１５】
認識部１２０は、さらに、認識した文字列および当該文字列に対応する時刻情報（第１の時刻および第２の時刻など）を関連付ける。具体的には、認識部１２０は、第１の時刻および第１の文字列、ならびに、第２の時刻および第２の文字列をそれぞれ関連付ける。また、認識部１２０は、第３の時刻および第３の文字列をさらに関連付けてもよい。時刻情報は、例えば、時系列データが画像データまたはフレーム画像データである場合は、それぞれ画像データの撮影時刻または動画のフレーム画像データを切り出した時点の時刻であり、時系列データが音声データである場合は、音声データを切り出した時点の時刻である。認識部１２０は、認識した文字列および当該文字列に対応する時刻情報をバッファ１３０へと出力する。尚、認識部１２０は、認識した文字列および当該文字列に対応する時刻情報を生成部１４０へと出力してもよい。
【００１６】
バッファ１３０は、認識部１２０から文字列および当該文字列に対応する時刻情報を受け取る。具体的には、バッファ１３０は、第１の時刻および第１の文字列、ならびに、第２の時刻および第２の文字列をそれぞれ関連付けて格納する。また、バッファ１３０は、第３の時刻および第３の文字列を関連付けてさらに格納してもよい。尚、バッファ１３０は、複数の言語を格納してもよいし、言語判定処理を用いて第１の言語のみ格納してもよい。
【００１７】
生成部１４０は、バッファ１３０から第１の時刻および第１の文字列、ならびに、第２の時刻および第２の文字列を取得する。また、生成部１４０は、第３の時刻および第３の文字列をさらに取得してもよい。生成部１４０は、第１の文字列の少なくとも一部と第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する。尚、生成部１４０は、認識部１２０から文字列および当該文字列に対応する時刻情報を受け取ってもよい。
【００１８】
生成規則は、第１の文字列および第２の文字列の間の重複した文字列（重複文字列）を用いた結合規則を含む。また、生成規則は、第１の文字列および第２の文字列の言語特徴を用いた分割規則を含んでもよい。言語特徴は、例えば、形態素解析に係る、句点、読点、記号、および助動詞のうちの少なくとも１つを含む。生成文字列を生成する具体例は後述される。
【００１９】
算出部１４１は、生成文字列の尤もらしさを示すスコアを算出する。例えば、算出部１４１は、生成文字列と言語モデルとを照合することによって、当該生成文字列のスコアを算出する。或いは、算出部１４１は、単語辞書に存在する単語が生成文字列中に含まれる場合にスコアを高くする一方、単語辞書に存在しない単語が生成文字列中に含まれていた場合にスコアを低くするような辞書ベースの手法を用いてスコアを算出してもよい。尚、本実施形態では、生成文字列のスコアが高いほど、第１の言語の文として尤もらしい（或いは、適切である）ことを示す。
【００２０】
判定部１４２は、生成文字列のスコアが閾値以上であるか否かを判定する。判定部１４２は、スコアが閾値以上である場合に生成文字列を出力する。
【００２１】
尚、生成部１４０は、バッファ１３０から取得する文字列の時間間隔を制御してもよい。具体的には、生成部１４０は、第１の文字列および第２の文字列の差分に応じて、バッファ１３０から取得する文字列の時間間隔を第１の時刻と第２の時刻との時間間隔から第１の時刻と第３の時刻との時間間隔に変更してもよい。
【００２２】
さらに、生成部１４０は、ある時刻に対応する文字列の先頭部分と当該ある時刻よりも後の時刻に対応する文字列の後尾部分とが一致することを検知することによって、生成文字列の生成を終了させてもよい。
【００２３】
翻訳部１５０は、生成部１４０から生成文字列を受け取る。翻訳部１５０は、生成文字列を第１の言語から第２の言語に機械翻訳することによって翻訳文字列を得る。翻訳部１５０は、例えば、規則ベース機械翻訳（Ｒｕｌｅ  Ｂａｓｅｄ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ）、用例ベース機械翻訳（Ｅｘａｍｐｌｅ  Ｂａｓｅｄ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ）、統計的機械翻訳（Ｓｔａｔｉｓｔｉｃａｌ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ）などの種々の翻訳処理を行うことができる。尚、翻訳部１５０は、翻訳処理の一部或いは全てにおいて、クラウドソーシング（Ｃｌｏｕｄ  Ｓｏｕｒｃｉｎｇ）などの人力翻訳を用いてもよい。
【００２４】
言語処理装置１００は、図２に例示されるように動作する。図２の動作は、認識部１２０が時系列データを受け取ることによって開始する。
【００２５】
ステップＳ２０１において、認識部１２０は、時系列データから２以上の文字列を認識する。具体的には、認識部１２０は、第１の時刻に対応する第１のデータおよび第２の時刻に対応する第２のデータを含む時系列データから、第１のデータに対応する第１の文字列および第２のデータに対応する第２の文字列を認識する。
【００２６】
ステップＳ２０２において、バッファ１３０は、２以上の文字列および対応する時刻情報を格納する。具体的には、バッファ１３０は、第１の時刻および第１の文字列、ならびに、第２の時刻および第２の文字列をそれぞれ関連付けて格納する。
【００２７】
ステップＳ２０３において、生成部１４０は、２以上の文字列から生成文字列を生成する。具体的には、生成部１４０は、第１の文字列の少なくとも一部と第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する。
【００２８】
ステップＳ２０４において、算出部１４１は、生成文字列のスコアを算出する。
【００２９】
ステップＳ２０５では、判定部１４２は、生成文字列のスコアが閾値以上であるか否かを判定する。生成文字列のスコアが閾値以上である場合に処理はステップＳ２０６へと進み、そうでなければ処理はステップＳ２０１へと戻る。
【００３０】
ステップＳ２０６において、翻訳部１５０は、生成文字列を機械翻訳することによって翻訳文字列を得る。具体的には、翻訳部１５０は、生成文字列を第１の言語から第２の言語に機械翻訳することによって翻訳文字列を得る。
【００３１】
尚、ステップＳ２０１〜２０２およびステップＳ２０３〜２０６は、互いに非同期に動作してもよい。即ち、認識部１２０は、認識した２以上の文字列についての翻訳文字列が生成される前に、時系列データから次の文字列を逐次的に認識し、バッファ１３０へと格納する。また、生成部１４０は、バッファ１３０から文字列を逐次的に取得し、生成文字列を生成する。
【００３２】
また、認識部１２０は、時系列データから次の文字列を認識する場合は、前回の処理で認識した第２の文字列を第１の文字列とし、次に認識する文字列を第２の文字列として認識することで、逐次的に処理を行えばよい。
【００３３】
言語処理装置１００の具体的な動作について図３Ａに例示される案内表示板３００を用いて説明する。以降の説明において、時系列データは画像データを想定する。
【００３４】
案内表示板３００は、静的表示部３０１および動的表示部３０２を有する。静的表示部３０１は、文字列が変化しない領域、或いは文字列が一定時間変化しない領域を示す。動的表示部３０２は、文字列が右から左へスクロールすることによって全文が表示される領域を示す。動的表示部３０２は、図３Ｂに例示される文字列「お客様へのお願い：駅および車内への危険物の持ち込みは禁止されております。」が繰り返しスクロールしているものとする。尚、以降、静的表示部３０１に係る処理は、従来の文字認識処理および翻訳処理を行えばよいため説明を省略する。
【００３５】
図４Ａにおいて、動的表示部３０２を時間経過と共に撮影した画像データ４０１〜４０４が例示される。認識部１２０は、画像データ４０１〜４０４から文字列を認識し、当該文字列および当該文字列に対応する画像データの撮影時刻を関連付ける。バッファ１３０は、撮影時刻および文字列を関連付けて格納する。
【００３６】
図４Ｂにおいて、バッファ１３０に格納される撮影時刻および文字列が例示される。バッファ１３０は、撮影時刻ｔ０に対応する文字列「お客様へのお願い：駅およ」、撮影時刻ｔ１に対応する文字列「へのお願い：駅および車内への危険物の持ち込み」、撮影時刻ｔ２に対応する文字列「車内への危険物の持ち込みは禁止されております。」、および、撮影時刻ｔ３に対応する文字列「禁止されております。お客様へのお願い：」をそれぞれ関連付けて格納する。
【００３７】
図５において、生成部１４０で用いられる生成規則が例示される。生成部１４０は、「分割規則１」を用いることによって、文字列を句読点の位置で分割する。生成部１４０は、「分割規則２」を用いることによって、文字列を特定の記号の位置で分割する。生成部１４０は、「分割規則３」を用いることによって、文字列を特定の表現の位置で分割する。
【００３８】
さらに、生成部１４０は、「結合規則１」を用いることによって、時刻ｔｎに対応する文字列の後ろに、時刻ｔｎ＋１以降に対応する文字列を重複文字列が最長となるように結合（順行結合）する。生成部１４０は、「結合規則２」を用いることによって、時刻ｔｎに対応する文字列の前に、時刻ｔｎ＋１以降に対応する文字列を重複文字列が最長となるように結合（逆行結合）する。
【００３９】
尚、生成部１４０は、文字列の前後関係が失われない限り、上述の生成を複数回および組み合わせて行ってよい。また、図５に例示された規則は、第１の言語の言語現象に応じて適宜変更されてよい。
【００４０】
図６Ａにおいて、算出部１４１で用いる言語モデルが例示される。言語モデルは、例えば、大量の言語データから形態素の並び（ｎ−ｇｒａｍ）に対する確率を計算することによって構築される。図６Ａにおいて、＜ｓ＞は文頭を示し、＜ｕｎｋ＞は未知語を示し、＜／ｓ＞は文尾を示す。尚、言語モデルは、上記のｎ−ｇｒａｍベースの他に、ニューラルネットワークベースによって構築されてもよい。
【００４１】
図６Ｂにおいて、生成部１４０で生成された生成文字列、および、算出部１４１で算出された生成文字列のスコアが例示される。生成部１４０は、図４Ｂの文字列に対して図５の生成規則を用いることによって図６Ｂの生成文字列を生成する。算出部１４１は、図６Ｂの生成文字列と図６Ａの言語モデルとを照合することによってスコアを算出する。
【００４２】
例えば、第１の文字列として、図４Ｂの撮影時刻ｔ１に対応する文字列「へのお願い：駅および車内への危険物の持ち込み」を、第２の文字列として、図４Ｂの撮影時刻ｔ２に対応する文字列「車内への危険物の持ち込みは禁止されております。」を想定する。生成部１４０は、撮影時刻ｔ１に対応する文字列および撮影時刻ｔ２に対応する文字列から、生成文字列「駅および車内への危険物の持ち込みは禁止されております。」を生成する。具体的には、生成部１４０は、図５の「分割規則２」を用いて、文字列「へのお願い：駅および車内への危険物の持ち込み」を記号「：」の位置で分割し、文字列Ａ「へのお願い：」および文字列Ｂ「駅および車内への危険物の持ち込み」を生成する。さらに、生成部１４０は、図５の「結合規則１」を用いて、文字列Ｂ「駅および車内への危険物の持ち込み」の後ろに、文字列「車内への危険物の持ち込みは禁止されております。」を重複文字列「車内への危険物の持ち込み」の部分で結合することによって、生成文字列「駅および車内への危険物の持ち込みは禁止されております。」を生成する。
【００４３】
算出部１４１は、例えば、図６Ｂの生成文字列「駅およ」および生成文字列「お客様へのお願い：駅および車内への危険物の持ち込み」についてそれぞれスコア「２」およびスコア「４」を算出する。具体的には、生成文字列「駅およ」では未知語を含み日本語文として不完全なため、生成文字列「お客様へのお願い：駅および車内への危険物の持ち込み」では体言止めで文が終了しているため、図６Ｂの他の生成文字列のスコアよりも低いスコアが算出されることになる。
【００４４】
図７において、判定部１４２で出力された生成文字列、および、翻訳部１５０で翻訳された翻訳文字列が例示される。判定部１４２は、判定するスコアの閾値を「５」とした場合に、スコアが閾値以上である、図６Ｂの生成文字列「お客様へのお願い：」および図６Ｂの生成文字列「駅および車内への危険物の持ち込みは禁止されております。」を出力する。
【００４５】
翻訳部１５０は、図７の生成文字列「お客様へのお願い：」を日本語から中国語に機械翻訳することによって下記の翻訳文字列（１）を得る。
【００４６】
【数１】
0006640618.tif 000002
【００４７】
翻訳部１５０は、さらに、図７の生成文字列「駅および車内への危険物の持ち込みは禁止されております。」を日本語から中国語に機械翻訳することによって下記の翻訳文字列（２）を得る。
【００４８】
【数２】
0006640618.tif 000003
【００４９】
尚、翻訳部１５０は、判定部１４２から出力された生成文字列を逐次的に翻訳することができる。
【００５０】
以上説明したように、第１の実施形態に係る言語処理装置は、第１の時刻に対応する第１のデータ、および、第１の時刻よりも後の第２の時刻に対応する第２のデータを含む時系列データから、少なくとも第１のデータに対応する第１の文字列および第２のデータに対応し第１の文字列の一部を含む第２の文字列を認識する。さらに、この言語処理装置は、第１の文字列の少なくとも一部と第２の文字列の少なくとも一部とを含む生成文字列を生成規則に基づいて生成する。故に、この言語処理装置によれば、一度に全ての文字列が示されていない場合においても高精度な翻訳単位を生成することができる。
【００５１】
（第２の実施形態）
図８に例示されるように、第２の実施形態に係る言語処理装置８００は、画像制御部８１０と、認識部８２０と、バッファ１３０と、生成部１４０と、算出部１４１と、判定部１４２と、翻訳部１５０とを備える。言語処理装置８００は、画像制御部が追加される点、画像制御部に取得部が含まれる点、および認識部に新たな動作が追加される点において言語処理装置１００とは異なる。以下では、画像制御部８１０、および、認識部８２０の動作の差分について説明をする。
【００５２】
画像制御部８１０は、図示されない撮影装置から時系列データを受け取る。時系列データは、例えば、画像データまたはフレーム画像データを想定する。画像制御部８１０は、時系列データを認識部８２０へと出力する。また、画像制御部８１０は、認識部８２０から後述される文字列範囲を受け取り、翻訳部１５０から翻訳文字列を受け取る。画像制御部８１０は、文字列範囲に含まれる第１の言語の文字列を第２の言語の翻訳文字列へと置き換えることによって翻訳画像データを生成する。
【００５３】
認識部８２０は、画像制御部８１０から時系列データを受け取る。認識部８２０は、第１の時刻に対応する第１のデータおよび第２の時刻に対応する第２のデータを含む時系列データから、少なくとも第１のデータに対応する第１の文字列および第２のデータに対応する第２の文字列を認識する。
【００５４】
認識部８２０は、さらに、第１の文字列および第２の文字列が含まれる文字列範囲を認識する。文字列範囲は、例えば、図３Ａにおける動的表示部３０２の領域を想定する。認識部８２０は、文字列範囲を画像制御部８１０へと出力する。
【００５５】
図９において、図３Ａの案内表示板３００の表示を翻訳した翻訳画像データ９００が例示される。翻訳画像データ９００は、静的表示部９０１および動的表示部９０２を有する。尚、以降、静的表示部９０１に係る処理は、従来の文字認識処理、翻訳処理、および置き換え処理を行えばよいため説明を省略する。
【００５６】
画像制御部８１０は、動的表示部３０２に含まれる第１の言語（日本語）の文字列を第２の言語（中国語）の翻訳文字列へと置き換えることによって翻訳画像データを逐次的に生成する。例えば、日本語の文字列は、図７に例示される生成文字列「お客様へのお願い：」「駅および車内への危険物の持ち込みは禁止されております。」である。
【００５７】
翻訳部１５０は、生成文字列を日本語から中国語に機械翻訳することによって下記の翻訳文字列（３）を得る。
【００５８】
【数３】
0006640618.tif 000004
【００５９】
画像制御部８１０は、動的表示部９０２の範囲（文字列範囲）に収まるように日本語の文字列を翻訳文字列（３）へと置き換えることによって翻訳画像データを生成する。尚、画像制御部８１０は、文字列を置き換える場合に、フォントサイズを調整してもよく、任意の箇所で改行してもよい。また、画像制御部８１０は、文字列範囲の領域を拡張してもよく、連続する翻訳画像データに対して文字列がスクロールするように表示させてもよい。
【００６０】
以上説明したように、第２の実施形態に係る言語処理装置は、第１の文字列および第２の文字列が含まれる文字列範囲をさらに認識する。さらに、この言語処理装置は、文字列範囲に含まれる第１の言語の文字列を第２の言語の翻訳文字列へと置き換えることによって翻訳画像データを生成する。故に、この言語処理装置によれば、一度に全ての文字列が示されていない場合においても高精度な翻訳単位を生成し、翻訳画像データを逐次的に提示することができる。
【００６１】
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の言語処理装置による効果と同様な効果を得ることも可能である。
【００６２】
上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ、組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の言語処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
【００６３】
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００６４】
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記録媒体も含まれる。
【００６５】
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００６６】
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、多機能携帯電話、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
【００６７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６８】
１００，８００・・・言語処理装置、１１０・・・取得部、１２０，８２０・・・認識部、１３０・・・バッファ、１４０・・・生成部、１４１・・・算出部、１４２・・・判定部、１５０・・・翻訳部、３００・・・案内表示板、３０１，９０１・・・静的表示部、３０２，９０２・・・動的表示部、４０１，４０２，４０３，４０４・・・画像データ、８１０・・・画像制御部、９００・・・翻訳画像データ。
【図１】
0006640618.tif 000005
【図２】
0006640618.tif 000006
【図３Ａ】
0006640618.tif 000007
【図３Ｂ】
0006640618.tif 000008
【図４Ａ】
0006640618.tif 000009
【図４Ｂ】
0006640618.tif 000010
【図５】
0006640618.tif 000011
【図６Ａ】
0006640618.tif 000012
【図６Ｂ】
0006640618.tif 000013
【図７】
0006640618.tif 000014
【図８】
0006640618.tif 000015
【図９】
0006640618.tif 000016