(57)【要約】【課題】翻訳結果が高精度で入力から出力までの応答に優れ、さらに携帯する上で便利である特徴を備えること。【解決手段】入力手段１１、１２が第１言語で記述される原言語情報を入力する。第１判定手段１５が原言語情報の重要度を判定する。設定手段１６がこの第１判定手段の判定結果に基づいて、原言語情報を第２言語で記述される対訳言語情報に翻訳する際の翻訳精度を設定する。翻訳手段１３が翻訳精度に基づいて、原言語情報を第２言語で記述される対訳言語情報に翻訳する。さらに、サーバ装置に接続する通信手段を有する。【選択図】    図１
2004355118.tif 000002
【特許請求の範囲】
【請求項１】
第１言語で記述される原言語情報を入力する入力手段と、
前記原言語情報の重要度を判定する第１判定手段と、
この第１判定手段の判定結果に基づいて、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する際の翻訳精度を設定する設定手段と、
前記翻訳精度に基づいて、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段を具備することを特徴とするコミュニケーション支援装置。
【請求項２】
前記重要度は、緊急度を含むことを特徴とする請求項１に記載のコミュニケーション支援装置。
【請求項３】
第１言語で記述される原言語情報を入力する入力手段と、
前記原言語情報の重要度を判定する第１判定手段と、
前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、
該対訳言語情報を提示する提示手段と、
前記重要度に基づいて、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、
前記処理精度に基づいて、前記処理精度が設定された処理を実行する実行手段を具備することを特徴とするコミュニケーション支援装置。
【請求項４】
前記第１判定手段は、
前記第１言語の重要キーワードを格納している第１格納手段と、
前記原言語情報と前記重要キーワードを照合する照合手段を具備することを特徴とする請求項３に記載のコミュニケーション支援装置。
【請求項５】
前記第１格納手段は、さらに、重要キーワードに対応付けられている点数を格納し、
前記照合手段は、照合した重要キーワードと該重要キーワードに対応する前記点数を抽出し、該点数に基づいて前記重要度を判定することを特徴とする請求項４に記載のコミュニケーション支援装置。
【請求項６】
前記設定手段は、前記翻訳処理を、
前記重要度がある閾値より大きいと判定された場合は、高精度な翻訳処理を実行する高精度モードに設定し、
前記重要度がある閾値より大きくないと判定された場合は、高速度な翻訳処理を実行する高速度モードに設定することを特徴とする請求項３から請求項５のいずれかに記載のコミュニケーション支援装置。
【請求項７】
前記設定手段は、設定したモードに依存して、前記原言語情報に含まれる表現が第２言語のどの表現に対応するかを検査する候補数、訳語辞書の中で候補を検索する範囲、利用することが許容されるメモリ量、前記翻訳処理の処理時間、前記翻訳処理を実行するための処理速度のうち少なくとも１つを変更することを特徴とする請求項６に記載のコミュニケーション支援装置。
【請求項８】
前記照合手段は、前記原言語情報に含まれる重要キーワードに対応する点数の合計に基づいて、前記重要度を判定することを特徴とする請求項５から請求項７のいずれかに記載のコミュニケーション支援装置。
【請求項９】
前記第１判定手段は、さらに、
前記第１言語の重要キーワードに類似している類似キーワードを格納している第２格納手段を具備し、
前記照合手段は、前記原言語情報と前記類似キーワードを照合することを特徴とする請求項４から請求項８のいずれかに記載のコミュニケーション支援装置。
【請求項１０】
前記第２格納手段は、さらに、類似キーワードに対応付けられている類似度を格納し、
前記照合手段は、照合した類似キーワードと該類似キーワードに対応する前記類似度を抽出し、該類似度に基づいて前記重要度を判定することを特徴とする請求項９に記載のコミュニケーション支援装置。
【請求項１１】
前記設定手段は、前記点数及び前記類似度の少なくとも一方がある閾値よりも大きい場合に、高精度な翻訳処理を実行する高精度モードに設定することを特徴とする請求項１０に記載のコミュニケーション支援装置。
【請求項１２】
前記重要度がある閾値より大きいと判定された場合に利用者に刺激を与える付与手段と、
該利用者が該刺激を確認したか否かを判定する刺激判定手段と、
前記刺激が確認されたと判定された場合に、前記刺激を与えることを中止する中止手段と、
前記刺激が確認されなかったと判定された場合に、前記刺激を増大させる増大手段を具備することを特徴とする請求項２から請求項１１のいずれかに記載のコミュニケーション支援装置。
【請求項１３】
前記刺激は、光刺激、音刺激、物理的な動きによる物理刺激、及び、電気刺激のうち少なくとも１つであることを特徴とする請求項１２に記載のコミュニケーション支援装置。
【請求項１４】
前記入力された原言語情報に基づいて、該原言語情報の韻律を分析する韻律分析手段をさらに具備し、
前記第１判定手段は、前記韻律に基づいて、前記重要度を判定することを特徴とする請求項３から請求項１３のいずれかに記載のコミュニケーション支援装置。
【請求項１５】
前記第１判定手段は、前記韻律に基づいて、利用者の緊張度を検出する検出手段と、
該緊張度に基づいて、前記重要度を判定する第２判定手段を具備することを特徴とする請求項１４に記載のコミュニケーション支援装置。
【請求項１６】
前記韻律は、イントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つであることを特徴とする請求項１４又は請求項１５に記載のコミュニケーション支援装置。
【請求項１７】
前記原言語情報が入力された際に、利用者の生体情報を分析する生体分析手段をさらに具備し、
前記第１判定手段は、前記生体情報に基づいて、前記重要度を判定することを特徴とする請求項３から請求項１６のいずれかに記載のコミュニケーション支援装置。
【請求項１８】
前記第１判定手段は、前記生体情報に基づいて、利用者の緊張度を検出する検出手段と、
該緊張度に基づいて、前記重要度を判定する第３判定手段を具備することを特徴とする請求項１７に記載のコミュニケーション支援装置。
【請求項１９】
前記生体情報は、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のうちの少なくとも１つであることを特徴とする請求項１７又は請求項１８に記載のコミュニケーション支援装置。
【請求項２０】
前記原言語情報を前記対訳言語情報に翻訳する翻訳装置と通信するための通信手段をさらに具備し、
前記重要度がある閾値より大きいと判定された場合に、該通信手段が、前記翻訳装置に接続し、原言語情報を前記翻訳装置に送信し、前記翻訳装置から翻訳結果を受信することを特徴とする請求項３から請求項１９のいずれかに記載のコミュニケーション支援装置。
【請求項２１】
前記入力手段は、前記原言語情報を音声情報として入力し、該音声情報をテキスト情報に変換する変換手段を含むことを特徴とする請求項３から請求項２０のいずれかに記載のコミュニケーション支援装置。
【請求項２２】
前記提示手段は、前記対訳言語情報を音声情報に変換する変換手段を含むことを特徴とする請求項３から請求項２１のいずれかに記載のコミュニケーション支援装置。
【請求項２３】
前記原言語情報を記録する第１記録手段と、
前記原言語情報を再生する第１再生手段と、
前記対訳言語情報を記録する第２記録手段と、
前記対訳言語情報を再生する第２再生手段と、
前記重要度がある閾値より大きいと判定された場合に、前記第１記録手段、前記第１再生手段、前記第２記録手段、及び、前記第２再生手段のうち少なくとも１つの動作を開始する動作開始手段を具備することを特徴とする請求項３から請求項２２のいずれかに記載のコミュニケーション支援装置。
【請求項２４】
前記重要度は、緊急度を含むことを特徴とする請求項３から請求項２３のいずれかに記載のコミュニケーション支援装置。
【請求項２５】
第１言語で記述される原言語情報を入力し、
前記原言語情報の重要度を判定し、
前記原言語情報を第２言語で記述される対訳言語情報に翻訳し、
該対訳言語情報を提示し、
前記重要度に基づいて、第１言語で記述される原言語情報を入力するための入力処理、前記対訳言語情報に翻訳するための翻訳処理、及び、前記対訳言語情報を提示するための提示処理のうち少なくとも１つの処理精度を設定し、
前記処理精度に基づいて、前記処理精度が設定された処理を実行することを特徴とするコミュニケーション支援方法。
【請求項２６】
前記処理精度を設定することは、前記翻訳処理を、
前記重要度がある閾値より大きいと判定された場合は、高精度な翻訳処理を実行する高精度モードに設定し、
前記重要度がある閾値より大きくないと判定された場合は、高速度な翻訳処理を実行する高速度モードに設定することを特徴とする請求項２５に記載のコミュニケーション支援方法。
【請求項２７】
前記原言語情報を前記対訳言語情報に翻訳する翻訳装置と通信し、
前記重要度がある閾値より大きいと判定された場合に、前記翻訳装置に接続し、原言語情報を前記翻訳装置に送信し、前記翻訳装置から翻訳結果を受信することを特徴とする請求項２５又は請求項２６に記載のコミュニケーション支援方法。
【請求項２８】
コンピュータを、
第１言語で記述される原言語情報を入力する入力手段と、
前記原言語情報の重要度を判定する判定手段と、
前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、
該対訳言語情報を提示する提示手段と、
前記重要度に基づいて、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、
前記処理精度に基づいて、前記処理精度が設定された処理を実行する実行手段として機能させるためのコミュニケーション支援プログラム。
【請求項２９】
前記設定手段は、前記翻訳処理を、
前記重要度がある閾値より大きいと判定された場合は、高精度な翻訳処理を実行する高精度モードに設定し、
前記重要度がある閾値より大きくないと判定された場合は、高速度な翻訳処理を実行する高速度モードに設定することを特徴とする請求項２８に記載のコミュニケーション支援プログラム。
【請求項３０】
前記原言語情報を前記対訳言語情報に翻訳する翻訳装置と通信するための通信手段をさらに具備し、
前記重要度がある閾値より大きいと判定された場合に、該通信手段が、前記翻訳装置に接続し、原言語情報を前記翻訳装置に送信し、前記翻訳装置から翻訳結果を受信することを特徴とする請求項２８又は請求項２９に記載のコミュニケーション支援プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コミュニケーションの際にやり取りされるメッセージの少なくとも一部分について、２つ以上の言語間で翻訳を行うコミュニケーション支援装置、支援方法、及び支援プログラムに関する。
【０００２】
【従来の技術】
近年、異言語間での交流、若しくは異文化間交流が盛んになってきており、異なる言語を母語とする人同士が円滑にコミュニケーション（以下、異言語間コミュニケーションと称する）をする必要性が増大している。
【０００３】
異言語間コミュニケーションを実現するため、そのコミュニケーションの関係者が外国語である相手の言語を修得することは、容易ではなく仮に可能であったとしても多大な時間と費用を要する。また、異言語間コミュニケーションで必要な多言語に精通した通訳者を利用することも考えられるが、通訳者は人数が限られ料金も高く、一般的に広く利用されてはいない。他に、一般の人が海外旅行をする際等に遭遇しそうな場面で想定される会話表現を対訳とともに記載した会話表現集を利用することも考えられる。会話表現集では表現の収録数が限られるために、実際の会話において必要となる表現を網羅することができない。また、会話表現集に収録されている定型表現を利用者が記憶することは多大な時間を要する。さらに、会話表現集は書籍であることから、実際の会話の場面において、必要な表現が記載されているページを迅速に探し出すことが困難であり、実際のコミュニケーションでは必ずしも有効ではない。
【０００４】
そこで、このような会話集のデータを電子化した、例えば携帯可能なサイズの電訳機がある。利用者は電訳機を例えば手に持って、キーボードやメニュー選択操作によって翻訳する文章を指定したり、必要とする表現の検索を行う。電訳機は入力された文章を他国語に変換し、変換後の文章をディスプレイ上に表示したり他国語で音声出力する（例えば、特許文献１参照）。しかし、電訳機は、相変わらず限られた定型表現に基づいて翻訳するに過ぎず、異なる言語を使う人同士の十分なコミュニケーションを可能にしているとはいえない。また、電訳機の収録表現数を増加させると、翻訳する文章の選択が困難となってしまい、実際のコミュニケーションにおける有効性が低下してしまう。
【０００５】
一方、近年の音声認識技術や手書き文字入力の自動認識技術の発展や、自然言語処理技術、特にテキストに対する機械翻訳技術の精度向上や、高速化などの発展があり、このような技術を活用した異言語間コミュニケーションの支援をする支援装置の実現への要求が高まってきている。特に、対面コミュニケーションでは、音声入出力で翻訳が行えることが理想であるため、計算機による音声認識処理技術及び、音声合成処理技術を併用して、音声入力した翻訳元の言語による任意の発話メッセージを、音声認識し、解析翻訳し、翻訳対象言語による発話メッセージに変換して、音声で出力する技術の開発も進められている（例えば、特許文献２参照）。
【０００６】
また、インターネットや、無線ネットワークなどに代表される通信技術の発展に伴い、センターに設置した機器によって、音声認識処理、言語解析処理、言語翻訳処理、言語生成処理、及び音声合成処理などを適宜組み合わせた、コミュニケーション支援サービスを実現し、これをネットワーク接続された機器から利用するサーバクライアント形式のアプリケーションサービスが実現可能となってきている。
【０００７】
【特許文献１】
特開平８−３２８５８５号公報
【０００８】
【特許文献２】
特開平２−７１６８号公報
【０００９】
【発明が解決しようとする課題】
しかし、外国語である非母語による音声アナウンスは、非定型の表現であることが多く、翻訳不可能なことが多く、支援装置が役に立たないことが多い。さらに、支援装置が音声認識さえもできない場合には、外国語での音声アナウンスを確認することもできない。特に、交通機関で起こりがちな突発的な音声アナウンスの場合は、文字又は絵等で表示されていることは期待できない。さらに、この様な突発的な音声アナウンスは、緊急を要する場合も少なくないため、音声アナウンスの音声認識及び翻訳処理の成否は支援装置の利用者にとって死活問題になることさえある。
【００１０】
また、高性能な支援装置を実現するためには、高価な部品が必要となったり、内部構成が複雑化したり、支援装置が大型化したり、消費電力が大きくなる。すなわち、支援装置の高性能化と、支援装置の小型化、軽量化、低価格化、及び低消費電力化の少なくともいずれか１つを両立することは難しい。
【００１１】
また、通信サービス圏外となり通信が不可能となるエリアがある。このエリアでは通信サービスの利用が制限されているためにネットワークを利用してセンターへ接続し、このセンター側で音声認識や翻訳処理を行うことが不可能である。このような場所は、例えば、航空機などの乗り物内や病院内がある。また、通信による処理の時間的遅延が発生し翻訳までに長時間かかり過ぎて、支援装置が実際的に利用不能となる場合がある。さらに、無線通信には一般に多くの電力が必要であり機器の搭載する電源の制限などによって通信可能な時間が制限されていまい、センターに接続する支援装置は常時利用することができるとはいえない。この様に、支援装置がネットワークを利用してセンターに接続すると必ずしも常時利用ができる保証がないという問題がある。
【００１２】
本発明はこのような事情を考慮してなされたもので、その目的は、翻訳結果が高精度であり、入力から出力までの応答に優れ、さらに支援装置を携帯する上で便利である特徴を備えるコミュニケーション支援装置、支援方法、及び支援プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、この発明のコミュニケーション支援装置においては、第１言語で記述される原言語情報を入力する入力手段と、前記原言語情報の重要度を判定する第１判定手段と、この第１判定手段の判定結果に基づいて、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する際の翻訳精度を設定する設定手段と、前記翻訳精度に基づいて、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段を具備することを特徴とする。
【００１４】
また、この発明のコミュニケーション支援装置においては、第１言語で記述される原言語情報を入力する入力手段と、前記原言語情報の重要度を判定する第１判定手段と、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、該対訳言語情報を提示する提示手段と、前記重要度に基づいて、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、前記処理精度に基づいて、前記処理精度が設定された処理を実行する実行手段を具備することを特徴とする。
【００１５】
上記の目的を達成するために、この発明のコミュニケーション支援方法においては、第１言語で記述される原言語情報を入力し、前記原言語情報の重要度を判定し、前記原言語情報を第２言語で記述される対訳言語情報に翻訳し、該対訳言語情報を提示し、前記重要度に基づいて、第１言語で記述される原言語情報を入力するための入力処理、前記対訳言語情報に翻訳するための翻訳処理、及び、前記対訳言語情報を提示するための提示処理のうち少なくとも１つの処理精度を設定し、前記処理精度に基づいて、前記処理精度が設定された処理を実行することを特徴とする。
【００１６】
上記の目的を達成するために、この発明のコミュニケーション支援プログラムにおいては、コンピュータを、第１言語で記述される原言語情報を入力する入力手段と、前記原言語情報の重要度を判定する判定手段と、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、該対訳言語情報を提示する提示手段と、前記重要度に基づいて、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、前記処理精度に基づいて、前記処理精度が設定された処理を実行する実行手段として機能させる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態に係るコミュニケーション支援装置、支援方法、及び支援プログラムについて説明する。なお、ここでは、第１の言語として英語を想定し、また第２の言語として日本語を想定する。また、本実施形態のコミュニケーション支援装置の利用者は日本語を母語とする日本語話者とし、この利用者が英語圏に旅行をした際に、本実施形態のコミュニケーション支援装置、支援方法、及び支援プログラムを利用する場合を例として説明を行う。ただし、言語の組合せ、利用者の母語の種類や語学力、及び本実施形態のコミュニケーション支援装置を利用する場所等は、この設定に限定されるものではない。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るコミュニケーション支援装置のブロック図である。
【００１９】
言語認識部１１は、第１の言語で話されている音声を入力して、音声認識を行う。言語認識部１１は、音声認識技術を利用して入力した音声を認識する。言語認識部１１は、認識した音声を原言語のテキストである書き下し文字列（原言語表層文字列と呼ぶ）に変換して、この文字列を出力する。言語認識部１１は、この文字列を原言語解析部１２に出力する。この認識した音声を原言語表層文字列に変換する処理は、音声ディクテーション認識処理と呼ばれる。音声ディクテーション認識処理は既存の技術でも実現可能な技術である。
【００２０】
また、言語認識部１１は、第２の言語で話されている音声を入力して、音声認識を行ってもよい。以下に述べる実施形態の全ての説明で、「第１の言語」と「第２の言語」を入れ替えて読み替えた動作を各部が実行してもよい。このような動作は、利用者が話す第２の言語による表現を第１の言語を母語とする他者に伝えようとする場合に行われる。
【００２１】
なお、ここでは言語認識部１１は音声入力による例のみを示したが、言語認識部１１が例えばカメラ装置と文字認識機能部を備えて、文字を画像入力して文字認識をすることにより、言語認識部１１が第１の言語の文字を認識し第１の言語に基づく内部表現として原言語解析部１２に出力してもよい。
【００２２】
原言語解析部１２は、第１の言語の原言語表層文字列を入力して、例えば形態素解析、構文解析、意味解析処理を行う。この結果、原言語解析部１２は、構文解析木、意味ネットワーク等によって記述された、原言語入力の第１の言語に基づく内部表現を生成する。具体的な例は、図４を参照して後述する。原言語解析部１２は生成した内部表現を言語翻訳部１３に出力する。なお、コミュニケーション支援装置に入力される第１の言語の入力文が音声でなくテキスト等の文書である場合には、言語認識部１１を介さず直接、原言語解析部１２に入力文が入力される。
【００２３】
言語翻訳部１３は、第１の言語に基づく内部表現を入力して、第１の言語から第２の言語に翻訳する。すなわち、言語翻訳部１３は、例えば、第１の言語から第２の言語への語彙の変換、第１の言語の統語構造から第２の言語の統語構造への変換を行う。この結果、言語翻訳部１３は、第１の言語に基づく内部表現を、構文解析木、意味ネットワーク等によって記述された、原言語入力の第２の言語に基づく内部表現に変換する。
【００２４】
また、言語翻訳部１３は、制御部１６の指示に応じて、トレードオフの関係にある処理精度と処理負荷を制御するためのパラメータを適宜変更して翻訳処理を行う。ここでパラメータとしては、例えば、構文解析において検査対象とする候補構造の数がある。他のパラメータとしては、入力された文を構成する各単語や形態素間の係り受け関係の解析において、検証対象とする係り受けの語彙数単位での遠さがある。また、他のパラメータとしては、入力された文の構文解析処理や意味解析処理において、検証対象とする多義語の語義の数や、検証対象とする語義や共起情報の出現頻度がある。ここで共起情報とは、語相互間の自然な結びつきを示す情報である。共起情報は、例えば、“ｗｅａｔｈｅｒ”は、“ａｌｌｏｗｉｎｇ”とは共に使用されず“ｐｅｒｍｉｔｔｉｎｇ”とは共に使用されるという情報である。したがって、この共起情報に基づけば、日本語の「天候が許すならば、食事は屋外でしましょう。」は、英語では“Ｍｅａｌｓ  ｗｉｌｌ  ｂｅ  ｓｅｒｖｅｄ  ｏｕｔｓｉｄｅ，  ｗｅａｔｈｅｒ  ａｌｌｏｗｉｎｇ”ではなく、“Ｍｅａｌｓ  ｗｉｌｌ  ｂｅ  ｓｅｒｖｅｄ  ｏｕｔｓｉｄｅ，  ｗｅａｔｈｅｒ  ｐｅｒｍｉｔｔｉｎｇ”が正しい表現ということになる。
【００２５】
言語翻訳部１３は、制御部１６からの指示に応じてパラメータを変更して、いくつかの翻訳モードから１つのモードに設定する。翻訳モードは、例えば、翻訳する速さを優先する低負荷高速モード、翻訳精度を優先する高負荷高精度モードがある。低負荷高速モードは、言語翻訳部１３の処理負荷が低く、ある程度の精度の翻訳結果を迅速に得るためのものであり、高負荷高精度モードは、言語翻訳部１３の処理負荷が高く、高精度な翻訳結果を得るためのものである。低負荷高速モードは、迅速に翻訳結果を得ることができるが、翻訳精度は高くない。一方、高負荷高精度モードは、翻訳精度は高いが、翻訳結果を得るまでに必要とする処理時間が長い。もちろん、これらのモード以外のモードを設定することもできる。
【００２６】
異なる翻訳モードでは、原言語情報に含まれる表現が第２言語のどの表現に対応するかを検査する候補数、訳語辞書の中で候補を検索する範囲が異なる。高負荷高精度モードではこれらのいずれもが低負荷高速モードに比較して大きい。
【００２７】
対象言語生成部１４は、第２の言語に基づく内部表現を入力して、この内部表現に言語生成処理を行い、第２の言語で訳された対訳表層文字列を生成する。対象言語生成部１４はこの対訳表層文字列は、対象言語テキストとして出力することが可能である。言語生成処理は、例えば、構成要素の出現順の制御、用言の活用処理、語彙の選択がある。
【００２８】
なお、原言語解析部１２、言語翻訳部１３、及び対象言語生成部１４でなされる一連の処理は、例えば特許第３１３１４３２号公報に記載されている従来の翻訳装置と同様の自然言語処理技術を応用したものである。
【００２９】
重要性判定部１５は、第１の言語に基づく内部表現を入力して、この内部表現に対応する言語情報が重要であるか否かを判定するための判定材料を計算によって求め、この求められた判定材料を制御部１６に出力する。言語情報は、例えば、言語認識部１１に入力される音声、原言語解析部１２に入力される原言語テキストがある。
【００３０】
制御部１６は、言語認識部１１、原言語解析部１２、言語翻訳部１３、対象言語生成部１４、重要性判定部１５、及び言語出力部１７を制御する。特に、制御部１６は、重要性判定部１５が求めた判定材料に基づいて、各部に制御信号を出力する。例えば、制御部１６は、言語翻訳部１３の翻訳モードを指定するための制御信号を言語翻訳部１３に出力する。また、各部がそれぞれ例えば高精度モードと通常モードを有していて、制御部１６は各部にどのモードで処理を行わせるかの指示を行うように設定されていてもよい。もちろん、これらのモードは、２種類だけでなく、３種類以上のモードを設定することができる部があってもよい。また、モードを有していない部もあってもよい。
【００３１】
また、制御部１６は、各部において各部から出力結果が不十分である場合にその処理を再試行させることを指示してもよい。さらに制御部１６は、その再試行させる回数も制御してもよい。ここで、出力結果が不十分であるか否かの判断は処理内容に依存して各部の出力間で異なる。したがって、各部ごとにその出力結果が不十分であるか否かを判定するための閾値を予め設定しておき、制御部１６がその閾値と各部の出力結果を照合することによって、各部ごとの出力結果が不十分であるか否かを判定してもよい。
【００３２】
さらに、制御部１６は、各部に処理を実行させる指示を出力する場合に、その処理で利用することが許容されるメモリ量、その処理の処理時間、その処理をするための処理速度を制御してもよい。
【００３３】
言語出力部１７は、第２の言語で翻訳された対訳表層文字列を入力し、第２の言語に基づく音声出力を合成してスピーカ等に出力する。すなわち、テキスト・トゥー・スピーチ音声合成処理が行われる。なお、テキスト・トゥー・スピーチ音声合成処理自体は既存の技術でも実現可能な技術であるため、ここではこれ以上言及しない。
【００３４】
なお、言語認識部１１及び言語出力部１７は、どちらもあくまで選択的な構成要素であって、本発明の実施に必須の要件ではない。
【００３５】
図２は、図１の重要性判定部１５のブロック図である。
【００３６】
重要性判定部１５は、照合部１５１と重要キーワード記憶部１５２を含んでいる。照合部１５１は、後述の重要キーワード記憶部１５２の内容を参照し、原言語解析部１２から出力された第１の言語に基づく内部表現の構成要素の中に、重要キーワードが含まれているか否かを検査する。重要キーワードとは、言語の中で重要なキーワードのことであり、例えば、緊急を要するような事項を示すキーワードがある。照合部１５１は、重要キーワード記憶部１５２に含まれている、各重要キーワードに対応している各スコアに基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の重要度を判定する。照合部１５１は、この重要度を重要性情報として制御部１６に出力する。この重要度は、例えば、原言語解析部１２から出力された第１の言語に基づく内部表現に含まれている全ての重要キーワードを抽出し、抽出された重要キーワードに対応するスコアの和を取ったものである。
【００３７】
重要キーワード記憶部１５２は、重要キーワードを通常、複数個記憶している。また、重要キーワード記憶部１５２は、その重要キーワードに対応して設定されているスコアも記憶している。さらに、重要キーワード記憶部１５２は、その重要キーワードとスコアが記憶されているアドレス（図３の格納アドレス）を記憶している。本実施形態では、説明を容易にするため、上述したこれら格納アドレス、重要キーワード、及び、スコアは、図３に示すようにテーブル状に記憶されていると見なす。もちろん、これら格納アドレス、重要キーワード、及び、スコアは上述したように対応付けられていれば必要十分であり、テーブル状に記憶されている必要はない。
【００３８】
図３は、図２の重要キーワード記憶部に記憶されている重要キーワードテーブルの具体例を示す図である。
【００３９】
重要キーワード記憶部１５２は、格納アドレス、重要キーワード、及びスコアを分類して予め記憶している。例えば、格納アドレスｐ１のエントリでは、重要キーワードが“ｒｉｓｋ”で、スコアが“ｓ１”（数値）となっている。これは、重要キーワードである“ｒｉｓｋ”とこの重要キーワードに対応するスコアである“ｓ１”が格納アドレスｐ１に記憶されていることを示す。また、この重要キーワードテーブルは、例えば、この重要キーワードである“ｒｉｓｋ”を１つ含む文の重要性を評価するための点数はｓ１点とすべきであることを示す。他の格納アドレスのエントリも同様である。
【００４０】
図４は、図２の第１の言語に基づく内部表現の具体例である。
【００４１】
原言語解析部１２から出力されて照合部１５１に入力される第１の言語に基づく内部表現は、例えば、構文解析結果の構文木構造である。図４は、コミュニケーション支援装置に入力された入力文が“Ｆａｓｔｅｎ  ｙｏｕｒ  ｓｅａｔ  ｂｅｌｔ  ｆｏｒ  ｙｏｕｒ  ｓａｆｅｔｙ．”である場合に、この文の構文解析結果の構文木構造を示している。ここで、「Ｓ」は“ｓｅｎｔｅｎｃｅ”の省略形であり文章を示す。「ＶＰ」は“ｖｅｒｂ  ｐｈｒａｓｅ”の省略形であり動詞句を示す。「ＰＰ」は“ｐｒｅｐｏｓｉｔｉｏｎａｌ  ｐｈｒａｓｅ”の省略形であり前置詞句を示す。「ＮＰ」は“ｎｏｕｎ  ｐｈｒａｓｅ”の省略形であり名詞句を示す。なお、ここでは、「ＰＰ」及び「ＮＰ」は、構文木構造の一部を省略して三角形で表記している。
【００４２】
図５は、図１のコミュニケーション支援装置の処理手順を示す流れ図である。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
【００４３】
言語認識部１１に音声が入力されたか否かを判定する（ステップＳ１）。言語認識部１１に音声が入力されたと判断した場合はステップＳ２に進み、一方、言語認識部１１に音声が入力されていないと判断した場合は音声が入力されるまでステップＳ１を所定の周期で繰り返し実行する。
【００４４】
ステップＳ２では、言語認識部１１に入力された音声を原言語表層文字列に変換するように指示する。次に、原言語表層文字列を原言語解析部１２に入力させ、原言語解析部１２に原言語表層文字列を解析させ、第１の言語に基づく内部表現を生成させる（ステップＳ３）。
【００４５】
重要性判定部１５に、重要キーワード記憶部１５２に記憶されている重要キーワードがステップＳ３で生成された内部表現に含まれているか否かを判定させる（ステップＳ４）。すなわち、重要性判定部１５で、第１の言語に基づく内部表現に含まれる構成要素と、重要キーワード記憶部１５２に記憶されている重要キーワードとの間でパターンマッチ検証処理が行われる。そして、パターンマッチ検証処理によって、第１の言語に基づく内部表現に含まれる重要キーワードのスコアの総和（重要性判定スコアと呼ぶ）Ｓが式（１）（又は数式（１））によって計算される（ステップＳ４）。
【００４６】
【数１】
2004355118.tif 000003
ここで、ｓｃｉは、図３に示した各重要キーワードのスコアであり、例えば重要キーワードが“ｒｉｓｋ”である場合はｓｃｉはｓ１である。また、数１でｉは第１の言語に基づく内部表現に含まれる重要キーワードの個数と関係する。例えば、第１の言語に基づく内部表現に含まれる重要キーワードの個数が２個である場合は、ｉは１から２までの数になり、Ｓ＝ｓｃ１＋ｓｃ２となる。
【００４７】
ステップＳ４で計算された重要性判定スコアＳが予め定めた閾値Ｔよりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔよりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔよりも大きくないと判定された場合はステップＳ６に進む。
【００４８】
ステップＳ７では、言語翻訳部１３に、処理精度と処理負荷を制御するためのパラメータを高負荷高精度に設定するように指示する。一方、ステップＳ６では、言語翻訳部１３に、処理精度と処理負荷を制御するためのパラメータを低負荷高速に設定するように指示する。すなわち、重要性判定スコアＳが閾値Ｔよりも大きいか否かで、翻訳モードを変化させ、言語翻訳部１３の処理精度と処理負荷を設定する。ここで、閾値Ｔは、重要性判定スコアＳの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００４９】
次に、言語翻訳部１３に、ステップＳ６又はステップＳ７で設定された翻訳モードに応じて、第１の言語から第２の言語に翻訳する（ステップＳ８）。すなわち、第１の言語に基づく内部表現を第２の言語に基づく内部表現に変換するように指示する。
【００５０】
対象言語生成部１４に、第２の言語に基づく内部表現を入力し、この内部表現に言語生成処理を行い、第２の言語で訳された対訳表層文字列を生成するように指示する（ステップＳ９）。
【００５１】
言語出力部１７に、第２の言語で翻訳された対訳表層文字列を入力し、第２の言語に基づく音声出力を合成してスピーカ等に出力し、ステップＳ１に戻る（ステップＳ１０）。
【００５２】
以上に説明した図５の流れ図に従った制御が行われることによって、重要な入力は高精度に翻訳し、重要でない入力は高速に翻訳することが可能なコミュニケーション支援装置が実現される。
【００５３】
なお、入力文がテキスト等の文書である場合には、ステップＳ２は実行されずステップＳ１の処理後ステップＳ３に進む。同様に出力文がテキストでよい場合はステップＳ１０は省略される。
【００５４】
また、ステップＳ１で音声入力だけでなく、言語認識部１１が例えばカメラによって文字列を取得してその文字列を原言語表層文字列に変換してもよい。
【００５５】
図６は、図５の流れ図で処理された具体例である。図６は、日本語を母語とする利用者が、図１に示したコミュニケーション支援装置を英語圏で利用した際の例を示している。
【００５６】
時刻ｔ１０に、英語話者である相手が利用者に対して、“Ｗｈｉｃｈ  ｄｏ  ｙｏｕ  ｌｉｋｅ  ｂｅｅｆ  ｏｒ  ｃｈｉｃｋｅｎ？”（原言語（英語）入力１）と英語で問い合わせをした際に、この音声入力を検出した本実施形態のコミュニケーション支援装置が、英語の音声認識処理と言語解析処理を経て、重要性判定処理を行ったとする。この文には、重要キーワードは見つからなかったため、重要性判定スコア＝０となる。したがって、重要性判定スコアは予め定めた閾値Ｔを下回り、低負荷高速モードでの翻訳処理が行われることが決定される。その結果、ｔ１ａの処理時間で、出力候補１ａ＝“牛と鶏のどちらが好きですか？”という翻訳結果が得られ、この出力候補１ａが［簡易処理結果］対象言語（日本語）出力１として、利用者に提示される。
【００５７】
利用者がこの簡易処理結果に満足できず、より高精度の翻訳を得たい場合は、「高精度再処理」ボタンをクリックする。「高精度再処理」ボタンは、このボタンをクリックすることにより、翻訳モードを高負荷高精度モードに設定し、入力文を高負荷高精度モードで翻訳する。時刻ｔ１ａ＋αに「高精度再処理」ボタンをクリックすると、この同じ入力文を高負荷高精度モードで翻訳を開始する。時刻ｔ１ａ＋α＋ｔ１ｂに出力候補１ｂ＝“牛肉料理と、鶏肉料理のどちらを召し上がられますか？”といった、より高品位な翻訳結果が得られる。しかし、この翻訳結果を得るために、低負荷高速モードの翻訳に必要だった時間ｔ１ａよりも大幅に長時間であるｔ１ｂが必要となる。すなわち、高負荷高精度モードでは、低負荷高速モードの場合に比較して利用者が長時間待たされることになる。
【００５８】
この「高精度再処理」ボタンは、コミュニケーション支援装置のディスプレイに表示されるものであり、このディスプレイパネル上に表示される。そしてこのディスプレイパネル上には光を透過する感圧式のタッチパネルをクリックするよう構成されていても良い。このような構成にすると、低負荷高速モードで変換したときにのみディスプレイ上に「高精度再処理」ボタンを表示させる。これによりコミュニケーション支援装置の筐体上に高精度再処理専用の「高精度再処理」ボタンを設ける必要はなくなる。
【００５９】
このように、本実施形態によれば、重要な内容を含まない入力に対しては、低負荷の翻訳処理が自動的に選択され、文を入力してから翻訳結果を得るまでの応答の良いコミュニケーション支援装置を実現することができる。さらに、利用者が翻訳結果に満足しない場合は、利用者の意志で高精度な翻訳を実行する翻訳モードを選択することも可能である。
【００６０】
図７は、図１の重要性判定部１５の別のブロック図である。重要キーワード記憶部１５２は、図２を参照して既に説明した。
【００６１】
図７の重要性判定部は、図２の重要性判定部の構成要素に加え、さらに類似判定部１５３及び類似キーワード記憶部１５４を含んでいる。類似判定部１５３は、後述の類似キーワード記憶部１５４の内容を参照し、原言語解析部１２から出力された第１の言語に基づく内部表現の構成要素の中に、類似キーワードが含まれているか否かを検査する。類似判定部１５３は、第１の言語に基づく内部表現の構成要素の中に類似キーワードが含まれていると判定した場合に、その類似キーワードに対応する重要キーワードとその類似キーワードの類似度を類似キーワード記憶部１５４から抽出する。ここで、類似キーワードとは、重要キーワード記憶部１５２に含まれる重要キーワードに類似すると見なすことが適切なキーワードである。
【００６２】
照合部１５１は、類似判定部１５３により抽出された重要キーワードと類似度を類似キーワードごとに入力し、重要キーワード記憶部１５２を参照して、この重要キーワードのスコアとこの重要キーワードの類似キーワードの類似度に基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の類似キーワードによる重要度を判定する。照合部１５１は、この重要度と、図２及び図５で説明したように重要キーワードのスコアとに基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の最終的な重要度を判定する。この最終的な重要度は、原言語解析部１２から出力された第１の言語に基づく内部表現に含まれる重要キーワード及び類似キーワードに基づいて計算されたものである。
【００６３】
この最終的な重要度は、例えば、次のように計算される。原言語解析部１２から出力された第１の言語に基づく内部表現に含まれている全ての重要キーワード及び類似キーワードを抽出し、抽出された重要キーワードに対応するスコアの和を算出する。さらに類似キーワードに対応する類似度とこの類似キーワードに対応する重要キーワードのスコアを積算し、第１の言語に基づく内部表現の構成要素の中にある全ての類似キーワードについて積算した値を足しあわせる。これら計算されたそれぞれの値が最終的な重要度であるとする。他の例として、重要キーワードに対応するスコアの和と全ての類似キーワードについて積算した値の和を足しあわせたものが最終的な重要度であるとすることも可能である。
【００６４】
類似キーワード記憶部１５４は、類似キーワードを通常、複数個記憶している。また、類似キーワード記憶部１５４は、その類似キーワードに対応して設定されている類似度、及びその類似キーワードに対応する重要キーワードも記憶している。さらに、類似キーワード記憶部１５４は、その重要キーワードと類似度が記憶されているアドレス（図８の格納アドレス）を記憶している。本実施形態では、説明を容易にするため、上述したこれら格納アドレス、重要キーワード、類似キーワード、及び、類似度は、図８に示すようにテーブル状に記憶されていると見なす。もちろん、これら格納アドレス、重要キーワード、類似キーワード、及び、類似度は上述したように対応付けられていれば必要十分であり、テーブル状に記憶されていると限定する必要はない。
【００６５】
図８は、図７の類似キーワード記憶部１５４に格納されている類似キーワードテーブルを示す図である。
【００６６】
類似キーワード記憶部１５４は、格納アドレス、重要キーワード、類似キーワード、及び類似度を分類して予め記憶している。例えば、格納アドレスｑ１のエントリでは、重要キーワードが“ｄａｎｇｅｒｏｕｓ”で、類似キーワードが“ｔｅｎｄｅｒ”、類似度が“０．８”となっている。これは、重要キーワードである“ｄａｎｇｅｒｏｕｓ”と、この重要キーワードに類似していると見なすことのできる類似キーワードである“ｔｅｎｄｅｒ”と、この類似キーワードと重要キーワードの類似の度合いを示す類似度“０．８”が格納アドレスｑ１に記憶されていることを示す。また、この重要キーワードテーブルは、例えば、この類似キーワードである“ｔｅｎｄｅｒ”を１つ含む文の重要性を評価するために参照されるべき点数は０．８点であることを示す。他の格納アドレスのエントリも同様である。
【００６７】
類似キーワードテーブルは、重要な意味を含む重要キーワード自身だけでなく、重要キーワードと何らかの観点で類似した語句を含む入力に対しても、重要性が高い可能性があると判定するためのものである。類似した語句とは、重要キーワードと、表記上、あるいは音声信号の特徴上など、何らかの観点で類似しているものである。この類似キーワードテーブルを利用することにより、入力時、解析時、あるいは認識時の誤差を吸収し、より確実性の高い重要度判定を行うことができるようになる。
【００６８】
図９は、図７の重要性判定部を備えた図１のコミュニケーション支援装置の処理手順を示す流れ図である。ステップＳ３までのステップと、ステップＳ６及びステップＳ７以降のステップは、図５の流れ図と同様である。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
ステップＳ３で生成された、第１の言語に基づく内部表現に、重要キーワード記憶部１５２に記憶されている重要キーワード、及び、類似キーワード記憶部１５４に記憶されている類似キーワードが含まれているか否かを重要性判定部１５に判定させる（ステップＳ４１）。すなわち、重要性判定部１５で、第１の言語に基づく内部表現に含まれる構成要素と、重要キーワード記憶部１５２に記憶されている重要キーワード及び類似キーワード記憶部１５４に記憶されている類似キーワードとの間でパターンマッチ検証処理が行われる。そして、パターンマッチ検証処理によって、第１の言語に基づく内部表現に含まれる重要キーワードのスコアの総和Ｓ（重要性判定スコア）を上記の数１によって計算する。さらに、第１の言語に基づく内部表現の構成要素の中にある全ての類似キーワードについて積算した値を足しあわせたものＲ（類似性判定スコアと呼ぶ）が式（２）（又は数式（２））によって計算される（ステップＳ４１）。
【００６９】
【数２】
2004355118.tif 000004
ここで、ｒｊは図８に示した各類似キーワードの類似度であり、例えば類似キーワードが“ｔｅｎｄｅｒ”である場合はｒｊは０．８である。また、式（２）（又は数式（２））でｊは第１の言語に基づく内部表現に含まれる類似キーワードの個数と関係する。例えば、第１の言語に基づく内部表現に含まれる類似キーワードの個数が４個である場合は、ｊは１から４までの数を取り得る。ｊが１から４までの数を取る場合は、Ｒ＝ｓｃ１×ｒ１＋ｓｃ２×ｒ２＋ｓｃ３×ｒ３＋ｓｃ４×ｒ４となる。
【００７０】
ステップＳ４１で計算された重要性判定スコアＳが、予め定めた閾値Ｔ１よりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔ１よりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔ１よりも大きくないと判定された場合はステップＳ５１に進む。ここで、閾値Ｔ１は、重要性判定スコアＳの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００７１】
ステップＳ５１では、ステップＳ４１で計算された類似性判定スコアが予め定めた閾値Ｔ２よりも大きいか否かを判定する。類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合はステップＳ７に進み、類似性判定スコアＲが閾値Ｔ２よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ２は、類似性判定スコアＲの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００７２】
図１０は、図９の処理手順の変形例を示す流れ図である。図５又は図９に示したステップと同様なステップは同一の符号を付して説明を省略する。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
【００７３】
制御部１６がカウンタをリセットして、例えばカウンタ値Ｎ＝１に設定する（ステップＳ０）。
【００７４】
ステップＳ５で重要性判定スコアＳが閾値Ｔ１よりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔ１よりも大きくないと判定された場合はステップＳ５０に進む。ステップＳ５０では、カウンタ値Ｎが予め設定された値ｎ０よりも大きいか否かを判定する。カウンタ値Ｎがｎ０よりも大きいと判定された場合はステップＳ７に進み、カウンタ値Ｎがｎ０よりも大きくないと判定された場合はステップＳ５１に進む。
【００７５】
ステップＳ５１で類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合はステップＳ５２に進み、類似性判定スコアＲが閾値Ｔ２よりも大きくないと判定された場合はステップＳ６に進む。
【００７６】
ステップＳ５２では、カウンタ値Ｎに１を加算し、ステップＳ２に戻る。すなわち、ステップＳ５で重要性が低いと判定され、かつ、カウンタ値Ｎが値ｎ０よりも大きくなく、かつ、ステップＳ５１で類似度が高いと判定された場合は、再び、言語認識処理（ステップＳ２）、原言語解析処理（ステップＳ３）、及び重要性判定処理（ステップＳ４１）を実行させる。カウンタ値Ｎが大きくなるにしたがって、ステップＳ２、Ｓ３、及びＳ４１の各処理の精度が上がるように制御されるように設定されていることが好ましい。
【００７７】
カウンタ値Ｎがｎ０よりも大きい場合は、ｎ０回だけ言語認識処理、原言語解析処理、及び重要性判定処理が実行されてもステップＳ５１で類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合であるので、入力文は重要であると見なしてステップＳ７に進む（ステップＳ５０）。
【００７８】
また、本実施形態では、第１の言語から第２の言語への片方向の翻訳処理を例として説明したが、第１の言語と第２の言語との間での翻訳処理を双方向に可能なように各装置部分を設定してもよい。さらに発展させて、複数の言語が混在した入力をある特定の言語に翻訳することができるように各装置部分を設定してもよい。また、２つの言語間だけでなく３つ以上の言語間で翻訳処理が可能なように各装置部分を設定してもよい。
【００７９】
また、いくつかの翻訳モードから１つの翻訳モードでのみ翻訳処理を行う例を示したが、全ての翻訳モード翻訳処理を平行に行ってもよい。その場合、利用者は、翻訳結果を翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに従って取捨選択する。本実施形態のコミュニケーション支援装置が、翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに基づいて自動的に翻訳結果を利用者に提示するように設定されていてもよい。
【００８０】
これらは以下の実施形態においても同様である。
【００８１】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係るコミュニケーション支援装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【００８２】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、注意喚起部１８及び確認操作部１９を備えている。注意喚起部１８は、制御部１６からの制御に応じて、利用者に注意を喚起するためのブロックである。重要性判定部１５が重要性の高い入力を検知した場合に、この検知結果を受けた制御部１６は、利用者に注意を促すための動作を実行するように注意喚起部１８に指示する。注意喚起部１８は、例えば、ブザー装置からアラーム音を出力したり、振動発生装置から振動を発生したり、ライトから光点滅を提示したり、表示画面を反転表示したり点滅表示したり、電気を利用者に流す電気刺激によって、利用者に注意を喚起し、利用者がコミュニケーション支援装置に注意を注ぐように促す。なお、この注意喚起部１８は、既存の携帯電話、又は既存のＰＤＡ（個人用携帯情報端末）などで用いられているバイブレーター、アラーム音、ＬＥＤ（発光ダイオード）ディスプレイ、ＬＣＤ（液晶ディスプレイ）画面の表示の切替えなどによって実現可能である。また、この注意喚起は、利用者にとっての母語で音声を出力したり、文字表示で行ってもよい。
【００８３】
確認操作部１９は、注意喚起部１８が実行した注意喚起を利用者が認識したか否かを制御部１６が判定するためのブロックである。確認操作部１９は、利用者からの確認入力を受け取ると、この確認入力を受け取った旨を制御部１６に通知する。先に述べた通り重要性判定部１５が利用者に注意を促すための動作を実行するように注意喚起部１８に指示した場合に、この確認操作部１９が利用者からの確認操作の有無を制御部１６に通知する。制御部１６は、確認操作部１９が通知した確認動作の有無に基づいて、利用者への注意喚起を再度実施したり、利用者への注意喚起を停止したり、注意喚起の強度を調整したりする。確認操作部１９は、例えばスイッチ、タッチセンサー、音声センサー、振動センサー、カメラなどのセンサーを含んでいる。
【００８４】
図１２は、図１１のコミュニケーション支援装置の処理手順を示す流れ図である。図１２に示した流れ図は、図５のステップＳ７とステップＳ８との間に新たなステップを追加したものである。この流れ図の各ステップは、制御部１６が図１１の各部に指示を出力することによって実行される。
【００８５】
ステップＳ７で言語翻訳部１３を高負荷高精度モードに設定した後、注意喚起部１８に注意喚起を開始する指示を行い、注意喚起部１８が制御部１６から指示を受取、上述したように利用者に音や振動によって注意を喚起する動作を開始する（ステップＳ７１）。確認操作部１９から、利用者が注意喚起を確認した旨の確認操作を行ったか否かの信号を受取、この信号に基づいて利用者の確認操作があったか否かを判定する（ステップＳ７２）。利用者の確認操作があったと判定された場合はステップＳ７４に進み、利用者の確認操作がなかったと判定された場合はステップＳ７３に進む。
【００８６】
ステップＳ７３では、本実施形態のコミュニケーション支援装置が注意喚起をしていることを利用者に気づいてもらうために、本実施形態のコミュニケーション支援装置の注意喚起を強化する。例えば、注意喚起部１８が出力するアラーム音の音量を増大させる、振動発生装置による振動を増幅させる、又は、ライトからの光点滅の光量を増大させる。ステップＳ７４では、利用者が注意喚起に気づいたと見なして注意喚起部１８の動作を停止させる。
【００８７】
図１３は、図１２の流れ図で処理された具体例である。図１３は、日本語を母語とする利用者が英語圏を旅行中で、図１１に示したコミュニケーション支援装置を例えばポケットに入れたまま、航空機の乗り物に乗っている状況を例として想定する。
【００８８】
時刻ｔ２０に、“Ｆａｓｔｅｎ  ｙｏｕｒ  ｓｅａｔ  ｂｅｌｔ  ｆｏｒ  ｙｏｕｒ  ｓａｆｅｔｙ．”（原言語（英語）入力２）という英語による音声アナウンスが機内でアナウンスされた際に、本実施形態のコミュニケーション支援装置は、この音声入力を自動的に検出し、音声認識処理、原言語解析処理、及び重要性判定処理を行う。原言語（英語）入力２の内部表現の中に、図３に示したように重要キーワード記憶部１５２の格納アドレスｐ８に記憶されている重要キーワード“ｓａｆｅｔｙ”が含まれているため、格納アドレスｐ８のエントリのスコア欄の値ｓ８が重要性判定スコアとして得られる。ここではこの重要性判定スコアｓ８は予め定めた閾値Ｔを超えていたとする。この場合、この原言語（英語）入力２は重要性の高い入力であると判定され、「高負荷高精度」設定での翻訳処理が行われる。この時、ディスプレイ等に「高精度処理中」のメッセージが表示され、利用者は高負荷高精度モードで翻訳処理が行われていることを認識することができる。
【００８９】
高負荷高精度モードが設定されたと同時に、制御部１６が注意喚起部１８に動作を開始するように指示する。この指示によって注意喚起部１８が、利用者に例えば振動刺激を与える。この刺激によって、仮に利用者が本実施形態のコミュニケーション支援装置又は外国語によるアナウンスに注意を払っていなくても、重要な情報については、本実施形態のコミュニケーション支援装置が自動的に検知して、利用者に注意を促すことで、重要な情報を聞き漏らしたりする恐れが少なくなると期待できる。アナウンスは突発的に行われることが多いので、このように利用者に注意を促すことは重要である。
【００９０】
利用者がこの振動刺激に気が付き、ポケットの中から本実施形態のコミュニケーション支援装置を取り出し、確認入力としてのボタン操作などを行うことで、注意喚起のための振動が停止する。その後、時刻ｔ２ｂに高負荷高精度モードで実施した翻訳処理が終了し、［高精度処理結果］として例えば対象言語（日本語）出力３＝“危険ですので安全ベルトを締めてください”という適切で高品質の翻訳結果が利用者に提示される。
【００９１】
またオプショナルな事項として、利用者が翻訳結果を早く知りたい等の理由で翻訳モードを低負荷高速モードに変更したい場合は、利用者は「キャンセル」ボタンをクリックする。図１３の例では、時刻βに利用者は「キャンセル」ボタンをクリックする。「キャンセル」ボタンをクリックすると同時に翻訳モードが高負荷高精度モードから低負荷高速モードへ変更され、低負荷高速モードで翻訳処理が開始される。その後、時刻β＋ｔ２ａに、［簡易処理結果］として、例えば、対象言語（日本語）出力４＝“あなたの無難とベルトを繋ぎなさい”という翻訳結果が得られる。この場合の翻訳結果は誤訳である。また、高負荷高精度モードで翻訳処理を実行することができるボタン等が設定されてもよい。例えば、出力された日本語が奇妙で利用者が誤訳であるのではないかと訝る場合は、この高負荷高精度モードボタンをクリックすることによって適切な翻訳結果を得ることができると期待することができる。
【００９２】
さらにオプショナルな事項として、後に図１７以降で説明する外部のサーバ装置に接続し、この接続したサーバ装置でより高精度な翻訳処理を実行してもよい。
【００９３】
本実施形態のコミュニケーション支援装置によれば、重要な内容を含む入力に対しては、高精度の翻訳処理が自動的に選択され、利用者に注意を促すことにより、重要な内容を聞き漏らすことがなくなると期待することができる。
【００９４】
（第３の実施形態）
図１４は、本発明の第３の実施形態に係るコミュニケーション支援装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【００９５】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、韻律分析部２０及び生体センサー部２１を備えている。韻律分析部２０は、制御部１６からの制御に応じて、本実施形態のコミュニケーション支援装置に入力された音声を分析する。韻律分析部２０は、例えば、イントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つの韻律的特徴の値や変化を捕らえて、韻律の上で顕著な変化を検出した際に、その発生時刻に関する情報とともに、プロミネント情報（ｐｒｏｍｉｎｅｎｔ  ｉｎｆｏｒｍａｔｉｏｎ）として、重要性判定部１５に出力する。重要性判定部１５は、このプロミネント情報を参照して、入力された音声に強調発声、又は緊張した発声などが含まれている場合は、重要性が高い入力であると判定する。
【００９６】
生体センサー部２１は、本実施形態のコミュニケーション支援装置を利用する利用者の生体情報を検出する。生体情報は、例えば、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のような生体的なパラメータからなる。これらの生体的なパラメータの値やその値の変化をモニターしその顕著な変化を検出した際に、その発生時刻に関する情報とともに、バイオメトリクス情報（ｂｉｏｍｅｔｒｉｃｓ  ｉｎｆｏｒｍａｔｉｏｎ）として、重要性判定部１５に出力する。重要性判定部１５は、このバイオメトリクス情報を参照して、利用者が緊張していると推測される時点での原言語入力は、重要性が高い入力であると判定する。
【００９７】
生体センサー部２１は、コミュニケーション支援装置を所持している、母語が第２の言語である利用者が母語が第１の言語である人に言葉を伝える場合に動作する。すなわち、本実施形態の場合は、日本語を母語とする利用者が英語を母語とする人に言葉を伝える場合に生体センサー部２１は動作する。一方、韻律分析部２０は、生体センサー部２１とは異なり、双方向の翻訳で動作する。すなわち、コミュニケーション支援装置を所持している、母語が第２の言語である利用者が母語が第１の言語である人に言葉を伝えようとする場合と、母語が第１の言語である人が母語が第２の言語である利用者に言葉を伝えようとする双方の場合に韻律分析部２０は動作する。
【００９８】
図１５（Ａ）は、図１４の韻律分析部２０の処理手順を示す流れ図である。図１５（Ａ）に示した流れ図は、図５のステップＳ２から図５のステップＳ５を新たなステップに変更したものである。この流れ図の各ステップは、制御部１６が図１４の各部に指示を出力することによって実行される。
【００９９】
ステップＳ１で原言語入力があると判断された場合は、原言語入力が韻律分析部２０に入力され、原言語入力の音声を分析する（ステップＳ２１）。韻律分析部２０は、例えばイントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つの韻律的特徴の値や変化を検出する。ここでは、発声速度を韻律的特徴値（重要性判定スコア）Ｓ３とする。この場合、韻律分析部２０は言語入力の音声を入力して発声速度Ｓ３を測定する（ステップＳ２１）。
【０１００】
次に、重要性判定部１５でステップＳ２１で測定された発声速度Ｓ３に対応する予め定めた閾値Ｔ３をメモリから抽出する（ステップＳ４１）。ステップＳ２１で測定された発声速度Ｓ３がステップＳ４１で抽出された予め定めた閾値Ｔ３よりも大きいか否かを判定する（ステップＳ５３）。発声速度Ｓ３が閾値Ｔ３よりも大きいと判定された場合はステップＳ７に進み、発声速度Ｓ３が閾値Ｔ３よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ３は、重要性判定スコアＳ３の数値と設定される翻訳モードが適切に対応するように予め調整される。
【０１０１】
図１５（Ｂ）は、図１４の生体センサー部２１の処理手順を示す流れ図である。図１５（Ｂ）に示した流れ図は、図５のステップＳ２から図５のステップＳ５を新たなステップに変更したものである。この流れ図の各ステップは、制御部１６が図１４の各部に指示を出力することによって実行される。
【０１０２】
ステップＳ１で利用者による原言語入力があると判断された場合は、生体センサー部２１が利用者の生体情報をモニターし、例えば、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のうちの少なくとも１つの生体的なパラメータやそのパラメータの変化を検出する。ここでは、脈拍速度を生体的パラメータＳ４とする。この場合、生体センサー部２１は原言語入力があった時に利用者の脈拍速度Ｓ４を測定する（ステップＳ２２）。このように利用者の生体情報を測定するのは、第２の言語を母語とする利用者が第１の言語を母語とする他者に言葉を話しかける場合である。利用者が利用者の声等によって原言語入力をする場合は、例えば、原言語を入力している間にあるボタンを利用者が押すことによって原言語入力が利用者によるものであることが特定されるように設定されている。これによって、ステップＳ１での原言語入力が、利用者が他者に伝えるために入力であるか、他者から利用者への入力であるかが特定される。
【０１０３】
次に、重要性判定部１５でステップＳ２２で測定された脈拍速度Ｓ４に対応する予め定めた閾値Ｔ４をメモリから抽出する（ステップＳ４２）。ステップＳ２２で測定された脈拍速度Ｓ４がステップＳ４２で抽出された予め定めた閾値Ｔ４よりも大きいか否かを判定する（ステップＳ５４）。脈拍速度Ｓ４が閾値Ｔ４よりも大きいと判定された場合はステップＳ７に進み、脈拍速度Ｓ４が閾値Ｔ４よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ４は、重要性判定スコアＳ４の数値と設定される翻訳モードが適切に対応するように予め調整される。
【０１０４】
以上の図１５（Ａ）及び図１５（Ｂ）を参照して説明したように、韻律分析処理及び生体情報処理のいずれかのみで重要性判定処理を行ってもよいが、これら２つの処理を参照して重要性判定処理を行ってもよい。さらに、図５、図９、及び図１０に示したように重要キーワード及び類似キーワードも参照して最終的な重要性判定処理を行ってもよい。具体的には、例えば、重要キーワードによる重要性判定処理、韻律分析による重要性判定処理、及び生体情報による重要性判定処理のいずれか２つの場合において閾値を超えないと翻訳モードを高負荷高精度モードに設定しないとする。このように複数の判定材料により原言語入力の重要性を判定することにより、その判定の信頼度を高めることができる。
【０１０５】
図１６は、図１５（Ａ）及び図１５（Ｂ）の流れ図で処理された具体例である。図１６は、日本語を母語とする利用者が英語圏を旅行中で、図１４に示したコミュニケーション支援装置を所持して、航空機の乗り物に乗っている状況を例として想定する。
【０１０６】
時刻ｔ３０に、“Ｆａｓｔｅｎ  ｙｏｕｒ  ｓｅａｔ  ｂｅｌｔ  ｆｏｒ  ｙｏｕｒ  ｓａｆｅｔｙ．”（原言語（英語）入力３）という英語による音声アナウンスが機内アナウンスされた際に、本実施形態のコミュニケーション支援装置は、この音声入力を自動的に検出し、韻律分析処理及び重要性判定処理を行う。また、韻律分析処理及び他の処理、例えば重要キーワードによる重要性判定処理の両方を参酌して、原言語入力の重要性判定を行ってもよい。
【０１０７】
韻律分析処理で得られた重要性判定スコアが閾値Ｔ３を超えていたとする。生体情報処理で得られた重要性判定スコアは利用者が情報を発信する場合のみに利用されるので、この例では生体情報処理で得られた重要性判定スコアは利用されない。この場合、この原言語（英語）入力３は重要性の高い入力であると判定され、「高負荷高精度」設定での翻訳処理が行われる。このとき、ディスプレイ等に「高精度処理中」のメッセージが表示され、利用者は高負荷高精度モードで翻訳処理が行われていることを認識することができる。後の動作は、図１３に示した事項と同様である。
【０１０８】
（第４の実施形態）
図１７は、本発明の第４の実施形態に係るコミュニケーション支援装置のブロック図及びサーバ装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【０１０９】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、通信部２２を備えている。本実施形態のコミュニケーション支援装置はクライアント装置１として機能しうる。通信部２２は外部のサーバ装置４との間で情報を送受信する。通信部２２は通信路３１を介してサーバ装置４との間で通信を行う。通信部２２は、制御部１６が言語翻訳部１３の高負荷高精度モードよりもさらに高精度な翻訳が必要であると判定した場合にサーバ装置４に原言語入力を送信する。通信部２２は、サーバ装置４が送信した原言語入力を翻訳した翻訳文を受信して制御部１６に出力する。通信部２２は、例えば無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）装置や、有線ＬＡＮ装置によって実現されるネットワーク通信手段であり、クライアント装置１からの要求に応じて、サーバ装置上で処理されるサービスを遠隔利用することができる。
【０１１０】
サーバ装置４は、言語翻訳部４３、制御部４６、及び通信部５２を備えている。言語翻訳部４３は、クライアント装置１の言語翻訳部１３よりも翻訳能力に優れていることのみが異なる。すなわち、言語翻訳部４３は言語翻訳部１３の高負荷高精度モードで翻訳するよりもさらに高精度の翻訳を行うことができる。制御部４６は、第１の言語に基づく原言語入力の内部表現を通信部５２から入力して、言語翻訳部４３に翻訳するように指示をする。通信部５２は、クライアント装置１から第１の言語に基づく原言語入力の内部表現を受信し、言語翻訳部４３が翻訳した翻訳文をクライアント装置１に送信する。
【０１１１】
より詳しくは、言語翻訳部４３は、第１の言語から第２の言語への翻訳処理を行う。言語翻訳部４３は、言語翻訳部１３と同様に、通信路３１を介して、原言語解析部１２から出力される第１の言語に基づく原言語入力の内部表現を入力する。言語翻訳部４３は、第１の言語から第２の言語への語彙の変換、あるいは第１の言語の統語構造から、第２の言語の統語構造への変換などを行う。その結果、言語翻訳部４３は、第１の言語に基づく原言語入力の内部表現を、構文解析木や意味ネットワークなどによって記述された原言語入力の第２の言語に基づく内部表現に変換する。クライアント装置１に含まれる言語翻訳部１３は、小型軽量のクライアント装置１の構成上の制約や処理能力上の制約から、翻訳精度や翻訳速度が限定されることに対して、この言語翻訳部４３は、処理能力、処理速度、記憶容量、解析規則数、検証される候補数の制約が無いに等しいため、より高精度な翻訳が可能である。
【０１１２】
制御部４６は、通信路３１とサーバ装置４を介して受信した、クライアント装置１からの第１の言語に基づく内部表現の翻訳処理要求に対して、言語翻訳部４３を制御して、第１の言語から第２の言語への翻訳処理を行わせる。そして、制御部４６は翻訳結果である第２の言語に基づく内部表現を言語翻訳部４３から入力し通信部５２に出力する。
【０１１３】
通信部５２は、例えば無線ＬＡＮ機器や、有線ＬＡＮ装置によって実現されるネットワーク通信手段であり、通信路３１を通じてクライアント装置１との間の通信を実現して、クライアント装置１からの要求に応じて、サーバ装置４上で処理されるサービスを提供する。
【０１１４】
以上のクライアント装置１とサーバ装置４から、最小構成のコミュニケーション支援システムが実現される。このコミュニケーション支援システムにより、利用者が小型軽量なクライアント装置１を携帯し、例えばサービスセンターに設置されたサーバ装置４との間で、有線ネットワークと無線ネットワークを併用した通信路を通じたネットワーク通信を行い、クライアント装置１がサーバ装置４からサービス提供を受けることができる。
【０１１５】
また、通信路３１は、例えば無線通信装置間の通信を実現する媒体である伝送波とその伝送路である空間、有線通信を実現する媒体である電線ケーブル、光ケーブル、ルーター、リピーター、無線アクセスポイントといった中継装置、分配装置、交換装置、接続装置なども含む。通信路３１は、通信部２２と後述のサーバ装置４の通信部５２を介したクライアント装置１とサーバ装置４との間の遠隔ネットワーク通信を実現する。
【０１１６】
以上に説明した、クライアント装置、及び通信路、及びサーバ装置によって、重要性が高いと判定された入力に関しては、通信路を介したサーバ装置の遠隔ネットワーク利用によって、高品質な翻訳がなされ、重要性が高くないと判定された入力に関しては、従来どおりクライアント装置内での翻訳処理がなされる。
【０１１７】
図１８は、図１７のコミュニケーション支援装置（クライアント装置１）を含むコミュニケーション支援システムの処理手順を示す流れ図である。ステップＳ４までのステップとステップＳ９からのステップは図５の流れ図と同様である。この流れ図の各ステップは、制御部１６又は制御部４６が図１の各部に指示を出力することによって実行される。
【０１１８】
クライアント装置１は、例えば携帯が容易なようにその大きさ及び質量等の制約があるが、サーバ装置４は、携帯が容易である必要等の制約がないため、その規模及び質量等を制限する必要がない。したがって、サーバ装置４は、処理能力、処理速度、記憶容量、解析規則数、及び、検証される候補数等をクライアント装置１に比較して遙かに大きくすることが可能であり、原理的にはその時点の世界で最も高精度な翻訳を実現することも可能である。本実施形態のコミュニケーション支援システムは、重要であると判定された原言語入力をサーバ装置４で翻訳させる。
【０１１９】
ステップＳ４で制御部１６が計算された重要性判定スコアＳが予め定めた閾値Ｔよりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔよりも大きいと判定された場合はステップＳ７５に進み、重要性判定スコアＳが閾値Ｔよりも大きくないと判定された場合はステップＳ６１に進む。
【０１２０】
ステップＳ７５では、サーバ装置４で第１の言語に基づく内部表現を翻訳させる。すなわち、原言語解析部１２から第１の言語に基づく内部表現を通信部２２に出力し、通信部２２からサーバ装置４へその内部表現を送信する。この後、サーバ装置４の通信部５２がその内部表現を受信し、制御部４６が言語翻訳部４３にその内部表現を出力する。制御部４６が言語翻訳部４３に、この第１の言語に基づく内部表現を第２の言語に基づく内部表現に翻訳するように指示し、言語翻訳部４３はその翻訳を実行する。
【０１２１】
ステップＳ６１は、図５のステップＳ６又はステップＳ７と、ステップＳ８とを合わせたものと同様である。すなわち、クライアント装置１で第１の言語に基づく内部表現を第２の言語に基づく内部表現に翻訳する。言語翻訳部１３で翻訳する翻訳モードは、高負荷高精度モードと低負荷高速モードのいずれかに予め設定されていてもよいし、どちらかのモードを利用者が選択することができるように設定されていてもよい。
【０１２２】
図１９は、図１８の流れ図で処理された具体例である。図１９は、日本語を母語とする利用者が、ネットワークによってサービスセンターに設置されたサーバ装置４の翻訳サービスを利用することが可能なクライアント装置１を携帯して、英語圏を旅行している状況を想定する。
【０１２３】
時刻ｔ４０に、クライアント装置１が“Ｋｅｅｐ  ｏｕｔ  ｏｒ  ｆｉｎｅ  ２，５００＄．”（原言語（英語）入力４）という英語を入力したとする。クライアント装置１は、原言語（英語）入力４に対し音声認識処理、言語解析処理、及び重要性判定処理を行う。原言語（英語）入力４の内部表現の中に、図３に示した重要キーワード記憶部１５２の格納アドレスｐ１３に記憶されている重要キーワード“ｆｉｎｅ”が含まれているため、格納アドレスｐ１３のエントリのスコア欄の値ｓ１３が重要性判定スコアとして得られる。ここではこの重要性判定スコアｓ１３は予め定めた閾値Ｔを超えていたとする。この場合、この原言語（英語）入力４は重要性の高い入力であると判定され、サーバ装置４に送信されそこでクライアント装置１の翻訳よりも高精度な翻訳を実行する言語翻訳部４３によって翻訳処理が行われる。このとき、ディスプレイ等に「センター処理中」のメッセージが表示され、利用者はサーバ装置４で翻訳処理が行われていることを認識することができる。
【０１２４】
サーバ装置４が原言語（英語）入力４を入力し翻訳処理を行い、例えば対象言語（日本語）出力７＝“立ち入り禁止、罰金２，５００ドル”という適切で高品質の翻訳結果を生成する。生成された翻訳結果はネットワークを介してクライアント装置１に送信され、対象言語生成部１４及び言語出力部１７での処理を経て、時刻ｔ４ｂに上記の対象言語（日本語）出力７が［センター処理結果］として利用者に提示される。
【０１２５】
またオプショナルな事項として、利用者が翻訳結果を早く知りたい等の理由で翻訳をクライアント装置１で実行するように変更したい場合は、「センター処理中」と表示されている間に利用者は「キャンセル」ボタンをクリックする。図１９の例では、時刻ζに利用者は「キャンセル」ボタンをクリックする。「キャンセル」ボタンをクリックすると同時にサーバ装置４での翻訳が中止され、クライアント装置１で翻訳処理が開始される。その後、時刻ζ＋ｔ４ａに、［クライアント翻訳処理結果］として、例えば、対象言語（日本語）出力８＝“外に続くか素晴らしい２，５００ドル”という翻訳結果が得られる。この場合の翻訳結果は誤訳である。また、サーバ装置４で翻訳処理を実行することができるボタン等が設定されてもよい。例えば、出力された日本語が奇妙で利用者が誤訳であるのではないかと訝る場合は、このサーバ装置４で翻訳処理の実行を開始するボタンをクリックすることによって適切な翻訳結果を得ることを期待することができる。
【０１２６】
本実施形態のコミュニケーション支援システムによれば、重要な内容を含む入力に対しては、クライアント装置１よりも高精度の翻訳処理が可能なサーバ装置４が自動的に選択され、非母語による重要な情報を利用者が適切に受け取ることが可能となる。
【０１２７】
図２０は、図１７のサーバ装置の変形例を示すブロック図である。
【０１２８】
サーバ装置４０は、図１７に示したクライアント装置１と同様なブロックを備えている。サーバ装置４０の各ブロックは対応するクライアント装置１の各ブロックと同様な機能を有しているが、その能力がクライアント装置１の各ブロックに比較して著しく優れている。
【０１２９】
この場合、クライアント装置１は音声を入力した後、音声波形をサーバ装置４０に送信する。サーバ装置４０が音声波形を入力し、言語認識部４１が高精度の言語認識を実行する。その後は、サーバ装置４０内で原言語分析、重要性判定、言語翻訳、対象言語生成、言語出力を実行して、サーバ装置４０がクライアント装置１に言語出力の音声波形を出力する。一方、この場合クライアント装置１は、音声波形を原言語入力として取得してサーバ装置４０に送信することと、サーバ装置４０から受信した翻訳済である第２の言語の音声波形を入力して翻訳結果を利用者に提示することのみ行えばよい。
【０１３０】
このようにサーバ装置４０が原言語入力の音声波形の入力から翻訳結果の音声波形の出力までの全てを処理するのではなく、サーバ装置４０はその一部の処理を実行するようにしてもよい。図１７の例のように、サーバ装置４０が翻訳処理のみを実行するように設定してもよい。他にもサーバ装置４０が実行しうる処理の一部のみを実行するように設定することもできる。例えば、言語出力部４７のみを動作させ、第２の言語で記述される翻訳された原言語入力の音声合成処理をサーバ装置４０で高精度に実施してその翻訳結果をクライアント装置１に戻すようにしてもよい。他にもサーバ装置４０が実行しうる処理のいくつかを組み合わせて実行するように設定することもできる。例えば、サーバ装置４０が原言語入力の音声波形をクライアント装置１から受信して原言語解析部４２で形態素解析、構文解析、意味解析処理等を実行して原言語入力の第１の言語に基づく内部表現を生成し、言語翻訳部４３で第２の言語に基づく内部表現に翻訳してその翻訳結果をクライアント装置１に戻すようにしてもよい。
【０１３１】
また、サーバ装置４０は、コミュニケーション支援システムが実行しうる処理の一部のみを実行する場合は、この一部の処理を実行する装置部分だけを備えて、それ以外の装置部分は備えないようにしてもよい。例えば、サーバ装置４０が原言語表層文字列を入力して、その文字列から原言語入力の第１の言語に基づく内部表現を生成し、その内部表現を第２の言語に基づく内部表現に翻訳する処理のみを実行する場合は、サーバ装置は、図２０に示した原言語解析部４２、言語翻訳部４３、制御部４６、及び通信部５２だけを備えておけばよい。
【０１３２】
その他の例としては、サーバ装置を複数設置しておき、サーバ装置ごとに特徴をもたせてもよい。例えば、各サーバ装置をある所定の言語に特化しておき、翻訳する際の言語に応じてクライアント装置１が接続するサーバ装置が選択することが可能なように設定する。
【０１３３】
また、クライアント装置１も複数設置することも可能である。その際は、あるサーバ装置に負荷が集中しないように、複数のサーバ装置で処理を分散することが好ましい。
【０１３４】
また、上述のコミュニケーション支援システムでは、クライアント装置１とサーバ装置４０との間で処理を分担して実行していたが、クライアント装置１とサーバ装置４０が同様な処理を平行して実行してもよい。その後、利用者が双方の翻訳結果を参照してどちらかの翻訳結果を利用者が選択する。利用者は、翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに従って翻訳結果を取捨選択し、利用者に提示するようにしてもよい。
【０１３５】
また、上述のコミュニケーション支援システムでは、サーバ装置４０が翻訳した翻訳結果をクライアント装置１が必ず受け取ることを前提としている。しかし、例えばクライアント装置１がネットワークを利用することが不可能な場合、サーバ装置での翻訳処理の結果が予め設定された許容可能な時間内にクライアント装置１で得られない場合、又は、クライアント装置１が翻訳結果をサーバ装置４０から受け取ることができない場合は、クライアント装置１で翻訳処理した翻訳結果を利用者に提示するようにする。以上により、常に利用が保証されているとはいえないサーバクライアント方式の上述のコミュニケーション支援システムの問題点は解決することができる。
【０１３６】
以上に説明した実施形態において、本実施形態のコミュニケーション支援装置が、上述したように重要性が高いと判定された一連の入力した原言語情報、あるいはその原言語の処理結果の履歴をメモリに記憶しておいて、利用者が所定の操作を行うことによりこの原言語情報及び／又はこの原言語の処理結果の履歴をコミュニケーション支援装置上に適宜表示することができるように設定してもよい。
【０１３７】
また、重要性の高い原言語情報には、その原言語情報の発信者がその原言語情報を発信する際に予め特定の重要性を示す識別情報であるタグ等を原言語情報に付与して発信するように設定されていてもよい。コミュニケーション支援装置が、付与されているタグ等の識別情報によって原言語情報の重要性を判定し、その重要性に基づいて例えば翻訳処理のモードが決定されてもよい。例えば、重要な情報である地震警報は常に重要性が高度である旨の識別情報が付与されて発信される。他の例としては、様々な言語を母語とする人々が集まる国際空港で、旅行者にとって重要と思われるアナウンスは、重要性が高度である旨の識別情報が付与されて発信される。また、原言語情報がどこから発信されたものかを示す情報も識別情報と同様に付与されていてもよい。
【０１３８】
また、コミュニケーション支援装置は、予め重要性が高い旨の識別情報を有する原言語入力や、コミュニケーション支援装置で重要性が高いと判定された原言語入力及び／又はその翻訳文を、自動録音したり、自動で文字化するように設定されていてもよい。さらに、コミュニケーション支援装置は、録音された原言語音声及び翻訳文や文字化された原言語音声及び翻訳文に基づく音声を利用者に提示するように設定されていてもよい。
【０１３９】
以上により、本実施形態のコミュニケーション支援装置は、利用者が非母語を受け取った場合、利用者に適切な対応を促すことができる。
また、本実施形態のコミュニケーション支援装置は、ネットワークを介して超高精度のサーバ装置に接続可能なため、支援装置の高性能化と、支援装置の小型化、軽量化、低価格化、及び低消費電力化を両立することができる。より高精度な翻訳は、サーバ装置に接続することによってサーバ装置から得る。
さらに、本発明のコミュニケーション支援装置は、サーバ装置に接続しないで原言語入力の重要度に応じて翻訳することができるので、ある言語の文を入力してからその翻訳文を出力するまでの時間を少なくすることができる。
また、ネットワークが不通の場合でも、本実施形態のコミュニケーション支援装置は、ある言語の文を入力してからその翻訳文を出力することが可能である。すなわち、本発明のコミュニケーション支援装置は、ネットワークの通信状態に関わらず、翻訳文を出力することが可能である。
【０１４０】
また、上述の実施形態の中で示した処理手順に示された指示、及び流れ図の各ステップに示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態のコミュニケーション支援装置と同様な動作が実行され、上述した実施形態のコミュニケーション支援装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに読み込ませて実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態のコミュニケーション支援装置と同様な動作を実現することができる。
【０１４１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４２】
【発明の効果】
本発明のコミュニケーション支援装置、支援方法、及び支援プログラムは、原言語情報の重要度や緊急度に応じて翻訳精度を変えて翻訳することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るコミュニケーション支援装置のブロック図。
【図２】図１の重要性判定部のブロック図。
【図３】図２の重要キーワード記憶部に記憶されている重要キーワードテーブルの具体例を示す図。
【図４】図２の第１の言語に基づく内部表現の具体例。
【図５】図１のコミュニケーション支援装置の処理手順を示す流れ図。
【図６】図５の流れ図で処理された具体例。
【図７】図１の重要性判定部の別のブロック図。
【図８】図７の類似キーワード記憶部に格納されている類似キーワードテーブルを示す図。
【図９】図７の重要性判定部を備えた図１のコミュニケーション支援装置の処理手順を示す流れ図。
【図１０】図９の処理手順の変形例を示す流れ図。
【図１１】本発明の第２の実施形態に係るコミュニケーション支援装置のブロック図。
【図１２】図１１のコミュニケーション支援装置の処理手順を示す流れ図。
【図１３】図１２の流れ図で処理された具体例。
【図１４】本発明の第３の実施形態に係るコミュニケーション支援装置のブロック図。
【図１５】（Ａ）  図１４の韻律分析部の処理手順を示す流れ図。
（Ｂ）  図１４の生体センサー部の処理手順を示す流れ図。
【図１６】図１５（Ａ）及び図１５（Ｂ）の流れ図で処理された具体例。
【図１７】本発明の第４の実施形態に係るコミュニケーション支援装置のブロック図及びサーバ装置のブロック図。
【図１８】図１７のコミュニケーション支援装置を含むコミュニケーション支援システムの処理手順を示す流れ図。
【図１９】図１８の流れ図で処理された具体例。
【図２０】図１７のサーバ装置の変形例を示すブロック図。
【符号の説明】
１・・・クライアント装置、４・・・サーバ装置、１１・・・言語認識部、１２・・・原言語解析部、１３・・・言語翻訳部、１４・・・対象言語生成部、１５・・・重要性判定部、１６・・・制御部、１７・・・言語出力部、１８・・・注意喚起部、１９・・・確認操作部、２０・・・韻律分析部、２１・・・生体センサー部、２２・・・通信部、３１・・・通信路、４０・・・サーバ装置、４１・・・言語認識部、４２・・・原言語解析部、４３・・・言語翻訳部、４６・・・制御部、４７・・・言語出力部、５２・・・通信部、１５１・・・照合部、１５２・・・重要キーワード記憶部、１５３・・・類似判定部、１５４・・・類似キーワード記憶部
【図１】
2004355118.tif 000005
【図２】
2004355118.tif 000006
【図３】
2004355118.tif 000007
【図４】
2004355118.tif 000008
【図５】
2004355118.tif 000009
【図６】
2004355118.tif 000010
【図７】
2004355118.tif 000011
【図８】
2004355118.tif 000012
【図９】
2004355118.tif 000013
【図１０】
2004355118.tif 000014
【図１１】
2004355118.tif 000015
【図１２】
2004355118.tif 000016
【図１３】
2004355118.tif 000017
【図１４】
2004355118.tif 000018
【図１５】
2004355118.tif 000019
【図１６】
2004355118.tif 000020
【図１７】
2004355118.tif 000021
【図１８】
2004355118.tif 000022
【図１９】
2004355118.tif 000023
【図２０】
2004355118.tif 000024