(57)【特許請求の範囲】
【請求項１】
画像表示部と、
第１の識別信号を含む第１の磁気信号をペン先から出力する第１のペンデバイスと、
第２の識別信号を含む第２の磁気信号をペン先から出力する第２のペンデバイスと、
前記第１及び第２の磁気信号を受信し、前記第１及び第２のペンデバイスの前記画像表示部上での位置に関する情報を解析することによって、前記第１及び第２のペンデバイスのペン入力情報として出力する磁気センサー部と、
前記ペン入力情報によって、前記第１のペンデバイスの利用者及び前記第２のペンデバイスの利用者と、前記画像表示部との位置関係を把握する制御部と、
前記第１のペンデバイスの利用者及び前記第２のペンデバイスの利用者と、前記画像表示部との位置関係を記憶する記憶部と、
前記第１のペンデバイスの利用者が前記画像表示部に第１の言語情報を入力すると、第２の言語情報に翻訳する翻訳部と、を備えるコミュニケーション支援装置であって、
前記制御部は、前記第１のペンデバイスの利用者及び前記第２のペンデバイスの利用者と、前記画像表示部との位置関係に基づいて、前記第２の言語情報を、前記第２のペンデバイスの利用者から見て正立するように、前記画像表示部に表示させることを特徴とするコミュニケーション支援装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、利用者間で用いられる言語を翻訳して相手に効果的に提示するコミュニケーション支援装置及びコミュニケーション支援方法に関する。
【０００２】
【従来の技術】
近年、一般の人でも海外に出かける機会が増加しており、また、他国に暮らす外国人も増加している。更に、インターネット等、通信技術や計算機ネットワーク技術の進歩も著しく、外国語に接する機会や、外国人と交流する機会が増大し、異言語間あるいは異文化間交流の必要性が高まってきている。これは、世界規模のボーダーレスからも必至の流れであり、今後もその傾向が加速されていくものと考えられる。
【０００３】
このような異言語間又は異文化間交流のために、異なる言葉を母語とする人同士のコミュニケーションである異言語間コミュニケーションや、異なる文化的背景を持つ人同士のコミュニケーションである異文化間コミュニケーションの必要性が増大している。
【０００４】
自分の母国語と異なる言語を話す人とコミュニケーションをする方法としては、いずれか一方の人が外国語である相手の言語を修得する方法、複数の言語を相互に翻訳して会話相手に伝える通訳者を利用する方法等が考えられる。
【０００５】
しかし、外国語の習得は誰にとっても容易ではなく、また、習得のために多大な時間と費用を要する。更に、仮に１つの外国語を習得できたとしても、コミュニケーションを行いたい相手がその習得できた言語を使用することができない場合には、第２、第３の外国語を習得する必要があり、言語の修得の困難性が増大する。また、通訳者は特殊な技能を持った専門職であり、人数も限られ、その費用も高く、一般にはあまり利用されていない。
【０００６】
そこで、一般の人が海外旅行をする際等に遭遇しそうな場面で想定される会話フレーズを対訳とともに記載した会話フレーズ集を利用する方法が考えられる。会話フレーズ集には、定型フレーズ等のコミュニケーションのための表現が収録されている。
【０００７】
しかしながら、会話フレーズ集等では収録数が限られるために、実際の会話において必要となる表現を網羅することができず不充分である。また、会話集等に収録されている定型フレーズを利用者が記憶することは、外国語習得と同様に極めて困難である。しかも、会話フレーズ集は書籍であることから、実際の会話の場面において、必要な表現が記載されているページを迅速に探し出すことが困難であり、実際のコミュニケーションでは必ずしも有効ではない。
【０００８】
そこで、このような会話集のデータを電子化して、例えば携帯可能なサイズの電子機器とした電訳機が利用されることがある。利用者は電訳機を例えば手に持って、キーボードやメニュー選択操作によって翻訳する文章を指定する。電訳機は入力された文章を他国語に変換し、変換（翻訳）後の文章をディスプレイ上に表示したり他国語で音声出力する。こうして、相手とのコミュニケーションがとられる。
【０００９】
しかしながら、電訳機は、必要とするフレーズの検索の手間を、書籍である会話集に比べて若干は軽減しているものの、相変わらず限られた定型フレーズと、そのフレーズを部分的に変形した若干の拡張表現が扱えるのみであり、異なる言語を使う人同士の十分なコミュニケーションを可能にすることはできない。
【００１０】
また、電訳機の収録フレーズ数を増加させると、電訳機の操作が基本的にキーボードやメニュー選択によって行われることから、翻訳する文章の選択が困難となってしまい、実際のコミュニケーションにおける有効性が低下してしまう。
【００１１】
【発明が解決しようとする課題】
このように、従来、異なる言語を用いる人同士のコミュニケーションを十分に円滑にすることを可能にするコミュニケーションツールはないという問題点があった。
【００１２】
本発明は、かかる問題点に鑑みてなされたものであって、異なる言語を用いる人同士の円滑なコミュニケーションを可能にすることができるコミュニケーション支援装置及びコミュニケーション支援方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の請求項１に係るコミュニケーション支援装置は、画像表示部と；第１の識別信号を含む第１の磁気信号をペン先から出力する第１のペンデバイスと；第２の識別信号を含む第２の磁気信号をペン先から出力する第２のペンデバイスと；前記第１及び第２の磁気信号を受信し、前記第１及び第２のペンデバイスの前記画像表示部上での位置に関する情報を解析することによって、前記第１及び第２のペンデバイスのペン入力情報として出力する磁気センサー部と；前記ペン入力情報によって、前記第１のペンデバイスの利用者及び前記第２のペンデバイスの利用者と、前記画像表示部との位置関係を把握する制御部と；前記第１のペンデバイスの利用者及び前記第２のペンデバイスの利用者と、前記画像表示部との位置関係を記憶する記憶部と；前記第１のペンデバイスの利用者が前記画像表示部に第１の言語情報を入力すると、第２の言語情報に翻訳する翻訳部と；を備えるコミュニケーション支援装置であって、前記制御部は、前記第１のペンデバイスの利用者及び前記第２のペンデバイスの利用者と、前記画像表示部との位置関係に基づいて、前記第２の言語情報を、前記第２のペンデバイスの利用者から見て正立するように、前記画像表示部に表示させることを特徴とするものである。
【００１４】
本発明の請求項９に係るコミュニケーション支援装置は、複数の利用者の空間的配置を検出して位置情報を取得する配置検出手段と、前記配置検出手段が得た位置情報を保存する位置記憶手段と、前記複数の利用者のうちの第１の利用者からの第１の言語による入力メッセージを受け入れる入力手段と、前記第１の言語の入力メッセージを第２の利用者への第２の言語の出力メッセージに変換する翻訳手段と、前記位置記憶手段に記憶されている位置情報を用いて前記第１及び第２の利用者の位置に応じた指向性で前記第１及び第２の言語による入出力メッセージを提示する提示手段とを具備したものであり、
本発明の請求項１０に係るコミュニケーション支援方法は、複数の利用者の空間的配置を検出して位置情報を取得する配置検出手順と、前記配置検出手段が得た位置情報を保存する位置記憶手順と、前記複数の利用者のうちの第１の利用者からの第１の言語による入力メッセージを受け入れる入力手順と、前記第１の言語の入力メッセージを第２の利用者への第２の言語の出力メッセージに変換する翻訳手順と、前記位置記憶手順において記憶した位置情報を用いて前記第１及び第２の利用者の位置に応じた指向性で前記第１及び第２の言語による入出力メッセージを提示する提示手順とを具備したものである。
【００１５】
本発明の請求項１において、第１の描画手段は、表示画面との間に所定の位置関係を有して位置する複数の利用者のうちの所定の利用者による第１の言語に基づく基準描画を前記表示画面上に描画する。変換手段は、基準描画によって得られる情報を第２の言語に基づく情報に変換すると共に、基準描画と所定の関係を有する関連描画を得る。第２の描画手段は、得られた関連描画を、基準描画とは異なる位置及び向きで表示画面上に描画する。基準描画と所定の関係を有する関連描画は、基準描画と異なる位置及び向きで表示画面上に配置され得るので、表示画面に対する位置関係が異なる複数の利用者において、基準描画と関連描画の少なくとも一方が見やすい位置及び向きに表示させることも可能である。
【００１６】
本発明の請求項３において、第１の利用者からの第１の言語による入力メッセージは、入力手段によって受け入れられる。翻訳手段は、第１の言語の入力メッセージを第２の利用者への第２の言語の出力メッセージに変換する。変換された出力メッセージは、第２の利用者の位置に応じた指向性を有して提示される。これにより、出力メッセージを第２の利用者が用いる第２の言語で見やすい方向に提示することができる。
【００１７】
本発明の請求項９においては、配置検出手段によって、複数の利用者の空間的配置が検出され位置情報が取得される。この位置情報は位置記憶手段に保存される。入力手段が受け入れた第１の利用者からの第１の言語による入力メッセージは、翻訳手段によって第２の利用者への第２の言語の出力メッセージに変換される。提示手段は、位置記憶手段に記憶されている位置情報を用いて第１及び第２の利用者の位置に応じた指向性で第１及び第２の言語による入出力メッセージを提示する。これにより、第１及び第２の利用者は、夫々第１，第２の言語による入出力メッセージが、自分の位置に応じた向きに提示され、意志の疎通が容易となる。
【００１８】
本発明の請求項１０においては、配置検出手順において、複数の利用者の空間的配置が検出されて、その位置情報が記憶される。複数の利用者のうちの第１の利用者からの第１の言語による入力メッセージが受け入れられると、第１の言語の入力メッセージは第２の利用者への第２の言語の出力メッセージに変換される。第１及び第２の言語による入出力メッセージは、記憶された位置情報を用いて第１及び第２の利用者の位置に応じた指向性で提示される。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施の形態に係るコミュニケーション支援装置を示すブロック図である。
【００２０】
本実施の形態は、近年の音声認識技術や手書き文字入力の自動認識技術の発展、自然言語処理技術、特にテキストに対する機械翻訳技術の高速化及び精度の向上等の背景に鑑み、これらの技術を活用して異言語間のコミュニケーションを円滑にするものである。
【００２１】
即ち、本実施の形態は利用者からの入力メッセージを受け付け、メッセージの提供先の他の利用者が理解可能にする翻訳処理を行った後、この利用者の位置に応じて翻訳されたメッセージの提示方向を決定することにより、利用者相互間のコミュニケーションを効果的に支援するようになっている。
【００２２】
ところで、他国語を話す外国人とのコミュニケーションをとる方法として有効なものに、ペンや鉛筆とメモ帳等を利用して、図や文字を書きながら相手と会話する筆談という方法がある。絵や画像等を手書きで表示することによって、相手との効果的なコミュニケーションが得られる。しかし、絵や画像だけでは、表現可能な具体的な事物以外を相手に伝えることは困難であり、また、コミュニケーションを行う双方の人の文化的背景が異なるため、記号や文化に依存したシンボルや図形は必ずしも有効でない。
【００２３】
また、例えば日本語と中国語のように、双方とも漢字という共通のアルファベット（文字）を用いていると考えられている言語同士であっても、実際に使われる漢字の種類（形状）が相違するため、必ずしも筆談が有効なコミュニケーション手段になるとは限らない。
【００２４】
そこで、本実施の形態においては、筆談の持つ有効性を考慮して、手書き入力を可能にし、手書き入力された文章を翻訳すると共に、翻訳した文章を相手の位置に応じた向きに表示するか又は音声出力することによって、効果的なコミュニケーションを可能にするようになっている。また、この場合には、各種記号及びシンボルについても、各国の言語及び文化に応じて翻訳（変換）処理を行うことで、コミュニケーションの有効化を図るようになっている。
【００２５】
図１において、コミュニケーション支援装置１０は、少なくとも１つ以上のペンデバイス１１と、画像表示部１２、磁気センサー部１３、文字記号認識部１４、言語記号翻訳部１５、表示情報記憶部１６、配置情報記憶部１７、及び制御部１８等によって構成されている。
【００２６】
ペンデバイス１１（１１ａ，１１ｂ，…）は、それぞれのデバイス毎に固有の識別信号を含む磁気信号をペン先から出力するようになっている。画像表示部１２上には磁気センサー部１３が設けられており、利用者がペンデバイス１１を手で保持して、画像表示部１２上をペン先でトレースすることによって、文字や、記号や、図形等の画像情報を手書き入力することができるようになっている。
【００２７】
画像表示部１２は、例えば液晶ディスプレイ（ＬＣＤ）等によって構成され、後述する制御部１８の指示に従って、文字や、記号や、図形等の画像情報を利用者に適宜提示することができるようになっている。
【００２８】
磁気センサー部１３は、各ペンデバイス１１が発する磁気信号を受け取り解析することによって、各ペンデバイス１１の空間内での位置や、動き等の軌跡に関する情報や、本体との接触の状態、あるいはペンデバイス１１の姿勢に関する情報をペン入力情報として得て、制御部１８に出力するようになっている。
【００２９】
本実施の形態においては、制御部１８は、ペンデバイス１１の姿勢等に関する情報によって、ペンデバイス１１を使用した利用者と装置１０（画像表示部１２）との相対的な位置関係を把握することができるようになっている。
【００３０】
文字記号認識部１４は、制御部１８から供給されるペン入力情報を解析することによって、手書き入力による文字や、記号や、図形や、描画画像を分離抽出し、ペン先の軌跡と、種別と、内容や位置あるいは向きに関する情報を認識結果情報として得て制御部１８に出力する。なお、ペンデバイスによる手書き入力の認識処理は、例えば、特許第３１６７７９９号「オンライン手書き文字認識」で用いられている方法と同様の方法を採用することができる。
【００３１】
本実施の形態においては、制御部１８は、文字記号認識部１４の認識結果によって入力された文字記号等の向きを検出して、認識対象となった文字等を手書き入力した利用者と装置１０（画像表示部１２）との相対的な位置関係を把握することができるようになっている。また、制御部１８は、文字記号等がいずれの言語に対応しているかを検出し、検出結果に応じて各言語に対応した文字を入力した利用者と装置１０（画像表示部１２）との相対的な位置関係を把握することもできるようになっている。
【００３２】
また、制御部１８は、手書き入力を解析し、手書き入力時の筆跡や筆圧に関する情報や、入力画像の特徴等を抽出して分析することによって、手書き入力を行った利用者を判定することも可能である。
【００３３】
言語記号翻訳部１５は、制御部１８から供給される認識結果情報の中から、言語情報と、言語種又は文化固有の記号を抽出し、翻訳先の言語への翻訳を行い、翻訳結果情報を制御部１８に出力するようになっている。なお、言語情報の翻訳処理は、例えば特許第３１３１４３２号「機械翻訳方法及び機械翻訳装置」で用いられている方法と同様の方法を採用することができる。
【００３４】
制御部１８は、ペン入力情報、認識結果情報、翻訳結果情報等に基づいて各種の表示情報を得る。制御部１８は、これらの各種表示情報を適宜分類して表示情報記憶部１６に保存させるようになっている。
【００３５】
図２は図１中の表示情報記憶部１６の記憶内容の一例を示す説明図である。
【００３６】
図２に示すように、表示情報記憶部１６は、入力された情報を、ＩＤ情報、位置情報、向き情報、種別情報、軌跡情報、対訳ＩＤ情報、内容情報等に分類して記憶するようになっている。
【００３７】
図２に示す表示情報記憶部１６の各エントリにおいて、ＩＤ情報の欄は、各エントリの識別記号が記述されている。位置情報の欄には、各表示情報の画像表示部１２及び磁気センサー部１３における位置及び領域が、画像表示部１２の座標系に基づく座標として記録される。例えば、画像表示部１２上の画面位置が、その左上隅を原点として、右方向に伸びるＸ軸での座標値と、下方向に伸びるＹ軸での座標値の組で（Ｘ，Ｙ）と表されるようになっており、例えば、ＩＤ情報がＩ3 のエントリの位置情報の値Ｌ3 が、具体的には（１０，２０）等のように記述されるようになっている。
【００３８】
図２の例ではこのＩ3 のエントリに対応する入力は日本語の「家」を表す日本語文字であって、表示画面上の座標（１０，２０）の位置に表示されていることを示している。
【００３９】
向き情報の欄には、各表示情報の正立方向を、画面上の座標系に基づくベクトル表現で記憶される。なお、正立方向を持たない表示情報に関しては、記号「−」が記録される。
【００４０】
種別情報の欄には、各表示情報の種類が、「図形」、「日本語」、「英語」、「日記号」、「英記号」等のように記録されるようになっている。軌跡情報の欄には、ペン入力情報から得られる各表示情報に対応する入力描画軌跡が記録されるようになっている。なお、言語記号翻訳部１５によって得られる翻訳結果に対応するエントリでは、軌跡情報が存在しないため、記号「−」が記録されている。
【００４１】
また、対訳ＩＤ情報の欄には、翻訳対として対応する表示情報のエントリのＩＤ情報が記録されるようになっている。なお、翻訳対の存在しないエントリでは、記号「−」が記録される。
【００４２】
内容情報の欄には、画像表示部１２に表示すべき情報の内容（コンテンツ）が記録されるようになっている。なお、図形等においては、この欄に記号「−」が記述されるが、これは軌跡情報がそのまま表示すべき情報であることを示している。
【００４３】
図１において、配置情報記憶部１７は、各利用者の装置１０（画像表示部１２）に対する空間的な配置に関する情報が記録されるようになっている。
【００４４】
図３は図１中の配置情報記憶部１７の内容の一例を示す説明図である。
【００４５】
図３に示すように、配置情報は、ユーザＩＤ情報、配置情報及び正立方向情報等に分類されて記憶される。配置情報記憶部１７の各エントリにおいて、ユーザＩＤ情報の欄には、各ユーザを識別するための記号が記録される。配置情報の欄には、対応するユーザと装置１０の空間的な位置関係が、装置１０の画像表示部１２の画面上の座標系に沿って記述されるようになっている。
【００４６】
つまり、画像表示部１２の画面上の座標系として採用されているＸ軸及びＹ軸を＋，−双方向に外挿した座標軸によって、装置１０と各利用者との位置が表現される。例えば、図３のユーザＩＤ情報が利用者Ｊであるエントリの、配置情報Ｐ1 の値が、（２００、−１５００）である場合には、利用者がＹ軸のマイナス方向（画像表示部１２の画面から見て上方向）の座標値１５００に対応する位置に、利用者が位置することが示される。
【００４７】
また、正立方向情報の欄には、対応するユーザに対して情報を提示する際に、提示するメッセージを、そのユーザからみて正立となる方向が画像表示部１２の画面上の座標形に沿ってベクトル表現で記録されるようになっている。
【００４８】
図１において、制御部１８は、装置１０の各部を制御するようになっている。
【００４９】
また、制御部１８は、手書き入力を解析して、その手書き入力で用いられている表現の様式に関する情報である入力様式情報を検出する様式検出機能も有しており、言語種情報と、入力様式情報の組を記憶し、記憶した情報の組を参照して、出力メッセージの言語種に応じて、同一の言語でなされた入力の様式と同様の様式となるよう出力の様式を制御することも可能である。
【００５０】
次に、このように構成された実施の形態の動作について図４を参照して説明する。図４は制御部１８が行う処理手順に対応するフローチャートである。
【００５１】
なお、各利用者について配置情報記憶部１７にエントリが用意され、利用者の装置１０に対する位置と正立方向に関する情報とが、例えば上述した各方法によって取得されて予め配置情報記憶部１７に記録されているものとする。
【００５２】
図４のステップＳ1 において、制御部１８は、ペン入力発生の待機状態となる。利用者がペンデバイス１１を用いた手書き入力を行うと、磁気センサー部１３は、利用者のペンデバイス１１の操作によるペン先の位置、状態等を検出し、制御部１８にペン入力情報として随時出力する。
【００５３】
次に、ステップＳ2 において、表示情報の記憶が行われる。即ち、制御部１８は、ペン入力情報を受け取ると、その情報を文字記号認識部１４に出力する。ステップＳ3 において、文字記号認識部１４はペン入力に対する言語記号認識処理を行い、認識結果情報を制御部１８に出力する。
【００５４】
制御部１８は、文字記号認識部１４からの認識結果情報を受け取ると、新たなエントリを用意して、表示情報記憶部１６に受け取った情報を適宜分類して記録する。そして、その際、そのエントリの対訳ＩＤ情報の欄には記号「−」を記録する。
【００５５】
制御部１８は、ステップＳ4 において、表示情報記憶部１６の各エントリを、種別情報の欄と対訳ＩＤ情報の欄に注目して検索し、対訳ＩＤ情報の内容が「−」であるもののなかから、種別情報の内容が、日本語、英語等の言語の種類であるか、あるいは日記号や英記号等の言語依存の記号の種類であるエントリを抽出する。
【００５６】
制御部１８は、抽出した全てのエントリＥｓについて、以後ステップＳ5 〜Ｓ7 の処理を繰返す。即ち、制御部１８は、対訳が記録されていないエントリの認識結果情報を言語記号翻訳部１５に送る。言語記号翻訳部１５は、認識結果情報に対する翻訳処理を行って、翻訳結果情報Ｒｓを得る（ステップＳ5 ）。言語記号翻訳部１５は、翻訳結果情報Ｒｓを制御部１８に出力する。
【００５７】
次に、制御部１８は、表示情報記憶部１６に新たなエントリＥｔを用意し、エントリＥｔの種別情報の欄に、翻訳結果情報Ｒｓの翻訳結果の種別を記録する。また、制御部１８は、エントリＥｔの内容情報の欄に、翻訳結果情報Ｒｓの翻訳結果を記録する。
【００５８】
次に、制御部１８は、ステップＳ7 において、配置情報記憶部１７を参照して、このエントリＥｄに対応する翻訳結果を受け取るべきユーザの配置情報の値Ｐｔと、正立方向情報の値Ｖｔとを得る。そして、制御部１８は、エントリＥｔ向き情報の欄に、値Ｖｔを記録する。制御部１８は、表示情報記憶部１６の内容を参照して、他のエントリの位置情報と重複せず、且つエントリＥｓの位置情報の示す位置と近い位置Ｌｔを探して、エントリＥｔの位置情報の欄に記録する。
【００５９】
次に、ステップＳ8 において、次のエントリの情報を読出して、ステップＳ4 〜Ｓ8 の処理を繰返す。全てのエントリについての対訳を記録すると、次のステップＳ9 に移行して、表示を行う。
【００６０】
即ち、制御部１８は、表示情報記憶部１６の内容を参照して、それぞれのエントリが表す情報を、それぞれのエントリの位置情報が示す位置に、それぞれのエントリの向き情報が示す方向を正立方向として表示させるように、画像表示部１２に出力する。
【００６１】
次に、図５及び図６の説明図を参照して、具体的な使用法について説明する。図５及び図６の説明は図２に対応している。
【００６２】
図５は日本語を用いる第１の利用者Ｊと、英語を用いる第２の利用者Ｅとが、向かい合って、装置１０を両者の間において、地図を描きながら場所を説明するために装置１０を利用する場面を想定している。図６は画像表示部１２の画面表示を示している。
【００６３】
いま、図６（ａ）に示すように、利用者Ｊが、ペンデバイス１１によって、川を表す線描Ｉ1 を記入するものとする。この入力により、図４のステップＳ1 ，Ｓ2 の処理が実行されて、表示情報記憶部１６のＩＤ情報＝Ｉ1 のエントリが生成される。
【００６４】
このエントリＩ２は、種別が図形である。文字記号認識部１４は、手書き入力が文字又は記号でないことを認識する。従って、この場合には、制御部１８は、図４のステップＳ4 からステップＳ9 に処理を移行して、ユーザが記入した線描のみを、そのまま画像表示部１２に出力する。こうして、画像表示部１２の画面上に川の絵が表示される。
【００６５】
次に、利用者Ｊが、家を表す線描図形Ｉ2 を入力するものとする。そうすると、同様にして、表示情報記憶部１６のＩ2 のエントリが生成され、その線描図形がそのまま追加されて画像表示部１２の画面上に表示される。
【００６６】
ここで、利用者Ｊが、家を表す線描図形の近くに、日本語で「家」と入力するものとする。そうすると、制御部１８によって、表示情報記憶部１６にＩ3 のエントリが生成される。このエントリは、翻訳可能な言語情報であり、文字記号認識部１４の認識結果によって、表示情報記憶部１６に対訳である英語の"HOME"のエントリＩ4 が生成される。また、制御部１８は、エントリＩ4 に対応する表示を、その位置が他の表示に重複せず、翻訳の元である日本語の「家」に近くで、且つ利用者Ｅに配置位置が近く、その文字の向きが利用者Ｅから見て正立する方向となるように設定する。
【００６７】
制御部１８の設定に基づいて、ステップＳ14において、これまでの表示内容に加えて、利用者Ｊによって入力された日本語の文字「家」が表示され、更にその近くに英語対訳である英語文字列「HOME」が、利用者Ｅから見て正立するように表示される。
【００６８】
次いで、図６（ｅ）に示すように、利用者Ｅによって、橋を表す線描図形と、英語文字列"bridge"とが手書き入力されるものとする。これに対して上記各処理が同様に行われて、日本語の対訳文字列「橋」が利用者Ｊから見て正立するように追加される。
【００６９】
次に、利用者Ｊが、郵便局を表す記号「〒」を手書き入力するものとする。そうすると、文字記号認識部１４は手書きで描画された絵柄を言語文化依存のシンボルとして抽出する。更に、言語記号翻訳部１５は、このシンボルに対して、英語の文字列"post office"の翻訳結果を得る。制御部１８は、この文字列を利用者Ｅから正立する注釈として追加表示させる（図６（ｆ））。
【００７０】
このように本実施の形態においては、利用者の手書きメッセージが文字記号であるか否かを判定し、文字だけでなく記号についても他の利用者のための翻訳処理を行い、更に、翻訳結果をこの利用者に正立するメッセージとして提示している。文字だけでなく、記号や絵を利用した筆談を採用していることから、定型フレーズ等のコミュニケーションのための表現の収録数が少ない場合でも、コミュニケーションに必要な多くの情報を相手に提供することが可能である。しかも、文字や絵の手書きによる入力が可能であり、入力操作が極めて容易である。絵や記号と文字との複合的な翻訳処理を行っており、画像イメージを利用したコミュニケーションを極めて簡単にし、例えば、場所の説明等に有効である。しかも、本来翻訳の対象とならない記号やシンボル等についても文字によって表現するという翻訳処理を行っており、メッセージの理解を容易にすることができる。
【００７１】
更に、本実施の形態においては、各利用者の位置に応じて、メッセージの提示位置及び方向を決定していることから、自分が書いた文字記号や相手が書いた文字記号の翻訳結果を同時に正立して見ることができ、コミュニケーションを極めて効果的に支援することができる。
【００７２】
例えば、１つの共有表示画面を複数の利用者が共有し、複数の利用者がその共有表示画面内に、各々のペンデバイスで手書き入力を行うようにして利用するようにすると共に、例えば日本語を話す第１の利用者が描いたある図形の横に第１の利用者が日本語で更に注釈を書き込んだ際に、その日本語の注釈を例えば英語を話す第２の利用者向けに英語に翻訳して、元の日本語のメッセージと並べて表示する。この場合に、例えば、その図形の下の近傍領域の中で、第２の利用者に物理的に近い位置に、英語に翻訳された注釈を表示するようにしている。
【００７３】
また例えば、机をはさんで対面している、日本語を話す第１の利用者と英語を話す第２の利用者とが、１つの共有表示画面を両者の間に有る机の上に平らに置いて利用するような場合において、第１の利用者が描いたある図形の横に日本語で更に注釈を書き込んだ際に、日本語の注釈の英語の翻訳結果を第２の利用者向けに表示する際に、その図形の下の近傍領域の中で、第２の利用者から見て英語の注釈が正立する方向に向けて表示させる。
【００７４】
また例えば、利用者からの手書きによる入力を受付ける場合に、例えば入力される文字や図形の向きや、あるいは入力ストロークの進行方向等を解析することで、その入力を行っている利用者の装置１０に対する空間的な位置関係を検出して記憶し、その情報に基づいて、各利用者に対して提示されるメッセージの提示方法を制御し、その利用者に対して例えば文字情報によるメッセージを提示する際に、上述の処理で検出された利用者の位置情報を参照して、その利用者の位置から見て正立するように、そのユーザに対する文字情報を出力させる。
【００７５】
また例えば、利用者からの手書きによる入力を受付け、例えば、そこに含まれる文字の種類を解析することによって、そこで使われた言語の種類を同定し、その情報を利用して、利用者への出力の様式の制御に利用するように構成したものである。
【００７６】
また例えば、第１の利用者からの手書き入力を解析することによって、その入力が例えば日本語でなされていることと、そこに含まれる文字の正立方向とを同定し、第２の利用者からの例えば英語による入力を日本語に翻訳して第１の利用者に提示する際に、前述の処理によって同定された、第１の利用者からの日本語による手書き入力の正立方向と同じ方向で、第２の利用者からの英語による入力の翻訳結果である日本語によるメッセージを出力するように構成したものである。
【００７７】
また、第１の利用者は例えば日本語を用い、第２の利用者は例えば英語を用いるといった情報を記憶しておくことで、ある入力を受け取った際にその入力を解析してその言語種を同定したり、利用者の空間的な位置情報の同定結果に付与したりして記憶して、後のメッセージの提示方法の制御に活用することもできる。
【００７８】
上記実施の形態においては、入力装置としてペンデバイス及び磁気センサー部を有する画像表示部を用い、提示装置として画像表示部を用いたが、音声を入出力するマイク及びスピーカを用いることで、音響によっても同様のコミュニケーション支援が可能であることは明らかである。
【００７９】
図７は本発明の第２の実施の形態を示すブロック図であり、音響によるコミュニケーション支援を可能にした装置を示している。図７において図１と同一の構成要素には同一符号を付して説明を省略する。
【００８０】
本実施の形態のコミュニケーション支援装置２０はマイクロフォン（マイク）２１ａ，２１ｂ及びスピーカ２２ａ，２２ｂを付加すると共に、音響認識部２５、音響翻訳部２６及び音響出力部２７を付加した点が図１の実施の形態と異なる。
【００８１】
図８はマイク２１ａ，２１ｂ及びスピーカ２２ａ，２２ｂの実際の配置を説明するための説明図である。図８に示すように、一対のマイク２１ａ，２１ｂは画像表示部１２の一辺の両端に取り付けられ、一つのスピーカ２２ａ，２２ｂはマイクが取り付けられた一辺に対向する辺の両端に取り付けられる。
【００８２】
マイク２１ａ，２１ｂは取り込んだ音声信号を制御部１８に出力する。一対のマイク２１ａ，２１ｂは所定の距離だけ離間して配置されており、各マイク２１ａ，２１ｂからの音声信号の時間的な遅延関係等によって、制御部１８は、マイク２１ａ，２１ｂに取り込まれた音声信号を発した利用者の位置を特定することができるようになっている。
【００８３】
制御部１８はマイク２１ａ，２１ｂからの音声信号を音響認識部２５に与える。音響認識部２５は入力された音声信号を音声認識し、認識結果を制御部１８に戻す。制御部１８は音声認識結果を音響翻訳部２６に出力する。音響翻訳部２６は入力された音声認識結果を翻訳して制御部１８に戻す。制御部１８は音響翻訳部２６からの翻訳結果を音響出力部２７に出力する。
【００８４】
音響出力部２７は音像定位装置２８を備えている。音響出力部２７は、入力された翻訳結果を音声信号に変換すると共に、音像定位装置２８によって、翻訳結果の音声信号をその提供先である利用者に向けて定位させるように、音声信号のレベル、音質及び位相を調整して、各スピーカ２２ａ，２２ｂに出力する。
【００８５】
なお、マイク及びスピーカの数は２個だけでなく、夫々３個以上設けたマイクアレイ、スピーカアレイを採用してもよい。
【００８６】
なお、制御部１８は、音声入力を解析し、例えば、音声入力信号から得られる声紋や発声様式に関する情報等を抽出して分析することによって、音声入力を行った利用者を判定することも可能である。
【００８７】
このように構成された実施の形態においては、手書き入力だけでなく、音声入力が可能であり、そして、この音声入力による言語を相手の利用者が認識可能な言語に翻訳して、その相手に向けて音声出力することができる。
【００８８】
また、制御部１８は、手書き入力の認識結果を音響翻訳部２６に与えることにより、手書き入力された文章を相手の言語で相手に向けて音声で出力させることも可能である。また逆に、制御部１８は、音声入力の認識結果を言語記号翻訳部１５に与えることにより、音声入力された文章を相手の言語に対応した文字記号に変換して画像表示部１２の画面上に表示させることも可能である。
【００８９】
このように、本実施の形態においては、共有表示画面上において相互の言語に基づく画像表示を相互の位置に応じて行うだけでなく、利用者が発した音声を相手の言語の音声に変換して、相手の位置に向かって音声出力させることができる。これにより、コミュニケーションの効率を著しく向上させることが可能である。
【００９０】
例えば、日本語を話す第１の利用者と、英語を話す第２の利用者とが、１つの共有表示画面の右方向と左方向にいる状態で、第１の利用者に向けて出力される日本語の音声信号は、第１の利用者のいる右方向で例えば音量が大きくなるように制御されて出力され、第２の利用者に向けて出力される英語による音声信号は、第２の利用者のいる左方向で例えば音量が大きくなるように制御されて出力される。
【００９１】
例えば、複数のマイクロフォンを持ち、各マイクロフォンから得られる音声信号の、時間的な遅延関係等に基づいて、それぞれの音声信号が発せられている空間内の位置を検出するマイクロフォンアレイ技術等によって、装置２０と利用者との間の空間的な配置関係を検出し、その情報に基づいて、文字や画像によるメッセージを、そのメッセージ情報を受け取る利用者の近くに配置したり、あるいはその利用者から正立するように構成したり、あるいは、音声によるメッセージを、そのメッセージ情報を受け取る利用者の位置に定位させることが可能である。
【００９２】
また例えば、利用者からの音声による入力を受付け、音声入力を解析することによって、各音声入力を発した利用者を同定し、その情報を利用して、装置２０と各利用者との空間的な位置関係を解析して利用者への出力の様式の制御に利用するようにすることもできる。
【００９３】
本発明は上記各実施の形態に限定されるものではない。例えば、手書き入力に使われるペンデバイスに、例えば磁気タグ等を埋め込み、例えば磁気センサーでそのタグ情報を解析することによって、ペンデバイスの空間的な位置や姿勢を解析することで、本装置と利用者との間の空間的な配置関係を検出することも可能である。
【００９４】
また、本装置を利用する各利用者が例えば無線タグ等を身につけ、例えば指向性を持つアンテナでその無線タグ情報を読み取り解析することによって、本装置と利用者との間の空間的な配置関係を検出することも可能である。
【００９５】
また、入力は利用者からリアルタイムになされるものではなく、例えば媒体やネットワーク経由で提供されるように構成することもできる。
【００９６】
また、手書き入力と音声入力など、複数個の入力手段が同時に併用されてもよい。
【００９７】
また、入力は例えばメニュー選択等によって行うようにしてもよい。
【００９８】
また、入力は音声でなされ、出力は文字画像情報でなされるなど、入力と出力で手段（メディア）が異なっていてもよい。
【００９９】
また、一方の利用者は音声で入力を行い、他方の利用者は手書きで入力を行うなど、利用者毎の入力手段が異なっていてもよい。
【０１００】
また、一方の利用者へは音声で出力を行い、他方の利用者へは文字画像で出力を行うなど、利用者毎の出力手段が異なっていてもよい。
【０１０１】
また、言語の翻訳をおこなう機能に加えて、例えば音声信号を文字信号に変換するなどと言った、メディア変換機能を併用してもよい。
【０１０２】
また、複数の利用者に同時に出力されてもよい。
【０１０３】
また、出力部や入力部が複数有ってもよい
また、上記実施の形態では、複数の利用者が共有して使う１つの装置の例を示したが、例えば互いに通信し合う複数の機器で構成されてもよい。
【０１０４】
また、言語種判定処理の結果を翻訳方向の決定に利用してもよい。
【０１０５】
また、入力者判定処理の結果を翻訳方向の決定に利用してもよい。
【０１０６】
また、例えば利用者が手で持つことのできる携帯型の装置として実現した場合等には、本体の空間内での姿勢を検出する手段を加えて、その情報も併用して出力の形式を制御してもよい。
【０１０７】
また、上述の例では、文字の向きを制御する例を示したが、例えば、半透明表示や、多色表示や、立体表示等を用いていてもよい。
【０１０８】
また、各利用者の用いる言語は１つに限定されるものではなく、利用言語が複数合っても良い。
【０１０９】
また、利用者の用いる言語は、あらかじめ設定しておいたり、あるいは、利用者が適宜設定できるようにしておいてもよい。
【０１１０】
また、利用者との本装置との位置関係の検出処理では、例えば対人センサーや、あるいは、顔や手認識など画像認識技術や、モーションキャプチャ技術などを使ってもよい。また、音声信号の出力形式を制御する際に、その音声信号を受け手である利用者ではない利用者の位置では、その音声信号が、小さくなるかあるいは聞こえなくなるようにマスキングされるように、制御しても良い。
【０１１１】
また、上記各実施の形態では、装置として本発明を実現する場合の例を示したが、上述の具体例の中で示した処理手順、フローチャートをプログラムとして記述し、実装し、汎用の計算機システムで実行することによっても同様の機能と効果を得ることが可能である。
【０１１２】
すなわち、上述の実施の形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（Ｒ）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリ等の記録媒体を用いてコンピュータにプログラムを読み込み、ＣＰＵ部で実行させれば、本発明のコミュニケーション支援装置を実現することができる。
【０１１３】
【発明の効果】
以上説明したように本発明によれば、異なる言語を用いる人同士の円滑なコミュニケーションを可能にすることができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るコミュニケーション支援装置を示すブロック図。
【図２】図１中の表示情報記憶部１６の記憶内容の一例を示す説明図。
【図３】図１中の配置情報記憶部１７の内容の一例を示す説明図。
【図４】実施の形態の動作を説明するためのフローチャート。
【図５】具体的な使用法を説明するための説明図。
【図６】具体的な使用法を説明するための説明図。
【図７】本発明の第２の実施の形態を示すブロック図。
【図８】図７中のマイク２１ａ，２１ｂ及びスピーカ２２ａ，２２ｂの実際の配置を説明するための説明図。
【符号の説明】
１１ａ，１１ｂ…ペンデバイス、１２…画像表示部、１３…磁気センサー部、１４…文字記号認識部、１５…言語記号翻訳部、１６…表示情報記憶部、１７…配置情報記憶部、１８…制御部。
【図１】
0003933449.tif 000002
【図２】
0003933449.tif 000003
【図３】
0003933449.tif 000004
【図４】
0003933449.tif 000005
【図５】
0003933449.tif 000006
【図６】
0003933449.tif 000007
【図７】
0003933449.tif 000008
【図８】
0003933449.tif 000009