(57)【要約】【課題】発話者がとるジェスチャを翻訳することにより、受話者に対して誤解を生むことなく、円滑なコミュニケーションを図ることができるテレビ電話機を提供する。【解決手段】テレビ電話機（１）は、ジェスチャの特徴を示す参照用特徴データとそのジェスチャの翻訳を示す翻訳情報とを対応付けるジェスチャ辞書（３１Ａ〜３１Ｄ）と、被写体の画像に基づいて被写体のジェスチャの特徴を示す撮影時特徴データを生成し、ジェスチャ辞書（３１Ｂ）の翻訳情報の中から、撮影時特徴データに対応する翻訳情報を翻訳結果として選択するジェスチャ解析部（３３）と、被写体の画像に前記翻訳結果を合成して翻訳結果合成画像を生成する翻訳結果合成部（３４）と、を具備する。【選択図】図１
2015015623.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャの特徴を示す参照用特徴データとそのジェスチャの翻訳を示す翻訳情報とを対応付けるジェスチャ辞書と、
被写体の画像に基づいて前記被写体のジェスチャの特徴を示す撮影時特徴データを生成し、前記ジェスチャ辞書の翻訳情報の中から、前記撮影時特徴データに対応する翻訳情報を翻訳結果として選択するジェスチャ解析部と、
前記被写体の画像に前記翻訳結果を合成して翻訳結果合成画像を生成する翻訳結果合成部と、
を具備することを特徴とするテレビ電話機。
【請求項２】
前記被写体の画像を受信する受信部と、
前記翻訳結果合成画像を表示する表示部と、
を更に具備することを特徴とする請求項１に記載のテレビ電話機。
【請求項３】
前記翻訳結果合成画像を送信する送信部、
を更に具備することを特徴とする請求項１に記載のテレビ電話機。
【請求項４】
複数のジェスチャ辞書が登録された辞書記憶部と、
通話に用いられる識別子と使用言語に関連する属性情報とが対応付けられて登録された電話帳記憶部と、
選択すべきジェスチャ辞書を示す選択辞書情報が属性情報別に登録された判別用記憶部と、
前記電話帳記憶部に登録された前記属性情報の中から、通話に用いられる識別子に対応する属性情報を選択属性情報として取得し、前記判別用記憶部に登録された前記辞書情報の中から、前記選択属性情報に対応する辞書情報を選択辞書情報として取得する判別部と、
前記辞書記憶部に登録された前記複数のジェスチャ辞書の中から、前記選択辞書情報が示すジェスチャ辞書を前記ジェスチャ辞書として選択するジェスチャ辞書選択部と、
を更に具備することを特徴とする請求項１から３のいずれかに記載のテレビ電話機。
【請求項５】
被写体の画像に基づいて前記被写体のジェスチャの特徴を示す撮影時特徴データを生成するステップと、
ジェスチャの特徴を示す参照用特徴データとそのジェスチャの翻訳を示す翻訳情報とを対応付けるジェスチャ辞書を参照して、前記ジェスチャ辞書の翻訳情報の中から、前記撮影時特徴データに対応する翻訳情報を翻訳結果として選択するステップと、
前記被写体の画像に前記翻訳結果を合成して翻訳結果合成画像を生成するステップと、
の各ステップをコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像及び音声を用いて通話を行なうテレビ電話機、及び、プログラムに関する。
【背景技術】
【０００２】
テレビ電話機を使用して発話者と受話者とで通話を行なう場合、発話者のテレビ電話機は、カメラにより撮影された発話者の画像とマイクにより取り込まれた発話者の音声とを含む通話データを、電話網を介して、受話者のテレビ電話機に送信する。これにより、受話者は、発話者の音声を聞きながら、発話者の画像を見ることができる。
【０００３】
発話者と受話者との言語が異なる場合、受話者は、発話者の音声を瞬時に翻訳して、テレビ電話機にて会話を行なうことになる。ところが、受話者が発話者の言語に対する知識に乏しい場合や、発話者の音声を瞬時に翻訳できない場合では、会話をスムーズに行なうことができない。この問題を解決するために、特許文献１には、発話者の音声を翻訳する技術が記載されている。
【０００４】
特許文献１に記載された技術では、発話者のテレビ電話機と受話者のテレビ電話機との間に音声翻訳部（図示しない）を設けている。音声翻訳部は、発話者のテレビ電話機から送信された通話データに含まれる発話者の音声（例えば英語の音声）をテキストデータ（英語表記のテキストデータ）に変換する音声テキスト変換部（図示しない）と、そのテキストデータに表記された言語を受話者の指定言語（例えば日本語）に翻訳するテキスト言語翻訳部（図示しない）と、翻訳されたテキストデータを字幕として受話者のテレビ電話機の表示部の端（例えば下端）に表示されるように、通話データに含まれる発話者の画像に合成して、受話者のテレビ電話機に伝送する画像テキスト合成部（図示しない）と、を具備している。これにより、受話者は、発話者の音声（英語）を聞きながら、発話者の画像と共に、翻訳された字幕を見ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２６０１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された技術では、通話データに含まれる発話者の音声は翻訳されて、字幕として受話者のテレビ電話機に伝送されるが、通話データに含まれる発話者の画像は、そのまま受話者のテレビ電話機に伝送される。このため、相手（受話者）の国籍・文化・風習により、送信元の被写体（発話者）がとるジェスチャが、その相手には不適切なジェスチャであると受け取られ、コミュニケーションに齟齬をきたす可能性がある。例えば、日本では、相手に軽く挨拶をする際に「手のひらを見せるように手を上げる」動作を行なうことがあるが、このような動作は、欧州では「侮辱行為」として認識されることがある。
【０００７】
本発明は、上記の点に鑑みてなされたものであり、送信元の被写体（発話者）がとるジェスチャを翻訳することにより、相手（受話者）に対して誤解を生むことなく、円滑なコミュニケーションを図ることができるテレビ電話機、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のテレビ電話機は、ジェスチャの特徴を示す参照用特徴データとそのジェスチャの翻訳を示す翻訳情報とを対応付けるジェスチャ辞書と、被写体の画像に基づいて前記被写体のジェスチャの特徴を示す撮影時特徴データを生成し、前記ジェスチャ辞書の翻訳情報の中から、前記撮影時特徴データに対応する翻訳情報を翻訳結果として選択するジェスチャ解析部と、前記被写体の画像に前記翻訳結果を合成して翻訳結果合成画像を生成する翻訳結果合成部と、を具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、送信元の被写体（発話者）がとるジェスチャを翻訳することにより、相手（受話者）に対して誤解を生むことなく、円滑なコミュニケーションを図ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係るテレビ電話機１の構成を示す概略ブロック図である。
【図２】図２は、図１の構成を用いて、本発明の第１実施形態に係るテレビ電話機１の動作（テレビ電話処理）を説明するためのフローチャートである。
【図３】図３は、本発明の第２実施形態に係るテレビ電話機１の構成を示す概略ブロック図である。
【図４】図４は、図３の構成を用いて、本発明の第２実施形態に係るテレビ電話機１の動作（テレビ電話処理）を説明するためのフローチャートである。
【図５】図５は、本発明の第３実施形態に係るテレビ電話機１におけるジェスチャ翻訳部３０の構成を示す概略ブロック図である。
【図６】図６は、図５の判別用記憶部３６の例を示している。
【図７】図５及び図６の構成を用いて、本発明の第３実施形態に係るテレビ電話機１の動作（テレビ電話処理）を説明するためのフローチャートである。
【図８】本発明の第４実施形態に係るテレビ電話機１におけるジェスチャ翻訳部３０の辞書記憶部３１内のジェスチャ辞書の例を示している。
【図９】本発明の第４実施形態に係るテレビ電話機１の動作を説明するための図である。
【図１０】本発明の第５実施形態に係るテレビ電話機１におけるジェスチャ翻訳部３０の辞書記憶部３１内のジェスチャ辞書の例を示している。
【図１１】本発明の第５実施形態に係るテレビ電話機１の動作を説明するための図である。
【図１２】本発明の第６実施形態に係るテレビ電話機１の動作を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施形態について説明する。本実施形態に係るテレビ電話機は、携帯電話機、スマートフォンなどに適用される。
【００１２】
［第１実施形態］
図１は、本発明の第１実施形態に係るテレビ電話機１の構成を示す概略ブロック図である。テレビ電話機１は、カメラ１１と、送信部１２と、マイク１３と、受信部２１と、表示部２２と、スピーカ２３と、制御部（図示しない）と、記憶装置（図示しない）を具備している。
【００１３】
制御部は、カメラ１１、送信部１２、マイク１３、受信部２１、表示部２２、スピーカ２３に対して制御を行う。制御部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等から構成されている。記憶装置には、コンピュータが実行可能なコンピュータプログラムが格納され、ＣＰＵは、そのコンピュータプログラムを読み出して実行する。表示部２２としては、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）が例示される。
【００１４】
テレビ電話機１は、発話者と受話者に使用される。ここで、発話者が使用するテレビ電話機１を発話者のテレビ電話機１Ａと称し、受話者が使用するテレビ電話機１を受話者のテレビ電話機１Ｂと称する。
【００１５】
図１では、説明の都合上、カメラ１１、送信部１２、マイク１３が発話者のテレビ電話機１Ａ内にのみ図示されている。カメラ１１は、被写体（発話者）を撮影する。マイク１３は、発話者の音声を取り込む。送信部１２は、カメラ１１により撮影された発話者の画像と、マイク１３により取り込まれた発話者の音声とを含む通話データを、電話網２を介して、受話者のテレビ電話機１Ｂに送信する。
【００１６】
また、図１では、説明の都合上、受信部２１、表示部２２、スピーカ２３が受話者のテレビ電話機１Ｂ内にのみ図示されている。受信部２１は、発話者のテレビ電話機１Ａから送信された通話データを受信する。表示部２２は、受信部２１により受信された通話データに含まれる発話者の画像を表示する。スピーカ２３は、受信部２１により受信された通話データに含まれる発話者の音声を出力する。
【００１７】
発話者のテレビ電話機１Ａと受話者のテレビ電話機１Ｂは、電話網２を介して接続されている。電話網２には、例えば、音声翻訳部４０が設けられている。音声翻訳部４０は、例えば、特許文献１に記載された技術と同じ構成であるものとし、本発明に関連する部分のみ説明する。
【００１８】
発話者のテレビ電話機１Ａは、更に、ジェスチャ翻訳部３０を具備している。そのジェスチャ翻訳部３０は、ソフトウェア（上述のコンピュータプログラム）により実現する。ジェスチャ翻訳部３０は、発話者のテレビ電話機１Ａ内の制御部により制御される。ジェスチャ翻訳部３０は、カメラ１１により撮影された画像内の被写体（発話者）のジェスチャを翻訳する。そのジェスチャ翻訳部３０は、辞書記憶部３１と、ジェスチャ辞書選択部３２と、ジェスチャ解析部３３と、翻訳結果合成部３４とを具備している。
【００１９】
辞書記憶部３１には、ジェスチャ辞書３１Ａ〜３１Ｄが言語別に登録されている。ジェスチャ辞書３１Ａ〜３１Ｄの各々には、利用者がジェスチャを行なうときの手の動きや顔の表情などを表す所作の特徴を示す参照用特徴データ（特徴ベクトル）と、そのジェスチャの翻訳（意味）を示す翻訳情報と、が複数種類対応付けられて登録されている。
【００２０】
ジェスチャ辞書選択部３２は、辞書記憶部３１に登録されたジェスチャ辞書３１Ａ〜３１Ｄの中から、発話者の使用言語に対応するジェスチャ辞書を選択ジェスチャ辞書として選択する。ジェスチャ辞書３１Ａ〜３１Ｄとしては日本語、英語（アメリカ）、英語（イギリス）、中国語などが例示されるが、これに限定されない。
【００２１】
ジェスチャ解析部３３は、発話者の画像に基づいて、発話者の所作の特徴を示す撮影時特徴データ（特徴ベクトル）を生成する。ジェスチャ解析部３３は、ジェスチャ辞書選択部３２により選択された選択ジェスチャ辞書を参照し、その選択ジェスチャ辞書の複数種類の翻訳情報の中から、撮影時特徴データに対応する翻訳情報を翻訳結果として選択する。
【００２２】
翻訳結果合成部３４は、発話者の画像に翻訳結果を合成して、受話者のテレビ電話機１Ｂの表示部２２に表示するための翻訳結果合成画像を生成する。
【００２３】
図２は、図１の構成を用いて、本発明の第１実施形態に係るテレビ電話機１の動作（テレビ電話処理）を説明するためのフローチャートである。
【００２４】
まず、発話者のテレビ電話機１Ａにおいて、ジェスチャ翻訳部３０のジェスチャ辞書選択部３２は、ジェスチャ辞書取得要求を行なう（Ｓ０１）。ここで、Ｓ０１は、例えば発話者の操作に応じて発話者のテレビ電話機１Ａが発呼するときに実行される。Ｓ０１において、ジェスチャ辞書選択部３２は、辞書記憶部３１に登録されたジェスチャ辞書３１Ａ〜３１Ｄの中から、発話者の使用言語に対応するジェスチャ辞書（例えばジェスチャ辞書３１Ｂ）を選択ジェスチャ辞書として選択する（Ｓ０２）。ジェスチャ辞書選択部３２は、ジェスチャ翻訳部３０のジェスチャ解析部３３に翻訳準備完了を通知する（Ｓ０３）。図示省略するが、ジェスチャ翻訳部３０のジェスチャ解析部３３及び翻訳結果合成部３４が同じ画像を取得できるように、ジェスチャ辞書選択部３２は、翻訳結果合成部３４に対しても翻訳準備完了を通知する。
【００２５】
次に、ジェスチャ解析部３３は、翻訳準備完了の通知に応じて、カメラ１１に対して発話者画像取得要求を行ない（Ｓ０４）、発話者の画像をカメラ１１から取得する（Ｓ０５）。ジェスチャ解析部３３は、カメラ１１からの発話者の画像に基づいて発話者の所作の特徴を示す撮影時特徴データを生成し、Ｓ０２により選択された選択ジェスチャ辞書（ジェスチャ辞書３１Ｂ）を参照する。次に、ジェスチャ解析部３３は、選択ジェスチャ辞書の複数種類の参照用特徴データの中から、撮影時特徴データに一致する参照用特徴データを選択参照用特徴データとして選択し、選択ジェスチャ辞書の複数種類の翻訳情報のうちの、選択参照用特徴データに対応する翻訳情報を、翻訳結果として、翻訳結果合成部３４に出力する（Ｓ０６）。
【００２６】
翻訳結果合成部３４は、翻訳準備完了の通知に応じて、カメラ１１に対して発話者画像取得要求を行ない（Ｓ０７）、発話者の画像をカメラ１１から取得する（Ｓ０８）。次に、翻訳結果合成部３４は、カメラ１１からの発話者の画像にジェスチャ解析部３３からの翻訳結果を合成して翻訳結果合成画像を生成し、送信部１２に出力する（Ｓ０９）。
【００２７】
送信部１２は、翻訳結果合成部３４からの翻訳結果合成画像とマイク１３により取り込まれた発話者の音声とを含む通話データを受話者のテレビ電話機１Ｂに電話網２を介して送信する（Ｓ１０）。
【００２８】
電話網２において、音声翻訳部４０の音声テキスト変換部は、発話者のテレビ電話機１Ａから送信された通話データに含まれる発話者の音声（例えば英語の音声）をテキストデータ（英語表記のテキストデータ）に変換する。音声翻訳部４０のテキスト言語翻訳部は、そのテキストデータに表記された言語を受話者の指定言語（例えば日本語）に翻訳する。音声翻訳部４０の画像テキスト合成部は、翻訳されたテキストデータを字幕として受話者のテレビ電話機１Ｂの表示部２２の端（例えば下端）に表示されるように、通話データに含まれる翻訳結果合成画像に合成して、受話者のテレビ電話機１Ｂに伝送する。
【００２９】
受話者のテレビ電話機１Ｂにおいて、受信部２１は、発話者のテレビ電話機１Ａから送信された通話データを受信し、通話データに含まれる翻訳結果合成画像を表示部２２に出力し、通話データに含まれる発話者の音声をスピーカ２３に出力する。表示部２２は、受信部２１からの翻訳結果合成画像を表示する。スピーカ２３は、受信部２１からの音声を出力する。
【００３０】
Ｓ１０の後、通話が継続している場合、即ち、テレビ電話処理が継続している場合、Ｓ０４以降が実行され、通話が継続しない場合、テレビ電話処理は終了する。
【００３１】
このように、本発明の第１実施形態に係るテレビ電話機１では、送信元の被写体（発話者）がとるジェスチャを発話者のテレビ電話機１Ａで翻訳することにより、相手（受話者）に対して誤解を生むことなく、円滑なコミュニケーションを図ることができる。
【００３２】
［第２実施形態］
第２実施形態では、第１実施形態からの変更点のみ説明する。
【００３３】
図３は、本発明の第２実施形態に係るテレビ電話機１の構成を示す概略ブロック図である。第１実施形態では、ジェスチャ翻訳部３０は発話者のテレビ電話機１Ａに設けられているが、第２実施形態では、ジェスチャ翻訳部３０は受話者のテレビ電話機１Ｂに設けられている。
【００３４】
図４は、図３の構成を用いて、本発明の第２実施形態に係るテレビ電話機１の動作（テレビ電話処理）を説明するためのフローチャートである。
【００３５】
まず、受話者のテレビ電話機１Ｂにおいて、ジェスチャ翻訳部３０のジェスチャ辞書選択部３２は、ジェスチャ辞書取得要求を行なう（Ｓ０１）。ここで、Ｓ０１は、例えば発話者のテレビ電話機１Ａから受話者のテレビ電話機１Ｂに対して発呼があったときに受話者の操作に応じて実行される。Ｓ０１において、ジェスチャ辞書選択部３２は、辞書記憶部３１に登録されたジェスチャ辞書３１Ａ〜３１Ｄの中から、発話者の使用言語に対応するジェスチャ辞書（例えばジェスチャ辞書３１Ｂ）を選択ジェスチャ辞書として選択する（Ｓ０２）。ジェスチャ辞書選択部３２は、ジェスチャ翻訳部３０のジェスチャ解析部３３及び翻訳結果合成部３４に翻訳準備完了を通知する（Ｓ０３）。
【００３６】
いま、発話者のテレビ電話機１Ａにおいて、送信部１２は、カメラ１１により撮影された発話者の画像とマイク１３により取り込まれた発話者の音声とを含む通話データを受話者のテレビ電話機１Ｂに電話網２を介して送信する。
【００３７】
電話網２において、音声翻訳部４０の音声テキスト変換部は、発話者のテレビ電話機１Ａから送信された通話データに含まれる発話者の音声（例えば英語の音声）をテキストデータ（英語表記のテキストデータ）に変換する。音声翻訳部４０のテキスト言語翻訳部は、そのテキストデータに表記された言語を受話者の指定言語（例えば日本語）に翻訳する。音声翻訳部４０の画像テキスト合成部は、翻訳されたテキストデータを字幕として受話者のテレビ電話機１Ｂの表示部２２の端（例えば下端）に表示されるように、通話データに含まれる発話者の画像に合成して、受話者のテレビ電話機１Ｂに伝送する。
【００３８】
受話者のテレビ電話機１Ｂにおいて、受信部２１は、発話者のテレビ電話機１Ａから送信された通話データを受信する。
【００３９】
次に、ジェスチャ翻訳部３０のジェスチャ解析部３３は、翻訳準備完了の通知に応じて、受信部２１に対して発話者画像取得要求を行なう（Ｓ０４）。受信部２１は、ジェスチャ解析部３３からの発話者画像取得要求に応じて、受信した通話データに含まれる発話者の画像をジェスチャ解析部３３に出力し、ジェスチャ解析部３３は、その画像を受信部２１から取得する（Ｓ０５）。ジェスチャ解析部３３は、受信部２１からの発話者の画像に基づいて発話者の所作の特徴を示す撮影時特徴データを生成し、Ｓ０２により選択された選択ジェスチャ辞書（ジェスチャ辞書３１Ｂ）を参照する。次に、ジェスチャ解析部３３は、選択ジェスチャ辞書の複数種類の参照用特徴データの中から、撮影時特徴データに一致する参照用特徴データを選択参照用特徴データとして選択し、選択ジェスチャ辞書の複数種類の翻訳情報のうちの、選択参照用特徴データに対応する翻訳情報を、翻訳結果として、翻訳結果合成部３４に出力する（Ｓ０６）。
【００４０】
翻訳結果合成部３４は、翻訳準備完了の通知に応じて、受信部２１に対して発話者画像取得要求を行なう（Ｓ０７）。受信部２１は、翻訳結果合成部３４からの発話者画像取得要求に応じて、受信した通話データに含まれる発話者の画像を翻訳結果合成部３４に出力し、翻訳結果合成部３４は、その画像を受信部２１から取得する（Ｓ０８）。次に、翻訳結果合成部３４は、受信部２１からの発話者の画像にジェスチャ解析部３３からの翻訳結果を合成して翻訳結果合成画像を生成し、表示部２２に出力する。表示部２２は、翻訳結果合成画像を表示する（Ｓ２１）。同時に、スピーカ２３は、通話データに含まれる発話者の音声を出力する。
【００４１】
Ｓ２１の後、通話が継続している場合、即ち、テレビ電話処理が継続している場合、Ｓ０４以降が実行され、通話が継続しない場合、テレビ電話処理は終了する。
【００４２】
このように、本発明の第２実施形態に係るテレビ電話機１では、送信元の被写体（発話者）がとるジェスチャを受話者のテレビ電話機１Ｂで翻訳することにより、相手（受話者）に対して誤解を生むことなく、円滑なコミュニケーションを図ることができる。
【００４３】
［第３実施形態］
第３実施形態では、第１又は第２実施形態からの変更点のみ説明する。
【００４４】
図５は、本発明の第３実施形態に係るテレビ電話機１におけるジェスチャ翻訳部３０の構成を示す概略ブロック図である。そのジェスチャ翻訳部３０は、更に、電話帳記憶部３５と、判別用記憶部３６と、判別部３７とを具備している。
【００４５】
電話帳記憶部３５には、通話に用いられる識別子（例えば、電話番号や、ＩＰ電話などではネットワークアドレスやアカウント名）と使用言語に関連する属性情報とが利用者毎に対応付けられて登録されている。属性情報は、利用者の住所、利用者の国籍、利用者の所在地が判別可能な識別情報（ＩＰアドレスなど）を少なくとも含む。
【００４６】
判別用記憶部３６には、属性情報５１と、選択すべきジェスチャ辞書を示す辞書情報５２とが対応付けられて登録されている。辞書情報５２は、属性情報５１別に判別用記憶部３６に登録されている。図６は、図５の判別用記憶部３６の例を示している。図６に示されるように、属性情報５１は国籍を示している。その国籍としては日本、アメリカ、イギリス、中国などが例示されるが、これに限定されない。その属性情報５１（国籍）が示す日本、アメリカ、イギリス、中国に対して、辞書情報５２が示すジェスチャ辞書は、日本語のジェスチャ辞書、英語（アメリカ）のジェスチャ辞書、英語（イギリス）のジェスチャ辞書、中国語のジェスチャ辞書であるものとする。
【００４７】
判別部３７は、発話者と受話者とが通話を行なうときに、電話帳記憶部３５に登録された属性情報の中から、通話に用いられる発話者の識別子（ここでは、電話番号とする）に対応する属性情報を選択属性情報として取得する。このとき、判別部３７は、判別用記憶部３６に登録された属性情報５１の中から、選択属性情報に一致する属性情報５１を検索し、判別部３７は、判別用記憶部３６に登録された辞書情報５２の中から、検索された属性情報５１に対応する辞書情報５２を選択辞書情報として取得する。
【００４８】
これにより、ジェスチャ辞書選択部３２は、辞書記憶部３１に登録されたジェスチャ辞書３１Ａ〜３１Ｄの中から、選択辞書情報が示すジェスチャ辞書を選択ジェスチャ辞書として自動的に選択する。
【００４９】
図７は、図５及び図６の構成を用いて、本発明の第３実施形態に係るテレビ電話機１の動作（テレビ電話処理）を説明するためのフローチャートである。
【００５０】
まず、発話者と受話者とが通話を行なうときに、発話者のテレビ電話機１Ａ、又は、受話者のテレビ電話機１Ｂにおいて、ジェスチャ翻訳部３０の判別部３７は、発話者国籍取得要求を行なう（Ｓ３１）。ここで、Ｓ３１は、例えば発話者の操作に応じて発話者のテレビ電話機１Ａが発呼するときに実行される。又は、Ｓ３１は、例えば発話者のテレビ電話機１Ａから受話者のテレビ電話機１Ｂに対して発呼があったときに受話者の操作に応じて実行される。判別部３７は、電話帳記憶部３５に登録された国籍の中から、発話者の電話番号に対応する国籍（例えば［アメリカ］）を選択国籍として取得する（Ｓ３２）。次に、判別部３７は、判別用記憶部３６に登録された辞書情報５２の中から、選択国籍［アメリカ］に対応する辞書情報５２［英語（アメリカ）のジェスチャ辞書］を選択辞書情報として取得し、ジェスチャ辞書選択部３２に出力する（Ｓ３３）。
【００５１】
次に、ジェスチャ翻訳部３０のジェスチャ辞書選択部３２は、判別部３７からの選択辞書情報［英語（アメリカ）のジェスチャ辞書］に応じて、ジェスチャ辞書取得要求を行なう（Ｓ３４）。Ｓ３４において、ジェスチャ辞書選択部３２は、辞書記憶部３１に登録されたジェスチャ辞書３１Ａ〜３１Ｄの中から、選択辞書情報が示す英語（アメリカ）のジェスチャ辞書（例えばジェスチャ辞書３１Ｂ）を選択ジェスチャ辞書として自動的に選択する（Ｓ３５）。ジェスチャ辞書選択部３２は、ジェスチャ翻訳部３０のジェスチャ解析部３３及び翻訳結果合成部３４に翻訳準備完了を通知する（Ｓ３６）。
【００５２】
Ｓ３６の後、Ｓ０４以降が実行される。
【００５３】
このように、本発明の第３実施形態に係るテレビ電話機１では、発話者と受話者とが通話を行なうときに、発話者の使用言語に対応するジェスチャ辞書を自動的に選択するため、これに伴う発話者又は受話者の操作の手間を省くことができる。
【００５４】
［第４実施形態］
第４実施形態では、第１〜第３実施形態からの変更点のみ説明する。
【００５５】
図８は、本発明の第４実施形態に係るテレビ電話機１におけるジェスチャ翻訳部３０の辞書記憶部３１内のジェスチャ辞書の例を示している。辞書記憶部３１には、ジェスチャ辞書３１Ａ〜３１Ｄが言語別に登録され、ジェスチャ辞書３１Ａ〜３１Ｄの各々には、利用者がジェスチャを行なうときの所作の特徴を示す参照用特徴データ５３（特徴ベクトル）と、そのジェスチャの翻訳（意味）を示す翻訳情報５４と、が複数種類対応付けられて登録されている。図８に示されるように、その翻訳情報５４は、ジェスチャの意味を表す文字列である。
【００５６】
この場合、ジェスチャ翻訳部３０の翻訳結果合成部３４は、発話者の画像に翻訳結果を合成するときに、例えば図９に示されるような形態で、発話者の画像に、文字列を表す翻訳情報５４を合成する。このとき、発話者の画像のうちの、発話者の画像に合成される字幕とは重複しない位置に、文字列を表す翻訳情報５４を合成することが好ましい。
【００５７】
［第５実施形態］
第５実施形態では、第１〜第３実施形態からの変更点のみ説明する。
【００５８】
図１０は、本発明の第５実施形態に係るテレビ電話機１におけるジェスチャ翻訳部３０の辞書記憶部３１内のジェスチャ辞書の例を示している。辞書記憶部３１には、ジェスチャ辞書３１Ａ〜３１Ｄが言語別及び利用者別に登録され、ジェスチャ辞書３１Ａ〜３１Ｄの各々には、利用者がジェスチャを行なうときの所作の特徴を示す参照用特徴データ５３（特徴ベクトル）と、そのジェスチャの翻訳（意味）を示す翻訳情報５５と、が複数種類対応付けられて登録されている。翻訳情報５５は、利用者のジェスチャに対して、予め用意された利用者の画像を示すアバター画像である。予め用意された利用者の画像は、例えば、カメラ１１により利用者が予め撮影された画像ファイルである。
【００５９】
この場合、ジェスチャ翻訳部３０のジェスチャ解析部３３は、撮影時特徴データ（特徴ベクトル）を生成したときに、選択ジェスチャ辞書（例えばジェスチャ辞書３１Ｂ）の複数種類のアバター画像を表す翻訳情報５５の中から、発話者の撮影時特徴データに対応するアバター画像を表す翻訳情報５５を、翻訳結果として選択する。翻訳結果合成部３４は、発話者の画像に翻訳結果を合成するときに、例えば図１１に示されるような形態で、発話者の画像のうちの、背景画像以外の画像を、発話者のアバター画像を表す翻訳情報５５に置き換える。このアバター画像は、発話者の顔の表情が顕著に表れるようなものであることが好ましい。
【００６０】
［第６実施形態］
第６実施形態では、第１〜第５実施形態からの変更点のみ説明する。
【００６１】
本発明のテレビ電話機１は、ジェスチャ翻訳部３０が発話者のテレビ電話機１Ａ又は受話者のテレビ電話機１Ｂに設けられているが、これに限定されない。各テレビ電話機１に複数のジェスチャ翻訳部３０が設けられてもよく、受話者のテレビ電話機１Ｂでは、複数の発話者のテレビ電話機１Ａからの画像を一画面で表示部２２に表示してもよいし、画面切り替えにより個別に表示部２２に表示してもよい。
【００６２】
例えば、図１２に示されるように、第１〜第３の発話者と受話者とが同時にテレビ電話を行なう場合、受話者のテレビ電話機１Ｂの表示部２２には、第１〜第３翻訳結果合成画像が表示される。第１翻訳結果合成画像は、第１発話者の画像に対して、第１発話者のジェスチャの翻訳結果である第１翻訳結果が合成されている。第２翻訳結果合成画像は、第２発話者の画像に対して、第２発話者のジェスチャの翻訳結果である第２翻訳結果が合成されている。第３翻訳結果合成画像は、第３発話者の画像に対して、第３発話者のジェスチャの翻訳結果である第３翻訳結果が合成されている。
【００６３】
また、本発明のテレビ電話機１で動作するコンピュータプログラム（以下、プログラムと称する）は、本発明に関わる上記実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理的に一時的にＲＡＭに蓄積され、その後、各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光記憶媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。また、ロードしたプログラムを実行することにより、上記した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【００６４】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記録装置も本発明に含まれる。また、上述した実施形態における送信局装置及び受信局装置の一部または全部を典型機能ブロックは個別にプロセッサ化してもよいし、一部または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が実現した場合、該当技術による集積回路を用いることも可能である。
【符号の説明】
【００６５】
１  …  テレビ電話機、
１Ａ  …  発話者のテレビ電話機、
１Ｂ  …  受話者のテレビ電話機、
２  …  電話網、
１１  …  カメラ、
１２  …  送信部、
１３  …  マイク、
２１  …  受信部、
２２  …  表示部、
２３  …  スピーカ、
３０  …  ジェスチャ翻訳部、
３１  …  辞書記憶部、
３１Ａ〜３１Ｄ  …  ジェスチャ辞書、
３２  …  ジェスチャ辞書選択部、
３３  …  ジェスチャ解析部、
３４  …  翻訳結果合成部、
３５  …  電話帳記憶部、
３６  …  判別用記憶部、
３７  …  判別部、
４０  …  音声翻訳部、
５１  …  属性情報、
５２  …  辞書情報、
５３  …  参照用特徴データ、
５４  …  翻訳情報（文字列）、
５５  …  翻訳情報（画像ファイル）
【図１】
2015015623.tif 000003
【図２】
2015015623.tif 000004
【図３】
2015015623.tif 000005
【図４】
2015015623.tif 000006
【図５】
2015015623.tif 000007
【図６】
2015015623.tif 000008
【図７】
2015015623.tif 000009
【図８】
2015015623.tif 000010
【図９】
2015015623.tif 000011
【図１０】
2015015623.tif 000012
【図１１】
2015015623.tif 000013
【図１２】
2015015623.tif 000014