(57)【要約】【課題】  全通話者が統一的な空間にいるように表示して違和感を軽減できるテレビ電話装置を提供する。【解決手段】  カメラの撮像画像から通話者の本人画像と背景画像とを分離して通話者の本人画像のみを抽出する画像抽出手段１と、通話者の本人画像とマイクロフォンからの音声とをそれぞれ符号化するとともに受信された符号化データを復号するコーデック手段（２、７）と、コーデック手段からのデータを多重化してネットワークに送信するとともに、ネットワークからのデータを受信して逆多重化するデータ送受信手段３と、背景画像と背景画像ごとに決められた通話者の配置データとをあらかじめ記憶した記憶媒体５と、画像抽出手段により抽出した本人画像と、記憶媒体からの背景画像と、データ送受信手段からの相手画像とを、記憶媒体からの配置データに基づいて同一ウィンドウ内に合成してモニタに表示する画像合成手段４とを備えた。【選択図】  図１
2005094696.tif 000002
【特許請求の範囲】
【請求項１】
カメラの撮像画像から通話者の本人画像と背景画像とを分離して前記通話者の本人画像のみを抽出する画像抽出手段と、
前記画像抽出手段で分離した前記通話者の本人画像とマイクロフォンからの音声とをそれぞれ符号化するとともに受信された符号化データを復号するコーデック手段と、
前記コーデック手段からのデータを多重化してネットワークに送信するとともにネットワークからのデータを受信して逆多重化するデータ送受信手段と、
背景画像と前記背景画像ごとに決められた通話者の配置データとをあらかじめ記憶した記憶媒体と、
前記画像抽出手段により抽出した本人画像と、前記記憶媒体からの背景画像と、前記データ送受信手段からの相手画像とを、前記記憶媒体からの配置データに基づいて同一ウィンドウ内に合成してモニタに表示する画像合成手段とを、
備えたテレビ電話装置。
【請求項２】
前記記憶媒体は、背景画像ごとに決められた動きデータをあらかじめ記憶し、
前記画像合成手段は、本人画像と相手画像と背景画像とを合成する際、前記記憶媒体にあらかじめ記憶された動きデータから通話者の声の大きさや周波数に応じて通話者画像の位置や大きさを制御して合成画像に動きを加える請求項１に記載のテレビ電話装置。
【請求項３】
入力される新たな通話者画像の位置データに基づいて通話者画像の大きさ及び画像間距離を計算するユーザ入力処理手段をさらに備え、
前記画像合成手段は、前記ユーザ入力処理手段からの出力に基づいて新たな位置に通話者の画像を合成する請求項１に記載のテレビ電話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はテレビ電話装置に係り、特に、本人画像と相手画像と背景画像とを合成し、同一ウィンドウに表示することができるテレビ電話装置に関する。
【背景技術】
【０００２】
従来のテレビ電話装置の表示画面の例を図１２〜図１４に示す。従来のテレビ電話装置において、画像は、図１２に示すように、一般的に、ウィンドウ内に通話相手の画像のみが表示されるか、若しくは、図１３に示すように、主となるウィンドウに通話相手の画像が表示され、小さな別のウィンドウに本人画像が表示されるのが一般的である。また、２ヶ所以上の多地点で通話する場合は、図１４に示すように、３人の通話者がマルチウィンドウで表示される。さらに、仮想空間に多くの通話者を合成し表示するテレビ会議用動画像合成方式が提案されている（例えば、下記の特許文献１及び特許文献２参照）。
【特許文献１】特開平７−６７０３５号公報（図１）
【特許文献２】特開平１１−２８９５２４号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来のテレビ電話装置では、通話者をマルチウィンドウで表示するために、空間に統一感がなく会話に違和感を生じさせる問題があった（図１３及び図１４参照）。さらに、多人数での会話の場合、誰が話しているのかが分らず、話者を特定しにくいという問題もあった。また、特許文献１では参加者の画像を仮想空間に合成することで臨場感の高いテレビ会議の方法を提案しているが、本人は仮想空間の外におり、本人と通話相手が統一的な空間にいるように感じるためには、大掛かりなモニタが必要となる。また、特許文献２では、仮想空間を合成するためにサーバ装置が必要になり、端末装置だけでは仮想空間を合成できない。
【０００４】
本発明はかかる問題を解決するためになされたもので、大掛かりなモニタを必要とすることなく、同一ウィンドウに本人を含めた全通話者の画像と、あらかじめ記憶された背景画像とを、背景画像ごとに決められている配置データにより合成し表示することにより、全通話者が統一的な空間にいるように表示して違和感を軽減することができるテレビ電話装置を提供することを目的とする。
【０００５】
また、本発明は通話者の特定を容易にすることができるテレビ電話装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係るテレビ電話装置は、カメラの撮像画像から通話者の本人画像と背景画像とを分離して前記通話者の本人画像のみを抽出する画像抽出手段と、前記画像抽出手段で分離した前記通話者の本人画像とマイクロフォンからの音声とをそれぞれ符号化するとともに受信された符号化データを復号するコーデック手段と、前記コーデック手段からのデータを多重化してネットワークに送信するとともにネットワークからのデータを受信して逆多重化するデータ送受信手段と、背景画像と前記背景画像ごとに決められた通話者の配置データとをあらかじめ記憶した記憶媒体と、前記画像抽出手段により抽出した本人画像と、前記記憶媒体からの背景画像と、前記データ送受信手段からの相手画像とを、前記記憶媒体からの配置データに基づいて同一ウィンドウ内に合成してモニタに表示する画像合成手段とを備えたものである。
【０００７】
この構成により、同一ウィンドウ内に本人を含めた全通話者の画像と、あらかじめ記憶された背景画像とを背景画像ごとに決められている配置データにより合成し表示することができ、全通話者が統一的な空間にいるように表示して違和感を軽減することができる。
【０００８】
また、前記記憶媒体は、背景画像ごとに決められた動きデータをあらかじめ記憶し、前記画像合成手段は、本人画像と相手画像と背景画像とを合成する際、前記記憶媒体にあらかじめ記憶された動きデータから通話者の声の大きさや周波数に応じて通話者画像の位置や大きさを制御して合成画像に動きを加えるものである。
【０００９】
この構成により、通話者の音声データから、通話者画像の位置や大きさを制御して動きを加えることができ、通話者の特定を容易にすることができる。
【００１０】
さらに、入力される新たな通話者画像の位置データに基づいて通話者画像の大きさ及び画像間距離を計算するユーザ入力処理手段をさらに備え、前記画像合成手段は、前記ユーザ入力処理手段からの出力に基づいて新たな位置に通話者の画像を合成するものである。
【００１１】
この構成により、自分の好みの位置や大きさに通話者画像を変更することができる。
【発明の効果】
【００１２】
本発明は、画像抽出手段により抽出した本人画像と、記憶媒体からの背景画像と、データ送受信手段からの相手画像とを、記憶媒体からの配置データに基づいて同一ウィンドウ内に合成してモニタに表示する画像合成手段とを備えることにより、同一ウィンドウ内に本人を含めた全通話者の画像と、あらかじめ記憶された背景画像とを背景画像ごとに決められている配置データにより合成し表示することができ、全通話者が統一的な空間にいるように表示して違和感を軽減することができるテレビ電話装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
＜実施の形態１＞
以下、本発明の実施の形態１を、図面を参照して詳しく説明する。図１は、本発明の実施の形態１に係るテレビ電話装置の構成を示すブロック図である。実施の形態１に係るテレビ電話装置は、図１に示すように、カメラの撮像画像から通話者の本人画像と背景画像とを分離し通話者の本人画像のみを抽出する画像抽出手段１と、画像抽出手段１により抽出された通話者の本人画像を高能率符号化するとともに、後述するデータ送受信手段３から送られる相手画像の符号化データを復号する画像コーデック手段２と、画像コーデック手段２と後述する音声コーデック手段７とから送られたデータを多重化してネットワーク（インターネットやＩＳＤＮ網やＰＳＴＮ網など）に送信するとともに、ネットワークからの受信データを逆多重化して画像コーデック手段２と音声コーデック手段７とにそれぞれ出力するデータ送受信手段３とを備えている。
【００１４】
また、画像抽出手段１により抽出され本人画像とデータ送受信手段３からの相手画像と、後述する記憶媒体５に蓄えられている背景データとを合成してモニタに出力するとともに、記憶媒体５に蓄えられている動きデータから、後述する音声処理手段６から送られる変数に基づいて合成時の通話者画像の位置や大きさを制御し、合成時に通話者画像に動きを加える画像合成手段４と、画像合成手段４による通話者画像と背景との合成の際に用いられる背景データとして、背景画像と、背景画像ごとにあらかじめ決められた通話者の位置と大きさと、通話者の動きと、効果音などを変数として保持している記憶媒体５と、マイクロフォンからの音声を後述する音声コーデック手段７に出力すると同時に、音声の強弱や高低から大きさや周波数を検知し、画像合成手段４に変数として出力するとともに、音声コーデック手段７から送られる通話相手の音声をスピーカに出力する音声処理手段６と、音声処理手段６から送られた通話者の音声データを高能率符号化してデータ送受信手段３に出力するとともに、データ送受信手段３から送られる通信相手の符号化音声データを復号して音声処理手段６に出力する音声コーデック手段７とを備えている。
【００１５】
上述した構成を備える実施の形態１に係るテレビ電話装置は、本人を含む通話者全員を同一ウィンドウ内に合成表示することにより、親近感が高く、違和感の少ない会話を実現することができる。図２は、実施の形態１に係るテレビ電話装置のモニタ上に表示される合成表示画面を示す図である。図２に示すように、表示画面には、本人画像８と相手画像９、１０が背景画像１１の上に合成され表示される。
【００１６】
次に、各部の動作について具体的に説明する。画像抽出手段１は、入力された通話者の本人画像を背景から切り出し、画像コーデック手段２と画像合成手段４に出力する。画像コーデック手段２は、画像抽出手段１から送られた本人画像を高能率符号化してデータ送受信手段３に送るとともにデータ送受信手段３から送られる相手画像の符号化データを復号して画像合成手段４に送る。データ送受信手段３は、画像コーデック手段２と音声コーデック手段７から送られたデータを多重化してネットワークに送信するとともに、前記ネットワークからデータを受信して逆多重化し画像コーデック手段２と音声コーデック手段７にそれぞれ出力する。
【００１７】
画像合成手段４は、画像抽出手段１から送られた本人画像とデータ送受信手段３から送られた相手画像と記憶媒体５に蓄えられている背景データとを合成しモニタに出力する。また、音声処理手段６から送られた変数により合成時の画像の位置や大きさを制御し、合成時に画像に動きを加える。画像合成手段４は、記憶媒体５が保持している背景データ、すなわち、背景画像と、合成される通話者の位置と、合成される通話者の大きさと、通話時の合成される通話者の動きと、効果音などを変数として持ち、通話者画像と背景を合成する際にこの変数を用いて合成を行う。
【００１８】
図３は、前記記憶媒体５に格納されているデータの構造を示す図である。記憶媒体５には、図３に示すように、背景画像、効果音、通話者画像を合成する位置を示す配置データ、通話者の動きを示す動きデータが格納されており、背景データから参照される。音声処理手段６は、マイクロフォンからの音声を音声コーデック手段７に送り、また同時に音声の強弱や高低から大きさや周波数を検知し変数として画像合成手段４に送る。さらに、音声コーデック手段７から送られた通信相手の音声をスピーカに出力する。
【００１９】
音声コーデック手段７は、音声処理手段６から送られた通話者の音声データを高能率符号化してデータ送受信手段３に送るとともに、データ送受信手段３から送られた通信相手の符号化音声データを復号して音声処理手段６に出力する。
【００２０】
ここで、画像合成手段４の動作について図４に示すフローチャートを用いてより詳細に説明する。図４は、画像合成手段４の処理の内容を表すフローチャートである。画像合成手段４は、通話中か否かの判断を行い（ステップＳ１）、通話中でなければ待ち受け画像を出力し通話中か否かの判断に戻る（ステップＳ２）。通話中であれば、変数としての背景データを記憶媒体５から読み出す（ステップＳ３）。そして、背景データの変数スケーリング値から、通話者画像を背景画像のどこの位置にどの大きさで配置するか合成するかを読み取り、各通話者画像をスケーリングする（ステップＳ４）。スケーリング値は、通常カメラに写る各通話者の大きさはまちまちであるため、背景データの大きさと通話者画像の正しい大きさの比として、０．１〜１．０間であらかじめ設定されている。
【００２１】
スケーリングと位置決めされた通話者画像は、背景画像と合成され出力される（ステップＳ５）。通話が終了したか否かの判断を行い（ステップＳ６）、終了でなければユーザが背景を変更したか否かを判断し（ステップＳ７）、背景を変更していれば、新たな背景データを記憶媒体５から読み込みスケーリング／位置決め／画像合成を繰り返す（ステップＳ３〜Ｓ５）。背景を変更していなければ、音声処理手段６から送られる変数により声の強弱や会話の途切れがあるか否かを検出し（ステップＳ８）、あれば背景データに規定されている変数の可動範囲内で、通話者画像の位置や大きさの変数を変化させて動きを加え（ステップＳ９）、スケーリング／位置決め／合成を繰り返す（ステップＳ４〜Ｓ５）。
【００２２】
上述したように、本実施の形態１に係るテレビ電話装置によれば、記憶媒体５に保持されている背景データから、適切な大きさと位置に通話者画像が配置され、全通話者が同一の空間にいるような表示をすることができる。
【００２３】
また、通話中の会話の状態により、図５に示すように、相手画像１０で示される通話者が話しているときに通話者画像の大きさや位置を変化させて動きを加えることができ、通話者を特定することができる。つまり、会話時の音声データから、通話者の表示画像を大きくしたり、動かしたりすることで、誰が話しているのか分かりやすくすることができる。
【００２４】
なお、本実施の形態１のテレビ電話装置は、カメラや表示画面が一体の一体型ＴＶ電話装置、ＴＶとビデオカメラにケーブルで接続するセットトップ型ＴＶ電話装置、さらに、カメラ付きの携帯電話を用いて行うＴＶ電話装置、いずれの形態にも適用できる。
【００２５】
図６〜図８は、携帯電話の場合の表示画面例を従来例と本発明の適用例を示すものである。携帯電話の場合、表示画面が小さいために、従来例では、図６に示すように、多人数でのＴＶ電話では多くの人を画面に表示すると小さくなってしまうが、本発明を適用すると、図７に示すように、顔のみを切り出し、位置と大きさを調整することにより、より大きく見やすい表示ができる。また、図８に示すように、その場合も発言中の人の顔を大きく、聞いている人の顔を小さく表示することで、携帯電話の小さな表示画面でも話者を特定して表示でき有効に会話を進めることが可能となる。
【００２６】
さらに、画像合成手段４により、記憶媒体５にあらかじめ蓄えられている背景画像ごとに決められた通話者画像の動きデータから、通話者の声の大きさや周波数に応じて通話者画像を移動させたり、回転させたりすることもできる。
【００２７】
＜実施の形態２＞
次に、本発明の実施の形態２を、図面を参照して詳しく説明する。図９は、本発明の実施の形態２に係るテレビ電話装置の構成を示すブロック図である。図９に示す実施の形態２において、図１に示す実施の形態１と同一部分は同一符号を付してその説明は省略する。図９に示す実施の形態２に係るテレビ電話装置においては、図１に示す実施の形態１に係る構成の他に、本人画像と相手画像と背景画像を合成する際、記憶媒体５にあらかじめ蓄えられている背景画像ごとに決められたデータから配置された通話者画像を、通話者が自分の好みの位置や大きさに変更するための、ユーザ入力処理手段１２を更に備えている。
【００２８】
図９に示す構成を備える実施の形態２に係るテレビ電話装置においては、グループ同士での会議の場合に、通話者が任意の場所に通話者画像を配置することができ、画面上でグループ対グループが分かりやすいように表示することができる。すなわち、図１０は、実施の形態２に係るテレビ電話装置のモニタ上に表示される合成表示画面を示す図である。図１０に示すように、表示画面には、本人画像２０と同僚画像２１、相手グループの通話者画像２２、２３、２４が背景画像２５の上に合成され表示される。
【００２９】
本実施の形態２に係るテレビ電話装置において、実施の形態１と共通する構成部分は実施の形態１と同様に動作するので、ここでは、追加されたユーザ入力処理手段１２の動きを主に説明する。タッチパネルやマウスやキーボードといったポインティングデバイスからユーザ入力処理手段１２に通話者画像の位置データが入力される。ユーザ入力処理手段１２は、入力された通話者画像の位置データに基づいて通話者画像の大きさや画像間の距離を計算して画像合成手段４に出力する。画像合成手段４は、これに基づいて新たな位置に通話者の画像を合成する。同時に、ユーザ入力処理手段１２で計算された位置データは、データ送受信手段３にも送られ、通話者全員にネットワークを介して伝送される。
【００３０】
全通話相手の端末では、データ送受信手段３で受信した通話者の位置情報を、ユーザ入力処理手段１２に出力する。ユーザ入力処理手段１２では、受け取った位置情報から、自分の画面にあった適切な位置に再計算し、画像合成手段４に送られ、合成しモニタに表示する。
【００３１】
したがって、本実施の形態２に係るテレビ電話装置によれば、本人画像と相手画像と背景画像を合成する際、記憶媒体５にあらかじめ蓄えられている背景画像ごとに決められたデータから配置された通話者画像を、通話者が自分の好みの位置や大きさに変更するための、ユーザ入力処理手段１２を備えることにより、通話者が任意の位置に各通話者の画像を配置することができる。
【００３２】
図１０と図１１は、本発明の実施の形態２の適用例を示すものである。図１０の画面上で「Group A」「Group B」などで示すようにグループ対グループが分かりやすいように表示できるとともに、加えて通話者が文字を入力することで、図１１に示すように、自分の画像の近くに文字を表示することができ、より一層会話をサポートすることができる。
【産業上の利用可能性】
【００３３】
以上のように、本発明に係るテレビ電話装置は、画像抽出手段により抽出した本人画像と、記憶媒体からの背景画像と、データ送受信手段からの相手画像とを、記憶媒体からの配置データに基づいて同一ウィンドウ内に合成してモニタに表示する画像合成手段とを備えることにより、同一ウィンドウ内に本人を含めた全通話者の画像と、あらかじめ記憶された背景画像とを背景画像ごとに決められている配置データにより合成し表示することができ、全通話者が統一的な空間にいるように表示して違和感を軽減することができるという効果を有し、多人数で話すテレビ電話会議などに有用である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１に係るテレビ電話装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係るテレビ電話装置のモニタ上での表示画面の図である。
【図３】本発明の実施の形態１における記憶媒体に格納されているデータ構造の図である。
【図４】本発明の実施の形態１における画像合成手段の処理内容を表すフローチャートである。
【図５】本発明の実施の形態１に係るテレビ電話装置における通話者を特定する表示画面例を示す図である。
【図６】本発明の実施の形態１における携帯電話の表示画面例を比較して説明するために用いた従来例の画面例を示す図である。
【図７】本発明の実施の形態１における携帯電話の表示画面例で、顔のみを切り出し、位置と大きさを調整して表示した図である。
【図８】本発明の実施の形態１における携帯電話の表示画面例で、発言中の人の顔を大きく、聞いている人の顔を小さく表示することで、携帯電話の小さな表示画面でも通話者を特定して表示した図である。
【図９】本発明の実施の形態２の形態に係るテレビ電話装置の構成を示すブロック図である。
【図１０】本発明の実施の形態２の形態に係るテレビ電話装置のモニタ上に表示される合成表示画面の図である。
【図１１】本発明の実施の形態２の形態に係るテレビ電話装置の表示画面の図である。
【図１２】従来のテレビ電話装置の表示画面の図である。
【図１３】従来のテレビ電話装置の表示画面の図である。
【図１４】従来のテレビ電話装置の表示画面の図である。
【符号の説明】
【００３５】
１  画像抽出手段
２  画像コーデック手段
３  データ送受信手段
４  画像合成手段
５  記憶媒体
６  音声処理手段
７  音声コーデック手段
１２  ユーザ入力処理手段
【図１】
2005094696.tif 000003
【図３】
2005094696.tif 000004
【図４】
2005094696.tif 000005
【図９】
2005094696.tif 000006
【図２】
2005094696.tif 000007
【図５】
2005094696.tif 000008
【図６】
2005094696.tif 000009
【図７】
2005094696.tif 000010
【図８】
2005094696.tif 000011
【図１０】
2005094696.tif 000012
【図１１】
2005094696.tif 000013
【図１２】
2005094696.tif 000014
【図１３】
2005094696.tif 000015
【図１４】
2005094696.tif 000016