(57)【要約】【課題】利用者同士が目線を合わせて通話できるテレビ電話装置を提供する。【解決手段】液晶ディスプレイ１２のライトプレート３１に、通話相手の右目が表示される位置に孔３１ａが形成され、その背後にカメラ１５が取り付けられる。通信部３８が受信した画像データは、目検出部４２に読み込まれ、通話相手の両眼が検出される。通話相手の右目の位置座標がカメラ１５の取付位置と一致するように、座標変換処理部４３にて画像データの座標変換が行われる。画像データはフレームメモリ４６に転送され、液晶表示部３０に通話相手の画像が表示される。この時、液晶表示部３０の通話相手の右目を表示する部分が、カメラ１５の動画撮影に同期して表示状態，透明状態の切換が行われる。カメラ１５で撮影された画像データは、画像信号処理部３６，圧縮／伸長処理部３７を経て通信部３８によりインターネット２０を介してテレビ電話装置２２に送信される。【選択図】図２
2007166529.tif 000002
【特許請求の範囲】
【請求項１】
通話者を撮影するカメラ部と、通信ネットワークを介して送られてきた通話相手の画像を表示する表示部とからなるテレビ電話装置において、
前記表示部の通話相手の目が表示される位置から通話者を撮影するように、前記カメラ部を表示部に組み込むとともに、
前記通話相手の画像から目を検出する目検出部と、
前記通話相手の少なくとも一方の目の位置が前記カメラ部の組込位置と一致するように、前記通話相手の画像の座標変換を行う座標変換処理部と
を設けたことを特徴とするテレビ電話装置。
【請求項２】
前記表示部は液晶ディスプレイであり、前記カメラ部は、前記液晶ディスプレイのバックライト用のライトプレートに形成した孔の背後に設けられているとともに、前記孔に相対する液晶ディスプレイの部分が透明状態となるように制御されることを特徴とする請求項１記載のテレビ電話装置。
【請求項３】
前記表示部は液晶ディスプレイであり、前記カメラ部は、前記液晶ディスプレイのバックライト用のライトプレートに形成した孔の背後に設けられ、前記孔に相対する液晶ディスプレイの部分がカメラ部の撮影に同期して画像を表示する表示状態と透明になる透明状態とを交互に繰り返すように制御され、前記液晶ディスプレイの部分が透明状態の時にカメラ部による撮影が行われることを特徴とする請求項１記載のテレビ電話装置。
【請求項４】
前記表示部は液晶ディスプレイであり、この液晶ディスプレイに撮影用の孔を形成し、この孔を通して、前記カメラ部で通話者を撮影することを特徴とする請求項１記載のテレビ電話装置。
【請求項５】
前記表示部は、通話相手の顔の傾きに応じて回転されることを特徴とする請求項１ないし４いずれか記載のテレビ電話装置。
【請求項６】
前記カメラ部から出力された画像データは、前記表示部の回転角度を相殺するように補正してから通話相手に送信されることを特徴とする請求項５記載のテレビ電話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話装置に関し、更に詳しくはインターネット等の通信ネットワークを介して複数人の間で通話を行うテレビ電話装置に関するものである。
【背景技術】
【０００２】
液晶ディスプレイ等のディスプレイに映し出されている通話相手の顔を見ながら通話できるテレビ電話装置が知られている。このようなテレビ電話装置としては、パーソナルコンピュータと、これに接続されたディスプレイと、この上部に装着され、ＣＭＯＳイメージセンサ等の撮像素子を内蔵したＷｅｂカメラとの組み合わせによって構成されたものが一般的に知られている。
【０００３】
前記Ｗｅｂカメラはディスプレイの上部に設けられているから、通話相手が見ているディスプレイには、通話者を上方から撮影した画像が映し出されており、その画像の目線は下方に向かっていて通話相手の方を見ていない。また、通話者から見ても、通話相手の目線がやはり下方を向いていて自分の方を見ていない。したがって、互いに目線が合わない状態で話をするため、互いに奇異な印象を持つという問題点がある。
【０００４】
このようなテレビ電話装置の問題点を改善する提案がなされている。例えば、特許文献１記載の映像対話システムは、モニタを見る人物を撮影する撮像装置と、この人物の顔の正面の画像を記憶することができる第１のメモリと、撮像装置の画像を記憶する第２のメモリと、第１のメモリの画像に対する第２のメモリの画像の動きベクトルを検出する第１の動き検出手段と、この動きベクトルのスカラー量が最小になるように第１のメモリの画像位置を移動させる画像位置移動手段と、移動後の第１のメモリの画像を記憶する第３のメモリと、第３のメモリの画像に対する第２のメモリの画像の動きベクトルを検出する第２の動き検出手段と、この動きベクトルをもとに第２のメモリの画像をコントロールして第２のメモリの画像と第３のメモリの画像を合成した画像を出力するコントロール手段とからなり、正面から撮影した画像と斜め上方から撮影している画像とを合成してモニタ上に映し出すものである。
【特許文献１】特開平８−２５１５６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１記載の映像対話システムは、画像合成をリアルタイム（超高速）に行わないと、画像の動きがぎくしゃくして不自然となるから、当然ながら高速すなわち高価なＣＰＵを必要とし、装置が非常にコスト高になる。また、たとえ高速で画像合成ができたとしても、二つの画像間のズレが完全にゼロになる訳ではないので、画像が二重に見え、見苦しさは残るという問題がある。
【０００６】
本発明は、利用者同士が目線を合わせて自然な状態で通話できるテレビ電話装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のテレビ電話装置は、通話者を撮影するカメラ部と、通信ネットワークを介して送られてきた通話相手の画像を表示する表示部とからなるテレビ電話装置において、前記表示部の通話相手の目が表示される位置から通話者を撮影するように、前記カメラ部を表示部に組み込むとともに、前記通話相手の画像から目を検出する目検出部と、前記通話相手の少なくとも一方の目の位置が前記カメラ部の組込位置と一致するように、前記通話相手の画像の座標変換を行う座標変換処理部とを設けたことを特徴とする。
【０００８】
また、前記表示部は液晶ディスプレイであり、前記カメラ部は、前記液晶ディスプレイのバックライト用のライトプレートに形成した孔の背後に設けられているとともに、前記孔に相対する液晶ディスプレイの部分が透明状態となるように制御されることを特徴とする。
【０００９】
また、前記表示部は液晶ディスプレイであり、前記カメラ部は、前記液晶ディスプレイのバックライト用のライトプレートに形成した孔の背後に設けられ、前記孔に相対する液晶ディスプレイの部分がカメラ部の撮影に同期して画像を表示する表示状態と透明になる透明状態とを交互に繰り返すように制御され、前記液晶ディスプレイの部分が透明状態の時にカメラ部による撮影が行われることを特徴とする。また、前記表示部は液晶ディスプレイであり、この液晶ディスプレイに撮影用の孔を形成し、この孔を通して、前記カメラ部で通話者を撮影することを特徴とする。
【００１０】
また、前記表示部は、通話相手の顔の傾きに応じて回転されることを特徴とする。また、前記カメラ部から出力された画像データは、前記表示部の回転角度を相殺するように補正してから通話相手に送信されることを特徴とする。
【発明の効果】
【００１１】
本発明のテレビ電話装置によれば、表示部の通話相手の目が表示される位置から通話者を撮影するようにカメラ部を表示部に組み込むとともに、通話相手の画像から目を検出し、この少なくとも一方がカメラ部の組込位置と一致するように通話相手の画像の座標変換を行うので、利用者同士が目線を合わせて自然な状態で通話できる。
【００１２】
また、前記表示部は液晶ディスプレイであり、前記カメラ部を液晶ディスプレイのライトプレートに形成した孔の背後に設け、前記孔に相対する液晶ディスプレイの部分が透明状態となるように制御するので、液晶ディスプレイに孔を開ける必要がなく、装置のローコスト化に寄与できる。
【００１３】
また、前記表示部を液晶ディスプレイとし、前記カメラ部を液晶ディスプレイのライトプレートに形成した孔の背後に設け、前記孔に相対する液晶ディスプレイの部分がカメラ部の撮影に同期して表示状態と透明状態とを交互に繰り返し、前記液晶ディスプレイの部分が透明状態の時にカメラ部による撮影が行われるようにしたので、液晶ディスプレイに孔を開ける必要がなく、装置のローコスト化に寄与できるとともに、通話相手の目が不自然に見えることを防止できる。
【００１４】
また、前記表示部を液晶ディスプレイとし、この液晶ディスプレイに撮影用の孔を形成し、この孔を通して、前記カメラ部で通話者を撮影するので、鮮明に通話者の顔を撮影できる。
【００１５】
また、前記表示部は、通話相手の顔の傾きに応じて回転されるので、通話相手が首をかしげた状態が明瞭に分かる。また、前記カメラ部から出力された画像データは、前記表示部の回転角度を相殺するように補正してから通話相手に送信されるので、通話相手の表示部に通話者の顔が傾いて表示されることが防止できる。
【発明を実施するための最良の形態】
【００１６】
本発明のテレビ電話装置の第１実施形態の外観を示す図１において、テレビ電話装置１０は、スタンド型の装置本体１１と、この支柱部１１ａに回動自在に取り付けられた矩形状をした液晶ディスプレイ１２とからなり、この液晶ディスプレイ１２の背後部には、１個の小型のカメラ１５が組み込まれている。前記装置本体１１の台座部分には、通話者の音声を入力するマイク１６が組み込まれ、前記支柱部１１ａには、通話相手の音声を出力するスピーカ１８が組み込まれている。
【００１７】
前記テレビ電話装置１０は、インターネット２０を介して通話相手のテレビ電話装置２２と接続される。このテレビ電話装置２２は、周知のように、パーソナルコンピュータ２３と、これに接続されたＣＲＴモニタ２４と、この上部に装着されたＷｅｂカメラ２５と、音声入力用のマイク２６と、前記パーソナルコンピュータ２３にインストールされ、前記Ｗｅｂカメラ２５やマイク２６などを制御してパーソナルコンピュータ２３をテレビ電話として機能させるソフトウエアとからなる。
【００１８】
前記テレビ電話装置１０の電気的構成を示す図２において、前記液晶ディスプレイ１２は、周知のように、光透過型の液晶表示部３０と、この背後に設けられ、液晶表示部３０の背後から均一の照明を行うバックライト用のライトプレート３１とからなる。このライトプレート３１には、１個の小さな孔３１ａが形成されており、前記カメラ１５が、この孔３１ａと液晶表示部３０とを介して通話者の顔を撮影する。
【００１９】
前記孔３１ａは、図３に示すように、通話相手の右目が表示されると予想される位置に形成される。また、前記カメラ１５によって撮影を行う瞬間は、孔３１ａに相対する液晶表示部３０の部分が透明状態に制御される。すなわち、この部分は、カメラ１５の動画撮影に同期して、画像を表示する表示状態と画像を表示しない透明状態とが高速に繰り返される。このため、液晶ディスプレイ１２には、高速な応答速度を有する液晶パネルが使用される。なお、カメラ１５の動画撮影は、３０フレーム／秒で行われる。
【００２０】
前記カメラ１５には、内部に撮影レンズと撮像素子としてのＣＭＯＳイメージセンサ（図示せず）とが組み込まれており、このＣＭＯＳイメージセンサはＣＭＯＳドライバ３３により制御される。ＣＭＯＳイメージセンサから出力された画像信号は、装置本体１１内のデータバス３４を介して画像信号処理部３６に入力され、ホワイトバランスや増幅，デジタル化などの信号処理が施された後、圧縮／伸長処理部３７にて圧縮され、通信部３８に入力される。
【００２１】
前記通信部３８により画像信号は、インターネット２０を介して通話相手のテレビ電話装置２２に送られる。なお、カメラ１５の撮影レンズは、テレビ電話装置１０の前に座り液晶ディスプレイ１２を見ている通話者の顔を最も鮮明に撮影できるように、ピント位置が３０〜４０ｃｍの広角系の固定焦点レンズである。
【００２２】
インターネット２０を介してテレビ電話装置２２から送信されてくる通話相手の画像データは圧縮されているから、通信部３８で受信した後、圧縮／伸長処理部３７にて伸長される。続いて、画像データは、画像メモリ４０に一旦入力された後、目検出部４２に読み込まれ、通話相手の両眼が検出される。
【００２３】
この目検出に際しては、１フレーム分の画像を複数の領域に分割し、各分割領域から、皮膚と推定される肌色の画素を多く含む領域が選び出される。この肌色の画素を多く含む領域から眼部の白色の画素と瞳と推定される黒色の画素を有する領域を選び出す処理が行われる。この選び出された領域から、画像上における通話相手の両眼の位置座標が求められる。なお、複数人の目が検出された場合には、最も大きい目が通話相手の目であると認定する。
【００２４】
通話相手の両眼が検出され後、この両眼の位置座標，カメラ１５の設置位置（ライトプレート３１の孔３１ａの位置）及び画像データが、座標変換処理部４３に読み込まれ、通話相手の一方の目、本実施形態では右目がカメラ１５の設置位置と一致するように、画像データの座標変換が行われる。
【００２５】
図４に示すように、座標変換を行う前の１フレーム分の画像４５（一点鎖線で示す）の右目は、カメラ１５の設置位置からずれている。この画像４５を座標変換により画像４５ａ（実線で示す）とし、通話相手の右目をカメラ１５の設置位置に一致させる。なお、画像４５，４５ａは、液晶ディスプレイ１２の画面よりも面積が大きく設定され、前記座標変換により表示位置が移動しても液晶ディスプレイ１２の画面からはみ出ないようにされている。
【００２６】
前記座標変換処理部４３で座標変換が行われた画像データは、フレームメモリ４６に転送される。このフレームメモリ４６には、３０フレーム／秒の速度で画像データが入力され、ＬＣＤドライバ４７によって液晶表示部３０に通話相手の画像が表示される。なお、ＣＰＵ４４は、上述した一連の画像処理等のシーケンスを実行する。
【００２７】
一方、通話相手の音声信号は、通信部３８から音声出力処理部４８に入力され、Ｄ／Ａ変換等の処理が施された後に、スピーカ１８により音声が出力される。また、前記マイク１６によって取得された通話者の音声信号は、音声入力処理部４９に入力され、Ａ／Ｄ変換等の処理により音声データに変換された後、通信部３８によりインターネット２０を介してテレビ電話装置２２に送られる。
【００２８】
次に、上記第１実施形態の作用について説明する。図５のフローチャートに示すように、通信部３８が受信した画像データは、画像メモリ４０に入力された後、目検出部４２に読み込まれ、通話相手の両眼が検出される（ｓｔ１）。両眼が検出でき（ｓｔ２）、複数人の目が検出された場合には（ｓｔ３）、最もサイズが大きい目が通話相手の目として選択される（ｓｔ４）。
【００２９】
通話相手の右目の位置座標がカメラ１５の設置位置と一致するように、座標変換処理部４３にて画像データの座標変換が行われる（ｓｔ５）。この画像データはフレームメモリ４６に転送され、ＬＣＤドライバ４７によって液晶表示部３０に通話相手の画像が表示される。この表示に際して、液晶表示部３０の通話相手の右目を表示する部分が、カメラ１５の動画撮影に同期して、表示状態と透明状態とが高速で切り替えられる（ｓｔ６）。以上のシーケンスは、通話が終了するまで継続して行われる（ｓｔ７）。
【００３０】
一方、図６のフローチャートに示すように、カメラ１５は、前記液晶表示部３０の部分が透明状態である間に通話者を撮影し、動画撮影する（ｓｔ１１）。この動画撮影は３０フレーム／秒で行われ、この撮影していない時間は、前記液晶表示部３０の部分は通話相手の右目を表示するから、通話者は違和感を感じることがない。
【００３１】
撮影された画像データは、画像信号処理部３６で所定の画像処理が施された後、圧縮／伸長処理部３７にて圧縮され、通信部３８によりインターネット２０を介してテレビ電話装置２２に送信される（ｓｔ１２）。この動画撮影，画像処理，圧縮，送信のシーケンスが通話終了まで繰り返される（ｓｔ１３）。
【００３２】
次に、本発明の第２実施形態について説明する。図７に示すように、テレビ電話装置５０は、スタンド型の装置本体５１と、この支柱部５１ａに回動自在に取り付けられた楕円形の液晶ディスプレイ５２とからなり、この液晶ディスプレイ５２の背後部には、一対のカメラ５３，５４が組み込まれている。なお、本実施形態では、前記第１実施形態と同じ部材には同じ符号を付し、説明を省略する。
【００３３】
テレビ電話装置５０の電気的構成を示す図８において、液晶ディスプレイ５２は液晶表示部５８とバックライト用のライトプレート５９からなる。この液晶表示部５８，ライトプレート５９には、前記カメラ５３，５４のレンズ鏡筒５３ａ，５４ａが挿入される孔５８ａ，５９ａが形成されている。このようにカメラ５３，５４のレンズの前に液晶表示部５８がないので、上述したような液晶表示部の目を表示する部分の間欠表示制御を行う必要がなく、かつより鮮明な画像を撮影することができる。なお、図８上では煩雑になるため、一方のカメラ５３のみを記載し、カメラ５４の図示を省略する。
【００３４】
カメラ５３，５４に組み込まれたＣＭＯＳイメージセンサ（図示せず）は、ＣＭＯＳドライバ６２によって制御される。カメラ５３，５４からの出力は、データバス３４を介して画像信号処理部３６に入力され、所定の信号処理が施された後、圧縮／伸長処理部３７にて圧縮される。この後、通信部３８により、３Ｄ表示可能な画像データとしてインターネット２０を介してテレビ電話装置２２に送られる。
【００３５】
一方、インターネット２０を介してテレビ電話装置２２から送信されてくる通話相手の画像データは、通信部３８を介して圧縮／伸長処理部３７にて伸長されてから、画像メモリ４０に一旦入力される。続いて、画像データは目検出部４２に読み込まれ、通話相手の両眼が検出される。この後、この両眼の位置座標，カメラ５３，５４の設置位置及び画像データが、座標変換／リサイズ処理部６０に読み込まれ、通話相手の両眼がカメラ５３，５４の設置位置と一致するように、画像データの座標変換及び／又はリサイズ処理が行われる（図９（Ａ）参照）。
【００３６】
前記座標変換及び／又はリサイズ処理が行われた画像７０（図９（Ａ）参照）の画像データは、フレームメモリ４６に転送される。このフレームメモリ４６には、３０フレーム／秒の速度で画像データが入力され、ＬＣＤドライバ４７によって液晶表示部３０に通話相手の画像が表示される。
【００３７】
図９（Ｂ）に示すように、画像７０の通話相手の顔が傾いた場合には、前記座標変換及び／又はリサイズにより両眼の位置座標がカメラ５３，５４の設置位置に一致すると、通話相手の顔が傾いているのか否かが分かりづらくなる（よく見ると身体が傾いている）。そこで、ＣＰＵ４４は、前記座標変換及び／又はリサイズを行った際の補正データに基づいて、通話相手の目の傾き量を算出し、これを相殺するようにモータドライバ７２を介してモータ７４を駆動し、前記液晶ディスプレイ５２を回転させる（同図（Ｃ）参照）。これにより、通話相手の顔が傾いているのがよく分かる。
【００３８】
液晶ディスプレイ５２が回転すると、カメラ５３，５４が傾き、通話者の顔が傾いて撮影されるが、この通話者を撮影した画像データは、傾き補正処理部７１によって傾きが矯正されてから圧縮／伸長処理部３７にて圧縮され、通信部３８を介してテレビ電話装置２２へ送信される。
【００３９】
このように構成された第２実施形態の作用を説明する。図１０のフローチャートに示すように、通信部３８が受信した画像データは、画像メモリ４０に入力された後、目検出部４２に読み込まれ、通話相手の両眼が検出される（ｓｔ２１）。両眼が検出でき（ｓｔ２２）、複数人の目が検出された場合には（ｓｔ２３）、最もサイズが大きい目が通話相手の目として選択される（ｓｔ２４）。
【００４０】
通話相手の両眼の位置座標がカメラ５３，５４の設置位置と一致するように、座標変換／リサイズ処理部６０にて画像データの座標変換及び／又はリサイズが行われる（ｓｔ２５）。ここで、通話相手の目が傾いている（顔が傾いているため）場合には（ｓｔ２６）、目の傾き量に基づいてモータ７４が駆動され、液晶ディスプレイ５２が回転される（ｓｔ２７）。また、通話相手の目が傾いていない場合には（ｓｔ２６）、液晶ディスプレイ５２は回転されない（ｓｔ２８）。以上のシーケンスが通話終了まで繰り返される（ｓｔ２９）。
【００４１】
一方、図１１のフローチャートに示すように、カメラ５３，５４は通話者を動画撮影する（ｓｔ３１）。この動画撮影は３０フレーム／秒で行われる。前記ステップ２６（ｓｔ２６）にて通話相手の目が傾いていた場合には（ｓｔ３２）、傾き補正処理部７１は目の傾きデータを取得して（ｓｔ３３）、この傾きを相殺するように撮影画像を回転する画像データの変換を行う（ｓｔ３４）。また、通話相手の目が傾いていなかった場合には（ｓｔ３２）、撮影画像を回転しない（ｓｔ３５）。
【００４２】
画像データは、画像信号処理部３６で所定の画像処理が施された後、圧縮／伸長処理部３７にて圧縮され、通信部３８によりインターネット２０を介してテレビ電話装置２２に送信される（ｓｔ３６）。以上のシーケンスが通話終了まで繰り返される（ｓｔ３７）。なお、本実施形態では一対のカメラで通話者を撮影しているので、通話相手側のテレビ電話装置で３Ｄ処理を行えば、立体的な画像表示を行うことができる。また、通話相手側のテレビ電話装置に３Ｄ処理機能が搭載されていない場合には、カメラ５３，５４のうち一方の画像のみが表示される。
【００４３】
以上説明した第１実施形態では、目検出部によって検出された通話相手の両眼の位置座標のうち右目をカメラの設置位置と一致するようにしたが、左目であっもよい。また、カメラの動画撮影に同期して、液晶ディスプレイの目の表示部分を、目を表示する表示状態と、画像を表示しない透明状態とを高速に繰り返し切り替えるようにしたが、本発明はこれに限定されることなく、目の表示部分を常に透明状態にしてもよい。
【００４４】
また、上記第２実施形態では、液晶ディスプレイの形状を楕円形としたが、本発明はこれに限定されることなく、例えば一般的な長方形でもよい。また、上記実施形態では、本発明に係る表示部として液晶ディスプレイを用いたが、本発明はこれに限定されることなく、第２実施形態のように、ディスプレイ自体に孔を形成する方法によれば、例えば有機ＥＬディスプレイ等でもよい。また、上記実施形態では、ディスプレイに組み込むカメラとしてＣＭＯＳイメージセンサを組み込んだカメラを用いたが、例えばＣＣＤを組み込んだカメラを用いてもよい。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１実施形態を示す説明図である。
【図２】第１実施形態の電気的構成を示すブロック図である。
【図３】液晶ディスプレイとカメラとの関係を示す説明図である。
【図４】画像の座標変換処理の様子を示す説明図である。
【図５】第１実施形態における受信のシーケンスを示すフローチャートである。
【図６】第１実施形態における送信のシーケンスを示すフローチャートである。
【図７】本発明の第２実施形態を示す説明図である。
【図８】第２実施形態の電気的構成を示すブロック図である。
【図９】液晶ディスプレイとカメラとの関係及び液晶ディスプレイを回転する様子を示す説明図である。
【図１０】第２実施形態における受信のシーケンスを示すフローチャートである。
【図１１】第２実施形態における送信のシーケンスを示すフローチャートである。
【符号の説明】
【００４６】
１０，２２，５０  テレビ電話装置
１１，５１  装置本体
１２，５２  液晶ディスプレイ
１５，５３，５４  カメラ
３０，５８  液晶表示部
３１，５９  ライトプレート
３１ａ，５８ａ，５９ａ  孔
３６  画像信号処理部
４２  目検出部
４３  座標変換処理部
４４  ＣＰＵ
４５，４５ａ，７０  画像
６０  座標変換／リサイズ処理部
７１  傾き補正処理部
【図１】
2007166529.tif 000003
【図２】
2007166529.tif 000004
【図３】
2007166529.tif 000005
【図４】
2007166529.tif 000006
【図５】
2007166529.tif 000007
【図６】
2007166529.tif 000008
【図７】
2007166529.tif 000009
【図８】
2007166529.tif 000010
【図９】
2007166529.tif 000011
【図１０】
2007166529.tif 000012
【図１１】
2007166529.tif 000013