(57)【要約】【課題】テレビ電話などにおいて、送話者の顔が表示されないようにする。【解決手段】送話者の顔に装着されて送話者の顔の位置および向きを検出するための識別子と、送話者を撮像するビデオカメラ１４とを設ける。ビデオカメラ１４から出力される映像信号のうち、識別子の画像データから送話者の顔の位置、大きさおよび向きを判別する第１の回路１１と、第１の回路１１により判別された送話者の顔の大きさおよび向きと等しい大きさおよび向きのキャラクタの顔の画像データを形成する第２の回路１１とを設ける。ビデオカメラ１４から出力される映像信号のうち、送話者の顔の画像データを、第２の回路１１の形成したキャラクタの顔の画像データに置き換える第３の回路１１を設け、この第３の回路１１から出力される映像信号を送出する。【選択図】　　　　図１
2004040525.tif 000002
【特許請求の範囲】
【請求項１】
送話者の顔に装着されて上記送話者の顔の位置および向きを検出するための識別子と、
上記送話者を撮像するビデオカメラと、
このビデオカメラから出力される映像信号のうち、上記識別子の画像データから上記送話者の顔の位置、大きさおよび向きを判別する第１の回路と、
この第１の回路により判別された上記送話者の顔の大きさおよび向きと等しい大きさおよび向きのキャラクタの顔の画像データを形成する第２の回路と、
上記第１の回路の判別した上記送話者の顔の位置にしたがって、上記ビデオカメラから出力される映像信号のうち、上記送話者の顔の画像データを、上記第２の回路の形成した上記キャラクタの顔の画像データに置き換える第３の回路と
を有し、
上記第３の回路から出力される映像信号を送出する
ようにした映像信号の送出装置。
【請求項２】
請求項１に記載の映像信号の送出装置において、
上記第３の回路から出力される映像信号をエンコード処理するエンコーダ回路を有し、
このエンコーダ回路により上記第３の回路から出力される映像信号をエンコード処理してから送出する
ようにした映像信号の送出装置。
【請求項３】
請求項１あるいは請求項２に記載の映像信号の送出装置において、
上記識別子は、上記送話者がかける眼鏡に設けられた複数個のＬＥＤである
ようにした映像信号の送出装置。
【請求項４】
顔の位置および向きを検出するための識別子が装着している送話者を、ビデオカメラにより撮像し、
上記ビデオカメラから出力される映像信号のうち、上記識別子の画像データから上記送話者の顔の位置および向きを判別し、
この判別結果の情報にしたがってキャラクタの顔の画像データを形成し、
上記ビデオカメラから出力される映像信号のうち、上記送話者の顔の画像データを、上記キャラクタの顔の画像データに置き換え、
この置き換え後の映像信号を送出する
ようにした映像信号の送出方法。
【請求項５】
請求項４に記載の映像信号の送出方法において、
上記置き換え後の映像信号をさらにエンコード処理してから送出する
ようにした映像信号の送出方法。
【請求項６】
請求項４あるいは請求項５に記載の映像信号の送出方法において、
上記識別子は、上記送話者がかける眼鏡に設けられた複数個のＬＥＤである
ようにした映像信号の送出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映像信号の送出装置および送出方法に関する。
【０００２】
【従来の技術】
通信やその環境の進化にともない、コミュニケーションは、これまでの音声だけのものから映像を取り込んだものへと変化している。いわゆるテレビ電話もそのうちの１つであり、このテレビ電話によれば、ディスプレイに映し出された相手の顔を見ながら通話をすることができる。
【０００３】
また、ＩＰ電話あるいはインターネット電話においても、ＡＤＳＬ、ＣＡＴＶ、ＦＴＴＨなどのブロードバンド回線を使用すれば、テレビ電話を実現することができ、やはり双方が相手の顔を見ながら通話をすることができる。
【０００４】
【発明が解決しようとする課題】
ところが、この映像を取り込んだコミュニケーションであっても、必ずしも自分の顔をそのまま見せたくはない場合がある。例えば、
▲１▼　インターネット家庭教師を利用したいが、顔を見せるのは恥ずかしい。
▲２▼　インターネットの利便性を利用して、未知の世界の人たちとも広くコミュニケーションをとりたいが、いきなり顔を知られるのは困る。
▲３▼　擬似的な自分を作成して気軽にネットコミュニティを享受したい。
などの場合がある。
【０００５】
この発明は、これらの場合に対処できるコミュニケーション装置を提供しようとするものである。
【０００６】
【課題を解決するための手段】
この発明においては、例えば、
送話者の顔に装着されて上記送話者の顔の位置および向きを検出するための識別子と、
上記送話者を撮像するビデオカメラと、
このビデオカメラから出力される映像信号のうち、上記識別子の画像データから上記送話者の顔の位置、大きさおよび向きを判別する第１の回路と、
この第１の回路により判別された上記送話者の顔の大きさおよび向きと等しい大きさおよび向きのキャラクタの顔の画像データを形成する第２の回路と、
上記第１の回路の判別した上記送話者の顔の位置にしたがって、上記ビデオカメラから出力される映像信号のうち、上記送話者の顔の画像データを、上記第２の回路の形成した上記キャラクタの顔の画像データに置き換える第３の回路と
を有し、
上記第３の回路から出力される映像信号を送出する
ようにした映像信号の送出装置
とするものである。
したがって、相手のディスプレイには、送話者の顔がキャラクタの顔に置き換えられた画像が表示される。
【０００７】
【発明の実施の形態】
図１は、この発明を、ＩＰ電話におけるテレビ電話機１０に適用した場合の一例を示し、この電話機１０は、制御回路１１、送話器１２、受話器１３および各種の操作キー（操作スイッチ）１６を有する。この場合、制御回路１１は、図示はしないが、テレビ電話を実現するための各種のハードウェアおよびソフトウェアを有するものであり、例えば、マイクロコンピュータ、エンコーダ回路およびデコーダ回路、ネットワークコントローラなどを有する。そして、制御回路１１は、この電話機１０の全体の動作を制御するとともに、音声信号および映像信号のエンコード処理（データ圧縮）やデコード処理（データ伸長処理）などを実行する。また、制御回路１１は、ネットワークコントローラを通じてネットワーク２０に接続されている。
【０００８】
そして、映像をともなわない通話の送話時には、送話器１２からのアナログ音声信号が、制御回路１１に供給されてＡ／Ｄ変換およびエンコード処理がされてからパケット化され、このパケットがネットワーク２０に送り出される。また、受話時には、ネットワーク２０を通じて送られてきたパケットが、制御回路１１に供給されてデコード処理およびＤ／Ａ変換されてもとのアナログ音声信号が取り出され、この音声信号が受話器１３に供給される。
【０００９】
さらに、制御回路１１には、映像を送受信するためにビデオカメラ１４およびディスプレイ１５が接続される。そして、映像をともなう通話時には、送話者がビデオカメラ１４により撮像され、その映像信号が制御回路１１に供給されてＡ／Ｄ変換およびエンコード処理がされ、このエンコード処理された映像信号とエンコード処理された音声信号とがパケット化され、このパケットがネットワーク２０に送り出される。また、相手からネットワーク２０を通じて送られてきたパケットが、制御回路１１に供給されてデコード処理およびＤ／Ａ変換されてもとの音声信号および映像信号が取り出され、これら音声信号および映像信号が受話器１３およびディスプレイ１５に供給される。
【００１０】
なお、この場合、例えば図２Ａに示すように、ディスプレイ１５のスクリーン１５Ｓの表示はピクチャインピクチャとなり、その親画面に相手の顔が大きく表示されるとともに、子画面にビデオカメラ１４の撮像した自分の顔、すなわち、相手に送信されている自分の顔が小さく表示される。また、所定のキー操作をすると、例えば図２Ｂに示すように、親画面の画像と子画面の画像とが入れ換わり、自分の顔が大きく表示されるとともに、相手の顔が小さく表示される。
【００１１】
そして、上述の▲１▼〜▲３▼項などの要求を満たすため、この発明においては、ビデオカメラ１４が撮像した送話者の顔をアニメーションによるキャラクタの顔に置き換えて相手に送出するものである。なお、以下の説明においては、このようにビデオカメラ１４が撮像した送話者の顔をアニメーションによるキャラクタの顔に置き換えて相手に送出するテレビ電話モードを「キャラクタモード」と呼ぶものとする。
【００１２】
そして、このキャラクタモードを実現するため、テレビ電話機１０は、さらに次のように構成される。すなわち、制御回路１１を構成するマイクロコンピュータには、このマイクロコンピュータが実行するプログラムの一部として例えば図３に示すルーチン１００が用意される。このルーチン１００は、詳細については後述するが、ビデオカメラ１４の撮像した送話者の顔を、アニメーションによるキャラクタの顔に置き換えるためのものであり、例えば１５回／１秒の割り合いで実行される。なお、図３においては、ルーチン１００は、この発明に関係する部分だけを抜粋して示している。
【００１３】
さらに、例えば図４に示すような眼鏡１７が用意される。この眼鏡１７は、送話者の顔の３次元的な位置や向きなどを検出するためのものである。このため、眼鏡１７のレンズ枠の中央前方の上方、右前方の下方および左前方の下方に、識別子として例えばＬＥＤ（１７Ａ〜１７Ｃ）が設けられ、眼鏡１７の例えば左のつるの途中に、識別子としてＬＥＤ（１７Ｄ）が設けられる。
【００１４】
この場合、送話者が眼鏡１７をかけて正面を向いたとき、その正面軸と直交する同一の垂直面内にＬＥＤ（１７Ａ〜１７Ｃ）が位置し、その垂直面と直交する同一の水平面内にＬＥＤ（１７Ａ、１７Ｄ）が位置するように、ＬＥＤ（１７Ａ〜１７Ｄ）を設けることが好ましい。また、ＬＥＤ（１７Ａ〜１７Ｄ）には、例えば制御回路１１から動作電圧が供給されて発光が行われる。
【００１５】
したがって、眼鏡１７をビデオカメラ１４で撮像した場合、所定の画像処理を行うことによりＬＥＤ（１７Ａ〜１７Ｄ）の発光からそれらの位置を検出することができ、この検出結果から、ビデオカメラ１４の撮像画面におけるＬＥＤ（１７Ｂ、１７Ｃ）に対するＬＥＤ（１７Ａ）の高さＨ、ＬＥＤ（１７Ｂ）とＬＥＤ（１７Ｃ）との間隔Ｗ、ＬＥＤ（１７Ａ）からＬＥＤ（１７Ｄ）までの奥行き方向（前後方向）の距離Ｄを求めることができる。また、ＬＥＤ（１７Ａ〜１７Ｃ）により、これらを含む平面が規定される。
【００１６】
そして、眼鏡１７の実物における値Ｈ、Ｗ、Ｄは既知なので、その値Ｈ、Ｗ、Ｄと、眼鏡１７の撮像結果における値Ｈ、Ｗ、Ｄとから、ビデオカメラ１４に対する眼鏡１７の距離、前後方向、左右方向および上下方向を中心とする向きを求めることができる。また、撮像画面内におけるＬＥＤ（１７Ａ）の位置からビデオカメラ１４に対する眼鏡１７の上下方向および左右方向における位置を求めることができる。
【００１７】
したがって、この眼鏡１７を送話者がかけた場合、ＬＥＤ（１７Ａ〜１７Ｄ）の位置を検出することにより、ビデオカメラ１４に対する送話者の顔の３次元的な位置や向きなどを求めることができる。そして、キャラクタモードを使用する場合には、送話者は眼鏡１７をかけて通話を行う。
【００１８】
このような構成において、例えば通話中に所定のキー操作をして電話機１０をテレビ電話のモードにすると、制御回路１１のマイクロコンピュータの処理がルーチン１００のステップ１０１からスタートし、次にステップ１０２において、例えば図５Ａに示すように、ビデオカメラ１４から出力される映像信号の１フレームが画像データとして制御回路１１に取り込まれ、続くステップ１０３において、テレビ電話モードが、通常のテレビ電話モードに設定されているかキャラクタモードに設定されているかが判別される。
【００１９】
そして、キャラクタモードに設定されている場合には、処理はステップ１０３からステップ１１１に進み、このステップ１１１において、ステップ１０２により取り込まれた１フレームに、すべてのＬＥＤ（１７Ａ〜１７Ｄ）が含まれているかどうかがチェックされる。そして、すべてのＬＥＤ（１７Ａ〜１７Ｄ）が含まれているときには、処理はステップ１１１からステップ１１２に進み、このステップ１１２において、撮像画面内のＬＥＤ（１７Ａ〜１７Ｄ）の位置および間隔Ｈ、Ｗ、Ｄを求めることにより、ビデオカメラ１４から送話者までの距離、撮像画面内における送話者の顔の位置、大きさおよび送話者の顔の向きが検出される。
【００２０】
続いてステップ１１３において、図５Ｂに示すように、アニメーションによるキャラクタの顔の画像データが形成されるとともに、その顔の大きさおよび向きは、ステップ１１２により求めたデータにしたがって送話者のそれに等しくされる。この場合、このキャラクタの顔の画像データは、キャラクタが正面を向いているときの顔の画像データをあらかじめ用意しておき、その画像データを、ステップ１１２により求めたデータにしたがって演算処理することにより形成することができる。さらに、このキャラクタの顔の画像は３次元画像とすることができる。
【００２１】
そして、次にステップ１１４において、ステップ１１２により求めた送話者の顔の位置の情報にしたがって、図５Ｃに示すように、ステップ１０２により取り込まれた画像データのうち、送話者の顔の部分の画像データが、ステップ１１３により生成されたキャラクタの顔の画像データにより置き換えられる。そして、その後、ステップ１１４により処理された画像データがエンコード処理（データ圧縮）され、このエンコード結果の画像データがステップ１２２によりネットワーク２０に送出され、ステップ１２３によりルーチン１００を終了する。
【００２２】
したがって、キャラクタモードに設定されている場合には、ビデオカメラ１４により撮像された送話者の画像は、その顔がキャラクタの顔に置き換えられ、その置き換えられた送話者の画像が相手のテレビ電話へと送られることになる。
【００２３】
そして、このとき、ルーチン１００は例えば１５回／１秒の割り合い（１５フレーム／１秒）で実行されるとともに、相手に送られたキャラクタの顔の位置や向きは、送話者の顔の位置や向きにつれて動くので、相手のテレビ電話には、いわばキャラクタの顔のマスクをつけた送話者の画像が動画により表示されることになる。なお、このとき、所定のキーを操作して図２ＡおよびＢに示すように、ピクチャインピクチャにおける送話者および受話者の画像の大小関係を切り換えることにより、送話者はキャラクタの顔の状態を確認することができ、すなわち、マスクの状態を確認することができる。
【００２４】
一方、ステップ１１１において、ステップ１０２により取り込まれた１フレームに、ＬＥＤ（１７Ａ〜１７Ｄ）のどれか１つでも含まれていないときには、処理はステップ１１１からステップ１１９に進み、このステップ１１９において、送話者の顔がビデオカメラ１４の撮像範囲から外れていることを示すダミーの画像データが形成され、その後、処理はステップ１２１に進み、そのダミーデータがエンコード処理されてネットワーク２０へと送出される。したがって、キャラクタモードに設定されている場合でも、送話者の顔の位置などを特定できないときには、送話者の画像が、相手のテレビ電話に送られることはない。
【００２５】
また、ステップ１０３において、通常のテレビ電話モードに設定されている場合には、処理はステップ１０３からステップ１２１に進み、このステップ１２１において、このとき（ステップ１０２により）取り込まれている画像データがエンコード処理されてネットワーク２０へと送出される。したがって、通常のテレビ電話モードに設定されている場合には、ビデオカメラ１４により撮像された送話者の画像が、相手のテレビ電話へとそのまま送られることになる。
【００２６】
こうして、このテレビ電話機１０によれば、キャラクタモードにした場合には、ビデオカメラ１４の撮像した送話者の顔がキャラクタの顔に置き換えられて相手へと送出され、相手のテレビ電話には、いわばキャラクタの顔のマスクをつけた送話者の動画が表示されるので、自分の顔を出すのは恥ずかしい、困るなどの精神的な垣根を取り去ることができる。
【００２７】
また、いわばマスクをつけたコミュニケーションとなるので、例えば友人との通常の通話であっても、新たなエンタテイメント性が加わることになる。さらに、何種類かの異なるキャラクタの顔の画像データを制御回路１１に用意しておき、そのうちの任意のものを選択して使用することによりエンタテイメント性をより高めることもできる。
【００２８】
なお、上述において、眼鏡１７に送話器１２および受話器１３を設けることもできる。また、制御回路１１は、パーソナルコンピュータとすることもでき、ディスプレイ１５はテレビ受像機などであってもよい。さらに、眼鏡１７にＬＥＤ（１７Ａ〜１７Ｄ）を設ける場合、その電源はボタン電池などとして眼鏡１７に設けることができる。
【００２９】
また、メーカなどのサーバに何種類かのキャラクタの顔の画像データを用意しておき、これを電話機１０にダウンロードして利用するようにもできる。さらに、上述においては、この発明をＩＰ電話に適用した場合であるが、テレビ電話機能を有する電話機であれば、携帯電話などにも適用することができる。
【００３０】
〔この明細書で使用している略語の一覧〕
Ａ／Ｄ　：Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ
ＡＤＳＬ：Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ
ＣＡＴＶ：ＣＡｂｌｅ　Ｔｅｌｅｖｉｓｉｏｎ
Ｄ／Ａ　：Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ
ＦＴＴＨ：Ｆｉｂｅｒ　Ｔｏ　Ｔｈｅ　Ｈｏｍｅ
ＩＰ　　：Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ
ＬＥＤ　：Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ
【００３１】
【発明の効果】
この発明によれば、ビデオカメラの撮像した送話者の顔がキャラクタの顔に置き換えられて相手へと送出されるので、自分の顔を出すのは恥ずかしい、困るなどの精神的な垣根を取り去ることができる。また、いわばマスクをつけたコミュニケーションとなり、新たなエンタテイメント性が加わることになる。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明を説明するための表示画面の図である。
【図３】この発明の一形態を示すフローチャートである。
【図４】この発明の一部の一形態を示す斜視図である。
【図５】この発明を説明するための表示画面の図である。
【符号の説明】
１１…制御回路、１２…送話器、１３…受話器、１４…ビデオカメラ、１５…ディスプレイ、１６…操作スイッチ、１７…眼鏡、１７Ａ〜１７Ｄ…ＬＥＤ、２０…ネットワーク
【図１】
2004040525.tif 000003
【図２】
2004040525.tif 000004
【図３】
2004040525.tif 000005
【図４】
2004040525.tif 000006
【図５】
2004040525.tif 000007