(57)【要約】    【課題】同じ場所で対話しているように自然なコミュニケーションを実現すると共に、互いのプライバシを保護する。    【解決手段】テレビ通信装置２００では、自己画像撮影カメラ２１４がその対話者Ｐbを撮影し、人物画像抽出部２１７がその撮影画像から対話者Ｐbの人物画像のみを抽出して、送受信部２１９、通信ネットワーク３００を介してテレビ通信装置１００へ送信する。テレビ通信装置１００では、背景画像撮影カメラ１１１が表示部１２０背後の背景映像を撮影し、背景画像加工部１６へ出力する。背景画像加工部１１６は、視点位置計測部１１４からの対話者Paの視点位置と、空間情報記憶部１１３からの空間情報とに基づいて、背景映像を加工し、画像合成部１１８へ出力する。画像合成部１１８では、加工された背景画像と、テレビ通信装置２００からの対話者Ｐbの人物画像とを合成して表示部１２０に表示する。  【選択図】      図１
2006333301.tif 000002
【特許請求の範囲】
【請求項１】
表示手段を有するテレビ通信装置であって、
前記表示手段の背後の背景を撮影する背景画像撮影手段と、
本装置の使用者の画像を撮影する自己画像撮影手段と、
通話相手のテレビ通信装置が送信してきた前記通話相手の人物画像を受信すると共に、本装置の使用者の画像を前記通話相手のテレビ通信装置に対し送信する送受信手段と、
前記背景画像撮影手段が撮影した背景画像が、前記送受信手段が受信した前記通話相手の人物画像の背景画像になるように合成して前記表示手段に表示する画像合成手段と、
を有するテレビ通信装置。
【請求項２】
請求項１記載のテレビ通信装置であって、さらに、
前記表示手段に対する本装置の前記使用者の視点位置を計測する視点位置計測手段と、
前記視点位置計測手段によって計測された本装置の前記使用者の視点位置に基づいて前記背景画像を加工する画像加工手段と、を有し、
前記画像合成手段は、前記画像加工手段により加工された前記背景画像が、前記送受信手段が受信した前記通話相手の人物画像の背景画像になるように合成して前記表示手段に表示する、テレビ通信装置。
【請求項３】
請求項２記載のテレビ通信装置であって、さらに、
前記表示手段および前記背景画像撮影手段の空間を示す前述の空間情報を予め記憶した空間情報記憶手段を有し、
前記画像加工手段は、前記位置計測手段によって計測された本装置の前記使用者の視点位置と、前記空間情報記憶手段に記憶された前記空間情報とに基づいて前記背景画像を加工する、テレビ通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示手段を有するテレビ通信装置に係り、より自然なコミュニケーションが図れる画像表示を行うテレビ通信装置に関する。
【背景技術】
【０００２】
最近、高速通信ネットワークの拡充により、テレビ通信装置が普及しつつある。それらのシステムは、ビデオカメラとマイクロフォンとモニタとを有するテレビ通信装置間で相互に映像と音声を送受信し合うことにより、相手側の姿を見ながら音声でのやりとりを行うものであり、通常のコミュニケーションに近い形態が実現できる。
【０００３】
従来のテレビ通信装置として、例えば、カメラで撮像された撮像画像のうち、相手側での表示を認める所定範囲画像以外の部分に、予め製造メーカ側によって登録されている画像や、対話者がそのテレビ通信装置のカメラで撮影した画像など、任意の画像により画像処理を施し、その画像処理が施された画像を送信するようにして、自分側の画像が相手側に表示されるのが不都合な場合の適応性及び利便性の向上を図ったテレビ通信装置がある（例えば、特許文献１参照）。
【特許文献１】特開２００３−２７４３７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来のテレビ通信装置の場合、対話者のテレビ電話装置から当該対話者の人物画像とその背景映像からなる映像を受信した場合、その背景映像は、送信側のテレビ通信装置に予め記憶された背景画像や、送信側のテレビ通信装置により撮影された背景画像であるので、同じ場所で交わす通常のコミュニケーションのように、同じ場所で対話している感覚は得られない、という問題がある。
【０００５】
また、送信者側のカメラで撮影された画像により画像処理が施された画像を送信した場合、相手の姿だけでなく、相手の周囲の風景も受信するため、お互いのプライバシが確保されない、という問題もある。
【０００６】
そこで、本発明は、同じ場所で対話しているように自然なコミュニケーションを実現することができる共に、互いのプライバシを保護することができるテレビ通信装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明のテレビ通信装置は、表示手段を有するテレビ通信装置であって、前記表示手段の背後の背景を撮影する背景画像撮影手段と、本装置の使用者の画像を撮影する自己画像撮影手段と、通話相手のテレビ通信装置が送信してきた前記通話相手の人物画像を受信すると共に、本装置の使用者の画像を前記通話相手のテレビ通信装置に対し送信する送受信手段と、前記背景画像撮影手段が撮影した背景画像が、前記送受信手段が受信した前記通話相手の人物画像の背景画像になるように合成して前記表示手段に表示する画像合成手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、自装置の表示手段には、自装置の背景画像撮影手段が撮影した背景画像が、相手装置から受信した通話相手の人物画像の背景画像とになるように合成して表示されるので、遠隔地の対話者と自らの場所で介して対話しているかのような自然なコミュニケーションを実現することができると共に、相手側の背景画像は表示されないので、互いのプライバシを保護することができる。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明に係るテレビ通信装置の実施の形態の構成を示す図である。
【００１０】
図１において、対話者Ｐａ，Ｐｂが、それぞれ、本実施の形態に係る２台のテレビ通信装置１００，２００を使用して、通信ネットワーク３００を介してテレビ通信を行っている。
【００１１】
テレビ通信装置１００，２００は、それぞれ、背景画像撮影カメラ１１１，２１１、視点位置計測部１１２，２１２、空間情報記憶部１１３，２１３、自己画像撮影カメラ１１４，２１４、マイク１１５，２１５、背景画像加工部１１６，２１６、人物画像抽出部１１７，２１７、画像合成部１１８，２１８、送受信部１１９，２１９、表示部１２０，２２０、スピーカ１２１，２２１を有している。ここで、自己画像撮影カメラ１１４，２１４は、それぞれ、テレビ通信装置１００，２００の使用者である対話者Ｐａ，Ｐｂを撮影するため、テレビ通信装置１００，２００の表示部１２０，２２０の表示面側に設けられる一方、背景画像撮影カメラ１１１，２１１は、各テレビ通信装置１００，２００の背後側、すなわち表示部１２０，２２０の背後側を撮影するため、自己画像撮影カメラ１１４，２１４とは逆方向を向いて設けられている。
【００１２】
図２は、電源ＯＦＦの場合に、本実施の形態に係るテレビ通信装置１００の方向をその対話者Ｐａから見た場合の一例を示している。
【００１３】
図２に示すように、対話者Ｐａから見ると、このテレビ通信装置１００では、少なくとも表示部１２０と自己画像撮影カメラ１１４とが対話者Ｐａと向かい合う側になり、自己画像撮影カメラ１１４の反対側に背景画像撮影カメラ１１１が設けられている。ここで、図２において図示はしないが、マイク１１５やスピーカ１２１は、表示部１２０と同様に、このテレビ通信装置１００の対話者Ｐａと向かい合う側にテレビ通信装置１００と一体的に設けられていても良いし、テレビ通信装置１００と無線または有線により分離されて対話者Ｐａの近くに設けられるようにしても良い。また、スピーカ１２１は、テレビ通信装置１００のテレビ視聴用のスピーカ等と共用していても勿論よい。なお、テレビ通信装置１００は、キャビネット１５０等の上に設置されている。また、テレビ通信装置２００も同様に構成されている。
【００１４】
次に動作を説明する。
まず、図１に示すように、テレビ通信装置１００の使用者である対話者Ｐａは、テレビ通信装置２００の使用者である対話者Ｐｂに対し通信ネットワーク３００を介してテレビ通信をしているものとする。
【００１５】
その際、各テレビ通信装置１００，２００は、双方とも、それぞれの自己画像撮影カメラ１１４，２１４がそれぞれ対話者Ｐａ，Ｐｂの顔等を含む人物画像とその背景映像とを撮影して人物画像抽出部１１７，２１７へ出力する。なお、自己画像撮影カメラ１１４，２１４および背景画像撮影カメラ１１１，２１1は、動画または静止画の撮影でもどちらでも良く、また、背景画像撮影カメラ１１１，２１1は静止画の撮影とし、自己画像撮影カメラ１１４，２１４は動画の撮影とするようにしても勿論よい。つまり、本発明および本実施の形態にて、「画像」という場合には、静止画および動画の双方を含むものとする。
【００１６】
人物画像抽出部１１７，２１７では、それぞれ、対話者Ｐａおよび対話者Ｐｂの撮影画像からそれぞれ背景画像を除去して人物画像のみを抽出し、抽出した人物画像を送受信部１１９，２１９へ出力する。
【００１７】
また、各テレビ通信装置１００，２００では、それぞれ、マイク１１５，２１５がそれぞれ対話者Ｐａおよび対話者Ｐｂの音声を収音して、送受信部１１９，２１９を介してスピーカ１２１，２２１へ出力する。
【００１８】
図３（ａ）〜（ｃ）は、それぞれ、テレビ通信装置２００の人物画像抽出部２１７による人物画像を抽出するまでの手順を示す図である。
【００１９】
図３（ａ）は、例えば、自己画像撮影カメラ２１４が撮影した対話者Ｐbの人物画像４１０と、その背景画像４２０とを含む撮影画像４００を示している。
【００２０】
図３（ｂ）は、人物画像抽出部２１７が、公知の画像認識の技術、例えば、人物画像４１０とその背景画像４２０との間の輝度等の違いによるエッジ抽出等を行って、人物画像４１０を取り囲む対話者画像領域４３０を検出することを示している。
【００２１】
図３（ｃ）は、人物画像抽出部２１７が、検出した対話者画像領域４３０に基づいて、自己画像撮影カメラ２１４が撮影した撮影画像４００から背景画像４２０を取り除き、人物領域４３０に囲まれた対話者Ｐbの人物画像４１０のみを求めることを示している。
【００２２】
このように、テレビ電話装置２００の人物画像抽出部２１７は、自己画像撮影カメラ２１４が撮影した撮影画像４００から背景画像４２０を除去して、図３（ｃ）に示すような対話者Ｐｂの人物画像４１０のみを抽出して送受信手段１１９へ出力する。なお、テレビ通信装置１００の人物画像抽出部１１７による対話者Ｐａの人物画像の抽出も同様である。
【００２３】
送受信部１１９，２１９では、それぞれ、マイク１１５，２１５からの対話者Ｐａ，Ｐｂの音声と、人物画像抽出部１１７，２１７からの対話者Ｐａ，Ｐｂの人物画像とを多重化して、例えば、図４に示すような構造のストリーム３１０により相手装置へ相互に送信する。
【００２４】
図４は、テレビ通信装置１００，２００間で送受信される人物画像と音声とを多重化したストリーム３１０の一例を示す図である。図３において、このストリーム３１０は、パケットヘッダ３１１が付加された音声を送受信する音声情報パケット３１２と、パケットヘッダ３１３が付加された人物画像を送受信する画像情報パケット３１４とが多重化された形で構成されている。
【００２５】
各テレビ通信装置１００，２００では、それぞれ、送受信部１１９，２１９が相手側のテレビ通信装置２００，１００から送信された人物画像と音声とが多重化されたストリーム３１０を受信すると分離をし、音声はスピーカ１２１，２２１へ出力されて再生される一方、人物画像は、画像合成部１１８，２１８へ出力される。
【００２６】
ところで、各テレビ通信装置１００，２００では、それぞれ、背景画像撮影カメラ１１１，２１１が各テレビ通信装置１００，２００の背後、すなわち表示部１２０，２２０の背後を背景映像として撮影して、背景画像加工部１１６、２１６へ出力する。
【００２７】
図５は、電源ＯＮの場合に、本実施の形態に係るテレビ通信装置１００の方向をその対話者Ｐａから見た場合の一例を示している。
【００２８】
電源ＯＮの場合には、テレビ通信装置１００の背景画像撮影カメラ１１１は、テレビ通信装置１００の背面側を広角レンズ等で撮影しており、図２に示す電源ＯＦＦの場合にテレビ通信装置１００の方向をその対話者Ｐａから見た外観の一例と比較すると明らかなように、対話者Ｐａがテレビ通信装置１００を見た場合に見ることができないテレビ通信装置１００背後の背景を含む背景画像を撮影して、その背景画像を後述するように加工等した後、自装置１００の表示部１２０に表示している。なお、テレビ通信装置２００の背景画像撮影カメラ２１１も、同様にテレビ通信装置２００の背後の背景画像を撮影して、その背景画像を後述するように加工等した後、自装置２００の表示部２２０に表示している。
【００２９】
また、視点位置計測部１１２，２１２は、それぞれ、例えば、自己画像撮影部１１４，２１４が撮影した撮影画像等に基づいて、表示部１２０，２１４に対する対話者Ｐａ，Ｐｂの視点位置を計測して、計測した視点位置を背景画像加工部１１６，２１６へ出力する。ここで、視点位置とは、このテレビ通信装置１００，２００の表示部１２０，２１４に対する対話者Ｐａ，Ｐｂの眼の位置のことであり、表示部１２０，２１４の中心等からの、例えば、表示部１２０，２１４中心に対する対話者Ｐａ，Ｐｂの座標あるいは距離および角度等によって現されている。
【００３０】
また、空間情報記憶部１１３，２１３は、それぞれ、テレビ通信装置１００，２００が設置されている部屋内の空間における表示部１２０，２１４および背景画像撮影カメラ１１１，２１１の空間情報、例えば、テレビ通信装置１００，２００が設置されている部屋の間取り（例えば、次の図６に示す表示部１２０背後の壁面Ｂや、左右両側の壁面Ｌ，Ｒの長さや高さ）、その部屋内の表示部１２０，２１０の座標（例えば、次の図６に示す表示部１２０背後の壁面Ｂ等中心からの距離や角度）、及び背景画像撮影カメラ１１１，２１１の座標（例えば、次の図６に示す表示部１２０背後の壁面Ｂ等中心からの距離や角度）、表示部１２０，２１０の表示面の大きさ、背景画像撮影カメラ１１１，２１１の画角等の空間情報を予め記憶しており、これらの情報を背景画像加工部１１６，２１６へ出力する。
【００３１】
背景画像加工部１１６，２１６では、それぞれ、背景画像撮影カメラ１１１，２１１からの背景画像を、視点位置計測部１１２，２１２からの対話者Ｐａ，Ｐｂの視点位置と、空間情報記憶部１１３，２１３からの前述の空間情報とに基づいて、図５に示すように、あたかも対話者Ｐａ，Ｐｂの視点位置から表示部１２０，２２０背後の背景が透けて見えるかのように背景画像を加工して、画像合成部１１８，２１８へ出力する。
【００３２】
次に、背景画像加工部１１６，２１６による背景画像の加工例を説明する。
【００３３】
図６は、背景画像加工部１１６が背景画像を加工する一例を示す図である。なお、背景画像加工部２１６による背景画像の加工も同様である。
【００３４】
つまり、背景画像加工部１１６は、空間情報記憶部１１３に格納されたテレビ通信装置１００が設置されている部屋内の空間における表示部１２０の座標、及び背景画像撮影カメラ１１１の座標、表示部１２０の表示面の大きさ、背景画像撮影カメラ１１１の画角等の空間情報と、視点位置計測部１１２で計測された対話者Ｐａの視点位置とに基づいて、対話者Ｐａの視点位置から見た表示部１２０に表示すべき最適な背景画像の領域Ａを算出する。ここで、図５に示す場合、対話者Ｐａの視点位置から見た最適な背景画像の領域Ａは、表示部１２０背後の壁面B上の撮影映像の一部となる。なお、背景画像撮影カメラ１１１は、広角のカメラであり、壁面Bだけでなく、その両左右の壁面L，Rの一部も撮影している。
【００３５】
そして、背景画像加工部１１６は、背景画像撮影カメラ１１１から入力されたテレビ通信装置１００背景画像から領域Ａ内の画像情報を抽出し、必要あれば、拡大または縮小等を行って、あたかも対話者Ｐａの視点位置から表示部１２０背後の背景が透けて見えるかのように背景画像を加工して、画像合成部１１８へ出力する。
【００３６】
図７は、背景画像加工部１１６が背景画像を加工する別の例を示す図である。なお、背景画像加工部２１６による背景画像の加工も同様である。
【００３７】
図７の場合、図６の場合と異なり、対話者Ｐａは、テレビ通信装置１００の表示部１２０の中心に対し、図上左側にずれた位置で対話を行っている。
【００３８】
そのため、背景画像加工部１１６は、空間情報記憶部１１３に格納されている前述の空間情報と、視点位置計測部１１２で計測された対話者Ｐａの視点位置とに基づいて、対話者Ｐａの視点位置から見た表示部１２０に表示すべき最適な背景画像の領域Ａ’を算出する。
【００３９】
すると、図７の場合、図６の場合と異なり、対話者Ｐａの視点位置がテレビ通信装置１００の表示部１２０の中心からずれているので、背景画像加工部１１６は、最適な背景画像の領域Ａ’として、背景画像撮影カメラ１１１が撮影した背景画像において、壁面Bと壁面Rとの間の角Ｃが対話者Paの視点から見て最適な位置に表示されるように、角Ｃを中心とした壁面Bと壁面Rとからなる領域Ａ’の画像情報を抽出する共に、その領域Ａ’内の画像を拡大および縮小して、表示部１２０の中心からずれた対話者Ｐａの視点位置から、あたかも表示部１２０背後の背景が透けて見えるかのように背景画像を加工する。
【００４０】
このようにして、各テレビ通信装置１００，２００の画像合成部１１８，２１８には、それぞれ、背景画像加工部１１６，２１６からの表示部１２０，２２０背後の背景が透けて見えるかのように加工された背景画像と、送受信部１１９，２１９を介した相手装置からの対話者Ｐｂ，Ｐａの人物画像とが入力され、これらを合成して、表示部１２０，２２０へ出力する。
【００４１】
図８（ａ）〜（ｃ）は、それぞれ、テレビ通信装置１００の画像合成部１１８による画像合成の一例を具体的に示す図である。なお、テレビ通信装置２００の画像合成部２１８による画像合成の場合も、同様である。
【００４２】
図８（ａ）は、テレビ通信装置１００の背景画像撮影カメラ１１１が撮影して背景画像加工部１１６により加工されたテレビ通信装置１００背後の背景画像５００の一例を示している。
【００４３】
図８（ｂ）は、対話者Ｐｂのテレビ通信装置２００の自己画像撮影カメラ２１４が撮影して人物画像抽出部１１７により抽出された対話者Ｐｂの人物画像４１０のみの撮影画像である（図３参照）。
【００４４】
図８（ｃ）は、画像合成部１１８が、図８（ａ）に示すテレビ通信装置１００背後の背景画像５００と、図８（ｂ）に示すテレビ通信装置２００からの対話者Ｐｂの人物画像４１０とを合成した合成画像６００とを示している。
【００４５】
このように、テレビ通信装置１００の表示部１２０には、その表示部１２０背後の背景が透けて見えるかのように加工された背景画像５００と対話者Ｐｂの人物画像４１０との合成画像６００が表示される一方、テレビ通信装置２００の表示部２２０には、その表示部２２０背後の背景が透けて見えるかのように加工された背景画像と対話者Ｐａの人物画像との合成画像が表示されることになる。
【００４６】
図９は、対話者Ｐａからテレビ通信装置１００を見た場合におけるその表示部１２０の表示画像の一例を示している。なお、対話者Ｐｂからテレビ通信装置２００を見た場合におけるその表示部２２０の表示画像も同様である。
【００４７】
図９に示すように、対話者Ｐａからテレビ通信装置１００を見ると、その表示部１２０には、対話者Ｐbの人物画像４１０と、表示部１２０背後の背景が透けて見えるかのように加工された背景画像５００とが合成された合成画像６００が表示されることになる。そして、対話者Ｐbの人物画像４１０周囲の背景画像５００は、視点位置計測部１１２からの対話者Ｐaの視点位置や、空間情報記憶部１１３に記憶された前述の空間情報とに基づいて、対話者Ｐaから表示部１２０背後を見たときの自然な背景、すなわち表示部１２０背後の壁Bの模様に溶け込むように表示されている。
【００４８】
よって、対話者Ｐａがテレビ通信装置１００の表示部１２０に表示された対話者Ｐbの人物画像４１０と向かい合って通信を行う場合、表示部１２０に表示されている対話者Ｐbの人物画像４１０以外の背景画像５００と、表示部１２０背後の壁面Ｂの模様とが自然にマッチするので、対話者Ｐａは、遠隔地の対話者Ｐｂと自らの部屋ないしは居室で会話しているように感じることができ、既存のテレビ通信装置に比べて、より自然なコミュニケーションが実現できることになる。
【００４９】
このように、本実施の形態のテレビ通信装置では、各テレビ通信装置１００，２００の表示部１２０，２２０には、自装置の表示部１２０，２２０背後の背景画像５００と、通話相手である対話者Ｐb，Ｐaの人物画像とが合成されて表示されるので、遠隔地の対話者Ｐa，Ｐbとは、自らの場所で介して対話しているかのような自然なコミュニケーションを実現することができる。
【００５０】
また、通信相手のテレビ通信装置１００，２００の表示部１２０，２２０には、相手装置の表示部１２０，２２０背後の背景画像と、自己の人物画像４１０のみが表示され、自己画像撮影カメラ１１４，２１４が撮影した背景画像４２０は、相手側の装置には送信されず、表示されないので、互いのプライバシを保護することも可能となる。
【００５１】
なお、本実施の形態では、通信装置の背後を撮影する背景画像撮影カメラ１１１，２１１は、例えば、広角カメラにより部屋全体を一度に撮影できるものとして説明したが、本発明では、これに限らず、背景画像撮影カメラ１１１，２１１がそれぞれ対話者Ｐa，Ｐbの位置や角度等に応じて動的にパンチルトにより上下左右に角度を変えたり、ズーム等することにより、常に最適な背景画像を、相手人物画像と合成して表示部１２０，２２０に表示するようにしても勿論よい。この場合、背景画像撮影カメラ１１１，２１１は、対話者Ｐa，Ｐｂの位置や角度等に応じて動的にパンチルトにより上下左右に角度を変えたり、ズーム等する必要があるので、視点位置計測部１１２，２１２からの視点位置を入力して、対話者Ｐa，Ｐbの位置や角度等に応じて動的にパンチルトにより上下左右に角度を変えるように構成する必要がある。
【００５２】
また、本実施の形態では、テレビ通信装置１００，２００に、それぞれ、視点位置計測部１１２，２１２および空間情報記憶部１１３，２１３を設けて説明したが、本発明では、これに限らず、視点位置計測部１１２，２１２または空間情報記憶部１１３，２１３を省略するようにしても勿論よい。例えば、視点位置計測部１１２，２１２を省略した場合、背景画像加工部１１６，２１６は、対話者Ｐａ，Ｐｂの視点位置を考慮せず、対話者Ｐａ，Ｐｂが常にテレビ通信装置１００，２００の中央から視聴するものとみなして背景領域を求め背景画像を加工することになる。また、空間情報記憶部１１３，２１３を省略した場合、背景画像加工部１１６，２１６は、表示手段１２０，２２０および背景画像撮影カメラ１１１，２１１の空間を示す前述の空間情報である、例えば、テレビ通信装置１００，２００が設置されている部屋の間取りや、その部屋内の表示部１２０，２１０の座標、及び背景画像撮影カメラ１１１，２１１の座標、表示部１２０，２１０の表示面の大きさ、背景画像撮影カメラ１１１，２１１の画角等の情報を考慮せずに、背景領域を抽出して、表示部１２０、２２０背後の背景画像を加工することになる。このように、視点位置計測部１１２，２１２または空間情報記憶部１１３，２１３を省略した場合、それらを省略しない場合と比べて、表示部１２０、２２０に表示される自装置の背景画像は、自然さは失われるものの、画像加工部１１６，２１６における加工処理の際の演算負荷は小さくなるので、回路規模を小さくすることができると共に、迅速な背景画像の表示が可能となる。
【００５３】
また、本実施の形態では、テレビ通信装置１００，２００に、それぞれ、人物画像抽出部１１７，２１７を設けて説明したが、本発明では、これに限らず、人物画像抽出部１１７，２１７を設けずに、自己画像撮影カメラ１１４，２１４が撮影した人物画像および背景画像を含む撮影映像を相手側装置に送信するようにし、相手側装置の例えば、画像合成部１１８，２１8等にて自己画像撮影カメラ１１４，２１４が撮影した背景画像は削除し、その相手側装置における背景画像撮影カメラ１１１，２１１が撮影した背景画像を合成するようにしても勿論よい。この場合、背景画像撮影カメラ１１１，２１１が撮影した背景画像を合成するか否かは、受信装置側に委ねられるので、受信側装置の使用者の意思に基づいて、送信装置側の自己画像撮影カメラ１１４，２１４が撮影した背景画像をそのまま用いるか、自装置の背景画像撮影カメラ１１１，２１１が撮影した背景画像を用いるかを切り換えることが可能となる。
【産業上の利用可能性】
【００５４】
本発明のテレビ通信装置は、自装置の表示手段には自装置で撮影した自装置背後の背景画像が、相手装置で撮影され送信された対話者の人物画像の背景画像として合成して表示されるので、遠隔地の対話者と自らの場所で介して対話しているかのような自然なコミュニケーションを実現することができると共に、対話者の人物画像のみが表示され、相手側の背景は表示されないので、互いのプライバシを保護することができ、テレビ電話装置や、テレビ会議装置などの、自装置側で撮影した人物画像を相手装置へ相互に通信するテレビ通信装置に適用できる。
【図面の簡単な説明】
【００５５】
【図１】本発明に係るテレビ通信装置の実施の形態の構成を示すブロック図
【図２】電源ＯＦＦの場合に、本実施の形態に係るテレビ通信装置１００の方向をその対話者Ｐａから見た場合の一例を示す図
【図３】（ａ）〜（ｃ）、それぞれ、テレビ通信装置２００の人物画像抽出部２１７による人物画像を抽出するまでの手順を示す図
【図４】テレビ通信装置１００，２００間で送受信される人物画像と音声とを多重化したストリーム３１０の一例を示す図
【図５】電源ＯＮの場合に、本実施の形態に係るテレビ通信装置１００の方向をその対話者Ｐａから見た場合の一例を示す図
【図６】背景画像加工部１１６が背景画像を加工する一例を示す図
【図７】背景画像加工部１１６が背景画像を加工する別の例を示す図
【図８】（ａ）〜（ｃ）、それぞれ、テレビ通信装置１００の画像合成部１１８による画像合成の一例を具体的に示す図
【図９】対話者Ｐａからテレビ通信装置１００を見た場合におけるその表示部１２０の表示画像の一例を示す図
【符号の説明】
【００５６】
１００，２００  テレビ通信装置
１１１，２１１  背景画像撮影カメラ
１１２，２１２  視点位置計測部
１１３，２１３  空間情報記憶部
１１４，２１４  自己画像撮影カメラ
１１５，２１５  マイク
１１６，２１６  背景画像加工部
１１７，２１７  被写体画像抽出部
１１８，２１８  画像合成部画像合成部
１１９，２１９  送受信部
１２０，２２０  表示部
１２１，２２１  スピーカ
３００  通信ネットワーク
【図１】
2006333301.tif 000003
【図２】
2006333301.tif 000004
【図３】
2006333301.tif 000005
【図４】
2006333301.tif 000006
【図５】
2006333301.tif 000007
【図６】
2006333301.tif 000008
【図７】
2006333301.tif 000009
【図８】
2006333301.tif 000010
【図９】
2006333301.tif 000011