(57)【要約】      （修正有）【課題】コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現できる映像端末装置を提供する。【解決手段】映像端末装置は、撮影画像を生成する画像生成部１１と、ユーザまでの距離を計測する距離計測部１３と、計測された距離に基づいて、背景を除くユーザの画像を生成する第１生成モードと、背景を除くユーザの影画像を生成する第２生成モードとを含む伝送情報の生成モードからいずれかの生成モードを選択する生成モード選択部１４と、第１生成モードが選択された場合に、背景を除くユーザの画像を生成する背景除去画像生成部１６と、第２生成モードが選択された場合に、背景を除くユーザの影画像を生成する影画像生成部１５と、背景を除くユーザの画像を相手側の映像端末装置に伝送する画像伝送部１９と、背景を除くユーザの影画像を相手側の映像端末装置に伝送する影画像伝送部１８とを備えている。【選択図】図１
2012175528.tif 000002
【特許請求の範囲】
【請求項１】
撮影により撮影画像を生成する画像生成部と、
前記撮影画像に現れているユーザまでの距離を計測する距離計測部と、
少なくとも前記距離計測部にて計測された距離に基づいて、背景を除くユーザの画像を生成する第１生成モードと、背景を除く情報量を減らしたユーザの画像を生成する第２生成モードとを含む伝送情報の生成モードからいずれかの生成モードを選択する生成モード選択部と、
前記生成モード選択部にて前記第１生成モードが選択された場合に、背景を除くユーザの画像を生成する背景除去画像生成部と、
前記生成モード選択部にて前記第２生成モードが選択された場合に、背景を除く情報量を減らしたユーザの画像を生成する情報量制限画像生成部と、
前記背景を除くユーザの画像を相手側の映像端末装置に伝送する画像伝送部と、
前記背景を除く情報量を減らしたユーザの画像を相手側の映像端末装置に伝送する情報量制限画像伝送部と、
を備えたことを特徴とする映像端末装置。
【請求項２】
前記映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備え、
前記距離計測部は、背景を表す背景距離画像と前記距離画像との差分をとって差分距離画像を生成し、
前記情報量制限画像生成部は、前記差分距離画像を用いて前記背景を除く情報量を減らしたユーザの画像を生成する
ことを特徴とする請求項１に記載の映像端末装置。
【請求項３】
前記情報量制限画像生成部は、前記差分距離画像を２値化することで、前記情報量を減らしたユーザの画像として、背景を除くユーザの影画像を生成することを特徴とする請求項２に記載の映像端末装置。
【請求項４】
前記距離計測部は、一定時間以上変化がない前記距離画像を前記背景距離画像とすることを特徴とする請求項２又は３に記載の映像端末装置。
【請求項５】
前記映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備え、
前記背景除去画像生成部は、前記距離画像に基づいて、指定された距離範囲以外をマスクする指定距離マスク画像を生成し、前記画像生成部にて生成された撮影画像に前記指定距離マスク画像を適用することで、前記背景を除くユーザの画像を生成する
ことを特徴とする請求項１に記載の映像端末装置。
【請求項６】
前記映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備え、
前記距離計測部は、背景を表す背景距離画像と前記距離画像との差分をとって差分距離画像を生成して、前記差分距離画像のヒストグラムに基づいて、前記ユーザまでの距離を計測する
ことを特徴とする請求項１に記載の映像端末装置。
【請求項７】
前記映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備え、
前記距離計測部は、前記距離画像のヒストグラムに基づいて、前記ユーザまでの距離を計測する
ことを特徴とする請求項１に記載の映像端末装置。
【請求項８】
前記生成モード選択部は、相手側の映像端末装置の距離計測部にて計測された距離にも基づいて、前記生成モードを選択することを特徴とする請求項１ないし７のいずれか一項に記載の映像端末装置。
【請求項９】
請求項１ないし８のいずれか一項に記載の映像端末装置を２つ含み、
前記２つの映像端末装置が互いに通信可能に構成され、
前記２つの映像端末装置の各々は、相手側の映像端末装置から伝送された前記背景を除くユーザの画像及び前記背景を除く情報量を減らしたユーザの画像を表示する画像表示部を備えた
ことを特徴とする映像通信システム。
【請求項１０】
撮影により撮影画像を生成する画像生成ステップと、
前記撮影画像に現れているユーザまでの距離を計測する距離計測ステップと、
少なくとも前記距離計測ステップにて計測された距離に基づいて、背景を除くユーザの画像を生成する第１生成モードと、背景を除く情報量を減らしたユーザの画像を生成する第２生成モードとを含む伝送情報の生成モードからいずれかの生成モードを選択する生成モード選択ステップと、
前記生成モード選択ステップにて前記第１生成モードが選択された場合に、背景を除くユーザの画像を生成する背景除去画像生成ステップと、
前記生成モード選択ステップにて前記第２生成モードが選択された場合に、背景を除く情報量を減らしたユーザの画像を生成する情報量制限画像生成ステップと、
前記背景を除くユーザの画像を相手側の映像端末装置に伝送する画像伝送ステップと、
前記背景を除く情報量を減らしたユーザの画像を相手側の映像端末装置に伝送する情報量制限画像伝送ステップと、
を含むことを特徴とする映像通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を送受信する映像端末装置、映像通信システム、画像通信方法に関し、特に、プライバシーを保護しつつ常時接続状態で撮影画像を送受信する映像端末装置、映像通信システム、映像通信方法に関する。
【背景技術】
【０００２】
近年、ブローバンドネットワークの普及に伴い、インターネットを通じて常時接続された映像端末装置間で互いの撮影映像を送受信する映像通信システムが利用されるようになっている。この映像通信システムでは、映像端末装置には、カメラとディスプレイが備えられており、カメラで撮影した自分側の撮影映像を相手側に送信して、相手側のディスプレイでこれを表示し、また、カメラで撮影された相手側の撮影映像を自分側で受信して、自分側のディスプレイで表示する。また、映像に合わせて音声も通信する。
【０００３】
このような映像（及び音声、以下同じ。）の通信を常時接続で行なうことで、相手側の様子を映像でいつでも確認できるとともに、自分側の様子も相手に映像でいつでも確認させることが可能になる。このような映像通信システムの利用方法として、自分及び自分と親しい相手（例えば、別居している家族）のそれぞれの自宅の部屋に映像端末装置を設置して、常時接続で互いの映像を送受信することで、自分と相手とが、まるで同じ空間にいるかのようなコミュニケーションを実現するという利用方法がある。
【０００４】
上記のような常時接続による映像の通信においては、同じ空間にいるかのようなコミュニケーションを実現する一方で、互いのプライバシーを必要以上に侵害しないということに配慮する必要がある。特許文献１では、プライバシー保護に配慮して常時接続による映像の通信を行なう映像通信システムが提案されている。
【０００５】
特許文献１の映像通信システムでは、カメラとディスプレイを有する映像端末装置が、更に、映像端末装置からユーザまでの距離を計測する距離センサを備えている。そして、ユーザの双方が映像端末装置の近くにいる場合には、映像端末装置のディスプレイは相手の映像を鮮明に表示する。一方、自分及び相手の少なくともいずれか一方が映像端末装置の近くにいない場合には、映像端末装置は、相手の映像に対してぼかし処理をしたり、モザイク処理をしたりして、ディスプレイに表示する。これにより、相手の存在は確認できるが、必要以上に相手のプライバシーを侵害することを防いでいる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−９３７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の映像通信システムでは、一方側で撮影された映像は、そのまま他方側に伝達されて、プライバシー保護のための映像のぼかし処理やモザイク処理は、一方側の撮影映像を受信した他方側で行なっている。従って、常時接続による映像の通信の場合には、常に撮影映像がそのまま送信されることになり、通信リソースへの負担が大きくなる。
【０００８】
また、特許文献１の映像通信システムでは、映像全体をそのまま鮮明に表示して相手とのコミュニケーションをするか、映像全体にぼかし処理やモザイク処理を施してプライバシーを保護するかという切替えを行なっているが、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現する余地がある。
【０００９】
本発明は、上記の問題に鑑みてなされたものであり、コミュニケーションとプライバシー保護とを両立させながら常時接続で映像通信を行なう映像通信システムであって、通信リソースへの負担を軽減できる映像端末装置を提供することを目的とする。
【００１０】
本発明の更なる目的は、コミュニケーションとプライバシー保護とを両立させながら常時接続で映像通信を行なう映像通信システムであって、必要な画像情報を必要な程度に相手方に提供することで、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現できる映像通信端末装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記従来の課題を解決するために、本発明の映像端末装置は、撮影により撮影画像を生成する画像生成部と、前記撮影画像に現れているユーザまでの距離を計測する距離計測部と、少なくとも前記距離計測部にて計測された距離に基づいて、背景を除くユーザの画像を生成する第１生成モードと、背景を除く情報量を減らしたユーザの画像を生成する第２生成モードとを含む伝送情報の生成モードからいずれかの生成モードを選択する生成モード選択部と、前記生成モード選択部にて前記第１生成モードが選択された場合に、背景を除くユーザの画像を生成する背景除去画像生成部と、前記生成モード選択部にて前記第２生成モードが選択された場合に、背景を除く情報量を減らしたユーザの画像を生成する情報量制限画像生成部と、前記背景を除くユーザの画像を相手側の映像端末装置に伝送する画像伝送部と、前記背景を除く情報量を減らしたユーザの画像を相手側の映像端末装置に伝送する情報量制限画像伝送部を備えた構成を有している。
【００１２】
この構成により、プライバシーを保護するために背景が除かれた画像、更に情報量が減らされたユーザの画像が、伝送元である映像端末装置にて生成されて、伝送先の映像通信端末に伝送されるので、伝送される情報の量を抑えることができ、通信リソースへの負担を軽減できる。また、コミュニケーションをとるためにユーザの画像を伝送する場合にも、画像中のユーザ以外の部分、即ち背景部分の画像は伝送されないので、ユーザのプライバシーが保護され、必要な画像情報を必要な程度に相手方に提供することで、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現できる。
【００１３】
上記の映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備えていてよく、前記距離計測部は、背景を表す背景距離画像と前記距離画像との差分をとって差分距離画像を生成してよく、前記情報量制限画像生成部は、前記差分距離画像を用いて前記背景を除く情報量を減らしたユーザの画像を生成してよい。
【００１４】
この構成により、ユーザまでの距離のみを示す差分距離画像を用いるので、背景を除く情報量を減らしたユーザの画像を好適に生成できる。
【００１５】
上記の映像端末装置において、前記情報量制限画像生成部は、前記差分距離画像を２値化することで、前記情報量を減らしたユーザの画像として、背景を除くユーザの影画像を生成してよい。
【００１６】
この構成により、ユーザの影画像が生成されるので、伝送先のユーザは伝送元のユーザが存在していることを確認できるが、それ以上に伝送元のユーザのプライバシーは侵害されず、コミュニケーションとプライバシー保護とのバランスが図られる。
【００１７】
上記の映像端末装置において、前記距離計測部は、一定時間以上変化がない前記距離画像を前記背景距離画像としてよい。
【００１８】
この構成により、距離画像を用いて好適に背景距離画像を取得できる。
【００１９】
上記の映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備えていてよく、前記背景除去画像生成部は、前記距離画像に基づいて、指定された距離範囲以外をマスクする指定距離マスク画像を生成し、前記画像生成部にて生成された撮影画像に前記指定距離マスク画像を適用することで、前記背景を除くユーザの画像を生成してよい。
【００２０】
この構成により、背景を除くユーザの画像を用いて好適に背景を除くユーザの画像を生成できる。
【００２１】
上記の映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備えていてよく、前記距離計測部は、背景を表す背景距離画像と前記距離画像との差分をとって差分距離画像を生成して、前記差分距離画像のヒストグラムに基づいて、前記ユーザまでの距離を計測してよい。
【００２２】
この構成により、背景距離画像とユーザが映っている視差画像から生成された距離画像との差分をとることで、ユーザまでの距離を好適に計測できる。
【００２３】
上記の映像端末装置は、画像に映っている被写体までの距離を規定した距離画像を生成する距離画像生成部を備えていてよく、前記距離計測部は、前記距離画像のヒストグラムに基づいて、前記ユーザまでの距離を計測してよい。
【００２４】
この構成により、距離画像を用いて好適にユーザまでの距離を計測できる。
【００２５】
上記の映像端末装置において、前記生成モード選択部は、相手側の映像端末装置の距離計測部にて計測された距離にも基づいて、前記生成モードを選択してよい。
【００２６】
この構成により、自分側の映像端末装置からユーザまでの距離と相手側の映像端末装置からユーザまでの距離とに基づいて、必要なコミュニケーションをとりつつプライバシーも保護する適切な生成モードを選択できる。
【００２７】
本発明の映像通信システムは、上記の映像通信端末を２つ含み、前記２つの映像端末装置が互いに通信可能に構成され、前記２つの映像端末装置の各々は、相手側の映像端末装置から伝送された前記背景を除くユーザの画像及び前記背景を除く情報量を減らしたユーザの画像を表示する画像表示部を備えた構成を有している。
【００２８】
この構成により、プライバシーを保護するために背景が除かれた画像、更に情報量が減らされたユーザの画像が、伝送元である映像端末装置にて生成されて、伝送先の映像通信端末に伝送されるので、伝送される情報の量を抑えることができ、通信リソースへの負担を軽減できる。また、コミュニケーションをとるためにユーザの画像を伝送する場合にも、画像中のユーザ以外の部分、即ち背景部分の画像は伝送されないので、ユーザのプライバシーが保護され、必要な画像情報を必要な程度に相手方に提供することで、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現できる。
【００２９】
本発明の映像通信方法は、撮影により撮影画像を生成する画像生成ステップと、前記撮影画像に現れているユーザまでの距離を計測する距離計測ステップと、少なくとも前記距離計測ステップにて計測された距離に基づいて、背景を除くユーザの画像を生成する第１生成モードと、背景を除く情報量を減らしたユーザの画像を生成する第２生成モードとを含む伝送情報の生成モードからいずれかの生成モードを選択する生成モード選択ステップと、前記生成モード選択ステップにて前記第１生成モードが選択された場合に、背景を除くユーザの画像を生成する背景除去画像生成ステップと、前記生成モード選択ステップにて前記第２生成モードが選択された場合に、背景を除く情報量を減らしたユーザの画像を生成する情報量制限画像生成ステップと、前記背景を除くユーザの画像を相手側の映像端末装置に伝送する画像伝送ステップと、前記背景を除く情報量を減らしたユーザの画像を相手側の映像端末装置に伝送する画像伝送部と画像伝送ステップとを備えた構成を有している。
【００３０】
この構成によっても、プライバシーを保護するために背景が除かれた画像、更に情報量が減らされたユーザの画像が、伝送元である映像端末装置にて生成されて、伝送先の映像通信端末に伝送されるので、伝送される情報の量を抑えることができ、通信リソースへの負担を軽減できる。また、コミュニケーションをとるためにユーザの画像を伝送する場合にも、画像中のユーザ以外の部分、即ち背景部分の画像は伝送されないので、ユーザのプライバシーが保護され、必要な画像情報を必要な程度に相手方に提供することで、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現できる。
【発明の効果】
【００３１】
本発明は、コミュニケーションとプライバシー保護とを両立させながら常時接続で画像通信を行なう際に、通信リソースへの負担を軽減でき、かつ、必要な画像情報を必要な程度に相手方に提供することで、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現できる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態における映像端末装置の構成を示すブロック図
【図２】本発明の実施の形態における映像端末装置の外観図
【図３】本発明の実施の形態における映像通信システムの構成図
【図４】本発明の実施の形態における映像端末装置に対して設定されるゾーン及びユーザから映像端末装置までの距離を説明する図
【図５】本発明の実施の形態におけるユーザが所属するゾーンと相手側の映像端末装置で表示される映像との関係の一例を示す表
【図６】本発明の実施の形態におけるユーザが所属するゾーンと相手側の映像端末装置で表示される映像との関係の他の例を示す表
【図７】本発明の実施の形態における影画像生成の処理フローを実行するための映像端末装置の構成を示すブロック図
【図８】本発明の実施の形態におけるカメラと被写体との関係の例を示す図
【図９】（ａ）本発明の実施の形態におけるカメラ（左）の撮影画像を示す図  （ｂ）本発明の実施の形態におけるカメラ（右）の撮影画像を示す図  （ｃ）本発明の実施の形態における距離画像を示す図
【図１０】（ａ）本発明の実施の形態におけるユーザがカメラの前に現れた場合のカメラ（左）の撮影画像を示す図  （ｂ）本発明の実施の形態におけるユーザがカメラの前に現れた場合のカメラ（右）の撮影画像を示す図  （ｃ）本発明の実施の形態におけるユーザがカメラの前に現れた場合の距離画像を示す図
【図１１】（ａ）本発明の実施の形態における背景距離画像を示す図  （ｂ）本発明の実施の形態における距離画像を示す図  （ｃ）本発明の実施の形態における差分距離画像を示す図
【図１２】本発明の実施の形態における２値化された差分距離画像を示す図
【図１３】（ａ）本発明の実施の形態におけるノイズが加わった２値化差分距離画像を示す図  （ｂ）本発明の実施の形態における収縮処理が行なわれた２値化差分距離画像を示す図  （ｃ）本発明の実施の形態における膨張処理が行なわれた２値化差分距離画像を示す図
【図１４】本発明の実施の形態におけるぼかし拡大画像を示す図
【図１５】本発明の実施の形態における背景除去画像生成の処理フローを実行するための映像端末装置の構成を示すブロック図
【図１６】（ａ）本発明の実施の形態におけるカメラ（左）の撮影画像を示す図  （ｂ）本発明の実施の形態における指定距離マスク画像を示す図  （ｃ）本発明の実施の形態における背景除去画像を示す図
【図１７】本発明の実施の形態における距離計測の処理フローを実行するための映像端末装置の構成を示すブロック図
【図１８】本発明の実施の形態における差分距離画像のヒストグラムを示す図
【図１９】本発明の実施の形態における物体距離の算出の変形例を説明するための差分距離画像のヒストグラムを示す図
【図２０】本発明の実施の形態における物体距離の算出の別の変形例を説明するための差分距離画像のヒストグラムを示す図
【発明を実施するための形態】
【００３３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。なお、本明細書において、「映像」という用語は、主に動画像を示すものとして用いられ、「画像」という用語は、主に映像の１フレームを構成する要素である静止画像を意味するものとして用いられる。即ち、連続するフレームの画像を生成し、伝送し、表示することは、映像を生成し、伝送し、表示することに等しい。映像がフレーム間圧縮方式を含む任意の圧縮方式によって圧縮された場合にも、その１フレームを「画像」という。
【００３４】
図２は、映像端末装置１００の外観図である。図２に示すように、映像端末装置１００は、ステレオカメラ１０１、液晶表示パネル１０２、左右のスピーカ１０３、及び左右のマイク１０４を備えている。ステレオカメラ１０１は、左右に一定の距離だけ離れた二つのカメラが一体となって構成されている。液晶表示パネル１０２は、タッチパネルであってもよい。
【００３５】
図２の例では、ステレオカメラ１０１は、液晶表示パネル１０２の上側中央に配置されており、スピーカ１０３は、液晶表示パネル１０２の左右に配置されており、マイク１０４は、液晶表示パネル１０２の右下及び左下に配置されているが、これらの配置に限られない。また、ステレオカメラ１０１、マイク１０３やスピーカ１０４は、液晶表示パネル１０２とは別体として設けられてもよい。ステレオカメラ１０１、スピーカ１０３、及びマイク１０４は、ユーザが液晶表示パネルに顔を近づけたとき（液晶表示パネルを覗き込んでいるとき）に、顔がステレオカメラ１０１に近づき、耳がスピーカ１０３に近づき、口がマイク１０４に近づくように配置されることが望ましい。
【００３６】
図３は、映像通信システムの構成図である。図３に示すように、２つの映像端末装置１００Ａ、１００Ｂがそれぞれインターネットを介してサーバ９００に接続されることで、映像通信システム１０００が構成される。映像端末装置１００Ａと映像端末装置１００Ｂは、同じ構成であってよい。
【００３７】
次に、本実施の形態の映像通信システムにおける、ユーザの映像端末装置までの距離に応じた伝送情報の生成モードについて説明する。図４は、映像端末装置に対して設定されるゾーンと、ユーザから映像端末装置までの距離を説明する図である。
【００３８】
図４は、Ａ側とＢ側とで本実施の形態の映像通信システムを用いて映像通信を行なう場合を示している。Ａ側及びＢ側とも同様のゾーンが設定されるので、以下では、Ａ側について説明する。Ａ側には、映像端末装置１００Ａを中心として扇形にゾーンが設定される。映像端末装置１００Ａから距離ｒ１（例えば、８０ｃｍ）以内の扇形のゾーンは、コミュニケーションゾーンＣＺであり、その外側の映像端末装置１００Ａから距離ｒ１より遠くｒ２（例えば３００ｃｍ）以内のゾーンは、プライバシーゾーンＰＺであり、コミュニケーションゾーンＣＺ及びプライバシーゾーンＰＺの外側は、ノーアクセスゾーンＮＺである。扇形の中心角は、ステレオカメラ１００の視野角に対応しており、例えば６２度である。
【００３９】
映像端末装置１００Ａは、ユーザまでの距離をｘとして、ｘ≦ｒ１のときは、コミュニケーションゾーンＣＺに属すると判断し、ｒ１＜ｘ≦ｒ２のときは、プライバシーゾーンＰＺに属すると判断し、ｘ＜ｒ２のときは、ノーアクセスゾーンＮＺに属すると判断する。コミュニケーションゾーンＣＺは、情報量の多いコミュニケーションを実現するためのゾーンであり、プライバシーゾーンＰＺは、情報量を制限することでプライバシーに配慮したコミュニケーション（以下、「ゆるいコミュニケーション」とも表現する）を実現するためのゾーンであり、ノーアクセスゾーンは、情報量を更に制限するためのゾーンである。
【００４０】
図５は、ユーザが所属するゾーンと相手側の映像端末装置で表示される映像との関係の一例を示す表である。本実施の形態の映像通信システムでは、映像端末装置は、相手側の映像端末装置から伝送されてきた映像データをそのまま表示し、プライバシー保護のために映像を制限する措置は、映像を伝送する側で行なうので、図５に示す、ユーザが所属するゾーンと相手側の映像端末装置で表示される映像との関係は、即ち、ユーザが所属するゾーンと相手側の映像端末装置に伝送する情報との関係である。相手側の映像端末装置に伝送する伝送情報のタイプは、伝送元の映像端末装置における伝送情報の生成モードを変更することで変更される。
【００４１】
パターン１は、Ａ側及びＢ側ともユーザがコミュニケーションゾーンＣＺにいる場合である。これは、Ａ側ユーザ及びＢ側ユーザがともに映像端末装置に近づいており、互いに積極的にコミュニケーションをとろうとしている状況である。この場合には、Ａ側の映像端末装置１００ＡにはＢ側の映像端末装置１００Ｂで撮影されたＢ側ユーザの画像が伝送され、Ａ側の映像端末装置１００ＡではＢ側ユーザがはっきりと見えるように表示され、Ｂ側の映像端末装置１００ＢにはＡ側の映像端末装置１００Ａで撮影されたＡ側ユーザの画像が伝送され、Ｂ側の映像端末装置１００ＢではＡ側ユーザがはっきりと見えるように表示される。
【００４２】
但し、このようにＡ側ユーザとＢ側ユーザとが積極的にコミュニケーションをとろうとしている場合にも、互いの背景の映像までも相手側に送信して相手側でこれを表示する必要はない。そこで、本実施の形態の映像通信システムでは、Ａ側ユーザ及びＢ側ユーザがともにコミュニケーションゾーンＣＺにいる場合にも、互いの背景画像は除去した上で、Ａ側ユーザの画像及びＢ側ユーザの画像が相手に伝送される。これにより、Ａ側ユーザ及びＢ側ユーザの互いのプライバシーが保護される。
【００４３】
パターン２は、Ａ側ユーザ及びＢ側ユーザがともにプライバシーゾーンＰＺにいる場合である。これは、Ａ側ユーザ及びＢ側ユーザが互いに、ゆるいコミュニケーションをとろうとしている、若しくは相手側のゆるいコミュニケーションを許容している状況である。この場合には、Ａ側の映像端末装置１００Ａには、Ｂ側の映像端末装置１００Ｂで生成されたＢ側ユーザの影画像が伝送され、Ｂ側の映像端末装置１００Ｂにも、Ａ側の映像端末装置１００Ａで生成されたＡ側ユーザの影画像が伝送される。そして、この場合にも、互いの背景は除去した上で、Ａ側ユーザの影画像及びＢ側ユーザの影画像が相手に伝送される。これにより、Ａ側の映像端末装置１００ＡではＢ側ユーザの影のみが見えるように表示され、Ｂ側の映像端末装置１００ＢでもＡ側ユーザの影のみが見えるように表示される。
【００４４】
パターン３は、Ａ側ユーザ及びＢ側ユーザがともにノーアクセスゾーンＮＺにいる場合である。これは、Ａ側ユーザ及びＢ側ユーザが互いに、コミュニケーションをとる意思がない、若しくは相手側のコミュニケーションを許容しない状況である。この場合には、Ａ側の映像端末装置１００Ａには、Ｂ側ユーザの画像も影画像も背景画像も伝送されず、Ｂ側の映像端末装置１００Ｂにも、Ａ側ユーザの画像も影画像も背景画像も伝送されない。この結果、Ａ側の映像端末装置１００Ａ及びＢ側の映像端末装置１００Ｂには何も表示されない。
【００４５】
パターン４は、Ａ側ユーザがコミュニケーションゾーンＣＺにおり、Ｂ側ユーザがプライバシーゾーンＰＺにいる場合である。これは、Ａ側ユーザがＢ側ユーザに積極的にコミュニケーションをとろうとしており、Ｂ側ユーザは積極的にコミュニケーションをとる意思はないがゆるいコミュニケーションを許容している状況である。この場合には、Ａ側の映像端末装置１００Ａには、Ｂ側の映像端末装置１００Ｂで生成された背景を除くＢ側ユーザの影画像が伝送されて、Ａ側の映像端末装置１００Ａには背景が除去されたＢ側ユーザの影のみが表示される。また、Ｂ側の映像端末装置１００Ｂには、Ａ側の映像端末装置１００Ａで撮影された背景を除くＡ側ユーザの画像が伝送され、Ｂ側の映像端末装置１００Ｂでは背景が除去されてＡ側ユーザがはっきりと見えるように表示される。
【００４６】
パターン５は、Ａ側ユーザがプライバシーゾーンＰＺにおり、Ｂ側ユーザがノーアクセスゾーンＮＺにいる場合である。これは、Ａ側ユーザがＢ側ユーザにゆるいコミュニケーションを許容しており、Ｂ側ユーザはＡ側ユーザとコミュニケーションをとる意思はない状況である。この場合には、Ａ側の映像端末装置１００Ａには、Ｂ側ユーザの画像も影画像も背景画像も伝送されず、Ａ側の映像端末装置１００Ａには何も表示されない。また、Ｂ側の映像端末装置１００Ｂには、Ａ側の映像端末装置１００Ａで生成された背景を除くＡ側ユーザの影画像が伝送され、Ｂ側の映像端末装置１００Ｂでは背景が除去されてＡ側ユーザの影が見えるように表示される。
【００４７】
パターン６は、Ａ側ユーザがコミュニケーションゾーンＣＺにおり、Ｂ側ユーザがノーアクセスゾーンＮＺにいる場合である。これは、Ａ側ユーザが映像端末装置に近づいており、積極的にコミュニケーションをとろうとしているが、Ｂ側ユーザはＡ側ユーザとコミュニケーションをとる意思はない状況である。この場合には、Ａ側の映像端末装置１００Ａには、Ｂ側ユーザの画像も影画像も背景画像も伝送されず、Ａ側の映像端末装置１００Ａには何も表示されない。また、Ｂ側の映像端末装置１００Ｂには、Ａ側の映像端末装置１００Ａで撮影された背景を除くＡ側ユーザの画像が伝送され、Ｂ側の映像端末装置１００Ｂでは背景が除去されてＡ側ユーザがはっきりと見えるように表示される。
【００４８】
なお、パターン４〜６において、Ａ側とＢ側の状況が入れ替わった場合には、上記で説明したＡ側の映像端末装置１００Ａ及びＢ側の映像端末装置１００Ｂに伝送されて表示される情報も入れ替わる。即ち、図５の例では、Ａ側とＢ側とは同等の立場にあり、Ａ側とＢ側とが相手方との関係で、同一の状況にある場合には、互いに同一の情報伝送及び表示を行なう。
【００４９】
図６は、ユーザが所属するゾーンと相手側の映像端末装置で表示される映像との関係の他の例を示す表である。上述のように、図５の例では、Ａ側とＢ側とが同等の立場にあったが、図６の例では、Ａ側が監視側となり、Ｂ側が被監視側となって、Ａ側からＢ側を監視する。図６の例は、例えば、子が監視側となり、高齢の親が被監視側となり、高齢の親が倒れたりしていないかを子が監視するという用途に用いることができる。
【００５０】
図６の例の場合には、監視側であるＡ側の映像端末装置１００Ａには、Ａ側ユーザ（自分）がどのゾーンにいるかに関らず、また、Ｂ側ユーザがどのゾーンにいるかにも関らず、常に、Ｂ側の背景を含む撮影画像が伝送されて、Ａ側の映像端末装置１００Ａでは、Ｂ側の映像端末装置１００Ｂにて撮影された画像がそのまま表示される。一方、被監視側であるＢ側の映像端末装置１００Ｂには、Ｂ側ユーザがどのゾーンにいるかに応じて異なる情報が、Ａ側の映像端末装置１００Ａから伝送される。
【００５１】
パターン１は、Ｂ側ユーザがコミュニケーションゾーンＣＺにいる場合である。この場合には、被監視側であるＢ側の映像端末装置１００Ｂには、監視側であるＡ側の映像端末装置１００Ａで生成された背景を除くＡ側ユーザの画像が伝送されて、Ｂ側の映像端末装置１００Ｂでは背景が除去されてＡ側ユーザがはっきりと見えるように表示される。
【００５２】
パターン２は、Ｂ側ユーザがプライバシーゾーンＰＺにいる場合である。この場合には、被監視側であるＢ側の映像端末装置１００Ｂには、監視側であるＡ側の映像端末装置１００Ａで生成された背景を除くＡ側ユーザの影画像が伝送されて、Ｂ側の映像端末装置１００Ｂでは背景が除去されてＡ側ユーザの影のみが表示される。
【００５３】
パターン３は、Ｂ側ユーザがノーアクセスゾーンＮＺにいる場合である。この場合には、被監視側であるＢ側の映像端末装置１００ＢにはＡ側ユーザの画像も影も背景も伝送されず、Ｂ側の映像端末装置１００Ｂでは何も表示されない。
【００５４】
以上、ユーザが所属するゾーンと映像端末装置のディスプレイに表示される画像との関係の２つの例を図５及び図６を用いて説明したが、ユーザが所属するゾーンと映像端末装置のディスプレイに表示される映像との関係は、これら以外の関係であってもよい。映像端末装置に複数通りの関係が準備されており、映像端末装置において通りの関係の中から１つを選択できるように構成されていてもよい。また、ユーザが所属するゾーンと映像端末装置のディスプレイに表示される映像との関係の変更をサーバ９００（図３参照）が管理してもよい。
【００５５】
また、図５及び図６の例から、相手側の映像端末装置に伝送する情報のタイプ、即ち伝送情報の生成モードには、背景を除くユーザの画像を生成する第１生成モードと、背景を除くユーザの影画像を生成する第２生成モードと、背景を含めた撮影画像を伝送する（撮影画像を加工しないでそのまま伝送情報とする）第３生成モードと、一切の画像を伝送しない（伝送情報を生成しない）第４生成モードが含まれる。
【００５６】
以下、上記で説明した映像通信システムを実現するための映像端末装置の具体的な構成を説明する。上記で説明した映像端末装置１００Ａ及び映像端末装置１００Ｂは、同一の構成を備えているので、以下では、これを映像端末装置１００として説明する。
【００５７】
図１は、本発明の実施の形態の映像端末装置１００の構成を示すブロック図である。映像端末装置１００は、自分側の画像を相手側に送信するための構成として、画像生成部１１、距離画像生成部１２、距離計測部１３、生成モード選択部１４、影画像生成部１５、背景除去画像生成部１６、距離伝送部１７、影画像伝送部１８、画像伝送部１９、及び距離受信部２０を備えている。また、相手側の画像を表示するための構成として、画像受信部２１、影画像受信部２２、影画像合成部２３、画像表示部２４を備えている。
【００５８】
画像生成部１１は、図２のステレオカメラ１０１に対応しており、所定の距離だけ離されて視差画像を生成する２つのカメラを備えている。距離画像生成部１２は、画像生成部１１の２つのカメラからそれぞれ画像を入力して、被写体までの距離を画素ごとに示す距離画像を生成する。距離計測部１３は、距離画像生成部１２にて生成された距離画像を用いて、背景を除いた物体（ユーザ）までの距離を画素ごとに示す差分距離画像を生成する。距離計測部１３は、また、物体（ユーザ）までの距離を算出する。
【００５９】
生成モード選択部１４は、相手側の映像端末装置に伝送する情報の生成モードを選択する。上述のように、生成モードには、第１ないし第４の生成モードがある。生成モード選択部１４は、距離計測部１３で算出された距離に基づいて生成モードを選択する。影画像生成部１５は、生成モード選択部１４にて背景を除くユーザの影画像を生成する第２生成モードが選択されたときに、距離計測部１３にて生成された差分距離画像に基づいて、影画像を生成する。背景除去画像生成部１６は、生成モード選択部１４にて背景を除くユーザの画像を生成する第１生成モードが選択されたときに、画像生成部１１から入力した撮影画像から背景を除去した背景除去画像を生成する。
【００６０】
距離伝送部１７は、距離計測部１３で算出された距離を相手側の映像端末装置に伝送する。影画像伝送部１８は、影画像生成部１５で生成された影画像を相手側の映像端末装置に伝送する。画像伝送部１９は、背景除去画像生成部１６で生成された背景除去画像を相手側の映像端末装置に伝送する。なお、画像伝送部１９は、生成モード選択部１４に背景を含めた撮影画像を伝送する（撮影画像を加工しないでそのまま伝送情報とする）第３生成モードが用意されており、その第３生成モードが選択された場合には、画像生成部１１で生成された撮影画像をそのまま相手側の映像端末装置に伝送する。
【００６１】
距離受信部２０は、相手側の映像端末装置の距離伝送部１７から伝送されてきた距離を受信する。図５及び図６で説明したとおり、生成モード選択部１４では、自分側の距離のみでなく、相手側の映像端末装置からユーザまでの距離にも基づいて生成モードを選択するので、相手側の距離伝送部１７から伝送されてきた距離は、生成モード選択部１４に入力される。
【００６２】
画像受信部２１は、相手側の映像端末装置から伝送されてきた背景除去画像を受信する。画像受信部２１は、相手側の映像端末装置から未加工の画像が伝送されてきたときは、これも受信する。影画像受信部２２は、相手側の映像端末装置から伝送されてきた影画像を受信する。影画像合成部２３は、影画像受信部２２にて受信した影画像に内挿補完をしながら拡大する処理を施すことで、影画像にぼかし効果を与える。画像表示部２４は、画像受信部２１で受信した背景除去画像又は未加工の撮影画像、及び影画像合成部２３で処理された影画像を表示する。
【００６３】
以下、上記の映像端末装置１００を用いた具体的な処理について説明する。
【００６４】
（影画像生成の処理フロー）
図７は、影画像生成の処理フローを実行するための映像端末装置１００の構成を示すブロック図である。図７を参照して、伝送側の映像端末装置で影画像を生成して、受信側の映像端末装置で影画像を表示する処理を説明する。
【００６５】
画像生成部１１は、左右に並んで配置されたカメラ（右）１１１とカメラ（左）１１２とを備え、この構成により、視差画像を生成する。距離画像生成部１２には、カメラ（右）１１１及びカメラ（左）１１２にそれぞれ対応する縮小部１２１及び縮小部１２２が備えられている。カメラ（右）１１１及びカメラ（左）１１２では、撮影によって８００×６００画素の画像が生成され、それぞれ距離画像生成部１２の縮小部１２１及び縮小部１２２にて８０×６０画素のサイズに縮小される。これらの縮小された視差画像は、距離画像生成部１２３に入力され、距離画像生成部１２３では、ステレオ測距法により、距離画像を生成する。
【００６６】
図８は、カメラと被写体との関係の例を示す図であり、図９は、図８の場合における撮影画像及び距離画像を示している。図９（ａ）はカメラ（左）１１２の撮影画像であり、図９（ｂ）はカメラ（右）１１１の撮影画像であり、図９（ｃ）は図９（ａ）及び図９（ｂ）の撮影画像から生成される距離画像である。距離画像とは、画素ごとに、その画像に映っている被写体までの距離を規定した画像である。即ち、距離画像の画素値は、当該画素に映っている被写体までの距離を表している。模様がない領域（図８、図９の例での床の領域）については、ステレオ測距法では、測距できないので、その画素に映っている被写体までの距離は不明であるとして、距離画像の画素値は０となる。
【００６７】
図８に示すように、テーブルがカメラから３〜４ｍの位置にあり、テレビがカメラから６ｍの位置にある場合には、図９（ｃ）に示すように、距離画像上のテーブルが映っている領域の画素値は、３ないし４となり、距離画像上のテレビが映っている領域の画素値は６になる。
【００６８】
図７に戻って、距離画像生成部１２にて上述のようにして距離画像が生成されると、生成された距離画像は距離計測部１３に入力される。距離画像計測部１３は、背景更新部１３１と、背景距離画像データベース１３２と、差分距離画像生成部１３３を備えている。背景更新部１３１は、距離画像に一定時間以上大きな変化がなければ、その距離画像を背景距離画像として更新し、背景距離画像データベース１３２に保存する。
【００６９】
図１０は、図９の例において、ユーザがカメラの前（カメラから１ｍの距離）に現れて、撮影画像に人の顔が映った場合の視差画像及び距離画像を示す図である。図１０（ａ）はカメラ（左）１１２の撮影画像であり、図１０（ｂ）はカメラ（右）１１１の撮影画像であり、図１０（ｃ）は、これらの撮影画像（視差画像）から生成された距離画像を示している。背景画像更新部１３１は、距離画像生成部１２３から図１０（ｃ）に示す距離画像が入力されると、それを差分距離画像生成部１３３に渡す。なお、本実施の形態では、２台のカメラの画像からステレオ測距法により、距離画像を生成しているが、１台のカメラと距離センサとを用いて距離画像を生成してもよい。
【００７０】
図１１は、差分距離画像生成部１３３における差分距離画像の生成を説明するための図である。図１１（ａ）は、背景距離画像データベース１３２に保存された背景距離画像であり、図１１（ｂ）は、距離画像生成部１２３から背景距離画像更新部１３１を経て入力された距離画像であり、図１１（ｃ）は、差分距離画像生成部１３３で生成される差分距離画像である。
【００７１】
差分距離画像生成部１３３は、背景距離画像データベース１３２に保存された背景距離画像（図１１（ａ））と入力された距離画像（図１１（ｂ））との差分をとって、これを差分距離画像（図１１（ｃ））として出力する。図１１（ｃ）に示すように、差分距離画像は、背景領域を除くユーザが映っている領域のみの距離を示す距離画像である。差分距離画像を参照することで、ユーザまでの距離が分かる。
【００７２】
影画像生成部１５は、この差分距離画像を用いて影画像を生成する。影画像生成部１５は、２値化部１５１と、収縮部１５２と、膨張部１５３と、ブレンド部１５４とを備えている。２値化部１５１は、生成モード選択部１４から入力した、ゾーンを定義するための距離の情報（距離ｒ１、距離ｒ２）を閾値として用いて、差分距離画像を２値化する。図１２は、２値化された差分距離画像を示す図である。２値化部１５１は、影画像を生成すべき距離範囲内（図５の例の場合の映像端末装置１００Ａ及び映像端末装置１００Ｂ及び図６の場合の映像端末装置１００Ａでは、ｒ１より遠くｒ２以内）にある差分距離画像の画素の画素値を１とし、それ以外の差分距離画像の画素の画素値を０とする。実際には、影画像を生成する第２生成モードが選択される場合には、差分距離画像に距離がｒ１以内の画素がないことが前提とされる場合には、差分距離画像の画素の画素値がｒ２以下であるときに、その画素値を１とし、それ以外の画素については画素値を０とすればよい。
【００７３】
なお、本実施の形態の２値化部１５１は、生成モード選択部１４で生成モードの選択において閾値として用いられる距離、即ちゾーンを定義する距離（ｒ１及びｒ２）を閾値として２値化を行なったが、生成モードを選択するための閾値と、２値化部１５１にて２値化を行うための閾値とは必ずしも一致していなくてもよい。この場合には、２値化部１５１には、生成モードの選択に用いられる閾値とは独立した別個の閾値が設定される。
【００７４】
これまで説明したように、撮影画像から距離画像が生成され、距離画像に基づいて、差分距離画像が生成され、それが２値化されるが、いずれかの画像生成の段階で画像にノイズが加わることがある。そこで、本実施の形態の影画像生成部１５では、このノイズを除去する処理を行う。図１３（ａ）は、ノイズが加わった２値化差分距離画像である。ノイズにより画素値が１となっている画素は太枠で示している。図１３（ａ）の例では、ユーザの顔でない部分に、２値化の結果１とされた画素（ノイズにより画素値が１となっている画素）が点在している。
【００７５】
収縮部１５２は、この２値化差分距離画像に対して、画素値が１である画素を注目画素として、各注目画像について、その周囲の８画素に画素値が０である画素が３画素以上あれば、注目画素を０に置き換える処理を行う。図１３（ｂ）は、収縮部１５２にて画素値の置き換えが行なわれた２値化差分距離画像を示す図である。０に置き換えられた画素は、太枠で示されている。
【００７６】
膨張部１５３は、収縮された画像に対して、画素値が０である画素を注目画素として、各注目画像について、その周囲の８画素の画素値が１である画素が３画素以上あれば、注目画素を１に置き換える処理を行う。図１３（ｃ）は、膨張部１５３にて画素値の置き換えが行なわれた２値化差分距離画像を示す図である。図１３（ｃ）において、図１３（ａ）の１が０に置き換えられた画素は、太枠で示されている。以上の収縮及び膨張の処理により、ノイズが除去される。
【００７７】
ブレンド部１５４は、影画像を表示した際のフリッカーを防止するために、現フレームの影画像と過去のフレームの影画像とのアルファ合成を行なう。合成比は、現フレーム：過去フレーム＝１：９とする。影画像生成部１５は、以上のようにして生成された２値化差分距離画像を影画像として出力する。影画像伝送部１８は、影画像生成部１５にて生成された影画像を相手側の映像端末装置に伝送する。
【００７８】
相手側の映像端末装置は、影画像受信部２２にて影画像を受信する。影画像合成部２３は、影画像受信部２２にて受信した影画像に対して、ぼかし拡大の処理を行う。影画像合成部２３は、具体的には、影画像のおける画素値０を画素値２５５に置き換え、画素値１を画素値０に置き換えて、ハイキュービックフィルタを適用して、拡大処理を施す。図１４は、このようにして生成されたぼかし拡大画像を示す図である。図１４に示すように、ぼかし拡大画像では、顔の存在は確認できるが、２値化処理によって表情等の具体的な内容が不明になっているほか、ぼかし拡大処理によってその外形も不鮮明になっている。
【００７９】
（背景除去画像生成の処理フロー）
図１５は、背景除去画像生成の処理フローを実行するための映像端末装置１００の構成を示すブロック図である。図１５を参照して、背景除去画像を生成する処理を説明する。
【００８０】
画像生成部１１及び距離画像生成部１２による処理は、上述した通りである。背景除去画像生成部１６は、指定距離マスク画像生成部１６１と、ブレンド部１６２と、ぼかし拡大部１６３と、背景除去部１６４とを備えている。指定距離マスク画像生成部１６１は、生成モード選択部１４から入力した、ゾーンを定義するための距離の情報（距離ｒ１）を閾値として用いて、指定距離マスク画像を生成する。指定距離マスク画像生成部１６１は、具体的には、距離画像生成部１５から入力した距離画像の各画素において、画素値が距離ｒ１より小さい画素の画素値を１とし、画素値が距離ｒ１以上である画素の画素値を０とする指定距離マスク画像を生成する。図１６（ｂ）はこのようにして生成された指定距離マスク画像を示す図である。
【００８１】
なお、本実施の形態の指定距離マスク画像生成部１６１は、生成モード選択部１４で生成モードの選択において閾値として用いられる距離、即ちゾーンを定義する距離を閾値として指定距離マスク画像を生成したが、生成モードを選択するための閾値と、指定距離マスク画像生成部１６１にて指定距離マスク画像を生成するための閾値とは必ずしも一致していなくてもよい。この場合には、指定距離マスク画像生成部１６１には、生成モードの選択に用いられる閾値とは独立した別個の閾値が設定される。
【００８２】
ブレンド部１６２は、背景除去画像を表示した際のフリッカーを防止するために、指定距離マスク画像生成部１６１にて生成した現フレームの指定距離マスク画像と過去のフレームの指定距離マスク画像とのアルファ合成を行なう。合成比は、現フレーム：過去フレーム＝１：９とする。
【００８３】
ぼかし拡大部１６３は、ブレンド部１６２にて合成された指定距離マスク画像に対して、画素値０を画素値２５５に置き換え、画素値１を画素値０に置き換えて、ハイキュービックフィルタを適用して、拡大処理を施す。このようにして加工された指定距離マスク画像は背景除去部１６４に出力される。
【００８４】
背景除去部１６４は、画像生成部１１のいずれかのカメラ（本実施の形態では、カメラ（左）１１２）の撮影画像と上記のようにして生成され加工された指定距離マスク画像を入力して、撮影画像に指定距離マスク画像を適用することでマスク処理を行い、背景除去画像を生成する。図１６（ａ）は、カメラ（左）１１２から入力された撮影画像を示す図であり、図１６（ｃ）は、図１６（ａ）の撮影画像に対して図１６（ｂ）の指定距離マスク画像でマスク処理を行って得られる背景除去画像を示す図である。背景除去画像生成部１６にて生成された背景除去画像は、画像伝送部１９より相手側の映像端末装置に伝送される。
【００８５】
（距離計測の動作フロー）
図１７は、距離計測の処理フローを実行するための映像端末装置１００の構成を示すブロック図である。図１７を参照して、ステレオカメラ１０１からユーザまでの距離を計測する処理を説明する。
【００８６】
画像生成部１１及び距離画像生成部１２における処理は、上記で説明した通りである。距離計測部１３が差分距離画像を生成する処理も上記で説明した通りである。距離計測部１３は、更に、距離計測のために、ヒストグラム生成部１３４と、物体距離算出部１３５を備えている。
【００８７】
ヒストグラム生成部１３４は、差分距離画像生成部１３４にて生成された差分距離画像を一定の距離ごとにビンに分けてヒストグラムを生成する。図１８は、差分距離画像を５０ｃｍごとにビンに分けて生成したヒストグラムを示す図である。物体距離算出部１３５は、ヒストグラム生成部１３４で生成されたヒストグラムにおいて、最も値の大きいビンを選択して、そのビンの中央値をその差分距離画像に現れている物体（ユーザ）の距離として算出する。
【００８８】
物体距離算出部１３５で算出された物体距離は、生成モード選択部１４に出力され、生成モードの選択に用いられる。また、物体距離算出部１３５で算出された物体距離は、距離伝送部１７から相手側の映像端末装置に伝送されて、相手側の映像端末装置にて生成モードの選択に用いられる。
【００８９】
図１９は、物体距離算出部１３５における物体距離の算出の変形例を説明するための図である。この変形例では、物体距離算出部１３５は、ヒストグラム生成部１３４にて生成されたヒストグラムにおいて、所定の閾値よりも大きい値を有するビンのうちの最も距離の近いビンを選択して、そのビンの中央値をその差分距離画像に現れている物体（ユーザ）の距離として算出する。図１９の例では、閾値よりも大きい値を有するビン１、ビン２、ビン３のうちの最も距離の近いビン１が選択されて、その中央値０．２５ｃｍが物体距離として算出される。
【００９０】
図２０は、物体距離算出部１３５における物体距離の算出の別の変形例を説明するための図である。上記で説明した実施の形態では、ヒストグラム生成部１３４が差分距離画像生成部１３３で生成された差分距離画像を入力して（図１７参照）、差分距離画像のヒストグラムを生成したが、この変形例では、ヒストグラム生成部１３４は、距離画像生成部１２３で生成された距離画像を入力して、この距離画像のヒストグラムを生成する。この場合は、背景が除去されていないので、図２０に示すように、背景部分を含むヒストグラムが生成される。
【００９１】
この変形例の場合には、上記の変形例と同様に、ヒストグラム生成部１３４にて生成されたヒストグラムにおいて、所定の閾値よりも大きい値を有するビンのうちの最も距離の近いビンを選択して、そのビンの中央値をその差分距離画像に現れている物体の距離として算出することで、物体距離としてユーザまでの距離を求めることができる。図２０の例では、閾値よりも大きい値を有するビン１、ビン２、ビン３、ビン７、ビン８のうちの最も距離の近いビン１が選択されて、その中央値０．２５ｃｍが物体距離として算出される。
【００９２】
以上説明したように、本実施の形態の映像端末装置によれば、プライバシーを保護するために背景が除かれたユーザの画像や背景が除去されたユーザの影画像が、伝送元である映像端末装置にて生成されて、伝送先の映像通信端末に伝送されるので、伝送される情報の量を抑えることができ、通信リソースへの負担を軽減できる。また、コミュニケーションをとるためにユーザの画像を伝送する場合にも、画像中のユーザ以外の部分、即ち背景部分の画像は伝送されないので、ユーザのプライバシーが保護され、必要な画像情報を必要な程度に相手方に提供することで、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現できる。
【００９３】
なお、上記の実施の形態では、第２生成モードにおいてユーザの影画像を生成したが、このユーザの影画像は、情報量を減らしたユーザの画像の一例であるが、情報量を減らしたユーザの画像は、影画像に限られない。情報量を減らしたユーザの画像は、例えば、モザイク画像やぼかし画像であってよい。上記の実施の形態における影画像生成部１５は、本発明の情報量制限画像生成部の一態様である。
【産業上の利用可能性】
【００９４】
以上のように、本発明は、通信リソースへの負担を軽減でき、かつ、必要な画像情報を必要な程度に相手方に提供することで、コミュニケーションとプライバシー保護とのバランスをよりきめ細かに実現でき、プライバシーを保護しつつ常時接続状態で撮影画像を送受信する映像端末装置等として有用である。
【符号の説明】
【００９５】
１１  画像生成部
１２  距離画像生成部
１３  距離計測部
１４  生成モード選択部
１５  影画像生成部
１６  背景除去画像生成部
１７  距離伝送部
１８  影画像伝送部
１９  画像伝送部
２０  距離受信部
２１  画像受信部
２２  影画像受信部
２３  影画像合成部
２４  画像表示部
１００  映像端末装置
１０１  ステレオカメラ
１０２  液晶表示パネル
１０３  スピーカ
１０４  マイク
１１１  カメラ（右）
１１２  カメラ（左）
１２１  縮小部
１２２  縮小部
１２３  距離画像生成部
１３１  背景更新部
１３２  背景距離画像データベース
１３３  差分距離画像生成部
１３４  ヒストグラム生成部
１３５  物体距離算出部
１５１  ２値化部
１５２  収縮部
１５３  膨張部
１５４  ブレンド部
１６１  指定距離マスク画像生成部
１６２  ブレンド部
１６３  ぼかし拡大部
１６４  背景除去部
【図１】
2012175528.tif 000003
【図２】
2012175528.tif 000004
【図３】
2012175528.tif 000005
【図４】
2012175528.tif 000006
【図５】
2012175528.tif 000007
【図６】
2012175528.tif 000008
【図７】
2012175528.tif 000009
【図８】
2012175528.tif 000010
【図９】
2012175528.tif 000011
【図１０】
2012175528.tif 000012
【図１１】
2012175528.tif 000013
【図１２】
2012175528.tif 000014
【図１３】
2012175528.tif 000015
【図１５】
2012175528.tif 000016
【図１６】
2012175528.tif 000017
【図１７】
2012175528.tif 000018
【図１８】
2012175528.tif 000019
【図１９】
2012175528.tif 000020
【図２０】
2012175528.tif 000021
【図１４】
2012175528.tif 000022