(57)【要約】【課題】ユーザとその相手とのコミュニケーションのしやすさを達成し、コミュニケーションの活性化を図る。【解決手段】ユーザＡとユーザＢとの間に背中あわせにディスプレイ１０３，１０４を配置する。ユーザＢの対話位置の斜め後方からユーザＢを撮影した映像と、ユーザＡをその斜め前方から撮影した映像とをオーバーレイ合成して仮想客観映像１３４とし、仮想客観画像１３４をディスプレイ１０４によってユーザＢに提示する。さらに、ユーザＡを正面から撮影したことによって、ユーザＢの視点からの映像である主観映像を取得し、主観映像と仮想客観映像とを切り替えて、ディスプレイ１０４によってユーザＢに提示する。【選択図】    図３
2006148467.tif 000002
【特許請求の範囲】
【請求項１】
第１のユーザと第２のユーザとの間のコミュニケーションを促進する対面コミュニケーション装置であって、
前記第１及び第２のユーザの対話位置のそれぞれ正面の位置に配置される第１及び第２のディスプレイと、
前記第１のユーザの対話位置の斜め後方及び前記第１のユーザの斜め前方から前記第１のユーザをそれぞれ撮影する第１のカメラ及び第２のカメラと、
前記第２のユーザの対話位置の斜め後方及び前記第２のユーザの斜め前方から前記第１のユーザをそれぞれ撮影する第３のカメラ及び第４のカメラと、
前記第１及び第２のユーザをそれぞれ正面から撮影する第５及び第６のカメラと、
前記各カメラからの映像の入力を可能にし、前記ユーザによる選択、または、場面に応じた映像を選択し前記各ディスプレイに表示する切り替え手段と、
を有する対面コミュニケーション装置。
【請求項２】
前記第１及び第３のカメラで撮影した映像から、対応するユーザの画像部分のみを抽出する手段と、
前記ユーザの画像部分と、前記第２及び第４のカメラで撮影した映像とをオーバーレイ合成して、客観映像を出力する手段と、
をさらに有する、請求項１に記載の対面コミュニケーション装置。
【請求項３】
前記切り替え手段は、前記第５及び第６のカメラによって撮影された各ユーザの視点からの映像である主観映像と、前記客観映像とを切り替える、請求項２に記載の対面コミュニケーション装置。
【請求項４】
前記第１及び第２のディスプレイが背中合わせに配置される、請求項１乃至３のいずれか１項に記載の対面コミュニケーション装置。
【請求項５】
ユーザと相手との間のコミュニケーションを促進する対面コミュニケーション方法であって、
前記ユーザの対話位置の斜め後方から前記ユーザを撮影した映像と、前記相手をその斜め前方から撮影した映像とをオーバーレイ合成して、前記ユーザの正面に配置されたディスプレイに客観映像として前記ユーザに提示する、対面コミュニケーション方法。
【請求項６】
前記相手を正面から撮影することによって、前記ユーザの視点からの映像である主観映像を取得し、前記主観映像と前記客観映像とを切り替えて前記ディスプレイによって前記ユーザに提示する、請求項５に記載の対面コミュニケーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を用いたコミュニケーション装置に関し、特に、複数台のカメラを用いた映像切り替えにより、コミュニケーションのしやすさや活性化などを実現できる対面コミュニケーション装置及び方法に関する。
【背景技術】
【０００２】
映像コミュニケーションにおいて、ユーザに対し、単一のカメラだけを使用した単調な映像だけではなく、複数台のカメラを用いて撮影した映像を切り替えて提示することで、ユーザを飽きさせることなく、コミュニケーションを活性化させようとする試みがなされている。テレビ放送などにおけるカメラの切り替え（スイッチ）の手法を分析し、それをシステムに応用しようとした研究例などがあげられる（非特許文献１）。
【０００３】
現在、テレビを見ることは日常化しており、街角にも大型ディスプレイが置かれるなど、映像を使った情報提示にユーザが接する機会は増えている。これら映像情報は、カット切り替えなど映像ならではの手法によって、日常会話では用いられない「映像言語」によって情報が語られる。具体的には、これらの映像表現では、主人公などの自身の視点から見た映像である主観映像と、主人公やその相手を含む全体を外からみた映像である客観映像とを切り替えることで、見ている人の映像に対する移入度を上げることができる。それに対して、日常空間では、人は、常に、自分の視点でしか映像を捕らえられない。
【非特許文献１】井上智雄、岡田謙一、松下温、「テレビ会議における映像表現の利用とその影響」、情報処理学会論文誌、第４０巻第１０号、３７５２〜３７６１頁、１９９９年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
刺激が強い映像表現の方がより適切に伝わる情報もあり、日常のコミュニケーションにおいても上述したような映像情報を有効に使えれば、従来とは違った質のコミュニケーションを行える可能性がある。にもかかわらず、日常空間で映像をインタラクティブに扱える環境が用意されておらず、使えないというのが現状である。
【０００５】
そこで本発明の目的は、映像をインタラクティブに扱うことにより、コミュニケーションのしやすさや活性化などを実現できる対面コミュニケーション装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の対面コミュニケーション装置は、第１のユーザと第２のユーザとの間のコミュニケーションを促進する対面コミュニケーション装置であって、第１及び第２のユーザの対話位置のそれぞれ正面の位置に配置される第１及び第２のディスプレイと、第１のユーザの対話位置の斜め後方及び第１のユーザの斜め前方から第１のユーザをそれぞれ撮影する第１のカメラ及び第２のカメラと、第２のユーザの対話位置の斜め後方及び第２のユーザの斜め前方から第１のユーザをそれぞれ撮影する第３のカメラ及び第４のカメラと、第１及び第２のユーザをそれぞれ正面から撮影する第５及び第６のカメラと、各カメラからの映像の入力を可能にし、ユーザによる選択、または、場面に応じた映像を選択し各ディスプレイに表示する切り替え手段と、を有する。
【０００７】
本発明の対面コミュニケーション方法は、ユーザと相手との間のコミュニケーションを促進する対面コミュニケーション方法であって、ユーザの対話位置の斜め後方からユーザを撮影した映像と、相手をその斜め前方から撮影した映像とをオーバーレイ合成して、前記ユーザの正面に配置されたディスプレイに客観映像として前記ユーザに提示する。
【０００８】
本発明では、複数台のカメラを用いることによって、ユーザとその相手とのコミュニケーションの場を示す主観映像と客観映像とを生成し、これら主観映像と客観映像とを組み合わせて利用者に提示することにようにすることが好ましい。
【発明の効果】
【０００９】
本発明によれば、自分の主観だけではなく、相手との関係を客観視できることによって、よりお互いの関係の理解を深めることが可能となる。また、映像切り替えのリズムを互いが調節することにより、お互いの同調度が上がり、コミュニケーションのしやすさ、活性化を増すことができる。
【発明を実施するための最良の形態】
【００１０】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。
【００１１】
図１は、本発明の実施の一形態の対面コミュニケーション装置の全体の構成を示す斜視図であり、図２は、この対面コミュニケーション装置における映像出力に関する部分の構成を示すブロック図である。
【００１２】
ここでは、ユーザＡ  １０１とユーザＢ  １０２とがコミュニケーションを行っているものとし、ユーザ１０１，１０２は、背中合わせに配置された２台のディスプレイ１０３，１０４を挟んで対面して位置している。したがって、これらディスプレイに遮られるので、各ユーザは相手ユーザを直接見ることはできない。ディスプレイ１０３は、ユーザＡ  １０１に対面する表示領域を有し、ディスプレイ１０４は、ユーザＢに対面する表示領域を有している。ディスプレイ１０３はユーザＡ  １０１に提示される映像情報を表示するものであり、ディスプレイ１０４はユーザＢ  １０２に提示される映像情報を表示するものである。以下の説明において、ユーザ１０１，１０２が相互にコミュニケーションを図ろうとしているときの各ユーザの立ち位置あるいは座り位置のことを対話位置と呼ぶことにする。
【００１３】
ユーザＡ  １０１の映像を取得するために、ユーザＡ  １０１を正面から撮影する正面画像用カメラ１０５と、２台の肩なめ画像生成カメラ１０６，１０７が設けられている。超小型のカメラが使用可能であれば、正面画像用カメラ１０５は、例えば、ディスプレイ１０３の表示領域の中央部に埋め込まれる。その場合、正面画像用カメラ１０５は、ディスプレイ１０３とは光軸方向が逆になるように設けられる。肩なめ画像生成カメラ１０６，１０７のうち、第１の肩なめ画像生成カメラ１０６は、ユーザＡ  １０１の対話位置の斜め後方からそのユーザＡを撮影するように設けられており、第２の肩なめ画像生成カメラ１０７は、ユーザＡ  １０１の対話位置の斜め前方からそのユーザＡを撮影するように設けられている。同様に、ユーザＢ  １０２の映像を取得するために、ユーザＢ  １０２を正面から撮影する正面画像用カメラ１０８と、ユーザＢ  １０２の対話位置の斜め後方からユーザＢを撮影する第１の肩なめ画像生成カメラ１０９と、ユーザＢ  １０２の対話位置の斜め前方からユーザＢを撮影する第２の肩なめ画像生成カメラ１１０とが設けられている。
【００１４】
本実施形態では、ユーザＡ側の正面画像用カメラ１０５で撮影された映像をユーザＢ側のディスプレイ１０４に表示し、ユーザＢ側の正面画像用カメラ１０８で撮影された映像をユーザＡ側のディスプレイ１０３に表示することによって、各ユーザは、ディスプレイを介して相手側の様子を見ることが可能になり、あたかも、ユーザの間にガラスの枠が置かれているかのような感覚をユーザに与えることになる。この場合、各ユーザの視点からの映像が各ディスプレイに表示されるため、主観映像が表示されていることになる。
【００１５】
さらにこの対面コミュニケーション装置では、各肩なめ画像生成カメラ１０６，１０７，１０９，１１０を用いることによって、客観映像を各ディスプレイ１０３，１０４に表示することができるようになっている。この対面コミュニケーション装置には、ユーザＢ  １０２がユーザＢ用のディスプレイの前にいない状態でのユーザＢ側の第１の肩なめ映像生成カメラ１０９で撮影した画像（事前画像）を保存する事前画像保存部１１１と、事前画像保存部１１１に保存された事前画像を用いて、第１の肩なめ映像生成カメラ１０９で撮影された映像からユーザＢの画像部分を切り抜く人物画像切抜き部１１２と、ユーザＡを撮影する第２の肩なめ映像生成カメラ１１０からの映像とユーザＢの画像部分とをオーバーレイ合成する人物画像合成部１１３と、人物画像合成部１１３が出力する映像とユーザＡを撮影する正面画像用カメラ１０５からの映像を切り替えて、ユーザＢ側のディスプレイ１０４に表示する画像切り替え部１１４とが設けられている。同様に、ユーザＡがいない状態でのユーザＡ側の第１の肩なめ映像生成カメラ１０６で撮影した事前画像を保存する事前画像保存部１１５と、事前画像保存部１１５に保存された事前画像を用いて、第１の肩なめ映像生成カメラ１０６で撮影された映像からユーザＡの画像部分を切り抜く人物画像切抜き部１１６と、ユーザＢを撮影する第２の肩なめ映像生成カメラ１１０からの映像とユーザＡの画像部分とをオーバーレイ合成する人物画像合成部１１７と、人物画像合成部１１７が出力する映像とユーザＢを撮影する正面画像用カメラ１０８からの映像を切り替えて、ユーザＡ側のディスプレイ１０３に表示する画像切り替え部１１８とが設けられている。
【００１６】
この構成において、人物画像合成部１１３，１１７が出力する映像は、ユーザＡ及びユーザＢがあたかも対面しているかのような状況を一方のユーザの斜め後方から撮影したような映像（仮想客観映像）である。画像切り替え部１１４，１１８は、会話の状況になどに応じて、正面画像用カメラ１０５，１０８から出力される主観映像と、人物画像合成部１１３，１１７が出力する仮想客観映像とを切り替えて、それぞれ、対応するディスプレイ１０４，１０３に出力する。画像切り替え部１１４は、ユーザＢからの要求に応じて映像を切り替えてもよい。同様に、画像切り替え部１１８は、ユーザＡからの要求に応じて映像を切り替えてもよい。
【００１７】
図３は、仮想客観映像の生成を説明する図である。ここでは、ユーザＢ  １０２側のディスプレイ１０４に表示される仮想客観映像の生成を説明するが、ユーザＡ  １０１側のディスプレイ１０２に表示される仮想客観映像の生成も、同様に行なわれる。
【００１８】
図３において（Ａ）は、ユーザＡ  １０１及びユーザＢ  １０２がディスプレイ１０３，１０４を挟んで対面しているところを上方から見た図である。ここで、ユーザＡはその左手を挙げている。
【００１９】
ここで、ユーザＡ側の第２の肩なめ画像生成カメラ１０７で撮影される映像は、図３の（Ｂ）に示すように、ユーザＡのみが写った映像１３１となる。ユーザＢ側の第１の肩なめ画像生成カメラ１０９によってユーザＢを撮影した映像は、図３の（Ｃ）に示すように、ユーザＢを後ろから撮影したものであって、背景にディスプレイ１０４が写っている映像１３２となる。映像１３２において、ユーザＡと対話している映像は得られない。そこで、人物画像切抜き部１１２は、ユーザＢが対話位置にいない状態で予め第１の肩なめ画像生成カメラ１０９によって撮影し保存しておいた事前画像１３３（図３の（Ｄ）を参照）を、ユーザＢを写している映像１３２から差し引くことによって、ユーザＢの人物部分だけの映像を抜き取る。そそて、人物画像合成部１１３は、ユーザＡのみが写った映像１３１と、ユーザＢの人物部分だけの映像とを合成することにより、図３の（Ｅ）に示す合成肩なめ映像１３４（すなわち仮想客観映像）を生成する。
【００２０】
なお、上述した実施形態では、ディスプレイ１０３，１０４を背中合わせに配置するものとしたが、ユーザＡとユーザＢとが離れて存在する場合には、ユーザごとにディスプレイを配置するので、ディスプレイは必ずしも背中合わせに配置させる必要はない。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の一形態の対面コミュニケーション装置の構成を示す図である。
【図２】映像出力に関する部分の構成を示すブロック図である。
【図３】仮想客観映像（合成肩なめ映像）の合成手順を説明する図である。
【符号の説明】
【００２２】
１０１，１０２    ユーザ
１０３，１０４    ディスプレイ
１０５，１０８    正面画像用カメラ
１０６，１０７，１０９，１１０    肩なめ画像生成カメラ
１１１，１１５    事前画像保存部
１１２，１１６    人物画像切抜き部
１１３，１１７    人物画像合成部
１１４，１１８    画像切り替え部
【図１】
2006148467.tif 000003
【図２】
2006148467.tif 000004
【図３】
2006148467.tif 000005