(57)【要約】【課題】ローカルユーザの頭部の位置が移動しても実際の対面環境との視差が少なく、リモートユーザとローカルユーザとが隣り合わせで作業を行うような対面環境を構築する。【解決手段】リモート視点位置１０Ｐとローカル視点位置２０Ｐに基づいて、リモート映像１０Ｖとローカル映像２０Ｖを３次元的に処理することにより、ローカル視点位置２０Ｐからリモートユーザ１０Ａを見た際の映像であって、かつリモート側の机のリモートユーザ側端縁とローカル側の机のローカルユーザ側端縁とが同一直線上に並ぶ調整リモート映像３０Ｖが、映像再構成部３０により再構成されて、ローカルユーザ２０Ａの画面表示装置２３で画面表示される。【選択図】  図１
2010213155.tif 000002
【特許請求の範囲】
【請求項１】
第１の机に座っているリモートユーザを含むリモート映像を撮影する第１の撮影装置と、
前記リモート映像から当該リモートユーザの３次元の視点位置を示すリモート視点位置を検出する第１の視点位置検出部と、
第２の机に座っているローカルユーザを含むローカル映像を撮影する第２の撮影装置と、
前記ローカル映像から当該ローカルユーザの３次元の視点位置を示すローカル視点位置を検出する第２の視点位置検出部と、
前記リモート視点位置と前記ローカル視点位置に基づいて、前記リモート映像と前記ローカル映像を３次元的に処理することにより、前記ローカル視点位置から前記リモートユーザを見た際の映像であって、かつ前記第１の机のリモートユーザ側端縁と前記第２の机のローカルユーザ側端縁とが同一直線上に並ぶ映像を、調整リモート映像として再構成する映像再構成部と、
前記第２の机の側部に配置され、前記調整リモート映像を画面表示する画面表示装置と
を備えることを特徴とするビデオ会議システム。
【請求項２】
第１の撮影装置が、第１の机に座っているリモートユーザを含むリモート映像を撮影する第１の撮影ステップと、
第１の視点位置検出部が、前記リモート映像から当該リモートユーザの３次元の視点位置を示すリモート視点位置を検出する第１の視点位置検出ステップと、
第２の撮影装置が、第２の机に座っているローカルユーザを含むローカル映像を撮影する第２の撮影ステップと、
第２の視点位置検出部が、前記ローカル映像から当該ローカルユーザの３次元の視点位置を示すローカル視点位置を検出する第２の視点位置検出ステップと、
映像再構成部が、前記リモート視点位置と前記ローカル視点位置に基づいて、前記リモート映像と前記ローカル映像を３次元的に処理することにより、前記ローカル視点位置から前記リモートユーザを見た際の映像であって、かつ前記第１の机のリモートユーザ側端縁と前記第２の机のローカルユーザ側端縁とが同一直線上に並ぶ映像を、調整リモート映像として再構成する映像再構成ステップと、
画面表示装置が、前記第２の机の側部に配置されて、前記調整リモート映像を画面表示する画面表示ステップと
を備えることを特徴とするビデオ会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ会議技術に関し、特にリモートユーザとローカルユーザとの一体感が得られるビデオ会議技術に関する。
【背景技術】
【０００２】
インターネットに代表されるデータ通信技術の発展に伴い、ビデオ会議のような大容量のビデオ会議が容易に実現されつつある。近年、このようなビデオ会議を利用して、異なる地点に存在するユーザ間で一体感が得られる映像を生成して画面表示することにより、両ユーザがあたかも隣り合わせに座っているような環境を擬似的に構築して、共同作業などの円滑化を図る研究が進んでいる。
【０００３】
このような、同じ向きに隣り合わせに座って共同作業を行う環境は、対面環境の一種であり、一方のユーザが動くと、隣にいる相手ユーザの見え方やその前にある机の見え方が、ユーザの動きに合わせて変化するのが自然である。
これに対して、一般的なビデオ会議システムでは、リモートユーザを撮影するカメラが固定されている。このため、ローカルユーザ側のディスプレイに画面表示されたリモートユーザの像は、ローカルユーザが動いても変化せず、実際の対面環境と比較して大きな視差が存在している。
【０００４】
このような、実際の対面環境における見え方とビデオ会議システムで画面表示される映像との間における視差を解決する技術として、ローカルユーザの頭部を回転する動きに対してリモートユーザの像を変化させて画面表示する技術が提案されている（例えば、非特許文献１，２など参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】D. Nguyen, and J. Canny: MultiView: Improving Trust in Group Video Conferencing through Spatial Faithfulness. Proceedings of the 2007 Conference on Human Factors in Computing Systems(CHI'07), pp.1465-1474, 2007
【非特許文献２】K. Okada et al.: Multiparty Videoconferencing at Virtual Social Distance: MAJIC Design Proceedings of CSCW'94, pp.385-393, 1994
【非特許文献３】赤羽淳平, 大森健児: 画角を利用した３次元位置推定法, 電子情報通信学会技術研究報告.IE, 画像工学, Vol.105, No.353, pp.1-6, 2005
【非特許文献４】http://graphics.stanford.edu/~naemura/publication/1996/RayBased-TR.pdf#search='光線空間法', 苗村ほか, 光線情報による３次元実空間の効率的記述へ向けた光線空間射影法, 東京大学
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来技術では、リモートユーザが画面表示される位置は、ローカルユーザと対面する位置に限定されるため、リモートユーザとローカルユーザとが隣り合わせで作業を行うような対面環境を構築することはできない。また、主としてローカルユーザの頭部を同一位置で回転させる動きに関する視差の問題は解決できるものの、頭部の位置を移動させる動きに関する視差の問題を解決することはできない。
本発明はこのような課題を解決するためのものであり、ローカルユーザの頭部の位置が移動しても実際の対面環境との視差が少なく、リモートユーザとローカルユーザとが隣り合わせで作業を行うような対面環境を構築できるビデオ会議システムおよび方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明にかかるビデオ会議システムは、第１の机に座っているリモートユーザを含むリモート映像を撮影する第１の撮影装置と、リモート映像から当該リモートユーザの３次元の視点位置を示すリモート視点位置を検出する第１の視点位置検出部と、第２の机に座っているローカルユーザを含むローカル映像を撮影する第２の撮影装置と、ローカル映像から当該ローカルユーザの３次元の視点位置を示すローカル視点位置を検出する第２の視点位置検出部と、リモート視点位置とローカル視点位置に基づいて、リモート映像とローカル映像を３次元的に処理することにより、ローカル視点位置からリモートユーザを見た際の映像であって、かつ第１の机のリモートユーザ側端縁と第２の机のローカルユーザ側端縁とが同一直線上に並ぶ映像を、調整リモート映像として再構成する映像再構成部と、第２の机の側部に配置され、調整リモート映像を画面表示する画面表示装置とを備えている。
【０００８】
また、本発明にかかるビデオ会議方法は、第１の撮影装置が、第１の机に座っているリモートユーザを含むリモート映像を撮影する第１の撮影ステップと、第１の視点位置検出部が、リモート映像から当該リモートユーザの３次元の視点位置を示すリモート視点位置を検出する第１の視点位置検出ステップと、第２の撮影装置が、第２の机に座っているローカルユーザを含むローカル映像を撮影する第２の撮影ステップと、第２の視点位置検出部が、ローカル映像から当該ローカルユーザの３次元の視点位置を示すローカル視点位置を検出する第２の視点位置検出ステップと、映像再構成部が、リモート視点位置とローカル視点位置に基づいて、リモート映像とローカル映像を３次元的に処理することにより、ローカル視点位置からリモートユーザを見た際の映像であって、かつ第１の机のリモートユーザ側端縁と第２の机のローカルユーザ側端縁とが同一直線上に並ぶ映像を、調整リモート映像として再構成する映像再構成ステップと、画面表示装置が、第２の机の側部に配置されて、調整リモート映像を画面表示する画面表示ステップとを備えている。
【発明の効果】
【０００９】
本発明によれば、ローカルユーザの頭部の位置が移動しても実際の対面環境との視差が少なく、リモートユーザとローカルユーザとが隣り合わせで作業を行うような対面環境を構築できる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態にかかるビデオ会議システムの構成を示すブロック図である。
【図２】本実施の形態にかかるビデオ会議システムの動作を示す説明図である。
【図３】本実施の形態にかかるビデオ会議システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
次に、本発明の一実施の形態について図面を参照して説明する。
まず、図１および図２を参照して、本実施の形態にかかるビデオ会議システムについて説明する。図１は、本実施の形態にかかるビデオ会議システムの構成を示すブロック図である。図２は、本実施の形態にかかるビデオ会議システムの動作を示す説明図である。
【００１２】
このビデオ会議システム１は、異なる地点に存在するリモートユーザの映像をローカルユーザ側で画面表示することにより、ローカルユーザがリモートユーザとの一体感が得られる対面環境を構築する機能を有している。
ビデオ会議システム１には、主な機能部として、撮影装置（第１の撮影装置）１１、視点位置検出部（第１の視点位置検出部）１２、撮影装置（第２の撮影装置）２１、視点位置検出部（第２の視点位置検出部）２２、画面表示装置２３、および映像再構成部３０が設けられている。
【００１３】
撮影装置１１は、リモートユーザ１０Ａの周囲に設置された１つ以上の一般的なビデオカメラからなり、机（第１の机）１０Ｔに座っているリモートユーザ１０Ａを含むリモート映像１０Ｖを撮影する機能を有している。
視点位置検出部１２は、撮影装置１１で撮影されたリモート映像１０Ｖから、リモートユーザの３次元の視点位置を示すリモート視点位置１０Ｐを検出する機能を有している。
【００１４】
撮影装置２１は、ローカルユーザ２０Ａの周囲に設置された１つ以上の一般的なビデオカメラからなり、机（第２の机）２０Ｔに座っているローカルユーザ２０Ａを含むローカル映像２０Ｖを撮影する機能を有している。
視点位置検出部２２は、撮影装置２１で撮影されたローカル映像２０Ｖから、ローカルユーザの３次元の視点位置を示すローカル視点位置２０Ｐを検出する機能を有している。
なお、視点位置検出部１２および視点位置検出部２２で必要となる、入力映像から人物の目を認識し、その３次元座標値を視点位置として算出する技術については、非特許文献３などの公知技術を用いればよい。
【００１５】
画面表示装置２３は、ローカルユーザ２０Ａの机２０Ｔの側部に配置された、ＬＣＤやＰＤＰなどのディスプレイ装置からなり、映像再構成部３０で再構成された調整リモート映像３０Ｖを画面表示する機能を有している。図２の例では、リモートユーザ１０Ａの左手側からリモートユーザ１０Ａが撮影されているため、リモート映像１０Ｖの方向とローカルユーザ２０Ａの視線方向とが一致するように、机２０Ｔのうち、ローカルユーザ２０Ａの右手側の側部に画面表示装置２３が配置されている。
【００１６】
映像再構成部３０は、視点位置検出部１２で検出されたリモート視点位置１０Ｐと、視点位置検出部２２で検出されたローカル視点位置２０Ｐとに基づいて、撮影装置１１で撮影されたリモート映像１０Ｖとローカル映像２０Ｖを３次元的に処理することにより、ローカル視点位置２０Ｐからリモートユーザ１０Ａを見た際の映像であって、かつ机１０Ｔのリモートユーザ側端縁１０Ｂと机２０Ｔのローカルユーザ側端縁２０Ｂとが同一直線上に並ぶ映像を、調整リモート映像３０Ｖとして再構成する機能を有している。
映像再構成部３０で必要となる、任意の視点位置から見た映像を再構成する技術については、非特許文献４などの公知技術を用いればよい。
【００１７】
視点位置検出部１２、視点位置検出部２２、および映像再構成部３０は、それぞれ専用の画像処理回路で構成してもよく、画像処理プログラムをＣＰＵで実行してなる演算処理部で構成してもよい。また、視点位置検出部１２、視点位置検出部２２、および映像再構成部３０は、個別の装置で実現してもよく、複数あるいは全部を組み合わせて１つの装置で実現してもよい。また、視点位置検出部１２、視点位置検出部２２、および映像再構成部３０は、リモート側１０およびローカル側２０のいずれに配置してもよく、リモート側１０およびローカル側２０を結ぶ中間位置、例えば通信ネットワーク内に配置してもよい。
【００１８】
［本実施の形態の動作］
次に、図３を参照して、本実施の形態にかかるビデオ会議システムの動作について説明する。図３は、本実施の形態にかかるビデオ会議システムの動作を示すフローチャートである。
【００１９】
リモート側１０では、撮影装置１１は、ビデオ会議通信が開始された後、常時、リモートユーザ１０Ａを撮影し、リモート映像１０Ｖを出力する（ステップ１００）。この際、リモート映像１０Ｖには、リモートユーザ１０Ａだけでなくリモートユーザ１０Ａの机１０Ｔも含まれているものとする。
視点位置検出部１２は、撮影装置１１からのリモート映像１０Ｖから、リモートユーザ１０Ａの３次元の視点位置を示すリモート視点位置１０Ｐを検出する（ステップ１０１）。この際、リモート視点位置１０Ｐの検出に必要な、撮影装置１１の撮影位置を示す３次元座標などの処理情報は、予め設定されているものとする。
【００２０】
これと並行してローカル側２０では、撮影装置２１は、ビデオ会議通信が開始された後、常時、ローカルユーザ２０Ａを撮影し（ステップ１１０）、ローカル映像２０Ｖを出力する（ステップ１１０）。この際、ローカル映像２０Ｖには、ローカルユーザ２０Ａだけでなくローカルユーザ２０Ａの机２０Ｔも含まれているものとする。
視点位置検出部２２は、撮影装置２１からのローカル映像２０Ｖから、ローカルユーザ２０Ａの３次元の視点位置を示すローカル視点位置２０Ｐを検出する（ステップ１１１）。この際、ローカル視点位置２０Ｐの検出に必要な、撮影装置２１の撮影位置を示す３次元座標などの処理情報は、予め設定されているものとする。
【００２１】
映像再構成部３０は、視点位置検出部１２で検出されたリモート視点位置１０Ｐと、視点位置検出部２２で検出されたローカル視点位置２０Ｐとに基づいて、撮影装置１１で撮影されたリモート映像１０Ｖとローカル映像２０Ｖを３次元的に処理することにより、調整リモート映像３０Ｖを再構成する（ステップ１２０）。
【００２２】
この際、映像再構成部３０では、例えば、リモート映像１０Ｖから机１０Ｔのリモートユーザ側端縁１０Ｂを抽出するとともに、ローカル映像２０Ｖから机２０Ｔのローカルユーザ側端縁２０Ｂを抽出する。続いて、これらリモートユーザ側端縁１０Ｂとローカルユーザ側端縁２０Ｂが同一直線上に並ぶよう、換言すればローカルユーザ側端縁２０Ｂの延長線上にリモートユーザ側端縁１０Ｂが位置するよう、リモート映像１０Ｖとローカル映像２０Ｖの３次元座標を一致させ、リモート映像１０Ｖの３次元空間内にローカル視点位置２０Ｐを配置する。このときリモート視点位置１０Ｐとローカル視点位置２０Ｐの位置関係などの情報は、予め設定されているものとする。
【００２３】
次に、リモート映像１０Ｖの３次元空間から、ローカル視点位置２０Ｐから見た映像を切り出す。これにより、ローカル視点位置２０Ｐからリモートユーザ１０Ａを見た際の映像であって、かつ机１０Ｔのリモートユーザ側端縁１０Ｂと机２０Ｔのローカルユーザ側端縁２０Ｂとが同一直線上に並ぶ調整リモート映像３０Ｖが再構成される。
【００２４】
画面表示装置２３は、このようにして映像再構成部３０で再構築された調整リモート映像３０Ｖを受け取って画面表示する（ステップ１２１）。
このようにして、ビデオ会議通信が終了するまで、ステップ１００〜１２１が繰り返し実行される。
【００２５】
［本実施の形態の効果］
このように、本実施の形態によれば、リモート視点位置１０Ｐとローカル視点位置２０Ｐに基づいて、リモート映像１０Ｖとローカル映像２０Ｖを３次元的に処理することにより、ローカル視点位置２０Ｐからリモートユーザ１０Ａを見た際の映像であって、かつ第１の机１０Ｔのリモートユーザ側端縁１０Ｂと第２の机２０Ｔのローカルユーザ側端縁２０Ｂとが同一直線上に並ぶ調整リモート映像３０Ｖが、映像再構成部３０により再構成されて、ローカルユーザ２０Ａの画面表示装置２３で画面表示される。
【００２６】
したがって、両ユーザの机の縁が一直線に揃って見えるとともに、視点位置の変化にも対応した映像を表示でき、双方であたかも同じ机を共有し、隣り合って座っているかのような一体感のある対面環境を構築することができる。
また、ローカルユーザの視点位置を考慮しているため、ローカルユーザの頭部の位置が移動しても実際の対面環境との視差の少ない映像を再構成することができる。また、ユーザの視点位置を映像から検出しているため、特殊なセンサ等をユーザの顔に取り付ける必要はなく、ユーザへの負担を回避できる。
【符号の説明】
【００２７】
１…ビデオ会議システム、１０…リモート側、１０Ａ…リモートユーザ、１０Ｂ…リモートユーザ側端縁、１０Ｐ…リモート視点位置、１０Ｖ…リモート映像、１０Ｔ…机、１１…撮影装置、１２…視点位置検出部、２０…ローカル側、２０Ａ…ローカルユーザ、２０Ｂ…ローカルユーザ側端縁、２０Ｐ…ローカル視点位置、２０Ｖ…ローカル映像、２０Ｔ…机、２１…撮影装置、２２…視点位置検出部、２３…画面表示装置、３０…映像再構成部、３０Ｖ…調整リモート映像。
【図１】
2010213155.tif 000003
【図２】
2010213155.tif 000004
【図３】
2010213155.tif 000005