(57)【要約】【課題】  相互に離れた場所間の人間同士のコミュニケーションツールを提供すること。【解決手段】  映像コミュニケーションシステム１０は、画像データの通信が相互に可能で実質的に同一構成の第１及び第２のカメラユニット１１，１２からなる。第１のカメラユニット１１は、水平スクリーン１６Ａと、水平スクリーン１６Ａに連続配置された対面スクリーン１７Ａと、使用者によって動かされる操作具１９Ａと、水平スクリーン１６Ａ上を撮像する第１カメラ２２Ａと、操作具１９Ａの位置及び姿勢を検出する磁気センサユニット２４Ａと、操作具１９Ａの移動に応じた影画像を作成する端末２６Ａと、影画像を水平スクリーン１６Ａに投影する第１プロジェクタ２８Ａと、水平スクリーン１６Ａの影画像及びその周囲の状況を撮像する第２カメラ３０Ａと、第２のカメラユニット１２側の画像を対面スクリーン１７Ａに投影する第２プロジェクタ３２Ａとを備えている。【選択図】          図１
2005252913.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも二組のカメラユニット間で画像データの通信が可能となる映像コミュニケーションシステムにおいて、
前記各カメラユニットは、連続配置された第１スクリーン及び第２スクリーンと、使用者の手で移動可能な操作具と、当該操作具の位置及び姿勢を検出する操作検出手段と、前記操作具の移動に対応した影画像を作成する影画像作成手段と、当該影画像作成手段で作成された影画像を前記第１スクリーンに投影する第１投影手段と、前記第１スクリーンに投影された影画像及びその周囲の状況を撮像する状況撮像手段と、他のカメラユニットにおける前記状況撮像手段からの画像を前記第２スクリーンに投影する第２投影手段とを備え、
前記影画像作成手段は、前記操作検出手段により検出された前記操作具の位置及び姿勢に基づいて前記操作具の仮想影画像を作成することを特徴とする映像コミュニケーションシステム。
【請求項２】
前記仮想影画像は、自己のカメラユニット内で延びる自己表示領域と、当該自己表示領域に連なって他のカメラユニット内で延びる相手方表示領域とにより構成され、
前記影画像作成手段は、前記自己表示領域と、他のカメラユニットで作成された前記相手方表示領域とを重ね合わせることで、前記影画像を作成することを特徴とする請求項１記載の映像コミュニケーションシステム。
【請求項３】
前記各カメラユニットは、前記第１スクリーン上の物体を撮像する物体撮像手段を更に備え、
前記影画像作成手段は、前記物体撮像手段で撮像された画像データを二値化することで物体影画像を作成し、当該物体影画像を前記仮想影画像に重ね合わせることで、前記影画像を作成することを特徴とする請求項１又は２記載の映像コミュニケーションシステム。
【請求項４】
前記第１スクリーンは、略水平配置される一方、前記第２スクリーンは、前記第１スクリーンの一端縁側から外側斜め上方に傾斜配置され、前記状況撮像手段は、前記第２スクリーンの最上端側からその面方向に沿う向きで撮像可能に配置されていることを特徴とする請求項１、２又は３記載の映像コミュニケーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像コミュニケーションシステムに係り、更に詳しくは、テレビ会議システム、及び痴呆症や自閉症患者の治療装置等に応用可能な映像コミュニケーションシステムに関する。
【背景技術】
【０００２】
近時、通信回線とコンピュータとを組み合わせたテレビ会議システムが普及しつつある。このテレビ会議システムとしては、複数の場所に設置されている端末の表示部にそれぞれ表示されている同一の画像上に、端末毎に異なる色が施されたポインティング・カーソルを表示させ、当該ポインティング・カーソルを使って画像内の所望位置の指定を各端末から独自に行えるシステムが知られている（特許文献１参照）。
【特許文献１】特開平８−２９８６５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記テレビ会議システムにあっては、前記表示部中の画像内に端末の数のポインティング・カーソルが常時存在することになるため、そのうち一部のカーソルを使用しないような場合には、当該カーソルが邪魔になるという問題があった。つまり、この場合、邪魔になるカーソルは画像の一部を隠蔽するように作用し、各端末間でのコミュニケーションの障害となる。
【０００４】
本発明は、以上の問題に着目して案出されたものであり、その目的は、相互に離れた場所間における人間同士のコミュニケーションツールとして有用となる映像コミュニケーションシステムを提供することにある。
【課題を解決するための手段】
【０００５】
（１）前記目的を達成するため、本発明は、少なくとも二組のカメラユニット間で画像データの通信が可能となる映像コミュニケーションシステムにおいて、
前記各カメラユニットは、連続配置された第１スクリーン及び第２スクリーンと、使用者の手で移動可能な操作具と、当該操作具の位置及び姿勢を検出する操作検出手段と、前記操作具の移動に対応した影画像を作成する影画像作成手段と、当該影画像作成手段で作成された影画像を前記第１スクリーンに投影する第１投影手段と、前記第１スクリーンに投影された影画像及びその周囲の状況を撮像する状況撮像手段と、他のカメラユニットにおける前記状況撮像手段からの画像を前記第２スクリーンに投影する第２投影手段とを備え、
前記影画像作成手段は、前記操作検出手段により検出された前記操作具の位置及び姿勢に基づいて前記操作具の仮想影画像を作成する、という構成を採っている。
【０００６】
（２）また、前記仮想影画像は、自己のカメラユニット内で延びる自己表示領域と、当該自己表示領域に連なって他のカメラユニット内で延びる相手方表示領域とにより構成され、
前記影画像作成手段は、前記自己表示領域と、他のカメラユニットで作成された前記相手方表示領域とを重ね合わせることで、前記影画像を作成する、という構成を採ることが好ましい。
【０００７】
（３）更に、前記各カメラユニットは、前記第１スクリーン上の物体を撮像する物体撮像手段を更に備え、
前記影画像作成手段は、前記物体撮像手段で撮像された画像データを二値化することで物体影画像を作成し、当該物体影画像を前記仮想影画像に重ね合わせることで、前記影画像を作成する、という構成を併用することが好ましい。
【０００８】
（４）また、前記第１スクリーンは、略水平配置される一方、前記第２スクリーンは、前記第１スクリーンの一端縁側から外側斜め上方に傾斜配置され、前記状況撮像手段は、前記第２スクリーンの最上端側からその面方向に沿う向きで撮像可能に配置される、という構成を採用するとよい。
【発明の効果】
【０００９】
前記（１）の構成によれば、第１スクリーンには、自己の仮想影画像が投影される一方、第１スクリーンに連なる第２スクリーンには、相手方の仮想影画像が投影され、カメラユニット双方において、自己及び相手方の仮想影画像を表示することができ、各カメラユニットの使用者間で、操作具の移動を伴ったコミュニケーションが可能となる。また、操作具をカメラユニットから遠ざかる一定の場所に保持しておくと、仮想影画像を作成させないようにすることができ、仮想影画像が不必要なときは、簡単にスクリーン上への投影を止めることができる。従って、テレビ会議システムに代表されるように、相互に離れた場所間での人間のコミュニケーションツールとして有用となる。
【００１０】
前記（２）のように構成することで、第１スクリーンに対し、自己の仮想影画像と相手方の仮想影画像とを重畳的に投影することができ、第１スクリーンの上に物体を設置した場合等、その物体に双方から仮想影画像をアクセスさせることができ、一方の場所にしか実存しない物体に対する議論や打ち合わせ等を効果的に行うことが可能となる。
【００１１】
前記（３）の構成によれば、第１スクリーン上における物体の実際の影の上に、仮想影画像と同様となる人工的な物体影画像が覆い被さることになり、物体の実際の影と前記仮想影映像との間の画質の違いやジャギーの有無による影の分離感を無くすことができる。
【００１２】
前記（４）の構成により、使用者が第２スクリーンに対面するように第１スクリーンの傍に存在したとき、当該使用者の様子と、第１スクリーン上の状況とを同時に撮像することができ、第２スクリーンに相手側の空間の状態をより多く投影させることができ、コミュニケーションツールとしてより有用となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例】
【００１４】
図１には、本発明の一実施例に係る映像コミュニケーションシステムの概略構成図が示されている。この図において、映像コミュニケーションシステム１０は、所定の画像データを作成する第１及び第２のカメラユニット１１，１２がインターネット等のＩＰネットワーク１４を介して接続され、各カメラユニット１１，１２間で画像データの通信が可能となっている。
【００１５】
前記第１及び第２のカメラユニット１１，１２は、相互に離れた別の場所に設置されるが、実質的に同一の構成となっている。従って、以下、第１のカメラユニット１１の構成について詳細に説明し、第２のカメラユニット１２の構成については、詳細な説明を省略する。以下、第１のカメラユニット１１と第２のカメラユニット１２とで、同一若しくは同等の構成部分については、符号として同一の数字を付し、当該数字の後に、第１のカメラユニット１１側のものであれば添字「Ａ」を付記し、第２のカメラユニット１２側のものであれば添字「Ｂ」を付記することとする。
【００１６】
なお、図１においては、図面の錯綜を回避するため、各カメラユニット１１，１２の各部材を支持するフレームの記載につき、一部を除き省略している。
【００１７】
前記第１のカメラユニット１１は、物体１５Ａが載る第１スクリーンとしての水平スクリーン１６Ａと、当該水平スクリーン１６Ａの一端縁側に連続配置された第２スクリーンとしての対面スクリーン１７Ａと、使用者の手で移動可能な棒状の操作具１９Ａと、水平スクリーン１６Ａ上の物体１５Ａを撮像する物体撮像手段としての第１カメラ２２Ａと、操作具１９Ａの位置及び姿勢を検出する操作検出手段としての磁気センサユニット２４Ａと、操作具１９Ａの移動に対応した影画像を作成する影画像作成手段を構成する端末２６Ａと、端末２６Ａで作成された影画像を水平スクリーン１６Ａに投影する第１投影手段としての第１プロジェクタ２８Ａと、水平スクリーン１６Ａに投影された影画像及びその周囲の状況を撮像する状況撮像手段としての第２カメラ３０Ａと、第２のカメラユニット１２の第２カメラ３０Ｂで撮像された画像を対面スクリーン１７Ａに投影する第２投影手段としての第２プロジェクタ３２Ａとを備えて構成されている。
【００１８】
前記水平スクリーン１６Ａは、平板状に設けられており、脚状のフレームＦに支持されて略水平に配置されている。
【００１９】
前記対面スクリーン１７Ａは、平板状に設けられており、水平スクリーン１６Ａの一端縁側から外側斜め上方に傾斜配置されている。対面スクリーン１７Ａには、第２のカメラユニット１２側の使用者３４Ｂの様子と、その水平スクリーン１６Ｂ上の状況とが映される。ここで、対面スクリーン１７Ａ内の使用者３４Ｂが、使用者３４Ａと対面するように映り、対面スクリーン１７Ａ内の水平スクリーン１６Ｂが、現存する水平スクリーン１６Ａと略線対称に映るようになっている。なお、使用者３４Ａは、対面スクリーン１７Ａに対面する水平スクリーン１６Ａの端縁側に立つように設定されている。
【００２０】
前記操作具１９Ａは、使用者３４Ａが手に持って操作するものであり、任意の方向に動かすことで、後述するように、操作具１９Ａの仮想影画像３６Ａの大きさや方向が変わるようになっている。
【００２１】
前記第１カメラ２２Ａは、ＣＣＤカメラによって構成され、水平スクリーン１６Ａの上方に設置されて当該水平スクリーン１６Ａ上の様子を撮像可能となっている。ここで、撮像された画像は、後述する端末２６Ａでの影画像の作成に用いられる。なお、第１プロジェクタ２８Ａから水平スクリーン１７Ａに投影された影画像と、当該影画像を作成するための水平スクリーン１６Ａ上の画像の取得との無限ループによる発散を防止するため、図示省略するが、第１カメラ２２Ａのレンズに偏光フィルタが取り付けられるとともに、水平スクリーン１７Ａの投影面となる上面側に偏光フィルムが貼り付けられている。つまり、これら偏光フィルタ及び偏光フィルムは、第１カメラ２２Ａによる画像の取得の際に、第１プロジェクタ２８Ａから投影された影画像をカットするように作用する。
【００２２】
前記磁気センサユニット２４Ａは、水平スクリーン１６Ａの角部に設置されたトランスミッタ３８Ａと、操作具１９Ａの先端側に取り付けられたレシーバ３９Ａと、これらトランスミッタ３８Ａ及びレシーバ３９Ａに有線若しくは無線によって繋がるコントロールユニット４０Ａとにより構成されている。この磁気センサユニット２４Ａは、コントロールユニット４０Ａからの指令によってトランスミッタ３８Ａの周囲に磁界を発生させ、レシーバ３９Ａの磁界の通過状況から、コントロールユニット４０Ａで、レシーバ３９Ａが取り付けられた操作具１９Ａの直交三軸方向の位置及び当該三軸回りの姿勢を同定可能とする公知構造が採用されている。従って、以下、詳細な装置構造についての説明を省略する。なお、前記操作検出手段として、超音波センサと磁気ジャイロを組み合わせた３次元位置の計測装置等、操作具１９Ａの位置及び姿勢を検出することができる他の装置を採用してもよい。
【００２３】
前記端末２６Ａは、第１カメラ２２Ａで取得した画像データと、磁気センサユニット２４Ａにより検出された操作具１９Ａの位置及び姿勢とに基づいて、操作具１９Ａの操作に対応した黒塗り状の仮想影画像３６Ａを含む影画像を作成するようになっている。また、端末２６Ａは、操作具１９Ａの位置及び姿勢等のデータや、作成された仮想影画像３６Ａに関する画像データ等を第２のカメラユニット１２の端末２６Ｂに送信するとともに、第２のカメラユニット１２側の操作具１９Ｂの位置及び姿勢等のデータや、そこで作成された仮想影画像３６Ｂに関する画像データ等を端末２６Ｂから受信するようになっている。
【００２４】
前記第１プロジェクタ２８Ａは、水平スクリーン１６Ａの上方に配置されており、端末２６Ａで作成された影画像は、鏡体４２Ａによる反射を伴って水平スクリーン１６Ａの上面に投影されることとなる。
【００２５】
前記第２カメラ３０Ａは、ＣＣＤカメラによって構成され、対面スクリーン１７Ａの最上端側からその面方向に沿う向きで、使用者３４Ａの様子及び水平スクリーン１６Ａ上の状況を撮像可能に配置されている。
【００２６】
前記第２プロジェクタ３２Ａは、第２のカメラユニット１２の第２カメラ３０Ｂの画像を対面スクリーン１７Ａの裏側から投影するようになっている。なお、第２プロジェクタ３２Ａと第２カメラ３０Ｂとの画像データの通信は、端末２６Ａ，２６Ｂ間の通信とは別の公知の画像通信手段によって行われるが、端末２６Ａ，２６Ｂを使って通信してもよい。
【００２７】
次に、前記映像コミュニケーションシステム１０における影画像の作成及び表示について説明する。なお、以下においては、主として第１のカメラユニット１１側について説明するが、第２のカメラユニット１２側についても同様である。
【００２８】
先ず、初期設定として、操作具１９Ａの固定情報、つまり、操作具１９Ａの長さや径、及びレシーバ３９Ａの取り付け位置に関する情報が、所定の入力動作によって端末２６Ａに記憶される。そして、水平スクリーン１６Ａ上の任意の位置に操作具１９Ａを置き、当該操作具１９Ａを第１カメラ２２Ａで撮像する。このとき、操作具１９Ａの画像を二値化し、水平スクリーン１６Ａ上の操作具１９Ａの基準位置を特定する。その後、水平スクリーン１６Ａ上に物体１５Ａを置くとともに、使用者３４Ａが操作具１９Ａを手に持って、対面スクリーン１７Ａに映っている相手方の物体１５Ｂ方向に操作具１９Ａを移動させる。すると、端末２６Ａにより、次のような画像処理が行われて、各フレーム（静止画）単位で前記影画像が作成される。
【００２９】
先ず、第１カメラ２２Ａにより、水平スクリーン１６Ａ上に設置された物体１５Ａが撮像され、その画像データが二値化されて、図２（Ａ）に示されるように、水平スクリーン１６Ａ上における物体１５Ａの存在領域に対応して、黒塗り状の物体影画像４７Ａが作成される。この物体影画像４７Ａは、後述するように、照明光等によって発生する物体１５Ａの実際の影の上に覆い隠すように第１プロジェクタ２８Ａから投影されることになる。これによって、前記実際の影と、仮想影画像４４Ａとの画質の違いやジャギーの有無に基づく影の分離感を低減させることができる。
これと前後して、磁気センサユニット２４Ａによって操作具１９Ａの位置及び姿勢が時系列的に特定され、それらの情報と、初期に設定された操作具１９Ａの前記基準位置の情報及び前記固定情報とから、原寸大の操作具１９Ａに対して変倍や角度変位等をさせる所定のアルゴリズムにより、操作具１９Ａの操作に応じて仮想影画像３６Ａの長さ、幅、位置、角度が決定される。つまり、操作具１９Ａの移動量に伴って、当該操作具１９Ａの真下が始点となる仮想影映像３６Ａの長さを延ばし、且つ、仮想影映像３６Ａの延伸方向を操作具１９Ａの移動方向に略一致させるようにする。本例のように、操作具１９Ａを物体１５Ｂ方向に移動させる場合には、仮想影画像３６Ａは、操作具１９Ａの真下から物体１５Ｂ方向に延びるように作成される。このときの仮想影映像３６Ａは、自己の第１カメラユニット１１内に延びる自己表示領域４４Ａと、当該自己表示領域４４Ａに連なって他の第２カメラユニット１２内に延びる相手方表示領域４５Ａとによって構成される。なお、操作具１９Ａの動作量が所定量以下のときは、相手方表示領域４５Ａは作成されず、仮想影映像３６Ａは、第１カメラユニット１１の水平スクリーン１６Ａ内及び第２カメラユニット１２の対面スクリーン１６Ｂ内のみで延びることとなる。
相手方表示領域４５Ａに関するデータは、相手方の第２カメラユニット１２側の端末２６Ｂに送信される。その反対に、端末２６Ｂで作成された仮想影映像３６Ｂのうち、第１のカメラユニット１１内に延びる相手方表示領域４５Ｂに関するデータが、端末２６Ａに受信される。
そして、図２（Ｂ）に示されるように、前記物体影画像４７Ａと、第１カメラユニット１１側で作成された仮想影画像３６Ａの中の自己表示領域４４Ａと、第２カメラユニット１２側で作成された仮想影画像３６Ｂの中の相手側表示領域４５Ｂとが、それぞれ重ね合わされ影画像が作成される。
【００３０】
このようにして作成された影画像は、第１プロジェクタ２８Ａから水平スクリーン１６Ａ上に投影される。水平スクリーン１６Ａ上には、使用者３４Ａの意思に基づいて作成された自己表示領域４４Ａと、相手方となる使用者３４Ｂの意思に基づいて作成された相手側表示領域４５Ｂとが映され、それらを含む影画像は、使用者３４Ａの様子とともに第２カメラ３０Ａで撮像され、第２のカメラユニット１２側の対面スクリーン１７Ｂに映し出される。一方、第１のカメラユニット１２側の対面スクリーン１７Ａには、第２のカメラユニット１２側の影画像と使用者３４Ｂが映し出される。
従って、各スクリーン１６Ａ，１７Ａ間においては、使用者３４Ａの意思に基づく自己表示領域４４Ａと相手方表示領域４５Ａとが繋がるとともに、相手方となる使用者３４Ｂの意思に基づく自己表示領域４４Ｂと相手方表示領域４５Ｂとが繋がることになって、離れた空間でのコミュニケーションを、あたかも同一の空間内で行うかのような感覚で行うことが可能となる。
【００３１】
従って、このような実施例によれば、異なる場所にそれぞれ設置された物体１５Ａ，１５Ｂに対して、自分の場所に存在せずに相手側の場所に実存する物体１５Ａ，１５Ｂの部分等を必要に応じて、仮想影画像３６Ａ，３６Ｂにより指示することができ、その指示を双方のカメラユニット１１，１２で表示可能となることから、テレビ会議システム等のコミュニケーションツールとして有効活用することができる。
【００３２】
前記仮想影画像３６Ａ，３６Ｂを作成する際に、操作具１９Ａ，１９Ｂをある程度速く動かしたときに、より長く延びた仮想影画像３６Ａ，３６Ｂを作成するようにしてもよく、この場合には、痴呆症や自閉症患者の治療装置として利用価値がある。操作具の速度や角速度は、磁気センサユニット２４Ａ，２４Ｂによるフレーム毎の位置、姿勢の変化から各フレーム間の経過時間をタイマで測定して演算によって求められる。
【００３３】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例に係る映像コミュニケーションシステムの概略構成図。
【図２】（Ａ）は、物体影画像の状態を示す平面的な模式図であり、（Ｂ）は、（Ａ）の状態に仮想影画像を重ね合わせた状態を示す平面的な模式図である。
【符号の説明】
【００３５】
１０  映像コミュニケーションシステム
１１  第１のカメラユニット
１２  第２のカメラユニット
１５Ａ，１５Ｂ  物体
１６Ａ，１６Ｂ  水平スクリーン（第１スクリーン）
１７Ａ，１７Ｂ  対面スクリーン（第２スクリーン）
１９Ａ，１９Ｂ  操作具
２２Ａ，２２Ｂ  第１カメラ（物体撮像手段）
２４Ａ，２４Ｂ  磁気センサユニット（操作検出手段）
２６Ａ，２６Ｂ  端末（影画像作成手段）
２８Ａ，２８Ｂ  第１プロジェクタ（第１投影手段）
３０Ａ，３０Ｂ  第２カメラ（状況撮像手段）
３２Ａ，３２Ｂ  第２プロジェクタ（第２投影手段）
３４Ａ，３４Ｂ  使用者
３６Ａ，３６Ｂ  仮想影画像
４４Ａ，４４Ｂ  自己表示領域
４５Ａ，４５Ｂ  相手側表示領域
４７Ａ．４７Ｂ  物体影画像
【図１】
2005252913.tif 000003
【図２】
2005252913.tif 000004