(57)【要約】【課題】別の空間で撮影された被写体を違和感なく投影する。【解決手段】映像編集部１２が映像から被写体を抽出し、スクリーン制御部１３が被写体の形状に合わせてスクリーン２０の不透明部分を作成し、映像投影部１４が被写体のみの映像をスクリーン２０に投影する。これにより、スクリーン２０には被写体のみが投影されるとともに、被写体以外の箇所は透明となるので、別の撮影場所で撮影された被写体を違和感なく投影場所に投影することが可能となる。【選択図】図１
2017028430.tif 000002
【特許請求の範囲】
【請求項１】
部分領域ごとに透明と不透明とを設定可能なスクリーンに映像を投影する投影方法であって、
入力した映像から所望の被写体を抽出するステップと、
前記被写体の形状に等しい形状の不透明領域が形成されるように前記スクリーンを制御するステップと、
前記不透明領域に前記被写体を投影するステップと、
を有することを特徴とする投影方法。
【請求項２】
前記不透明領域に投影された前記被写体を撮影するステップと、
抽出した前記被写体と投影した前記被写体とを比較するステップと、
比較した結果に応じて前記不透明領域を制御するステップと、
を有することを特徴とする請求項１記載の投影方法。
【請求項３】
前記被写体を投影する投影装置が備えた部分領域ごとに透明と不透明とを設定可能な遮蔽マスクを前記被写体以外の部分が遮光されるように制御するステップを有することを特徴とする請求項１又は２記載の投影方法。
【請求項４】
部分領域ごとに透明と不透明とを設定可能なスクリーンに映像を投影する投影装置であって、
入力した映像から所望の被写体を抽出する抽出手段と、
前記被写体の形状に等しい形状の不透明領域が形成されるように前記スクリーンを制御する制御手段と、
前記不透明領域に前記被写体を投影する投影手段と、
を有することを特徴とする投影装置。
【請求項５】
前記不透明領域に投影された前記被写体を撮影する撮影手段を有し、
前記制御手段は、抽出した前記被写体と投影した前記被写体とを比較し、比較した結果に応じて前記不透明領域を制御することを特徴とする請求項４記載の投影装置。
【請求項６】
前記投影手段は、部分領域ごとに透明と不透明とを設定可能な遮蔽マスクを備え、
前記制御手段は、前記遮蔽マスクを前記被写体以外の部分が遮光されるように制御することを特徴とする請求項４又は５記載の投影装置。
【請求項７】
請求項１乃至３のいずれかに記載の投影方法をコンピュータに実行させることを特徴とする投影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意の場所で撮影した映像を、別の場所に投影する技術に関する。
【背景技術】
【０００２】
近年、映像の高精細化、伝送技術、投影技術の発達を背景として、遠隔地の他者と自然な形でコミュニケーションを行うためのシステムが検討されている。これらのシステムにおいて、存在感の醸成や臨場感の向上を実現するためには、任意の地点で撮影された被写体が、撮影場所とは異なる投影場所にあたかも存在しているように投影されることが重要となる。
【０００３】
非特許文献１では、撮影場所より送られてきた映像から背景除去技術を用いて被写体を抽出し、予め用意しておいたＣＧ空間に合成することにより、仮想的な会議室を作成している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】里田浩三、平池龍一、「多地点臨場感会議システム『サイバーサークル』における仮想会議環境映像提示手法」、信学技報、社団法人電子情報通信学会、2000年2月21日、Vol. 99、No. 647、pp.7-12
【発明の概要】
【発明が解決しようとする課題】
【０００５】
背景を含めて被写体を撮影した映像を別の現実空間に投影する場合、撮影場所の背景と投影場所の背景との整合性が取れず、被写体の実在性が著しく損なわれてしまうという問題があった。被写体のみを抽出して投影することで背景の整合性が取れない問題は解決するが、投影場所に設置したスクリーンによって投影場所の背景が隠れてしまうという問題があった。
【０００６】
非特許文献１では、事前に準備したＣＧ空間上に撮影した被写体を合成するに留まり、別の現実空間上に被写体を投影することに関しては述べられていない。
【０００７】
本発明は、上記に鑑みてなされたものであり、別の空間で撮影された被写体を違和感なく投影することを目的とする。
【課題を解決するための手段】
【０００８】
第１の本発明に係る投影方法は、部分領域ごとに透明と不透明とを設定可能なスクリーンに映像を投影する投影方法であって、入力した映像から所望の被写体を抽出するステップと、前記被写体の形状に等しい形状の不透明領域が形成されるように前記スクリーンを制御するステップと、前記不透明領域に前記被写体を投影するステップと、を有することを特徴とする。
【０００９】
上記投影方法において、前記不透明領域に投影された前記被写体を撮影するステップと、抽出した前記被写体と投影した前記被写体とを比較するステップと、比較した結果に応じて前記不透明領域を制御するステップと、を有することを特徴とする。
【００１０】
上記投影方法において、前記被写体を投影する投影装置が備えた部分領域ごとに透明と不透明とを設定可能な遮蔽マスクを前記被写体以外の部分が遮光されるように制御するステップを有することを特徴とする。
【００１１】
第２の本発明に係る投影装置は、部分領域ごとに透明と不透明とを設定可能なスクリーンに映像を投影する投影装置であって、入力した映像から所望の被写体を抽出する抽出手段と、前記被写体の形状に等しい形状の不透明領域が形成されるように前記スクリーンを制御する制御手段と、前記不透明領域に前記被写体を投影する投影手段と、を有することを特徴とする。
【００１２】
上記投影装置において、前記不透明領域に投影された前記被写体を撮影する撮影手段を有し、前記制御手段は、抽出した前記被写体と投影した前記被写体とを比較し、比較した結果に応じて前記不透明領域を制御することを特徴とする。
【００１３】
上記投影装置において、前記投影手段は、部分領域ごとに透明と不透明とを設定可能な遮蔽マスクを備え、前記制御手段は、前記遮蔽マスクを前記被写体以外の部分が遮光されるように制御することを特徴とする。
【００１４】
第３の本発明に係る投影プログラムは、上記投影方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、別の空間で撮影された被写体を違和感なく投影することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態におけるテレプレゼンスプロジェクションシステムの構成を示す図である。
【図２】本実施の形態におけるテレプレゼンスプロジェクションシステムの処理の流れを示すフローチャートである。
【図３】本実施の形態におけるテレプレゼンスプロジェクションシステムの別の構成を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を用いて説明する。
【００１８】
図１は、本実施の形態におけるテレプレゼンスプロジェクションシステムの構成を示す図である。同図に示すテレプレゼンスプロジェクションシステムは、映像取得部１１、映像編集部１２、スクリーン制御部１３、映像投影部１４、補正用カメラ１５、およびスクリーン２０を備える。
【００１９】
映像取得部１１は、撮影場所に設置されたカメラであり、被写体を撮影する。撮影した映像には背景が含まれていてもよい。映像取得部１１が撮影した映像は映像編集部１２に送信される。撮影する映像は静止画でも動画でもよい。
【００２０】
映像編集部１２は、映像取得部１１が撮影した映像から任意の被写体のみを抽出した映像を作成する。抽出する被写体は、自動または手動で選択できるものとする。自動で被写体を選択する場合は、映像から顕著性マップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成して最も顕著性が高い対象を選択する方法が考えられる。一方、手動で被写体を選択する場合は、抽出したい被写体の一部を明に選択する方法が考えられる。被写体の抽出には非特許文献１で述べられている背景除去記述と同様の技術を用いることができる。
【００２１】
映像編集部１２は、被写体を選択後、背景にあたる余分な情報を削除し、被写体のみを抽出した映像を作成する。被写体のみの映像は、スクリーン制御部１３と映像投影部１４に送信される。
【００２２】
スクリーン制御部１３は、被写体の形状に合わせてスクリーン２０内の透明部分と不透明部分を動的に変更する。スクリーン２０は、例えばウムフィルム（登録商標）などの電圧を印加することで透明・不透明を制御できる調光フィルムをセル状に敷き詰めて形成し、部分領域（例えばピクセル単位）ごとに透明部分と不透明部分を切り替えられるようにする。スクリーン制御部１３は、被写体の形状に合わせて、被写体が投影されない部分に対応する個々のフィルムに対して電圧を印加して透明にする。これにより、スクリーン２０上に被写体が投影される不透明部分が生成される。
【００２３】
映像投影部１４は、投影場所に設置されたスクリーン２０に映像を投影するプロジェクタであり、映像編集部１２から受信した被写体のみの映像をスクリーン２０に投影する。
【００２４】
映像投影部１４とスクリーン２０が固定されておらず、映像投影部１４とスクリーン２０との間の距離が変化するとスクリーン２０に投影される被写体の大きさや角度が変わるため、被写体と被写体を映す不透明部分が一致しないことが考えられる。そこで、本実施の形態では、補正用カメラ１５によりスクリーン２０に投影された被写体を撮影し、スクリーン制御部１３が補正用カメラ１５で撮影した映像と映像編集部１２から受信した被写体のみの映像を比較し、被写体が正しくスクリーン２０に投影されるようにスクリーン２０を制御して不透明部分を変更する。
【００２５】
なお、映像編集部１２及びスクリーン制御部１３は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはコンピュータが備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００２６】
次に、本実施の形態におけるテレプレゼンスプロジェクションシステムの動作について説明する。
【００２７】
図２は、本実施の形態におけるテレプレゼンスプロジェクションシステムの処理の流れを示すフローチャートである。
【００２８】
映像取得部１１が撮影場所の映像を取得する（ステップＳ１１）。
【００２９】
映像編集部１２が映像から被写体を抽出する（ステップＳ１２）。
【００３０】
スクリーン制御部１３が被写体の形状に合わせてスクリーン２０の不透明部分を作成する（ステップＳ１３）。
【００３１】
映像投影部１４が被写体のみの映像をスクリーン２０に投影する（ステップＳ１４）。
【００３２】
以上の処理により、撮影場所の被写体が投影場所のスクリーン２０上に投影される。スクリーン２０上の被写体が投影されない部分は透明となるので、スクリーン２０によって投影場所の背景が隠れることはない。
【００３３】
次に、本実施の形態におけるテレプレゼンスプロジェクションシステムの別の構成について説明する。
【００３４】
図３は、本実施の形態におけるテレプレゼンスプロジェクションシステムの別の構成を示す図である。同図に示す例では、映像投影部１４のレンズに、透明部分と不透明部分を動的に変更可能な遮蔽マスク２１を設置した。スクリーン制御部１３は、被写体以外を映す領域に該当する部分が不透明となるように遮蔽マスク２１を制御する。これにより、被写体以外の部分を映す余計な光を遮光でき、投影場所の背景に余計な光が照射されることを防止し、より自然な状況を作り出すことが可能となる。
【００３５】
以上説明したように、本実施の形態によれば、映像編集部１２が映像から被写体を抽出し、スクリーン制御部１３が被写体の形状に合わせてスクリーン２０の不透明部分を作成し、映像投影部１４が被写体のみの映像をスクリーン２０に投影することにより、スクリーン２０には被写体のみが投影されるとともに、被写体以外の箇所は透明となるので、別の撮影場所で撮影された被写体を違和感なく投影場所に投影することが可能となる。特に、撮影場所では予め準備をする必要がなく、ただ被写体を撮影するだけでよい。
【００３６】
本実施の形態によれば、補正用カメラ１５でスクリーン２０を撮影し、スクリーン制御部１３が撮影した映像と被写体のみの映像を比較し、比較した結果に応じてスクリーン２０の不透明部分を制御することで、映像投影部１４とスクリーン２０とを固定せずに自由に移動させることが可能となる。このとき、被写体の行動を、スクリーン２０の枠の大きさや背景の変化に制限されることなく反映できる。
【００３７】
本実施の形態によれば、映像投影部１４に透明部分と不透明部分を動的に変更可能な遮蔽マスク２１を設置し、投影する被写体に合わせて遮光部分を制御することで、被写体以外の部分の余計な光を遮光することができる。
【符号の説明】
【００３８】
１１…映像取得部
１２…映像編集部
１３…スクリーン制御部
１４…映像投影部
１５…補正用カメラ
２０…スクリーン
２１…遮蔽マスク
【図１】
2017028430.tif 000003
【図２】
2017028430.tif 000004
【図３】
2017028430.tif 000005