(57)【要約】【課題】テクノロジーを感じさせる体験型の企画として用いることができ、写したいものだけをリアル空間から切り取って撮影することのできる撮影システム、撮影制御プログラムおよび撮影制御装置を提供する。【解決手段】所定のリアル空間を撮影するカメラと、前記カメラの撮影画像を処理する情報処理装置とを備え、前記情報処理装置は、前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、検出した照射点の軌跡が閉曲線を形成することを検出する閉曲線検出手段と、閉曲線の形成を検出した場合に当該閉曲線内の撮影画像を取得する閉曲線内画像取得手段とを備える。【選択図】図１
2015216512.tif 000002
【特許請求の範囲】
【請求項１】
所定のリアル空間を撮影するカメラと、
前記カメラの撮影画像を処理する情報処理装置と
を備え、
前記情報処理装置は、
前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、
検出した照射点の軌跡が閉曲線を形成することを検出する閉曲線検出手段と、
閉曲線の形成を検出した場合に当該閉曲線内の撮影画像を取得する閉曲線内画像取得手段と
を備えたことを特徴とする撮影システム。
【請求項２】
請求項１に記載の撮影システムにおいて、
前記リアル空間に所定の映像の投影を行うプロジェクタを備え、
前記情報処理装置は、前記プロジェクタの映像上の座標値と前記カメラの撮影画像上の座標値との対応を管理する座標値管理手段を備え、
前記閉曲線検出手段は、前記プロジェクタの映像上の座標値からレーザポインタによる照射点の軌跡が閉曲線を形成することを検出する
ことを特徴とする撮影システム。
【請求項３】
請求項１または２のいずれか一項に記載の撮影システムにおいて、
前記情報処理装置は、前記閉曲線内画像取得手段が取得した画像のプリント指示を行う手段を備えたことを特徴とする撮影システム。
【請求項４】
請求項１乃至３のいずれか一項に記載の撮影システムにおいて、
前記閉曲線内画像取得手段は、閉曲線の始点をレーザポインタにより照射した時点または閉曲線の終点を照射した時点の前記閉曲線内の撮影画像の静止画像を取得する
ことを特徴とする撮影システム。
【請求項５】
請求項１乃至３のいずれか一項に記載の撮影システムにおいて、
前記閉曲線内画像取得手段は、閉曲線の始点をレーザポインタにより照射した時点から閉曲線の終点を照射した時点までの前記閉曲線内の撮影画像の動画像またはコマ抜き静止画像を取得する
ことを特徴とする撮影システム。
【請求項６】
コンピュータを、
所定のリアル空間を撮影するカメラから撮影画像を取得する撮影画像取得手段、
前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段、
検出した照射点の軌跡が閉曲線を形成することを検出する閉曲線検出手段、
閉曲線の形成を検出した場合に当該閉曲線内の撮影画像を取得する閉曲線内画像取得手段
として機能させることを特徴とする撮影制御プログラム。
【請求項７】
所定のリアル空間を撮影するカメラから撮影画像を取得する撮影画像取得手段と、
前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、
検出した照射点の軌跡が閉曲線を形成することを検出する閉曲線検出手段と、
閉曲線の形成を検出した場合に当該閉曲線内の撮影画像を取得する閉曲線内画像取得手段と
を備えたことを特徴とする撮影制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによる撮影を制御する技術に関する。
【背景技術】
【０００２】
イベント等の会場において、参加者にカメラが貸与され、参加者により撮影された画像がプリントされて参加者の利用に供されるサービスが行われることがある（例えば、特許文献１等を参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述したサービスでは、通常の撮影操作、すなわち、カメラを手に持って写したい被写体に向けてシャッターを切るという操作が行われるだけで、カメラを使用すること自体には何ら新しさはない。また、カメラは矩形のフレームに収まる画像を取得するだけであって、必ずしも写したいものだけを写しているわけではない。
【０００４】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、テクノロジーを感じさせる体験型の企画として用いることができ、写したいものだけをリアル空間から切り取って撮影することのできる撮影システム、撮影制御プログラムおよび撮影制御装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明にあっては、所定のリアル空間を撮影するカメラと、前記カメラの撮影画像を処理する情報処理装置とを備え、前記情報処理装置は、前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、検出した照射点の軌跡が閉曲線を形成することを検出する閉曲線検出手段と、閉曲線の形成を検出した場合に当該閉曲線内の撮影画像を取得する閉曲線内画像取得手段とを備える。
【発明の効果】
【０００６】
本発明にあっては、テクノロジーを感じさせる体験型の企画として用いることができ、写したいものだけをリアル空間から切り取って撮影することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態にかかるシステムの構成例を示す図である。
【図２】各装置の内部構成例を示す図である。
【図３】実施形態の処理例を示すシーケンス図である。
【図４】レーザポインタによる閉曲線の形成および印刷画像の例を示す図である。
【図５】実施形態のより詳細な処理例を示すフローチャートである。
【図６】変換用パターンの例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の好適な実施形態につき説明する。
【０００９】
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、家具等が配置された室内等のリアル空間１には、ＰＣ（Personal Computer）等の情報処理装置２と、映像の投影を行うプロジェクタ３と、撮影を行うカメラ４とが設けられ、プロジェクタ３とカメラ４は情報処理装置２に接続されている。プロジェクタ３はリアル空間１の所定範囲に映像の投影を行うように配置され、カメラ４はプロジェクタ３の投影範囲を撮影するように配置される。また、情報処理装置２にはプリンタ６が接続されている。そして、利用者はレーザポインタ５によりリアル空間１に光線を照射してポインティング操作を行うことで、リアル空間１から画像を切り取り、プリンタ６によりプリントさせることができる。
【００１０】
図２は各装置の内部構成例を示す図である。図２において、情報処理装置２は、統括制御部２０１と撮影制御部２０２と変換用パターン出力部２０３と映像信号伝送部２０４と映像信号入力部２０５と変換係数演算部２０６と照射点検出部２０７と変換処理部２０８と閉曲線検出部２０９と補助画像生成部２１０と画像保持部２１１と画像切取・保持部２１２とプリント制御部２１３とを備えている。各部は主にコンピュータのハードウェアとその上で実行されるコンピュータプログラムにより実現される。
【００１１】
プロジェクタ３は、映像信号入力部３０１と映像処理部３０２と駆動制御部３０３とランプ電源３０４とランプ３０５とモータ３０６とカラーホイール３０７と画像形成部３０８と同期信号出力部３０９とを備えている。ランプ電源３０４、ランプ３０５、モータ３０６およびカラーホイール３０７を除いた各部は主にコンピュータのハードウェアとその上で実行されるコンピュータプログラムにより実現される。なお、レンズやミラー等の光学系については図示を省略している。
【００１２】
情報処理装置２の統括制御部２０１は、情報処理装置２における処理の全体的な制御を行う機能を有している。
【００１３】
撮影制御部２０２は、プロジェクタ３の同期信号出力部３０９から同期信号を入力し、カメラ４に対して撮影期間の制御を行う機能を有している。ここで、同期信号は、レーザポインタ５（図１）の発光色がプロジェクタ３から投影される光色と被らないようにし、レーザポインタ５の照射点の検出ができなくなるのを防止するためのものである。より具体的には、プロジェクタ３の画像形成部３０８が１つのＤＭＤ（Digital Micromirror Device）素子で構成され、カラー映像の投影にカラーホイール３０７が用いられる場合には、レーザポインタ５の発光色と、カラーホイール３０７の回転位置の色とが被らない期間を同期信号は示す。プロジェクタ３の画像形成部３０８がＬＣＤ（Liquid Crystal Display）素子で構成される場合には、フレーム単位等に映像を投影しない期間を同期信号は示す。
【００１４】
変換用パターン出力部２０３は、初期設定モードにおいて、プロジェクタ３から投影する変換用パターンを出力する機能を有している。変換用パターンは、プロジェクタ３により投影する映像の画素位置と、カメラ４により撮影されたリアル空間１の映像の画素位置とを、射影変換により一致させるための変換係数（行列値）を算出するために用いられる。
【００１５】
映像信号伝送部２０４は、プロジェクタ３に対して映像信号を出力する機能を有している。より具体的には、初期設定モードにおいては変換用パターン出力部２０３からの変換用パターンを出力し、通常モードにおいては全面黒画像の映像信号（補助画像を投影する場合には補助画像生成部２１０の出力する補助画像を含む映像信号）を出力する。
【００１６】
映像信号入力部２０５は、カメラ４で撮影された映像信号を入力する機能を有している。
【００１７】
変換係数演算部２０６は、初期設定モードにおいて、変換用パターンの撮影画像の画素位置を元の変換用パターン（投影画像）の画素位置に一致させる射影変換の変換係数を算出し、算出した変換係数を保持する機能を有している。すなわち、変換係数演算部２０６は、変換用パターン出力部２０３の出力する変換用パターンと映像信号入力部２０５の出力する映像信号の撮影画像に基づいて変換係数を算出し、算出した変換係数を保持する。
【００１８】
照射点検出部２０７は、通常モードにおいて、映像信号入力部２０５の出力する映像信号の撮影画像から、レーザポインタ５による照射点を検出（撮影画像における照射点の座標値を検出）する機能を有している。
【００１９】
変換処理部２０８は、変換処理部２０８の検出した照射点の撮影画像における座標値を、変換係数演算部２０６の保持する変換係数に基づいて、投影画像における座標値に座標変換（射影変換）する機能を有している。
【００２０】
閉曲線検出部２０９は、変換処理部２０８の出力する照射点の座標値を追跡し、その軌跡が閉曲線を形成するか否か判断する機能を有している。
【００２１】
補助画像生成部２１０は、変換処理部２０８の出力する照射点の座標値を強調表示（照射点の周囲に円を表示等）したり、閉曲線検出部２０９が検出した閉曲線を強調表示（閉曲線の図形を表示等）したりする補助画像を生成し、映像信号伝送部２０４に出力する機能を有している。
【００２２】
画像保持部２１１は、映像信号入力部２０５の出力する映像信号の静止画像、コマ抜き静止画像または動画像を所定のタイミングまたは期間に取得し、時間情報と対応付けて保持する機能を有している。
【００２３】
画像切取・保持部２１２は、閉曲線検出部２０９が閉曲線を検出した場合に、画像保持部２１１の保持する静止画像または動画像から閉曲線の内側の領域を切り取り、保持する機能を有している。
【００２４】
プリント制御部２１３は、画像切取・保持部２１２が切り取った画像に基づいてプリンタ６にプリント指示を行う機能を有している。
【００２５】
一方、プロジェクタ３の映像信号入力部３０１は、情報処理装置２の映像信号伝送部２０４から投影のための映像信号を入力する機能を有している。
【００２６】
映像処理部３０２は、映像信号入力部３０１の入力した映像信号に対して各種の画像処理を行う機能を有している。具体的には、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネス、拡大縮小等の画像処理を行う。
【００２７】
駆動制御部３０３は、投影する映像信号に応じ、ランプ電源３０４、モータ３０６および画像形成部３０８の制御を行う機能を有している。
【００２８】
ランプ電源３０４は、光源となるランプ３０５に電源を供給する機能を有している。
【００２９】
モータ３０６は、画像形成部３０８が１つのＤＭＤ素子で構成される場合にカラー映像の投影を行うためのカラーホイール３０７の同期回転を行う機能を有している。
【００３０】
画像形成部３０８は、映像処理部３０２の出力である映像信号を再生する機能を有しており、ＤＭＤ素子またはＬＣＤ素子から構成される。
【００３１】
同期信号出力部３０９は、駆動制御部３０３の制御タイミングに基づき、情報処理装置２に対して撮影のための同期信号を出力する機能を有している。
【００３２】
＜動作＞
図３は上記の実施形態の処理例を示すシーケンス図である。なお、通常モードでの処理の概要を説明する。初期設定モードを含め、処理の詳細は後述する。
【００３３】
図３において、利用者がレーザポインタ５を用いてリアル空間１に対してポインティングを開始すると（ステップＳ１０１）、情報処理装置２は、照射点の検出、座標変換、および、閉曲線の検出を行う（ステップＳ１０２）。
【００３４】
ポインティングが終了し（ステップＳ１０３）、情報処理装置２は、閉曲線を検出した場合、閉曲線の始点のポインティング時または終点のポインティング時の画像を取得する（ステップＳ１０４）。
【００３５】
そして、情報処理装置２は、取得した画像から閉曲線の内側の画像を抽出（切取）し（ステップＳ１０５）、その画像について、プリンタ６に対してプリント指示を行う（ステップＳ１０６）。プリンタ６は、プリント指示に基づいてプリントを行う（ステップＳ１０７）。
【００３６】
図４（ａ）はレーザポインタ５により楕円状に閉曲線を形成した例を示しており、図４（ｂ）はその閉曲線により切り取られプリントされる画像を示している。
【００３７】
なお、閉曲線で切り取った画像はプリンタ６によりプリントするだけでなく、記録媒体に記録して利用者に提供したり、ネットワーク上のサーバを経由して利用者が取得できるようにしてもよい。また、画像は静止画像だけでなく、動画像でもよいし、動画像をコマ抜きした複数枚の静止画像としてもよい。更に、通常の紙面へのプリントに代え、３Ｄプリンタによる立体物の成形としてもよい。この場合、カメラ４としては３Ｄ撮影が行えるステレオカメラ（離間した２つのカメラを内蔵）とする。
【００３８】
図５は上記の実施形態のより詳細な処理例を示すフローチャートである。図５において、情報処理装置２は、処理を開始すると、初期設定モードであるか否により処理を分岐する（ステップＳ１１１）。
【００３９】
初期設定モードである場合（ステップＳ１１１のＹｅｓ）、変換用パターン出力部２０３から変換用パターンの画像を出力し、映像信号伝送部２０４からプロジェクタ３に出力する（ステップＳ１１２）。図６は変換用パターンの例を示す図であり、（ａ）はチェックパターン（市松模様）の例、（ｂ）は格子パターンの例、（ｃ）はドットパターンの例である。
【００４０】
図５に戻り、プロジェクタ３は映像信号入力部３０１から投影用の映像信号を入力し、映像処理部３０２で所定の画像処理を施した後、駆動制御部３０３により画像形成部３０８に画像形成を行う。それをランプ３０５の光源によりリアル空間１に対して投影する。
【００４１】
カメラ４は撮影制御部２０２の制御により、同期信号に同期してリアル空間１を撮影し、情報処理装置２は、カメラ４の撮影した映像信号を映像信号入力部２０５により入力する（ステップＳ１１３）。
【００４２】
変換係数演算部２０６は、変換用パターン出力部２０３の出力する変換用パターンと映像信号入力部２０５により入力した映像信号の画像とから、両者を一致させる変換係数を算出して保持する（ステップＳ１１４）。そして、初期設定モードの判断（ステップＳ１１１）に戻る。
【００４３】
一方、初期設定モードでない場合（ステップＳ１１１のＮｏ）、すなわち、通常モードである場合、映像信号伝送部２０４から全面黒画像の映像信号をプロジェクタ３に出力する（ステップＳ１１５）。プロジェクタ３は映像信号入力部３０１から投影用の映像信号を入力し、映像処理部３０２で所定の画像処理を施した後、駆動制御部３０３により画像形成部３０８に画像形成を行う。それをランプ３０５の光源によりリアル空間１に対して投影する。
【００４４】
カメラ４は撮影制御部２０２の制御により、同期信号に同期してリアル空間１を撮影し、情報処理装置２は、カメラ４の撮影した映像信号を映像信号入力部２０５により入力する（ステップＳ１１６）。
【００４５】
照射点検出部２０７は、映像信号入力部２０５により入力した映像信号の画像からレーザポインタ５の照射点を検出する（ステップＳ１１７）。
【００４６】
変換処理部２０８は変換係数演算部２０６の保持する変換係数に基づいて照射点の座標変換を行う（ステップＳ１１８）。
【００４７】
閉曲線検出部２０９は照射点の座標変換された座標値を追跡することで閉曲線が形成されたか否か判定する（ステップＳ１１９）。閉曲線は、照射点の軌跡がループ（始点と終点が一致）することで判断する。
【００４８】
そして、閉曲線が検出されない場合（ステップＳ１２０のＮｏ）、初期設定モードの判断（ステップＳ１１１）に戻る。
【００４９】
閉曲線が検出された場合（ステップＳ１２０のＹｅｓ）、画像切取・保持部２１２は、閉曲線の始点の検出時または終点の検出時の映像信号の画像を画像保持部２１１から取得し（ステップＳ１２１）、検出した閉曲線の内側の画像を抽出する（ステップＳ１２２）。なお、閉曲線検出部２０９は、必要に応じて、検出された閉曲線のスムージング（手ぶれによる座標値の細かい揺れを補正）等の補正を行うことができる。
【００５０】
そして、プリント制御部２１３は、抽出した画像をプリンタ６に出力する（ステップＳ１２３）。
【００５１】
なお、照射点の座標変換された座標値から閉曲線を検出する場合について説明したが、座標変換していない撮影画像上の照射点の座標値から閉曲線を検出するようにしてもよい。また、閉曲線のスムージングについても、座標変換していない撮影画像上の照射点の座標値に対して行ってもよい。
【００５２】
＜総括＞
以上説明したように、本実施形態によれば、テクノロジーを感じさせる体験型の企画として用いることができ、写したいものだけをリアル空間から切り取って撮影することができる。
【００５３】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００５４】
１          リアル空間
２          情報処理装置
２０１      統括制御部
２０２      撮影制御部
２０３      変換用パターン出力部
２０４      映像信号伝送部
２０５      映像信号入力部
２０６      変換係数演算部
２０７      照射点検出部
２０８      変換処理部
２０９      閉曲線検出部
２１０      補助画像生成部
２１１      画像保持部
２１２      画像切取・保持部
２１３      プリント制御部
３          プロジェクタ
３０１      映像信号入力部
３０２      映像処理部
３０３      駆動制御部
３０４      ランプ電源
３０５      ランプ
３０６      モータ
３０７      カラーホイール
３０８      画像形成部
３０９      同期信号出力部
４          カメラ
５          レーザポインタ
６          プリンタ
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２００１−３４６１３６号公報
【図２】
2015216512.tif 000003
【図３】
2015216512.tif 000004
【図５】
2015216512.tif 000005
【図６】
2015216512.tif 000006
【図１】
2015216512.tif 000007
【図４】
2015216512.tif 000008