(57)【要約】【課題】被投影物が形状変化や移動等をしても、被投影物の表面にテクスチャをマッピングできるようにする。【解決手段】プロジェクションマッピング装置１の画像処理装置４は、電子カメラ４３によって撮像された被投影物９９の像を含む画像を入力する画像入力処理と、画像入力処理によって入力された画像７０を電子カメラ４３の座標系から表示画面の座標系に座標変換する座標変換処理と、座標変換処理によって変換された画像７２のうち被投影物９９の像７３の閉領域７３ａを抽出する領域抽出処理と、領域抽出処理によって抽出された閉領域７３ａにオブジェクト４１ｂをマッピングするマッピング処理と、マッピング処理によってマッピングされたオブジェクト４１ｂを含む画面の映像信号を生成する映像信号生成処理と、を繰り返し行うコンピュータ４０を備える。【選択図】図２
2013192189.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得手段と、
前記画像取得手段から取得された画像から前記被投影物の投影領域を抽出する領域抽出手段と、
前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域抽出手段は、前記被投影物の投影領域の変化を抽出し、
前記マッピング手段は、前記領域抽出手段によって抽出された投影領域の変化に対応したオブジェクトをマッピングする、
ことを特徴とした請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出手段は、前記被投影物の複数の投影領域を抽出し、
前記マッピング手段は、前記領域抽出手段によって抽出された複数の投影領域ぞれぞれに対応したオブジェクトをマッピングする、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記被投影物の変化を検知するトリガセンサを更に備え、
前記領域抽出手段は、前記トリガセンサが変化を検知したら前記投影領域の変化を抽出する、
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記撮像手段から転送された複数のフレームに基づいて投影領域の変化を抽出することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項６】
前記マッピングされたオブジェクトを含む画面の映像信号を生成する映像信号生成手段を更に備える、
ことを特徴とした請求項１から請求項５の何れか一項に記載の画像処理装置。
【請求項７】
請求項６に記載の画像処理装置と、
前記映像信号生成手段によって生成された映像信号に基づく画面を前記被投影物に向けて投影する投影装置本体と、
を備えることを特徴とする投影システム。
【請求項８】
撮像手段を備える画像処理装置のコンピュータを、
前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得手段、
前記画像取得手段から取得された画像から前記被投影物の投影領域を抽出する領域抽出手段、
及び、
前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング手段、
として機能させるプログラム。
【請求項９】
撮像手段を備える画像処理装置のコンピュータが、
前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得処理と、
前記画像取得処理により取得された画像から前記被投影物の投影領域を抽出する領域抽出処理と、
前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング処理と、を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、投影システム、プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
物体（以下、被投影物という。）を照明装置の前に配置し、照明装置によって照射光を被投影物に対して照射することによって、被投影物の表面に模様や色等のオブジェクトをマッピングする技術がある。特許文献１に記載の技術は、投影装置である照射光投影部（２）及び画像処理装置である照明制御装置（１）を用いて、照明制御装置（１）によるコンピュータグラフィック処理によって画像（映像）を生成し、その画像を照射光投影部（２）によって投影することによって、その画像中のオブジェクトを被投影物（２０）の表面にマッピングするものである。具体的には、被投影物（２０）を三次元にモデリング化したデータが予め照明装置制御部（１）に準備されており、被投影物（２０）の表面にマッピングするオブジェクトとその背景を含む画像が映像信号として照明制御装置（１）に入力されると、照明制御装置（１）が三次元モデルデータに基づいて映像信号を補正し、その補正後の映像信号に基づく画像が照射光投影部（２）によって投影される。そうすると、オブジェクトが被投影物の表面のみにマッピングされ、被投影物の周囲には背景色の光が投影される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４９００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、被投影物（２０）の三次元モデルデータが照明制御装置（１）に予め準備されているから、被投影物（２０）が形状変化や移動等をしたら、オブジェクトが被投影物（２０）の表面にマッピングされなくなる。
そこで、本発明が解決しようとする課題は、被投影物が形状変化や移動等をしても、被投影物の表面にオブジェクトをマッピングできるようにすることである。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明に係る画像処理装置は、撮像手段と、前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得手段と、前記画像取得手段から取得された画像から前記被投影物の投影領域を抽出する領域抽出手段と、前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング手段と、を備えることを特徴とするものである。
【０００６】
本発明に係るプログラムは、撮像手段を備える画像処理装置のコンピュータを、前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得手段、前記画像取得手段から取得された画像から前記被投影物の投影領域を抽出する領域抽出手段、及び、前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング手段、として機能させるものである。
【０００７】
本発明に係る画像処理方法は、撮像手段を備える画像処理装置のコンピュータが、前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得処理と、前記画像取得処理により取得された画像から前記被投影物の投影領域を抽出する領域抽出処理と、前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング処理と、を実行することを特徴とするものである。
【発明の効果】
【０００８】
本発明によれば、被投影物が形状変化や移動等をしても、オブジェクトの像が被投影物にマッピングされる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るプロジェクションマッピング装置の使用状態を示す斜視図である。
【図２】同プロジェクションマッピング装置のブロック図である。
【図３】同プロジェクションマッピング装置のコンピュータによって行われる処理の流れを示したフローチャートである。
【図４】同コンピュータに記憶されるアライメントマーク及び表示画面の座標系を模式的に示した図面である。
【図５】スクリーンに顕在化した投影画面を示した図面である。
【図６】撮像手段によって撮像された画像を示した図面で或る。
【図７】撮像手段によって撮像された画像を表示画面の座標系に変換して得られた画像を示した図である。
【図８】表示画面の座標系に変換された画像に対して領域抽出処理を施して得られた画像を示した図である。
【図９】表示画面の座標系に変換された画像に対して領域抽出処理を施して得られた画像を示した図である。
【図１０】被投影物の変化及びテクスチャの変化を示した図面である。
【図１１】被投影物の変化及びテクスチャの変化を示した図面である。
【図１２】被投影物の変化及びテクスチャの変化を示した図面である。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について、図面を用いて説明する。以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているので、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
【００１１】
図１は、投影システムとしてのプロジェクションマッピング装置１の使用状態を示す斜視図である。このプロジェクションマッピング装置１は、被投影物９９の投影領域９８を検出して、その投影領域９８に模様、色彩、マーク、記号等のテクスチャ９７を投影する。被投影物９９が移動、回転、方向転換、変位、動作、膨張、収縮、形状変化その他の変化をすることによって、投影領域９８の位置、大きさ又は範囲が変化しても、テクスチャ９７がその変化に追従する。投影画面９０は、プロジェクションマッピング装置１の前にあるスクリーンにプロジェクションマッピング装置１によって投影した場合にプロジェクションマッピング装置１によって投影し得る最大投影範囲である。範囲９６は、プロジェクションマッピング装置１に備わる電子カメラ４３の撮影範囲である。
【００１２】
図２は、プロジェクションマッピング装置１のブロック図である。
このプロジェクションマッピング装置１は、投影装置本体２及び画像処理装置４を有する。投影装置本体２と画像処理装置４が一体化されて１つの筐体に組み込まれても良いし、投影装置本体２と画像処理装置４が別々の筐体に組み込まれ、投影装置本体２と画像処理装置４が映像信号ケーブルによって接続されてもよい。
【００１３】
画像処理装置４は、投影領域９８を検出するとともに、その投影領域９８にテクスチャ９７をマッピングするための表示画面の映像信号を生成し、その映像信号を投影装置本体２に出力するものである。投影装置本体２は、画像処理装置４によって出力された映像信号を入力し、その映像信号に基づく表示画面を前方に投影することによって投影領域９８にテクスチャ９７を映写する。
【００１４】
投影装置本体２は、制御部２０、入力装置２１、映像信号変換部２２、映像信号処理部２３、表示コントローラ２４、表示素子２５、光照射装置２６、投影レンズ２７及びレンズ駆動部２８等を備える。
【００１５】
入力装置２１は、複数のスイッチ（押しボタン）若しくはリモートコントローラ又はそれらの組み合わせである。入力装置２１は、ユーザによって操作されることによって、操作内容に応じた信号を制御部２０に出力する。
【００１６】
映像信号変換部２２には、画像処理装置４によって出力された映像信号が入力される。画像処理装置４によって出力される映像信号がアナログである場合、映像信号変換部２２は、画像処理装置４から入力したアナログ映像信号をデジタル映像信号に変換するとともに、そのデジタル映像信号を所定のフォーマットに変換する。画像処理装置４によって出力される映像信号がデジタルである場合、映像信号変換部２２はそのデジタル映像信号を所定のフォーマットに変換する。画像処理装置４によって出力されるデジタル映像信号が所定のフォーマットである場合、映像信号変換部２２はそのデジタル映像信号を変換せずに素通しする。
【００１７】
映像信号処理部２３は、映像信号変換部２２によって出力された映像信号に対して各種の信号処理を行う。例えば、映像信号処理部２３は、映像信号変換部２２によって出力された映像信号のスケーリングを行って、映像信号の画素数（解像度）を増減する。また、映像信号処理部２３は、スケーリングされた映像信号に基づく画面（画像）の座標変換（例えば、射影変換）を行うことによって、キーストーン補正等を行う。映像信号処理部２３によって信号処理された映像信号は表示コントローラ２４に転送される。なお、投影画面９０は、キーストーン補正後の最大投影範囲である。
【００１８】
表示コントローラ２４は、映像信号処理部２３から入力した映像信号に基づいて表示素子２５を駆動する。表示コントローラ２４が映像信号処理部２３から入力した映像信号に従って表示素子２５の各画素毎にＰＷＭ制御又はＰＮＭ制御等をすることで、表示素子２５に照射される光が画素によって各画素毎に変調される。これにより、表示素子２５によって画面（画像）が形成される。
【００１９】
表示素子２５は、二次元アレイ状に配列された複数の画素等を有するＤＭＤ（デジタル・マイクロミラー・デバイス）、透過型ＬＣＤパネル（液晶表示パネル）又は反射型ＬＣＤパネルである。表示素子２５がＤＭＤである場合には、表示素子２５の画素が可動マイクロミラーであり、表示素子２５がＬＣＤパネルである場合には、表示素子２５の画素が液晶シャッター素子である。
【００２０】
また、表示コントローラ２４は、光照射装置２６を制御する。光照射装置２６は、表示素子２５に向けて可視光を照射するものである。具体的には、光照射装置２６は、時分割方式、色分離方式又は独立光源方式のものである。
【００２１】
光照射装置２６が色分離方式である場合、光照射装置２６が白色光源及び色分離器等を有し、白色光源から発した白色光が色分離器によって複数色（例えば、赤色、緑色、青色）に分離される。この場合、表示素子２５が色毎にあり、複数色の光が表示素子２５にそれぞれ照射され、各表示素子２５を透過又は反射した光が合成される。
光照射装置２６が時分割方式である場合、光照射装置２６が互いに異なる色の可視光（例えば、赤色光、緑色光、青色光）を順次繰り返して表示素子２５に照射し、その繰り返しの１周期が１フレームの期間に相当する。時分割方式の光照射装置２６として、カラーフィルタ方式又はカラー光源方式のものである。光照射装置２６がカラーフィルタ方式である場合、光照射装置２６がカラーフィルタ、スピンドルモータ及び白色光源等を有し、カラーフィルタがスピンドルモータによって回転され、白色光源から発した白色光が回転中のカラーフィルタを通過することによって、白色光が各色（赤色、緑色、青色）に順次繰り替えし変換される。光照射装置２６がカラー光源方式である場合、光照射装置２６が互いに異なる色の複数の光源（例えば、赤色光源、緑色光源、青色光源）を有し、これらの光源が順次繰り返し点灯する。
光照射装置２６が独立光源方式である場合、光照射装置２６は、互いに異なる色の可視光（例えば、赤色光、緑色光、青色光）を発する複数の光源を有する。この場合、表示素子２５が色毎にあり、複数色の光が表示素子２５にそれぞれ照射され、各表示素子２５を透過又は反射した光が合成される。
なお、光源とは、半導体発光素子（例えば、レーザーダイオード、発光ダイオード）又はランプ（ハロゲンランプ、キセノンランプ、メタルハライド、水銀ランプ、放電灯）であるか、半導体発光素子又はランプに蛍光体を組み合わせたものをいう。
【００２２】
投影レンズ２７は、表示素子２５によって形成された表示画面（画像）をスクリーンに投影して、表示素子２５に形成された表示画面をスクリーン上の投影画面９０に変換する。投影レンズ２７は、フォーカシングの調整が可能であるともに、焦点距離の調整が可能である。投影レンズ２７は、レンズ駆動部２８によって駆動される。レンズ駆動部２８は、投影レンズ２７の構成レンズを駆動することによってズームやフォーカシングを行う。
【００２３】
制御部２０は演算処理装置である。制御部２０は、プログラムに従って映像信号変換部２２、映像信号処理部２３、表示コントローラ２４及びレンズ駆動部２８を統合的に制御する。
【００２４】
画像処理装置４は、コンピュータ４０、記憶装置４１、入力装置４２、電子カメラ４３及びトリガセンサ４４等を有する。
【００２５】
入力装置４２は、複数のスイッチ（例えば、キーボード）若しくはポインティングデバイス又はこれらの組み合わせである。入力装置４２は、ユーザによって操作されることによって、操作内容に応じた信号をコンピュータ４０に出力する。
【００２６】
電子カメラ（撮像手段）４３は、投影レンズ２７と同じ向きに設けられている。電子カメラ４３は撮像素子、撮像レンズ及び画像処理回路等を有し、撮像レンズが撮像素子に結像し、撮像素子が撮像レンズにより結ばれた像を光電変換によって電気信号に変換し、撮像素子によって撮像された画像の信号が画像処理回路に出力され、その画像信号が画像処理回路によって信号処理されることによってデジタル化され、デジタル化された画像信号がコンピュータ４０に転送される。
【００２７】
電子カメラ４３の撮影範囲９６の中には、投影装置本体２の最大投影範囲である投影画面９０が含まれている（図１参照）。従って、プロジェクションマッピング装置１の前にある被投影物９９も電子カメラ４３によって撮像され、電子カメラ４３からコンピュータ４０に転送される画像の中には被投影物９９の像が含まれている。
【００２８】
トリガセンサ４４は、被投影物９９に設けられているか、被投影物９９の周辺に設けられている。トリガセンサ４４は、被投影物９９の変化開始若しくは変化終了又はこれらの両方を検知して、その検知信号をコンピュータ４０に出力する。被投影物９９の変化とは、被投影物９９の移動、回転、方向転換、変位、動作、膨張、収縮、形状変化等をいう。
【００２９】
トリガセンサ４４は、加速度センサ（加速度スイッチ）、リミットセンサ（リミットスイッチ）、光電スイッチ（光電センサ）、近接スイッチ（近接センサ）、レベルスイッチ（レベルセンサ）、圧力スイッチ（圧力センサ）、温度スイッチ（温度センサ）その他のセンサである。トリガセンサ４４の種類は、被投影物９９に適したものである。トリガセンサ４４は、検知信号を無線によってコンピュータ４０に送信してもよいし、検知信号をリード線によりコンピュータ４０に出力してもよい。
【００３０】
コンピュータ４０は、ＣＰＵ、メモリ、ＧＰＵ、ＶＲＡＭ、ＡＳＩＣ、バス、入出力インターフェース及びディスク読取装置等を有する。記憶装置４１は、コンピュータ４０にとってアクセス可能なものである。記憶装置４１は、ハードディスクドライブ、不揮発性メモリ、ＲＯＭその他の記憶装置である。
【００３１】
記憶装置４１には、プログラム４１ａが格納されている。プログラム４１ａはコンピュータ４０に機能を実現させ、コンピュータ４０がプログラム４１ａに従った処理を行う。プログラム４１ａは、データマップアプリケーション及び描画アプリケーションからなる。
記憶装置４１には、複数のオブジェクト４１ｂが記憶されている。これらオブジェクト４１ｂは、画像（テクスチャ）、アニメーション画像（GIFアニメーション）、動画、テキスト（文字列）等である。オブジェクト４１ｂごとに形状、大きさ、色、模様、テキストフォント等が相違する。
【００３２】
続いて、図３を参照して、プロジェクションマッピング装置１の動作及び使用方法について説明する。図３は、プログラム４１ａに基づくコンピュータ４０の機能及び処理の流れを説明するためのフローチャートである。
【００３３】
まず、ユーザがプロジェクションマッピング装置１を起動させる。そして、ユーザが電子カメラ４３及び投影レンズ２７をスクリーンに向けて、スクリーン上の投影画面９０が電子カメラ４３の撮影範囲９６の中に含まれるように、電子カメラ４３のレンズや投影レンズ２７のズームを調整する。電子カメラ４３のレンズと投影レンズ２７を並列させることが好ましい。
【００３４】
コンピュータ４０が、図４に示すようなアライメントマーク６１の描画処理を行う（ステップＳ１）。図４は、コンピュータ４０のＶＲＡＭ、メモリ等に記憶される画面（フレーム）６０及びアライメントマーク６１を模式的に示したものである。
【００３５】
具体的には、図４に示すように、コンピュータ４０が、表示画面６０のＸＹ座標系（表示画面６０上における横方向の位置がＸ座標値で表され、縦方向の位置がＹ座標によって表される。）を設定し、その表示画面６０に表示すべきアライメントマーク６１の複数の特徴点６２〜６５の位置をＸＹ座標値で設定する。そして、コンピュータ４０は、アライメントマーク６１及び特徴点６２〜６５を生成（描画）し、アライメントマーク６１及び特徴点６２〜６５を含む表示画面６０の映像信号を投影装置本体２に出力する。アライメントマーク６１は、特徴点６２〜６５を結んだ線分からなる画像である。表示画面６０上の特徴点６２〜６５の位置はコンピュータ４０がプログラム４１ａに従って設定したものであるから、特徴点６２〜６５の位置はコンピュータ４０にとって既知である。以下、表示画面６０におけるＸＹ座標系を画面座標系という。
【００３６】
コンピュータ４０によって出力された映像信号が映像信号変換部２２及び映像信号処理部２３によって処理されて表示コントローラ２４に転送され、表示コントローラ２４がその映像信号に従って表示素子２５及び光照射装置２６を制御する。そうすると、光照射装置２６によって光が表示素子２５に照射され、アライメントマーク６１及び特徴点６２〜６５を含む表示画面６０が表示素子２５に表示され、その表示画面６０が投影レンズ２７によってスクリーンに投影される。そうすると、図５に示すように、表示画面６０がスクリーン上の投影画面９０として顕在化し、アライメントマーク９１及び特徴点９２〜９５が投影画面９０中に表示される。図４に示すアライメントマーク６１が図５に示すアライメントマーク９１のように変形した原因は、投影装置本体２とスクリーンの位置的関係によって生じる台形歪み等や、投影装置本体２の映像信号変換部２２や映像信号処理部２３によって行われる映像信号処理等である。
【００３７】
次に、コンピュータ４０は、レリーズ信号を電子カメラ４３に出力することによって電子カメラ４３に撮像動作を行わせる（ステップＳ２）。これにより、アライメントマーク９１及び特徴点９２〜９５が表示された投影画面９０が電子カメラ４３によって撮像され、電子カメラ４３によって撮像された画像がコンピュータ４０に入力される。
【００３８】
次に、コンピュータ４０は、撮像画像上の特徴点９２〜９５の位置を検出する（ステップＳ３）。具体的には、コンピュータ４０は、電子カメラ４３から入力した撮像画像に対して特徴抽出処理（例えば、エッジ抽出処理）を行うことによって撮像画像中のアライメントマーク９１及び特徴点９２〜９５を抽出し、特徴点９２〜９５の位置をＸＹ座標値として検出する。そして、コンピュータ４０は、検出した特徴点９２〜９５の位置を記憶する。以下、電子カメラ４３によって撮像された画像におけるＸＹ座標系を撮像画像座標系という。
【００３９】
その後、コンピュータ４０が処理を停止して待機状態になって、ユーザが被投影物９９をプロジェクションマッピング装置１とスクリーンの間に設置する。或いは、ユーザが電子カメラ４３と投影レンズ２７の相対的な位置関係を固定した状態で電子カメラ４３と投影レンズ２７を被投影物９９に向ける。
【００４０】
次に、ユーザが入力装置４２を操作して、コンピュータ４０の処理を再開させる。そうすると、コンピュータ４０がレリーズ信号を電子カメラ４３に出力することによって電子カメラ４３に撮像動作を行わせる（ステップＳ４）。これにより、被投影物９９の像を含む画像が電子カメラ４３によって撮像され、電子カメラ４３によって撮像された画像がコンピュータ４０に入力される。図６は、電子カメラ４３によって撮像された画像７０の一例を示したものである。撮像画像７０には、被投影物９９の像７１が含まれる。
【００４１】
次に、コンピュータ４０は、特徴点６２〜６５の座標値及び特徴点９２〜９５の座標値を座標変換パラメータとして利用して、ステップＳ４で取得した撮像画像７０を撮像画像座標系から画面座標系へ座標変換する（ステップＳ５）。例えば、コンピュータ４０は、特徴点９２〜９５の座標値をそれぞれ特徴点６２〜６５の座標値に変換するための座標変換パラメータを特徴点６２〜６５の座標値及び特徴点９２〜９５の座標値から算出し、その座標変換パラメータを利用して撮像画像７０の座標変換を行う。この際、コンピュータ４０は、座標変換前の撮像画像７０の各画素の間を補間処理しつつ（又は座標変換前の撮像画像を間引き処理しつつ）、座標変換を行う。座標変換は、射影変換、アフィン変換、透視投影変換、平行移動若しくは回転移動又はこれらのうち二種以上の組み合わせ等である。なお、コンピュータ４０は、変換前の撮像画像７０を複数の領域に分けて領域毎に座標変換を行ってもよいし、変換前の撮像画像７０の所定領域（特徴点９２〜９５によって囲まれる領域）を複数の領域に分けて領域毎に座標変換して、その所定領域の外側の領域を外挿するように座標変換してもよい。図７は、撮像画像７０を座標変換して得られた画像７２の一例を示したものである。被投影物９９の像７１も像７３に座標変換され、被投影物９９の像７１の形状、位置、大きさ等が像７３のように変化する。
【００４２】
次に、コンピュータ４０は、図８に示すように、座標変換後の被投影物９９の像７３から閉領域７３ａを抽出して、それを描画領域として定義する（ステップＳ６）。具体的には、コンピュータ４０は、座標変換後の画像７２に対して二値化処理又は単色化処理等をした後、エッジ抽出処理等の特徴抽出をすることによって閉領域７３ａの輪郭形状を抽出し、その輪郭形状の内側の閉領域７３ａを描画領域として定義する。なお、図９に示すように、複数の閉領域７３ａ，７３ｂ，７３ｃが抽出された場合には、コンピュータ４０がラベリング処理を行ってこれら閉領域７３ａ，７３ｂ，７３ｃを別々の領域として識別して、１つの閉領域（例えば、閉領域７３ａ，７３ｂ、７３ｃの中で最も大きい閉領域７３ａ）を選択して描画領域として定義するか、若しくはラベリング処理を行わずにこれら閉領域７３ａ，７３ｂ，７３ｃを１つの描画領域として定義する。
【００４３】
次に、コンピュータ４０は、記憶装置４１に格納された複数のオブジェクト４１ｂの中から、描画領域に適した１つのオブジェクト４１ｂを選択して読み出す（ステップＳ７）。例えば、コンピュータ４０は、描画領域の大きさ若しくは形状又はこれらの両方に最も近いオブジェクト４１ｂを選択するか、描画領域を検索条件として所定の検索アルゴリズムにより１つのオブジェクト４１ｂを検索する。
【００４４】
次に、コンピュータ４０は、選択したオブジェクト４１ｂを描画領域にマッピングする（ステップＳ８）。
【００４５】
次に、コンピュータ４０は、描画領域にマッピングされたオブジェクト４１ｂを再生するとともに、そのオブジェクト４１ｂを含む画面を描画する描画処理（映像信号生成処理）を行う（ステップＳ９）。つまり、コンピュータ４０は、描画領域にマッピングされたオブジェクト４１ｂを含む画面をＶＲＡＭ等に書き込み、その画面の映像信号を生成して、その映像信号を投影装置本体２に出力する。なお、コンピュータ４０は、描画領域以外の背景領域を黒にした映像信号を生成することが好ましい。
【００４６】
コンピュータ４０によって出力された映像信号が映像信号変換部２２及び映像信号処理部２３によって処理されて表示コントローラ２４に転送され、表示コントローラ２４がその映像信号に従って表示素子２５及び光照射装置２６を制御する。そうすると、光照射装置２６によって光が表示素子２５に照射され、選択されたオブジェクト４１ｂを含む画面が表示素子２５に表示され、その画面が投影レンズ２７によって投影される。そのため、図１の二点鎖線に示すように、オブジェクト４１ｂがテクスチャ９７として被投影物９９の投影領域９８（描画領域に対応する）に表示される。
【００４７】
その後、コンピュータ４０は、イベント発生の有無を判断して（ステップＳ１０）、イベントの発生を検知しなければ描画処理を継続する（ステップＳ１０：ＮＯ、ステップＳ９）。一方、コンピュータ４０は、イベントの発生を検知したら（ステップＳ１０：ＹＥＳ）、上述のステップＳ４〜ステップＳ１０の処理を再度行う。そうすると、再度のステップＳ７において新たに選択されたオブジェクト４１ｂを含む画像の描画処理が行われ（ステップＳ９）、図１の実線に示すように、そのオブジェクト４１ｂがテクスチャ９７として被投影物９９の投影領域９８に表示される。つまり、上述のステップＳ４〜ステップＳ１０の処理が再度行われることによって、被投影物９９の投影領域９８内の表示が更新される。なお、再度行うステップＳ４の撮像処理の際には、コンピュータ４０が描画処理を停止すると、オブジェクト４１ｂが被投影物９９の投影領域９８に表示されないので、その後の閉領域の抽出処理（ステップＳ６）が正確に行われる。
【００４８】
イベントが断続的若しくは連続的に発生したり、イベントが複数回繰り返して発生したりすると、コンピュータ４０がステップＳ４〜ステップＳ１０の処理を複数回繰り返して行う。そのため、被投影物９９の投影領域９８内の表示が断続的、連続的又は繰り返し的に更新される。
【００４９】
イベントの検知例を挙げる。
【００５０】
例１：トリガセンサ４４の利用
トリガセンサ４４を利用してイベントの発生を検知する。イベントとは、被投影物９９が移動、回転、方向転換、変位、動作、膨張、収縮、形状変化その他の変化をすることである。被投影物９９の変化開始若しくは変化終了又はこれらの両方がトリガセンサ４４によって検知され、トリガセンサ４４によって出力された検知信号がコンピュータ４０に入力され、コンピュータ４０がイベントの発生を検知する（ステップＳ１０：ＹＥＳ）。
【００５１】
例２：電子カメラ４３の利用
電子カメラ４３を利用してイベントの発生を検知する。
イベントとしては、被投影物９９が移動、回転、方向転換、変位、動作、膨張、収縮、形状変化その他の変化をすることがある。複数のフレーム（画像）が電子カメラ４３からコンピュータ４０に転送され、コンピュータ４０がこれらのフレームに基づいて被投影物９９の変化の有無を判断する。例えば、コンピュータ４０は、或るフレーム中の被投影物９９の像を認識し、次のフレーム中の被投影物９９の像を認識し、それら被投影物９９の像の類似度を算出し、その類似度が所定閾値以下である場合に被投影物９９の変化が発生したとしてイベントの発生を検知する（ステップＳ１０：ＹＥＳ）。
イベントとしては、被投影物９９の変化以外に、電子カメラ４３の撮影範囲内における事象がある。例えば、電子カメラ４３の前を障害物で遮ることによって電子カメラ４３の撮影範囲が暗くなったり、投影レンズ２７の前を障害物で遮ることによって被投影物９９にテクスチャ９７に表示されなくなったり、被投影物９９以外のもの（例えば、ユーザ）が電子カメラ４３の撮影範囲内に入り込んだり、被投影物９９以外のもの（例えば、ユーザ）が電子カメラ４３の撮影範囲から外れたりすることである。この場合、コンピュータ４０が電子カメラ４３から入力された複数のフレームに基づいてイベントの発生の有無を検知する。例えば、コンピュータ４０は、或るフレームと次のフレームの類似度を算出し、その類似度が所定閾値以下である場合に被投影物９９の変化が発生したとしてイベントの発生を検知する（ステップＳ１０：ＹＥＳ）。
【００５２】
例３：入力装置４２の利用
入力装置４２を利用してイベントの発生を検知する。イベントとは、ユーザが入力装置４２を操作して入力を行うことである。ユーザが入力装置４２を操作すると、操作信号がコンピュータ４０に入力され、コンピュータ４０がイベントの発生を検知する（ステップＳ１０：ＹＥＳ）。
【００５３】
続いて、被投影物９９及びテクスチャ９７の変化について幾つかの具体例を挙げる。図１０に示すように、被投影物９９が上下方向に伸びると、投影領域９８が上下方向に広がり、投影領域９８に投影されるテクスチャ９７も変化する。具体的には、テクスチャ９７は、テクスチャ９７内のマークの数が増えるように変化する。なお、被投影物９９が移動・回転等することによって、撮像画像中の投影領域９８の位置、大きさ、形状等が変化した場合でも、テクスチャ９７が変化する。
【００５４】
図１１に示すように、被投影物９９は、スクリーンの前に配置された引き窓である。この引き窓を開いていくことによって、投影領域９８である開放領域が広がり、テクスチャ９７が引き窓の引き方向へ広がるよう変化する。このように、被投影物の連続した変化を認識し、それに応じてテクスチャ９７を変化させる。
【００５５】
以上のように、コンピュータ４０がステップＳ４〜ステップＳ１０の処理を回繰り返して行うとともに、ステップＳ４では被投影物９９が撮像されるから、被投影物９９の投影領域９８に表示されるテクスチャ９７が被投影物９９の形状変化や移動等に追従して変化する。よって、被投影物９９が形状変化や移動等をしても、投影装置本体２の投影レンズ２７の向きや投影倍率等を変更せずに済み、映像コンテンツも変更せずに済む。このプロジェクションマッピング装置１を用いれば、光による屋内物品装飾効果を向上させたり、手軽に屋内外デザインの変更プラン等を試したりすることができる。
【００５６】
〔変形例１〕
上述の説明では、図９に示すように、ステップＳ６において複数の閉領域７３ａ，７３ｂ，７３ｃが抽出された場合には、閉領域７３ａ，７３ｂ，７３ｃのうち何れか１つが描画領域として選択されるか、或いは、これら閉領域７３ａ，７３ｂ、７３ｃが１つの描画領域として定義された。それに対して、これら閉領域７３ａ，７３ｂ、７３ｃが別々の描画領域として定義されてもよい。
【００５７】
具体的には、複数の閉領域７３ａ，７３ｂ，７３ｃが抽出された場合、コンピュータ４０は、ラベリング処理を行うことによってこれら閉領域７３ａ，７３ｂ，７３ｃに個別の識別番号を付与する。これにより、コンピュータ４０は、これら閉領域７３ａ，７３ｂ，７３ｃを別々の領域として識別して、これら閉領域７３ａ，７３ｂ、７３ｃを別々の描画領域として定義する。また、コンピュータ４０は、これら閉領域７３ａ，７３ｂ、７３ｃの数（ここでは、３）をカウントする。そして、コンピュータ４０は、これら閉領域７３ａ，７３ｂ、７３ｃごとに面積、周囲超、最大幅（Ｙ方向の長さ）、最大高さ（Ｘ方向の長さ）を求める。そして、コンピュータ４０は、記憶装置４１に格納された複数のオブジェクト４１ｂの中から、複数の閉領域７３ａ，７３ｂ、７３ｃそれぞれに適した複数のオブジェクト４１ｂを閉領域７３ａ，７３ｂ、７３ｃごとに選択して読み出す（ステップＳ７）。その後の処理は、上述した通りである。なお、描画処理（ステップＳ９）において、コンピュータ４０は、閉領域７３ａ，７３ｂ、７３ｃそれぞれにマッピングされたオブジェクト４１ｂを同時に描画してもよいし、順次描画してもよい。
【００５８】
複数の閉領域が別々の描画領域として定義された場合、被投影物９９及びテクスチャ９７の変化の一例について説明する。図１２に示すように、被投影物９９が錐体であり、被投影物９９が錐体の軸線に直交する左右方向の軸としてピッチ方向に回転する。そうすると、被投影物９９の錐面９８ａに投影されるテクスチャ９７ａが変化するとともに、底面９８ｂに投影されるテクスチャ９７ｂが変化する。
例えば、形状の異なる複数の被投影物（例えば、人、人影、車両、箱等）が投影レンズ２７の投影範囲に次々と入り込んでくる場合、これらの被投影物の形状の特徴に応じてオブジェクトを選んで投影することができる。
１つの被投影物（例えば、風船、回転物、ロープ状のもの、動物、動物の影等）が変化することによって、投影される閉領域の数や大きさが変わっていくことで、被投影物の変化に応じてオブジェクトを選んで投影することができる。
また、１領域のときの表示内容と２領域のときの表示内容とを区別することができ（図１２参照）、１領域から多領域に分裂したときの変化、多領域から１領域に凝集したときの変化などに表現豊かな描画を行うことができる。
また、多数の被投影物が集合したり、拡散したりするときに、それぞれの被投影物の配置に応じてオブジェクトを作成することによって、より表現豊かな描画を行うことができる。
【００５９】
〔変形例２〕
コンピュータ４０は、描画処理（ステップＳ９）の後にイベント発生の有無を判断せずに、ステップＳ４の撮像・画像入力処理を再度行う。つまり、コンピュータ４０が、ステップＳ４〜ステップＳ９の処理を繰り返し行う。例えばステップＳ４〜ステップＳ９は、コンピュータ４０によって出力される映像信号の１フレームの期間に行われるものであり、コンピュータ４０はフレーム毎にステップＳ４〜ステップＳ９の処理を行う。そのため、被投影物９９が移動、回転、方向転換、変位、動作、膨張、収縮、形状変化等の変化をすれば、被投影物９９の投影領域９８に投影されるテクスチャ９７が投影領域９８の位置、大きさ及び範囲等の変化に追従して変化する。
【００６０】
〔その他〕
本発明の要部を変更しない範囲で、以上に説明した具体例から変更・改良が可能である。また、以上に本発明の実施形態及び変形例を説明したが、本発明の技術的範囲は上述の実施の形又は変形例に限定するものではなく、特許請求の範囲に記載に基づいて定められる。更に、特許請求の範囲に記載から本発明の本質とは関係のない変更を加えた均等な範囲も本発明の技術的範囲に含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮像手段と、
前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得手段と、
前記画像取得手段から取得された画像から前記被投影物の投影領域を抽出する領域抽出手段と、
前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング手段と、
を備えることを特徴とする画像処理装置。
＜請求項２＞
前記領域抽出手段は、前記被投影物の投影領域の変化を抽出し、
前記マッピング手段は、前記領域抽出手段によって抽出された投影領域の変化に対応したオブジェクトをマッピングする、
ことを特徴とした請求項１に記載の画像処理装置。
＜請求項３＞
前記領域抽出手段は、前記被投影物の複数の投影領域を抽出し、
前記マッピング手段は、前記領域抽出手段によって抽出された複数の投影領域ぞれぞれに対応したオブジェクトをマッピングする、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
＜請求項４＞
前記被投影物の変化を検知するトリガセンサを更に備え、
前記領域抽出手段は、前記トリガセンサが変化を検知したら前記投影領域の変化を抽出する、
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
＜請求項５＞
前記撮像手段から転送された複数のフレームに基づいて投影領域の変化を抽出することを特徴とする請求項２または請求項３に記載の画像処理装置。
＜請求項６＞
前記マッピングされたオブジェクトを含む画面の映像信号を生成する映像信号生成手段を更に備える、
ことを特徴とした請求項１から請求項５の何れか一項に記載の画像処理装置。
＜請求項７＞
請求項６に記載の画像処理装置と、
前記映像信号生成手段によって生成された映像信号に基づく画面を前記被投影物に向けて投影する投影装置本体と、
を備えることを特徴とする投影システム。
＜請求項８＞
撮像手段を備える画像処理装置のコンピュータを、
前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得手段、
前記画像取得手段から取得された画像から前記被投影物の投影領域を抽出する領域抽出手段、
及び、
前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング手段、
として機能させるプログラム。
＜請求項９＞
撮像手段を備える画像処理装置のコンピュータが、
前記撮像手段によって撮像された被投影物を含む画像を取得する画像取得処理と、
前記画像取得処理により取得された画像から前記被投影物の投影領域を抽出する領域抽出処理と、
前記投影領域に対応したオブジェクトを前記投影領域にマッピングするマッピング処理と、を実行することを特徴とする画像処理方法。
【符号の説明】
【００６１】
１  プロジェクションマッピング装置
２  投影装置本体
４  画像処理装置
４０  コンピュータ
４１ａ  プログラム
４１ｂ  オブジェクト
４２  入力装置
４３  電子カメラ
４４  トリガセンサ
【図１】
2013192189.tif 000003
【図２】
2013192189.tif 000004
【図３】
2013192189.tif 000005
【図４】
2013192189.tif 000006
【図５】
2013192189.tif 000007
【図６】
2013192189.tif 000008
【図７】
2013192189.tif 000009
【図８】
2013192189.tif 000010
【図９】
2013192189.tif 000011
【図１０】
2013192189.tif 000012
【図１１】
2013192189.tif 000013
【図１２】
2013192189.tif 000014