(57)【要約】【課題】プロジェクションマッピングにおいて、動いている物体の位置・姿勢を高速に推定し、映像投影を可能とする。【解決手段】対象物体を検出し、当該対象物体に投影映像を投影するプロジェクションマッピング装置であって、投影前のオフライン処理に際し、前記対象物体の位置および姿勢を推定するためのモデル点群データから推定に影響しないデータを削除するモデル点群最適化部と、投影中のオンライン処理に際し、前記対象物体からリアルタイムに取得したシーン点群データから推定に影響しないデータを削除するシーン点群最適化部とを備える。【選択図】図１
2016152586.tif 000002
【特許請求の範囲】
【請求項１】
対象物体を検出し、当該対象物体に投影映像を投影するプロジェクションマッピング装置であって、
投影前のオフライン処理に際し、前記対象物体の位置および姿勢を推定するためのモデル点群データから推定に影響しないデータを削除するモデル点群最適化部と、
投影中のオンライン処理に際し、前記対象物体からリアルタイムに取得したシーン点群データから推定に影響しないデータを削除するシーン点群最適化部と
を備えたことを特徴とするプロジェクションマッピング装置。
【請求項２】
請求項１に記載のプロジェクションマッピング装置において、
投影中のオンライン処理に際し、ＩＣＰアルゴリズムにより前記対象物体の位置および姿勢の推定を行うトラッキング処理部
を備えたことを特徴とするプロジェクションマッピング装置。
【請求項３】
請求項１に記載のプロジェクションマッピング装置において、
投影中のオンライン処理に際し、パーティクルフィルタによる前記対象物体の第１段階の位置および姿勢の推定と、ＩＣＰアルゴリズムによる前記対象物体の第２段階の位置および姿勢の推定とを行うトラッキング処理部
を備えたことを特徴とするプロジェクションマッピング装置。
【請求項４】
請求項１乃至３のいずれか一項に記載のプロジェクションマッピング装置において、
前記モデル点群最適化部は、モデル点群データから主曲率が所定値以下のデータを削除する
ことを特徴とするプロジェクションマッピング装置。
【請求項５】
請求項１乃至４のいずれか一項に記載のプロジェクションマッピング装置において、
前記シーン点群最適化部は、シーン点群データから背景のシーン点群データを削除する
ことを特徴とするプロジェクションマッピング装置。
【請求項６】
請求項１乃至５のいずれか一項に記載のプロジェクションマッピング装置において、
前記シーン点群最適化部は、シーン点群データから、パーティクルフィルタによる位置および姿勢の推定のためのパーティクルの存在する領域に含まれないデータを削除する
ことを特徴とするプロジェクションマッピング装置。
【請求項７】
対象物体を検出し、当該対象物体に投影映像を投影する映像投影制御装置であって、
投影前のオフライン処理に際し、前記対象物体の位置および姿勢を推定するためのモデル点群データから推定に影響しないデータを削除するモデル点群最適化部と、
投影中のオンライン処理に際し、前記対象物体からリアルタイムに取得したシーン点群データから推定に影響しないデータを削除するシーン点群最適化部と
を備えたことを特徴とする映像投影制御装置。
【請求項８】
対象物体を検出し、当該対象物体に投影映像を投影する映像投影制御装置が実行する方法であって、
投影前のオフライン処理に際し、前記対象物体の位置および姿勢を推定するためのモデル点群データから推定に影響しないデータを削除するモデル点群最適化工程と、
投影中のオンライン処理に際し、前記対象物体からリアルタイムに取得したシーン点群データから推定に影響しないデータを削除するシーン点群最適化工程と
を備えたことを特徴とする映像投影制御方法。
【請求項９】
対象物体を検出し、当該対象物体に投影映像を投影する映像投影制御装置を構成するコンピュータを、
投影前のオフライン処理に際し、前記対象物体の位置および姿勢を推定するためのモデル点群データから推定に影響しないデータを削除するモデル点群最適化手段、
投影中のオンライン処理に際し、前記対象物体からリアルタイムに取得したシーン点群データから推定に影響しないデータを削除するシーン点群最適化手段
として機能させる映像投影制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラムに関する。
【背景技術】
【０００２】
建物等に映像の投影が行われるプロジェクションマッピングが日本でも注目を集め、数多くのイベントが行われるようになってきた。プロジェクションマッピングは、実空間に存在する物体と映像提示とを組み合わせた空間型拡張現実感（ＳＡＲ：Spatial Augmented Reality）の一態様であり、近年盛んに研究が行われている。
【０００３】
プロジェクションマッピングは、非常にインパクトのある表現手法である一方で、現状では、建物等の静止物体に対してしか基本的には投影を行うことができない。動いている物体に映像を投影することが可能になれば、いっそうインパクトを高めることができる。
【０００４】
動いている物体に映像を投影するのが困難な理由の一つとして、物体の位置・姿勢をトラッキング（追跡）するための処理（計算）に時間がかかり、投影のための映像をリアルタイムに生成することできない点が挙げられる。
【０００５】
そのため、現状では、動いている対象に正確な映像投影を行うために、専用センサを用いたり、特定の動きに限定する等の方法が取られている（非特許文献１）。
【０００６】
また、特殊なセンサを用いたり対象を限定しない方法として、深度カメラを使った物体追跡が提案されている（非特許文献２）。ただし、計算量が多く、実時間追跡が困難である。また、現状では、移動量が大きくなると追跡がより困難となる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】近藤大祐、後藤敏之、河野誠、木島竜吾、高橋優三、"自由曲面への投影を用いたバーチャル解剖模型"、日本バーチャルリアリティ学会論文誌Ｖｏｌ．１０、Ｎｏ．２、ｐｐ．４９６−５０３  （２００５）．
【非特許文献２】坪井一菜、小山田雄仁、斎藤英雄、杉本麻樹、"距離画像カメラを用いた部分形状マッチングに基づく任意物体上での空間型ＡＲ"、第１８  回日本バーチャルリアリティ学会大会論文集、ｐｐ．６７−７０、（２０１３）．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、動いている物体に映像を投影することが要望されているが、物体の位置・姿勢をトラッキングするための処理時間がかかることで実現が困難であった。
【０００９】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、プロジェクションマッピングにおいて、動いている物体の位置・姿勢を高速に推定し、映像投影を可能とすることにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明にあっては、対象物体を検出し、当該対象物体に投影映像を投影するプロジェクションマッピング装置であって、投影前のオフライン処理に際し、前記対象物体の位置および姿勢を推定するためのモデル点群データから推定に影響しないデータを削除するモデル点群最適化部と、投影中のオンライン処理に際し、前記対象物体からリアルタイムに取得したシーン点群データから推定に影響しないデータを削除するシーン点群最適化部とを備える。
【発明の効果】
【００１１】
本発明にあっては、プロジェクションマッピングにおいて、動いている物体の位置・姿勢を高速に推定し、映像投影を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態にかかるプロジェクションマッピング装置の構成例を示す図である。
【図２】オフライン処理の例を示すフローチャートである。
【図３】モデル点群と最適化の例を示す図である。
【図４】モデル点群の最適化の他の例を示す図である。
【図５】オンライン処理の例を示すフローチャートである。
【図６】シーン点群の最適化の例を示す図である。
【図７】シーン点群の最適化の他の例を示す図である。
【図８】トラッキング処理の例を示すフローチャートである。
【図９】トラッキング処理の説明図である。
【図１０】ＩＣＰアルゴリズムの説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の好適な実施形態につき説明する。
【００１４】
＜構成＞
図１は本発明の一実施形態にかかるプロジェクションマッピング装置１の構成例を示す図である。
【００１５】
図１において、プロジェクションマッピング装置１は、映像投影制御装置（コンピュータ装置）２と深度センサ３と投影装置（プロジェクタ）４とを備えている。深度センサ３は、視野内から距離画像を取得する。深度センサ３は、赤外線により人の目に見えないパターンを照射して撮影するタイプのものが実用化されているが、深度画像が取得できるものであれば採用可能である。
【００１６】
映像投影制御装置２は、深度センサ３により取得した距離画像に基づき、視野内の置物等の剛体である動く対象物体Ｏの位置・姿勢を推定し、投影映像を生成する。投影装置４は、映像投影制御装置２の生成した投影映像を対象物体Ｏを含む空間に投影する。なお、深度センサ３と投影装置４の位置関係は、事前にキャリブレーションを行って把握しておくものとする。キャリブレーションさえ正確に行われていれば、深度センサ３の位置は特に限定されないが、後述するシーン点群削除で除去しきれない点群が発生するような方向に向けるのは避けることが望ましい。
【００１７】
映像投影制御装置２は、処理部としてオフライン処理部２１とオンライン処理部２２とを備えている。また、データ保持部として、モデル点群データ保持部２３と映像コンテンツデータ保持部２４とシーン点群データ保持部２５とを備えている。
【００１８】
モデル点群データ保持部２３は、位置・姿勢の推定の対象となる対象物体Ｏについて、照合用のモデル点群データを事前に取得して保持するものである。モデル点群データは、３次元（３Ｄ）の頂点データの集合となる。また、モデル点群データ保持部２３には、初期位置推定のための特徴点と特徴量のデータも併せて保持される。なお、特徴量としては、例えば、ＦＰＦＨ（Fast Point Feature Histogram）等が用いられる。
【００１９】
映像コンテンツデータ保持部２４は、対象物体Ｏを含む空間に投影される映像コンテンツデータを保持するものである。
【００２０】
シーン点群データ保持部２５は、映像投影に際し、対象物体Ｏがない状態の背景のシーン点群データと、リアルタイムに取得されるシーン点群データとを保持するものである。シーン点群データは３次元の頂点データの集合となるが、モデル点群データが３６０°全方向からの完全な頂点データの集合であるのに対し、シーン点群データはある視点（深度センサ３の視点）から取得した部分的な頂点データの集合である。
【００２１】
オフライン処理部２１は、事前のオフライン処理を実行する部分であり、３Ｄスキャン部２１１とモデル点群最適化部２１２と特徴点・特徴量推定部２１３と投影コンテンツ作成部２１４とを備えている。
【００２２】
３Ｄスキャン部２１１は、適宜回転させた対象物体Ｏを深度センサ３で計測することで距離画像を取得し、３次元の頂点データに変換してモデル点群データを生成し、モデル点群データ保持部２３に格納する機能を有している。
【００２３】
モデル点群最適化部２１２は、モデル点群データ保持部２３に格納されたモデル点群データから推定に影響しないデータを削除することで最適化を行う機能を有している。
【００２４】
特徴点・特徴量推定部２１３は、モデル点群データ保持部２３に格納されたモデル点群データから特徴点および特徴量のデータを生成し、モデル点群データ保持部２３に格納する機能を有している。
【００２５】
投影コンテンツ作成部２１４は、モデル点群データ保持部２３に格納されたモデル点群データに基づき、対象物体Ｏに投影する映像コンテンツを作成し、映像コンテンツデータ保持部２４に格納する機能を有している。
【００２６】
オンライン処理部２２は、映像投影に際したリアルタイムのオンライン処理を実行する部分であり、シーン点群取得部２２１と初期位置推定部２２２とシーン点群最適化部２２３とトラッキング処理部２２４と映像生成部２２５とを備えている。
【００２７】
シーン点群取得部２２１は、映像投影に際し、深度センサ３から距離画像を取得し、３次元の頂点データに変換してシーン点群データを生成し、シーン点群データ保持部２５に格納する機能を有している。また、シーン点群取得部２２１は、対象物体Ｏがない状態で深度センサ３により距離画像を取得し、３次元の頂点データに変換して背景のシーン点群データとしてシーン点群データ保持部２５に格納する機能も有している。
【００２８】
初期位置推定部２２２は、リアルタイムに取得されるシーン点群データから特徴点および特徴量のデータを生成し、モデル点群データ保持部２３に予め保持されているモデル点群の特徴点および特徴量と照合することで、対象物体Ｏの初期位置を推定する機能を有している。
【００２９】
シーン点群最適化部２２３は、リアルタイムに取得されるシーン点群データから推定に影響しないデータを削除することで最適化を行う機能を有している。
【００３０】
トラッキング処理部２２４は、初期位置推定部２２２により推定された初期位置から開始して、対象物体Ｏの位置・姿勢をリアルタイムに追跡する機能を有している。
【００３１】
映像生成部２２５は、トラッキング処理部２２４により推定された対象物体Ｏの位置・姿勢およびユーザのインタラクション（別途検出されるユーザによる対象物体Ｏの動かし方やユーザの姿勢等）に基づき、映像コンテンツデータ保持部２４に保持された映像コンテンツから投影映像を生成する機能を有している。
【００３２】
＜動作＞
図２は映像投影制御装置２のオフライン処理部２１によるオフライン処理の例を示すフローチャートである。
【００３３】
図２において、オフライン処理部２１の３Ｄスキャン部２１１は、対象物体Ｏの全方向から深度センサ３により距離画像を取得し、頂点データに変換してモデル点群データを生成し、モデル点群データ保持部２３に格納する（ステップＳ１０１）。図３（ａ）は、マネキン頭部を対象物体とした場合のモデル点群データの例を示している。
【００３４】
次いで、図２に戻り、モデル点群最適化部２１２は、モデル点群データから推定に影響しないデータを削除することで最適化を行う（ステップＳ１０２）。モデル点群データの最適化の手法として、主曲率が所定値以下の頂点データを削除することができる。主曲率が大きい頂点は特徴を良く表しているといえ、そうでない部分は推定に影響しないからである。図３（ｂ）は、図３（ａ）の状態から主曲率が所定値以下の頂点データを削除した場合の例を示しており、データ量を大幅に減少させることができるため、オンライン処理のトラッキング処理における処理時間（計算時間）を大幅に短縮することができる。
【００３５】
また、モデル点群データの最適化の他の手法として、図４に示すように、推定に影響しない領域の頂点データを削除することができる。図４では、（ａ）→（ｂ）→（ｃ）→（ｄ）の順にデータ量が減少している。
【００３６】
次いで、図２に戻り、特徴点・特徴量推定部２１３は、初期位置推定のための特徴点および特徴量を推定し、モデル点群データ保持部２３に格納する（ステップＳ１０３）。
【００３７】
一方、投影コンテンツ作成部２１４は、モデル点群データに基づき、対象物体Ｏに投影する映像コンテンツを作成する（ステップＳ１０４）。
【００３８】
次に、図５は映像投影制御装置２のオンライン処理部２２によるオンライン処理の例を示すフローチャートである。
【００３９】
図５において、オンライン処理部２２のシーン点群取得部２２１は、対象物体Ｏがない状態で深度センサ３により距離画像を取得し、３次元の頂点データに変換してシーン点群データを生成し、背景のシーン点群データとしてシーン点群データ保持部２５に格納する（ステップＳ２０１）。
【００４０】
その後、シーン点群取得部２２１は、深度センサ３により距離画像を取得し、頂点データに変換してシーン点群データを生成し、シーン点群データ保持部２５に格納する（ステップＳ２０２）。
【００４１】
次いで、初期位置推定部２２２は、リアルタイムに取得されるシーン点群データから特徴点および特徴量のデータを生成し、モデル点群データ保持部２３に保持されているモデル点群の特徴点および特徴量と照合することで、対象物体Ｏの初期位置を推定する（ステップＳ２０３）。
【００４２】
次いで、シーン点群取得部２２１は、深度センサ３により距離画像を取得し、頂点データに変換してシーン点群データを生成し、シーン点群データ保持部２５に格納する（ステップＳ２０４）。
【００４３】
次いで、シーン点群最適化部２２３は、リアルタイムに取得されるシーン点群データから推定に影響しないデータを削除することで最適化を行う（ステップＳ２０５）。シーン点群データの最適化の手法として、先に格納された背景のシーン点群データと現在のシーン点群データとの差分（背景差分）をとることで、背景に属するシーン点群データを削除することができる。この場合、ノイズの影響を考慮して背景のシーン点群データの位置を視点側に所定量だけずらし、重なる頂点データのうち、視点からの距離が奥側にある頂点データを削除する。なお、頂点データに変換する前の距離画像の状態で、背景の距離画像とリアルタイムに取得される距離画像との差分をとるようにしてもよい。
【００４４】
図６は、背景差分によるシーン点群の最適化の例を示す図であり、（ａ）は背景の状態、（ｂ）はリアルタイムに取得される状態、（ｃ）は差分の状態である。これにより、データ量を大幅に減少させることができるため、オンライン処理のトラッキング処理における処理時間（計算時間）を大幅に短縮することができる。
【００４５】
シーン点群データの最適化の他の手法として、トラッキング処理の過程で行われるパーティクルフィルタにより散布されるパーティクルが存在する領域を指定し、領域外のシーン点群を削除することができる。パーティクルは、対象物体Ｏが等速直線運動をすると仮定し、対象物体Ｏの重心位置から等速直線運動と乱数を考慮して移動する可能性のある位置に置かれる仮想点である。図７（ａ）における中央付近の矩形領域がパーティクルが存在するものとして指定された領域であり、この領域以外を削除したものが図７（ｂ）である。対象物体Ｏを人が手で持って動かすようなシチュエーションが多く予想されるため、対象物体Ｏ以外の部分、例えばそれを把持している人の腕等をシーン点群から除去することができる。
【００４６】
次いで、図５に戻り、トラッキング処理部２２４は、初期位置推定部２２２により推定された初期位置から開始して、対象物体Ｏの位置・姿勢を追跡する（ステップＳ２０６）。トラッキング処理の詳細については後述する。
【００４７】
次いで、映像生成部２２５は、トラッキング処理部２２４により推定された対象物体Ｏの位置・姿勢に基づき、映像コンテンツデータ保持部２４に保持された映像コンテンツから投影映像を生成する（ステップＳ２０７）。
【００４８】
その後、シーン点群データの生成（ステップＳ２０４）から処理を繰り返す。
【００４９】
図８はトラッキング処理（図５のステップＳ２０６）の例を示すフローチャートである。
【００５０】
図８において、トラッキング処理部２２４は、パーティクルを散布する（ステップＳ３０１）。図９（ａ）はパーティクルを散布した状態の例を示している。
【００５１】
次いで、図８に戻り、トラッキング処理部２２４は、モデル点群データ保持部２３に保持されているモデル点群データとリアルタイムに取得されるシーン点群データの間の距離差に応じてパーティクルに重み付けを行う（ステップＳ３０２）。この状態を図９（ｂ）に示している。
【００５２】
次いで、図８に戻り、トラッキング処理部２２４は、全パーティクルの加重平均により位置・姿勢を推定する（ステップＳ３０３）。
【００５３】
次いで、トラッキング処理部２２４は、ＩＣＰ（Iterative Closest Point）アルゴリズムによる高精度な位置合わせを行う（ステップＳ３０４）。この状態を図９（ｃ）に示している。
【００５４】
図１０はＩＣＰアルゴリズムの説明図であり、左側に示すように複数の頂点データから構成されるモデル形状（モデル点群データ）とシーン形状（シーン点群データ）がある場合、モデル形状を並進または回転することで、右側に示すように両者が一致した場合、モデルが特定されるとともに、加えた並進または回転からモデルの位置・姿勢を推定することができる。
【００５５】
図８においては、パーティクルフィルタによる第１段階の位置・姿勢の推定と、ＩＣＰアルゴリズムによる第２段階の位置・姿勢の推定とを行う場合について説明した。この場合、第１段階のパーティクルフィルタで大まかな推定を行うため、計算量の多いＩＣＰアルゴリズムの処理を軽減することができ、全体の計算量を低減することができる。しかし、モデル点群データおよびシーン点群データの最適化により計算量を低減できる場合には、ＩＣＰアルゴリズムによる位置・姿勢の推定だけでもトラッキング処理を行うことができる。
【００５６】
＜総括＞
以上説明したように、本実施形態によれば、プロジェクションマッピングにおいて、動いている物体の位置・姿勢を高速に推定し、映像投影を行うことができる。
【００５７】
そのため、動いているものへの映像投影の精度を向上させることが可能となり、現状のプロジェクションマッピングでは静止しているものに投影が限られていた対象を大幅に広げることができる。
【００５８】
例えば、
・舞台上の演技者の衣服や表情などの映像投影での演出
・製品デザイン検討の段階における、手にとって観察可能な試作品への様々な外観の付与
・ショールームなどの展示物を動かしながらその見た目を変えることによる展示効果の促進
・バーチャル空間の物体を実空間の"見た目"として具現化することによる、よりリアルな拡張現実感の実現
・内部構造を可視化することで、医療分野における解剖模型等の学習教材の表現力・対話性の改善
等に応用することができる。
【００５９】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００６０】
Ｏ          対象物体
１          プロジェクションマッピング装置
２          映像投影制御装置
２１        オフライン処理部
２１１      ３Ｄスキャン部
２１２      モデル点群最適化部
２１３      特徴点・特徴量推定部
２１４      投影コンテンツ作成部
２２        オンライン処理部
２２１      シーン点群取得部
２２２      初期位置推定部
２２３      シーン点群最適化部
２２４      トラッキング処理部
２２５      映像生成部
２３        モデル点群データ保持部
２４        映像コンテンツデータ保持部
２５        シーン点群データ保持部
３          深度センサ
４          投影装置
【図２】
2016152586.tif 000003
【図５】
2016152586.tif 000004
【図８】
2016152586.tif 000005
【図１０】
2016152586.tif 000006
【図１】
2016152586.tif 000007
【図３】
2016152586.tif 000008
【図４】
2016152586.tif 000009
【図６】
2016152586.tif 000010
【図７】
2016152586.tif 000011
【図９】
2016152586.tif 000012