(57)【要約】【課題】対象物体の３次元形状モデルの復元に用いる多視点画像を撮像する際、対象物体に対する撮像装置の撮像位置及び撮像方向を求める必要がなく、かつ事前に対象物体における観測面の情報を得る必要がなく、簡易にユーザに対して、対象物体における不足する撮像箇所を通知する画像撮像支援装置を提供する。【解決手段】本発明は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、対象物体を直前に撮像した画像データである撮像済画像データと、プレビュー画像データとにおける特徴点を抽出する特徴点抽出部と、撮像済画像データ及びプレビュー画像データの各々の特徴点の第１対応点を検出するマッチング処理部と、第１対応点が重畳されたプレビュー画像を表示し、撮像すべき位置か否かの支援情報として通知する支援情報通知部とを備える。【選択図】図１
2020113843.tif 000002
【特許請求の範囲】
【請求項１】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、
前記対象物体を直前に撮像した画像データである撮像済画像データと、プレビュー画像データとにおける特徴点を抽出する特徴点抽出部と、
前記撮像済画像データ及び前記プレビュー画像データの各々の特徴点の第１対応点を検出するマッチング処理部と、
前記第１対応点が重畳された前記プレビュー画像データのプレビュー画像を表示し、当該プレビュー画像に撮像に対応する支援情報を通知する支援情報通知部と
を備えることを特徴とする画像撮像支援装置。
【請求項２】
前記第１対応点に基づき、前記撮像済画像データと前記プレビュー画像データとの前記特徴点の第１移動量を算出する移動量計算部と、
前記第１対応点に基づき、前記撮像済画像データと前記プレビュー画像データとの画像の第１オーバーラップ率を算出するオーバーラップ率計算部と
をさらに備え、
前記第１対応点の数が第Ａ１閾値を下回った場合、前記第１移動量が第Ａ２閾値を超えた場合、前記第１オーバーラップ率が第Ａ３閾値を下回った場合、前記第１対応点の数が第Ｂ１閾値を超えた場合、前記第１移動量が第Ｂ２閾値を下回った場合及び前記第１オーバーラップ率が第Ｂ３閾値を超えた場合の各々における少なくともいずれかの場合、
前記支援情報通知部が、撮像位置の調整を指示する前記支援情報の通知を行なう
ことを特徴とする請求項１に記載の画像撮像支援装置。
【請求項３】
前記特徴点抽出部が、前記対象物体を最初に撮像した画像データである基点画像データと、前記プレビュー画像データとの特徴点を抽出し、
前記マッチング処理部が、前記基点画像データ及び前記プレビュー画像データの各々の特徴点の第２対応点を検出する
ことを特徴とする請求項１に記載の画像撮像支援装置。
【請求項４】
移動量計算部が、前記第２対応点に基づき、前記基点画像データと前記プレビュー画像データとの前記特徴点の第２移動量を算出し、
オーバーラップ率計算部が、前記第２対応点に基づき、前記基点画像データと前記プレビュー画像データとの第２オーバーラップ率を算出し、
前記第２対応点の数が第Ｃ１閾値を超えた場合、前記第２移動量が第Ｃ２閾値を下回った場合及び前記第１オーバーラップ率が第Ｃ３閾値を超えた場合における少なくともいずれかの場合、
前記支援情報通知部が、前記プレビュー画像データの撮像画像の撮像位置が前記基点画像データの撮像画像を撮像した撮像位置に戻ったことを示す前記通知を行なう
ことを特徴とする請求項３に記載の画像撮像支援装置。
【請求項５】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、
対象物体を順次撮像した画像データの各々において、第１画像データと、当該第１画像データを撮像した直前もしくは直後に撮像した他の画像データである第２画像データとの特徴点を抽出する特徴点抽出部と、
前記第１画像データ及び前記第２画像データの各々の特徴点の第１対応点を検出するマッチング処理部と、
前記第１対応点に基づき、前記第１画像データと前記第２画像データとの画像の第１オーバーラップ率を算出するオーバーラップ率計算部と、
前記画像データの各々のサムネイル画像を撮像順に配列させ、前記第１画像データ及び前記第２画像データの境界部分に、撮像すべき位置か否かの支援情報として前記第１対応点の数及び前記第１オーバーラップ率のいずれか、あるいは双方に対応する情報を表示する支援情報通知部と
を備えることを特徴とする画像撮像支援装置。
【請求項６】
前記支援情報が前記第１対応点の数及び前記第１オーバーラップ率のいずれか、あるいは双方の数値、または当該数値に対応する色である
ことを特徴とする請求項５に記載の画像撮像支援装置。
【請求項７】
前記第１画像データ及び前記第２画像データにおける前記第１対応点数及び前記第１オーバーラップ率のいずれか、あるいは双方の数値が予め設定された閾値を下回るか否かの判定を行ない、当該数値が前記閾値を下回った場合、当該第１画像データ及び当該第２画像データの間の画像データの追加画像が必要と判定する追加撮像位置抽出部をさらに備え、
前記支援情報通知部が、追加画像が必要と判定された前記第１画像データ及び前記第２画像データの境界部分に、当該第１画像データ、当該第２画像データそれぞれの間の撮像位置における追加の撮像を促す通知を表示する
ことを特徴とする請求項５または請求項６に記載の画像撮像支援装置。
【請求項８】
前記第１画像データ及び前記第２画像データの境界部分を新たに撮像した画像データである追加画像データを挿入する撮像画像挿入部をさらに備え、
前記特徴点抽出部が、追加画像が必要とされた前記境界部分に対応する前記第１画像データ及び前記第２画像データの各々と、前記追加画像データとの特徴点を抽出し、
前記マッチング処理部が、追加画像が必要とされた前記境界部分に対応する前記第１画像データ及び前記第２画像データの各々における特徴点と、前記追加画像データの特徴点との対応点を抽出するマッチング処理を行ない、
前記撮像画像挿入部が、前記対応点の数に基づき、前記第１画像データ及び前記第２画像データの境界部分に前記追加画像を挿入する
ことを特徴とする請求項７に記載の画像撮像支援装置。
【請求項９】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、
撮像された多視点画像の画像データの各々から対象物体の３次元形状モデルを復元する３次元形状モデル復元部と、
前記３次元形状モデル復元部が前記３次元形状モデルを生成する際、所定の範囲の領域の復元に用いられる前記画像データの組合せを抽出する画像データ組合せ抽出部と、
前記領域の復元の精度を示す支援情報を当該３次元形状モデルに対してマーキングする支援情報通知部と
を備えることを特徴とする画像撮像支援装置。
【請求項１０】
前記マーキングが、少なくとも、前記３次元形状モデルのテクスチャ、頂点色及びマテリアルの変更、レンダリング時にタグを付与する
ことを含む請求項９に記載の画像撮像支援装置。
【請求項１１】
前記画像データ間のオーバーラップ率を算出するオーバーラップ率計算部をさらに備え、
前記支援情報通知部が、前記支援情報として、前記オーバーラップ率を当該３次元形状モデルに対してマーキングする
ことを特徴とする請求項９または請求項１０に記載の画像撮像支援装置。
【請求項１２】
前記支援情報通知部が、前記３次元形状モデル復元時における特徴点のマッチング処理の精度を示す支援情報を、３次元形状モデルに対してマーキングする
ことを特徴とする請求項９から請求項１１のいずれか一項に記載の画像撮像支援装置。
【請求項１３】
３次元形状モデル復元部が前記３次元形状モデルを復元する際に算出した、前記組合せにおける前記画像データ間の視差を抽出する視差抽出部と、
３次元形状モデル復元部が前記３次元形状モデルを復元する際に算出した、前記組合せにおける前記画像データ間の相関値を抽出する相関値抽出部と、
３次元形状モデル復元部が前記３次元形状モデルを復元する際に算出した、前記範囲に対する視点数を抽出する視点数抽出部と
をさらに備え、
前記支援情報通知部が、前記視差、前記相関値および前記視点数に基づき、前記３次元形状モデル復元時における特徴点のマッチング処理の精度に関わる情報を支援情報として、３次元形状モデルに対してマーキングする
ことを特徴とする請求項１２に記載の画像撮像支援装置。
【請求項１４】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、
前記３次元形状モデルの復元対象領域を示す展開画像データと、前記展開画像データを分割した所定の分割領域と重なるように撮像された画像データとの各々における特徴点を抽出する特徴点抽出部と、
前記展開画像データ及び前記画像データの各々の特徴点の対応点を検出するマッチング処理部と、
前記分割領域の特徴点と対応点を有する撮像画像データの枚数をカウントし、カウント枚数として出力する枚数カウント部と、
前記カウント枚数を支援情報として表示する支援情報通知部と
を備えることを特徴とする画像撮像支援装置。
【請求項１５】
前記支援情報通知部が、前記展開画像データを表示し、当該展開画像データに対して、前記展開画像データを分割した所定の分割領域毎に、当該分割領域の特徴点と対応点を有する撮像画像データのカウント枚数を、前記支援情報として前記展開画像データに重畳して表示する
ことを特徴とする請求項１４に記載の画像撮像支援装置。
【請求項１６】
前記枚数カウント部が、予め設定された撮像画像データの枚数を示す枚数閾値以上か否かの判定を行ない、
前記支援情報通知部が、前記判定の判定結果を前記支援情報として、前記展開画像データに重畳して表示する
ことを特徴とする請求項１４または請求項１５に記載の画像撮像支援装置。
【請求項１７】
前記展開画像データが、
前記画像データを組み合わせて形成された、あるいは前記画像データより前記対象物体からズームアウトされて撮像されたデータである
ことを特徴とする請求項１４から請求項１６のいずれか一項に記載の画像撮像支援装置。
【請求項１８】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、
特徴点抽出部が、前記対象物体を直前に撮像した画像データである撮像済画像データと、プレビュー画像データとにおける特徴点を抽出する特徴点抽出過程と、
マッチング処理部が、前記撮像済画像データ及び前記プレビュー画像データの各々の特徴点の第１対応点を検出するマッチング処理過程と、
支援情報通知部が、前記第１対応点が重畳された前記プレビュー画像データを表示し、撮像すべき位置か否かの支援情報として通知する支援情報通知過程と
を含むことを特徴とする画像撮像支援方法。
【請求項１９】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、
特徴点抽出部が、前記対象物体を順次撮像した画像データの各々において、第１画像データを撮像した直前もしくは直後に撮像した他の画像データである第２画像データとの特徴点を抽出する特徴点抽出過程と、
マッチング処理部が、前記第１画像データ及び前記第２画像データの各々の特徴点の第１対応点を検出するマッチング処理過程と、
オーバーラップ率計算部が、前記第１対応点に基づき、前記第１画像データと前記第２画像データとの画像の第１オーバーラップ率を算出するオーバーラップ率計算過程と、
支援情報通知部が、前記画像データの各々のサムネイル画像を撮像順に配列させ、前記第１画像データ及び第２画像データの境界部分に、撮像すべき位置か否かの支援情報として前記第１対応点の数及び前記第１オーバーラップ率のいずれか、あるいは双方に対応する情報を表示する支援情報通知過程と
を含むことを特徴とする画像撮像支援方法。
【請求項２０】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、
３次元形状モデル復元部が、撮像された前記多視点画像の画像データの各々から前記対象物体の前記３次元形状モデルを復元する３次元形状モデル復元過程と、
画像データ組合せ抽出部が、前記３次元形状モデル復元部が前記３次元形状モデルを生成する際、所定の範囲の領域の復元に用いられる前記画像データの組合せを抽出する画像データ組合せ抽出過程と、
対応点抽出部が、前記３次元形状モデル復元部が前記画像データの各々における特徴点のマッチングを行なって求めた、前記組合せの前記画像データ間の第１対応点を抽出する対応点抽出過程と、
支援情報通知部が、前記第１対応点に基づき、前記領域の復元の精度を示す支援情報を当該３次元形状モデルに対してマーキングして通知する支援情報通知過程と
を含むことを特徴とする画像撮像支援方法。
【請求項２１】
対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、
特徴点抽出部が、前記３次元形状モデルを復元する対象の前記対象物体の復元対象領域を示す展開画像データと、前記展開画像データと一部分が重なるように撮像された画像データとの各々における特徴点を抽出する特徴点抽出過程と、
マッチング処理部が、前記展開画像データ及び前記画像データの各々の特徴点の第１対応点を検出するマッチング処理過程と、
支援情報通知部が、前記展開画像データを表示し、当該展開画像データに対してマッチングを行なった前記第１対応点を支援情報として表示する支援情報通知過程と
を含むことを特徴とする画像撮像支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物体の３次元形状モデルを復元する画像の撮像を支援する画像撮像支援装置及び画像撮像支援方法に関する。
【背景技術】
【０００２】
多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている。
【０００３】
上述した多視点画像に基づく３次元復元技術は、三角測量の技術を用いており、最終的に、各視点におけるデプスマップを統合することによって、３                      次元座標点群を生成する。
このため、各視点における画像（視点画像）を用いて世界座標系における対象物体の３次元形状モデルを復元する際、２つ以上の異なる視点画像間において、世界座標系における３次元座標点の座標点に対応する視点画像それぞれの対応画素を検出する処理が行なわれる。
【０００４】
したがって、３次元形状モデルを精度良く復元するために、撮像装置による撮像位置を対象物体を中心として移動させ、対象物体の全体の面を漏れなく撮像する必要がある。
そのため、ユーザが漏れなく対象物体の全体の面を漏れなく撮像することを支援する支援装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５６３８５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１においては、対象物体の撮像を行う際、撮像位置及び撮像方向を決定するため、撮像装置の被観測方向ベクトルと、対象物体の観測面の観測方向ベクトルとを一致させている。
そして、対象物体の観測面における観測方向ベクトルを予め設定しておき、画像を撮像した際における撮像装置の被観測方向ベクトルを求め、観測方向ベクトルと被観測方向ベクトルとの比較を行ない一致度を求めて、対象物体の未撮像の観測位置をユーザに通知している。
【０００７】
このため、対象物体の撮像を行なう際、事前に対象物体の観測面における観測方向ベクトルを求めておく必要があるため、対象物体を撮像する前処理により、対象物体の３次元形状モデルの復元の処理におけるユーザが行なう工程が増加する。
また、リアルタイムに被観測方向ベクトルを求めて、観測方向ベクトルと一致するか否かをユーザに通知するが、ユーザは撮像位置及び撮像方向を変化させて、観測方向ベクトルと、被観測方向ベクトルに合わせるため、詳細な位置合わせが必要がとなる。
【０００８】
本発明は、このような状況に鑑みてなされたもので、対象物体の３次元形状モデルの復元に用いる多視点画像を撮像する際、対象物体に対する撮像装置の撮像位置及び撮像方向を求める必要がなく、かつ事前に対象物体における観測面の情報を得る必要がなく、簡易にユーザに対して、対象物体における不足する撮像箇所を通知する画像撮像支援装置及び画像撮像支援方法を提供する。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明の画像撮像支援装置は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、
前記対象物体を直前に撮像した画像データである撮像済画像データと、プレビュー画像データとにおける特徴点を抽出する特徴点抽出部と、前記撮像済画像データ及び前記プレビュー画像データの各々の特徴点の第１対応点を検出するマッチング処理部と、前記第１対応点が重畳された前記プレビュー画像データのプレビュー画像を表示し、当該プレビュー画像に撮像に対応する支援情報を通知する支援情報通知部とを備えることを特徴とする。
【００１０】
本発明の画像撮像支援装置は、前記第１対応点に基づき、前記撮像済画像データと前記プレビュー画像データとの前記特徴点の第１移動量を算出する移動量計算部と、前記第１対応点に基づき、前記撮像済画像データと前記プレビュー画像データとの画像の第１オーバーラップ率を算出するオーバーラップ率計算部とをさらに備え、前記第１対応点の数が第Ａ１閾値を下回った場合、前記第１移動量が第Ａ２閾値を超えた場合、前記第１オーバーラップ率が第Ａ３閾値を下回った場合、前記第１対応点の数が第Ｂ１閾値を超えた場合、前記第１移動量が第Ｂ２閾値を下回った場合及び前記第１オーバーラップ率が第Ｂ３閾値を超えた場合の各々における少なくともいずれかの場合、前記支援情報通知部が、撮像位置の調整を指示する前記支援情報の通知を行なうことを特徴とする。
【００１１】
本発明の画像撮像支援装置は、前記特徴点抽出部が、前記対象物体を最初に撮像した画像データである基点画像データと、前記プレビュー画像データとの特徴点を抽出し、前記マッチング処理部が、前記基点画像データ及び前記プレビュー画像データの各々の特徴点の第２対応点を検出することを特徴とする。
【００１２】
本発明の画像撮像支援装置は、移動量計算部が、前記第２対応点に基づき、前記基点画像データと前記プレビュー画像データとの前記特徴点の第２移動量を算出し、オーバーラップ率計算部が、前記第２対応点に基づき、前記基点画像データと前記プレビュー画像データとの第２オーバーラップ率を算出し、前記第２対応点の数が第Ｃ１閾値を超えた場合、前記第２移動量が第Ｃ２閾値を下回った場合及び前記第１オーバーラップ率が第Ｃ３閾値を超えた場合における少なくともいずれかの場合、前記支援情報通知部が、前記プレビュー画像データの撮像画像の撮像位置が前記基点画像データの撮像画像を撮像した撮像位置に戻ったことを示す前記通知を行なうことを特徴とする。
【００１３】
本発明の画像撮像支援装置は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、対象物体を順次撮像した画像データの各々において、第１画像データと、当該第１画像データを撮像した直前もしくは直後に撮像した他の画像データである第２画像データとの特徴点を抽出する特徴点抽出部と、前記第１画像データ及び前記第２画像データの各々の特徴点の第１対応点を検出するマッチング処理部と、前記第１対応点に基づき、前記第１画像データと前記第２画像データとの画像の第１オーバーラップ率を算出するオーバーラップ率計算部と、前記画像データの各々のサムネイル画像を撮像順に配列させ、前記第１画像データ及び第２画像データの境界部分に、撮像すべき位置か否かの支援情報として前記第１対応点の数及び前記第１オーバーラップ率のいずれか、あるいは双方に対応する情報を表示する支援情報通知部とを備えることを特徴とする。
【００１４】
本発明の画像撮像支援装置は、前記支援情報が前記第１対応点の数及び前記第１オーバーラップ率のいずれか、あるいは双方の数値、または当該数値に対応する色であることを特徴とする。
【００１５】
本発明の画像撮像支援装置は、前記第１画像データ及び前記第２画像データにおける前記第１対応点の数及び前記第１オーバーラップ率のいずれか、あるいは双方の数値が予め設定された閾値を下回るか否かの判定を行ない、当該数値が前記閾値を下回った場合、当該第１画像データ及び当該第２画像データの間の画像データの追加画像が必要と判定する追加撮像位置抽出部をさらに備え、前記支援情報通知部が、追加画像が必要と判定された前記第１画像データ及び前記第２画像データの境界部分に、当該第１画像データ、当該第２画像データそれぞれの間の撮像位置における追加の撮像を促す通知を表示することを特徴とする。
【００１６】
本発明の画像撮像支援装置は、前記第１画像データ及び前記第２画像データの境界部分を新たに撮像した画像データである追加画像データを挿入する撮像画像挿入部をさらに備え、前記特徴点抽出部が、追加画像が必要とされた前記境界部分に対応する前記第１画像データ及び前記第２画像データの各々と、前記追加画像データとの特徴点を抽出し、前記マッチング処理部が、追加画像が必要とされた前記境界部分に対応する前記第１画像データ及び前記第２画像データの各々における特徴点と、前記追加画像データの特徴点との対応点を抽出するマッチング処理を行ない、前記撮像画像挿入部が、前記対応点の数に基づき、前記第１画像データ及び前記第２画像データの境界部分に前記追加画像を挿入することを特徴とする。
【００１７】
本発明の画像撮像支援装置は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、撮像された多視点画像の画像データの各々から対象物体の３次元形状モデルを復元する３次元形状モデル復元部と、前記３次元形状モデル復元部が前記３次元形状モデルを生成する際、所定の範囲の領域の復元に用いられる前記画像データの組合せを抽出する画像データ組合せ抽出部と、前記領域の復元の精度を示す支援情報を当該３次元形状モデルに対してマーキングする支援情報通知部とを備えることを特徴とする。
【００１８】
本発明の画像撮像支援装置は、前記マーキングが、少なくとも、前記３次元形状モデルのテクスチャ、頂点色及びマテリアルの変更、レンダリング時にタグを付与することを含むことを特徴とする。
【００１９】
本発明の画像撮像支援装置は、前記画像データ間のオーバーラップ率を算出するオーバーラップ率計算部をさらに備え、前記支援情報通知部が、前記支援情報として、前記オーバーラップ率を当該３次元形状モデルに対してマーキングすることを特徴とする。
【００２０】
本発明の画像撮像支援装置は、前記支援情報通知部が、前記３次元形状モデル復元時における特徴点のマッチング処理の精度を示す支援情報を、３次元形状モデルに対してマーキングすることを特徴とする。
【００２１】
本発明の画像撮像支援装置は、３次元形状モデル復元部が前記３次元形状モデルを復元する際に算出した、前記組合せにおける前記画像データ間の視差を抽出する視差抽出部と、３次元形状モデル復元部が前記３次元形状モデルを復元する際に算出した、前記組合せにおける前記画像データ間の相関値を抽出する相関値抽出部と、３次元形状モデル復元部が前記３次元形状モデルを復元する際に算出した、前記範囲に対する視点数を抽出する視点数抽出部とをさらに備え、前記支援情報通知部が、前記視差、前記相関値および前記視点数に基づき、前記３次元形状モデル復元時における特徴点のマッチング処理の精度に関わる情報を支援情報として、３次元形状モデルに対してマーキングすることを特徴とする。
【００２２】
本発明の画像撮像支援装置は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、前記３次元形状モデルの復元対象領域を示す展開画像データと、前記展開画像データを分割した所定の分割領域と重なるように撮像された画像データとの各々における特徴点を抽出する特徴点抽出部と、前記展開画像データ及び前記画像データの各々の特徴点の対応点を検出するマッチング処理部と、前記分割領域の特徴点と対応点を有する撮像画像データの枚数をカウントし、カウント枚数として出力する枚数カウント部と、前記カウント枚数を支援情報として表示する支援情報通知部とを備えることを特徴とする。
【００２３】
本発明の画像撮像支援装置は、前記支援情報通知部が、前記展開画像データを表示し、当該展開画像データに対して、前記展開画像データを分割した所定の分割領域毎に、当該分割領域の特徴点と対応点を有する撮像画像データのカウント枚数を、前記支援情報として前記展開画像データに重畳して表示することを特徴とすることを特徴とする。
【００２４】
本発明の画像撮像支援装置は、前記枚数カウント部が、予め設定された撮像画像データの枚数を示す枚数閾値以上か否かの判定を行ない、前記支援情報通知部が、前記判定の判定結果を前記支援情報として、前記展開画像データに重畳して表示することを特徴とする。
【００２５】
本発明の画像撮像支援装置は、前記展開画像データが、前記画像データを組み合わせて形成された、あるいは前記画像データより前記対象物体からズームアウトされて撮像されたデータであることを特徴とする。
【００２６】
本発明の画像撮像支援方法は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、特徴点抽出部が、前記対象物体を直前に撮像した画像データである撮像済画像データと、プレビュー画像データとにおける特徴点を抽出する特徴点抽出過程と、マッチング処理部が、前記撮像済画像データ及び前記プレビュー画像データの各々の特徴点の第１対応点を検出するマッチング処理過程と、支援情報通知部が、前記第１対応点が重畳された前記プレビュー画像データを表示し、撮像すべき位置か否かの支援情報として通知する支援情報通知過程とを含むことを特徴とする。
【００２７】
本発明の画像撮像支援方法は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、特徴点抽出部が、前記対象物体を順次撮像した画像データの各々において、第１画像データを撮像した直前もしくは直後に撮像した他の画像データである第２画像データとの特徴点を抽出する特徴点抽出過程と、マッチング処理部が、前記第１画像データ及び前記第２画像データの各々の特徴点の第１対応点を検出するマッチング処理過程と、オーバーラップ率計算部が、前記第１対応点に基づき、前記第１画像データと前記第２画像データとの画像の第１オーバーラップ率を算出するオーバーラップ率計算過程と、支援情報通知部が、前記画像データの各々のサムネイル画像を撮像順に配列させ、前記第１画像データ及び第２画像データの境界部分に、撮像すべき位置か否かの支援情報として前記第１対応点の数及び前記第１オーバーラップ率のいずれか、あるいは双方に対応する情報を表示する支援情報通知過程とを含むことを特徴とする。
【００２８】
本発明の画像撮像支援方法は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、３次元形状モデル復元部が、撮像された前記多視点画像の画像データの各々から前記対象物体の前記３次元形状モデルを復元する３次元形状モデル復元過程と、画像データ組合せ抽出部が、前記３次元形状モデル復元部が前記３次元形状モデルを生成する際、所定の範囲の領域の復元に用いられる前記画像データの組合せを抽出する画像データ組合せ抽出過程と、対応点抽出部が、前記３次元形状モデル復元部が前記画像データの各々における特徴点のマッチングを行なって求めた、前記組合せの前記画像データ間の第１対応点を抽出する対応点抽出過程と、支援情報通知部が、前記第１対応点に基づき、前記領域の復元の精度を示す支援情報を当該３次元形状モデルに対してマーキングして通知する支援情報通知過程とを含むことを特徴とする。
【００２９】
本発明の画像撮像支援方法は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、特徴点抽出部が、前記３次元形状モデルを復元する対象の前記対象物体の復元対象領域を示す展開画像データと、前記展開画像データと一部分が重なるように撮像された画像データとの各々における特徴点を抽出する特徴点抽出過程と、マッチング処理部が、前記展開画像データ及び前記画像データの各々の特徴点の第１対応点を検出するマッチング処理過程と、支援情報通知部が、前記展開画像データを表示し、当該展開画像データに対してマッチングを行なった前記第１対応点を支援情報として表示する支援情報通知過程とを含むことを特徴とする。
【発明の効果】
【００３０】
以上説明したように、本発明によれば、対象物体の３次元形状モデルの復元に用いる多視点画像を撮像する際、対象物体に対する撮像装置の撮像位置及び撮像方向を求める必要がなく、かつ事前に対象物体における観測面の情報を得る必要がなく、簡易にユーザに対して、対象物体における不足する撮像箇所を通知する画像撮像支援装置、画像撮像支援方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態による画像撮像支援装置の構成例を示すブロック図である。
【図２】支援情報通知部１０６によるプレビュー画像に対してマークを重畳させて表示させた表示画面の一例を示している。
【図３】本実施形態による画像撮像支援装置１００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
【図４】撮像画像データの撮像処理が終了したか否かの判定を説明する図である。
【図５】本発明の第２の実施形態による画像撮像支援装置の構成例を示すブロック図である。
【図６】追加撮像位置抽出部２０５が抽出した追加画像データの追加が必要な箇所に支援情報通知部２０８が行なう警告の表示例を示す図である。
【図７】本実施形態による画像撮像支援装置２００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
【図８】本発明の第３の実施形態による画像撮像支援装置の構成例を示すブロック図である。
【図９】支援情報通知部３０６による３次元形状モデルの画像に対してマーク、一例としてテクスチャを重畳させて表示させた表示画面の一例を示している。
【図１０】本実施形態による画像撮像支援装置３００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
【図１１】本発明の第４の実施形態による画像撮像支援装置の構成例を示すブロック図である。
【図１２】支援情報通知部４０６による支援情報が重畳された展開画像データを表示した表示画面の一例を示している。
【図１３】本実施形態による画像撮像支援装置４００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【００３２】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態による画像撮像支援装置の構成例を示すブロック図である。本実施形態においては、図示しない撮像部から、３次元形状モデルとして復元する対象の対象物体を撮像した撮像画像データ、及びプレビュー画像データの各々が供給される。本実施形態は、静止画を撮像する撮像装置から、上記撮像画像データ及びプレビュー画像データが供給される。この撮像装置は、例えば、多視点画像を撮像するデジタルカメラである。
【００３３】
多視点画像は、対象物体の３次元形状モデルを復元するために用いる画像であり、上記対象物体を異なる視点から撮像した複数の画像である。ここで、プレビュー画像データとは、例えば、カメラなどの撮像装置におけるプレビュー画面に表示される、撮像画像を撮像する前のイメージセンサの出力をキャプチャした画像データである。また、本実施形態では、対象物体を中心として、一定の方向に少しずつ対象物体を撮像する撮像位置（視点）を移動させながら、順次、多視点画像が撮像されることを前提とする。つまり、不規則に対象物体を撮像する撮像位置を移動させて、ランダムな位置関係で撮像を行うことは想定していない。
【００３４】
図１において、画像撮像支援装置１００は、画像データ入力部１０１、特徴点抽出部１０２、マッチング処理部１０３、移動量計算部１０４、オーバーラップ率計算部１０５、支援情報通知部１０６、画像表示制御部１０７及び記憶部１０８の各々を備えている。
画像データ入力部１０１は、上記撮像部から撮像画像データ及びプレビュー画像データの各々を入力する。そして、画像データ入力部１０１は、撮像画像データに対してタイムスタンプを付与し、記憶部１０８に書き込んで記憶させ、プレビュー画像データを特徴点抽出部１０２へ出力する。
【００３５】
特徴点抽出部１０２は、タイムスタンプを参照して、すでに撮像された撮像画像データ（撮像済画像データ）から、最も時刻が新しい撮像画像データ（直前の撮像画像データ）を記憶部１０８から読み出す。そして、特徴点抽出部１０２は、読み出した撮像画像データと、画像データ入力部１０１から供給されるプレビュー画像データとの各々の特徴点の抽出を、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）などの特徴点抽出アルゴリズムを用いて行なう。
また、特徴点抽出部１０２は、記憶部１０８におけるタイムスタンプの順番が最も小さい（最初に撮像した）撮像画像データを基点画像データとして、この基点画像データにおける特徴点の抽出を行なう。
【００３６】
マッチング処理部１０３は、撮像画像データ及びプレビュー画像データの各々の特徴点間におけるマッチング処理を、例えばＯＲＢまたはＳＩＦＴ（Scale-Invariant Feature Transform）などのマッチングアルゴリズムを用いて行なう。そして、マッチング処理部１０３は、上記マッチング処理により、撮像画像データの特徴点とプレビュー画像データの特徴点とにおける対応点の抽出を行なう。
また、マッチング処理部１０３は、マッチング処理により、基点画像データの特徴点とプレビュー画像データの特徴点とにおける対応点の抽出を行なう。
ここで、特徴点は、例えばプレビュー画像データ及び撮像画像データの各々の画像における特徴的な箇所を示す点であり、例えば、対象物体の画像における角や線が交わる箇所等や、対象物体が人の顔であれば、眉、目、鼻、口角等の箇所である。
【００３７】
例えば、マッチング処理部１０３は、プレビュー画像データの特徴点を含む微小領域と、撮像画像データの各々の画像の特徴点を含む微小領域との間の相関を算出してマッチング処理を行う。ここで、マッチング処理部１０３は、プレビュー画像データの特徴点を含む微小領域と、撮像画像データの各々の画像の特徴点を含む微小領域とにおける各画素の輝度値の差分（色や明るさの違い）の総和を算出し、算出した差分の総和が所定の閾値以下、或いは最小となる微小領域の組合せを抽出する。そして、マッチング処理部１０３は、抽出した微小領域の組合せにおける、プレビュー画像データの特徴点と撮像画像データの特徴点とを、対応する対応点とする。
【００３８】
このとき、マッチング処理部１０３は、対応点のカウントを行ない、カウントされた対応点数が予め設定された対応点数上限閾値を超えているか、対応点数下限閾値以上か否かの判定を行なう。また、マッチング処理部１０３は、上記判定結果として、対応点数が対応点数上限閾値を超えているか、対応点数下限閾値未満か、対応点数上限閾値以下かつ対応点数下限閾値以上であるかを示す対応点数情報を支援情報通知部１０６に対して出力する。
【００３９】
移動量計算部１０４は、マッチング処理部１０３によって対応点とされた、撮像画像データ及びプレビュー画像データの各々の特徴点間の距離から視点の移動量（視差）を求める。ここで、上記距離とは、マッチング処理する際の座標系における対応点間の座標値の差分である。複数の対応点がある場合、それぞれの対応点間の距離の平均値、あるいは特徴点群間の重心の距離などを用いる。
【００４０】
このとき、移動量計算部１０４は、上記移動量が予め設定された移動量上限閾値を超えているか否か、移動量下限閾値未満であるか否かの判定を行なう。また、移動量計算部１０４は、上記判定結果として、移動量が移動量上限閾値を超えているか、移動量下限閾値未満か、移動量上限閾値以下かつ移動量下限閾値以上であるかを示す移動量情報を支援情報通知部１０６に対して出力する。
【００４１】
オーバーラップ率計算部１０５は、対応点が一致するように、撮像画像データ及びプレビュー画像データの各々を重ね、撮像画像データとプレビュー画像データとの平面視における重なった画像領域の面積を、撮像画像データ（あるいはプレビュー画像データ）の全体の画像領域の面積で除算して、オーバーラップ率を算出する。
【００４２】
このとき、オーバーラップ率計算部１０５は、上記オーバーラップ率が予め設定されたオーバーラップ率上限閾値を超えているか否か、オーバーラップ率下限閾値未満であるか否かの判定を行なう。また、オーバーラップ率計算部１０５は、上記判定結果として、オーバーラップ率がオーバーラップ率上限閾値を超えているか、オーバーラップ率下限閾値未満か、オーバーラップ率上限閾値以下かつオーバーラップ率下限閾値以上であるかを示すオーバーラップ率情報を支援情報通知部１０６に対して出力する。
【００４３】
支援情報通知部１０６は、図示しない撮像装置の表示部において、表示されているプレビュー画像に対して、マッチング処理部１０３が抽出した対応点としての特徴点にマーク（色あるいは文字）などを重畳させて表示する。
図２は、支援情報通知部１０６によるプレビュー画像に対してマークを重畳させて表示させた表示画面の一例を示している。図２（ａ）は、撮像画像データの画像を示している。図２（ｂ）は、プレビュー画像データの画像を示している。図２（ｃ）は、図２（ａ）の撮像画像データと図２（ｂ）のプレビュー画像データとの対応点である、プレビュー画像データの特徴点に対し、対応点であることを示すマーク５０１が重畳して表示されている。
【００４４】
図１に戻り、支援情報通知部１０６は、マッチング処理部１０３から供給される対応点数情報と、移動量計算部１０４から供給される移動量情報と、オーバーラップ率計算部１０５から供給されるオーバーラップ率情報との各々に基づき、上記撮像装置の表示部に対して、支援情報を表示して、撮像位置が適切か否かの通知を行なう。
【００４５】
ここで、支援情報通知部１０６は、表示画面におけるプレビュー画像に対して、対応点数、オーバーラップ率及び移動量の各々を表示しても良い。
また、対応点数情報において対応点数が、対応点数上限閾値を超えている場合、撮像位置の移動が少なすぎることを示し、対応点数下限閾値未満の場合、撮像位置を移動しすぎていることを示し、対応点数上限閾値以下かつ対応点数下限閾値以上である場合、適した撮像位置であることを示している。移動量情報において移動量が、移動量上限閾値を超えている場合、撮像位置が移動しすぎていることを示し、移動量下限閾値未満の場合、撮像位置の移動が少なすぎることを示し、移動量上限閾値以下かつ移動量下限閾値以上である場合、適した撮像位置であることを示している。オーバーラップ率情報においてオーバーラップ率が、オーバーラップ率上限閾値を超えている場合、撮像位置の移動が少ないことを示し、オーバーラップ率下限閾値未満の場合、撮像位置を移動しすぎていることを示し、対応点数上限閾値以下かつ対応点数下限閾値以上である場合、適した撮像位置であることを示している。
【００４６】
支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報の全てが適した撮像位置でない場合、対応点数情報、移動量情報、オーバーラップ率情報それぞれの判定結果（移動が大きい、あるいは移動が少ない）を警告、すなわち撮像位置の調整を指示する支援情報として、表示画面におけるプレビュー画像に重畳して表示する。例えば、支援情報通知部１０６は、表示画面に表示する警告として、移動が大きい場合、「移動しすぎなので撮像位置を戻してください」を表示して通知し、移動が少ない場合、「移動が少ないので撮像位置を進めてください」、移動が適切な場合、「適切な撮像位置なので撮像してください」を表示して通知する。
また、支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報のいずれか、あるいは組合せによりすなわち、少なくともいずれかが閾値から外れた場合に、上述した警告を表示画面におけるプレビュー画像に重畳して表示する構成としても良い。
【００４７】
画像表示制御部１０７は、支援情報通知部１０６の判定結果に対応して、撮像装置の表示部に対して、マークや警告などをプレビュー画像に重畳させて表示させる。
記憶部１０８には、撮像装置が撮像した撮像画像データが、撮像された順番を示すタイムスタンプと組み合わせて書き込まれて記憶されている。
【００４８】
図３は、本実施形態による画像撮像支援装置１００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
ステップＳ１０１：特徴点抽出部１０２は、タイムスタンプを参照して、直前の撮像画像データを記憶部１０８から読み出す。
ステップＳ１０２：画像データ入力部１０１は、撮像装置からプレビュー画像データを入力し、特徴点抽出部１０２に対して出力する。
【００４９】
ステップＳ１０３：特徴点抽出部１０２は、直前の撮像画像データとプレビュー画像データとの各々の特徴点を抽出する。
同様に、特徴点抽出部１０２は、基点画像データとプレビュー画像データとの各々の特徴点を抽出する。
【００５０】
ステップＳ１０４：マッチング処理部１０３は、直前の撮像画像データにおける特徴点と、プレビュー画像データにおける特徴点とのマッチング処理を行なう
そして、マッチング処理部１０３は、直前の撮像画像データ及びプレビュー画像データの各々における特徴点から対応点を抽出する。
このとき、マッチング処理部１０３は、抽出された対応点数が対応点数上限閾値を超えているか、対応点数下限閾値未満か、対応点数上限閾値以下かつ対応点数下限閾値以上であるかを示す対応点数情報を支援情報通知部１０６に対して出力する。
【００５１】
また、マッチング処理部１０３は、基点画像データにおける特徴点と、プレビュー画像データにおける特徴点とのマッチング処理を行なう。
そして、マッチング処理部１０３は、基点画像データ及びプレビュー画像データの各々における特徴点の対応点を抽出する。
このとき、マッチング処理部１０３は、対応点数が対応点数上限閾値を超えているか、対応点数下限閾値未満か、対応点数上限閾値以下かつ対応点数下限閾値以上であるかを示す第２対応点数情報を支援情報通知部１０６に対して出力する。
【００５２】
ステップＳ１０５：移動量計算部１０４は、直前の撮像画像データ及びプレビュー画像データの各々において対応点とされた特徴点間の距離を求め、この距離を移動量として出力する。
このとき、移動量計算部１０４は、移動量が移動量上限閾値を超えているか、移動量下限閾値未満か、移動量上限閾値以下かつ移動量下限閾値以上であるかを示す移動量情報を支援情報通知部１０６に対して出力する。
【００５３】
同様に、移動量計算部１０４は、基点撮像画像データ及びプレビュー画像データの各々において対応点とされた特徴点間の距離を求め、この距離を移動量として出力する。
このとき、移動量計算部１０４は、移動量が移動量上限閾値を超えているか、移動量下限閾値未満か、移動量上限閾値以下かつ移動量下限閾値以上であるかを示す第２移動量情報を支援情報通知部１０６に対して出力する。
【００５４】
ステップＳ１０６：オーバーラップ率計算部１０５は、対応点が一致するように、撮像画像データ及びプレビュー画像データの各々を重ね、オーバーラップ率を算出する。
このとき、オーバーラップ率計算部１０５は、オーバーラップ率がオーバーラップ率上限閾値を超えているか、オーバーラップ率下限閾値未満か、オーバーラップ率上限閾値以下かつオーバーラップ率下限閾値以上であるかを示すオーバーラップ率情報を支援情報通知部１０６に対して出力する。
【００５５】
同様に、オーバーラップ率計算部１０５は、対応点が一致するように、基点画像データ及びプレビュー画像データの各々を重ね、オーバーラップ率を算出する。
このとき、オーバーラップ率計算部１０５は、オーバーラップ率がオーバーラップ率上限閾値を超えているか、オーバーラップ率下限閾値未満か、オーバーラップ率上限閾値以下かつオーバーラップ率下限閾値以上であるかを示す第２オーバーラップ率情報を支援情報通知部１０６に対して出力する。
【００５６】
ステップＳ１０７：支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報の各々が移動量が大きいことを示しているか否かの判定を行なう。
このとき、支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報のいずれかが移動量が大きいことを示している場合、処理をステップＳ１１２へ進める。一方、支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報のいずれも移動量が大きいことを示していない場合、処理をステップＳ１０８へ進める。
【００５７】
ステップＳ１０８：支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報の各々が移動量が小さいことを示しているか否かの判定を行なう。
このとき、支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報のいずれかが移動量が小さいことを示している場合、処理をステップＳ１１３へ進める。一方、支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報のいずれも移動量が小さいことを示していない場合、処理をステップＳ１０９へ進める。
【００５８】
ステップＳ１０９：支援情報通知部１０６は、対応点数情報、移動量情報及びオーバーラップ率情報の各々が適した撮像位置であることを示しているため、撮像装置の表示画面に対し、画像表示制御部１０７を介して、対象物体の撮像を促す通知を表示する。また、図示はしないが音声出力部があり、音声として撮像を促す通知を行なっても良い。
画像データ入力部１０１は、撮像装置から撮像された撮像画像データが供給されると、タイムスタンプを付与して、記憶部１０８に対して書き込んで記憶させる。
【００５９】
ステップＳ１１０：支援情報通知部１０６は、第２対応点数情報、第２移動量情報及び第２オーバーラップ率情報の各々が移動が少ないか否かの判定処理を行なう。
ここで、基点画像データ及びプレビュー画像の対応点数が対応点数閾値を超えている場合、基点画像データ及びプレビュー画像の移動量が移動量閾値未満である場合、及び基点画像データ及びプレビュー画像のオーバーラップ率がオーバーラップ率閾値を超えている場合の各々は、移動が小さく、すでに必要な撮像画像データが得られていること、すなわち対象物体を中心として、この対象物体の回りを撮像処理をしつつ一周して、基点画像データを撮像した撮像位置に戻ったことを示している。
【００６０】
図４は、撮像画像データの撮像処理が終了したか否かの判定を説明する図である。図４（ａ）は、基点画像データの画像を示している。図４（ｂ）及び図４（ｃ）は、プレビュー画像データの画像を示している。図４（ｂ）のプレビュー画像データは、図４（ａ）の基点画像データと距離が大きいため、終了の撮像画像データとはならない。
一方、図（ｃ）のプレビュー画像データは、図４（ａ）の基点画像データと距離が小さいため（ほぼ同様の撮像位置から撮像されているため）、終了の撮像画像データとなる。
【００６１】
ステップＳ１１１：支援情報通知部１０６は、第２対応点数情報、第２移動量情報及び第２オーバーラップ率情報のいずれも、基点画像データ及びプレビュー画像データ間の移動が小さいことを示している（すでに必要な撮像画像データが得られている）か否かの判定を行ない、すなわち撮像処理が終了しているか否かの判定を行なう。
このとき、支援情報通知部１０６は、第２対応点数情報、第２移動量情報及び第２オーバーラップ率情報のいずれもが小さく、撮像画像データの撮像が終了した場合、多視点画像の撮像の処理を終了する。一方、支援情報通知部１０６は、第２対応点数情報、第２移動量情報及び第２オーバーラップ率情報のいずれかが小さくなく、撮像画像データの撮像が終了していない場合、ステップＳ１０１へ処理を進める。
【００６２】
ステップＳ１１２：支援情報通知部１０６は、撮像画像データに対するプレビュー画像データの移動が大きい場合、「移動しすぎなので撮像位置を戻してください」を表示して通知し、処理をステップＳ１０２へ進める。
これにより、撮像装置を操作しているユーザは、警告に対応して撮像位置を直前の撮像画像データを撮像した位置に近づける処理を行なう。
【００６３】
ステップＳ１１３：支援情報通知部１０６は、撮像画像データに対するプレビュー画像データの移動が大きい場合、「移動が少ないので撮像位置を進めてください」を表示して通知し、処理をステップＳ１０２へ進める。
これにより、撮像装置を操作しているユーザは、警告に対応して撮像位置を直前の撮像画像データを撮像した位置から進める処理を行なう。
【００６４】
上述したように、本実施形態によれば、対象物体の３次元形状モデルの復元に用いる多視点画像を撮像する際、対象物体に対する撮像装置の撮像位置及び撮像方向を求める必要がなく、かつ事前に対象物体における観測面の情報を得る必要がなく、計算処理に用いる負荷が少なく、ユーザが撮像処理を行なっている際、対象物体を復元する際に不足することが予想される撮像箇所を、リアルタイムにユーザに対して通知することができる。
【００６５】
また、本実施形態によれば、３次元形状モデルの復元処理について、撮像位置を移動する毎に支援情報が表示されて、撮像を行なう際の動作がリアルタイムに示唆されるため、経験の浅いユーザであっても、容易に多視点画像の撮像を撮像画像データの不足を発生させることなく行なうことができる。
また、本実施形態によれば、対象物体の３次元形状モデルを復元する処理を行なう前に、３次元形状モデルを復元するために必要な多視点画像の各々を、抜けなく撮像することができるため、不足した箇所の撮像画像データを取得した後、再度３次元形状の復元を行なうことが抑制されるため、作業の効率化が図れる。
【００６６】
＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
図５は、本発明の第２の実施形態による画像撮像支援装置の構成例を示すブロック図である。３次元形状モデルを復元する対象の対象物体を中心として、この対象物体の回りを移動しつつ、撮像装置９００により撮像された撮像画像データ（多視点画像のデータ）が、この撮像装置９００から本実施形態の画像撮像支援装置２００に対して供給される。本実施形態は、第１の実施形態と同様に、静止画を撮像するデジタルカメラなどの撮像装置９００から上記撮像画像データが供給される。本実施形態でも、第１の実施形態と同様に、対象物体を中心として、一定の方向に少しずつ対象物体を撮像する撮像位置（視点）を移動させながら、順次、多視点画像が撮像されることを前提とする。
【００６７】
図５において、画像撮像支援装置２００は、画像データ入力部２０１、特徴点抽出部２０２、マッチング処理部２０３、オーバーラップ率計算部２０４、追加撮像位置抽出部２０５、サムネイル画像生成部２０６、撮像画像挿入部２０７、支援情報通知部２０８、画像表示制御部２０９及び記憶部２１０の各々を備えている。
画像データ入力部２０１は、撮像装置９００から多視点画像である撮像画像データの各々を入力する。そして、画像データ入力部２０１は、入力した撮像画像データに対して順次、撮像順番（タイムスタンプ）を付与し、記憶部２１０に書き込んで記憶させる。
【００６８】
特徴点抽出部２０２は、記憶部２１０から撮像画像データを撮像順番に従い、撮像画像データを読み出す。
そして、特徴点抽出部２０２は、第１の実施形態と同様に、読み出した撮像画像データの特徴点の抽出を行ない撮像画像データの撮像順番に対応させて、抽出した特徴点の情報（特徴点情報）を記憶部２１０に対して書き込んで記憶させる。
【００６９】
マッチング処理部２０３は、記憶部２１０から撮像画像データを撮像順番に従い、撮像画像データの特徴点情報を読み出す。
マッチング処理部２０３は、撮像順番ｎの撮像画像データの特徴点と、撮像順番ｎ＋１の撮像画像データの特徴点との各々のマッチング処理を行ない、第１の実施形態と同様に対応点の抽出を行なう。
【００７０】
このとき、マッチング処理部２０３は、対応点のカウントを行ない、カウントされた対応点数が予め設定された対応点数閾値以上、あるいは対応点数閾値未満のいずれであるかの判定を行なう。また、マッチング処理部２０３は、上記判定結果として、対応点数が対応点数閾値以上か、対応点数閾値未満かを示す対応点数情報を追加撮像位置抽出部２０５に対して出力する。
【００７１】
ここで、対応点数が対応点数閾値以上である場合、撮像順番ｎの撮像画像データと、撮像順番ｎ＋１の撮像画像データとの撮像位置が適切であることを示し、すなわち追加の撮像画像データが必要ないことを示している。一方、対応点数が対応点数閾値未満である場合、撮像順番ｎの撮像画像データと、撮像順番ｎ＋１の撮像画像データとの撮像位置が適切でないことを示し、すなわち追加の撮像画像データが必要であることを示している。
【００７２】
オーバーラップ率計算部２０４は、対応点が一致するように、撮像順番ｎの撮像画像データの特徴点と、撮像順番ｎ＋１の撮像画像データの各々を重ね、平面視における重なった画像領域の面積を、撮像画像データの全体の画像領域の面積で除算して、オーバーラップ率を算出する。
【００７３】
このとき、オーバーラップ率計算部２０４は、上記オーバーラップ率が予め設定されたオーバーラップ率閾値以上か、オーバーラップ率閾値未満であるか否かの判定を行なう。また、オーバーラップ率計算部２０４は、上記判定結果として、オーバーラップ率がオーバーラップ率閾値以上か、オーバーラップ率閾値未満かを示すオーバーラップ率情報を追加撮像位置抽出部２０５に対して出力する。
【００７４】
ここで、オーバーラップ率がオーバーラップ率閾値以上である場合、撮像順番ｎの撮像画像データと、撮像順番ｎ＋１の撮像画像データとの撮像位置が適切であることを示し、すなわち追加の撮像画像データが必要ないことを示している。一方、オーバーラップ率がオーバーラップ率閾値未満である場合、撮像順番ｎの撮像画像データと、撮像順番ｎ＋１の撮像画像データとの撮像位置が適切でないことを示し、すなわち追加の撮像画像データが必要であることを示している。
【００７５】
追加撮像位置抽出部２０５は、撮像順番ｎの撮像画像データ及び撮像順番ｎ＋１の撮像画像データの組合せに毎に供給される、対応点数情報及びオーバーラップ率情報の各々に基づき、いずれの撮像順番の撮像画像データ間に、追加して撮像する撮像画像データが必要であるかを判定する。
【００７６】
ここで、追加撮像位置抽出部２０５は、供給された対応点数情報及びオーバーラップ率情報において、対応点数が対応点数閾値以上であり、かつオーバーラップ率がオーバーラップ率閾値以上である場合、この撮像順番の撮像画像データ間に、追加して撮像する撮像画像データが必要ないと判定する。一方、追加撮像位置抽出部２０５は、供給された対応点数情報及びオーバーラップ率情報において、対応点数が対応点数閾値未満、及びオーバーラップ率がオーバーラップ率閾値未満のいずれかあるいは双方である場合、この撮像順番の撮像画像データ間に、追加して撮像する撮像画像データが必要であると判定する。
【００７７】
サムネイル画像生成部２０６は、記憶部２１０に記憶されている撮像画像データの各々のサムネイル画像を生成し、撮像画像データと同一の撮像順番を付与して、記憶部２１０に書き込んで記憶させる。ここで、サムネイル画像生成部２０６は、複数のピクセルの統合化、あるいはピクセルの間引きの処理によりサムネイル画像を生成する。
【００７８】
撮像画像挿入部２０７は、特徴点抽出部２０２に対して、追加された撮像画像データ（追加画像データ）の特徴点の抽出処理を行なわせる。
また、撮像画像挿入部２０７は、追加画像データの特徴点と、追加して撮像する撮像画像データが必要であると判定された撮像順番の撮像画像データとの特徴点との対応点の抽出を処理を、マッチング処理部２０３に対して行なわせる。
【００７９】
そして、撮像画像挿入部２０７は、最も対応点が多く抽出された（最も特徴点数が多い）、追加して撮像する撮像画像データが必要であると判定された撮像順番の撮像画像データ間に、追加画像データを挿入する。このとき、撮像画像挿入部２０７は、追加画像データを挿入した以降の撮像画像データの撮像順番を繰り下げ、記憶部２１０に記憶されている多視点画像の撮像順番を調整する。
【００８０】
支援情報通知部２０８は、図示しない画像表示部の表示画面に撮像画像データの撮像順番に、画像表示制御部２０９を介してサムネイル画像を表示する。
また、支援情報通知部２０８は、追加撮像位置抽出部２０５が抽出した、追加して撮像する撮像画像データが必要であると判定された撮像順番の撮像画像データ間に、追加画像データの撮像処理を促す警告の表示を行なう。
画像表示制御部２０９は、支援情報通知部２０８の判定結果に対応して、撮像装置の表示部に対して、マークや警告などをプレビュー画像に重畳させて表示させる。
記憶部２１０には、撮像装置が撮像した撮像画像データが、撮像された順番を示すタイムスタンプと組み合わせて書き込まれて記憶されている。
【００８１】
図６は、追加撮像位置抽出部２０５が抽出した追加画像データの追加が必要な箇所に支援情報通知部２０８が行なう警告の表示例を示す図である。
図６（ａ）は、サムネイル画像生成部２０６が生成した、撮像画像データの各々のサムネイル画像を示している。このサムネイル画像データは、撮像画像データと同一の撮像順番に各行の左端から右端に向かい配置されている。
図６（ｂ）は、追加して撮像する撮像画像データが必要であると判定された撮像順番の撮像画像データ間に、追加画像データの撮像処理を促す警告が表示された一例を示している。
【００８２】
例えば、赤色（図では実線）の矢印は、この撮像画像データ間に、追加画像データの撮像が必要である警告を示している。また、警告として文字列を表示しても良い。黄色（図では破線）の矢印は、３次元形状モデルの復元の精度があがるため、この撮像画像データ間に、追加画像データの撮像を行なうことを推奨している。
例えば、追加撮像位置抽出部２０５は、供給された対応点数情報及びオーバーラップ率情報において、対応点数が対応点数閾値未満であり、かつオーバーラップ率がオーバーラップ率閾値未満である場合、追加画像データの撮像が必要である警告を行なう。また、追加撮像位置抽出部２０５は、供給された対応点数情報及びオーバーラップ率情報において、対応点数が対応点数閾値未満、あるいはオーバーラップ率がオーバーラップ率閾値未満である場合、追加画像データの撮像を行なうことを推奨する構成としても良い。
【００８３】
図５に戻り、画像表示制御部２０９は、支援情報通知部２０８の判定結果に対応して、表示部に対して、警告や奨励などのマークあるいは文字列を、サムネイル画像に重畳させて表示させる。
記憶部２１０には、撮像装置９００が撮像した撮像画像データが、撮像された順番を示す撮像順番と組み合わせて書き込まれて記憶されている。
【００８４】
図７は、本実施形態による画像撮像支援装置２００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
ステップＳ２０１：画像データ入力部２０１は、撮像装置９００が撮像した多視点画像の各々の撮像画像データを時系列に読み込み、撮像順番を付与して記憶部２１０に対して書き込んで記憶させる。
【００８５】
ステップＳ２０２：特徴点抽出部２０２は、記憶部２１０から撮像画像データを撮像順番に読み出し、特徴点の抽出を行なう。
ステップＳ２０３：  そして、特徴点抽出部２０２は、撮像画像データの撮像順番に対応させて、抽出した特徴点情報を記憶部２１０に対して書き込んで記憶させる。
【００８６】
ステップＳ２０４：マッチング処理部２０３は、撮像画像データの撮像順番に対応させて特徴点情報を読み出し、撮像順番ｎの撮像画像データにおける特徴点と、撮像順番ｎ＋１の撮像画像データにおける特徴点とのマッチング処理を行なう
そして、マッチング処理部２０３は、撮像順番ｎ及び撮像順番ｎ＋１の各々の撮像画像データの特徴点それぞれの対応点を抽出する。
このとき、マッチング処理部２０３は、抽出された対応点数が対応点数閾値以上か、対応点数閾値未満かを示す対応点数情報を追加撮像位置抽出部２０５に対して出力する。
【００８７】
ステップＳ２０５：オーバーラップ率計算部２０４は、対応点が一致するように、撮像順番ｎの撮像画像データと、撮像順番ｎ＋１の撮像画像データとの各々を重ねて、オーバーラップ率を算出する。
そして、オーバーラップ率計算部２０４は、オーバーラップ率がオーバーラップ率閾値以上か、オーバーラップ率閾値未満かを示す判定結果としてオーバーラップ率情報を追加撮像位置抽出部２０５に対して出力する。
【００８８】
ステップＳ２０６：追加撮像位置抽出部２０５は、対応点数情報及びオーバーラップ率情報の各々に基づき、撮像順番ｎの撮像画像データ及び撮像順番ｎ＋１の撮像画像データの各々の間に追加画像データが必要か否かの判定を行なう。
ステップＳ２０７：そして、追加撮像位置抽出部２０５は、上記判定結果として、追加画像データが必要な場合、処理をステップＳ２１１へ進め、一方、追加画像データが必要でない場合、処理をステップＳ２０８へ進める。
【００８９】
ステップＳ２０８：追加撮像位置抽出部２０５は、記憶部２１０に書き込まれて記憶されている撮像画像データ全てに対して、撮像順番ｎの撮像画像データ及び撮像順番ｎ＋１の撮像画像データの各々の間における追加画像データの必要の有無の判定が終了したか否かの判定を行なう。
このとき、追加撮像位置抽出部２０５は、記憶部２１０に書き込まれて記憶されている撮像画像データ全てに対して、追加画像データの必要の有無の判定が終了した場合、処理をステップＳ２０９へ進める。一方、追加撮像位置抽出部２０５は、記憶部２１０に書き込まれて記憶されている撮像画像データ全てに対して、追加画像データの必要の有無の判定が終了していない場合、処理をステップＳ２０６へ進める。
【００９０】
ステップＳ２０９：サムネイル画像生成部２０６は、記憶部２１０に記憶されている対象物体の撮像画像データの各々を加工し、それぞれをサムネイル画像する。
そして、支援情報通知部２０８は、サムネイル画像生成部２０６が生成したサムネイル画像の各々を、サムネイル画像の元の撮像画像データの撮像順番に、画像表示制御部２０９を介して画像表示部に対して表示する。
【００９１】
ステップＳ２１０：支援情報通知部２０８は、追加撮像位置抽出部２０５により抽出された、すなわち追加して撮像する撮像画像データが必要であると判定された撮像順番のサムネイル画像間に、追加画像データの撮像処理を促す警告を支援情報として通知する表示を行なう。
【００９２】
上述したように、本実施形態によれば、対象物体の３次元形状モデルの復元に用いる多視点画像を撮像する際、対象物体に対する撮像装置の撮像位置及び撮像方向を求める必要がなく、かつ事前に対象物体における観測面の情報を得る必要がなく、計算処理に用いる負荷が少なく、ユーザが撮像処理を行なっている際、対象物体を復元する際に不足することが予想される撮像箇所を、リアルタイムにユーザに対して通知することができる。
【００９３】
また、本実施形態によれば、撮像した全ての撮像画像データがサムネイル画像として表示され、そのサムネイル画像間に追加画像が必要か否かの警告を支援情報として示すことで、どの位置の撮像画像データが追加画像データとして必要か否かを、ユーザがビジュアルに視認することができ、追加の撮像画像を容易に行なうことができる。
また、本実施形態によれば、対象物体の３次元形状モデルを復元する処理を行なう前に、３次元形状モデルを復元するために必要な多視点画像の各々を、抜けなく撮像することができるため、不足した箇所の撮像画像データを取得した後、再度３次元形状の復元を行なうことが抑制されるため、作業の効率化が図れる。
【００９４】
＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。
図８は、本発明の第３の実施形態による画像撮像支援装置の構成例を示すブロック図である。３次元形状モデルを復元する対象の対象物体を中心として、この対象物体の回りを移動しつつ、第２の実施形態と同様に、撮像装置９００により撮像された撮像画像データ（多視点画像のデータ）が、この撮像装置９００から本実施形態の画像撮像支援装置３００に対して供給される。本実施形態は、第１の実施形態と同様に、静止画を撮像するデジタルカメラなどの撮像装置９００から上記撮像画像データが供給される。
本実施形態では、ランダムな撮像位置により上記対象物体を順次撮像しても良いし、第１の実施形態と同様に、対象物体を中心として、一定の方向に少しずつ対象物体を撮像する撮像位置（視点）を移動させながら、順次、多視点画像が撮像されることを前提としても良い。
【００９５】
図８において、画像撮像支援装置３００は、画像データ入力部３０１、３次元形状モデル復元部３０２、オーバーラップ率計算部３０３、視差抽出部３０４、相関値抽出部３０５、視点数抽出部３０６、支援情報通知部３０７、画像表示制御部３０８及び記憶部３０９の各々を備えている。
画像データ入力部３０１は、第２の実施形態と同様に、撮像装置９００から多視点画像である撮像画像データの各々を入力する。そして、画像データ入力部３０１は、入力した撮像画像データに対して順次、撮像順番を付与し、記憶部３０９に書き込んで記憶させる。
【００９６】
３次元形状モデル復元部３０２は、記憶部３０９から撮像画像データを順次読み出し、３次元形状モデルの復元処理を行なう。ここで、３次元形状モデル復元部３０２は、ステレオマッチングの技術を用いて３次元形状モデルにおける奥行値を算出する。この際、３次元形状モデル復元部３０２は、多視点画像の中からステレオマッチングのペア（組み合せ）を選択して、マッチング処理を行なう対応点の抽出を行なう。
そして、３次元形状モデル復元部３０２は、対応点に基づいて奥行値を算出して３次元空間内に３次元点群を生成し、３次元形状モデルの生成を行なう。
【００９７】
オーバーラップ率計算部３０３は、３次元形状モデル復元部３０２が復元した３次元形状モデルの所定の領域毎に、この所定の領域を復元するために用いた撮像画像データのペアの各々を入力する。
そして、  オーバーラップ率計算部３０３は、撮像画像データのペア毎に、例えば、対応点が一致するように、ペアの撮像画像データの各々を重ね、平面視における重なった画像領域の面積を、撮像画像データの全体の画像領域の面積で除算して、オーバーラップ率を算出する。
【００９８】
このとき、オーバーラップ率計算部３０３は、上記オーバーラップ率が予め設定されたオーバーラップ率閾値以上か、オーバーラップ率閾値未満であるか否かの判定を行なう。また、オーバーラップ率計算部３０３は、上記判定結果として、オーバーラップ率がオーバーラップ率閾値以上か、オーバーラップ率閾値未満かを示すオーバーラップ率情報を支援情報通知部３０７に対して出力する。
【００９９】
ここで、オーバーラップ率がオーバーラップ率閾値以上である場合、ペアとなる撮像画像データの各々の撮像位置が適切であることを示し、すなわち追加の撮像画像データが必要ないことを示している。一方、オーバーラップ率がオーバーラップ率閾値未満である場合、ペアとなる撮像画像データの各々の撮像位置が適切でないことを示し、すなわち追加の撮像画像データが必要であることを示している。
【０１００】
視差抽出部３０４は、３次元形状モデル復元部３０２が復元した３次元形状モデルの所定の領域毎に、この所定の領域を復元するために用いた撮像画像データのペアの視差を、３次元形状モデル復元部３０２から入力する。
また、視差抽出部３０４は、３次元形状モデル復元部３０２から入力した撮像画像データ間の視差が予め設定された視差閾値以上か、視差閾値未満であるか否かの判定を行なう。また、視差抽出部３０４は、上記判定結果として、撮像画像データのペア間の視差が視差閾値以上か、撮像画像データのペア間の視差が視差閾値未満かを示す視差情報を支援情報通知部３０７に対して出力する。
【０１０１】
相関値抽出部３０５は、３次元形状モデル復元部３０２が復元した３次元形状モデルの所定の領域毎に、この所定の領域を復元するために用いた撮像画像データのペアの相関値を、ＳＡＤ（Sum of Absolute Difference）、ＳＡＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）あるいはＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などにより算出する。
相関値抽出部３０５は、３次元形状モデル復元部３０２から入力した撮像画像データのペアの相関値が予め設定された相関値閾値以上か、相関値閾値未満であるか否かの判定を行なう。また、相関値抽出部３０５は、上記判定結果として、所定の領域を撮像した撮像画像データのペアの相関値が予め設定された相関値閾値以上か、相関値閾値未満かを示す相関値を支援情報通知部３０７に対して出力する。
【０１０２】
視点数抽出部３０６は、３次元形状モデル復元部３０２が復元した３次元形状モデルの所定の領域毎に、この所定の領域を復元するために用いた撮像画像データの視点数を、３次元形状モデル復元部３０２から入力する。
視点数抽出部３０６は、３次元形状モデル復元部３０２から入力した所定の領域の復元に用いた撮像画像データの視点数が予め設定された視点数閾値以上か、視点数閾値未満であるか否かの判定を行なう。また、視差抽出部３０４は、上記判定結果として、所定の領域を撮像した視点数が視点数閾値以上か、視点数閾値未満かを示す視点数情報を支援情報通知部３０７に対して出力する。
【０１０３】
支援情報通知部３０７は、図示しない画像表示部において、表示されている３次元形状モデルの画像に対して、追加の撮像画像データが必要である箇所にマーク（３次元形状モデルのテクスチャ、色あるいは文字）などを重畳させて表示する。
図９は、支援情報通知部３０７による３次元形状モデルの画像に対してマーク、一例としてテクスチャを重畳させて表示させた表示画面の一例を示している。図９（ａ）は、３次元形状モデル復元部３０２が復元した３次元形状モデルの表示画像を示している。図９（ｂ）は、図９（ａ）の３次元画像モデルに対してテクスチャを貼り付けた画像を示している。図９（ｂ）に示すように、追加の撮像画像データの必要な領域には警告として、３次元形状モデルの他のテクスチャと異なる色などのテクスチャのマーク３５０が重畳して表示されている。
【０１０４】
図８に戻り、支援情報通知部３０７は、オーバーラップ率情報、視差情報、視点数情報及び相関値情報の各々に基づき、上記画像表示部における３次元形状モデルの画像に対して、追加の撮像画像データが必要であること示す支援情報をテクスチャとして表示して、警告の通知を行なう。
ここで、支援情報通知部３０７は、オーバーラップ率情報、視差情報、視点数情報及び相関値情報の全てが満たされない場合、３次元形状モデルの画像に対して、追加の撮像画像データが必要であること示す支援情報をテクスチャとして重畳して表示する。例えば、支援情報通知部３０７は、表示画面に表示する警告として、警告のテクスチャを３次元形状モデルに重畳するのみでなく場合、「警告として示してテクスチャ部分の追加の撮像をしてください」を表示して通知する。
また、支援情報通知部３０７は、オーバーラップ率情報、視差情報、視点数情報及び相関値情報のいずれか、あるいは組合せにより、上述した警告を表示画面の３次元形状モデルのテクスチャとして、３次元形状モデルの画像に重畳して表示する構成としても良い。
【０１０５】
画像表示制御部３０８は、支援情報通知部３０７の判定結果に対応して、撮像装置の画像表示部に対して、マークや警告などをテクスチャとして３次元形状モデルの画像に重畳して表示させる。
記憶部３０９には、撮像装置が撮像した撮像画像データが、撮像された順番を示す撮像順番と組み合わせて書き込まれて記憶されている。
【０１０６】
図１０は、本実施形態による画像撮像支援装置３００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
ステップＳ３０１：画像データ入力部３０１は、撮像装置９００が撮像した多視点画像の各々の撮像画像データを時系列に読み込み、撮像順番を付与して記憶部３０９に対して書き込んで記憶させる。
ステップＳ３０２：３次元形状モデル復元部３０２は、記憶部３０９から撮像画像データを順次読み出し、マッチングペアのマッチング処理を行ないつつ、３次元形状モデルの復元の処理を行なう。
【０１０７】
ステップＳ３０３：視差抽出部３０４は、３次元形状モデル復元部３０２から、所定の領域を復元するために用いた撮像画像データのペアの各々の視差、及び視点数を読み込む。そして、視差抽出部３０４は、上記所定の領域の復元に用いた撮像画像データのペア間の視差が視差閾値以上か、撮像画像データのペア間の視差が視差閾値未満かを示す視差情報を支援情報通知部３０７に対して出力する。
【０１０８】
また、視差抽出部３０４は、所定の領域の復元に用いた視点数（撮像画像データ数）が視点数閾値以上か、視点数閾値未満かを示す視点数情報を支援情報通知部３０７に対して出力する。
また、相関値抽出部３０５は、所定の領域の復元に用いた撮像画像データのペアの相関値が予め設定された相関値閾値以上か、相関値閾値未満かを示す相関値を支援情報通知部３０７に対して出力する。
【０１０９】
ステップＳ３０４：オーバーラップ率計算部３０３は、所定の領域の復元に用いた撮像画像データのペアのオーバーラップ率を計算する。そして、オーバーラップ率計算部３０３は、計算したオーバーラップ率がオーバーラップ率閾値以上か、オーバーラップ率閾値未満かを示すオーバーラップ率情報を支援情報通知部３０７に対して出力する。
【０１１０】
ステップＳ３０５：支援情報通知部３０７は、オーバーラップ率情報、視差情報、視点数情報及び相関値情報の各々に基づき、追加の撮像画像データが必要か否かの判定を行なう。このとき、支援情報通知部３０７は、追加の撮像画像データが必要である場合、処理をステップＳ３０９へ進める。ここで、支援情報通知部３０７は、所定の領域においてオーバーラップ率情報、視差情報、視点数情報及び相関値情報の全てが満たされない場合、撮像画像データの追加の必要があると判定する。一方、支援情報通知部３０７は、追加の撮像画像データが必要でない場合、処理をステップＳ３０６へ進める。
【０１１１】
ステップＳ３０６：支援情報通知部３０７は、３次元形状モデルにおける全ての領域（所定の領域）に対して、上述したオーバーラップ率情報、視差情報、視点数情報及び相関値情報判定を行ない、それぞれの領域における撮像画像データの追加の有無の判定が終了したか否かの判定を行なう。このとき、支援情報通知部３０７は、３次元形状モデルにおける全ての領域に対して、撮像画像データの追加の有無の判定が終了した場合、処理をステップＳ３０７へ進める。一方、支援情報通知部３０７は、３次元形状モデルにおける全ての領域に対して、撮像画像データの追加の有無の判定が終了していない場合、処理をステップＳ３０３へ進める。
【０１１２】
ステップＳ３０７：支援情報通知部３０７は、画像表示制御部３０８を介して、３次元形状モデル復元部３０２が復元した３次元形状モデルに対し、テクスチャを貼り付けた後、この画像を画像表示部に対して表示する。
【０１１３】
ステップＳ３０８：支援情報通知部３０７は、追加の撮像画像データの必要な領域の３次元形状モデルの３次元座標（後述）に対して、３次元形状モデルの他のテクスチャと異なる警告を示すテクスチャ（図９のマーク３５０参照）を支援情報として重畳させる。そして、支援情報通知部３０７は、３次元形状モデルにおける支援情報を示すテクスチャを、画像表示部に表示する。
【０１１４】
ステップＳ３０９：支援情報通知部３０７は、オーバーラップ率情報、視差情報、視点数情報及び相関値情報による判定により、追加の撮像画像データの必要な領域として、３次元形状モデルにおける位置を３次元座標として一旦記憶する。
【０１１５】
上述したように、本実施形態によれば、撮像した撮像画像データから３次元形状モデルを復元し、この復元した３次元形状モデルの追加画像が必要な領域に対して、他と異なるテクスチャを重畳して、３次元形状モデルの画像を画像表示部に支援情報として表示するため、どの位置の撮像画像データが追加画像データとして必要か否かを、ユーザがビジュアルに視認することができ、追加の撮像画像を容易に行なうことができる。
また、本実施形態によれば、対象物体の３次元形状モデルを復元する処理を行なう際に、３次元形状モデルを復元するために必要な多視点画像の各々を、抜けなく撮像することができるため、高い精度で３次元形状の復元を行なうことができる。
【０１１６】
また、本実施形態においては、支援情報としてテクスチャを用いる構成で説明したが、支援情報としては上記テクスチャ以外に、３次元形状モデルにおける頂点色を変更する、マテリアルの変更、レンダリング時にタグを付ける、文字データを表示するなど、３次元形状モデルの対応箇所に支援情報としてのマーキングを行なう構成としても良い。
また、支援情報としては、オーバーラップ率情報、視差情報、視点数情報及び相関値情報のみでなく、ステレオマッチングの精度に関わる数値として、見えている画像枚数、分解能（例えば、カメラとの距離）、画像のぼけ具合、点群密度などを用いても良い。
【０１１７】
＜第４の実施形態＞
以下、本発明の第４の実施形態について、図面を参照して説明する。
図１１は、本発明の第４の実施形態による画像撮像支援装置の構成例を示すブロック図である。３次元形状モデルを復元する対象の対象物体を中心として、この対象物体の回りを移動しつつ、第２の実施形態と同様に、撮像装置９００により撮像された撮像画像データ（多視点画像のデータ）が、この撮像装置９００から本実施形態の画像撮像支援装置４００に対して供給される。本実施形態は、第１の実施形態と同様に、静止画を撮像するデジタルカメラなどの撮像装置９００から上記撮像画像データが供給される。
本実施形態では、ランダムな撮像位置により上記対象物体を順次撮像しても良いし、第１の実施形態と同様に、対象物体を中心として、一定の方向に少しずつ対象物体を撮像する撮像位置（視点）を移動させながら、順次、多視点画像が撮像されることを前提としても良い。
【０１１８】
図１１において、画像撮像支援装置４００は、画像データ入力部４０１、展開図生成部４０２、特徴点抽出部４０３、マッチング処理部４０４、枚数カウント部４０５、支援情報通知部４０６、画像表示制御部４０７及び記憶部４０８の各々を備えている。
画像データ入力部４０１は、第２の実施形態と同様に、撮像装置９００から多視点画像である撮像画像データの各々を入力する。そして、画像データ入力部４０１は、入力した撮像画像データに対して順次、撮像順番を付与し、記憶部４０８に書き込んで記憶させる。この撮像画像データは、対象物体を撮像する際の地図となる後述する展開画像データをズームインして撮像されている。
【０１１９】
展開図生成部４０２は、記憶部４０８に予め書き込まれて記憶されている対象物体の展開画像データ（後述する撮像画像データよりズームアップされている画像データ）を読み出し、所定の数に分割して分割画像データを生成する。この分割画像データは、画像のサイズが撮像画像データと同様でも異なっていても良い。この展開画像データは、対象物体の全体画像をメルカトール図法などの展開図を生成する手法により生成された、撮像を支援するためのマップとして使用される図のデータである。
また、予め全体画像の展開画像データを記憶しておかなくとも、現地で対象物体を撮像した地図用撮像画像データ（後述する撮像画像データよりズームアップされている画像データ）から、上記展開画像データを作成するようにしても良い。
【０１２０】
特徴点抽出部４０３は、展開図生成部４０２が生成した分割画像データの各々の特徴点を抽出する。また、特徴点抽出部４０３は、記憶部４０８から順次、撮像画像データを読み出し、読み出した撮像画像データの特徴点を抽出する。
【０１２１】
マッチング処理部４０４は、分割画像データと撮像画像データとのマッチング処理を行い、分割画像データ毎に、この分割画像データの特徴点に対して対応点となる撮像画像データの抽出を行なう。
枚数カウント部４０５は、マッチング処理部４０４が分割画像データ（分割領域）毎に抽出した、分割画像データの特徴点と対応点を有する撮像画像データの枚数をカウントし、カウント枚数として出力する。また、枚数カウント部４０５は、上記カウント枚数が予め設定された撮像画像データの枚数を示す枚数閾値以上か、否かの判定を行ない、この判定結果を示す枚数情報を支援情報通知部４０６に対して出力する。
【０１２２】
支援情報通知部４０６は、画像表示部において、表示されている展開画像データの画像に対して、分割画像データ毎にこの分割画像と対応点を有する撮像画像データのカウント枚数の情報（文字あるいは数を示す色など）を重畳させて表示する。
図１２は、支援情報通知部４０６による支援情報が重畳された展開画像データを表示した表示画面の一例を示している。図１２（ａ）は、展開画像データの画像を示している。図１２（ｂ）は、展開画像データのサイズに対して、対象物体をズームインして撮像した撮像画像データを示している。図１２（ｃ）は、分割画像データ４５１に対して、支援情報としてのカウント枚数の文字データ４５２が重畳されて表示されている表示画面を示している。
【０１２３】
図１１に戻り、支援情報通知部４０６は、枚数カウント部４０５からの枚数情報に基づき、画像表示部に対して、分割画像データ毎に撮像されている枚数を示す情報である支援情報を表示して（図１２（ｃ）参照）、３次元形状モデルを復元するための撮像画像データが満たされているかの通知を行なう。
また、支援情報通知部４０６は、分割画像データに対する撮像画像データの枚数が満たされていない場合、枚数の情報を表示するのみでなく、例えば、画像表示部に対して支援情報として、「表示がＯ以下の数字が示された箇所の撮像を、異なる位置でこの箇所が含まれるように、Ｐ枚追加してください」を表示して通知する構成としても良い。
【０１２４】
画像表示制御部４０７は、支援情報通知部４０６による支援情報を、画像表示部に対して、枚数などの支援情報を展開画像データの画像に重畳させて表示させる。ここで、支援情報の提示方法としては、対応点を有する撮像画像データの枚数を、数値、色、プログレスバー等を用いて表示しても良い。
記憶部４０８には、撮像装置９００が撮像した撮像画像データが、撮像された順番を示す撮像順番と組み合わせて書き込まれて記憶されている。また、記憶部４０８には、展開画像データが予め書き込まれて記憶されている。
【０１２５】
図１３は、本実施形態による画像撮像支援装置４００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
ステップＳ４０１：画像データ入力部４０１は、撮像装置９００が撮像した多視点画像の各々の撮像画像データを時系列に読み込み、撮像順番を付与して記憶部４０８に対して書き込んで記憶させる。
【０１２６】
ステップＳ４０２：展開図生成部４０２は、記憶部４０８から対象物体の展開画像データを読み出し、所定の数に分割して分割画像データを生成する。
ステップＳ４０３：特徴点抽出部４０３は、展開画像データにおける展開画像データ毎に特徴点の抽出を行ない、記憶部４０８に対して特徴点情報として書き込んで記憶させる。
【０１２７】
ステップＳ４０４：特徴点抽出部４０３は、撮像順番に従い、順次、撮像画像データを記憶部４０８が読み出し、読み出した撮像画像データの特徴点を抽出する。
ステップＳ４０５：マッチング処理部４０４は、記憶部４０８に記憶されている分割画像データの特徴点情報を参照し、撮像画像データの特徴点と対応点となる特徴点を有する分割画像データを抽出する。
【０１２８】
ステップＳ４０６：マッチング処理部４０４は、記憶部４０８に記憶されている撮像画像データ全てに対するマッチング処理が終了したか否かの判定を行なう。このとき、マッチング処理部４０４は、撮像画像データ全てに対するマッチング処理が終了した場合、処理をステップＳ４０７へ進める。一方、マッチング処理部４０４は、撮像画像データ全てに対するマッチング処理が終了していない場合、処理をステップＳ４０４へ進める。
【０１２９】
ステップＳ４０７：枚数カウント部４０５は、マッチング処理部４０４が抽出した分割画像データの特徴点と対応点となる特徴点を有する撮像画像データの枚数を、分割画像データ毎にカウントする。
ステップＳ４０８：支援情報通知部４０６は、枚数カウント部４０５がカウントした枚数情報に基づき、撮像画像データの追加が必要な分割画像データの判定を行なう。
【０１３０】
ステップＳ４０９：支援情報通知部４０６は、分割画像データの各々の境界が判るように展開画像データを画像表示部に表示し、各分割画像データに対して対応する撮像画像データの枚数を示す文字を重畳させて表示する。
また、このとき、支援情報通知部４０６は、撮像画像データの追加が必要な分割画像データの枚数を表示する色や文字形状などを、追加の必要ない分割画像データの枚数の表示と異ならせ、警告を示す支援情報として表示する構成としてもよい。
【０１３１】
上述したように、本実施形態によれば、撮像した撮像画像データを、展開画像データの分割画像データに対応付けて、対応する撮像画像データの枚数をカウントして、画像表示部に表示される展開画像データにおける分割画像データ各々に重畳して、画像表示部に表示するため、ユーザが枚数の少ない分割画像データの撮像画像データを追加して撮像すること処理を容易に行なうことができる。
【０１３２】
また、本実施形態によれば、分割画像データの各々に対応した撮像画像データが、予め設定された枚数閾値以上か否かの判定を行ない、画像表示部に表示される展開画像データにおける分割画像データ各々に重畳して、画像表示部に表示するため、ユーザが追加して撮像画像データを撮像する撮像位置をビジュアルに視認することができ、対象物体の３次元形状モデルを復元する処理を行なう際に、３次元形状モデルを復元するために必要な多視点画像の各々を、経験のないユーザでも抜けなく撮像することができるため、高い精度で３次元形状の復元を行なうことができる。
【０１３３】
なお、本発明における図１、図５、図８及び図１１の画像撮像支援装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、３次元画像形状モデルを復元するために必要な撮像画像データを抜けなく撮像する支援を行なう処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【０１３４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１３５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１３６】
１００，２００，３００，４００…画像撮像支援装置
１０１，２０１，３０１，４０１…画像データ入力部
１０２，２０２，４０３…特徴点抽出部
１０３，２０３，４０４…マッチング処理部
１０４…移動量計算部
１０５，２０４，３０３…オーバーラップ率計算部
１０６，２０８，３０７，４０６…支援情報通知部
１０７，２０９，３０８，４０７…画像表示制御部
１０８，２１０，３０９，４０８…記憶部
２０５…追加撮像位置抽出部
２０６…サムネイル画像生成部
２０７…撮像画像挿入部
３０２…３次元形状モデル復元部
３０４…視差抽出部
３０５…相関値抽出部
３０６…視点数抽出部
４０２…展開図生成部
４０５…枚数カウント部
【図１】
2020113843.tif 000003
【図２】
2020113843.tif 000004
【図３】
2020113843.tif 000005
【図４】
2020113843.tif 000006
【図５】
2020113843.tif 000007
【図６】
2020113843.tif 000008
【図７】
2020113843.tif 000009
【図８】
2020113843.tif 000010
【図９】
2020113843.tif 000011
【図１０】
2020113843.tif 000012
【図１１】
2020113843.tif 000013
【図１２】
2020113843.tif 000014
【図１３】
2020113843.tif 000015