(57)【要約】【課題】対象物体の３次元形状モデルの復元に用いる多視点画像における撮像画像データを撮像した際、対象物体及び撮像位置を変えつつ撮像した撮像画像データの各々を、それぞれの対象物体に対応させて分類することができる撮像画像分類装置を提供する。【解決手段】本発明は、対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類装置であり、撮像画像データに付加されている、当該撮像画像データを撮像した際の撮影条件に関するメタデータに対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する撮像画像データ分類部を備える。【選択図】図１
2020091718.tif 000002
【特許請求の範囲】
【請求項１】
対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類装置であり、
撮像画像データに付加されている、当該撮像画像データを撮像した際の撮影条件に関するメタデータに対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する撮像画像データ分類部
を備えることを特徴とする撮像画像分類装置。
【請求項２】
前記メタデータが、解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ（国際標準化機構）感度、撮像日時及びＧＰＳ（Global Positioning System）情報の各々であり、
前記撮像画像データ分類部が、少なくとも前記メタデータのいずれかにより、前記撮像画像データの各々の分類を行なう
ことを特徴とする請求項１に記載の撮像画像分類装置。
【請求項３】
前記メタデータのいずれかを用いて分類を行なう場合、
前記撮像画像データ分類部が、前記メタデータの数値に対応して前記撮像画像データの各々をソートし、それぞれの前記撮像画像データの間におけるパラメータの数値の距離が所定の離間距離を超える部分で、前記対象物体に対応して前記撮像画像データそれぞれを分類する
ことを特徴とする請求項２に記載の撮像画像分類装置。
【請求項４】
前記メタデータが、解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ（国際標準化機構）感度、撮像日時及びＧＰＳ（Global Positioning System）情報の各々であり、
前記撮像画像データ分類部が、
前記メタデータにおける複数のパラメータにより、前記撮像画像データ毎に多次元ベクトルを生成し、前記撮像画像データの各々を多次元ベクトル間の類似度により分類する
ことを特徴とする請求項１に記載の撮像画像分類装置。
【請求項５】
対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類装置であり、
前記対象物体の各々を撮像した撮像画像データのそれぞれに、当該対象物体を識別する識別情報を付与する識別情報付与部と、
前記撮像画像データの各々に付与されている前記識別情報に対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する撮像画像データ分類部と
を備えることを特徴とする撮像画像分類装置。
【請求項６】
前記対象物体の撮像が開始された時点を検出する撮像開始検出部をさらに備え、
前記識別情報付与部が、前記撮像開始検出部が撮像が開始された時点を検出した場合、前記撮像画像データの各々に同一の前記識別情報を付与する
ことを特徴とする請求項５に記載の撮像画像分類装置。
【請求項７】
前記対象物体の撮像が終了した時点を検出する撮像終了検出部をさらに備える
ことを特徴とする請求項１から請求項６のいずれか一項に記載の撮像画像分類装置。
【請求項８】
対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類方法であり、
撮像画像データ分類部が、撮像画像データに付加されている、当該撮像画像データを撮像した際の撮影条件に関するメタデータに対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する過程
含むことを特徴とする撮像画像分類方法。
【請求項９】
対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類方法であり、
識別情報付与部が、前記対象物体の各々を撮像した撮像画像データのそれぞれに、当該対象物体を識別する識別情報を付与する識別情報付与過程と、
撮像画像データ分類部が、前記撮像画像データの各々に付与されている前記識別情報に対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する撮像画像データ分類過程と
を含むことを特徴とする撮像画像分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物体の３次元形状モデルを復元する際に用いる多視点画像を分類する撮像画像分類装置及び撮像画像分類方法に関する。
【背景技術】
【０００２】
多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている。
【０００３】
上述した多視点画像に基づく３次元復元技術は、三角測量の技術を用いており、最終的に、各視点におけるデプスマップを統合することによって、３次元座標点群を生成する。
このため、各視点における画像（撮像画像データである視点画像）を用いて世界座標系における対象物体の３次元形状モデルを復元する際、２つ以上の異なる視点画像間において、世界座標系における３次元座標点の座標点に対応する視点画像それぞれの対応画素を検出する処理が行なわれる。
【０００４】
したがって、３次元形状モデルを精度良く復元するために、撮像装置による撮像位置を移動させつつ、対象物体の全体の面を撮像する必要がある。
そのため、ユーザが対象物体を撮像する視点画像の数は非常に多くなり、複数の対象物体の３次元形状モデルの復元を行なう際、各対象物体の多視点画像を分類する作業に時間が取られることになる。
そのため、分類を行なう必要がないように、対象物体を画像列として整理して撮像することが行なわれている（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０５−３５８５４号公報
【特許文献２】特開平０４−６２６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１及び特許文献２においては、撮像装置の移動が既知であり、隣接して撮像が行なわれることが前提となっており、隣接して撮像されたことを示す撮像位置の入力が必要となる。
また、対象物体が異なった場合などの境目の情報が無く、対象物体を撮像する撮像位置が隣接していない場合、同一の対象物体を撮像した多視点画像か否かの判断がつかない。この場合、ユーザが撮像画像を一枚ごとに確認して、対象物体毎の撮像画像の分類を行なうため、ユーザに仕分けの負荷がかかる。
【０００７】
本発明は、このような状況に鑑みてなされたもので、対象物体の３次元形状モデルの復元に用いる多視点画像における撮像画像データを撮像した際、対象物体及び撮像位置を変えつつ撮像した撮像画像データの各々を、それぞれの対象物体に対応させて分類することができる撮像画像分類装置及び撮像画像分類方法を提供する。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明の撮像画像分類装置は、対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類装置であり、撮像画像データに付加されている、当該撮像画像データを撮像した際の撮影条件に関するメタデータに対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する撮像画像データ分類部を備えることを特徴とする。
【０００９】
本発明の撮像画像分類装置は、前記メタデータが、解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ（国際標準化機構）感度、撮像日時及びＧＰＳ（Global Positioning System）情報の各々であり、前記撮像画像データ分類部が、少なくとも前記メタデータのいずれかにより、前記撮像画像データの各々の分類を行なうことを特徴とする。
【００１０】
本発明の撮像画像分類装置は、前記メタデータのいずれかを用いて分類を行なう場合、前記撮像画像データ分類部が、前記メタデータの数値に対応して前記撮像画像データの各々をソートし、それぞれの前記撮像画像データの間におけるパラメータの数値の距離が所定の離間距離を超える部分で、前記対象物体に対応して前記撮像画像データそれぞれを分類することを特徴とする
【００１１】
本発明の撮像画像分類装置は、前記メタデータが、解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ（国際標準化機構）感度、撮像日時及びＧＰＳ（Global Positioning System）情報の各々であり、前記撮像画像データ分類部が、前記メタデータにおける複数のパラメータにより、前記撮像画像データ毎に多次元ベクトルを生成し、前記撮像画像データの各々を多次元ベクトル間の類似度により分類することを特徴とする。
【００１２】
本発明の撮像画像分類装置は、対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類装置であり、前記対象物体の各々を撮像した撮像画像データのそれぞれに、当該対象物体を識別する識別情報を付与する識別情報付与部と、前記撮像画像データの各々に付与されている前記識別情報に対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する撮像画像データ分類部とを備えることを特徴とする。
【００１３】
本発明の撮像画像分類装置は、前記対象物体の撮像が開始された時点を検出する撮像開始検出部をさらに備え、前記識別情報付与部が、前記撮像開始検出部が撮像が開始された時点を検出した場合、前記撮像画像データの各々に同一の前記識別情報を付与することを特徴とする。
【００１４】
本発明の撮像画像分類装置は、前記対象物体の撮像が終了した時点を検出する撮像終了検出部をさらに備えることを特徴とする。
【００１５】
本発明の撮像画像分類方法は、対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類方法であり、撮像画像データ分類部が、撮像画像データに付加されている、当該撮像画像データを撮像した際の撮影条件に関するメタデータに対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する過程含むことを特徴とする。
【００１６】
本発明の撮像画像分類方法は、対象物体の各々の３次元形状モデルの復元に用いる多視点画像を、前記対象物体それぞれに対応させて分類する撮像画像分類方法であり、識別情報付与部が、前記対象物体の各々を撮像した撮像画像データのそれぞれに、当該対象物体を識別する識別情報を付与する識別情報付与過程と、撮像画像データ分類部が、前記撮像画像データの各々に付与されている前記識別情報に対応して、前記撮像画像データの各々を、前記対象物体のそれぞれを撮像した画像データセットに分類する撮像画像データ分類過程とを含むことを特徴とする。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、対象物体の３次元形状モデルの復元に用いる多視点画像における撮像画像データを撮像した際、対象物体及び撮像位置を変えつつ撮像した撮像画像データの各々を、それぞれの対象物体に対応させて分類することができる撮像画像分類装置及び撮像画像分類方法を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態による撮像画像分類装置を備えた撮像システムの構成例を示すブロック図である。
【図２】撮像日時をパラメータとして用いた撮像画像データのデータセットへの分類を説明する図である。
【図３】画像表示制御部１０４が画像表示部３００の表示画面に表示するユーザ制御入力画面の一例を示す図である。
【図４】本発明の第１の実施形態による撮像画像分類装置１００が行なう撮像画像データの分類処理の動作例を示すフローチャートである。
【図５】本発明の第２の実施形態による撮像画像分類装置１００が行なう撮像画像データの分類処理の動作例を示すフローチャートである。
【図６】本発明の第３の実施形態による撮像画像分類装置を備えた撮像システムの構成例を示すブロック図である。
【図７】撮像画像分類装置１００Ａの撮像画像データの分類処理におけるＧＵＩ（Graphical User Interface）を説明する図である。
【図８】本実施形態による撮像画像分類装置１００Ａが行なう撮像画像データの分類処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態による撮像画像分類装置を備えた撮像システムの構成例を示すブロック図である。撮像画像分類装置１００は、３次元形状モデルを復元するために用いる多視点画像として、複数の対象物体の各々を異なる撮像位置で撮像した撮像画像データそれぞれを、対象物体毎に対応させて分類する装置である。
【００２０】
図１において、撮像システム１は、撮像画像分類装置１００、撮像部２００及び画像表示部３００各々を備えている。撮像システム１は、例えばスマートフォンであり、撮像画像分類装置１００の機能のアプリケーションをインストールして、後述する多視点画像の撮像を支援している。本実施形態においては、一例として、多視点画像の撮像画像データとして、静止画の撮像を支援する構成を説明するが、動画でも処理自体は同様である。
３次元形状モデル復元装置（サーバ）２は、撮像システム１から供給される対象物体毎の撮像画像データのデータセットにより、例えばＳｆＭ（Structure from Motion）のアルゴリズムを用いて、対応する対象物体の３次元形状モデルの復元を行なう。
【００２１】
撮像画像分類装置１００は、多視点画像の撮像を支援する装置であり、画像データ入力部１０１、撮像画像データ分類部１０２、撮像終了検出部１０３、画像表示制御部１０４、ユーザ編集入力部１０５、復元開始通知部１０６及び記憶部１０７の各々を備えている。
撮像部２００は、例えば、スマートフォンに内蔵されている撮像素子を有するカメラ機能部である。
画像表示部３００は、上記スマートフォンに設けられた表示装置であり、例えば液晶ディスプレイを備えている。
【００２２】
画像データ入力部１０１は、撮像部２００から撮像された撮像画像データを順次入力し、記憶部１０７に書き込んで記憶させる。撮像画像データには、３次元形状モデルを復元する対象の対象物体の画像が含まれている。
【００２３】
撮像画像データ分類部１０２は、記憶部１０７にランダムに書き込まれて記憶されている複数の対象物体を撮像した撮像画像データの各々を、それぞれ対応する対象物体毎の画像データセット（撮像画像データのグループ）として分類する。ここで、撮像画像データ分類部１０２は、撮像画像データの分類を行なう際、解像度（縦方向（短辺）ピクセル数、横方向（長辺）ピクセル数、縦方向ピクセル数×横方向ピクセル数＝数総ピクセル数）、絞り値、焦点距離、シャッター速度、ＩＳＯ（国際標準化機構）感度、撮像日時及びＧＰＳ（Global Positioning System）情報などの撮像画像データに付加されているメタデータであるＥｘｉｆ（Exchangeable image file format）の埋め込み情報を用いて、撮像画像データの各々を、それぞれ対応する対象物体の画像データセットに分類する。
【００２４】
本実施形態においては、対象物体の撮像画像データを撮像する際、上記メタデータにおいて、解像度、絞り値、焦点距離、シャッター速度及びＩＳＯ感度の各々は通常固定されており、またメタデータにおける撮像日時及びＧＰＳの各々の数値が大きく変化することはないことを、撮像画像データの画像データセットへの分類に利用している。
【００２５】
図２は、撮像日時をパラメータとして用いた撮像画像データのデータセットへの分類を説明する図である。
図２（ａ）は、分類の例として、画像データセット＃１、＃２、＃３の各々の撮像画像データの撮像日時の差時間それぞれを示すデータテーブル示している。画像データセット＃１は７枚の撮像画像データ、画像データセット＃２は８枚の撮像画像データ、画像データセット＃３は１０枚の撮像画像データのグループである。
【００２６】
図２（ｂ）は、図２（ａ）に示すデータテーブルにおける撮像画像データの差時間の各々と、画像データセット間の差時間の各々とで作成したヒストグラムを示している。図２（ｂ）のヒストグラムは、横軸が差時間を示し、縦軸が所定の時間差範囲に含まれる撮像画像データ数（頻度）、画像データセット間の撮像間隔の差時間を示している。
【００２７】
このヒストグラムから判るように、頻度の山が頻度０の谷を挟んで２個生成され、一方の山が撮像画像データ間の撮像日時の時間差が３０秒程度までの範囲に含まれる。しかしながら、他方の山は、一方の山からの外れ値となり、画像データセット間の撮像画像データの撮像日時の時間差を示し、撮像する対象物体を変更するための移動や撮像の準備などにより数分の範囲に含まれている。このため、例えば、１分３０秒までの差時間であれば、同一の対象物体を撮像していることが推定できるため、１分３０秒以上の差時間を有する撮像時刻の差時間を、撮像する対象物体を変更したことを示す画像データセットの区切りとして用いることができる。また、３個以上の山が形成された場合には、最も左の谷の差時間（谷の中央の差時間）を区切りとして用いる。
【００２８】
図１に戻り、撮像画像データ分類部１０２は、記憶部１０７に書き込まれて記憶されている撮像画像データを撮像日時順となるようにソートを行ない、それぞれの撮像時刻の差時間を算出する。また、撮像画像データ分類部１０２は、差時間のヒストグラムを作成し、上述した区切りの差時間を分類差時間として抽出する。
そして、撮像画像データ分類部１０２は、ソートされた撮像日時の差時間が分類差時間以上である撮像画像データの組合せを抽出し、この撮像画像データの間を画像データセットの区切りとする。
【００２９】
すなわち、図２（ａ）に示される撮像画像データのデータテーブルにおいて、各画像データセットにおける撮像画像データの撮像日時の差時間は、３０秒以下である。一方、画像データセット＃１の最後に撮像された撮像画像データと、画像データセット＃２の最初に撮像された撮像画像データとの差時間は、２７０秒であり、画像データセットにおける撮像画像データ間の差時間に比較して大きく区切りとしての利用が可能であることを示している。
【００３０】
これにより、撮像画像データ分類部１０２は、分類差時間以上離れた差時間となる撮像日時を有する撮像画像データの区切りを検出し、区切りの間にある撮像画像データの各々を画像データセットとして抽出する。
そして、撮像画像データ分類部１０２は、対象物体毎に設けられた所定の画像データセットとして、区切りにより抽出した撮像画像データを書き込んで記憶させ、画像データセットとして書き込まれた撮像画像データそれぞれを、対象物体の種類毎のグループとする。
【００３１】
撮像終了検出部１０３は、撮像システム１に備えられた図示しない入力手段により、ユーザが入力する撮像終了を示す情報を検出し、撮像終了信号を画像データ入力部１０１及び撮像画像データ分類部１０２に対して出力する。
これにより、撮像画像データ分類部１０２は、記憶部１０７における撮像画像データの画像データセットへの分類を開始する。
ここで、撮像終了の検出は、画像表示部３００に表示される終了ボタンをユーザが押下したことを検出したり、ユーザが撮像システム１を振って加速度センサにより検出する構成を用いても良い。
【００３２】
画像表示制御部１０４は、画像表示部３００の表示画面に対して、ユーザ制御入力画面を表示する。
ユーザ編集入力部１０５は、ユーザが上記ユーザ制御入力画面を操作して入力した制御情報に対応した、画像データセット及び撮像画像データに対する処理を行なう。
【００３３】
図３は、画像表示制御部１０４が画像表示部３００の表示画面に表示するユーザ制御入力画面の一例を示す図である。
図３（ａ）は、記憶部１０７に記憶されているデータセットの一覧を示すデータセットテーブルの画像を示している。
このデータセットテーブルは、レコード毎に、対象物体に対応した画像データセットのデータセット番号、データセット名、画像読み出し、復元実行及び削除の各々の欄が設けられている。
【００３４】
ここで、データセット番号は、例えば、撮像された順番によりシリアルに付与された番号である。データセット名は、例えば、撮像した対象物体が識別できる名称である。
一方、画像読み出し、復元実行及び削除の欄は、ユーザが制御情報を入力する欄である。画像読み出しの欄は、この欄内のアイコン５０１を、選択することにより、対応する画像データセット内の撮像画像データの一覧が図３（ｂ）に示すように表示される。
この図３（ｂ）は、記憶部１０７に記憶されているデータセット名「モニュメント＃１」の多視点画像の撮像画像データの各々が、サムネイル化されて配列して表示される。
【００３５】
ユーザ編集入力部１０５は、データセット名「モニュメント＃１」と同一のレコードにある画像読み出しのアイコン５０１が選択されると、この画像データセットの撮像画像データを画像表示部３００の表示画面に表示させる制御信号を、画像表示制御部１０４に対して出力する。
これにより、画像表示制御部１０４は、記憶部１０７におけるデータセット名「モニュメント＃１」の撮像画像データを順次読み出し、サムネイル化して図３（ｂ）に示すように、画像表示部３００の表示画面に表示する。
【００３６】
また、ユーザ編集入力部１０５は、データセット名「モニュメント＃１」と同一のレコードにある復元実行のアイコン５０２が選択されると、この画像データセットの撮像画像データを多視点画像として、３次元形状モデルを復元させる制御信号を、復元開始通知部１０６に対して出力する。
これにより、復元開始通知部１０６は、データセット名「モニュメント＃１」とともに、３次元形状モデルを復元させる制御信号を３次元形状モデル復元装置２に対して出力する。
【００３７】
また、ユーザ編集入力部１０５は、データセット名「モニュメント＃１」と同一のレコードにある削除のアイコン５０３が選択されると、この画像データセットの撮像画像データを削除する。
これにより、ユーザ編集入力部１０５は、記憶部１０７におけるデータセット名「モニュメント＃１」とともに、この画像データセット内の全ての撮像画像データを削除する。
【００３８】
図４は、本実施形態による撮像画像分類装置１００が行なう撮像画像データの分類処理の動作例を示すフローチャートである。撮像画像データの分類に使用するメタデータは、撮像画像データを撮像した撮像日時を用いて説明する。
ステップＳ１０１：画像データ入力部１０１は、ユーザが撮像システム２の撮像部２００により撮像した対象物体の撮像画像データを順次入力し、記憶部１０７に対して書き込んで記憶させる。このとき、ユーザは、複数の対象物体を時系列に連続して撮像を行なっている。このため、記憶部１０７には、複数の対象物体に対応する撮像画像データの各々がランダムに記憶されている。また、この撮像画像データの各々には、メタデータとしてＥｘｉｆの情報が埋め込まれている。
【００３９】
ステップＳ１０２：撮像終了検出部１０３は、ユーザが撮像処理を終了する操作を、所定の入力手段に対して行なったか否かの判定を行なう。
このとき、撮像終了検出部１０３は、ユーザが撮像処理を終了する操作を行った場合、撮像画像データ分類部１０２に撮像終了信号を出力するとともに、処理をステップＳ１０３へ進める。
一方、撮像終了検出部１０３は、ユーザが撮像処理を終了する操作を行わない場合、処理をステップＳ１０１へ進める。
【００４０】
ステップＳ１０３：撮像画像データ分類部１０２は、記憶部１０７から撮像画像データの各々のメタデータとして撮像日時を、一個ずつ順次読み出す。
【００４１】
ステップＳ１０４：撮像画像データ分類部１０２は、読み出した撮像画像データの各々の撮像日時を時系列にソートする。
【００４２】
ステップＳ１０５：撮像画像データ分類部１０２は、メタデータの撮像日時を時系列とするソートが、記憶部１０７における全ての撮像画像データに対して終了したか否かの判定を行なう。
このとき、撮像画像データ分類部１０２は、記憶部１０７における全ての撮像画像データの撮像日時のソートが終了した場合、処理をステップＳ１０６へ進める。
一方、撮像画像データ分類部１０２は、記憶部１０７における全ての撮像画像データの撮像日時のソートが終了していない場合、処理をステップＳ１０３へ進める。
【００４３】
ステップＳ１０６：撮像画像データ分類部１０２は、撮像日時順にソートされた撮像画像データの撮像日時と、直後の撮像画像データの撮像日時との時間の差である差時間を算出する。ここで、撮像画像データ分類部１０２は、ソートして配列した全ての隣接した組合せの撮像画像データの撮像日時の差時間を算出する。
そして、撮像画像データ分類部１０２は、差時間のヒストグラムを作成し、このヒストグラムから上述したように分類差時間を抽出する。
【００４４】
ステップＳ１０７：撮像画像データ分類部１０２は、抽出した分類差時間に基づき、ソーとされた撮像日時を分割し、分割された撮像日時に基づき、記憶部１０７の撮像画像データを、対象物体毎に画像データセットに分類する。
【００４５】
また、本実施形態において、メタデータとして撮像画像データの撮像日時を用いたがＧＰＳでも同様に、撮像画像データ分類部１０２は、位置情報の位置を緯度及び経度の順にソートし、そのときに求められる、撮像画像データ毎の位置情報における緯度経度の座標の差分である距離を抽出する。そして、撮像画像データ分類部１０２は、この距離に対して上述した差時間と同一の処理を行ない、分類距離を求めて、ＧＰＳの位置情報を用いた撮像画像データの分類処理を行なう。また、緯度及び経度からなる２次元空間上に各撮像画像データの位置情報をプロットし、クラスタ分析で分類処理を行なっても良い。
【００４６】
また、解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ感度を分類に用いるメタデータとした場合、撮像画像データ分類部１０２は、それぞれのメタデータのヒストグラムを作成する。すなわち、撮像画像データ分類部１０２は、メタデータの種類毎に、メタデータの各数値範囲を横軸とし、この数値範囲に入る撮像画像データの数を縦軸としてヒストグラムを作成する。
そして、撮像画像データ分類部１０２は、対象物体の数と同一の山ができるメタデータを選択し、このヒストグラムの山のある数値範囲に基づき、撮像画像データの各々を分類する。
【００４７】
上述したように、本実施形態によれば、Ｅｘｉｆのメタデータを用いて、同一の対象物体を撮像した際、このデータセットにおけるメタデータの数値が近いことを利用して、撮像画像データ分類部１０２によりメタデータの差を求めて、ソート順に配列したメタデータ間での差の小さい撮像画像データをグルーピングすることで、対象物体の３次元形状モデルの復元に用いる多視点画像における撮像画像データを撮像した際、対象物体及び撮像位置を変えつつ撮像した撮像画像データの各々を、それぞれの対象物体に対応させて容易に分類することができる。
【００４８】
＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。第２の実施形態の撮像画像分類装置は、本発明の第１の実施形態による撮像画像分類装置と同様の構成である。以下、第１の実施形態と異なる動作についてのみ説明する。
撮像画像データ分類部１０２は、撮像画像データの分類を行なう際、解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ感度、撮像日時及びＧＰＳ情報の各々の２個以上の組合せ、あるいは全ての多次元ベクトルを、撮像画像データ毎に評価ベクトル空間に生成する。
【００４９】
そして、撮像画像データ分類部１０２は、撮像画像データの各々の多次元ベクトルと、異なる撮像画像データの多次元ベクトルとの類似度を算出する。類似度の算出方法としては、ユークリッド距離といった距離に基づくもの、あるいはコサイン類似度といったベクトルの内積に基づくものが適宜使用できる。以下、本実施形態においては、コサイン類似度を用いた場合で説明する。
このとき、撮像画像データ分類部１０２は、上述したコサイン類似度が予め設定された類似度閾値以上である多次元ベクトルを有する撮像画像データを、同一の画像データセットとして分類する。
【００５０】
図５は、本実施形態による撮像画像分類装置１００が行なう撮像画像データの分類処理の動作例を示すフローチャートである。撮像画像データの分類に使用するメタデータは、撮像画像データに付与されているＥｘｉｆのメタデータ全てとして説明する。
また、ステップＳ１０１からステップＳ１０２は、第１の実施形態と同様のため、説明を省略する。
【００５１】
ステップＳ２０３：撮像画像データ分類部１０２は、記憶部１０７から順次、撮像画像データに埋め込まれているＥｘｉｆの情報（解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ感度、撮像日時及びＧＰＳ情報）を読み出す。
【００５２】
ステップＳ２０４：撮像画像データ分類部１０２は、解像度、絞り値、焦点距離、シャッター速度、ＩＳＯ感度、撮像日時及びＧＰＳ情報の数値から多次元ベクトルを、撮像画像データ毎に生成する。
【００５３】
ステップＳ２０５：撮像画像データ分類部１０２は、記憶部１０７における全ての撮像画像データからのＥｘｉｆの情報の読み出しと、読み出したＥｘｉｆの情報の多次元ベクトルの生成とが終了したか否かの判定を行なう。
このとき、撮像画像データ分類部１０２は、記憶部１０７における全ての撮像画像データのＥｘｉｆの情報の読み出しと、読み出したＥｘｉｆの情報の多次元ベクトルの生成とが終了した場合、処理をステップＳ２０６へ進める。
一方、撮像画像データ分類部１０２は、記憶部１０７における全ての撮像画像データのＥｘｉｆの情報の読み出しと、読み出したＥｘｉｆの情報の多次元ベクトルの生成とが終了していない場合、処理をステップＳ２０３へ進める。
【００５４】
ステップＳ２０６：撮像画像データ分類部１０２は、撮像画像データの各々のペアを、全ての撮像画像データが漏れなく組み合わせとなるように生成する。
そして、撮像画像データ分類部１０２は、組合せの全てのペア同士において、撮像画像データのＥｘｉｆの情報の多次元ベクトル間のコサイン類似度を算出する。
【００５５】
ステップＳ２０７：撮像画像データ分類部１０２は、上述したコサイン類似度が予め設定された類似度閾値以上である多次元ベクトルの組合せの撮像画像データそれぞれを、同一の画像データセットとして分類する。
そして、撮像画像データ分類部１０２は、例えば、記憶部１０７において、分類した撮像画像データの各々を、それぞれ分類毎のデータセットとして書き込んで記憶させる。
【００５６】
上述したように、本実施形態によれば、Ｅｘｉｆのメタデータを用いて、同一の対象物体を撮像した際、このデータセットにおけるメタデータの数値が近いことを利用して、撮像画像データ分類部１０２において、撮像画像データのメタデータの多次元ベクトルを算出し、撮像画像データのペアを記憶部１０７の全て撮像画像データが組み合わさるように作成し、このペア毎にコサイン類似度を求めて、予め設定した類似度閾値以上である組合せの多次元ベクトルの撮像画像データを同一の撮像対象を撮像したデータセットとしてグルーピングすることで、対象物体の３次元形状モデルの復元に用いる多視点画像における撮像画像データを撮像した際、対象物体及び撮像位置を変えつつ撮像した撮像画像データの各々を、それぞれの対象物体に対応させて容易に分類することができる。
【００５７】
＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。図６は、本発明の第３の実施形態による撮像画像分類装置を備えた撮像システムの構成例を示すブロック図である。撮像画像分類装置１００Ａは、３次元形状モデルを復元するために用いる多視点画像として、複数の対象物体の各々を異なる撮像位置で撮像した撮像画像データそれぞれを、対象物体毎に対応させて分類する装置である。
【００５８】
図６において、撮像システム１Ａは、撮像画像分類装置１００Ａ、撮像部２００及び画像表示部３００各々を備えている。撮像システム１Ａは、第１の実施形態と同様に、スマートフォンなどであり、撮像画像分類装置１００Ａの機能のアプリケーションをインストールして、後述する多視点画像の撮像を支援している。また、本実施形態においては、第１の実施形態と同様に、多視点画像の撮像画像データとして、静止画の撮像を支援する構成を説明するが、動画でも処理自体は同様である。第１の実施形態と同様な構成については同一の符号を付してある。
【００５９】
撮像画像データ分類部１０２Ａは、入力される際に撮像画像データに付与されるセット識別情報により、対象物体毎のデータセットに対して、撮像画像データの各々を分類する。
撮像開始検出部１０８は、撮像システム１Ａに備えられた図示しない入力手段（後述）により、ユーザが入力する撮像開始を示す情報を検出し、撮像開始信号を画像データ入力部１０１及び識別情報付与部１０９に対して出力する。
撮像終了検出部１０３は、撮像システム１に備えられた図示しない入力手段により、ユーザが入力する撮像終了を示す情報を検出し、撮像終了信号を画像データ入力部１０１、撮像画像データ分類部１０２Ａ及び識別情報付与部１０９に対して出力する。
【００６０】
図７は、撮像画像分類装置１００Ａの撮像及び分類処理におけるＧＵＩを説明する図である。
図７（ａ）は、Ｓｔａｒｔ（撮像開始）ボタン５５０（撮像画像データの撮像を開始する入力を行う入力手段）を押下することで、画像表示部３００の表示画面３００Ａに表示されている対象物体の画像８００の撮像画像データの撮像が開始されることを示す図である。すなわち、Ｓｔａｒｔボタン５５０が押下された場合、撮像開始検出部１０８は、撮像開始を検出し、撮像開始信号を画像データ入力部１０１及び識別情報付与部１０９に対して出力する。
【００６１】
図７（ｂ）は、Ｓｔａｒｔボタン５５０が押下されることにより、このＳｔａｒｔボタン５５０の位置にＦｉｎｉｓｈ（撮像終了）ボタン５５２が新たに表示されることを示している。また、撮像ボタン５５１を押下することにより、表示画面３００Ａに表示されている対象物体の画像（プレビュー画像）８００が撮像画像データとして撮像されることを示している。すなわち、撮像ボタン５５１が押下された場合、撮像部２００が表示画面３００Ａに表示されている対象物体を撮像し、画像データ入力部１０１に対して供給する。
【００６２】
また、Ｐｒｅｖｉｅｗボタン５５３が押下された場合、画像表示制御部１０４が図３で説明したように、ユーザ制御入力画面を表示画面３００Ａに表示する、あるいは、撮像が開始されてから撮像された対象物体の撮像画像データのサムネイル画像を表示画面３００Ａに表示する。
また、図７（ｂ）に示すように、画像表示制御部１０４は、撮像が開始されてから撮像された撮像画像データの数を、撮像数を示す文字列画像５５４として、表示画面３００Ａに表示する。
【００６３】
図７（ｃ）は、Ｆｉｎｉｓｈボタン５５２（撮像画像データの撮像を終了する入力を行う入力手段）を押下することで、画像表示部３００の表示画面３００Ａに表示されている対象物体の画像８００の撮像画像データの撮像が終了されることを示す図である。すなわち、Ｆｉｎｉｓｈボタン５５２が押下された場合、撮像終了検出部１０３は、撮像終了を検出し、撮像終了信号を画像データ入力部１０１及び識別情報付与部１０９に対して出力する。
【００６４】
識別情報付与部１０９は、撮像開始検出部１０８から撮像開始信号が供給された場合、撮像終了検出部１０３から撮像終了信号が供給されるまで、画像データ入力部１０１から供給される撮像画像データに対して同一の識別情報を付与する。ここで、識別情報付与部１０９は、乱数発生器から生成された乱数、データセットの順番を示すシリアル番号、Ｓｔａｒｔボタン５５０が押下された日時、撮像開始信号が供給されてから最初に入力される撮像画像データのＥｘｉｆにおける撮像日時などのデータを上記識別情報として用いる。
そして、識別情報付与部１０９は、識別情報を付与した撮像画像データを、記憶部１０７に対して順次書き込んで記憶させる。
【００６５】
撮像画像データ分類部１０２Ａは、記憶部１０７に記憶されている撮像画像データを読み出す際、撮像物体のデータセットとして同一の識別情報が付与されている撮像画像データを抽出して、データセット単位で読み出す。
また、撮像画像データ分類部１０２Ａは、記憶部１０７を参照して、同一の識別情報が付与されている撮像画像データの各々を画像データセットとして、対象物体毎の種類に分類する構成としても良い。
【００６６】
また、識別情報付与部１０９は、撮像開始検出部１０８から撮像開始信号が供給された場合、画像データセットのフォルダを生成する構成としても良い。
このとき、撮像画像データ分類部１０２Ａは、撮像開始検出部１０８から撮像開始信号が供給された場合、撮像終了検出部１０３から撮像終了信号が供給されるまで、識別情報付与部１０９が生成したフォルダに対し、画像データ入力部１０１から供給される撮像画像データを画像データセットとして入力して分類処理を行う。
【００６７】
図８は、本実施形態による撮像画像分類装置１００Ａが行なう撮像画像データの分類処理の動作例を示すフローチャートである。撮像画像データの分類に使用する識別情報として乱数を用いることで説明する。撮像画像データの分類のアプリケーションが起動された場合、撮像画像分類装置１００Ａが以下の分類処理を行う。
【００６８】
ステップＳ３０１：撮像開始検出部１０８は、Ｓｔａｒｔボタン５５０が押下されたか否か、すなわち撮像を開始する入力が行われたか否かの判定を行う。このとき、撮像開始検出部１０８は、Ｓｔａｒｔボタン５５０が押下された場合、処理をステップＳ３０２へ進める。ここで、撮像開始検出部１０８は、撮像開始信号を画像データ入力部１０１及び識別情報付与部１０９に対して出力する。
一方、撮像開始検出部１０８は、Ｓｔａｒｔボタン５５０が押下されない場合、ステップＳ３０１の処理を繰り返す。
【００６９】
ステップＳ３０２：識別情報付与部１０９は、内部に備える乱数発生器により乱数を発生させ、この乱数を撮像画像データに付与する識別情報とする。
【００７０】
ステップＳ３０３：画像データ入力部１０１は、撮像部２００から供給される撮像画像データを識別情報付与部１０９に対して出力する。
これにより、識別情報付与部１０９は、画像データ入力部１０１から供給される撮像画像データに対し、生成した識別情報を付与し、記憶部１０７に対して書き込んで記憶させる。
【００７１】
ステップＳ３０４：撮像終了検出部１０３は、Ｆｉｎｉｓｈボタン５５２が押下されたか否か、すなわち撮像を終了する入力が行われたか否かの判定を行う。このとき、撮像終了検出部１０３は、Ｆｉｎｉｓｈボタン５５２が押下された場合、処理をステップＳ３０５へ進める。ここで、撮像終了検出部１０３は、撮像終了信号を画像データ入力部１０１及び識別情報付与部１０９に対して出力する。
一方、撮像終了検出部１０３は、Ｆｉｎｉｓｈボタン５５２が押下されない場合、処理をステップＳ３０３へ進める。
【００７２】
また、図８の破線で囲まれた以下のステップＳ３０５及びステップＳ３０６の各々は、本実施形態に必須の処理ではないが、撮像画像データの画像データセットへの分類が終了した後、画像データセットにおいて３次元形状モデルの復元に使用できないと予測される撮像画像データを除去する仕訳処理として、任意に付け加えることが可能な処理である。
このステップＳ３０５及びステップＳ３０６の各々を付け加えることにより、３次元形状モデルの復元を行なう際に、人手による仕分けを行なう手間を省くことができる。
【００７３】
ステップＳ３０５：撮像画像データ分類部１０２Ａは、同一の識別情報が付与されている撮像画像データの各々のＥｘｉｆにおけるメタデータの多次元ベクトルを算出する。
そして、撮像画像データ分類部１０２Ａは、同一の識別情報が付与されている撮像画像データの各々の２個の組み合わせを生成する（第１の実施形態と同様に、全ての撮像画像データが組み合わせとなるようにペアを生成する）。
撮像画像データ分類部１０２Ａは、それぞれの組み合わせのコサイン類似度を算出する。
【００７４】
ステップＳ３０６：撮像画像データ分類部１０２Ａは、算出したコサイン類似度の各々が予め設定した類似度閾値以上か否かの判定を行う。
そして、撮像画像データ分類部１０２Ａは、コサイン類似度が類似度閾値未満の組み合わせとなる撮像画像データを抽出して、この撮像画像データを記憶部１０７から削除する、あるいは識別情報を変更するなどの処理を行い、データセットから３次元形状モデルの復元に利用できないと予想される撮像画像データを排除する仕分け処理を行う。
【００７５】
上述したように、本実施形態によれば、対象物体毎に、撮像画像データの撮像を開始した際、識別情報付与部１０９が対象物体に対応するデータセットとする撮像画像データに付与する識別情報を生成し、個々の対象物体の撮像開始から撮像終了まで、同一の識別情報を撮像画像データに付与するため、記憶部１０７にランダムに撮像画像データを記憶させても、この識別情報を用いて対象物体の各々のデータセットの撮像画像データそれぞれを容易に抽出でき、対象物体及び撮像位置を変えつつ撮像した３次元形状モデルの復元に用いる多視点画像における撮像画像データの各々を、ユーザが分類の手間をかけずに物体それぞれ対応させて容易に分類することができる。
【００７６】
また、本実施形態によれば、同一の対象物体を撮像した撮像画像データから、Ｅｘｉｆのメタデータを用いて、３次元形状モデルを復元する際に利用可能な撮像画像データのみとなるよう仕分け処理が行なうため、容易に高い精度で３次元形状モデルを復元するできる撮像画像データのデータセットを得ることが可能となる。
【００７７】
また、本実施形態においては、撮像システムの一例としてスマートフォンに、撮像画像分類装置１００あるいは１００Ａの各々の機能を、例えばアプリケーションとしてそれぞれインストールして、３次元形状モデルの復元に用いる対象物体の多視点画像における撮像画像データの分類を行なう構成として説明した。
しかしながら、撮像システムを、例えば、デジタルカメラ（クライアント）と撮像画像分類装置（サーバ）とを備えるサーバクライアントシステムとして構築しても良い。この場合、サーバには、撮像画像データ分類部１０２または１０２Ａの計算負荷が大きくなる処理を行なう構成を持たせる。その他の画像データ入力部１０１、撮像終了検出部１０３、ユーザ編集入力部１０５及び復元開始通知部１０６などは、アプリケーションとして、デジタルカメラにインストールしておく。
【００７８】
なお、本発明における図１の撮像画像分類装置１００、図６の撮像画像分類装置１００Ａの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、３次元画像形状モデルを復元するための撮像画像データを分類する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【００７９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００８１】
１…撮像システム
２…３次元形状モデル復元装置
１００，１００Ａ…撮像画像分類装置
１０１…画像データ入力部
１０２，１０２Ａ…撮像画像データ分類部
１０３…撮像終了検出部
１０４…画像表示制御部
１０５…ユーザ編集入力部
１０６…復元開始通知部
１０７…記憶部
１０８…撮像開始検出部
１０９…識別情報付与部
２００…撮像部
３００…画像表示部
【図１】
2020091718.tif 000003
【図２】
2020091718.tif 000004
【図３】
2020091718.tif 000005
【図４】
2020091718.tif 000006
【図５】
2020091718.tif 000007
【図６】
2020091718.tif 000008
【図７】
2020091718.tif 000009
【図８】
2020091718.tif 000010