(57)【要約】【課題】大量の静止画像から３次元情報の生成に使用する静止画像を効率的に選択する手段をユーザに提供する。【解決手段】画像分類装置は、３次元情報の生成対象を撮影した複数の静止画像のそれぞれについて、特徴点と特徴量を算出する特徴量算出部２と、複数の静止画像中の２枚の静止画像の選択し得る全ての組み合わせについて２枚の静止画像の特徴点間の距離を特徴量から算出して２枚の静止画像間の距離とする距離算出部３と、静止画像間の距離に基づいて階層クラスター分析を行ない、複数の静止画像を分類したクラスターを階層的に結合した樹形図を生成するクラスター生成部４と、樹形図を表示する表示部７と、樹形図とユーザによって指定されたクラスター数に基づいて複数の静止画像をグループ分けする画像分類部６を備える。【選択図】  図１
2020095498.tif 000002
【特許請求の範囲】
【請求項１】
３次元情報の生成対象を撮影した複数の静止画像のそれぞれについて、特徴点と特徴量とを算出するように構成された特徴量算出部と、
前記複数の静止画像中の２枚の静止画像の選択し得る全ての組み合わせについて、２枚の静止画像の前記特徴点間の距離を前記特徴量から算出して２枚の静止画像間の距離とするように構成された距離算出部と、
前記静止画像間の距離に基づいて階層クラスター分析を行ない、前記複数の静止画像を分類したクラスターを階層的に結合した樹形図を生成するように構成されたクラスター生成部と、
前記樹形図を表示するように構成された表示部と、
前記樹形図とユーザによって指定されたクラスター数とに基づいて前記複数の静止画像をグループ分けするように構成された画像分類部とを備えることを特徴とする画像分類装置。
【請求項２】
請求項１記載の画像分類装置において、
前記画像分類部によって分類された静止画像のグループのうち、ユーザによって指定されたグループの静止画像を外部の３次元情報生成装置に渡すように構成された画像出力部をさらに備えることを特徴とする画像分類装置。
【請求項３】
請求項１または２記載の画像分類装置において、
前記表示部は、前記樹形図上で選択された番号の静止画像を表示することを特徴とする画像分類装置。
【請求項４】
３次元情報の生成対象を撮影した複数の静止画像のそれぞれについて、特徴点と特徴量とを算出する第１のステップと、
前記複数の静止画像中の２枚の静止画像の選択し得る全ての組み合わせについて、２枚の静止画像の前記特徴点間の距離を前記特徴量から算出して２枚の静止画像間の距離とする第２のステップと、
前記静止画像間の距離に基づいて階層クラスター分析を行ない、前記複数の静止画像を分類したクラスターを階層的に結合した樹形図を生成する第３のステップと、
前記樹形図を表示する第４のステップと、
前記樹形図とユーザによって指定されたクラスター数とに基づいて前記複数の静止画像をグループ分けする第５のステップとを含むことを特徴とする画像分類方法。
【請求項５】
請求項４記載の画像分類方法において、
前記第５のステップで分類された静止画像のグループのうち、ユーザによって指定されたグループの静止画像を３次元情報生成装置に渡す第６のステップをさらに含むことを特徴とする画像分類方法。
【請求項６】
請求項４または５記載の画像分類方法において、
前記樹形図上で選択された番号の静止画像を表示する第７のステップをさらに含むことを特徴とする画像分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の静止画像から３次元情報を生成する技術に係り、特に３次元情報の生成に使用する静止画像の選定技術に関するものである。
【背景技術】
【０００２】
コンピュータの処理能力の向上と映像技術の進歩に伴い、汎用的なコンピュータ、スマートフォン、タブレットなどで３次元情報を描画できるようになってきた。そのため、実世界の３次元モデルを利用した多様なアプリケーションやサービスが登場している。建物やプラント、工場などの広い空間に関しても、実空間の３次元空間情報の計測とそれを応用した設備管理などの取り組みが進められている。
【０００３】
これまで実空間の３次元情報を生成する手法としては、高精度なレーザースキャナやＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）などが利用されてきたが、レーザスキャナは機材の価格が高価であることや、ＬｉＤＡＲは空間を３次元化するには空間分解能が低いといった課題があった。
【０００４】
近年、コンピュータビジョンの発展に伴い、複数の静止画像から３次元情報を生成することができる、ｖｉｓｕａｌＳＬＡＭ（Simultaneous Localization and Mapping）やＳｆＭ（Structure from Motion）などの技術の開発が進展している。ｖｉｓｕａｌＳＬＡＭやＳｆＭは、複数の静止画像から特徴点を抽出し、特徴点のマッチングから、３次元形状を復元するためのパラメータを算出し、３次元情報を生成する技術である。情報処理技術やソフトウェア技術の発展により、ユーザが利用しやすい３次元形状復元ソフトウェアが開発され、３次元形状復元アルゴリズムの専門的な知識を有していないユーザでも３次元情報を取り扱えるようになり、ユーザが広がっている。
【０００５】
ｖｉｓｕａｌＳＬＡＭやＳｆＭと呼ばれる技術では、一般的に撮影対象を囲むように撮影する場合や、連続する静止画像の重複する領域が多い場合に、精緻な３次元情報を生成することができる。そのため、テクスチャが少ない場合や広い室内の３次元情報を生成しようとする場合には、撮影された静止画像によっては、ユーザの希望するような３次元情報が生成できない場合がある。
【０００６】
また、３次元情報の生成に適した静止画像群であっても、その前後の画像に３次元情報の精度を低下させるようなブレ、ボケなどが含まれる画像が存在する場合、あるいはカメラの移動距離が大きくて重複する領域が少ない画像が存在する場合、これらのブレ、ボケ画像や重複する領域が少ない画像が計算に不適または不要な静止画像群として、計算対象から除外されてしまう場合がある。しかしながら、ユーザによっては、除外された静止画像群内に３次元情報を生成したい対象が含まれる場合がある。
【０００７】
また、これまでも、３次元情報の正確さを高めるために、より正確なカメラの位置や特徴点の位置情報を算出できるような画像を選択する画像処理方法が開示されている（特許文献１参照）。ただし、特許文献１に開示された技術では、コンピュータ内のロジックとパラメータによって使用される静止画像が取捨選択され、必ずしもユーザが希望する対象を３次元化できるような静止画像が選択されない場合がある。このような場合にも、使用されなかった静止画像を利用すれば、ユーザの希望する３次元情報を生成できる可能性がある。
しかしながら、専門的な知識を有していないユーザが、希望する対象の３次元情報を得るために、有効な静止画像を個々に選択することは困難であった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第５０１２６１５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記課題を解決するためになされたもので、大量の静止画像から３次元情報の生成に使用する静止画像を効率的に選択する手段をユーザに提供することができる画像分類装置および方法を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像分類装置は、３次元情報の生成対象を撮影した複数の静止画像のそれぞれについて、特徴点と特徴量とを算出するように構成された特徴量算出部と、前記複数の静止画像中の２枚の静止画像の選択し得る全ての組み合わせについて、２枚の静止画像の前記特徴点間の距離を前記特徴量から算出して２枚の静止画像間の距離とするように構成された距離算出部と、前記静止画像間の距離に基づいて階層クラスター分析を行ない、前記複数の静止画像を分類したクラスターを階層的に結合した樹形図を生成するように構成されたクラスター生成部と、前記樹形図を表示するように構成された表示部と、前記樹形図とユーザによって指定されたクラスター数とに基づいて前記複数の静止画像をグループ分けするように構成された画像分類部とを備えることを特徴とするものである。
また、本発明の画像分類装置の１構成例は、前記画像分類部によって分類された静止画像のグループのうち、ユーザによって指定されたグループの静止画像を外部の３次元情報生成装置に渡すように構成された画像出力部をさらに備えることを特徴とするものである。
また、本発明の画像分類装置の１構成例において、前記表示部は、前記樹形図上で選択された番号の静止画像を表示することを特徴とするものである。
【００１１】
また、本発明の画像分類方法は、３次元情報の生成対象を撮影した複数の静止画像のそれぞれについて、特徴点と特徴量とを算出する第１のステップと、前記複数の静止画像中の２枚の静止画像の選択し得る全ての組み合わせについて、２枚の静止画像の前記特徴点間の距離を前記特徴量から算出して２枚の静止画像間の距離とする第２のステップと、前記静止画像間の距離に基づいて階層クラスター分析を行ない、前記複数の静止画像を分類したクラスターを階層的に結合した樹形図を生成する第３のステップと、前記樹形図を表示する第４のステップと、前記樹形図とユーザによって指定されたクラスター数とに基づいて前記複数の静止画像をグループ分けする第５のステップとを含むことを特徴とするものである。
【発明の効果】
【００１２】
本発明によれば、複数の静止画像から３次元情報の生成に使用する静止画像を選択する際に、専門的な知識を有していないユーザであっても、希望する対象物または対象空間の３次元情報が得られるような静止画像を効果的に選択することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施例に係る画像分類装置の構成を示すブロック図である。
【図２】図２は、本発明の実施例に係る画像分類装置の動作を説明するフローチャートである。
【図３】図３は、樹形図の１例を示す図である。
【図４】図４は、本発明の実施例に係る画像分類装置を実現するコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
［発明の原理］
ユーザが目視によって、３次元情報の生成に利用する画像を選択することも可能であるが、多い場合には全画像の枚数が数百枚〜数千枚になるので、類似性の高い画像を一般のユーザが判別し、分類するのは容易ではない。
そこで、発明者は、あらかじめ画像の類似性もしくは距離（非類似性）に基づき、クラスタリングを行い、画像のグルーピングを行うことで、ユーザが自分の判断で３次元情報の生成に利用する画像を選択することができ、その選択の負担を軽減できることに想到した。
【００１５】
［実施例］
以下、本発明の実施例について図面を参照して説明する。図１は本発明の実施例に係る画像分類装置の構成を示すブロック図である。画像分類装置は、画像データベース（以下、画像ＤＢ）１と、特徴量算出部２と、距離算出部３と、クラスター生成部４と、クラスター指定部５と、画像分類部６と、表示部７と、画像出力部８と、例えばキーボードやマウス等の操作部９とを備えている。
【００１６】
図２は本実施例の画像分類装置の動作を説明するフローチャートである。まず、３次元情報の生成対象をカメラによって多視点から連続的に撮影し、複数の静止画像を画像ＤＢ１に蓄積する（図２ステップＳ１）。なお、画像ＤＢ１に蓄積する画像は、動画から生成された静止画像でもよい。
【００１７】
続いて、特徴量算出部２は、画像ＤＢ１に蓄積された複数の静止画像のそれぞれについて、特徴点と特徴量とを算出する（図２ステップＳ２）。画像の特徴点と特徴量とを算出する手法としては、ＫＡＺＥ、ＡＫＡＺＥ（Accelerated KAZE）、ＳＵＲＦ（Speed-Up Robust Features）などがある。
【００１８】
次に、距離算出部３は、画像ＤＢ１に蓄積された複数の静止画像中の２枚の静止画像の選択し得る全ての組み合わせについて、２枚の静止画像の特徴点間の距離を特徴量から算出して２枚の静止画像間の距離とする（図２ステップＳ３）。２枚の静止画像のうち一方の静止画像の特徴点の特徴量をａi（ｉ＝１，２，・・・，ｎ、ｎは特徴点の数）、他方の静止画像の特徴点の特徴量をｂj（ｊ＝１，２，・・・，ｍ、ｍは特徴点の数）とすると、２枚の静止画像間の距離ｄは次式のようになる。なお、距離ｄは、特徴量ベクトルの次元にわたり計算する。
【００１９】
【数１】
2020095498.tif 000003
【００２０】
式（１）は、一方の静止画像の特徴点の特徴量ａiと他方の静止画像の特徴点の特徴量ｂjの全ての組み合わせについて差の２乗を求めて、その総和の平方根を求めることを意味している。式（１）はユークリッド距離の場合であるが、市街地距離を採用してもよい。市街地距離を採用する場合、２枚の静止画像間の距離ｄは次式のようになる。なお、距離ｄは、特徴量ベクトルの次元にわたり計算する。
【００２１】
【数２】
2020095498.tif 000004
【００２２】
式（２）は、一方の静止画像の特徴点の特徴量ａiと他方の静止画像の特徴点の特徴量ｂjの全ての組み合わせについて差の絶対値を求めて、その総和を求めることを意味している。距離ｄの算出方法としてどのような方法を採用するかは、ユーザが適宜選択することが可能である。また、距離の代わりに類似度を算出してもよい。
【００２３】
クラスター生成部４は、距離算出部３によって算出された静止画像間の距離ｄに基づいて、階層クラスター分析を行ない、複数の静止画像を分類したクラスターを階層的に結合した樹形図を生成する（図２ステップＳ４）。階層クラスター分析では、最も類似する（距離の小さい）静止画像の組み合わせから、順番にクラスターに分類し、樹形図（デンドログラム）を生成する。階層クラスター分析の手法として、群平均法、ウォード法、最短距離法、最長距離法などのいずれを利用してもよい。
【００２４】
表示部７は、クラスター生成部４によって生成された樹形図を表示する（図２ステップＳ５）。表示部７の画面７０に表示された樹形図の１例を図３に示す。図３の横軸の数値は静止画像の番号、縦軸の数値はクラスター間の距離である。
なお、表示された樹形図の横軸の静止画像の番号をユーザが操作部９を操作してクリックすると、クリックで選択された静止画像を表示部７が拡大表示することも可能である（図２ステップＳ６）。これにより、クラスターに含まれる静止画像を確認することができる。
【００２５】
次に、クラスター指定部５は、表示部７によって表示された樹形図を見たユーザからの入力に応じて、クラスター数を指定する（図２ステップＳ７）。
画像分類部６は、クラスター生成部４によって生成された樹形図とユーザによって指定されたクラスター数とに基づいて、画像ＤＢ１に蓄積された複数の静止画像をグループ分けする。そして、表示部７は、グループ分けの結果を樹形図上に表示する（図２ステップＳ８）。
【００２６】
例えば図３に示した樹形図において、クラスター数が３と指定されると、静止画像はグループ＃１，＃２，＃３の３つのグループに分類される。図３の例では、樹形図を破線で区切ることで、グループ分けの結果が表示される。
【００２７】
画像出力部８は、画像分類部６によって分類された静止画像のグループのうち、ユーザによって指定されたグループの静止画像群を外部の３次元情報生成装置（３次元形状復元ツール）に渡す（図２ステップＳ９）。３次元情報生成装置は、入力された複数の静止画像群からｖｉｓｕａｌＳＬＡＭやＳｆＭのような手法によって３次元情報を生成する。３次元情報は、３次元の座標を有する多数の点群（ポイントクラウド）データから構成されるものである。こうして、対象の３次元情報を生成することができる。
【００２８】
なお、本発明は、３次元情報の生成のために画像を分類するものであり、画像の分類の過程では３次元情報生成装置を使用しないので、３次元情報生成装置は本発明において必須の構成要件ではない。
【００２９】
次に、本実施例の画像分類装置の使用方法の１例について説明する。画像ＤＢ１に蓄積される静止画像によっては、ユーザが３次元情報を生成したい対象物または対象空間のデータが計算対象の静止画像から除外される場合があり、そのような場合には、除外された静止画像に含まれる対象物や対象空間の３次元情報を得ることができない。
【００３０】
本実施例の画像分類装置の表示部７は、画像ＤＢ１に蓄積された静止画像群のサムネイルの一覧表示の中から特定の静止画像を、ユーザの操作部９に対する操作に従って拡大表示する画像ビューワー機能を備えている。ユーザは、操作部９を操作して静止画像を表示させ、３次元情報を生成したい対象物または対象空間が含まれる静止画像を選定する。そして、ユーザは、クラスター生成部４によって生成され表示部７によって表示された樹形図を見て、先に選定した静止画像が含まれるようなクラスター数を決定する。
【００３１】
ユーザによってクラスター数が指定されると、画像分類部６が画像ＤＢ１に蓄積された静止画像をグループ分けし、表示部７がグループ分けの結果を樹形図上に表示する。ユーザは、グループ分けの結果を見て、先に選定した静止画像が含まれるグループを３次元情報の生成に用いるグループとして指定する。画像出力部８は、ユーザによって指定されたグループの静止画像群を外部の３次元情報生成装置（３次元形状復元ツール）に渡す。３次元情報生成装置は、入力された複数の静止画像群から３次元情報を生成する。こうして、ユーザが希望する対象物または対象空間の３次元情報が得られる可能性を高めることができる。
また、クラスター数の再指定（ステップＳ７）や、３次元情報の生成に用いるグループの再指定（ステップＳ９）により、３次元情報を生成し直すことも可能である。
【００３２】
また、ユーザが大量の静止画像を利用する場合に、できるだけ希望する対象物や対象空間のみの３次元情報を得たい場合に、上記と同様に、ユーザが対象物や対象空間が含まれる、クラスター分類された静止画像群を利用することによって、必要な静止画像を選択して３次元情報を生成させることができる。３次元情報の計算時間は、使用する静止画像が少ない方が早くなるため、計算時間を短縮することにも貢献できる。
【００３３】
以上のように、本実施例では、複数の静止画像から３次元情報の生成に使用する静止画像を選択する際に、専門的な知識を有していないユーザであっても、希望する対象物または対象空間の３次元情報が得られるような静止画像を効果的に選択することができる。
【００３４】
本実施例では、あらかじめ似た静止画像を分類しグループに分けておくことで（階層クラスター分析）、ユーザに以下のメリットを提供する。
（I）複数の静止画像から３次元情報を生成したい対象が含まれているグループとそれ以外のグループを選択することができ、選択した静止画像を利用することで、全データを利用した場合よりも３次元情報の計算時間を短縮できる。
【００３５】
（II）静止画像を利用した３次元情報の生成処理においては、静止画像間の特徴点の対応関係を利用するため、例えば、同じ対象を撮影した静止画像だとしても、カメラの移動量が大きく静止画像に含まれる重複領域が少ない場合には、計算に不適または不要な静止画像として計算対象から除外され、撮影した静止画像のうち一部しか３次元情報の生成に利用されない場合もある。このような場合、使用されなかった静止画像を利用して、別の３次元情報を生成できる場合も多い。このようにユーザが期待する３次元情報が得られない場合、ユーザは利用する静止画像を選択しながら、試行錯誤をしつつも３次元情報を生成したい場合がある。本実施例では、静止画像を距離（類似性）に基づいて分類しグループ化することにより（階層クラスター分析）、ユーザは、グループ単位で利用する静止画像の要否を判断することができる。
【００３６】
（III）本実施例では、ユーザに対して使用する静止画像の選択肢を提供できる。具体的には、ユーザはどのグループの静止画像を使用するかグループ数（クラスター数）や選択するグループの組み合わせを検討しながら、分析することができるため、大量の静止画像の中から、個々の静止画像について使用するかどうかを判断する必要がなく、３次元情報の生成に使用する静止画像を効率的に選択することができる。
【００３７】
本実施例で説明した画像分類装置は、ＣＰＵ（Central Processing Unit）、記憶装置及びインターフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図４に示す。コンピュータは、ＣＰＵ２００と、記憶装置２０１と、インターフェース装置（以下、Ｉ／Ｆと略する）２０２とを備えている。Ｉ／Ｆ２０２には、操作部９やディスプレイなどが接続される。このようなコンピュータにおいて、本発明の画像分類方法を実現させるためのプログラムは記憶装置２０１に格納される。ＣＰＵ２００は、記憶装置２０１に格納されたプログラムに従って本実施例で説明した処理を実行する。
【産業上の利用可能性】
【００３８】
本発明は、３次元情報を生成する技術に適用することができる。
【符号の説明】
【００３９】
１…画像データベース、２…特徴量算出部、３…距離算出部、４…クラスター生成部、５…クラスター指定部、６…画像分類部、７…表示部、８…画像出力部、９…操作部。
【図１】
2020095498.tif 000005
【図２】
2020095498.tif 000006
【図３】
2020095498.tif 000007
【図４】
2020095498.tif 000008