(57)【要約】【課題】  少ない演算量で被写体の立体形状を容易に取得することができる技術を提供することを目的とする。【解決手段】  複数の基本図形それぞれの立体形状の図形情報を記憶する記憶手段と、被写体を撮像した少なくとも１つの撮像画像から被写体の画像特徴量を抽出する特徴量抽出手段と、画像特徴量と図形情報とに基づいて、被写体の立体形状を求める形状取得手段と、を備える。【選択図】    図１
2013206035.tif 000002
【特許請求の範囲】
【請求項１】
複数の基本図形それぞれの立体形状の図形情報を記憶する記憶手段と、
被写体を撮像した少なくとも１つの撮像画像から前記被写体の画像特徴量を抽出する特徴量抽出手段と、
前記画像特徴量と前記図形情報とに基づいて、前記被写体の立体形状を求める形状取得手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記形状取得手段は、前記画像特徴量と前記図形情報とに基づいて、少なくとも１つの前記基本図形を変形して前記被写体に合わせ込み、変形して合わせ込まれた前記基本図形と前記被写体との類似の度合いに基づいて、前記被写体の立体形状を求めることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記形状取得手段は、前記画像特徴量を用いて、前記被写体を形成する面および前記面の配置を求め、前記画像特徴量および求められた前記面の配置に基づいて、前記少なくとも１つの基本図形を変形し合わせ込むことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記撮像画像から前記面に対応する画像領域の部分画像を前記面の模様として抽出する画像抽出手段を備え、
前記形状取得手段は、前記撮像画像が複数の場合、前記画像抽出手段により抽出された前記部分画像に基づいて、一の前記撮像画像における面が他の前記撮像画像における面と同一か否かを判定し、前記被写体を形成する面の配置を求める
ことを特徴とする画像処理装置。
【請求項５】
請求項２ないし請求項４のいずれか１項に記載の画像処理装置において、
前記形状取得手段は、前記度合いが最も大きい基本図形またはその組み合わせを前記被写体の立体形状とすることを特徴とすることを特徴とする画像処理装置。
【請求項６】
請求項２ないし請求項４のいずれか１項に記載の画像処理装置において、
ユーザからの指示を受け付ける操作部材と、
表示手段と、を備え、
前記形状取得手段は、前記複数の基本図形のうち、前記被写体の立体形状の候補となる基本図形またはその組み合わせを、前記度合いに応じて前記表示手段に表示し、前記ユーザによる前記操作部材の操作によって選択された基本図形またはその組み合わせを前記被写体の立体形状とする
ことを特徴とする画像処理装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
前記撮像画像は、前記被写体の撮像時の撮像情報が付加され、
前記形状取得手段は、前記撮像情報に基づいて前記被写体の大きさを算出する
ことを特徴とする画像処理装置。
【請求項８】
被写体を撮像して撮像画像を生成する撮像部と、
請求項１ないし請求項８のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記撮像画像に前記被写体の撮像時の撮像情報を付加する情報付加手段を備える
ことを特徴とする撮像装置。
【請求項１０】
被写体を撮像した少なくとも１つの撮像画像から前記被写体の画像特徴量を抽出する特徴量抽出手順、
前記画像特徴量と複数の基本図形それぞれの立体形状の図形情報とに基づいて、前記被写体の立体形状を求める形状取得手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、被写体を複数の異なる方向から撮像した画像を用いて、被写体の立体像を生成取得する技術が開発されている。
【０００３】
例えば、多重解像度特異点フィルタと画像マッチング処理とを用いて、被写体の周囲の複数の位置で撮像した複数の画像を合成処理することにより、任意の方向から見た被写体の画像を取得し表示する技術がある（例えば、特許文献１など参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−９５０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、複数の画像に対して多重解像度特異点フィルタや画像マッチング処理などの複雑な処理を施す必要があり、処理に時間が掛かる。
【０００６】
また、得られた画像に基づいて、例えば、３次元ＣＡＤやコンピュータグラフィックス（ＣＧ）などのデータを生成するにはデータ量が膨大であり、使い勝手が悪い。
【０００７】
上記従来技術が有する問題に鑑み、本発明の目的は、少ない演算量で被写体の立体形状を容易に取得することができる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明を例示する画像処理装置の一の態様は、複数の基本図形それぞれの立体形状の図形情報を記憶する記憶手段と、被写体を撮像した少なくとも１つの撮像画像から被写体の画像特徴量を抽出する特徴量抽出手段と、画像特徴量と図形情報とに基づいて、被写体の立体形状を求める形状取得手段と、を備える。
【０００９】
また、形状取得手段は、画像特徴量と図形情報とに基づいて、少なくとも１つの基本図形を変形して被写体に合わせ込み、変形して合わせ込まれた基本図形と被写体との類似の度合いに基づいて、被写体の立体形状を求めてもよい。
【００１０】
また、形状取得手段は、画像特徴量を用いて、被写体を形成する面および面の配置を求め、画像特徴量および求められた面の配置に基づいて、少なくとも１つの基本図形を変形し合わせ込んでもよい。
【００１１】
また、撮像画像から面に対応する画像領域の部分画像を面の模様として抽出する画像抽出手段を備え、形状取得手段は、撮像画像が複数の場合、画像抽出手段により抽出された部分画像に基づいて、一の撮像画像における面が他の撮像画像における面と同一か否かを判定し、被写体を形成する面の配置を求めてもよい。
【００１２】
また、形状取得手段は、度合いが最も大きい基本図形またはその組み合わせを被写体の立体形状としてもよい。
【００１３】
また、ユーザからの指示を受け付ける操作部材と、表示手段と、を備え、形状取得手段は、複数の基本図形のうち、被写体の立体形状の候補となる基本図形またはその組み合わせを、度合いに応じて表示手段に表示し、ユーザによる操作部材の操作によって選択された基本図形またはその組み合わせを被写体の立体形状としてもよい。
【００１４】
また、撮像画像は、被写体の撮像時の撮像情報が付加され、形状取得手段は、撮像情報に基づいて被写体の大きさを算出してもよい。
【００１５】
本発明を例示する撮像装置の一の態様は、被写体を撮像して撮像画像を生成する撮像部と、本発明の画像処理装置と、を備える。
【００１６】
また、撮像画像に被写体の撮像時の撮像情報を付加する情報付加手段を備えてもよい。
【００１７】
本発明を例示する画像処理プログラムの一の態様は、被写体を撮像した少なくとも１つの撮像画像から被写体の画像特徴量を抽出する特徴量抽出手順、画像特徴量と複数の基本図形それぞれの立体形状の図形情報とに基づいて、被写体の立体形状を求める形状取得手順、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、少ない演算量で被写体の立体形状を容易に取得することができる。
【図面の簡単な説明】
【００１９】
【図１】一の実施形態に係るデジタルカメラの構成を示すブロック図
【図２】一の実施形態に係るデジタルカメラの処理動作を示すフローチャート
【図３】被写体として建物を撮像した静止画像の一例を示す図
【図４】図３に示す建物に基本図形の合わせ込みの一例を示す図
【図５】図３に示す建物の各面の部分画像を真正面から見た画像に変換した例を示す図
【図６】被写体の立体形状の候補の基準画像を類似度の大きい順にモニタに表示する例を示す図
【図７】他の実施形態に係るデジタルカメラの処理動作を示すフローチャート
【図８】図３に示す建物を２つの異なる方向からそれぞれ撮像した静止画像の一例を示す図
【図９】被写体として別の建物を撮像した静止画像の一例を示す図
【発明を実施するための形態】
【００２０】
《一の実施形態》
図１は、本発明の一の実施形態に係るデジタルカメラの構成を示すブロック図である。
【００２１】
本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＡＦＥ１３、画像処理部１４、メモリ１５、モニタ１６、記録Ｉ／Ｆ１７、ＣＰＵ１９、操作部材２３、レリーズ釦２４、タッチパネル２５、バスから構成される。画像処理部１４、メモリ１５、モニタ１６、記録Ｉ／Ｆ１７、ＣＰＵ１９は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材２３、レリーズ釦２４、タッチパネル２５は、それぞれＣＰＵ１９に接続される。
【００２２】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００２３】
撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写界を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。
【００２４】
また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーの画像を取得できる。
【００２５】
ここで、デジタルカメラの撮影モードにおいて、撮像素子１２はレリーズ釦２４の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔で構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、モニタ１６での画像表示や、ＣＰＵ１９による各種の演算処理等に使用される。
【００２６】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、画像処理部１４に接続される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。
【００２７】
画像処理部１４は、１フレーム分のデジタル画像信号に対して、各種画像処理（例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。
【００２８】
メモリ１５は、デジタルカメラによって撮像された画像データや、ＣＰＵ１９によって実行される制御プログラムや画像処理プログラムなどを記憶する。また、本実施形態のメモリ１５は、本画像の被写体の立体形状を求めるための参照として、三角錐、直方体、円柱、球などの複数の基本図形それぞれの立体形状に関する図形情報を予め記憶している。さらに、メモリ１５は、画像処理部１４による画像処理の前工程や後工程での画像データを一時的に記憶する。メモリ１５には、不揮発性の半導体メモリなどを用いることができる。
【００２９】
モニタ１６は、液晶モニタなどの表示手段であり、ＣＰＵ１９の指示に応じて各種画像を表示する。
【００３０】
記録Ｉ／Ｆ１７には、記憶媒体１８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１８に対してデータの書き込み／読み込みを実行する。上記記憶媒体１８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１８の一例としてメモリカードを示す。
【００３１】
ＣＰＵ１９は、デジタルカメラの各部を統括的に制御するプロセッサである。ＣＰＵ１９は、制御プログラムを実行することにより、スルー画像のデータに基づいて、位相差検出方式やコントラスト検出方式による公知のＡＦ制御や、自動露出（ＡＥ）演算、オートホワイトバランス演算などを行う。また、ＣＰＵ１９は、撮像モードにおける各種の演算処理を行うとともに、撮像した画像のファイル生成処理や設定画面での表示処理なども行う。さらに、本実施形態のＣＰＵ１９は、画像処理プログラムの実行により、特徴量抽出部２０、形状取得部２１、画像抽出部２２として動作する。
【００３２】
特徴量抽出部２０は、本画像に公知の頂点抽出処理やエッジ抽出処理などを適用して被写体の頂点やエッジ量などの画像特徴量を抽出する。
【００３３】
形状取得部２１は、特徴量抽出部２０により抽出された被写体の画像特徴量と、基本図形の図形情報とに基づいて、被写体の立体形状を求める。まず、形状取得部２１は、特徴量抽出部２０が抽出した頂点の位置とエッジ量の分布に基づいて、被写体の輪郭およびその立体形状を形成する面とその配置とを求める。形状取得部２１は、求めた被写体の頂点および輪郭や面の配置に基づいて、基本図形の縦、横、高さの比を変えたり、基本図形を拡大縮小やシフト、回転させたりして変形し被写体に合わせ込む。つまり、形状取得部２１は、変形後の基本図形の本画像面上に投影された頂点および輪郭や面の配置が被写体の配置と同じになるように、基本図形を変形して被写体に合わせ込む。
【００３４】
本実施形態の形状取得部２１は、その同じになるという指標として、例えば、変形投影後の基本図形と被写体との頂点および輪郭や面それぞれにおけるズレ量に応じた、類似の度合いである類似度を出力する評価関数を用いる。形状取得部２１は、基本図形ごとに評価関数の最大出力の類似度を算出し、類似度の値に基づいて被写体の立体形状を求める。
【００３５】
画像抽出部２２は、形状取得部２１により求められた面に対応する、本画像の画像領域の部分画像を、その面の模様として抽出する。画像抽出部２２は、それぞれの面の部分画像を、真正面から見た場合の画像データ（以下、基準画像データ）に変換して、ＣＰＵ１９の内部メモリ（不図示）に一時的に記憶する。なお、画像抽出部２２による基準画像データへの変換は、例えば、面の各頂点および輪郭の配置具合に基づいて行われる。また、本実施形態における模様とは、被写体の面に描かれた看板の絵やロゴマークなどとともに、建物の面（壁）に配置された窓なども模様として扱う。
【００３６】
操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材２３はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材２３は、デジタルカメラの動作モードの切替操作や、設定画面での入力操作などに用いられる。
【００３７】
レリーズ釦２４は、半押し操作による撮像前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。
【００３８】
タッチパネル２５は、操作部材２３の一部を構成し、パネル表面に接触したスタイラス（または指先など）の位置を検出し、検出した位置情報をＣＰＵ１９に出力することでユーザからの指示入力を受け付ける。なお、タッチパネル２５の構成は、静電容量式または感圧式のいずれでもよい。本実施形態のタッチパネル２５は、モニタ１６と同形状の透明のパネルで構成され、モニタ１６の表面全体に積層配置される。ユーザは、モニタ１６に表示されたＧＵＩ形式の釦を視認しつつ、タッチパネル２５を介してＣＰＵ１９に指示入力する。
【００３９】
次に、図２のフローチャートを参照しつつ、本実施形態のデジタルカメラによる処理動作について説明する。なお、本実施形態のデジタルカメラは、撮影モードとして、単写モードと連写モードとを有する静止画モードおよび動画モードなどを有するものとする。さらに、デジタルカメラは、本画像から被写体の立体形状を求める処理の動作モードを疑似３次元モードとして有するものとする。
【００４０】
そして、デジタルカメラは、撮影モードとして、単写モードの静止画モードに予め設定されているものとし、例えば、図３に示すような建物３０の被写体を撮像した１つの静止画像（本画像）を用いた処理について説明する。なお、建物３０以外の被写体の場合についても同様に動作する。
【００４１】
ＣＰＵ１９は、ユーザによる操作部材２３の電源釦操作により、電源投入指示を受け付け、デジタルカメラの電源を投入する。ＣＰＵ１９は、デジタルカメラを初期化する。ＣＰＵ１９は、撮像素子１２に３０ｆｐｓなどのフレームレートでスルー画像を撮像させ、モニタ１６にそのスルー画像を表示させる。ＣＰＵ１９は、ステップＳ１０１からの処理を開始する。
【００４２】
ステップＳ１０１：ＣＰＵ１９は、ユーザによってレリーズ釦２４の全押し操作による撮像指示を受け付け、撮像素子１２に、単写モードの静止画モードで、建物３０を撮像させる。画像処理部１４は、ＡＦＥ１３から出力されるデジタル画像信号に対して、各種画像処理を施す。ＣＰＵ１９は、画像処理された画像データを静止画像４０とする画像ファイルを生成する。ＣＰＵ１９は、静止画像４０の画像ファイルを記憶媒体１８などに記録する。
【００４３】
なお、本実施形態のＣＰＵ１９は、情報付加手段として、画像ファイルの生成にあたり、露光条件などとともに、ＡＦ領域の情報やレンズ駆動部（不図示）のよる撮像光学系１１のレンズ移動量などの撮像情報を書き込んだ、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠したメタデータを画像ファイルのヘッダ領域に付加する。
【００４４】
ステップＳ１０２：ＣＰＵ１９は、ユーザによる操作部材２３やタッチパネル２５の操作に基づいて、撮影モードから疑似３次元モードへの設定変更指示を受け付ける。ＣＰＵ１９は、ステップＳ１０１において撮像した静止画像４０の画像ファイルを記憶媒体１８などから読み込む。なお、ＣＰＵ１９は、画像処理部１４に、特徴量抽出部２０などによる処理を行い易くするために、読み込んだ静止画像４０に対し、予め収差補正したり、輝度、コントラスト、色相などを調整したりすることが好ましい。
【００４５】
ステップＳ１０３：特徴量抽出部２０は、ステップＳ１０２で読み込んだ静止画像４０に対して、公知の頂点抽出処理やエッジ抽出処理などを適用し、建物３０の頂点およびエッジ量を抽出する。
【００４６】
ステップＳ１０４：形状取得部２１は、ステップＳ１０３で抽出された建物３０の頂点３１ａ〜３１ｆおよびエッジ量を用いて、建物３０を形成する面を求める。具体的に、形状取得部２１は、例えば、特徴量抽出部２０が抽出した頂点３１ａと３１ｂとを結ぶエッジ量の分布から輪郭３２ａを求める。同様にして、形状取得部２１は、他の輪郭３２ｂ〜３２ｇを求める。形状取得部２１は、頂点３１ａ〜３１ｆと輪郭３２ａ〜３２ｇとの配置に基づいて、建物３０を形成する面３３、３４とその配置を求める。
【００４７】
ステップＳ１０５：画像抽出部２２は、静止画像４０から面３３、３４の画像領域における部分画像をそれぞれ抽出し、真正面から見た場合の基準画像データに変換する（図５）。ＣＰＵ１９は、面３３、３４の基準画像データを内部メモリ（不図示）に一時的に記録する。
【００４８】
ステップＳ１０６：形状取得部２１は、ステップＳ１０４で求めた頂点３１ａ〜３１ｆおよび面３３、３４と、基本図形の図形情報とに基づいて、建物３０の立体形状を求める。すなわち、形状取得部２１は、建物３０の頂点３１ａ〜３１ｆおよび面３３、３４の配置に基づいて、基本図形、例えば、図４に示す三角柱５０（点線）の縦、横、高さの比を変えたり、拡大縮小やシフト、回転させたりして変形し、三角柱５０において評価関数による最大出力の類似度の値が得られるまで建物３０への合わせ込みを行う。形状取得部２１は、最大出力の類似度の値が得られた時点の三角柱５０の縦、横、高さの比、拡大率（または縮小率）、シフト量、回転角などを内部メモリ（不図示）に記録する。
【００４９】
なお、本実施形態形では、建物３０を一方向から撮像した１枚の静止画像４０のみで行うことから、建物３０の背後の形状は不明である。そこで、本実施形態の形状取得部２１は、建物３０の背後の形状は不明のままにして、頂点３１ａ〜３１ｆおよび面３３、３４のみに基づき、各基本図形を建物３０に合わせ込む。
【００５０】
ステップＳ１０７：形状取得部２１は、複数の基本図形のうち、ステップＳ１０６で求めた類似度の値が大きい順に、複数の基本図形を、建物３０の立体形状の候補として、図６に示すようにモニタ１６に表示する。なお、図６では、類似度の値が大きい方から４つの基本図形Ａ〜Ｄを表示させる場合の一例を示すが、４つ以外の数の基本図形を表示してもよい。
【００５１】
ステップＳ１０８：ＣＰＵ１９は、操作部材２３やタッチパネル２５を介して、ユーザから基本図形Ａ〜Ｄの中から１つを選択する制御信号を受け付け、形状取得部２１は、選択された基本図形が建物３０の立体形状であるとする。ＣＰＵ１９は、選択された基本図形の図形情報に基づいて、建物３０の３次元ＣＡＤやＣＧのオブジェクトファイルなどを生成する。ＣＰＵ１９は、生成したオブジェクトファイルを記憶媒体１８などに記憶し、一連の処理を終了する。
【００５２】
なお、形状取得部２１は、上記ファイルを生成するにあたり、画像抽出部２２により抽出された面３３、３４の基準画像データを含ませてもよい。これにより、例えば、ユーザは建物３０のＣＧ画像を容易に作成することができる。
【００５３】
また、ＣＰＵ１９は、静止画像４０に付加された撮像情報のうち、ＡＦ領域の情報やレンズ駆動部（不図示）のよる撮像光学系１１のレンズ移動量などに基づいて、建物３０の大きさ（例えば、輪郭３２ａ〜３２ｇの長さ）を算出し、形状取得部２１は、建物３０の大きさ情報もオブジェクトファイルなどに含ませてもよい。つまり、例えば、お店で見かけた家具や冷蔵庫を被写体として撮像し、３次元ＣＡＤやＣＧのオブジェクトファイルなどを生成することにより、ユーザは、バーチャル空間における自身の部屋やキッチンに家具や冷蔵庫を適切な縮尺で容易に配置することができ、実際に購入して配置した際の雰囲気などを確かめることができる。
【００５４】
このように、本実施形態では、被写体の画像特徴量に基づいて、基本図形を被写体に合わせ込み、最も類似した基本図形を被写体の立体形状とすることにより、たとえ１枚の静止画像のみを用いる場合でも、少ない計算量で被写体の立体形状を容易に取得することができる。
【００５５】
また、被写体の立体形状の３次元ＣＡＤやＣＧなどのオブジェクトファイルが、最も類似した基本図形の図形情報に基づいて容易に生成できる。
《他の実施形態》
本発明の他の実施形態に係るデジタルカメラは、図１に示す一の実施形態に係るデジタルカメラと同一である。したがって、本実施形態のデジタルカメラを構成する各構成要素について、同じ符号を付し詳細な説明は省略する。
【００５６】
一方、本実施形態に係るデジタルカメラと一の実施形態に係るものとの相違点は、形状取得部２１が、（１）被写体の立体形状を複数の静止画像を用いて求め、（２）各画像に撮像された被写体を形成する各面の配置関係を、基準画像データに基づいて求めることにある。
【００５７】
そこで、図７のフローチャートを参照しつつ、本実施形態のデジタルカメラによる処理動作について説明する。なお、本実施形態では、複数の静止画像とは２つの静止画像であり、被写体は一の実施形態と同じ図３に示す建物３０であるとする。
【００５８】
ＣＰＵ１９は、ユーザによる操作部材２３の電源釦操作により、電源投入指示を受け付け、デジタルカメラの電源を投入する。ＣＰＵ１９は、デジタルカメラを初期化する。ＣＰＵ１９は、撮像素子１２に３０ｆｐｓなどのフレームレートでスルー画像を撮像させ、モニタ１６にそのスルー画像を表示させる。ＣＰＵ１９は、ステップＳ２０１からの処理を開始する。
【００５９】
ステップＳ２０１：ＣＰＵ１９は、ユーザによってレリーズ釦２４の全押し操作による撮像指示を２回受け付け、撮像素子１２に、単写モードの静止画モードで、建物３０を２回撮像させる。画像処理部１４は、撮像ごとにＡＦＥ１３から出力されるデジタル画像信号に対して、各種画像処理を施す。ＣＰＵ１９は、画像処理された画像データを静止画像としてデータ領域に書き込み、露光条件などとともに、ＡＦ領域の情報やレンズ駆動部（不図示）のよる撮像光学系１１のレンズ移動量などの撮像情報を書き込んだＥｘｉｆ規格に準拠したメタデータをヘッダ領域に付加した画像ファイルを生成する。ＣＰＵ１９は、生成した２つの画像ファイルを記憶媒体１８などに記録する。
【００６０】
図８は、２つの静止画像６０、６５の一例を示す。２つの静止画像６０、６５は、建物３０を互いに異なる２つの方向から撮像したものである。すなわち、静止画像６０は、図３と同じ方向で建物３０を斜め上方からの撮像されたものであり、静止画像６５は、静止画像６０とは１８０°反対の方向で建物３０を斜め上方からの撮像したものである。
【００６１】
ステップＳ２０２：ＣＰＵ１９は、一の実施形態のステップＳ１０２と同様に、ユーザによる操作部材２３やタッチパネル２５の操作に基づいて、撮影モードから疑似３次元モードへの設定変更指示を受け付ける。ＣＰＵ１９は、ステップＳ２０１において撮像した静止画像６０、６５の画像ファイルを記憶媒体１８などから読み込む。
【００６２】
ステップＳ２０３：特徴量抽出部２０は、ステップＳ２０２で読み込んだ静止画像６０、６５に対して、公知の頂点抽出処理やエッジ抽出処理などをそれぞれ適用し、建物３０の頂点およびエッジ量を抽出する。
【００６３】
ステップＳ２０４：形状取得部２１は、一の実施形態のステップＳ１０４と同様に、静止画像６０から抽出された建物３０の頂点７０ａ〜７０ｇおよびエッジ量を用いて、建物３０を形成する面６１〜６３とその配置を求める。同様に、形状取得部２１は、静止画像６５から抽出された建物３０の頂点７５ａ〜７５ｇおよびエッジ量を用いて、面６６〜６８とその配置を求める。
【００６４】
ステップＳ２０５：画像抽出部２２は、静止画像６０、６５から面６１〜６３、６６〜６８の画像領域における部分画像をそれぞれ抽出し、真正面から見た場合の基準画像データに変換する。ＣＰＵ１９は、面６１〜６３、６６〜６８の基準画像データを内部メモリ（不図示）に一時的に記録する。
【００６５】
ステップＳ２０６：形状取得部２１は、静止画像６０における建物３０の面６１〜６３と静止画像６５における面６６〜６８との配置関係を、各面の基準画像データに基づいて求める。例えば、形状取得部２１は、静止画像６０の面６１と静止画像６５の面６６との基準画像データで相関処理を施し、面６１と面６６とが同一の面か否かを判定する。図８に示すように、形状取得部２１は、屋根に相当する面６３と面６８とは同じ面と判定し、面６１、６２、６６、６７は異なる面であると判定する。形状取得部２１は、この判定結果に基づいて、建物３０の面６３（６８）の周りに、各面６１、６２、６６、６７がそれぞれ配置されることを求める。
【００６６】
ステップＳ２０７：形状取得部２１は、ステップＳ２０６で求めた頂点７０ａ〜７０ｇ、７５ａ〜７５ｇおよび面６１〜６３、６６〜６８の配置と、基本図形の図形情報とに基づいて、建物３０の立体形状を求める。すなわち、形状取得部２１は、一の実施形態のステップＳ１０６と同様に、建物３０の頂点７０ａ〜７０ｇ、７５ａ〜７５ｇおよび面６１〜６３、６６〜６８の配置に基づいて、各基本図形をその縦、横、高さの比を変えたり、拡大縮小やシフト、回転させたりして変形し、各基本図形において評価関数による最大出力の類似度の値が得られるまで建物３０への合わせ込みを行う。
【００６７】
ステップＳ２０８：形状取得部２１は、一の実施形態のステップＳ１０７と同様に、複数の基本図形のうち、ステップＳ２０７で求めた類似度の値が大きい順に、複数の基本図形を、建物３０の立体形状の候補として、図６に示すようにモニタ１６に表示する。
【００６８】
ステップＳ２０９：ＣＰＵ１９は、操作部材２３やタッチパネル２５を介して、ユーザから複数の候補の基本図形の中から１つを選択する制御信号を受け付け、形状取得部２１は、選択された基本図形が建物３０の立体形状であるとする。ＣＰＵ１９は、選択された基本図形の図形情報に基づいて、建物３０の３次元ＣＡＤやＣＧのオブジェクトファイルなどを生成する。ＣＰＵ１９は、生成したオブジェクトファイルなどを記憶媒体１８などに記憶し、一連の処理を終了する。
【００６９】
なお、形状取得部２１は、例えば、ステップＳ２０６において、各面６１、６２、６３（６８）、６６、６７の位置関係に基づいて、建物３０の立体形状が直方体であると判定した場合、直方体の基本図形のみで建物３０に合わせ込み、ステップＳ２０８の処理とステップＳ２０９のユーザによる選択とを省略してもよい。
【００７０】
このように、本実施形態では、被写体の画像特徴量に基づいて、被写体に基本図形を合わせ込み、最も類似した基本図形を被写体の立体形状とすることにより、少ない計算量で被写体の立体形状を容易に取得することができる。
【００７１】
また、複数の画像に基づいて被写体の立体形状を求める場合でも、画像間の位置合わせを行うことなく、単に面の部分画像に基づいて、異なる画像に撮像された面が互いに同一の面か否かを判定するだけで、被写体の立体形状を求めることができる。
【００７２】
また、被写体の立体形状の３次元ＣＡＤやＣＧなどのオブジェクトファイルが、最も類似した基本図形の図形情報に基づいて容易に生成できる。
《実施形態の補足事項》
（１）上記実施形態では、特徴量抽出部２０、形状取得部２１、画像抽出部２２の各処理を、ＣＰＵ２０がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。
【００７３】
（２）本発明の画像処理装置は、上記実施形態のデジタルカメラの例に限定されない。例えば、画像をコンピュータに読み込ませ、コンピュータに画像処理のプログラムを実行させることにより、コンピュータを本発明の画像処理装置として機能させてもよい。
【００７４】
また、上記コンピュータをネットワーク上に配置し、ネットワークを介して外部のユーザから送信された画像を受信して、その画像に撮像された被写体の立体形状を求め、その結果を３次元ＣＡＤやＣＧのオブジェクトファイルなどとして、上記外部のユーザに送り返すオンラインサービスに対しても、本発明は適用可能である。なお、この場合、外部のユーザより送信される画像には、露出条件とともに、ＡＦ領域の情報やレンズ駆動部（不図示）のよる撮像光学系１１のレンズ移動量などの撮像情報が付加されていることが好ましい。
【００７５】
（３）上記実施形態では、静止画像を用いて被写体の立体形状を求めたが、本発明はこれに限定されず、スルー画像や動画を用いてもよい。
【００７６】
（４）上記実施形態では、図３または図８に示す静止画像の建物３０は、少なくとも２面が撮像されていたが、本発明はこれに限定されず、１面だけ撮像されていてもよい。
【００７７】
（５）上記実施形態では、ステップＳ１０７またはステップＳ２０８において、類似度の値が大きい順に、被写体の立体形状の候補となる基本図形をモニタ１６に表示したが、本発明はこれに限定されない。例えば、形状取得部２１は、類似度の値が最も大きい基本図形を被写体の立体形状とし、その基本図形のみをモニタ１６に表示してもよい。
【００７８】
（６）上記実施形態では、被写体に１つの基本図形で合わせ込んだが、本発明はこれに限定されず、２以上の基本図形の組み合わせを用いて合わせ込み、被写体の立体形状を求めてもよい。
【００７９】
例えば、形状取得部２１は、建物３０の窓や看板のロゴマークなどを模様としてではなく、建物３０の構成要素として円や長方形などの基本図形で合わせ込み、対応する面に貼り付けてもよい。
【００８０】
また、例えば、図９に示すように、建物３０に円柱状の塔が屋根に追加配置された建物３０’を撮像した静止画像８０の場合、形状取得部２１は、建物３０’の上部の塔と下部の建物との部分に分けて、それぞれの部分について基本図形による合わせ込みを行ってもよい。
【００８１】
あるいは、形状取得部２１は、上記実施形態と同様に、まず１つの基本図形で建物３０’の大枠で合わせ込みを行う。ステップＳ１０７やステップＳ２０８において、ＣＰＵ１９は、ユーザにより１つの基本図形が選択された時、例えば、モニタ１６に「より詳細に合わせ込みますか？」などのメッセージのダイアログを表示する。ユーザにより上記メッセージに同意する制御信号を操作部材２３またはタッチパネル２５を介して受け付けた場合、ＣＰＵ１９は、ステップＳ１０６またはステップＳ２０７へ移行する。形状取得部２１は、上記選択された基本図形で建物３０’を合わせ込んだ場合、類似度が小さくなる塔の部分は別の基本図形から構成されると判断し、上部の塔と下部の建物との部分に分ける。形状取得部２１は、それぞれの部分ついて基本図形による合わせ込みを再度行ってもよい。なお、下部の建物については最初に選択された基本図形で合わせ込まれるのが好ましい。
【００８２】
また、形状取得部２１は、建物３０’の立体形状の候補の表示の順番として、例えば、それぞれの部分について合わせ込んだ基本図形における類似度の値の和が大きい組み合わせの順に表示することが好ましい。
【００８３】
（７）上記実施形態では、ＣＰＵ１９は、選択された基本図形の図形情報に基づいて、被写体の３次元ＣＡＤやＣＧのオブジェクトファイルなどを生成したが、本発明はこれに限定されない。例えば、ＣＰＵ１９は、任意の視点方向から被写体を投影した画像ファイルを、選択された基本図形に基づいて生成してもよい。
【００８４】
（８）上記実施形態では、撮像されなかった被写体の背後の形状を不明のままにして、被写体の頂点および輪郭や面の配置に基づき、基本図形を合わせ込んだが、本発明はこれに限定されない。例えば、形状取得部２１は、被写体の頂点および輪郭や面の配置に応じて、いずれの基本図形がユーザにより選択されたり、選択される傾向にあるかの情報を記録することにより、たとえ被写体の背後の形状が不明であっても、類似度とともに上記情報に基づいて、より最適な基本図形を被写体の立体形状の候補としてモニタ１６に表示してもよい。
【００８５】
（９）上記実施形態では、被写体の大きさ情報を、撮像情報であるＡＦ領域の情報やレンズ駆動部（不図示）のよる撮像光学系１１のレンズ移動量などに基づいて求めたが、本発明はこれに限定されず、操作部材２３やタッチパネル２５を介して、ユーザにより入力された値を被写体の大きさ情報としてもよい。
【００８６】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００８７】
１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…画像処理部、１５…メモリ、１６…モニタ、１７…記録Ｉ／Ｆ、１８…記憶媒体、１９…ＣＰＵ、２０…特徴量抽出部、２１…形状取得部、２２…画像抽出部、２３…操作部材、２４…レリーズ釦、２５…タッチパネル
【図１】
2013206035.tif 000003
【図２】
2013206035.tif 000004
【図３】
2013206035.tif 000005
【図４】
2013206035.tif 000006
【図５】
2013206035.tif 000007
【図６】
2013206035.tif 000008
【図７】
2013206035.tif 000009
【図８】
2013206035.tif 000010
【図９】
2013206035.tif 000011