(57)【要約】【課題】同一被写体を撮影して得られた複数の撮影画像同士を対応付ける処理において、多くのパラメータを調整することなく、様々な解像度の撮影画像に対して適切な対応特徴点を得るとともに、処理時間を短縮させる。【解決手段】同一の被写体を撮影して得られた複数の撮影画像（画像１、画像２）の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理では、処理対象の複数の撮影画像の各々を同一の縮小比率（例えば、１／２）で縮小し、その縮小された各撮影画像から特徴点を抽出し、抽出された各撮影画像の特徴点同士を対応付ける。そして、対応付けられた特徴点が、縮小前の撮影画像のどの位置に対応するのかを関連付ける処理を行うことによって、元のサイズの撮影画像（画像１、画像２）の特徴点同士を対応付ける。【選択図】図５
2006293602.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理方法において、
前記複数の撮影画像の各々を同一の縮小比率で縮小する縮小工程と、
前記縮小された各撮影画像から特徴点を抽出する抽出工程と、
前記抽出された各撮影画像の特徴点同士を対応付ける対応付け工程と、
前記対応付けられた特徴点が、元のサイズの撮影画像のどの位置に対応するのかを関連付ける関連付け工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
前記縮小工程における縮小処理は複数段階からなることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記関連付け工程は、複数段階の関連付け処理からなり、前記縮小工程における途中段階の撮影画像への関連付け処理を経て、元のサイズの撮影画像への関連付けが行われることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記縮小工程における１段階の縮小処理の縮小比率は１／２又は１／２の累乗であり、
前記関連付け工程では、１段階の関連付け処理で、２倍又は２の累乗倍の画像サイズの撮影画像との関連付けが行われることを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
【請求項５】
前記関連付け工程では、前記対応付けられた対応特徴点候補の間で、画像データの一致度合いを評価することにより対応特徴点が得られることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
【請求項６】
前記関連付け工程では、前記対応付けられた対応特徴候補の間で、近傍領域のデータ相関性を評価することにより対応特徴点が得られることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
【請求項７】
前記関連付け工程では、前記対応付けられた対応特徴点候補の間で、各々の画素データの近傍画素に対する特異性を評価することにより対応特徴点が得られることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
【請求項８】
処理対象の撮影画像の画像サイズに応じて、当該撮影画像に対する縮小比率及び／又は縮小回数を決定する決定工程を含み、
前記縮小工程では、前記決定された縮小比率及び／又は縮小回数の縮小処理が行われることを特徴とする請求項１〜７の何れか一項に記載の画像処理方法。
【請求項９】
処理対象の撮影画像の空間周波数成分を解析する解析工程と、
前記解析工程における解析結果に基づいて、前記撮影画像に対する縮小比率及び／又は縮小回数を決定する決定工程と、を含み、
前記縮小工程では、前記決定された縮小比率及び／又は縮小回数の縮小処理が行われることを特徴とする請求項１〜７の何れか一項に記載の画像処理方法。
【請求項１０】
同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理装置において、
前記複数の撮影画像の各々を同一の縮小比率で縮小する縮小手段と、
前記縮小された各撮影画像から特徴点を抽出する抽出手段と、
前記抽出された各撮影画像の特徴点同士を対応付ける対応付け手段と、
前記対応付けられた特徴点が、元のサイズの撮影画像のどの位置に対応するのかを関連付ける関連付け手段と、
を備えることを特徴とする画像処理装置。
【請求項１１】
前記縮小手段による縮小処理は複数段階からなることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記関連付け手段は、複数段階の関連付け処理からなり、前記縮小手段による途中段階の撮影画像への関連付け処理を経て、元のサイズの撮影画像への関連付けを行うことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記縮小手段による１段階の縮小処理の縮小比率は１／２又は１／２の累乗であり、
前記関連付け手段は、１段階の関連付け処理で、２倍又は２の累乗倍の画像サイズの撮影画像との関連付けを行うことを特徴とする請求項１０〜１２の何れか一項に記載の画像処理装置。
【請求項１４】
前記関連付け手段は、前記対応付けられた対応特徴点候補の間で、画像データの一致度合いを評価することにより対応特徴点を得ることを特徴とする請求項１０〜１３の何れか一項に記載の画像処理装置。
【請求項１５】
前記関連付け手段は、前記対応付けられた対応特徴候補の間で、近傍領域のデータ相関性を評価することにより対応特徴点を得ることを特徴とする請求項１０〜１３の何れか一項に記載の画像処理装置。
【請求項１６】
前記関連付け手段は、前記対応付けられた対応特徴点候補の間で、各々の画素データの近傍画素に対する特異性を評価することにより対応特徴点を得ることを特徴とする請求項１０〜１３の何れか一項に記載の画像処理装置。
【請求項１７】
処理対象の撮影画像の画像サイズに応じて、当該撮影画像に対する縮小比率及び／又は縮小回数を決定する決定手段を備え、
前記縮小手段は、前記決定された縮小比率及び／又は縮小回数の縮小処理を行うことを特徴とする請求項１０〜１６の何れか一項に記載の画像処理装置。
【請求項１８】
処理対象の撮影画像の空間周波数成分を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記撮影画像に対する縮小比率及び／又は縮小回数を決定する決定手段と、を備え、
前記縮小手段は、前記決定された縮小比率及び／又は縮小回数の縮小処理を行うことを特徴とする請求項１０〜１６の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像を対応付けるための画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
同一の被写体を撮影して得られた複数の撮影画像（例えば、時系列的な撮影で得られた画像、異なる複数の撮影位置の撮影で得られた画像など）同士を対応付けることにより、被写体の動き、３次元形状等を求めることができる。例えば、特許文献１では、時系列的の撮影で得られた画像の各々から、対応付けの候補となる特徴点を抽出し、局所空間フィルタ等の前処理を施した後、当該特徴点とその近傍画素データとの相関を計算することにより、各撮影画像同士を対応付ける技術が開示されている。
【特許文献１】特開２０００−２５９８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特徴点の抽出処理及び特徴点の対応付け処理は、撮影画像の解像度の影響を受けるパラメータを多数有しているため、様々な解像度の撮影画像に対して同一条件でこれらの処理を行っても、多数のパラメータを調整しない限り、適切な結果を得ることができないという問題があった。また、処理対象の撮影画像のサイズが大きくなればなるほど、特徴点抽出処理及び対応付け処理に関する処理負荷が大きくなり、膨大な処理時間を要するという問題があった。
【０００４】
本発明の課題は、同一被写体を撮影して得られた複数の撮影画像同士を対応付ける処理において、多数のパラメータを調整することなく、様々な解像度の撮影画像に対して適切な対応特徴点を得るとともに、処理時間を短縮させることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、請求項１に記載の発明は、同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理方法において、
前記複数の撮影画像の各々を同一の縮小比率で縮小する縮小工程と、
前記縮小された各撮影画像から特徴点を抽出する抽出工程と、
前記抽出された各撮影画像の特徴点同士を対応付ける対応付け工程と、
前記対応付けられた特徴点が、元のサイズの撮影画像のどの位置に対応するのかを関連付ける関連付け工程と、を含むことを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記縮小工程における縮小処理は複数段階からなることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項２に記載の画像処理方法において、前記関連付け工程は、複数段階の関連付け処理からなり、前記縮小工程における途中段階の撮影画像への関連付け処理を経て、元のサイズの撮影画像への関連付けが行われることを特徴としている。
【０００８】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理方法において、前記縮小工程における１段階の縮小処理の縮小比率は１／２又は１／２の累乗であり、
前記関連付け工程では、１段階の関連付け処理で、２倍又は２の累乗倍の画像サイズの撮影画像との関連付けが行われることを特徴としている。
【０００９】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理方法において、前記関連付け工程では、前記対応付けられた対応特徴点候補の間で、画像データの一致度合いを評価することにより対応特徴点が得られることを特徴としている。
【００１０】
請求項６に記載の発明は、請求項１〜４の何れか一項に記載の画像処理方法において、前記関連付け工程では、前記対応付けられた対応特徴候補の間で、近傍領域のデータ相関性を評価することにより対応特徴点が得られることを特徴としている。
【００１１】
請求項７に記載の発明は、請求項１〜４の何れか一項に記載の画像処理方法において、前記関連付け工程では、前記対応付けられた対応特徴点候補の間で、各々の画素データの近傍画素に対する特異性を評価することにより対応特徴点が得られることを特徴としている。
【００１２】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理方法において、処理対象の撮影画像の画像サイズに応じて、当該撮影画像に対する縮小比率及び／又は縮小回数を決定する決定工程を含み、
前記縮小工程では、前記決定された縮小比率及び／又は縮小回数の縮小処理が行われることを特徴としている。
【００１３】
請求項９に記載の発明は、請求項１〜７の何れか一項に記載の画像処理方法において、処理対象の撮影画像の空間周波数成分を解析する解析工程と、
前記解析工程における解析結果に基づいて、前記撮影画像に対する縮小比率及び／又は縮小回数を決定する決定工程と、を含み、
前記縮小工程では、前記決定された縮小比率及び／又は縮小回数の縮小処理が行われることを特徴としている。
【００１４】
請求項１０に記載の発明は、同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理装置において、
前記複数の撮影画像の各々を同一の縮小比率で縮小する縮小手段と、
前記縮小された各撮影画像から特徴点を抽出する抽出手段と、
前記抽出された各撮影画像の特徴点同士を対応付ける対応付け手段と、
前記対応付けられた特徴点が、元のサイズの撮影画像のどの位置に対応するのかを関連付ける関連付け手段と、を備えることを特徴としている。
【００１５】
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記縮小手段による縮小処理は複数段階からなることを特徴としている。
【００１６】
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、前記関連付け手段は、複数段階の関連付け処理からなり、前記縮小手段による途中段階の撮影画像への関連付け処理を経て、元のサイズの撮影画像への関連付けを行うことを特徴としている。
【００１７】
請求項１３に記載の発明は、請求項１０〜１２の何れか一項に記載の画像処理装置において、前記縮小手段による１段階の縮小処理の縮小比率は１／２又は１／２の累乗であり、
前記関連付け手段は、１段階の関連付け処理で、２倍又は２の累乗倍の画像サイズの撮影画像との関連付けを行うことを特徴としている。
【００１８】
請求項１４に記載の発明は、請求項１０〜１３の何れか一項に記載の画像処理装置において、前記関連付け手段は、前記対応付けられた対応特徴点候補の間で、画像データの一致度合いを評価することにより対応特徴点を得ることを特徴としている。
【００１９】
請求項１５に記載の発明は、請求項１０〜１３の何れか一項に記載の画像処理装置において、前記関連付け手段は、前記対応付けられた対応特徴候補の間で、近傍領域のデータ相関性を評価することにより対応特徴点を得ることを特徴としている。
【００２０】
請求項１６に記載の発明は、請求項１０〜１３の何れか一項に記載の画像処理装置において、前記関連付け手段は、前記対応付けられた対応特徴点候補の間で、各々の画素データの近傍画素に対する特異性を評価することにより対応特徴点を得ることを特徴としている。
【００２１】
請求項１７に記載の発明は、請求項１０〜１６の何れか一項に記載の画像処理装置において、処理対象の撮影画像の画像サイズに応じて、当該撮影画像に対する縮小比率及び／又は縮小回数を決定する決定手段を備え、
前記縮小手段は、前記決定された縮小比率及び／又は縮小回数の縮小処理を行うことを特徴としている。
【００２２】
請求項１８に記載の発明は、請求項１０〜１６の何れか一項に記載の画像処理装置において、処理対象の撮影画像の空間周波数成分を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記撮影画像に対する縮小比率及び／又は縮小回数を決定する決定手段と、を備え、
前記縮小手段は、前記決定された縮小比率及び／又は縮小回数の縮小処理を行うことを特徴としている。
【発明の効果】
【００２３】
本発明によれば、同一被写体を撮影して得られた複数の撮影画像同士を対応付ける処理において、多くのパラメータを調整することなく、様々な解像度の撮影画像に対して適切な対応特徴点を得るとともに、処理時間を短縮させることが可能となる。
【発明を実施するための最良の形態】
【００２４】
図１に、本発明の実施形態に係る画像処理装置１００の構成を示す。画像処理装置１００は、図１に示すように、画像入力部１、画像縮小部２、特徴点抽出部３、対応特徴点判定部４、解像度間関連付け部５、対応特徴点出力部６、画像解析部７、条件パラメータ設定部８により構成される。
【００２５】
画像入力部１は、被写体の撮影により得られた撮影画像を取得し、特徴点抽出部２及び画像解析部５に出力する。本実施形態において画像入力部１に入力される画像は、同一の被写体を撮影して得られた複数の撮影画像であるものとする。この複数の撮影画像としては、時系列的な撮影（例えば、動画撮影、連写撮影）で得られた画像、異なる複数の撮影位置で同時に撮影して得られた画像などがある。また、画像入力部１での撮影画像の取得方法（入力方法）としては、所定の通信ネットワークを介して外部に接続された装置から取得する方法、有線又は無線接続されたデジタルカメラ等の撮影装置から取得する方法、記録メディア（ＣＤ−Ｒ、メモリーカード等）に記録された撮影画像を読み込む方法などがある。
【００２６】
画像縮小部２は、条件パラメータ設定部８で設定された条件パラメータ（縮小比率及び／又は縮小回数）に基づいて、画像入力部１から入力された撮影画像に対し縮小処理を施す。図２に、縮小比率１／２の縮小処理の一例を示す。ｎx×ｎy画素の撮影画像を１／２サイズに縮小する場合、図２に示すように、２×２画素分のデータの平均値を１画素分のデータとすることにより、（ｎx／２）×（ｎy／２）画素に縮小された撮影画像が得られる。
【００２７】
特徴点抽出部３は、条件パラメータ設定部６で設定された条件パラメータに基づいて、画像縮小部２で縮小された各撮影画像から特徴点を抽出し、抽出結果を対応特徴点判定部４に出力する。具体的に、特徴点抽出部３は、撮影画像から周波数変換処理等により輪郭線（エッジ情報）を抽出し、その輪郭線を太さが１の線画に細線化し、得られた細線を解析して幾何学的特異点（端点、折点、分岐点、交差点（図８参照））を検出することにより特徴点を抽出する。
【００２８】
対応特徴点判定部４は、条件パラメータ設定部８で設定された条件パラメータに基づいて、画像縮小部２で縮小処理が施された各撮影画像に対し、被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値、色情報、連結数、近傍特徴点との位置関係を評価し、これらの評価結果（評価情報）に基づいて対応特徴点があるか否かを判定する（図６〜図１５参照）。そして、対応特徴点があると判定された場合、該当する対応特徴点候補を対応特徴点として決定し、決定された対応特徴点の情報を解像度間関連付け部５に出力する。
【００２９】
解像度間関連付け部５は、対応特徴点判定部４で決定された対応特徴点が、縮小前の撮影画像のどの位置に対応するのかを関連付ける処理を行うことによって、元のサイズの撮影画像の対応特徴点を決定し（図５参照）、決定された対応特徴点の情報を対応特徴点出力部７に出力する。例えば、画像縮小部２において縮小処理がｎ回行われた場合、対応特徴点の関連付け処理をｎ回施すと、元のサイズの撮影画像の対応特徴点が算出される。
【００３０】
対応特徴点出力部６は、解像度間関連付け部５から入力された対応特徴点の情報を画像条件パラメータ設定部８及び／又は外部に接続された装置（例えば、パーソナルコンピュータ等）に出力する。
【００３１】
画像解析部７は、処理対象の撮影画像の画像サイズ、空間周波数成分の分布状況を解析し、解析結果を条件パラメータ設定部８に出力する。撮影画像の空間周波数成分の分布は、撮影画像に対してフーリエ変換を施すことにより求めることができる。図３（ａ）に示すように、空間周波数分布より、ピーク周波数又は分布の重心である中心周波数が定められる。撮影画像を１／ｎ（ｎ＞１）に縮小する場合、周波数はｎ倍になるため、図３（ｂ）に示すように、空間周波数分布がシフトする。
【００３２】
条件パラメータ設定部８は、画像解析部７の解析結果及び／又は対応特徴点出力部６から出力された対応特徴点の情報に基づいて、画像縮小部２、特徴点抽出部３、対応特徴点判定部４、解像度間関連付け部５での処理に必要な条件パラメータを設定する。また、ユーザにより設定されたパラメータを条件パラメータとしてもよい。
【００３３】
具体的に、条件パラメータ設定部８は、画像縮小部２での縮小処理に必要な条件パラメータとして縮小比率及び／又は縮小回数を設定する。縮小比率及び／又は縮小回数は予め固定された値であってもよいし、処理対象の撮影画像の特性（画像サイズ、空間周波数特性等）に応じて設定するようにしてもよい。
【００３４】
例えば、縮小比率１／２で、画像サイズ範囲を５００００〜２０００００とした場合、２０００×１５００画素サイズの撮影画像が入力されたとき、以下のように２回の縮小処理が行われることになる。
非縮小状態：２０００×１５００＝３００００００画素；
１段階縮小状態：１０００×７５０＝７５００００画素；
２段階縮小状態：５００×３７５＝１８７５００画素．
また、画像サイズ範囲ではなく、画像サイズ最適値を定め、この最適値に最も近くなるな条件を選択するようにしてもよい。
【００３５】
撮影画像の空間周波数特性を用いて条件パラメータを設定する場合、条件パラメータ設定部８は、図３（ｂ）に示すように、画像縮小によってシフトした空間周波数分布と、予め設定された許容周波数範囲或いは最適周波数に基づいて縮小比率及び／又は縮小回数を設定する。同じ画像サイズであっても、被写体の撮影状況（アップでの撮影、遠景の撮影）に応じてエッジ情報が異なるため、空間周波数情報を用いて縮小処理を制御する方が、一層適切に抽出点を抽出することが可能となる。
【００３６】
また、条件パラメータ設定部８は、対応特徴点判定部４における特徴点の対応付け処理に必要な条件パラメータとして、座標値の評価に必要な許容値（ε１）、連結数の評価に必要な許容値（ε２）、色情報の評価に必要な許容値（ε３、ε４）、近傍特徴点との位置関係の評価に必要な許容値（ε５）等を設定する。
【００３７】
次に、本実施形態における動作について説明する。
図４のフローチャートを参照して、画像処理装置１００において実行される特徴点対応付け処理について説明する。図４の処理では、撮影画像に対する縮小比率が予め決まっている場合（縮小比率１／２）の処理について説明する。
【００３８】
まず、本特徴点対応付け処理の処理対象である、同一の被写体を撮影して得られた複数の撮影画像（例えば、露出ブラケット撮影により得られた撮影画像）が入力される（ステップＡ１）。次いで、各撮影画像が１／２のサイズに縮小される（ステップＡ２）。
【００３９】
次いで、ステップＡ２で縮小された撮影画像のサイズが適切な範囲内（予め設定されたサイズ範囲内）（例えば、５００００〜２０００００画素サイズ）にあるか否かが判定される（ステップＡ３）。ステップＡ３において、縮小された撮影画像のサイズが適切な範囲内に入っていないと判定された場合（ステップＡ３；ＮＯ）、ステップＡ２に戻り、各撮影画像のサイズが更に１／２に縮小される。ステップＡ３において、縮小された撮影画像のサイズが適切な範囲内にあると判定された場合（ステップＡ３；ＹＥＳ）、縮小された各撮影画像から特徴点が抽出される（ステップＡ４）。
【００４０】
次いで、縮小された各撮影画像について、被写体の同一点に対応する特徴点同士を対応付ける処理が行われる（ステップＡ５）。ステップＡ５における対応付け処理については、後に図６〜図１５を参照して詳細に説明する。
【００４１】
次いで、撮影画像同士で対応付けられた特徴点が、縮小前の撮影画像（縮小された撮影画像の２倍サイズの撮影画像）のどの位置に対応するのかが関連付けられる（ステップＡ６）。ステップＡ６の関連付け処理については、後に図１６〜図１８を参照して詳細に説明する。
【００４２】
次いで、元のサイズの撮影画像までの関連付け処理が完了したか否かが判定される（ステップＡ７）。ステップＡ７において、元の撮影画像までの関連付け処理が完了していないと判定された場合（ステップＡ７；ＮＯ）、ステップＡ６に戻り、更に関連付け処理が行われる。ステップＡ７において、元の撮影画像までの関連付け処理が終了したと判定された場合（ステップＡ７；ＹＥＳ）、本特徴点対応付け処理が終了する。
【００４３】
図５に、２枚の撮影画像（画像１、画像２）に対して縮小率１/２の縮小処理をｎ回施した場合の特徴点対応付け処理の流れを示す。画像１のサイズを１／２nに縮小した画像から抽出された特徴点と、画像２のサイズを１／２nに縮小した画像から抽出された特徴点とを対応付けさせることにより対応特徴点候補が決定される。そして、対応特徴点候補の関連付け処理をｎ回施すと、元のサイズの撮影画像（画像１及び画像２）の対応特徴点が決定される。
【００４４】
図４のフローチャートでは、予め縮小比率が設定されている場合を示したが、条件パラメータ設定部８において、処理対象の撮影画像の特性（画像サイズ、空間周波数特性等）に応じて縮小比率及び／又は縮小回数を設定して、その設定された縮小比率及び／又は縮小回数に基づいて縮小処理を行うようにしてもよい。
【００４５】
本発明では、基本的に対応づけを行う画像のサイズは同一であることが想定しており、それぞれの画像は同一条件で縮小すればよい。仮に、異なるサイズの画像間で対応づけを行う場合は、一方の画像を拡大または縮小することで画像サイズを揃える前処理を行い、その結果得られる同じサイズの画像同士で本発明による対応づけを行うことすればよい。その場合、前処理による縮小処理と本発明の縮小処理を一体化させて実施してもよい。このような場合も考慮すると、対応づけを行うそれぞれの画像の縮小条件は必ずしも同一でなくてもよい。
【００４６】
〈対応付け処理〉
次に、図４のステップＡ５に示した特徴点の対応付け処理について説明する。対応特徴点判定部４では、被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値、連結数、色情報、近傍特徴点との位置関係が評価され、これらの評価結果（評価情報）に基づいて対応特徴点があるか否かが判定される。
【００４７】
まず、図６を参照して、対応特徴点候補同士の座標値の評価について説明する。以下では、画像２を基準画像とする。図６（ａ）に示すように、画像１の特徴点をＴｉ（ｉ＝１、２、…、ｍ）とし、画像２の特徴点をＳｊ（ｊ＝１、２、…、ｎ）とする。特徴点同士の座標値を評価するには、図６（ｂ）に示すように、ＴｉとＳｊの全ての組み合わせについて、ＴｉとＳｊとの距離を算出すればよい。Ｔｉの座標を（xi,yi）、Ｓｊの座標を（x’j,y’j）とすると、ＴｉとＳｊとの距離Δijは式（１）のように定義される。
【数１】
2006293602.tif 000003
そして、距離Δijが許容値ε１以下である特徴点Ｔｉを、対応特徴点候補を順位付けしたテーブルα（図１２参照）への登録候補とする。
【００４８】
次に、図７〜図９を参照して、連結数の評価について説明する。
上述のように、撮影画像からエッジが抽出され、エッジの細線化で得られた細線の特異点が特徴点として抽出される。図７（ａ）に、撮影画像の一例を示し、図７（ｂ）に、当該撮影画像の細線及び特徴点（図中の白丸）の一例を示す。このようにして抽出された特徴点は、その特徴点に細線が何本集中しているかを表す連結数（order）で分類される。
【００４９】
図８に示すように、細線の端点は連結数＝１、分岐点は連結数＝３、折点（角点）は連結数＝２、交差点は連結数＝４、複合点は連結数＞４である。なお、極めて近接した特徴点同士は１つの特徴点とみなされる。また、図９に示すように、評価対象の連結数（評価連結数）に上限値を設け、実際の連結数（真の連結数）が一定数以上である場合は、上限値（一定数）を評価連結数としてもよい。特徴点ＴｉとＳｊの全ての組み合わせについてＴｉとＳｊの連結数を比較し、双方の連結数の差分（差の絶対値）が許容値ε２以下となる特徴点Ｔｉを、テーブルα（図１２参照）への登録候補とする。
【００５０】
次に、図１０及び図１１を参照して、色情報の評価について説明する。
露出条件の異なる撮影画像を位置合わせするアプリケーションを想定した場合、対応特徴点候補同士の明度情報にはある程度の開きがあることが考えられるため、図１０に示すように、対応特徴点同士の色相のみを評価する方法（図１０（ａ））又は対応特徴点同士の色相及び彩度を評価する方法（図１０（ｂ））を採用する。
【００５１】
色度座標の例としてＬ＊ａ＊ｂ＊を用いる場合、対応特徴点同士の色相のみを評価する方法では、図１０（ａ）に示すように、ＴｉとＳｊの全ての組み合わせについて、ａ＊ｂ＊平面に、対応特徴点候補同士の色度座標をプロットし、各々の色度座標と原点とを結ぶ線がつくる角θ（色相差）を算出し、この色相差θが許容値ε３以下である特徴点Ｔｉを、テーブルα（図１２参照）への登録候補とする。但し、一方の色度座標が、原点との距離が一定値以内のニュートラル領域にある場合、中性色とみなして色相差θが有意ではないものとする。
【００５２】
色度座標の例としてＬ＊ａ＊ｂ＊を用いる場合、対応特徴点同士の色相及び彩度を評価する方法では、図１０（ｂ）に示すように、ＴｉとＳｊの全ての組み合わせについて、ａ＊ｂ＊平面に、対応特徴点候補同士の色度座標をプロットして色度座標間の距離を算出し、この算出された距離が許容値ε４以下となる特徴点Ｔｉを、テーブルα（図１２参照）への登録候補とする。
【００５３】
図１１に、色情報の評価に用いる色情報の算出方法を示す。
通常、デジタルカメラ等で撮影され、現像された画像データのＲＧＢ値は、色空間が規定されている。最も一般的なｓＲＧＢ色空間の場合は、図１１の変換式（１０）を用いて、ＲＧＢデータからＣＩＥ ＸＹＺ空間の色度値に変換される。更に、図１１の変換式（２０）を用いて白色点の色度（観察照明条件）を規定することにより、ＣＩＥ Ｌ＊ａ＊ｂ＊空間の色度値に変換される。
【００５４】
なお、図１０では、評価に用いる色情報としてＬ＊ａ＊ｂ＊を用いる場合を示したが、明度と色情報を分離可能な他の様々な色空間（Ｌ＊ｕ＊ｖ＊、ＨＳＶ、ＨＬＳ、ＹＣｂＣｒ等）を用いるようにしてもよい。
【００５５】
これら３つの評価処理（対応特徴点候補同士の座標値、連結数、色情報の評価）が終了すると、各評価処理での結果（評価情報）に基づいて、テーブルαへの登録候補となった特徴点Ｔｉを順位付けし、順位が上位（例えば、１位〜６位まで）の特徴点がテーブルαに登録されることにより、テーブルαが作成される。例えば、座標ずれ（式（１）の距離Δijの値）が小さく、連結数の差が小さく、色相差θ又は色度座標間の距離が小さくなるほど、テーブルαでの順位は上位となる。
【００５６】
図１２に、画像１と画像２の対応特徴点候補を順位付けしたテーブルαの一例を示す。図１２によると、画像２の特徴点Ｓ１の対応特徴点候補として、画像１の特徴点Ｔ２が最も上位に位置し、画像１の中に、画像２の特徴点Ｓ５に対応する特徴点が存在しないことを示している。
【００５７】
上記３つの評価処理及びテーブルαの作成処理と並行して、各々の撮影画像内の各特徴点について、特徴点から一定距離以内に位置する近傍特徴点（一般に複数）が探索される。次いで、撮影画像同士で、特徴点とその近傍特徴点との位置関係を評価する処理（以下、位置関係評価処理と呼ぶ。）が行われる。
【００５８】
基準画像の特徴点（注目特徴点：Ｓｊ）とその近傍特徴点に対して、それぞれテーブルαに登録された対応特徴点候補（Ｔｉ）が存在する（存在しない場合もある）。位置関係評価処理では、ＳｊとＳｋが近傍関係にある場合、Ｓｊの対応特徴点候補Ｔｉと、Ｓｋの対応特徴点候補Ｔｌの全ての組み合わせ（Ｔｉ、Ｔｌ）について、その位置関係が、基準画像の注目特徴点とその近傍特徴点との位置関係に一致するか否かが判断される。テーブルαの例において、画像２の特徴点Ｓ３とＳ４が近傍関係にあった場合、Ｓ３の対応特徴点候補Ｔ３、Ｔ４、Ｔ１に対して、Ｓ４の対応特徴点候補Ｔ４、Ｔ２があるため、６通りの組み合わせについての位置関係が評価される。
【００５９】
図１３に示すように、基準画像（画像２）の注目特徴点とその近傍特徴点の座標をそれぞれ、（x1,y1）、（x2,y2）とし（図１３（ａ））、注目特徴点の対応特徴点候補とその近傍特徴点の座標をそれぞれ、（x’1,y’1）、（x’2,y’2）とする（図１３（ｂ））。位置関係評価処理では、式（２）に示す評価値が用いられる。
【数２】
2006293602.tif 000004
ここで、Δx＝x2−x1、Δy＝y2−y1、Δx’＝x’2−x’1、Δy’＝y’2−y’1である。又は、デジタル画像の特性に基づき、座標の量子化誤差に考慮して式（２）を調整した式（３）に示す評価値を用いることも可能である。
【数３】
2006293602.tif 000005
【００６０】
位置関係評価処理では、式（２）又は式（３）に示した評価値が許容値ε５以下である場合に、該当する対応特徴点候補の組み合わせについてカウントアップされる。図１４に、対応特徴点候補のカウント情報を表すテーブルβの一例を示す。図１２のテーブルαにおいて、基準画像の特徴点Ｓ３とその近傍特徴点Ｓ４の位置関係と、Ｓ３の対応特徴点候補Ｔ３とその近傍特徴点Ｔ２との位置関係の評価値が許容値ε５以下である場合、図１４のように、該当するテーブル情報がカウントアップ（＋１）される。
【００６１】
テーブルα及びテーブルβが作成されると、テーブルαの順位情報及びテーブルβのカウント情報に基づいて、被写体の同一点に対応する対応特徴点があるか否かが判定され、対応特徴点があると判定された場合、対応特徴点が１点決定される。この対応特徴点の決定方法は、座標ずれによる評価情報と、近傍特徴点との位置関係による評価情報のどちらを優先的に使用するかに応じて２通りに分類される。
【００６２】
座標ずれによる評価情報を優先的に用いる場合、図１５（ａ）に示すように、まず、テーブルβでカウント値が０でない対応特徴点候補が選ばれ、その選ばれた対応特徴点候補のうち、テーブルαで最も上位にある（即ち、座標ずれが最も小さい）対応特徴点候補が対応特徴点として決定される。
【００６３】
近傍特徴点との位置関係による評価情報を優先的に用いる場合、図１５（ｂ）に示すように、テーブルαで登録済みの対応特徴点候補のうち、テーブルβでカウント値が最大である対応特徴点候補が対応特徴点として決定される。
【００６４】
なお、優先的に使用する評価情報は、ユーザによる設定又は状況に応じて切り替え可能である。例えば、特徴点の分布状況の解析やパターンマッチングにより、被写体の動き量及び変形具合等を推定し、例えば、動き量が所定量より小さい場合には、座標ずれによる評価情報（図１２（ａ））を優先的に使用する。
【００６５】
〈関連付け処理〉
次に、図１６〜図１８を参照して、縮小画像の対応特徴点候補が、縮小前画像のどの位置に対応するのかを関連付ける関連付け処理について説明する。
【００６６】
図１６に、関連付け処理の一例を示す。図１６に示すように縮小率が１／２である場合、縮小前画像には、縮小画像の特徴点に対応する候補点が２×２点あり、この４点の候補点の中から最も適切な点が選択されることになる。従って、ｎ枚の撮影画像で関連付け処理を行う場合、関連付けの組み合わせは４n通りある。
【００６７】
２枚の撮影画像（画像１、画像２）で関連付け処理を行う場合、画像１の縮小前画像の４点の対応特徴点候補と、画像２の縮小前画像の４点の対応特徴点候補をそれぞれ突き合わせると、関連付けの組み合わせは１６通りあり、この１６通りの組み合わせの中から、対応特徴点として最適な組み合わせが選択される。実際には、図１７に示すように、画像１の縮小前画像の対応特徴点候補の画素データＩ22及びその近傍画素（８画素）の画素データと、画像２の縮小前画像の対応特徴点候補の画素データＩ’22及びその近傍画素（８画素）の画素データに基づいて、最適な組み合わせが選択される。
【００６８】
２枚の縮小前画像の対応特徴点候補から最適な組み合わせを選択する方法としては、以下の３つの方法の少なくとも一つを採用することができる。
【００６９】
（ａ）第１の方法は、２枚の縮小前画像の対応特徴点候補間で、画像データの一致度合いを評価する方法である。この第１の方法では、画像１の対応特徴点候補及びその近傍画素と、画像２の対応特徴点候補及びその近傍画素とのデータ格差が最小になる組み合わせが選択される。具体的には、１６通りの組み合わせのうち、式（４）に示すΔ1の値が最小となる組み合わせが選択される。
【数４】
2006293602.tif 000006
但し、露出ブラケット撮影の撮影画像間で第１の方法を用いる場合には、対応するデータ補正を行う必要がある。
【００７０】
（ｂ）第２の方法は、２枚の縮小前画像の対応特徴点候補間で、近傍領域のデータ相関性を評価する方法である。具体的には、１６通りの組み合わせのうち、式（５）に示すΔ2の値が最大となる組み合わせが選択される。
【数５】
2006293602.tif 000007
ここでＮは、計算範囲の画素数（図１７の例ではＮ＝３×３）である。
【００７１】
（ｃ）第３の方法は、２枚の縮小画像の対応特徴点候補間で、各々の画素データの近傍画素に対する特異性を評価する方法である。ここで、特異性とは、画像のエッジやピーク的特徴を有するか否かの性質を示しており、空間フィルタの畳み込み演算等により検出することができる。特徴点は特異性を有するはずであり、図１８に示すように、その特異性を検出するための空間フィルタ（例えば、ラプラシアンフィルタ）Ｍ（ｍij、i,j=1,2,3）の畳み込み演算により、その結果が最大となる対応特徴点候補が選択される。
【００７２】
以上のように、本実施形態の画像処理装置１００によれば、同一被写体を撮影して得られた複数の撮影画像同士を対応付ける処理において、多くのパラメータを調整することなく、様々な解像度の撮影画像に対して適切な対応特徴点を得るとともに、処理時間を短縮させることが可能となる。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】画像サイズの縮小を説明するための図。
【図３】撮影画像の空間周波数成分の分布状況を示す図。
【図４】画像処理装置において実行される特徴点対応付け処理を示すフローチャート。
【図５】２枚の撮影画像に対し縮小率１/２の縮小処理をｎ回施した場合の特徴点対応付け処理の流れを示す図。
【図６】画像１と画像２における細線及び特徴点を示す図（ａ）と、画像１の各特徴点と画像２の各特徴点の組み合わせを示す図。
【図７】撮影画像（ａ）と、当該撮影画像のエッジ情報から得られる細線及び特徴点を示す図（ｂ）。
【図８】細線図における特徴点の位置付けを示す図。
【図９】真の（実際の）連結数と、評価連結数（比較評価用の連結数）の関係を示す図。
【図１０】対応する特徴点同士の色相のみを評価する場合（ａ）と、色相及び彩度について評価する場合（ｂ）を説明する図。
【図１１】評価用の色情報の算出方法を示す図。
【図１２】対応特徴点候補を順位付けしたテーブルαを示す図。
【図１３】近傍特徴点同士の位置関係の評価方法を示す図。
【図１４】近傍特徴点同士の位置関係の評価値に基づいて生成されるテーブルβを示す図。
【図１５】対応特徴点の特定方法を示す図。
【図１６】縮小画像と縮小前画像における特徴点の関連付け処理を示す図。
【図１７】２枚の縮小前画像における特徴点の対応付け処理を示す図。
【図１８】図１７の特徴点の対応付け処理において、空間フィルタを用いた場合の特徴点の決定方法を示す図。
【符号の説明】
【００７４】
１  画像入力部
２  画像縮小部
３  特徴点抽出部
４  対応特徴点判定部
５  解像度間関連付け部
６  対応特徴点出力部
７  画像解析部
８  条件パラメータ設定部
１００  画像処理装置
【図１】
2006293602.tif 000008
【図２】
2006293602.tif 000009
【図３】
2006293602.tif 000010
【図４】
2006293602.tif 000011
【図５】
2006293602.tif 000012
【図６】
2006293602.tif 000013
【図７】
2006293602.tif 000014
【図８】
2006293602.tif 000015
【図９】
2006293602.tif 000016
【図１０】
2006293602.tif 000017
【図１１】
2006293602.tif 000018
【図１２】
2006293602.tif 000019
【図１３】
2006293602.tif 000020
【図１４】
2006293602.tif 000021
【図１５】
2006293602.tif 000022
【図１６】
2006293602.tif 000023
【図１７】
2006293602.tif 000024
【図１８】
2006293602.tif 000025