(57)【要約】【課題】同一の被写体を撮影して得られた複数の撮影画像の対応付けにおける信頼性を高める。【解決手段】画像処理装置１００は、同一の被写体を撮影して得られた複数の撮影画像の各々を同一の縮小比率（例えば、1/2）で縮小し、縮小によりサイズが規格化された撮影画像のうち、１枚の画像１から特徴点を抽出する。そして、特徴点が抽出されていない他の画像２について、当該抽出された特徴点に対する対応候補点の領域を設定し、当該領域内の対応候補点毎に、特徴点を含む近傍領域の画像パターンと、対応候補点を含む近傍領域の画像パターンとの適合度を評価し、その適合度が極大となる撮影画像の位置情報に基づいて、画像１から抽出された特徴点に対する画像２における対応点を特定する。【選択図】図８
2007025966.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮影して得られた複数の撮影画像から、当該被写体の同一点に対応する特徴点同士を対応付けるための画像処理方法であって、
前記複数の撮影画像のうちの１枚の撮影画像から特徴点を抽出する特徴点抽出工程と、
特徴点が抽出されていない他の撮影画像の各々について、前記抽出された特徴点に対する対応候補点の領域を設定し、当該領域内の対応候補点毎に、当該特徴点を含む近傍領域の画像パターンと、対応候補点を含む近傍領域の画像パターンとの適合度を評価するパターンマッチング工程と、
前記適合度が極大となる撮影画像の位置情報に基づいて、前記抽出された特徴点に対する前記他の撮影画像における対応点を特定する対応点特定工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
前記複数の撮影画像の各々を同一の縮小比率で縮小する画像サイズ規格化工程を含み、
前記特徴点抽出工程では、画像サイズが縮小された複数のサイズ規格化画像のうち、１枚のサイズ規格化画像から特徴点が抽出され、
前記パターンマッチング工程では、前記１枚のサイズ規格化画像における前記特徴点の近傍領域と、他のサイズ規格化画像における前記対応候補点の近傍領域の画像パターンとの適合度が評価され、
前記対応点特定工程では、前記１枚のサイズ規格化画像から抽出された特徴点に対する前記他のサイズ規格化画像における対応点が特定され、
前記抽出された特徴点及びその対応点が、縮小によるサイズ規格化前の撮影画像のどの位置に対応するのかを関連付ける関連付け工程を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記他の撮影画像に対し、所定の画像変換を施す画像変換工程を含み、
前記パターンマッチング工程では、前記特徴点を抽出する途中過程で得られる画像データと、前記所定の画像変換として、前記途中過程で得られる画像データと同一の処理が施された画像データとの適合度が評価されることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記特徴点抽出工程では、前記途中過程において、前記１枚の撮影画像から特定の色度情報が抽出され、
前記画像変換工程では、前記他の撮影画像から特定の色度情報が抽出され、
前記パターンマッチング工程では、前記特徴点抽出工程の途中過程及び前記画像変換工程の各々において特定の色度情報が抽出された画像データ同士の適合度が評価されることを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記特徴点抽出工程では、前記途中過程において、前記特定の色度情報として、前記１枚の撮影画像の明度情報又は輝度情報が抽出され、
前記画像変換工程では、前記特定の色度情報として、前記他の撮影画像の明度情報又は輝度情報が抽出されることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記パターンマッチング工程では、前記１枚の撮影画像における特徴点の近傍領域と、前記他の撮影画像における各対応候補点の近傍領域に含まれる画像データの相関係数が算出され、
前記対応点特定工程では、前記算出された相関係数の分布状況により、当該相関係数が極大となる位置が、前記特徴点の対応点として特定されることを特徴とする請求項１〜５の何れか一項に記載の画像処理方法。
【請求項７】
前記対応点特定工程では、前記算出された相関係数の極大値が、予め設定された基準値以上である場合に、当該極大値となる位置が前記特徴点の対応点として特定されることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記パターンマッチング工程における適合度評価に必要な特徴点の近傍領域及び各対応候補点の近傍領域のサイズは、それぞれ、前記特徴点及び対応候補点を中心として５×５画素以上１５×１５画素以下又は７×７画素以上１５×１５画素以下であることを特徴とする請求項１〜７の何れか一項に記載の画像処理方法。
【請求項９】
特徴点の近傍領域の画像パターンと、各対応候補点の近傍領域の画像パターンは、それぞれ、特徴点、各対応候補点からの位置関係が同一であることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記パターンマッチング工程では、特徴点の近傍領域及び対応候補点の近傍領域の一方に対して所定の角度で回転処理が施され、回転処理が施された一方の近傍領域の画像パターンと、他方の近傍領域の画像パターンの適合度が評価されることを特徴とする請求項１〜９の何れか一項に記載の画像処理方法。
【請求項１１】
同一の被写体を撮影して得られた複数の撮影画像から、当該被写体の同一点に対応する特徴点同士を対応付けるための画像処理装置であって、
前記複数の撮影画像のうちの１枚の撮影画像から特徴点を抽出する特徴点抽出手段と、
特徴点が抽出されていない他の撮影画像の各々について、前記抽出された特徴点に対する対応候補点の領域を設定し、当該領域内の対応候補点毎に、当該特徴点を含む近傍領域の画像パターンと、対応候補点を含む近傍領域の画像パターンとの適合度を評価するパターンマッチング手段と、
前記適合度が極大となる撮影画像の位置情報に基づいて、前記抽出された特徴点に対する前記他の撮影画像における対応点を特定する対応点特定手段と、
を備えることを特徴とする画像処理装置。
【請求項１２】
前記複数の撮影画像の各々を同一の縮小比率で縮小する画像サイズ規格化手段を備え、
前記特徴点抽出手段は、画像サイズが縮小された複数のサイズ規格化画像のうち、１枚のサイズ規格化画像から特徴点を抽出し、
前記パターンマッチング手段は、前記１枚のサイズ規格化画像における前記特徴点の近傍領域と、他のサイズ規格化画像における前記対応候補点の近傍領域の画像パターンとの適合度を評価し、
前記対応点特定手段は、前記１枚のサイズ規格化画像から抽出された特徴点に対する前記他のサイズ規格化画像における対応点を特定し、
前記抽出された特徴点及びその対応点が、縮小によるサイズ規格化前の撮影画像のどの位置に対応するのかを関連付ける関連付け手段を備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記他の撮影画像に対し、所定の画像変換を施す画像変換手段を備え、
前記パターンマッチング手段は、前記特徴点を抽出する途中過程で得られる画像データと、前記所定の画像変換として、前記途中過程で得られる画像データと同一の処理が施された画像データとの適合度を評価することを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記特徴点抽出手段は、前記途中過程において、前記１枚の撮影画像から特定の色度情報を抽出し、
前記画像変換手段は、前記他の撮影画像から特定の色度情報を抽出し、
前記パターンマッチング手段は、前記特徴点を抽出する途中過程及び前記画像変換手段の各々において特定の色度情報が抽出された画像データ同士の適合度を評価することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記特徴点抽出手段は、前記途中過程において、前記特定の色度情報として、前記１枚の撮影画像の明度情報又は輝度情報を抽出し、
前記画像変換手段は、前記特定の色度情報として、前記他の撮影画像の明度情報又は輝度情報を抽出することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記パターンマッチング手段は、前記１枚の撮影画像における特徴点の近傍領域と、前記他の撮影画像における各対応候補点の近傍領域に含まれる画像データの相関係数を算出し、
前記対応点特定手段は、前記算出された相関係数の分布状況により、当該相関係数が極大となる位置を、前記特徴点の対応点として特定することを特徴とする請求項１１〜１５の何れか一項に記載の画像処理装置。
【請求項１７】
前記対応点特定手段は、前記算出された相関係数の極大値が、予め設定された基準値以上である場合に、当該極大値となる位置を前記特徴点の対応点として特定することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記パターンマッチング手段における適合度評価に必要な特徴点の近傍領域及び各対応候補点の近傍領域のサイズは、それぞれ、前記特徴点及び対応候補点を中心として５×５画素以上１５×１５画素以下又は７×７画素以上１５×１５画素以下であることを特徴とする請求項１１〜１７の何れか一項に記載の画像処理装置。
【請求項１９】
特徴点の近傍領域の画像パターンと、各対応候補点の近傍領域の画像パターンは、それぞれ、特徴点、各対応候補点からの位置関係が同一であることを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記パターンマッチング手段は、特徴点の近傍領域及び対応候補点の近傍領域の一方に対して所定の角度で回転処理を施し、回転処理が施された一方の近傍領域の画像パターンと、他方の近傍領域の画像パターンの適合度を評価することを特徴とする請求項１１〜１９の何れか一項に記載の画像処理装置。
【請求項２１】
コンピュータに、
同一の被写体を撮影して得られた複数の撮影画像のうちの１枚の撮影画像から特徴点を抽出する特徴点抽出機能と、
特徴点が抽出されていない他の撮影画像の各々について、前記抽出された特徴点に対する対応候補点の領域を設定し、当該領域内の対応候補点毎に、当該特徴点を含む近傍領域の画像パターンと、対応候補点を含む近傍領域の画像パターンとの適合度を評価するパターンマッチング機能と、
前記適合度が極大となる撮影画像の位置情報に基づいて、前記抽出された特徴点に対する前記他の撮影画像における対応点を特定する対応点特定機能と、
を実現させるための画像処理プログラム。
【請求項２２】
前記複数の撮影画像の各々を同一の縮小比率で縮小する画像サイズ規格化機能を実現させ、
前記特徴点抽出機能を実現させる際に、画像サイズが縮小された複数のサイズ規格化画像のうち、１枚のサイズ規格化画像から特徴点を抽出し、
前記パターンマッチング機能を実現させる際に、前記１枚のサイズ規格化画像における前記特徴点の近傍領域と、他のサイズ規格化画像における前記対応候補点の近傍領域の画像パターンとの適合度を評価し、
前記対応点特定機能を実現させる際に、前記１枚のサイズ規格化画像から抽出された特徴点に対する前記他のサイズ規格化画像における対応点を特定し、
前記抽出された特徴点及びその対応点が、縮小によるサイズ規格化前の撮影画像のどの位置に対応するのかを関連付ける関連付け機能を実現させることを特徴とする請求項２１に記載の画像処理プログラム。
【請求項２３】
前記他の撮影画像に対し、所定の画像変換を施す画像変換機能を実現させ、
前記パターンマッチング機能を実現させる際に、前記特徴点を抽出する途中過程で得られる画像データと、前記所定の画像変換として、前記途中過程で得られる画像データと同一の処理が施された画像データとの適合度を評価することを特徴とする請求項２１又は２２に記載の画像処理プログラム。
【請求項２４】
前記特徴点抽出機能を実現させる際に、前記途中過程において、前記１枚の撮影画像から特定の色度情報を抽出し、
前記画像変換機能を実現させる際に、前記他の撮影画像から特定の色度情報を抽出し、
前記パターンマッチング機能を実現させる際に、前記特徴点を抽出する途中過程及び前記画像変換機能の各々において特定の色度情報が抽出された画像データ同士の適合度を評価することを特徴とする請求項２３に記載の画像処理プログラム。
【請求項２５】
前記特徴点抽出機能を実現させる際に、前記途中過程において、前記特定の色度情報として、前記１枚の撮影画像の明度情報又は輝度情報を抽出し、
前記画像変換機能を実現させる際に、前記特定の色度情報として、前記他の撮影画像の明度情報又は輝度情報を抽出することを特徴とする請求項２４に記載の画像処理プログラム。
【請求項２６】
前記パターンマッチング機能を実現させる際に、前記１枚の撮影画像における特徴点の近傍領域と、前記他の撮影画像における各対応候補点の近傍領域に含まれる画像データの相関係数を算出し、
前記対応点特定機能を実現させる際に、前記算出された相関係数の分布状況により、当該相関係数が極大となる位置を、前記特徴点の対応点として特定することを特徴とする請求項２１〜２５の何れか一項に記載の画像処理プログラム。
【請求項２７】
前記対応点特定機能を実現させる際に、前記算出された相関係数の極大値が、予め設定された基準値以上である場合に、当該極大値となる位置を前記特徴点の対応点として特定することを特徴とする請求項２６に記載の画像処理プログラム。
【請求項２８】
前記パターンマッチング機能における適合度評価に必要な特徴点の近傍領域及び各対応候補点の近傍領域のサイズは、それぞれ、前記特徴点及び対応候補点を中心として５×５画素以上１５×１５画素以下又は７×７画素以上１５×１５画素以下であることを特徴とする請求項２１〜２７の何れか一項に記載の画像処理プログラム。
【請求項２９】
特徴点の近傍領域の画像パターンと、各対応候補点の近傍領域の画像パターンは、それぞれ、特徴点、各対応候補点からの位置関係が同一であることを特徴とする請求項２８に記載の画像処理プログラム。
【請求項３０】
前記パターンマッチング機能を実現させる際に、特徴点の近傍領域及び対応候補点の近傍領域の一方に対して所定の角度で回転処理を施し、回転処理が施された一方の近傍領域の画像パターンと、他方の近傍領域の画像パターンの適合度を評価することを特徴とする請求項２１〜２９の何れか一項に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像を対応付けるための画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
同一の被写体を撮影して得られた複数の撮影画像（例えば、時系列的な撮影で得られた画像、異なる複数の撮影位置の撮影で得られた画像など）同士を対応付けることにより、被写体の動き、３次元形状等を求めることができる。例えば、特許文献１では、時系列的の撮影で得られた画像の各々から、対応付けの候補となる特徴点を抽出し、局所空間フィルタ等の前処理を施した後、当該特徴点とその近傍画素データとの相関を計算することにより、各撮影画像同士を対応付ける技術が開示されている。
【特許文献１】特開２０００−２５９８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の対応付け処理では、時系列の撮影で得られた複数の撮影画像の各々から独立に特徴点を抽出し、抽出した特徴点の間で対応付け処理を行っていたため、常に対応した点が特徴点として抽出される保証はなく、抽出された特徴点の中で正しく対応付けされる特徴点は一部に限られてしまうという問題があった。従って、対応付けられた撮影画像同士を合成するために信頼性の高い対応付け情報を得ることは困難であった。
【０００４】
本発明の課題は、同一の被写体を撮影して得られた複数の撮影画像の対応付けにおける信頼性を高めることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、請求項１に記載の発明は、同一の被写体を撮影して得られた複数の撮影画像から、当該被写体の同一点に対応する特徴点同士を対応付けるための画像処理方法であって、
前記複数の撮影画像のうちの１枚の撮影画像から特徴点を抽出する特徴点抽出工程と、
特徴点が抽出されていない他の撮影画像の各々について、前記抽出された特徴点に対する対応候補点の領域を設定し、当該領域内の対応候補点毎に、当該特徴点を含む近傍領域の画像パターンと、対応候補点を含む近傍領域の画像パターンとの適合度を評価するパターンマッチング工程と、
前記適合度が極大となる撮影画像の位置情報に基づいて、前記抽出された特徴点に対する前記他の撮影画像における対応点を特定する対応点特定工程と、を含むことを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記複数の撮影画像の各々を同一の縮小比率で縮小する画像サイズ規格化工程を含み、
前記特徴点抽出工程では、画像サイズが縮小された複数のサイズ規格化画像のうち、１枚のサイズ規格化画像から特徴点が抽出され、
前記パターンマッチング工程では、前記１枚のサイズ規格化画像における前記特徴点の近傍領域と、他のサイズ規格化画像における前記対応候補点の近傍領域の画像パターンとの適合度が評価され、
前記対応点特定工程では、前記１枚のサイズ規格化画像から抽出された特徴点に対する前記他のサイズ規格化画像における対応点が特定され、
前記抽出された特徴点及びその対応点が、縮小によるサイズ規格化前の撮影画像のどの位置に対応するのかを関連付ける関連付け工程を含むことを特徴としている。
【０００７】
請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、前記他の撮影画像に対し、所定の画像変換を施す画像変換工程を含み、
前記パターンマッチング工程では、前記特徴点を抽出する途中過程で得られる画像データと、前記所定の画像変換として、前記途中過程で得られる画像データと同一の処理が施された画像データとの適合度が評価されることを特徴としている。
【０００８】
請求項４に記載の発明は、請求項３に記載の画像処理方法において、前記特徴点抽出工程では、前記途中過程において、前記１枚の撮影画像から特定の色度情報が抽出され、
前記画像変換工程では、前記他の撮影画像から特定の色度情報が抽出され、
前記パターンマッチング工程では、前記特徴点抽出工程の途中過程及び前記画像変換工程の各々において特定の色度情報が抽出された画像データ同士の適合度が評価されることを特徴としている。
【０００９】
請求項５に記載の発明は、請求項４に記載の画像処理方法において、前記特徴点抽出工程では、前記途中過程において、前記特定の色度情報として、前記１枚の撮影画像の明度情報又は輝度情報が抽出され、
前記画像変換工程では、前記特定の色度情報として、前記他の撮影画像の明度情報又は輝度情報が抽出されることを特徴としている。
【００１０】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理方法において、前記パターンマッチング工程では、前記１枚の撮影画像における特徴点の近傍領域と、前記他の撮影画像における各対応候補点の近傍領域に含まれる画像データの相関係数が算出され、
前記対応点特定工程では、前記算出された相関係数の分布状況により、当該相関係数が極大となる位置が、前記特徴点の対応点として特定されることを特徴としている。
【００１１】
請求項７に記載の発明は、請求項６に記載の画像処理方法において、前記対応点特定工程では、前記算出された相関係数の極大値が、予め設定された基準値以上である場合に、当該極大値となる位置が前記特徴点の対応点として特定されることを特徴としている。
【００１２】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理方法において、前記パターンマッチング工程における適合度評価に必要な特徴点の近傍領域及び各対応候補点の近傍領域のサイズは、それぞれ、前記特徴点及び対応候補点を中心として５×５画素以上１５×１５画素以下又は７×７画素以上１５×１５画素以下であることを特徴としている。
【００１３】
請求項９に記載の発明は、請求項８に記載の画像処理方法において、特徴点の近傍領域の画像パターンと、各対応候補点の近傍領域の画像パターンは、それぞれ、特徴点、各対応候補点からの位置関係が同一であることを特徴としている。
【００１４】
請求項１０に記載の発明は、請求項１〜９の何れか一項に記載の画像処理方法において、前記パターンマッチング工程では、特徴点の近傍領域及び対応候補点の近傍領域の一方に対して所定の角度で回転処理が施され、回転処理が施された一方の近傍領域の画像パターンと、他方の近傍領域の画像パターンの適合度が評価されることを特徴としている。
【００１５】
請求項１１に記載の発明は、同一の被写体を撮影して得られた複数の撮影画像から、当該被写体の同一点に対応する特徴点同士を対応付けるための画像処理装置であって、
前記複数の撮影画像のうちの１枚の撮影画像から特徴点を抽出する特徴点抽出手段と、
特徴点が抽出されていない他の撮影画像の各々について、前記抽出された特徴点に対する対応候補点の領域を設定し、当該領域内の対応候補点毎に、当該特徴点を含む近傍領域の画像パターンと、対応候補点を含む近傍領域の画像パターンとの適合度を評価するパターンマッチング手段と、
前記適合度が極大となる撮影画像の位置情報に基づいて、前記抽出された特徴点に対する前記他の撮影画像における対応点を特定する対応点特定手段と、を備えることを特徴としている。
【００１６】
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、前記複数の撮影画像の各々を同一の縮小比率で縮小する画像サイズ規格化手段を備え、
前記特徴点抽出手段は、画像サイズが縮小された複数のサイズ規格化画像のうち、１枚のサイズ規格化画像から特徴点を抽出し、
前記パターンマッチング手段は、前記１枚のサイズ規格化画像における前記特徴点の近傍領域と、他のサイズ規格化画像における前記対応候補点の近傍領域の画像パターンとの適合度を評価し、
前記対応点特定手段は、前記１枚のサイズ規格化画像から抽出された特徴点に対する前記他のサイズ規格化画像における対応点を特定し、
前記抽出された特徴点及びその対応点が、縮小によるサイズ規格化前の撮影画像のどの位置に対応するのかを関連付ける関連付け手段を備えることを特徴としている。
【００１７】
請求項１３に記載の発明は、請求項１１又は１２に記載の画像処理装置において、前記他の撮影画像に対し、所定の画像変換を施す画像変換手段を備え、
前記パターンマッチング手段は、前記特徴点を抽出する途中過程で得られる画像データと、前記所定の画像変換として、前記途中過程で得られる画像データと同一の処理が施された画像データとの適合度を評価することを特徴としている。
【００１８】
請求項１４に記載の発明は、請求項１３に記載の画像処理装置において、前記特徴点抽出手段は、前記途中過程において、前記１枚の撮影画像から特定の色度情報を抽出し、
前記画像変換手段は、前記他の撮影画像から特定の色度情報を抽出し、
前記パターンマッチング手段は、前記特徴点を抽出する途中過程及び前記画像変換手段の各々において特定の色度情報が抽出された画像データ同士の適合度を評価することを特徴としている。
【００１９】
請求項１５に記載の発明は、請求項１４に記載の画像処理装置において、前記特徴点抽出手段は、前記途中過程において、前記特定の色度情報として、前記１枚の撮影画像の明度情報又は輝度情報を抽出し、
前記画像変換手段は、前記特定の色度情報として、前記他の撮影画像の明度情報又は輝度情報を抽出することを特徴としている。
【００２０】
請求項１６に記載の発明は、請求項１１〜１５の何れか一項に記載の画像処理装置において、前記パターンマッチング手段は、前記１枚の撮影画像における特徴点の近傍領域と、前記他の撮影画像における各対応候補点の近傍領域に含まれる画像データの相関係数を算出し、
前記対応点特定手段は、前記算出された相関係数の分布状況により、当該相関係数が極大となる位置を、前記特徴点の対応点として特定することを特徴としている。
【００２１】
請求項１７に記載の発明は、請求項１６に記載の画像処理装置において、前記対応点特定手段は、前記算出された相関係数の極大値が、予め設定された基準値以上である場合に、当該極大値となる位置を前記特徴点の対応点として特定することを特徴としている。
【００２２】
請求項１８に記載の発明は、請求項１１〜１７の何れか一項に記載の画像処理装置において、前記パターンマッチング手段における適合度評価に必要な特徴点の近傍領域及び各対応候補点の近傍領域のサイズは、それぞれ、前記特徴点及び対応候補点を中心として５×５画素以上１５×１５画素以下又は７×７画素以上１５×１５画素以下であることを特徴としている。
【００２３】
請求項１９に記載の発明は、請求項１８に記載の画像処理装置において、特徴点の近傍領域の画像パターンと、各対応候補点の近傍領域の画像パターンは、それぞれ、特徴点、各対応候補点からの位置関係が同一であることを特徴としている。
【００２４】
請求項２０に記載の発明は、請求項１１〜１９の何れか一項に記載の画像処理装置において、前記パターンマッチング手段は、特徴点の近傍領域及び対応候補点の近傍領域の一方に対して所定の角度で回転処理を施し、回転処理が施された一方の近傍領域の画像パターンと、他方の近傍領域の画像パターンの適合度を評価することを特徴としている。
【００２５】
請求項２１に記載の発明は、コンピュータに、
同一の被写体を撮影して得られた複数の撮影画像のうちの１枚の撮影画像から特徴点を抽出する特徴点抽出機能と、
特徴点が抽出されていない他の撮影画像の各々について、前記抽出された特徴点に対する対応候補点の領域を設定し、当該領域内の対応候補点毎に、当該特徴点を含む近傍領域の画像パターンと、対応候補点を含む近傍領域の画像パターンとの適合度を評価するパターンマッチング機能と、
前記適合度が極大となる撮影画像の位置情報に基づいて、前記抽出された特徴点に対する前記他の撮影画像における対応点を特定する対応点特定機能と、を実現させるための画像処理プログラムである。
【００２６】
請求項２２に記載の発明は、請求項２１に記載の画像処理プログラムにおいて、前記複数の撮影画像の各々を同一の縮小比率で縮小する画像サイズ規格化機能を実現させ、
前記特徴点抽出機能を実現させる際に、画像サイズが縮小された複数のサイズ規格化画像のうち、１枚のサイズ規格化画像から特徴点を抽出し、
前記パターンマッチング機能を実現させる際に、前記１枚のサイズ規格化画像における前記特徴点の近傍領域と、他のサイズ規格化画像における前記対応候補点の近傍領域の画像パターンとの適合度を評価し、
前記対応点特定機能を実現させる際に、前記１枚のサイズ規格化画像から抽出された特徴点に対する前記他のサイズ規格化画像における対応点を特定し、
前記抽出された特徴点及びその対応点が、縮小によるサイズ規格化前の撮影画像のどの位置に対応するのかを関連付ける関連付け機能を実現させることを特徴としている。
【００２７】
請求項２３に記載の発明は、請求項２１又は２２に記載の画像処理プログラムにおいて、前記他の撮影画像に対し、所定の画像変換を施す画像変換機能を実現させ、
前記パターンマッチング機能を実現させる際に、前記特徴点を抽出する途中過程で得られる画像データと、前記所定の画像変換として、前記途中過程で得られる画像データと同一の処理が施された画像データとの適合度を評価することを特徴としている。
【００２８】
請求項２４に記載の発明は、請求項２３に記載の画像処理プログラムにおいて、前記特徴点抽出機能を実現させる際に、前記途中過程において、前記１枚の撮影画像から特定の色度情報を抽出し、
前記画像変換機能を実現させる際に、前記他の撮影画像から特定の色度情報を抽出し、
前記パターンマッチング機能を実現させる際に、前記特徴点を抽出する途中過程及び前記画像変換機能の各々において特定の色度情報が抽出された画像データ同士の適合度を評価することを特徴としている。
【００２９】
請求項２５に記載の発明は、請求項２４に記載の画像処理プログラムにおいて、前記特徴点抽出機能を実現させる際に、前記途中過程において、前記特定の色度情報として、前記１枚の撮影画像の明度情報又は輝度情報を抽出し、
前記画像変換機能を実現させる際に、前記特定の色度情報として、前記他の撮影画像の明度情報又は輝度情報を抽出することを特徴としている。
【００３０】
請求項２６に記載の発明は、請求項２１〜２５の何れか一項に記載の画像処理プログラムにおいて、前記パターンマッチング機能を実現させる際に、前記１枚の撮影画像における特徴点の近傍領域と、前記他の撮影画像における各対応候補点の近傍領域に含まれる画像データの相関係数を算出し、
前記対応点特定機能を実現させる際に、前記算出された相関係数の分布状況により、当該相関係数が極大となる位置を、前記特徴点の対応点として特定することを特徴としている。
【００３１】
請求項２７に記載の発明は、請求項２６に記載の画像処理プログラムにおいて、前記対応点特定機能を実現させる際に、前記算出された相関係数の極大値が、予め設定された基準値以上である場合に、当該極大値となる位置を前記特徴点の対応点として特定することを特徴としている。
【００３２】
請求項２８に記載の発明は、請求項２１〜２７の何れか一項に記載の画像処理プログラムにおいて、前記パターンマッチング機能における適合度評価に必要な特徴点の近傍領域及び各対応候補点の近傍領域のサイズは、それぞれ、前記特徴点及び対応候補点を中心として５×５画素以上１５×１５画素以下又は７×７画素以上１５×１５画素以下であることを特徴としている。
【００３３】
請求項２９に記載の発明は、請求項２８に記載の画像処理プログラムにおいて、特徴点の近傍領域の画像パターンと、各対応候補点の近傍領域の画像パターンは、それぞれ、特徴点、各対応候補点からの位置関係が同一であることを特徴としている。
【００３４】
請求項３０に記載の発明は、請求項２１〜２９の何れか一項に記載の画像処理プログラムにおいて、前記パターンマッチング機能を実現させる際に、特徴点の近傍領域及び対応候補点の近傍領域の一方に対して所定の角度で回転処理を施し、回転処理が施された一方の近傍領域の画像パターンと、他方の近傍領域の画像パターンの適合度を評価することを特徴としている。
【発明の効果】
【００３５】
本発明によれば、同一の被写体を撮影して得られた複数の撮影画像のうちの１枚の撮影画像から抽出された特徴点に対する他の撮影画像における対応点を確実に特定することができ、複数の撮影画像の対応付けにおける信頼性を高めることができる。
【発明を実施するための最良の形態】
【００３６】
図１に、本発明の実施形態に係る画像処理装置１００の構成を示す。画像処理装置１００は、図１に示すように、画像入力部１、画像サイズ規格化部２、特徴点抽出部３、画像変換部４、パターンマッチング部５、対応点判定部６、解像度間関連付け部７、対応点出力部８、画像解析部９、条件パラメータ設定部１０により構成される。
【００３７】
画像入力部１は、被写体の撮影により得られた撮影画像を取得し、特徴点抽出部２及び画像解析部５に出力する。本実施形態において画像入力部１に入力される画像は、同一の被写体を撮影して得られた複数の撮影画像であるものとする。この複数の撮影画像としては、時系列的な撮影（例えば、動画撮影、連写撮影）で得られた画像、異なる複数の撮影位置で同時に撮影して得られた画像などがある。また、画像入力部１での撮影画像の取得方法（入力方法）としては、所定の通信ネットワークを介して外部に接続された装置から取得する方法、有線又は無線接続されたデジタルカメラ等の撮影装置から取得する方法、記録メディア（ＣＤ−Ｒ、メモリーカード等）に記録された撮影画像を読み込む方法などがある。
【００３８】
画像サイズ規格化部２は、条件パラメータ設定部１０で設定された条件パラメータ（縮小比率及び／又は縮小回数）に基づいて、画像入力部１から入力された撮影画像に対し縮小処理を施す。図２に、縮小比率１／２の縮小処理の一例を示す。ｎx×ｎy画素の撮影画像を１／２サイズに縮小する場合、図２に示すように、２×２画素分のデータの平均値を１画素分のデータとすることにより、（ｎx／２）×（ｎy／２）画素に縮小された撮影画像が得られる。画像サイズ規格化部２は、撮影画像の縮小処理を、画像サイズが規定のサイズになるまで繰り返す。以下、規定のサイズの撮影画像を「サイズ規格化画像」と呼ぶ。画像サイズ規格化部２で得られる複数のサイズ規格化画像のうちの１枚は特徴点抽出部３に出力され、残りのサイズ規格化画像は全て画像変換部４に出力される。
【００３９】
特徴点抽出部３は、条件パラメータ設定部６で設定された条件パラメータに基づいて、画像サイズ規格化部２から入力された１枚のサイズ規格化画像から特徴点を抽出し、抽出結果をパターンマッチング部５に出力する。
【００４０】
図３に、特徴点抽出部３の主要部構成を示す。特徴点抽出部３は、図３に示すように、色度情報抽出部３０、エッジ抽出部３１、稜谷線抽出部３２、二値化処理部３３、安定化処理部３４、連結性解析部３５により構成される。
【００４１】
色度情報抽出部３０は、画像サイズ規格化部２から入力された１枚のサイズ規格化画像の各画素データから、特定の色度情報（明度又は輝度、色相、ＲＧＢデータの少なくとも一つ）を抽出し、単一スケール（１次元スケール）の画像データとする。色度情報抽出部３０での処理段階で得られた画像データを「画像データα１」とする。
【００４２】
エッジ抽出部３１は、色度情報抽出部３０で得られた単一スケールの画像データから、空間周波数フィルタ等を用いて高周波成分を選択することで、エッジ情報を抽出する。エッジ抽出部３１での処理段階で得られた画像データを「画像データα２」とする。
【００４３】
稜谷線抽出部３２は、エッジ抽出部３１で得られたエッジ情報について、各画素の近傍画素とのデータの大小関係を比較することにより、周囲よりデータが大きい画素が連なる稜線、周囲よりデータが小さい画素が連なる谷線を抽出し、より精緻なエッジ情報を取得する。以下、稜谷線抽出部３２での処理段階で得られた画像データを「画像データα３」とする。
【００４４】
画像データα１、α２、α３のうちの何れか１つがパターンマッチング部５へ出力される。どの画像データがパターンマッチング部５へ出力されるかは、条件パラメータ設定部１０により予め設定されている。
【００４５】
二値化処理部３３は、稜谷線抽出部３２で得られたエッジ画像を、所定の閾値と比較することによって二値化する。安定化処理部３４は、二値化されたエッジ画像の細かな途切れやゴミを、モルフォロジー処理や論理判断等により解消させ、滑らかなエッジ画像を取得する。
【００４６】
連結性解析部３５は、エッジ画像の連結性を維持したまま、太さが１の線画に細線化し、得られた細線化画像の各部特徴を解析して幾何学的特異点（端点、折点、分岐点、交差点（図６参照））を検出することにより特徴点を抽出する。
【００４７】
図５（ａ）に、撮影画像の一例を示し、図５（ｂ）に、当該撮影画像の細線及び特徴点（図中の白丸）の一例を示す。特徴点は、その特徴点に細線が何本集中しているかを表す連結数（order）で分類される。図６に示すように、細線の端点は連結数＝１、分岐点は連結数＝３、折点（角点）は連結数＝２、交差点は連結数＝４、複合点は連結数＞４である。なお、極めて近接した特徴点同士は１つの特徴点とみなされる。
【００４８】
図４に、画像変換部４の主要部構成を示す。画像変換部４の構成は、図４に示すように３通り（図４（ａ）、（ｂ）、（ｃ））ある。第１の画像変換部４は、図４（ａ）に示すように、色度情報抽出部４０により構成される。第２の画像変換部４は、図４（ｂ）に示すように、色度情報抽出部４０とエッジ抽出部４１により構成される。第３の画像変換部４は、図４（ｃ）に示すように、色度情報抽出部４０、エッジ抽出部４１及び稜谷線抽出部４２により構成される。
【００４９】
色度情報抽出部４０は、画像サイズ規格化部２から入力されたサイズ規格化画像の各画素データから、特定の色度情報（明度又は輝度、色相、ＲＧＢデータの少なくとも一つ）を抽出し、単一スケール（１次元スケール）の画像データとする。色度情報抽出部４０での処理段階で得られた画像データを「画像データβ１」とする。
【００５０】
エッジ抽出部４１は、色度情報抽出部４０で得られた単一スケールの画像データから、空間周波数フィルタ等を用いて高周波成分を選択することで、エッジ情報を抽出する。エッジ抽出部４１での処理段階で得られた画像データを「画像データβ２」とする。
【００５１】
稜谷線抽出部４２は、エッジ抽出部４１で得られたエッジ情報について、各画素の近傍画素とのデータの大小関係を比較することにより、周囲よりデータが大きい画素が連なる稜線、周囲よりデータが小さい画素が連なる谷線を抽出し、より精緻なエッジ情報を取得する。以下、稜谷線抽出部４２での処理段階で得られた画像データを「画像データβ３」とする。
【００５２】
画像データβ１、β２、β３のうちの何れか１つがパターンマッチング部５へ出力される。どの画像データがパターンマッチング部５へ出力されるかは、条件パラメータ設定部１０により予め設定されている。特徴点抽出部３と画像変換部４からパターンマッチング部５へ出力される画像データは、同一の処理段階で得られる画像データである。即ち、特徴点抽出部３から出力される画像データα１と、画像変換部４から出力される画像データβ１が、パターンマッチング対象となる。同様に、画像データα２と画像データβ２がパターンマッチング対象となり、画像データα３と画像データβ３がパターンマッチング対象となる。以下、特徴点抽出部３から出力される画像データを「画像データα」とし、画像変換部４から出力される画像データを「画像データβ」とする。
【００５３】
パターンマッチング部５は、画像データαの特徴点毎に、座標値等に基づいて、画像データβにおける対応候補点の範囲（領域）を設定し、対応候補点毎に、画像データαにおける特徴点を含む近傍領域の画像パターンと、画像データβにおける対応候補点を含む近傍領域の画像パターンとの、パターンマッチング（画像パターンの適合度（類似度）を評価）を行う。このパターンマッチングについては、後に詳細に説明する。
【００５４】
対応点判定部６は、条件パラメータ設定部１０で設定された条件パラメータに基づいて、パターンマッチング部５における評価結果に基づき、適合度が最大となる画像データの位置情報に基づいて、画像データαの特徴点に対する画像データβにおける対応点を特定し、その特定された対応点の情報を解像度間関連付け部７に出力する。
【００５５】
解像度間関連付け部７は、特徴点及びその対応点が、縮小によるサイズ規格化前の撮影画像のどの位置に対応するのかを関連付ける処理を行うことによって、元のサイズの撮影画像における特徴点及びその対応点を決定し（図８参照）、決定された特徴点、対応点の情報を対応点出力部８に出力する。例えば、画像サイズ規格化部２において縮小処理がｎ回行われた場合、関連付け処理をｎ回施すと、元のサイズの撮影画像における特徴点及びその対応点が算出される。
【００５６】
対応点出力部８は、解像度間関連付け部７から入力された特徴点及びその対応点の情報を画像条件パラメータ設定部１０及び／又は外部に接続された装置（例えば、パーソナルコンピュータ等）に出力する。
【００５７】
画像解析部９は、処理対象である撮影画像の画像サイズ、空間周波数成分の分布状況を解析し、解析結果を条件パラメータ設定部１０に出力する。撮影画像の空間周波数成分の分布は、撮影画像に対してフーリエ変換を施すことにより求めることができる。図７（ａ）に示すように、空間周波数分布より、ピーク周波数又は分布の重心である中心周波数が定められる。撮影画像を１／ｎ（ｎ＞１）に縮小する場合、周波数はｎ倍になるため、図７（ｂ）に示すように、空間周波数分布がシフトする。
【００５８】
条件パラメータ設定部１０は、画像解析部９の解析結果及び／又は対応点出力部８から出力された特徴点及びその対応点の情報に基づいて、画像サイズ規格化部２、特徴点抽出部３、画像変換部４、パターンマッチング部５、対応点判定部６、解像度間関連付け部７での処理に必要な条件パラメータを設定する。また、ユーザにより設定されたパラメータを条件パラメータとしてもよい。
【００５９】
具体的に、条件パラメータ設定部１０は、画像サイズ規格化部２での縮小処理に必要な条件パラメータとして縮小比率及び／又は縮小回数を設定する。縮小比率及び／又は縮小回数は予め固定された値であってもよいし、処理対象の撮影画像の特性（画像サイズ、空間周波数特性等）に応じて設定するようにしてもよい。
【００６０】
例えば、縮小比率１／２で、画像サイズ範囲を５００００〜２０００００とした場合、２０００×１５００画素サイズの撮影画像が入力されたとき、以下のように２回の縮小処理が行われることになる。
非縮小状態：２０００×１５００＝３００００００画素；
１段階縮小状態：１０００×７５０＝７５００００画素；
２段階縮小状態：５００×３７５＝１８７５００画素．
また、画像サイズ範囲ではなく、画像サイズ最適値を定め、この最適値に最も近くなるな条件を選択するようにしてもよい。
【００６１】
撮影画像の空間周波数特性を用いて条件パラメータを設定する場合、条件パラメータ設定部１０は、図７（ｂ）に示すように、画像縮小によってシフトした空間周波数分布と、予め設定された許容周波数範囲或いは最適周波数に基づいて縮小比率及び／又は縮小回数を設定する。同じ画像サイズであっても、被写体の撮影状況（アップでの撮影、遠景の撮影）に応じてエッジ情報が異なるため、空間周波数情報を用いて縮小処理を制御する方が、一層適切に抽出点を抽出することが可能となる。
【００６２】
次に、本実施形態における動作について説明する。
図８に、２枚の撮影画像（画像１、画像２）に対して縮小率１/２の縮小処理をｎ回施した場合の、パターンマッチング及び関連付け処理の全体の流れを示す。図８では、画像１から特徴点を抽出する場合を示している。画像１のサイズを１／２nに縮小したサイズ規格化画像１における特徴点の近傍領域と、画像２のサイズを１／２nに縮小した画像サイズ規格化画像２における対応候補点の近傍領域の画像パターンとのパターンマッチングにより、サイズ規格化画像１における各特徴点に対する、サイズ規格化画像２における対応点が特定される。そして、特徴点及びその対応点が、２倍サイズの画像のどの点に対応するのかを関連付ける処理をｎ回施すと、元のサイズの撮影画像（画像１及び画像２）における特徴点及びその対応点が決定される。
【００６３】
次に、図９のフローチャートを参照して、画像処理装置１００において実行される処理について説明する。図９の処理では、撮影画像に対する縮小比率が予め決まっている場合（縮小比率１／２）の処理について説明する。
【００６４】
まず、同一の被写体を撮影して得られた複数の撮影画像（例えば、露出ブラケット撮影により得られた撮影画像）が入力される（ステップＳ１）。次いで、各撮影画像が１／２のサイズに縮小される（ステップＳ２）。
【００６５】
次いで、ステップＳ２で縮小された撮影画像のサイズが適切な範囲内（予め設定されたサイズ範囲内）（例えば、５００００〜２０００００画素サイズ）にあるか否かが判定される（ステップＳ３）。ステップＳ３において、縮小された撮影画像のサイズが適切な範囲内に入っていないと判定された場合（ステップＳ３；ＮＯ）、ステップＳ２に戻り、各撮影画像のサイズが更に１／２に縮小される。
【００６６】
ステップＳ３において、縮小された撮影画像のサイズが適切な範囲内にあると判定された場合（ステップＳ３；ＹＥＳ）、縮小処理によりサイズが規格化された各撮影画像のうち、１枚の撮影画像から特徴点が抽出される（ステップＳ４）。以下では、縮小処理によりサイズが規格化された撮影画像のうち、特徴点が抽出された撮影画像を「サイズ規格化画像１」と呼び、それ以外の撮影画像を全て「サイズ規格化画像２」と呼ぶ。
【００６７】
次いで、サイズ規格化画像１から抽出された特徴点毎に、特徴点の座標値等に基づいて、サイズ規格化画像２における対応候補点範囲（対応候補点領域）が設定される。そして、対応候補点範囲内の各対応候補点毎に、サイズ規格化画像１における特徴点の近傍領域の画像パターンと、サイズ規格化画像２における対応候補点の近傍領域の画像パターンとのパターンマッチングを行って、特徴点の対応点を特定する対応付け処理が行われる（ステップＳ５）。ステップＳ５における対応付け処理については、後に図１０を参照して詳細に説明する。
【００６８】
次いで、ステップＳ５の対応付け処理により対応付けられた特徴点及びその対応点が、２倍サイズの画像のどの点に対応しているのかが関連付けられる（ステップＳ６）。ステップＳ６の関連付け処理については、後に図２０〜図２２を参照して詳細に説明する。
【００６９】
次いで、元のサイズの撮影画像までの関連付け処理が完了したか否かが判定される（ステップＳ７）。ステップＳ７において、元の撮影画像までの関連付け処理が完了していないと判定された場合（ステップＳ７；ＮＯ）、ステップＳ６に戻り、更に関連付け処理が行われる。ステップＳ７において、元の撮影画像までの関連付け処理が終了したと判定された場合（ステップＳ７；ＹＥＳ）、図９の処理が終了する。
【００７０】
図９のフローチャートでは、予め縮小比率が設定されている場合を示したが、条件パラメータ設定部１０において、処理対象の撮影画像の特性（画像サイズ、空間周波数特性等）に応じて縮小比率及び／又は縮小回数を設定して、その設定された縮小比率及び／又は縮小回数に基づいて縮小処理を行うようにしてもよい。
【００７１】
本発明では、基本的に対応づけを行う画像のサイズは同一であることが想定しており、それぞれの画像は同一条件で縮小すればよい。仮に、異なるサイズの画像間で対応づけを行う場合は、一方の画像を拡大または縮小することで画像サイズを揃える前処理を行い、その結果得られる同じサイズの画像同士で本発明による対応づけを行うことすればよい。その場合、前処理による縮小処理と本発明の縮小処理を一体化させて実施してもよい。このような場合も考慮すると、対応づけを行うそれぞれの画像の縮小条件は必ずしも同一でなくてもよい。
【００７２】
また、図９のフローチャートでは、撮影画像を縮小させることによって、サイズが規格化された画像（サイズ規格化画像）を得るようにしたが、ステップＳ１で入力された撮影画像のサイズが、規定サイズよりも小さい場合は、撮影画像の拡大処理（例えば、サイズを２倍にする処理）をすることによって、サイズ規格化画像を得るようにしてもよい。
【００７３】
次に、図１０のフローチャートを参照して、対応付け処理（図９のステップＳ５）について説明する。
【００７４】
本対応付け処理に際して、サイズ規格化画像１から抽出された特徴点毎に、特徴点の座標値等に基づいて、サイズ規格化画像２における対応候補点範囲（対応候補点領域）が設定される。例えば、図１１に示すように、サイズ規格化画像１におけるある特徴点を注目特徴点とし、サイズ規格化画像２において、その注目特徴点と同一座標の点を中心とした所定の範囲が、対応候補点の範囲（領域）として設定される。
【００７５】
サイズ規格化画像１の特徴点のうち、対応付け処理（パターンマッチング）が行われていない次の特徴点がある場合（ステップＳ１０；ＹＥＳ）、サイズ規格化画像２の対応候補点範囲内で、対応付け処理が行われていない次の対応候補点があるか否かが判定される（ステップＳ１１）。
【００７６】
ステップＳ１１において、次の対応候補点があると判定された場合（ステップＳ１１；
ＹＥＳ）、サイズ規格化画像１における該当特徴点の近傍領域における画像パターン（周囲パターン）と、サイズ規格化画像２における該当対応候補点の近傍領域における画像パターン（周囲パターン）の相関係数ｒが算出される（ステップＳ１２）。図１２に、特徴点（画素データＩ44）を含む周囲パターンと、対応候補点（画素データＩ’44）を含む周囲パターンの一例を示す。図１２では、相関係数ｒの計算領域が７×７画素である場合を示している。サイズ規格化画像１、サイズ規格化画像２における計算領域内の画素データをそれぞれ、Ｉij、Ｉ’ijとすると、相関係数ｒは、式（１）のように定義される。
【数１】
2007025966.tif 000003
ここでＮは、計算領域の画素数（図１２の例ではＮ＝７×７）である。
【００７７】
ステップＳ１２の相関係数の算出処理は、対応候補点範囲内の全ての対応候補点について行われる。ステップＳ１１において、次の対応候補点がないと判定された場合（ステップＳ１１；ＮＯ）、即ち、対応候補点範囲内の全ての対応候補点について相関係数が算出された場合、各対応候補点で算出された相関係数の極大値が算出され、その相関係数極大値が、予め設定された基準値以上であるか否かが判定される（ステップＳ１３）。
【００７８】
ステップＳ１３において、相関係数極大値が基準値以上であると判定された場合（ステップＳ１３；ＹＥＳ）、その相関係数極大値を与える対応候補点が、該当する特徴点の対応点として決定され（ステップＳ１４）、ステップＳ１０に戻る。ステップＳ１３において、相関係数極大値が基準値未満であると判定された場合（ステップＳ１３；ＮＯ）、該当する特徴点が廃棄され（ステップＳ１５）、ステップＳ１０に戻る。対応点を決定する一般的な方法については、後に図１３を参照して説明する。
【００７９】
ステップＳ１２〜Ｓ１５の処理は、サイズ規格化画像１の全ての特徴点について行われる。ステップＳ１０において、次の特徴点が存在しないと判定された場合（ステップＳ１０；ＮＯ）、即ち、全ての特徴点についての対応付け処理が終了したと判定された場合、本対応付け処理が終了し、図９のステップＳ６へ移行する。
【００８０】
次に、対応点を決定する一般的な方法について説明する。ある特徴点の対応候補点の座標値を(x,y)とし、このとき、式（１）に従って算出された相関係数をｒxyとする。相関係数の値に応じて、その対応候補点の重み関数ｆ(ｒxy)を定めることにより、対応点の座標値(x’, y’)を式（２）のように定義することができる。
【数２】
2007025966.tif 000004
【００８１】
重み関数ｆ(ｒxy)の定義に応じて、式（２）の対応点が決定される。以下、例として、３種類の重み関数を示す。
<例１>
特徴点と各対応候補点の全ての組み合わせにおいて算出された相関係数の最大値をｒmaxとし、式（３）のように重み関数ｆ(ｒxy)を定義する。例１の重み関数により、最大の相関係数を与える対応候補点が対応点として決定される（図１０参照）。
【数３】
2007025966.tif 000005
【００８２】
<例２>
相関係数の基準値をｒminとし、重み関数ｆ(ｒxy)を、図１３（ａ）に示すように、ｒxy＝ｒminを閾値とするステップ関数とする。但し、全ての対応候補点についてｒxy＜ｒminである場合は、式（２）に示す対応点は算出されず、特徴点は廃棄される。例２の重み関数により、ｒxy≧ｒminを満たす連結した対応候補点について、相関係数値に応じて重み付けされた重心位置が算出される。
【００８３】
<例３>
相関係数の基準値をｒminとし、重み関数ｆ(ｒxy)を、図１３（ｂ）に示すように、ｒxy＝ｒminを閾値とするスロープ状関数とする。但し、全ての対応候補点についてｒxy＜ｒminである場合は、式（２）に示す対応点は算出されず、特徴点は廃棄される。例３の重み関数により、ｒxy≧ｒminを満たす連結した対応候補点について、相関係数値に応じて重み付けされた重心位置が算出される。
【００８４】
次に、相関係数の計算領域について説明する。
本実施形態において、相関係数の計算領域は、特徴点及び対応候補点を中心として５×５画素以上１５×１５画素以下であるのが好ましく、更には、７×７画素以上１５×１５画素以下であるのが一層好ましい。
【００８５】
図１４〜図１８に、それぞれ、計算領域が３×３、５×５、７×７、１５×１５、１７×１７である場合の相関係数の分布の一例を示す。計算領域が３×３画素の場合、図１４に示すように、相関係数の極大点が乱立し、対応点の決定が困難である。即ち、計算領域が３×３画素程度のパターンマッチングでは、対応点でなくとも類似パターンが至るところに存在する可能性がある。
【００８６】
計算領域が５×５画素の場合、図１５に示すように、特徴点及び対応候補点の近傍領域において相関係数が突出したポイントがほぼ１点に絞られるようになり、対応点が特定可能となる。計算領域が７×７画素の場合、図１６に示すように、５×５画素の場合よりも更に対応点の突出度合いが大きくなり、容易に対応点が特定可能となるため、一層好ましい。
【００８７】
計算領域が１５×１５画素の場合と、１７×１７画素の場合の相関係数分布は、それぞれ、図１７及び図１８に示すように、差異がほとんど見られない。しかしながら、計算領域が広くなればなるほど、画像間での変形や回転の影響が大きくなり、相関係数の極大値が小さくなるとともに、分布形状がブロードになる。また、相関係数を算出するための演算量も急速に大きくなるため、システムへの負荷、応答性の低下等の影響も無視できなくなる。従って、計算領域の上限値は、１５×１５画素であることが好ましい。
【００８８】
なお、パターンマッチングの対象となる特徴点の近傍領域の画像パターン（周囲パターン）と、対応候補点の近傍領域の画像パターン（周囲パターン）は、それぞれ、特徴点、対応候補点からの位置関係が同一である。例えば、図１２では、特徴点、対応候補点を含む正方領域内の全ての画素を、相関係数の計算対象としているが、図１９（ａ）及び（ｂ）に示すように、特徴点、対応候補点を中心とした画素配置が同一となるような画像パターンであればよい。即ち、特徴点、対応候補点を含む正方領域から、特定の規則で画素を間引いたものを計算対象とすることが可能である。これにより、演算処理時間を大幅に短縮させることが可能となる。
【００８９】
〈関連付け処理〉
次に、図２０〜図２２を参照して、縮小画像における特徴点及びその対応点が、縮小前画像のどの位置に対応するのかを関連付ける関連付け処理について説明する。
【００９０】
図２０に、関連付け処理の一例を示す。図２０に示すように縮小率が１／２である場合、縮小前画像には、縮小画像の特徴点（又は対応点）に対応する候補点が２×２個あり、この４個の候補点の中から最も適切な点が選択されることになる。従って、ｎ枚の撮影画像で関連付け処理を行う場合、関連付けの組み合わせは４n通りある。
【００９１】
２枚の撮影画像（画像１、画像２）で関連付け処理を行う場合、画像１の縮小前画像の４個の候補点と、画像２の縮小前画像の４個の候補点をそれぞれ突き合わせると、関連付けの組み合わせは１６通りあり、この１６通りの組み合わせの中から、最適な組み合わせが選択される。実際には、図２１に示すように、画像１の縮小前画像の候補点の画素データＩ22及びその近傍画素（８画素）の画素データと、画像２の縮小前画像の候補点の画素データＩ’22及びその近傍画素（８画素）の画素データに基づいて、最適な組み合わせが選択される。
【００９２】
２枚の縮小前画像の候補点から最適な組み合わせを選択する方法としては、以下の３つの方法の少なくとも一つを採用することができる。
【００９３】
（ａ）第１の方法は、２枚の縮小前画像の候補点間で、画像データの一致度合いを評価する方法である。この第１の方法では、画像１の候補点及びその近傍画素と、画像２の候補点及びその近傍画素とのデータ格差が最小になる組み合わせが選択される。具体的には、１６通りの組み合わせのうち、式（４）に示すΔ1の値が最小となる組み合わせが選択される。
【数４】
2007025966.tif 000006
但し、露出ブラケット撮影の撮影画像間で第１の方法を用いる場合には、対応するデータ補正を行う必要がある。
【００９４】
（ｂ）第２の方法は、２枚の縮小前画像の候補点間で、近傍領域のデータ相関性を評価する方法である。具体的には、１６通りの組み合わせのうち、式（５）に示すΔ2の値が最大となる組み合わせが選択される。
【数５】
2007025966.tif 000007
ここでＮは、計算領域の画素数（図２１の例ではＮ＝３×３）である。
【００９５】
（ｃ）第３の方法は、２枚の縮小画像の候補点間で、各々の画素データの近傍画素に対する特異性を評価する方法である。ここで、特異性とは、画像のエッジやピーク的特徴を有するか否かの性質を示しており、空間フィルタの畳み込み演算等により検出することができる。特徴点は特異性を有するはずであり、図２２に示すように、その特異性を検出するための空間フィルタ（例えば、ラプラシアンフィルタ）Ｍ（ｍij、i,j=1,2,3）の畳み込み演算により、その結果が最大となる候補点が選択される。
【００９６】
以上のように、本実施形態の画像処理装置１００によれば、同一被写体を撮影して得られた複数の撮影画像うち１枚の撮影画像から特徴点を抽出し、当該特徴点の近傍領域と、他の撮影画像における対応候補点の近傍領域とのパターンマッチングにより、当該特徴点に対する他の撮影画像における対応点を特定することにより、確実に対応点を特定することができる。従って、複数の撮影画像の対応付けにおける信頼性を高めることができる。
【００９７】
特に、特徴点が密集して存在する場合や、真の特徴的な点が画素と画素の間に存在する場合（むしろこの方が一般的）であっても、特徴点抽出の位置精度によらずに、高い精度（サブピクセル精度）で対応点を特定することが可能となる。
【００９８】
なお、実際に同一被写体を撮影して得られる複数の撮影画像では、パターンマッチング対象の一方の撮影画像内の被写体が、他方の撮影画像の被写体に対して傾いていることがある。このような場合、図１０の対応付け処理において、サイズ規格化画像１における特徴点の近傍領域、サイズ規格化画像２における対応候補点の近傍領域の何れか一方を所定の角度で回転させて、パターンマッチングを行うようにすればよい。
【００９９】
以下、図２３のフローチャートを参照して、特徴点又は対応候補点の近傍領域の回転を含めた対応付け処理について説明する。
【０１００】
図２３の対応付け処理では、特徴点の近傍領域、対応候補点の近傍領域のどちらを回転させてもよいが、特徴点の近傍領域を回転させた方が、対応候補点範囲（図１１参照）内のどの対応候補点に対しても共通の周囲パターンを使用できるため、対応候補点毎に周囲パターンを求める必要がなく、効率的である。従って、以下では、サイズ規格化画像１における特徴点の近傍領域を、特徴点を中心として回転させるものとして説明する。また、回転角度は、ゼロを挟んだ所定範囲（例えば、−１０°、−５°、０°、＋５°、＋１０°の５°間隔）で変化させるものとする。
【０１０１】
まず、サイズ規格化画像１の特徴点のうち、対応付け処理（パターンマッチング）が行われていない次の特徴点がある場合（ステップＳ２０；ＹＥＳ）、サイズ規格化画像２の対応候補点範囲内で、対応付け処理が行われていない次の対応候補点があるか否かが判定される（ステップＳ２１）。
【０１０２】
ステップＳ２１において、次の対応候補点があると判定された場合（ステップＳ２１；
ＹＥＳ）、サイズ規格化画像１における特徴点の周囲パターンの回転が終了したか否かが判定される（ステップＳ２２）。
【０１０３】
ステップＳ２２において、特徴点の周囲パターンの回転が終了していないと判定された場合（ステップＳ２２；ＮＯ）、サイズ規格化画像１における特徴点の周囲パターンを、当該特徴点を中心として所定角度（例えば、５°）だけ回転させ（ステップＳ２３）、式（１）に示すように、該当特徴点の周囲パターンと、サイズ規格化画像２における該当対応候補点の周囲パターンとの相関係数ｒが算出される（ステップＳ２４）。
【０１０４】
ここで、実際の相関係数ｒの算出に必要な画素データは、回転が施されていない元の座標系の画素データである必要がある。従って、相関係数ｒの算出に必要な画素データは、図２４に示すように、回転した周囲パターンを構成する各画素に近接する画素データを用いて補間計算（例えば、線形補間）を行うことにより得られる。
【０１０５】
ステップＳ２４の相関係数の算出処理は、特徴点の周囲パターンの各回転角度において行われる。ステップＳ２２において、特徴点の周囲パターンの回転が終了したと判定された場合（ステップＳ２２；ＹＥＳ）、当該周囲パターンの全回転条件（全ての回転角度）のうち、相関係数ｒの最大値が、当該特徴点及びその対応候補点の相関係数として決定され（ステップＳ２５）、ステップＳ２１に戻る。
【０１０６】
ステップＳ２１において、次の対応候補点がないと判定された場合（ステップＳ２１；ＮＯ）、即ち、対応候補点範囲内の全ての対応候補点について、ステップＳ２３〜Ｓ２５の処理が行われた場合、各対応候補点で算出された相関係数の極大値が算出され、その相関係数極大値が、予め設定された基準値以上であるか否かが判定される（ステップＳ２６）。
【０１０７】
ステップＳ２６において、相関係数極大値が基準値以上であると判定された場合（ステップＳ２６；ＹＥＳ）、その相関係数極大値を与える対応候補点が、該当する特徴点の対応点として決定され（ステップＳ２７）、ステップＳ２０に戻る。ステップＳ２６において、相関係数極大値が基準値未満であると判定された場合（ステップＳ２６；ＮＯ）、該当する特徴点が廃棄され（ステップＳ２８）、ステップＳ２０に戻る。なお、対応点の決定方法として、上述の例２や例３の方法（図１３参照）を用いることも可能である。
【０１０８】
ステップＳ２２〜Ｓ２８の処理は、サイズ規格化画像１の全ての特徴点について行われる。ステップＳ２０において、次の特徴点が存在しないと判定された場合（ステップＳ２０；ＮＯ）、即ち、全ての特徴点についての対応付け処理が終了したと判定された場合、本対応付け処理が終了し、図９のステップＳ６へ移行する。
【０１０９】
このように、特徴点（又は対応候補点）の周囲パターンを所定角度ずつ回転させ、各回転角度について相関係数を算出することにより、同一被写体を撮影して得られる複数の撮影画像において、一方の撮影画像内の被写体が、他方の撮影画像の被写体に対して傾いている場合であっても、特徴点の対応点を確実に特定することが可能となる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】画像サイズの縮小を説明するための図。
【図３】特徴点抽出部の構成を示すブロック図。
【図４】画像変換部の構成を示すブロック図。
【図５】撮影画像（ａ）と、当該撮影画像のエッジ情報から得られる細線及び特徴点を示す図（ｂ）。
【図６】細線図における特徴点の位置付けを示す図。
【図７】撮影画像の空間周波数成分の分布状況を示す図。
【図８】２枚の撮影画像に対し縮小率１/２の縮小処理をｎ回施した場合の、パターンマッチング及び関連付け処理の全体の流れを示す図。
【図９】画像処理装置において実行される処理を示すフローチャート。
【図１０】対応付け処理を示すフローチャート。
【図１１】注目特徴点に対する対応候補点の範囲を示す図。
【図１２】注目特徴点の周囲パターンと、対応候補点の周囲パターンの一例を示す図。
【図１３】相関係数ｒxyと、対応候補点の重み関数ｆとの関係を示す図。
【図１４】パターンマッチング範囲が３×３画素である場合の相関係数分布を示す図。
【図１５】パターンマッチング範囲が５×５画素である場合の相関係数分布を示す図。
【図１６】パターンマッチング範囲が７×７画素である場合の相関係数分布を示す図。
【図１７】パターンマッチング範囲が１５×１５画素である場合の相関係数分布を示す図。
【図１８】パターンマッチング範囲が１７×１７画素である場合の相関係数分布を示図。
【図１９】注目特徴点の周囲パターンと、対応候補点の周囲パターンの一例を示す図。
【図２０】縮小画像と縮小前画像における特徴点の関連付け処理を示す図。
【図２１】２枚の縮小前画像における特徴点の対応付け処理を示す図。
【図２２】図２１の特徴点の対応付け処理において、空間フィルタを用いた場合の特徴点の決定方法を示す図。
【図２３】対応付け処理の変形例を示すフローチャート。
【図２４】特徴点又は対応候補点の近傍領域の回転を示す図。
【符号の説明】
【０１１１】
１  画像入力部
２  画像サイズ規格化部
３  特徴点抽出部
３０  色度情報抽出部
３１  エッジ抽出部
３２  稜谷線抽出部
３３  二値化処理部
３４  安定化処理部
３５  連結性解析部
４  画像変換部
４０  色度情報抽出部
４１  エッジ抽出部
４２  稜谷線抽出部
５  パターンマッチング部
６  対応点判定部
７  解像度間関連付け部
８  対応点出力部
９  画像解析部
１０  条件パラメータ設定部
１００  画像処理装置
【図１】
2007025966.tif 000008
【図２】
2007025966.tif 000009
【図３】
2007025966.tif 000010
【図４】
2007025966.tif 000011
【図５】
2007025966.tif 000012
【図６】
2007025966.tif 000013
【図７】
2007025966.tif 000014
【図８】
2007025966.tif 000015
【図９】
2007025966.tif 000016
【図１０】
2007025966.tif 000017
【図１１】
2007025966.tif 000018
【図１２】
2007025966.tif 000019
【図１３】
2007025966.tif 000020
【図１４】
2007025966.tif 000021
【図１５】
2007025966.tif 000022
【図１６】
2007025966.tif 000023
【図１７】
2007025966.tif 000024
【図１８】
2007025966.tif 000025
【図１９】
2007025966.tif 000026
【図２０】
2007025966.tif 000027
【図２１】
2007025966.tif 000028
【図２２】
2007025966.tif 000029
【図２３】
2007025966.tif 000030
【図２４】
2007025966.tif 000031