(57)【要約】【課題】マッチング処理時間を短縮し、高精度のマッチングを行う画像処理装置を提供する。【解決手段】第１基準領域と第１参照領域とから画像信号と被写体の距離情報を抽出し、第１基準領域と第１参照領域との被写体距離差に基づいて、第１基準領域と第１参照領域とが類似するかどうか予備判定を行う。そして、予備判定によって、第１基準領域と第１参照領域とが類似すると判定した場合にのみ、第１基準領域と第１参照領域との類似性を示す値を算出し、マッチングを行い、第１基準領域と類似する第１参照領域を決定する。【選択図】図３
2010026801.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像から抽出される画像信号を用いてマッチングを行う画像処理装置であって、
被写体の距離情報を有する基準画像から所定サイズの第１基準領域を設定し、被写体の距離情報を有する参照画像から前記第１基準領域と略等しいサイズの第１参照領域を設定し、前記第１基準領域および前記第１参照領域から前記画像信号および前記被写体の距離情報をそれぞれ抽出する第１の抽出部と、
前記第１基準領域および前記第１参照領域における前記被写体の距離情報に基づいて、前記第１基準領域と前記第１参照領域とが類似するかどうか予備判定を行う判定部と、
前記判定部によって、前記第１基準領域と前記第１参照領域とが類似すると予備判定された場合に、前記画像信号に基づいて、前記第１基準領域と前記第１参照領域との類似性を示す値を算出する評価値算出部と、
前記類似性を示す値に基づいて、前記第１基準領域と前記第１参照領域とが類似するかどうか決定する決定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の抽出部は、
前記第１参照領域よりも大きい第１探索範囲の中から、前記第１参照領域を設定し、
前記判定部によって、前記第１基準領域と前記第１参照領域とが類似しないと予備判定された場合に、前記第１探索範囲内で、新たな第１参照領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１基準領域および前記第１参照領域における前記被写体の距離情報に基づいて、前記第１基準領域、または前記第１参照領域を、サイズが異なる第２基準領域、または第２参照領域に変更するスケール変換部を備え、
前記評価値算出部は、前記第２基準領域または前記第２参照領域の画像信号に基づいて、前記類似性を示す値を算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像信号を含む画像の特徴を示すパラメータに基づいて、前記画像信号の輝度信号を補正する輝度補正部を備え、
前記評価値算出部は、前記輝度補正部によって前記輝度信号を補正した画像信号を用いて、前記類似性を示す値を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１基準領域及び前記第１参照領域の１以上の前記被写体の距離情報から、前記第１基準領域と前記第１参照領域間の被写体距離差を算出する第１被写体距離演算部を備え、
前記判定部は、前記第１被写体距離演算部によって算出した前記被写体距離差に基づいて、前記予備判定を行うことを特徴とする請求項１から４のいずれか一つに記載の画像処理装置。
【請求項６】
前記判定部は、前記被写体距離差が第１閾値よりも小さい場合に、前記第１基準領域と前記第１参照領域とが類似すると予備判定を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１基準領域における前記被写体の距離情報が示す前記被写体の距離が、前記第１参照領域における前記被写体の距離情報が示す前記被写体の距離よりも小さい場合に、前記第２基準領域における前記被写体の距離情報と略等しい距離情報を有し、かつ、前記第２基準領域のサイズと略等しいサイズの第３参照領域を前記参照画像内に設定する領域設定部と、
前記第２基準領域および前記第３参照領域から画像信号を抽出する第２の抽出部と、
をさらに備え、
前記評価値算出部はさらに、前記第２の抽出部により抽出された画像信号に基づいて、前記第２基準領域と前記第３参照領域との類似性を示す値を算出し、
前記決定部はさらに、前記第２基準領域と前記第３参照領域との類似性を示す値に基づいて、前記第２基準領域と前記第３参照領域とが類似するかどうか決定することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記第１基準領域における前記被写体の距離情報が示す前記被写体の距離が、前記第１参照領域における前記被写体の距離情報が示す前記被写体の距離よりも大きい場合に、前記第１基準領域における前記被写体の距離情報と略等しい距離情報を有し、かつ、前記第１基準領域のサイズと略等しいサイズの前記第２参照領域を前記参照画像内に設定する領域設定部と、
前記第１基準領域および前記第２参照領域から画像信号を抽出する第２の抽出部と、
をさらに備え、
前記評価値算出部はさらに、前記第２の抽出部により抽出された画像信号に基づいて、前記第１基準領域と前記第２参照領域との類似性を示す値を算出し、
前記決定部はさらに、前記第１基準領域と前記第２参照領域との類似性を示す値に基づいて、前記第１基準領域と前記第２参照領域とが類似するかどうか決定することを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記第１基準領域および前記第１参照領域の２以上の前記被写体の距離情報から、光軸に対する前記第１基準領域と前記第１参照領域との傾きの差を算出する第２被写体距離演算部を備え、
前記判定部は、前記第２被写体距離演算部によって算出した前記傾きの差に基づいて、前記予備判定を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項１０】
前記判定部は、前記傾きの差が第２閾値よりも小さい場合に、前記第１基準領域と前記第１参照領域とが類似すると予備判定を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第１基準領域または前記第１参照領域から得られる前記画像信号および前記被写体の距離情報を、前記第１基準領域または前記第１参照領域を回転処理によって所定角回転させた場合に得られる前記第１基準領域または前記第１参照領域に対応する画像信号および被写体の距離情報に変換する回転部を備え、
前記判定部は、前記回転処理によって変換された前記画像信号および前記被写体の距離情報に基づいて、前記予備判定を行うことを特徴とする請求項１から１０のいずれか一つに記載の画像処理装置。
【請求項１２】
請求項１から１１のいずれか一つに記載の画像処理装置を備えたことを特徴とする電子機器。
【請求項１３】
複数の画像から抽出される画像信号を用いてマッチングをコンピュータで行う画像処理プログラムであって、前記コンピュータに、
被写体の距離情報を有する基準画像から所定サイズの第１基準領域を設定し、被写体の距離情報を有する参照画像から前記第１基準領域と略等しいサイズの第１参照領域を設定し、前記第１基準領域および前記第１参照領域から前記画像信号および前記被写体の距離情報をそれぞれ抽出する第１の抽出手順と、
前記第１基準領域および前記第１参照領域における前記被写体の距離情報に基づいて、前記第１基準領域と前記第１参照領域とが類似するかどうか予備判定を行う判定手順と、
前記判定手順によって、前記第１基準領域と前記第１参照領域とが類似すると予備判定された場合に、前記画像信号に基づいて、前記第１基準領域と前記第１参照領域との類似性を示す値を算出する評価値算出手順と、
前記類似性を示す値に基づいて、前記第１基準領域と前記第１参照領域とが類似するかどうか決定する決定手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１４】
複数の画像から抽出される画像信号を用いてマッチングを行う画像処理方法であって、
被写体の距離情報を有する基準画像から所定サイズの第１基準領域を設定し、被写体の距離情報を有する参照画像から前記第１基準領域と略等しいサイズの第１参照領域を設定し、前記第１基準領域および前記第１参照領域から前記画像信号および前記被写体の距離情報をそれぞれ抽出し、
前記第１基準領域および前記第１参照領域における前記被写体の距離情報に基づいて、前記第１基準領域と前記第１参照領域とが類似するかどうか予備判定を行い、
前記第１基準領域と前記第１参照領域とが類似すると予備判定された場合に、前記画像信号に基づいて、前記第１基準領域と前記第１参照領域との類似性を示す値を算出し、
前記類似性を示す値に基づいて、前記第１基準領域と前記第１参照領域とが類似するかどうか決定する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理プラグラム、および画像処理方法に関するものである。
【背景技術】
【０００２】
従来、画像処理の分野においては、動画像の圧縮符号化やノイズ低減処理のための動き検出処理、基準のテンプレートを対象画像の中から特定する画像の照合処理等では、２つの画像から局所的に類似度の高い領域を検出するためにマッチング処理が行われる。画像処理におけるマッチング処理は、ある画像を他の画像中に設定された基準画像と比較してマッチングをとる技術であり、複数の画像間で互いに対応する点や領域を見つけ出す基本的な手法である。
【０００３】
例えば、ＭＰＥＧに代表される動画像の圧縮符号化を行う場合には、連続する画像間の相関を用いて符号量を圧縮する動き補償予測符号化が多く用いられる。動き補償予測符号化は、画像を例えば１６×１６画素のブロックに分割して、分割した各ブロックを順次、動き検出対象ブロックとして設定することで行われる。動き補償予測符号化には、動き検出対象ブロックに対して、その符号化を行うために使用される参照画像内の対応するブロック領域がどの程度ずれた位置に存在するのかを表す動きベクトルが必要である。
【０００４】
マッチング処理は、動き検出対象ブロックを基準画像とし、参照画像中の探索範囲内の画像と画素単位で全ての位置毎にマッチング評価値を求める。マッチング評価値を求める関数としては、例えばブロック内の全画素について、画素毎の画素値の差分の絶対値の和をとったもの（ＳＡＤ：絶対値差分和）、画素毎の画素値の差分値を２乗して和をとったもの（ＳＳＤ：差分二乗和）、画素毎の画素値と平均画素値の差分を標準偏差で割った画像に対して相関を求めるもの（ＮＣＣ：正規化相互相関）等が使われる。
【０００５】
しかし、マッチング処理は、実用的な使用を考えると高速で処理されることが望ましい。最も精度の良いマッチング処理は全探索法である。全探索法は、検出対象である参照画像中の所定の探索範囲内全ての位置に対して総当りにマッチング評価値を求め、最も類似度の高い領域を検出するものである。全探索法では、探索範囲内において、必ず最も類似度の高い領域を検出できる。しかし、マッチング評価値算出に膨大な演算量が必要となり、高速化が要求される場合には時間の制限から実用的に対応できない。
【０００６】
このような問題を解決する方法としては、マッチング処理の時間を短縮する方法が知られている。中でも、粗密探索法と呼ばれる手法は、処理を複数段階に分けて実行する手法であり、マッチング処理の時間を短縮できる手法としてよく知られている。
【０００７】
粗密探索法は、例えば特許文献１に記載されている。粗密探索法は、まずマッチング処理の対象となる画像を縮小し、縮小画像に対して粗処理を行い、所望のパターンの存在する座標位置を検出する。その後、検出された座標の近辺において、詳細処理を行い、さらに正確な位置を検出する。このように、粗密探索法は、粗い探索を行って大体の位置を特定し、この結果に基づいて特定された範囲に詳細な探索を行う。これによって、画像全体にわたって詳細な探索を行うことなく、必要な部分のみを順次精査していくことによって全体の処理時間を短縮している。
【特許文献１】特公平７−３７８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、粗密探索法において、処理速度と処理精度はトレードオフの関係にある。一般に探索を行う階層を増すと処理速度を短くすることができるが、精度は低下する傾向にある。したがって、粗密探索法によってマッチング処理を行う場合は、その都度、個別の画像処理に最適な階層数を設定する必要がある。
【０００９】
本発明はこのような問題点を解決するために発明されたもので、処理精度の低下を抑え、高速なマッチング処理を行うことを目的とする。
【課題を解決するための手段】
【００１０】
本発明のある態様に係る画像処理装置は、複数の画像から抽出される画像信号を用いてマッチングを行う画像処理装置であって、被写体の距離情報を有する基準画像から所定サイズの第１基準領域を設定し、被写体の距離情報を有する参照画像から第１基準領域と略等しいサイズの第１参照領域を設定し、第１基準領域および第１参照領域から画像信号および被写体の距離情報をそれぞれ抽出する第１の抽出部と、第１基準領域および第１参照領域における被写体の距離情報に基づいて、第１基準領域と第１参照領域とが類似するかどうか予備判定を行う判定部と、判定部によって、第１基準領域と第１参照領域とが類似すると予備判定された場合に、画像信号に基づいて、第１基準領域と第１参照領域との類似性を示す値を算出する評価値算出部と、類似性を示す値に基づいて、第１基準領域と第１参照領域とが類似するかどうか決定する決定部と、を備える。
【００１１】
本発明の別の態様に係る画像処理プログラムは、複数の画像から抽出される画像信号を用いてマッチングをコンピュータで行う画像処理プログラムであって、コンピュータに、被写体の距離情報を有する基準画像から所定サイズの第１基準領域を設定し、被写体の距離情報を有する参照画像から第１基準領域と略等しいサイズの第１参照領域を設定し、第１基準領域および第１参照領域から画像信号および被写体の距離情報をそれぞれ抽出する第１の抽出手順と、第１基準領域および第１参照領域における被写体の距離情報に基づいて、第１基準領域と第１参照領域とが類似するかどうか予備判定を行う判定手順と、判定手順によって、第１基準領域と第１参照領域とが類似すると予備判定された場合に、画像信号に基づいて、第１基準領域と第１参照領域との類似性を示す値を算出する評価値算出手順と、類似性を示す値に基づいて、第１基準領域と第１参照領域とが類似するかどうか決定する決定手順と、を実行させる。
【００１２】
本発明のさらに別の態様に係る画像処理方法は、複数の画像から抽出される画像信号を用いてマッチングを行う画像処理方法であって、被写体の距離情報を有する基準画像から所定サイズの第１基準領域を設定し、被写体の距離情報を有する参照画像から第１基準領域と略等しいサイズの第１参照領域を設定し、第１基準領域および第１参照領域から画像信号および被写体の距離情報をそれぞれ抽出し、第１基準領域および第１参照領域における被写体の距離情報に基づいて、第１基準領域と第１参照領域とが類似するかどうか予備判定を行い、第１基準領域と第１参照領域とが類似すると予備判定された場合に、画像信号に基づいて、第１基準領域と第１参照領域との類似性を示す値を算出し、類似性を示す値に基づいて、第１基準領域と第１参照領域とが類似するかどうか決定する。
【００１３】
これら態様により、第１基準領域と第１参照領域との距離情報に基づいて、第１基準領域と第１参照領域とが類似するかどうか予備判定する。そして、予備判定により、第１基準領域と第１参照領域とが類似すると予備判定された場合に、第１基準領域と第１参照領域との類似性を示す値を算出する。例えば、第１基準領域と第１参照領域との被写体距離差が大きい場合には、第１参照領域におけるその後のマッチング処理をスキップすることで、マッチング処理の演算時間を短縮することができる。また、基準画像の中から第１基準領域を設定し、参照画像の中から第１参照領域を設定することで、マッチング精度の低下を抑制することができる。
【発明の効果】
【００１４】
本発明によると、処理精度の低下を抑え、高速なマッチング処理を行うことができる。
【発明を実施するための最良の形態】
【００１５】
本発明の第１実施形態における全体構成について図１を用いて説明する。本実施形態の画像処理装置は、被写体（対象物）をカメラ等の撮像系により撮像した画像であり、被写体距離情報を持った画像を、被写体距離情報を持った基準画像によりマッチング処理を行って、被写体の位置を特定するものである。
【００１６】
本実施形態の画像処理装置は、光学系１０１と、撮像素子１０２と、輝度信号算出部１０３と、測光センサ１０４と、露光条件算出部１０５と、光学系駆動部１０６と、被写体距離算出部１０７と、マッチング処理部１０８と、信号処理部１０９と、出力部１１０と、制御部１１１と、外部Ｉ／Ｆ部１１２と、を備える。
【００１７】
光学系１０１は、複数のレンズ群と絞りとで構成される。複数のレンズ群は、画像を撮影することを目的としたレンズ群であり、そのうちの一部のレンズ群はフォーカスを調整するために光軸方向に駆動できる構成になっている。このレンズ群はフォーカスレンズと呼ばれる。光学系１０１を介して結像された光学像は、撮像素子１０２により撮影されてアナログの映像信号として出力され、輝度信号算出部１０３によりデジタル信号へ変換されて、被写体距離算出部１０７へ転送される。
【００１８】
撮像素子１０２は、光学系１０１を介して結像される光学像を光電変換し、アナログの画像信号として出力する。なお、本実施形態においては、撮像系にＢａｙｅｒ（ベイヤー）型原色フィルタを前面に配置した単板ＣＣＤを用いる。Ｂａｙｅｒ型原色フィルタは、２×２画素を基本単位として、対角方向の２画素に緑（Ｇ）フィルタが配置され、他の対角方向の２画素に赤（Ｒ）、青（Ｂ）フィルタが１画素ずつ、それぞれ配置されて構成される。ただし、撮像素子としてＢａｙｅｒ型原色フィルタを用いた構成に限定される必要はない。例えば、色差線順次型補色フィルタを前面に配置した単板撮像素子を適用することも可能である。この色差線順次型補色フィルタは、例えば、奇数ラインにシアン（Ｃｙ）、イエロー（Ｙｅ）フィルタが交互に配列され、偶数ラインに緑（Ｇ）、マゼンタ（Ｍｇ）フィルタが交互に配列され、かつ、偶数ラインの開始位置にあるフィルタが緑（Ｇ）とマゼンタ（Ｍｇ）とで交互に入れ替わるように構成されている。さらに、撮像素子としては、これらに限らず、二板撮像素子や三板撮像素子を利用することも可能である。
【００１９】
輝度信号算出部１０３は、制御部１１１の制御に基づき、撮像素子１０２から出力されたアナログの画像信号をデジタルの画像信号に変換し、輝度信号Ｙおよび色差信号Ｃｂ、Ｃｒを算出する。画像信号Ｙ、Ｃｂ、Ｃｒは、Ｒ、Ｇ、Ｂ信号毎に公知の補間処理を行って三板状態の信号に変換した後に、次の式（１）に示すように求める。
【００２０】
【数１】
2010026801.tif 000003
【００２１】
輝度信号算出部１０３によって算出された画像信号は、被写体距離算出部１０７へ転送される。
【００２２】
被写体距離算出部１０７は、制御部１１１の制御に基づき、輝度信号算出部１０３から転送される画像信号を用いて、被写体距離を算出する。なお、本実施形態においては、被写体距離の情報はＤＦＤ法により算出する。被写体距離の情報と、画像信号と、はマッチング処理部１０８へ転送される。被写体距離算出部１０７の詳細については後述する。
【００２３】
マッチング処理部１０８は、制御部１１１の制御に基づき、被写体距離算出部１０７から転送される被写体距離の情報と画像信号とを用いてマッチング処理を行う。マッチング結果と画像信号とは信号処理部１０９へ転送される。マッチング処理部１０８の詳細については後述する。
【００２４】
信号処理部１０９は、制御部１１１の制御に基づき、マッチング処理部１０８から転送されるマッチング結果及び画像信号を読み出し、公知の補間処理、強調処理、圧縮処理、ノイズ低減処理などを行い、処理後の信号を出力部１１０へ転送する。
【００２５】
出力部１１０は、信号処理部１０９から出力される画像信号を、例えばメモリーカードなどの記録媒体へ記録して保存する。
【００２６】
測光センサ１０４は、被写体からの入射光を計測する。計測結果は露光条件算出部１０５へ出力される。
【００２７】
露光条件算出部１０５は、制御部１１１の制御に基づき、撮像素子１０２のシャッタスピードと、光学系１０１におけるフォーカスレンズの位置と、絞りの径と、を算出する。本実施形態において、被写体距離をぼけの大きさから算出するため、できるだけぼけが顕著に表れる露光条件で輝度情報を取得することが好ましい。そのため、測光センサ１０４により、被写体からの入射光を計測し、その結果から、撮像素子１０２のシャッタスピードを算出する。算出結果は、制御信号として、撮像素子１０２と光学系駆動部１０６とに転送される。
【００２８】
光学系駆動部１０６は、アクチュエータと、アクチュエータを駆動するための駆動回路と、によって構成される。光学系駆動部１０６は、露光条件算出部１０５からの信号に基づき、光学系１０１におけるフォーカスレンズの位置と絞りの径を制御する。
【００２９】
制御部１１１は、例えばマイクロコンピュータなどにより構成される。制御部１１１は、輝度信号算出部１０３、露光条件算出部１０５、被写体距離算出部１０７、マッチング処理部１０８、信号処理部１０９、出力部１１０、外部Ｉ／Ｆ部１１２と双方向に接続されており、これらを含むこの画像処理装置全体を制御する。
【００３０】
外部Ｉ／Ｆ部１１２は、この画像処理装置に対するユーザーからの入力等を行うためのインターフェースを備える。外部Ｉ／Ｆ部１１２は、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッターボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、ユーザーは、この外部Ｉ／Ｆ部１１２を介して、ゲインの設定などを行うことができる。そして、外部Ｉ／Ｆ部１１２は、入力された情報を、制御部１１１へ出力する。
【００３１】
次に被写体距離算出部１０７の構成について、図２を用いて詳しく説明する。図２は被写体距離算出部１０７のブロック図である。
【００３２】
被写体距離算出部１０７は、差分演算部２０１と、２次微分演算部２０２と、ぼけパラメータ演算部２０３と、第１のバッファ２０４と、ＬＵＴ記憶部２０５と、を備える。
【００３３】
差分演算部２０１は、ぼけパラメータ算出のために必要な複数の画像から輝度信号Ｙの差分を算出する。
【００３４】
２次微分演算部２０２は、画像信号における輝度信号Ｙの２次微分を算出し、ぼけの異なる複数の輝度信号Ｙから得られる２次微分の平均値を算出する。
【００３５】
ぼけパラメータ演算部２０３は、差分演算部２０１で算出された画像の輝度信号Ｙの差分から２次微分演算部２０２で算出された２次微分の平均値を除算して、ぼけパラメータを算出する。
【００３６】
第１のバッファ２０４は、１枚目に撮影した画像における輝度信号Ｙとその２次微分の結果を記憶する。これによって、被写体距離算出部１０７は、フォーカスレンズを異なる位置に配置し、複数の輝度信号Ｙを異なる時刻で取得することができる。
【００３７】
ＬＵＴ記憶部２０５は、ぼけパラメータと被写体距離との関係をルックアップテーブル（ＬＵＴ）の形で記憶する。
【００３８】
図１に示す制御部１１１は、差分演算部２０１と、２次微分演算部２０２と、ぼけパラメータ演算部２０３と、に双方向に接続しており、これらを制御する。
【００３９】
次に、被写体距離の算出方法について説明する。
【００４０】
被写体距離の算出を開始すると、露光条件算出部１０５は、制御部１１１の制御に従って、外部I／Ｆ部１１２により予め設定された撮影モードに基づいて、公知のコントラス検出方式、位相差検出方式などを用いて最適なフォーカスレンズ位置を算出する。次に、光学系駆動部１０６は、露光条件算出部１０５からの信号に基づき、光学系１０１を、算出したフォーカスレンズ位置に駆動する。そして、駆動したフォーカスレンズ位置で、撮像素子１０２により被写体の１枚目の画像信号を取得する。取得した画像信号は、輝度信号算出部１０３を介して、被写体距離算出部１０７の第１のバッファ２０４に記憶される。
【００４１】
その後、光学系駆動部１０６によって、光学系１０１のフォーカスレンズを、１枚目の画像信号を取得したフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置に駆動し、撮像素子１０２によって被写体の２枚目の画像信号を取得する。これにより取得された２枚目の画像信号は、輝度信号算出部１０３を介して、被写体距離算出部１０７に出力される。
【００４２】
２枚目の画像信号の取得が完了すると、ぼけパラメータの算出を行う。被写体距離算出部１０７において、差分演算部２０１は、１枚目の画像信号における輝度信号Ｙを第１のバッファ２０４から読み出し、１枚目の画像信号における輝度信号Ｙと、輝度信号算出部１０３から出力される２枚目の画像信号における輝度信号Ｙと、の差分を算出する。
【００４３】
また、２次微分演算部２０２は、輝度信号算出部１０３から出力される２枚目の画像信号における輝度信号Ｙの２次微分を算出する。その後、１枚目の画像信号における輝度信号Ｙを第１のバッファ２０４から読み出して、その２次微分を算出する。そして、算出した１枚目と２枚目の２次微分の平均値を算出する。
【００４４】
その後、ぼけパラメータ演算部２０３は、差分演算部２０１で演算した差分から２次微分演算部２０２で演算した２次微分の平均値を除算して、ぼけパラメータを算出する。
【００４５】
ぼけパラメータは、被写体距離の逆数に対して線形な関係がある。更に、被写体距離とフォーカスレンズ位置の関係は１対１対応である。そのため、ぼけパラメータとフォーカスレンズ位置の関係も、１対１対応の関係にある。ぼけパラメータとフォーカスレンズ位置の関係は、ＬＵＴ記憶部２０５にテーブルとして記憶されている。被写体距離の値に対応する距離情報は、フォーカスレンズの位置で表される。よって、ぼけパラメータ演算部２０３では、ぼけパラメータとＬＵＴ記憶部２０５に記憶されているテーブルの情報を使用して、ぼけパラメータから光学系に対する被写体距離を線形補間によって求める。これによって、ぼけパラメータ演算部２０３は、ぼけパラメータに対応する被写体距離の値を算出する。
【００４６】
次にマッチング処理部１０８の構成について図３を用いて詳しく説明する。図３はマッチング処理部１０８のブロック図である。
【００４７】
マッチング処理部１０８は、第２のバッファ３０１と、第１の抽出部３０２と、被写体距離演算部（第１被写体距離演算部）３０３と、判定部３０４と、評価値算出部３０５と、決定部３０６と、スケール変換部３０７と、輝度補正部３０８と、領域設定部３０９と、第２の抽出部３１０と、を備える。マッチング処理部１０８は、複数の画像から抽出される画像信号中から対応点のマッチングを行う。
【００４８】
第２のバッファ３０１は、被写体距離算出部１０７より出力された、被写体距離情報を有する複数の画像信号を記憶する。第２のバッファ３０１は、記憶した画像信号を第１の抽出部３０２へ転送する。
【００４９】
第１の抽出部３０２は、図示しない制御部１１１の制御に基づき、マッチング処理の対象となる第１基準領域と第１参照領域とを設定する。そして、第１基準領域及び第１参照領域に含まれる画像信号及び被写体距離情報を抽出する。
【００５０】
図４は、本実施形態における領域設定の概念を示す概念図である。第１の抽出部３０２は、図示のように、例えば、第２のバッファ３０１に記録された画像の中から、２つの画像、即ち、図４中の基準画像と参照画像とを読み込む。ここで、基準画像とはマッチング処理の基準となる画像であり、参照画像とはその基準画像とマッチング処理において比較するために用いられる画像を指す。基準画像からは、図示しない制御部１１１の制御に基づいて、第１基準領域が自動的に設定され、第１基準領域に含まれる画像信号及び被写体距離情報が抽出される。また、第１基準領域の設定方法は上記方法に限定されるものではなく、予めユーザーが手動で設定してもよい。第１基準領域は、所定サイズの領域で構成され、本実施形態では基準画像中のｍ×ｎ画素の領域で設定される。
【００５１】
さらに、参照画像からは、図示しない制御部１１１の制御に基づいて、第１探索範囲が自動的に設定される。また、第１探索範囲の設定方法は上記方法に限定されるものではなく、予めユーザーが手動で設定してもよい。また、第１探索範囲内で第１探索範囲よりも狭い領域である第１参照領域を設定する。そして、第１参照領域に含まれる画像信号及び被写体距離情報が抽出される。さらに、第１探索範囲内では、例えばｘまたはｙ方向に画素をずらして、新たな第１参照領域が設定され、設定された第１参照領域の画像信号及び被写体距離情報が抽出される。本実施形態においては、参照画像中のＭ×Ｎ（Ｍ＞ｍ、Ｎ＞ｎ）画素の領域が第１探索範囲として設定される。また、第１参照領域として第１基準領域と同じサイズであるｍ×ｎ画素の領域が設定される。基準画像および参照画像の中から、圧縮せずに第１基準領域および第１参照領域を設定することで、高精度のマッチング処理を行うことができる。
【００５２】
第１探索範囲に第１基準領域と類似する第１参照領域がない場合には、第１の抽出部３０２は、再度、第１参照領域を第１探索範囲で最初に設定した位置に設定する。そして、再び第１参照領域から画像信号及び被写体距離情報の抽出を行う。
【００５３】
本実施形態では、第１探索範囲に第１基準領域と類似する第１参照領域があるかどうかを示す値として第１制御信号Ｓｎ１を使用する。第１制御信号Ｓｎ１は、第１探索範囲が設定された場合に初期値として「０」に設定される。そして、第１探索範囲の全領域において、第１参照領域が設定され、画像信号及び被写体距離情報の抽出が完了し、第１基準領域と類似する第１参照領域が第１探索範囲にないと判定されると、第１制御信号Ｓｎ１は判定部３０４または決定部３０６によって「１」に変更される。
【００５４】
また、詳しくは後述する第２探索範囲に第２基準領域と類似する第３参照領域があるかどうかを示す値として第２制御信号Ｓｎ２を使用する。
【００５５】
第１基準領域と第１参照領域とから抽出された画像信号および被写体距離情報と、第１制御信号Ｓｎ１と、は被写体距離演算部３０３へ出力される。また、第１基準領域と第１参照領域とから抽出された画像信号は、評価値算出部３０５とスケール変換部３０７とへ出力される。
【００５６】
被写体距離演算部３０３は、図示しない制御部１１１の制御に基づき、第１基準領域および第１参照領域から抽出された被写体距離情報を用いて、被写体距離平均ｄＡＶ、ｄ’ＡＶを演算する。
【００５７】
本実施形態では、第１基準領域中の各画素における被写体距離をｄ（ｘ、ｙ）（ｘ＝０、１、・・・、ｍ、ｙ＝０、１、・・・、ｎ）、第１参照領域中の各画素における被写体距離をｄ’（ｘ、ｙ）（ｘ＝０、１、・・・、ｍ、ｙ＝０、１、・・・、ｎ）と表記するものとする。座標（ｘ、ｙ）は例えば各領域の左上を（０、０）とし、ｘ、ｙは各領域内における画素を示す。また、ｘは右方向を正、ｙは下方向を正とする。
【００５８】
また、第１基準領域内の被写体距離ｄ（ｘ、ｙ）の平均値である被写体距離平均ｄＡＶを次の式（２）のように求める。また、第１参照領域内の被写体距離ｄ’（ｘ、ｙ）の平均値である被写体距離平均ｄ’ＡＶを次の式（３）のように求める。以下において、基準領域内の被写体距離平均ｄＡＶを第１被写体距離平均ｄＡＶとし、参照領域内の被写体距離平均ｄ’ＡＶを第２被写体距離平均ｄ’ＡＶとする。
【００５９】
【数２】
2010026801.tif 000004
【００６０】
【数３】
2010026801.tif 000005
【００６１】
また、被写体距離演算部３０３は、第１被写体距離平均ｄＡＶと、第２被写体距離平均ｄ’ＡＶと、の偏差である被写体距離差を算出する。そして、被写体距離差を判定部３０４へ出力する。
【００６２】
判定部３０４は、図示しない制御部１１１の制御に基づき、第１基準領域と第１参照領域とが類似するかどうか予備判定を行う。本実施形態では、第１基準領域と第１参照領域とが光学系１０１から略同一距離にあるか否かの判定を行う。
【００６３】
判定部３０４は、次に示す式（４）が成り立つなら、第１基準領域と第１参照領域とは光学系１０１から略同一距離であり、第１基準領域と第１参照領域とが類似すると予備判定する。一方、式（４）が成り立たないなら、第１基準領域と第１参照領域とは光学系１０１から略同一距離ではなく、第１基準領域と第１参照領域とが類似しないと予備判定する。
【００６４】
【数４】
2010026801.tif 000006
【００６５】
ここで閾値（第１閾値）Ｔ１は、予めユーザーにより設定された値であり、第１基準領域と第１参照領域とが光学系１０１から略同一距離であると判断することができる値である。また、閾値Ｔ１の設定方法はこれに限定されるものではなく、制御部１１１により自動的に設定されてもよい。式（４）が成り立つ場合には、判定部３０４は、評価値算出部３０５へ制御信号を出力する。また、式（４）が成り立たない場合には、判定部３０４は、第１の抽出部３０２へ制御信号を出力する。そして、第１の抽出部３０２によって新たに第１参照領域が設定されると、第１基準領域と新たに設定された第１参照領域とが略同一距離であるかどうかさらに判断する。
【００６６】
また、判定部３０４は、第１探索範囲に第１基準領域と類似する第１参照領域がない場合には、第１制御信号Ｓｎ１を「１」にする。
【００６７】
本実施形態では、第１被写体距離平均ｄＡＶと、第２被写体距離平均ｄ’ＡＶと、が式（４）を満たさない場合には、現在設定されている第１参照領域においては、その後のマッチング処理をスキップし、第１の抽出部３０２によって、新たな第１参照領域を設定する。このように被写体距離差が大きい場合には、その後の制御をスキップすることで、高速なマッチング処理を行うことができる。
【００６８】
また、判定部３０４は、第１制御信号Ｓｎ１が「１」の場合、つまり、第１探索範囲内で第１基準領域と類似する第１参照領域がないと判定された場合には、次に示す式（５）または式（６）が成り立つか否かを判定する。
【００６９】
【数５】
2010026801.tif 000007
【００７０】
【数６】
2010026801.tif 000008
【００７１】
判定部３０４は、式（５）が成り立つなら、第１基準領域が第１参照領域に比べて、光学系１０１から遠くにあると判断する。また、判定部３０４は、式（６）が成り立つなら、第１基準領域が第１参照領域に比べて、光学系１０１から近くにあると判断する。この時、判定部３０４は、第１被写体距離平均ｄＡＶ 、第２被写体距離平均ｄ’ＡＶをスケール変換部３０７へ出力する。
【００７２】
また、式（５）と式（６）とがともに成り立たない場合、判定部３０４は、第１の抽出部３０２へ制御信号を出力する。この場合には、第１の抽出部３０２は、次の第１参照領域から画像信号および被写体距離情報を抽出する。
【００７３】
本実施形態では、第１基準領域の第１被写体距離平均ｄＡＶと、第１参照領域の第２被写体距離平均ｄ’ＡＶと、が式（５）、式（６）を満たさない場合には、現在設定されている第１参照領域においては、その後のマッチング処理をスキップし、第１の抽出部３０２によって、新たな第１参照領域を設定する。これによって、高速なマッチング処理を行うことができる。
【００７４】
評価値算出部３０５は、図示しない制御部１１１の制御に基づき、第１基準領域と第１参照領域との類似性を示すマッチング評価値Ｖを算出する。マッチング評価値Ｖは、本実施形態では、第１基準領域と第１参照領域とにおける輝度信号Ｙの差分絶対値和（ＳＡＤ)を、画素数で正規化した値を用いる。本実施形態では、マッチング評価値Ｖは相違度を示す。そのため、マッチング評価値Ｖが小さいほど、第１基準領域と第１参照領域とは類似していることを示す。また、マッチング評価値Ｖの算出方法はこれに限定されるものではなく、差分二乗和（ＳＳＤ）や、被写体形状の相違度、などの各基準領域と各参照領域との類似性を示す指標であればよい。算出されたマッチング評価値Ｖは、決定部３０６に出力される。
【００７５】
また、評価値算出部３０５は、第１基準領域と詳しくは後述する第２参照領域、または第２基準領域と第３参照領域とのマッチング評価値Ｖを算出する。
【００７６】
決定部３０６は、図示しない制御部１１１の制御により、マッチング評価値Ｖに基づいて、第１基準領域と第１参照領域とのマッチングを行い、第１基準領域と類似する第１参照領域または類似性が高い第１参照領域を決定する。決定部３０６は、マッチング評価値Ｖを閾値Ｔ２と比較する。ここで閾値Ｔ２は、予めユーザーにより設定される値であり、第１基準領域と第１参照領域とが類似するかどうか判断することができる値である。また、閾値Ｔ２の設定方法はこれに限定されるものではなく、閾値Ｔ２は、制御部１１１により自動的に設定されてもよい。
【００７７】
マッチング評価値Ｖが閾値Ｔ２より小さい場合は、第１基準領域と第１参照領域とが類似すると判断する。そして、第１参照領域の位置情報、マッチング評価値Ｖ等のマッチング処理結果を信号処理部１０９へ出力する。
【００７８】
また、マッチング評価値Ｖが閾値Ｔ２以上である場合は、第１基準領域と第１参照領域とが類似しないと判断する。そして、この結果を第１の抽出部３０２、または領域設定部３０９へ転送する。
【００７９】
決定部３０６は、マッチング評価値Ｖが第１探索範囲内の他の第１参照領域のマッチング評価値Ｖより小さい場合には、これを最小マッチング評価値ＶＭＩＮとして算出する。そして、マッチング評価値Ｖ及び第１参照領域の位置情報を記憶する。第１探索範囲の全領域において、マッチング評価値Ｖが閾値Ｔ２より小さくならなかった場合は、最小マッチング評価値ＶＭＩＮを得た第１参照領域の位置情報、マッチング評価値Ｖ等のマッチング処理結果を信号処理部１０９へ出力する。
【００８０】
また、決定部３０６は、第１探索範囲に第１基準領域と類似する第１参照領域がない場合には、第１制御信号Ｓｎ１を「１」にする。
【００８１】
また、決定部３０６は、第１基準領域と類似する第２参照領域、または第２基準領域と類似する第３参照領域を、同様に決定する。また、決定部３０６は、第２探索範囲に第２基準領域と類似する第３参照領域がない場合には、第２制御信号Ｓｎ２を「１」にする。
【００８２】
スケール変換部３０７は、図示しない制御部１１１の制御に基づき、公知の画像縮小処理を行う。スケール変換部３０７は、第１被写体距離平均ｄＡＶ、第２被写体距離平均ｄ’ＡＶに基づいて画像信号の縮小処理を行う。第１被写体距離平均ｄＡＶ が第２被写体距離平均ｄ’ＡＶより大きい場合には、第１参照領域を含む参照画像中の領域を、ｄ’ＡＶ／ｄＡＶに線形比例した縮小処理を施し、ｍ×ｎ画素の第２参照領域を設定する。第２参照領域は第１基準領域における被写体の距離情報と略等しい距離情報を有し、かつ第１基準領域のサイズと等しいサイズの領域である。第１基準領域の画像信号と、第２参照領域の画像信号と、は輝度補正部３０８へ出力される。本実施形態では、スケール変換部３０７が領域設定部３０９の機能の一部を有している。
【００８３】
また、第１被写体距離平均ｄＡＶ が第２被写体距離平均ｄ’ＡＶより小さい場合には、第１基準領域の画像信号を、ｄＡＶ／ｄ’ＡＶに線形比例した縮小処理を施し、ｍ’×ｎ’（ｍ’＜ｍ、ｎ’＜ｎ）画素の第２基準領域を設定する。これにより、第２基準領域と第１参照領域とは被写体の距離情報が略等しい距離情報を有することになる。第１参照領域の画像信号と、第２基準領域の画像信号と、は輝度補正部３０８へ出力される。
【００８４】
また、スケール変換部３０７は、第１被写体距離平均ｄＡＶと、第２被写体距離平均ｄ’ＡＶを輝度補正部３０８へ出力する。
【００８５】
スケール変換部３０７は、第１被写体距離平均ｄＡＶと第２被写体距離平均ｄ’ＡＶとに基づいて、第１基準領域のサイズまたは第１参照領域を含んだ領域のサイズを変更し、第２基準領域または第２参照領域を設定する。これによって、被写体距離が異なる第１基準領域と第１参照領域において、光学系１０１に対する第１基準領域と第１参照領域との距離が略等しくなったものとして取り扱うことができる。以下において、これを被写体距離の差をなくす、と表現する。
【００８６】
被写体距離が異なる第１基準領域と第１参照領域とでは、被写体の大きさが異なるので、このような第１基準領域と第１参照領域とでは、類似しないと判定されるおそれがある。本実施形態では、スケール変換部３０７によって、第１基準領域と第１参照領域との被写体距離の差をなくすことで、被写体の大きさを揃えることができる。そのため、高精度のマッチング処理を行うことができる。
【００８７】
輝度補正部３０８は、図示しない制御部１１１の制御により、第１被写体距離平均ｄＡＶと第２被写体距離平均ｄ’ＡＶとに基づき、第２基準領域または第２参照領域の輝度補正を行う。
【００８８】
第１被写体距離平均ｄＡＶが第２被写体距離平均ｄ’ＡＶより大きい場合、スケール変換部３０７で縮小処理されて設定された第２参照領域の輝度信号Ｙは、ｄＡＶ／ｄ’ＡＶの２乗と、光学系１０１の有効Ｆナンバーの２乗と、の積に反比例する。なお、ｄＡＶ／ｄ’ＡＶの２乗や、光学系１０１の有効Ｆナンバーの２乗が例えば、画像信号を含む画像の特徴を示すパラメータに該当する。また、第１被写体距離平均ｄＡＶ が第２被写体距離平均ｄ’ＡＶより小さい場合、スケール変換部３０７で縮小処理されて設定された第２基準領域の輝度信号Ｙは、ｄ’ＡＶ／ｄＡＶの２乗と、光学系１０１の有効Ｆナンバーの２乗と、の積に反比例する。
【００８９】
そのため、輝度補正部３０８は、第１被写体距離平均ｄＡＶ、第２被写体距離平均ｄ’ＡＶと、光学系１０１の有効Ｆナンバーと、に基づいて、第２基準領域または第２参照領域の輝度信号Ｙを補正する。そして、補正された輝度信号Ｙは、画像信号とともに領域設定部３０９と第２の抽出部３１０とに出力される。なお、輝度補正は、第１基準領域または第１参照領域に対して行ってもよい。
【００９０】
被写体距離が異なる第１基準領域と第１参照領域とでは、被写体の輝度が異なる場合がある。輝度補正部３０８では、スケール変換部３０７によって第１基準領域または第１参照領域のスケールを変更した場合に、被写体距離に応じて、第２基準領域または第２参照領域の輝度信号を補正することで、さらに高精度のマッチング処理を行うことができる。
【００９１】
領域設定部３０９は、第１被写体距離平均ｄＡＶが第２被写体距離平均ｄ’ＡＶより小さい場合には、第１参照領域を第２探索範囲として、ｍ’×ｎ’画素の第３参照領域を第２探索範囲内で順次設定する。なお、本実施形態では、第１被写体距離平均ｄＡＶが第２被写体距離平均ｄ’ＡＶより小さい場合には、スケール変換部３０７によって、第２参照領域を設定したが、領域設定部３０９によって、第２参照領域を設定してもよい。
【００９２】
第２の抽出部３１０は、図示しない制御部１１１の制御に基づき、基準領域および参照領域から画像信号を抽出する。第２の抽出部３１０は、第１被写体距離平均ｄＡＶが第２被写体距離平均ｄ’ＡＶより大きい場合には、輝度補正部３０８から出力された、第１基準領域及び第２参照領域の画像信号をそのまま抽出し、評価値算出部３０５へ出力する。
【００９３】
また、第２の抽出部３１０は、第１被写体距離平均ｄＡＶが第２被写体距離平均ｄ’ＡＶよりも小さい場合には、第２基準領域と第３参照領域の画像信号を抽出し、評価値算出部３０５へ出力する。
【００９４】
なお、上述においては、画像信号処理装置として、光学系１０１、撮像素子１０２、輝度信号算出部１０３、測光センサ１０４、露光条件算出部１０５、光学系駆動部１０６等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された画像信号をデジタルデータの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録し、この記録媒体に記憶された情報を読み出して、画像信号処理装置により処理することも可能である。ここに、撮像部が別体となっている画像信号処理装置への情報の伝達は、記録媒体を介して行うことに限られることはなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。
【００９５】
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、被写体距離情報を持った画像信号をデジタルデータとしてコンピュータに入力し、別途のソフトウェアである画像信号処理プログラムにより処理するように構成することも可能である。
【００９６】
次に本実施形態のマッチング処理部１０８によって行うマッチング処理について、図５のフローチャートを用いて説明する。
【００９７】
ステップＳ１では、第１の抽出部３０２によって、第２のバッファ３０１に記録されている基準画像から、第１基準領域を設定し、第１基準領域に含まれる画像信号及び被写体距離情報を抽出する。
【００９８】
ステップＳ２では、被写体距離演算部３０３によって、式（２）に基づいて、第１被写体距離平均ｄＡＶを算出する。
【００９９】
ステップＳ３では、第１の抽出部３０２によって、第２のバッファ３０１に記録されている第１参照画像から、第１探索範囲を設定する。
【０１００】
ステップＳ４では、詳しくは後述する第１の平行移動制御を行う。第１の平行移動制御では、第１探索範囲内に第１基準領域と類似する第１参照領域があるかどうか判定する。第１探索範囲内に、第１基準領域と類似する第１参照領域がある場合には、第１制御信号Ｓｎ１が「０」となっている。また、第１探索範囲内で、第１基準領域と類似する第１参照領域がない場合には、第１制御信号Ｓｎ１が「１」となっている。
【０１０１】
ステップＳ５では、判定部３０４または決定部３０６によって、第１制御信号Ｓｎ１が「０」であるかどうか判定する。そして、第１制御信号Ｓｎ１が「０」である場合には、ステップＳ７へ進み、第１制御信号Ｓｎ１が「０」ではない場合、つまり第１制御信号Ｓｎ１が「１」である場合にはステップＳ６へ進む。
【０１０２】
ステップＳ６では、詳しくは後述するスケール変換制御を行う。スケール変換制御では、第１参照領域を縮小処理した第２参照領域と、第１基準領域と、が類似するかどうか判定する。また、第１基準領域を縮小処理した第２基準領域と、第１参照領域内で新たに設定される第３参照領域と、が類似するかどうか判定する。
【０１０３】
ステップＳ７では、決定部３０６によって、第１参照領域、第２参照領域、第３参照領域の位置情報、マッチング評価値Ｖなどのマッチング結果を出力し、マッチング処理を終了する。ここでは、第１基準領域または第２基準領域と類似する参照領域がある場合には、その参照領域の位置情報、マッチング評価値Ｖを出力する。また、第１基準領域または第２基準領域と類似する参照領域がない場合には、最小マッチング評価値ＶＭＩＮとなった参照領域の位置情報、マッチング評価値Ｖを出力する。
【０１０４】
ここで、図５に示すステップＳ４で行う第１の平行移動制御について、図６のフローチャートを用いて詳しく説明する。
【０１０５】
ステップＳ１１では、第１の抽出部３０２によって、第１探索範囲内で第１参照領域を設定し、第１参照領域の画像信号及び被写体距離情報を抽出する。
【０１０６】
ステップＳ１２では、被写体距離演算部３０３によって、式（３）に基づいて、第２被写体距離平均ｄ’ＡＶを算出し、第１被写体距離平均ｄＡＶと第２被写体距離平均ｄ’ＡＶとの偏差である被写体距離差を算出する。
【０１０７】
ステップＳ１３では、判定部３０４によって、第１基準領域と第１参照領域とが類似するかどうか予備判定を行う。ステップＳ１３では、式（４）に基づいて、第１基準領域と第１参照領域とが略同一距離にあるかどうか判定する。式（４）を満たす場合、つまり第１被写体距離平均ｄＡＶと、第２被写体距離平均ｄ’ＡＶと、の偏差の絶対値が、閾値Ｔ１よりも小さい場合には、第１基準領域と第１参照領域とが略同一距離にあると判定する。つまり、第１基準領域と第１参照領域とが類似すると予備判定する。一方、式（４）を満たさない場合、つまり第１被写体距離平均ｄＡＶと、第２被写体距離平均ｄ’ＡＶと、の偏差の絶対値が、閾値Ｔ１以上である場合には、第１基準領域と第１参照領域とは略同一距離ではないと判定する。つまり、第１基準領域と第１参照領域とが類似しないと予備判定する。そして、式（４）を満たす場合には、ステップＳ１４へ進み、式（４）を満たさない場合には、ステップＳ１８へ進む。
【０１０８】
ステップＳ１４では、評価値算出部３０５によって、第１基準領域と第１参照領域とにおける輝度信号Ｙの差分絶対値和を画素数で正規化することによって、第１基準領域と第１参照領域とのマッチング評価値Ｖを算出する。
【０１０９】
ステップＳ１５では、決定部３０６によって、マッチング評価値Ｖが予め設定された閾値Ｔ２よりも小さいかどうか判定する。そして、マッチング評価値Ｖが閾値Ｔ２よりも小さい場合には、第１基準領域と第１参照領域とが類似すると判定し、第１制御信号Ｓｎ１を「０」に維持して、第１の平行移動制御を終了する。また、マッチング評価値Ｖが閾値Ｔ２以上である場合には、第１基準領域と第１参照領域とが類似しないと判定し、ステップＳ１６へ進む。
【０１１０】
ステップＳ１６では、マッチング評価値Ｖが、第１探索範囲内の他の第１参照領域におけるマッチング評価値Ｖの最小値である最小マッチング評価値ＶＭＩＮよりも小さいかどうか判定する。そして、マッチング評価値Ｖが、最小マッチング評価値ＶＭＩＮよりも小さい場合には、ステップＳ１７へ進む。また、マッチング評価値Ｖが、最小マッチング評価値ＶＭＩＮ以上である場合には、ステップＳ１８へ進む。
【０１１１】
ステップＳ１７では、マッチング評価値Ｖを最小マッチング評価値ＶＭＩＮとして記憶する。また、マッチング評価値Ｖの第１参照領域の位置を記憶する。
【０１１２】
ステップＳ１８では、判定部３０４または決定部３０６によって、第１探索範囲の全領域で、第１参照領域が設定されたかどうか判定する。そして、第１探索範囲の全領域で、第１参照領域が設定された場合には、ステップＳ１９へ進む。また、第１探索範囲のいずれかの領域で、第１参照領域が設定されていない場合には、ステップＳ１１へ戻り、第１探索範囲内で、新たな第１参照領域を設定する。
【０１１３】
ステップＳ１９では、判定部３０４または決定部３０６によって、第１制御信号Ｓｎ１を「１」に変更して、平行移動制御を終了する。
【０１１４】
以上の制御によって、第１基準領域と類似する第１参照領域を、第１探索領域内で探索する。第１基準領域と第１参照領域との被写体距離の差が大きい場合には、その第１参照領域については、その後のマッチング処理を行わず、第１探索範囲内で新たな第１参照領域を設定する。これによって、マッチング処理の演算処理時間を短縮し、高速のマッチング処理を行うことができる。また、基準画像から第１基準領域を設定し、参照画像から第１参照領域を設定することで、マッチング処理の精度低下を抑制することができる。
【０１１５】
次に、図５に示すステップＳ６で行うスケール変換制御について、図７のフローチャートを用いて詳しく説明する。スケール変換制御は、第１探索範囲内の全範囲において、第１参照領域と第１基準領域とが類似しないと判定された場合に行われる。
【０１１６】
ステップＳ２１では、第１の抽出部３０２によって、第１探索範囲内で第１参照領域を設定し、第１参照領域の画像信号および被写体距離情報を抽出する。
【０１１７】
ステップＳ２２では、被写体距離演算部３０３によって、式（３）に基づいて、第２被写体距離平均ｄ’ＡＶを算出し、第１被写体距離平均ｄＡＶと、第２被写体距離平均ｄ’ＡＶと、の偏差である被写体距離差を算出する。
【０１１８】
ステップＳ２３では、判定部３０４によって、被写体距離差が式（５）を満たすかどうか判定する。つまり、第１被写体距離平均ｄＡＶと、第２被写体距離平均ｄ’ＡＶと、の偏差が予め設定された閾値Ｔ１以上であるかどうか判定する。そして、式（５）を満たす場合には、光学系１０１に対して、第１参照領域が第１基準領域よりも近く、第１参照領域と第１基準領域との被写体距離の差が大きいと判定し、ステップＳ２４へ進む。また、式（５）を満たさない場合には、光学系１０１に対して、第１参照領域が第１基準領域よりも遠いと判定し、ステップＳ３１へ進む。
【０１１９】
ステップＳ２４では、スケール変換部３０７によって、第１参照領域を含む第１探索範囲内の画素を用いて、縮小処理を行う。そして、新たに第２参照領域を設定する。ここでは、第２参照領域は、第１基準領域と同じサイズのｍ×ｎ画素の領域となるように設定する。これによって、第１基準領域と第１参照領域との被写体距離が異なる場合でも、第１基準領域と第２参照領域との被写体距離の差をなくすことができ、高精度なマッチング処理を行うことができる。
【０１２０】
ステップＳ２５では、輝度補正部３０８によって、第１被写体距離平均値ｄＡＶと、第２被写体距離平均値ｄ’ＡＶと、光学系１０１の有効Ｆナンバーに基づいて、第２参照領域の輝度信号Ｙを補正する。これによって、第１基準領域の輝度と第２参照領域の輝度とが略同一輝度となる。そのため、第１基準領域と第２参照領域とのマッチング処理をさらに高精度に行うことができる。
【０１２１】
ステップＳ２６では、第２の抽出部３１０によって抽出された第１基準領域の画像信号と第２参照領域の画像信号とに基づき、評価値算出部３０５によって、第１基準領域と第２参照領域とにおける輝度信号Ｙの差分絶対値和を画素数で正規化する。これによって、第１基準領域と第２参照領域とのマッチング評価値Ｖを算出する。
【０１２２】
ステップＳ２７では、決定部３０６によって、マッチング評価値Ｖが予め設定された閾値Ｔ２よりも小さいかどうか判定する。そして、マッチング評価値Ｖが閾値Ｔ２よりも小さい場合には、第１基準領域と第２参照領域とが類似すると判定し、本制御を終了する。また、マッチング評価値Ｖが閾値Ｔ２以上である場合には、第１基準領域と第２参照領域とが類似しないと判定し、ステップＳ２８へ進む。
【０１２３】
ステップＳ２８では、決定部３０６によって、ステップＳ２６によって算出したマッチング評価値Ｖが、現在記憶している最小マッチング評価値ＶＭＩＮよりも小さいかどうか判定する。そして、ステップＳ２６によって算出したマッチング評価値Ｖが、現在の最小マッチング評価値ＶＭＩＮよりも小さい場合には、ステップＳ２９へ進む。一方、ステップＳ２６によって算出したマッチング評価値Ｖが、最小マッチング評価値ＶＭＩＮ以上である場合には、ステップＳ３０へ進む。
【０１２４】
ステップＳ２９では、決定部３０６によって、ステップＳ２６によって算出したマッチング評価値Ｖを最小マッチング評価値ＶＭＩＮとして記憶する。また、ステップＳ２６によって算出したマッチング評価値Ｖの第２参照領域の位置を記憶する。
【０１２５】
ステップＳ３０では、判定部３０４または決定部３０６によって、第１探索範囲の全領域で、第１参照領域が設定されたかどうか判定する。そして、第１探索範囲の全領域で、第１参照領域が設定された場合には、この制御を終了する。また、第１探索範囲のいずれかの領域で、第１参照領域が設定されていない場合には、ステップＳ２１へ戻り、新たな第１参照領域を設定する。
【０１２６】
一方、ステップＳ２３において、式（５）を満たさないと判定された場合には、ステップＳ３１において、被写体距離差が式（６）を満たすかどうか判定する。そして、被写体距離差が式（６）を満たす場合には、光学系１０１に対して、第１参照領域が第１基準領域よりも遠く、第１参照領域と第１基準領域との被写体距離の差が大きいと判定し、ステップＳ３２へ進む。一方、被写体距離差が式（６）を満たさない場合には、ステップＳ３０へ進む。
【０１２７】
ステップＳ３２では、スケール変換部３０７において、第１被写体距離平均ｄＡＶ、第２被写体距離平均ｄ’ＡＶに基づいて第１基準領域の縮小処理を行い、第２基準領域を設定する。第２基準領域は、ｍ’×ｎ’画素となるように設定する。これにより、第２基準領域と第１参照領域との被写体距離の差をなくすことができ、高精度なマッチング処理を行うことができる。
【０１２８】
ステップＳ３３では、輝度補正部３０８によって、第１被写体距離平均値ｄＡＶと、第２被写体距離平均値ｄ’ＡＶと、光学系１０１の有効Ｆナンバーに基づいて、ステップＳ３２によって設定した第２基準領域の輝度信号Ｙを補正する。これによって、第２基準領域の輝度と第１参照領域の輝度とを略同一輝度とすることができ、さらに高精度なマッチング処理を行うことができる。
【０１２９】
ステップＳ３４では、第２基準領域と第１参照領域とを用いて、詳しくは後述する第２の平行移動制御を行う。第２の平行移動制御では、第１参照領域を第２探索範囲と設定し、第２基準領域と類似する第３参照領域が第２探索範囲にあるかどうか判定する。第２基準領域と類似する第３参照領域がある場合には、第２制御信号Ｓｎ２が「０」となっている。また、第２基準領域と類似する第３参照領域がない場合には、第２制御信号Ｓｎ２が「１」となっている。
【０１３０】
ステップＳ３５では、決定部３０６によって第２制御信号Ｓｎ２が「０」であるかどうか判定する。そして、第２制御信号Ｓｎ２が「０」である場合には、本制御を終了し、第２制御信号Ｓｎ２が「１」である場合にはステップＳ３０へ進む。つまり、第２探索範囲内に、第２基準領域と類似する箇所がある場合には、本制御を終了する。一方、第２探索範囲内に、第２基準領域と類似する第３参照領域がない場合には、ステップＳ３０へ進む。
【０１３１】
以上の制御によって、第１被写体距離平均ｄＡＶと第２被写体距離平均ｄ’ＡＶとの偏差が大きい場合でも、スケール変換および輝度補正を行うことでマッチング処理を行うことができる。
【０１３２】
次に、図７のステップＳ３４で示す第２の平行移動制御について図８のフローチャートを用いて説明する。
【０１３３】
ステップＳ４１では、領域設定部３０９によって、第１参照領域を第２探索範囲として設定し、第２探索範囲内で第３参照領域を設定する。そして、第２の抽出部３１０によって、第２基準領域の画像信号と第３参照領域の画像信号とを抽出する。第３参照領域は第２基準領域と同じサイズとなるｍ’×ｎ’画素の領域である。また、第２探索範囲に対して第２制御信号Ｓｎ２が設定され、第２制御信号Ｓｎ２は初期値として「０」が設定される。
【０１３４】
ステップＳ４２では、評価値算出部３０５によって、第２基準領域と第３参照領域とのマッチング評価値Ｖを算出する。
【０１３５】
ステップＳ４３では、決定部３０６によって、マッチング評価値Ｖが閾値Ｔ２よりも小さいかどうか判定する。そして、マッチング評価値Ｖが閾値Ｔ２よりも小さい場合には、第２基準領域と第３参照領域とが類似すると判定し、第２制御信号Ｓｎ２を「０」に維持して、第２の平行移動制御を終了する。また、マッチング評価値Ｖが閾値Ｔ２以上である場合には、第２基準領域と第３参照領域とが類似しないと判定し、ステップＳ４４へ進む。
【０１３６】
ステップＳ４４では、マッチング評価値Ｖが現在の最小マッチング評価値ＶＭＩＮよりも小さいかどうか判定する。そして、マッチング評価値Ｖが最小マッチング評価値ＶＭＩＮよりも小さい場合には、ステップＳ４５へ進む。また、マッチング評価値Ｖが、最小マッチング評価値ＶＭＩＮ以上である場合には、ステップＳ４６へ進む。
【０１３７】
ステップＳ４５では、マッチング評価値Ｖを最小マッチング評価値ＶＭＩＮとして記憶する。また、マッチング評価値Ｖの第３参照領域の位置を記憶する。
【０１３８】
ステップＳ４６では、決定部３０６によって、第２探索範囲の全領域で、第３参照領域が設定されたかどうか判定する。つまり、図７のステップＳ２１によって設定された第１参照領域の全領域で、第３参照領域が設定されたかどうか判定する。そして、第２探索範囲の全領域で第３参照領域が設定された場合には、ステップＳ４７へ進む。また、第２探索範囲のいずれかの領域で、第３参照領域が設定されていない場合には、ステップＳ４７へ戻り、第２探索範囲内で、次の第３参照領域を設定する。
【０１３９】
ステップＳ４７では、決定部３０６によって、第２制御信号Ｓｎ２を「１」に変更して、第２の平行移動制御を終了する。
【０１４０】
被写体距離差が式（６）を満たす場合に、第２の平行移動制御を行う。第２の平行移動制御では、第１探索範囲で第２基準領域とのマッチング処理を行うのではなく、第１参照領域内で設定される第３参照領域と第２基準領域とのマッチング処理を行うことで、第２基準領域との比較領域を小さくし、高速なマッチング処理を行うことができる。また、第２基準領域と第２探索範囲との被写体距離の差はなくなっているので、予備判定を行う必要がなく、高速なマッチング処理を行うことができる。
【０１４１】
本発明の第１実施形態の効果について説明する。
【０１４２】
本実施形態では、第１基準領域の第１被写体距離平均ｄＡＶと、第１参照領域の第２被写体距離平均ｄ’ＡＶと、の偏差が小さいかどうか予備判定を行う。そして、第１基準領域の第１被写体距離平均ｄＡＶと、第１参照領域の第２被写体距離平均ｄ’ＡＶと、の偏差が小さい場合にのみ、第１基準領域と第１参照領域とのマッチング評価値Ｖを算出する。そして、マッチング評価値Ｖが閾値Ｔ２よりも小さいかどうか判定を行う。一方、第１被写体距離平均ｄＡＶと第２被写体距離平均ｄ’ＡＶとの偏差が大きい場合には、その第１参照領域における、その後のマッチング処理をスキップし、第１探索範囲内で新たに第１参照領域を設定する。そして、第１基準領域と新たに設定した第１参照領域との間で、同様にマッチング処理を行う。第１基準領域と第１参照領域との被写体距離が大きく離れている場合に、その第１参照領域における、その後のマッチング処理をスキップすることで、マッチング処理を高速に行うことができる。また、基準画像中から第１基準領域を設定し、参照画像中から第１参照領域を設定することで、マッチング精度を低下させることなく、マッチング処理を行うことができる。
【０１４３】
被写体が同一であっても、図１３に示すように、撮像系に対する被写体の距離が変わることにより、被写体の輝度レベルや大きさが略同一でなくなった場合には、被写体の検出能力が著しく低下し、高精度のマッチング処理を行うことができない。図１３（ａ）は被写体距離が小さい場合の被写体であり、図１３（ｂ）は被写体距離が大きい場合の被写体である。
【０１４４】
しかし、本実施形態では、第１被写体距離平均ｄＡＶと第２被写体距離平均ｄ’ＡＶとの偏差の絶対値が閾値Ｔ１よりも大きい場合に、スケール変換部３０７によって、第１基準領域または第１参照領域を被写体距離に応じてスケール変換し、第２基準領域または第２参照領域を設定する。そして、第１基準領域と第２参照領域、または第２基準領域と第３参照領域の間でマッチング処理を行う。これによって、被写体距離の差をなくしてマッチング処理を行うことができ、高精度のマッチング処理を行うことができる。
【０１４５】
また、輝度補正部３０８によって、第２基準領域または第２参照領域に対して、被写体距離に応じて、輝度補正を行う。これによって、さらに高精度のマッチング処理を行うことができる。
【０１４６】
第１被写体距離平均ｄＡＶと第２被写体距離平均ｄ’ＡＶとを、例えば式（２）、式（３）に基づいて算出することで、高精度の被写体距離を算出することができる。この被写体距離を用いて、マッチング処理を行うことで、高精度のマッチング処理を行うことができる。
【０１４７】
光学系１０１に対して、第１参照領域が第１基準領域よりも遠く、第１参照領域と第１基準領域との被写体距離の差が大きい場合に、第２基準領域を設定する。また、第１参照領域を第２探索範囲として、第２探索範囲内で第３参照領域を設定する。そして、第２基準領域と第３参照領域との間でマッチング処理を行う。第３参照領域を第２探索範囲に設定することで、第２基準領域との比較領域を小さくすることができ、高速なマッチング処理を行うことができる。また、第２基準領域と第２探索範囲とは被写体距離の差がなくなっているので、予備判定を行う必要がなく、高速なマッチング処理を行うことができる。
【０１４８】
次に本発明の第２実施形態について図９を用いて説明する。図９は、本実施形態の全体構成を示す図である。
【０１４９】
第２実施形態については第１実施形態と異なる部分を中心に説明する。本実施形態では、第１実施形態と同じ構成については、同一符号を付してここでの説明を省略する。
【０１５０】
本実施形態の画像処理装置は、第１実施形態の構成に換えて、光学系４０１、４０３と、撮像素子４０２、４０４と、被写体距離算出部４０７と、マッチング処理部４０８と、を備える。その他の基本的な構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付している。
【０１５１】
光学系４０１は、光学像を撮像素子４０２に結像させる。また、光学系４０３は、光学像を撮像素子４０４に結像させる。
【０１５２】
撮像素子４０２、４０４は、それぞれ結像した光学像を光電変換し、輝度信号算出部１０３へ出力する。
【０１５３】
被写体距離算出部４０７は、撮像素子４０２、４０４から輝度信号算出部１０３を介して転送された画像信号から、公知である光学的に視差を有する複数画像から被写体距離を算出する方法を用いて、被写体距離を算出する。被写体距離算出部４０７は、算出した被写体距離をマッチング処理部４０８へ出力する。
【０１５４】
マッチング処理部４０８は、被写体距離算出部４０７から出力される画像信号を用いてマッチング処理を行う。マッチング結果と画像信号とは信号処理部１０９へ転送される。
【０１５５】
次に図１０を用いて、マッチング処理部４０８について詳しく説明する。
【０１５６】
マッチング処理部４０８は、第２のバッファ３０１と、回転部５０１と、第１の抽出部５０２と、被写体距離演算部（第２被写体距離演算部）５０３と、判定部５０４と、評価値算出部３０５と、決定部３０６と、を備える。
【０１５７】
第１の抽出部５０２は、図示しない制御部１１１の制御に基づき、第１基準領域と第１参照領域とを設定する。そして、マッチング処理の対象となる第１基準領域及び第１参照領域に含まれる、画像信号及び被写体距離情報を抽出する。本実施形態においては、第１基準領域、第１参照領域としてＬ×Ｌ画素の略正方形となる領域を設定する。第１基準領域と第１参照領域から抽出された画像信号と被写体距離情報と、第３制御信号Ｓｎ３と、は回転部５０１へ出力される。
【０１５８】
回転部５０１は、図示しない制御部１１１の制御に基づき、公知の画像回転処理により、第１基準領域の画像信号及び被写体距離情報を、第１基準領域を回転させた場合に得られる画像信号及び被写体距離情報となるように変換する。以下において、この変換を第１基準領域の回転と表現する。回転部５０１は、第３制御信号Ｓｎ３に基づき、第３制御信号Ｓｎ３が「０」の場合は、回転処理を行わない。回転部５０１は、第３制御信号Ｓｎ３が増加すると共に、予め設定された回転範囲内で、任意の回転角（所定角度）で第１基準領域を回転させて画像処理を繰り返す。
【０１５９】
第３制御信号Ｓｎ３は、第１基準領域の回転度を示す信号である。第３制御信号Ｓｎ３は、初期値として「０」に設定され、第１探索範囲で、第１基準領域と第１参照領域とが類似しないと判断されると１増加する。第３制御信号Ｓｎ３が１増加すると回転部５０１は第１基準領域を任意の回転角で回転させる。
【０１６０】
本実施形態では、第１基準領域の回転範囲と、１回の回転処理における回転角は、予めユーザーにより設定される。また、回転範囲、回転角の設定方法は上記に限定されるものではなく、制御部１１１により自動的に設定されてもよい。本実施形態では、回転部５０１は、第３制御信号Ｓｎ３が１増加する毎に回転角９０°の回転処理を施す。なお、回転角はこれに限られることはない。回転範囲は、３６０°に設定する。第１基準領域を２７０°回転し、第１参照領域とマッチング処理を行い、第１基準領域と類似する第１参照領域がない場合には、回転部５０１は、回転終了を示す信号を決定部３０６へ出力する。回転部５０１により処理された第１基準領域の被写体距離情報は、被写体距離演算部５０３へ出力される。また、回転処理された第１基準領域の画像信号は評価値算出部３０５へ出力される。また、第１参照領域は回転処理を施されず、第１参照領域の被写体距離情報は被写体距離演算部５０３へ、画像信号は評価値算出部３０５へ、夫々出力される。
【０１６１】
被写体距離演算部５０３は、図示しない制御部１１１の制御に基づき、回転部５０１から出力された第１基準領域及び第１参照領域の被写体距離情報を用い演算処理を行う。
【０１６２】
ここで、第１基準領域内の被写体距離ｄ(ｘ、ｙ)、第１参照領域内の被写体距離ｄ’(ｘ、ｙ)の差分を被写体距離差Ｄ(ｘ、ｙ)と表し、次の式（７）のように求める。
【０１６３】
【数７】
2010026801.tif 000009
【０１６４】
次に、第１参照領域の四隅における被写体距離差の最大値をＤＭＡＸと表し、次の式（８）のように求める。式（８）におけるＭＡＸは、括弧内の数値の最大値を算出する関数とする。
【０１６５】
【数８】
2010026801.tif 000010
【０１６６】
また、第１参照領域の四隅における被写体距離差の最小値をＤＭＩＮと表し、次の式（９）のように求める。式（９）におけるＭＩＮは、括弧内の数値の最小値を算出する関数とする。
【０１６７】
【数９】
2010026801.tif 000011
【０１６８】
これによって、第１基準領域と第１参照領域との四隅の画素に対する被写体距離差Ｄ（ｘ、ｙ）の最大値ＤＭＡＸと最小値ＤＭＩＮとを算出する。
【０１６９】
さらに、第１基準領域と第１参照領域の４辺における傾きの差をＡＮＧｓ(ｓ＝ｕｐ、ｄｏｗｎ、ｌｅｆｔ、ｒｉｇｈｔ）と表し、次の式（１０）のように求める。
【０１７０】
【数１０】
2010026801.tif 000012
【０１７１】
これによって、第１基準領域の光軸に対する傾きと、第１参照領域の光軸に対する傾きと、の差を算出することができる。ＡＮＧｓはゼロに近い程、第１基準領域と第１参照領域とが、光軸に対して等しい角度で傾いていることを示す。
【０１７２】
被写体距離演算部５０３は、被写体距離差をＤＭＡＸ、ＤＭＩＮ、ＡＮＧｓを判定部５０４へ出力する。
【０１７３】
判定部５０４は、図示しない制御部１１１の制御に基づき、第１基準領域と第１参照領域が略同一距離であり、かつ光軸方向に対して略同一の傾きであるか否かの判定を行う。
【０１７４】
判定部５０４は、次に示す式（１１）が成り立つなら、光学系４０１、４０３に対して、第１基準領域と第１参照領域とが略同一距離であると判断する。一方、式（１１）が成り立たない場合には、光学系４０１、４０３に対して、第１基準領域と第１参照領域とが略同一距離ではないと判断する。
【０１７５】
【数１１】
2010026801.tif 000013
【０１７６】
閾値（第２閾値）Ｔ３は、予めユーザーによって設定される値であり、第１基準領域と第１参照領域とが略同一距離であると判断することができる値である。また、閾値Ｔ３の設定方法は、上記方法に限定されることはなく、制御部１１１により自動的に設定されてもよい。
【０１７７】
さらに、次に示す式（１２）が成り立つなら、判定部５０４は、第１基準領域と第１参照領域は光軸方向において略同一の傾きであると判断する。一方、式（１２）が成り立たない場合には、第１基準領域と第１参照領域とは光軸方向において略同一の傾きではないと判断する。
【０１７８】
【数１２】
2010026801.tif 000014
【０１７９】
閾値Ｔ４は、予めユーザーによって設定される値であり、第１基準領域と第１参照領域とが略同一の傾きであると判断することができる値である。また、閾値Ｔ４の設定方法は、上記方法に限定されることはなく、制御部１１１により自動的に設定されてもよい。
【０１８０】
式（１１）、式（１２）が成り立つ場合には、判定部５０４は、評価値算出部３０５へ制御信号を出力する。また、式（１１）、式（１２）が成り立たない場合には、判定部５０４は、第１基準領域と第１参照領域とが類似しないと判定し、第１の抽出部５０２へ制御信号を出力する。これによって第１の抽出部５０２では、新たな第１参照領域が設定される。
【０１８１】
このように、第１基準領域と第１参照領域との被写体距離差が大きい場合、または第１基準領域と第１参照領域との光軸に対する傾きが異なっている場合には、その第１参照領域におけるマッチング処理をスキップする。これによって、高速のマッチング処理を行うことができる。
【０１８２】
なお、上述においては、画像信号処理装置として、光学系４０１、４０３、撮像素子４０２、４０４、輝度信号算出部１０３、等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された画像信号をデジタルデータの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、画像信号処理装置により処理することも可能である。ここに、撮像部が別体となっている画像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。
【０１８３】
次に本実施形態のマッチング処理について、図１１のフローチャートを用いて説明する。
【０１８４】
ステップＳ５１では、第１の抽出部５０２によって、第２のバッファ３０１に記録されている基準画像から、第１基準領域を設定し、第１基準領域に含まれる画像信号及び被写体距離情報を抽出する。
【０１８５】
ステップＳ５２では、第１の抽出部５０２によって、第２のバッファ３０１に記録されている参照画像から、第１探索範囲を設定する。
【０１８６】
ステップＳ５３では、詳しくは後述する第３の平行移動制御を行う。第３の平行移動制御では、第１探索範囲内に第１基準領域と類似する第１参照領域があるかどうか判定する。第３の平行移動制御においては、第１基準領域と類似する第１参照領域がある場合には、第３制御信号Ｓｎ３は「０」となる。また、第１基準領域と類似する第１参照領域がない場合には、第３制御信号Ｓｎ３は「０」とはならない。本実施形態では、このような場合には、第３制御信号Ｓｎ３は「１」、「２」、「３」、「４」となる。
【０１８７】
ステップＳ５４では、判定部５０４によって、第３制御信号Ｓｎ３が「０」であるかどうか判定する。そして、第３制御信号Ｓｎ３が「０」である場合には、ステップＳ５７へ進み、第３制御信号Ｓｎ３が「０」ではない場合にはステップＳ５５へ進む。
【０１８８】
ステップＳ５５では、第１基準領域を初期位置から２７０°回転させて、第１参照領域とマッチングを行ったかどうか判定する。そして、第１基準領域を２７０°回転させて第１参照領域とマッチングを行った場合には、ステップＳ５７へ進む。また、第１基準領域を２７０°回転させてマッチングを行っていない場合には、ステップＳ５６へ進む。
【０１８９】
第１基準領域を初期位置から２７０°回転させて第１参照領域とマッチングを行ったかどうかを判定する方法としては、第３制御信号Ｓｎ３が「４」となっているかどうか判定することにより行ってもよい。
【０１９０】
ステップＳ５６では、回転部５０１によって、公知の回転処理によって、第１基準領域を現在の第１基準領域の角度から９０°回転させる。そして、ステップＳ５３へ戻り、上記制御を繰り返す。
【０１９１】
ステップＳ５７では、決定部３０６によって、第１参照領域の位置情報、マッチング評価値Ｖなどのマッチング結果を出力し、マッチング処理を終了する。
【０１９２】
以上の制御により、被写体が回転した場合に、回転部５０１によって、第１基準領域を回転させて、第１参照領域とのマッチング処理を行うことができ、高精度のマッチング処理を行うことができる。
【０１９３】
次に図１１に示すステップＳ５３における第３の平行移動制御について、図１２のフローチャートを用いて詳しく説明する。
【０１９４】
ステップＳ６１では、第１の抽出部３０２によって、第１探索範囲内で第１参照領域を設定し、第１参照領域の画像信号及び被写体距離情報を抽出する。
【０１９５】
ステップＳ６２では、被写体距離演算部５０３によって、式（８）、式（９）に基づいて、第１基準領域の四隅の画素と、第１基準領域の四隅の画素に対応する第１参照領域の四隅の画素と、における被写体距離差Ｄ（ｘ、ｙ）の最大値ＤＭＡＸ、最小値ＤＭＩＮを算出する。図１１のステップＳ５６によって、第１基準領域を回転させた場合には、回転させた第１基準領域の四隅の画素と、第１参照領域の四隅の画素と、における被写体距離差Ｄ（ｘ、ｙ）の最大値ＤＭＡＸ、最小値ＤＭＩＮを算出する。
【０１９６】
ステップＳ６３では、判定部５０４によって、式（１１）に基づいて、第１基準領域と第１参照領域とが光学系４０１、４０３に対して、略同一距離にあるかどうか判定する。そして、式（１１）を満たす場合には、第１基準領域と第１参照領域とが光学系４０１、４０３に対して略同一距離にあると判定し、ステップＳ６４へ進む。また、式（１１）を満たさない場合には、第１基準領域と第１参照領域とが光学系４０１、４０３に対して略同一距離にないと判定し、ステップＳ７１へ進む。
【０１９７】
第１基準領域と第１参照領域とが光学系４０１、４０３に対して、略同一距離にない場合には、この第１参照領域におけるその後のマッチング処理をスキップすることで、マッチング処理を高速に行うことができる。
【０１９８】
ステップＳ６４では、被写体距離演算部５０３によって、式（１０）に基づいて、第１基準領域の４辺と、それに対応する第１参照領域の４辺と、の傾きの差ＡＮＧｓ（ｓ＝ｕｐ、ｄｏｗｎ、ｌｅｆｔ、ｒｉｇｈｔ）を算出する。
【０１９９】
ステップＳ６５では、判定部５０４によって、式（１２）に基づいて、光軸に対する第１基準領域と第１参照領域との傾きが略同一であるかどうか判定する。そして、第１基準領域と第１参照領域とが光軸に対して略同一の傾きである場合には、ステップＳ６６へ進む。また、第１基準領域と第１参照領域とが光軸に対して略同一の傾きではない場合には、ステップＳ７１へ進む。第１基準領域と第１参照領域との光軸に対する傾きの差ＡＮＧｓが大きい場合には、その第１参照領域におけるその後のマッチング処理をスキップする。これによって、マッチング処理を高速に行うことができる。
【０２００】
ステップＳ６６では、評価値算出部３０５によって、第１基準領域と第１参照領域とにおける輝度信号Ｙの差分絶対値和を画素数で正規化することによって、第１基準領域と第１参照領域とのマッチング評価値Ｖを算出する。
【０２０１】
ステップＳ６７では、決定部３０６によって、マッチング評価値Ｖが予め設定された閾値Ｔ２よりも小さいかどうか判定する。そして、マッチング評価値Ｖが閾値Ｔ２よりも小さい場合には、第１基準領域と第１参照領域とが類似すると判定し、ステップＳ６８へ進む。また、マッチング評価値Ｖが閾値Ｔ２以上である場合には、第１基準領域と第１参照領域とが類似しないと判定し、ステップＳ６９へ進む。
【０２０２】
ステップＳ６８では、第３制御信号Ｓｎ３を「０」として、第３の平行移動制御を終了する。ここでは、第３制御信号Ｓｎ３が「１」、「２」、「３」であった場合に、第１基準領域と第１参照領域とが類似すると判定されると、第３制御信号Ｓｎ３を「０」に変更する。
【０２０３】
ステップＳ６９では、マッチング評価値Ｖが、第１探索範囲内の他の第１参照領域におけるマッチング評価値Ｖの最小値である最小マッチング評価値ＶＭＩＮよりも小さいかどうか判定する。そして、マッチング評価値Ｖが、最小マッチング評価値ＶＭＩＮよりも小さい場合には、ステップＳ７０へ進む。また、マッチング評価値Ｖが、最小マッチング評価値ＶＭＩＮよりも大きい場合には、ステップＳ７１へ進む。
【０２０４】
ステップＳ７０では、ステップＳ６６によって算出したマッチング評価値Ｖを最小マッチング評価値ＶＭＩＮとして記憶する。また、ステップＳ６６によって算出したマッチング評価値Ｖの第１参照領域の位置を記憶する。
【０２０５】
ステップＳ７１では、第１探索範囲の全領域で、第１参照領域が設定されたかどうか判定する。そして、第１探索範囲の全領域で、第１参照領域が設定された場合には、ステップＳ７２へ進む。また、第１探索範囲のいずれかの領域で、第１参照領域が設定されていない場合には、ステップＳ６１へ戻り、次の第１参照領域を設定する。
【０２０６】
ステップＳ７２では、第３制御信号Ｓｎ３に１を加算して、この第３の平行移動制御を終了する。例えば、第１基準領域を回転させずに、第１参照領域とのマッチングを行い、第１探索範囲に第１基準領域と類似する第１参照領域がない場合には、第３制御信号Ｓｎ３を「０」から「１」へ変更する。また、第１基準領域を２７０°回転させて、第１参照領域とマッチングを行い、第１探索範囲に回転させた第１基準領域と類似する第１参照領域がない場合には、第３制御信号Ｓｎ３を「３」から「４」へ変更する。
【０２０７】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０２０８】
なお、第１実施形態と第２実施形態とにおけるマッチング処理を組み合わせたマッチング処理を画像処理装置において行ってもよい。
【０２０９】
本発明の第２実施形態の効果について説明する。
【０２１０】
本実施形態では、第１基準領域の四隅と第１参照領域の四隅における被写体距離差Ｄ（ｘ、ｙ）の最大値ＤＭＡＸ、最小値ＤＭＩＮが、閾値Ｔ３以上である場合には、その第１参照領域における、その後のマッチング処理をスキップする。これによって、マッチング処理を高速で行うことができる。
【０２１１】
本実施形態では、第１基準領域と第１参照領域における光軸からの傾きの差ＡＮＧｓを算出する。そして、傾きの差ＡＮＧｓが閾値Ｔ４以上である場合には、その第１参照領域における、その後のマッチング処理をスキップする。これによって、マッチング処理を高速で行うことができる。
【０２１２】
回転部５０１によって、第１基準領域を回転させて、第１参照領域とマッチング処理を行うことで、被写体が回転した場合でも、精度良くマッチング処理を行うことができる。
【０２１３】
なお、上記した第１実施形態および第２実施形態では、第１基準領域と第１参照領域、第１基準領域と第２参照領域、および第２基準領域と第３参照領域のサイズを、説明の便宜上等しいサイズとした。しかし、略等しいサイズに設定しても、本発明の実施形態においては同様の効果を得ることができる。本発明の実施形態においては、第１基準領域と第１参照領域、第１基準領域と第２参照領域、および第２基準領域と第３参照領域のサイズを等しいサイズに限定するものではなく、略等しいサイズを含むものである。
【０２１４】
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
【０２１５】
また、上記画像処理装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。
【０２１６】
また、上述した実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。
【０２１７】
この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置からなるコンピュータ、上記処理の全て、或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記画像処理装置と同様の処理を実現させる。
【０２１８】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【図面の簡単な説明】
【０２１９】
【図１】本発明の第１実施形態の画像処理装置を示す概略ブロック図である。
【図２】第１実施形態の被写体距離算出部を示すブロック図である。
【図３】第１実施形態のマッチング処理部を示すブロック図である。
【図４】第１実施形態の基準領域および参照領域を示す図である。
【図５】第１実施形態のマッチング処理を示すフローチャートである。
【図６】図５に示す第１の平行移動制御を示すフローチャートである。
【図７】図５に示すスケール変換制御を示すフローチャートである。
【図８】図７に示す第２の平行移動制御を示すフローチャートである。
【図９】本発明の第２実施形態の画像処理装置を示す概略ブロック図である。
【図１０】第２実施形態のマッチング処理部を示すブロック図である。
【図１１】第２実施形態のマッチング処理を示すフローチャートである。
【図１２】図１１に示す第３の平行移動制御を示すフローチャートである。
【図１３】被写体距離が異なる場合の対象物の様子を示す図である。
【符号の説明】
【０２２０】
１０１、４０１、４０３  光学系
１０２、４０２、４０４  撮像素子
１０３  輝度信号算出部
１０７、４０７  被写体距離算出部
１０８、４０８  マッチング処理部
１０９  信号処理部
１１１  制御部
３０２、５０２  第１の抽出部
３０３  被写体距離演算部（第１被写体距離演算部）
５０３  被写体距離演算部（第２被写体距離演算部）
３０４、５０４  判定部
３０５  評価値算出部
３０６  決定部
３０７  スケール変換部
３０８  輝度補正部
３０９  領域設定部
３１０  第２の抽出部
５０１  回転部
【図１】
2010026801.tif 000015
【図２】
2010026801.tif 000016
【図３】
2010026801.tif 000017
【図４】
2010026801.tif 000018
【図５】
2010026801.tif 000019
【図６】
2010026801.tif 000020
【図７】
2010026801.tif 000021
【図８】
2010026801.tif 000022
【図９】
2010026801.tif 000023
【図１０】
2010026801.tif 000024
【図１１】
2010026801.tif 000025
【図１２】
2010026801.tif 000026
【図１３】
2010026801.tif 000027
【手続補正書】
【提出日】平成20年7月22日(2008.7.22)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は画像処理装置、画像処理プログラム、および画像処理方法に関するものである。