(57)【要約】【課題】重像画像に含まれる重像を形成する像間の変形量を計測する場合に、より安定して像間の変形量を計測できるようにすること。【解決手段】入力部１１により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を像間変形量推定部１４により推定し、信頼度算出部１５により、その推定された上記重像を形成する像間の変形量の信頼度を算出して、像間変形量決定部１６にて、それら算出された信頼度と推定された変形量とに基づいて、入力部１１で入力された重像画像に含まれる重像を形成する像間の変形量を決定する。【選択図】図１
2010186443.tif 000002
【特許請求の範囲】
【請求項１】
画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
上記信頼度算出手段は、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記重像画像に含まれる重像を形成する一つの像が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量と、上記変形する方向に直交する方向の、処理対象となる重像画像の強度の変動量と、の相対値を上記信頼度として算出することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量の周期性を上記信頼度として算出することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された重像を形成する像間の変形量に対応する上記類似度算出手段で算出される類似度の大きさを上記信頼度として算出とする、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記類似度算出手段で求められる類似度の分布の形状から上記類似度を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする撮像装置。
【請求項１５】
上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮像光学系、上記多重像結像手段及び上記光電変換手段で構成されるシステムの構成を変化させて、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする請求項１４に記載の撮像装置。
【請求項１７】
上記信頼度算出手段は、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする請求項１４に記載の撮像装置。
【請求項１８】
上記重像画像に含まれる重像を形成する一つの象が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする請求項１４に記載の撮像装置。
【請求項１９】
上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする請求項１８に記載の撮像装置。
【請求項２０】
上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量と、上記変形する方向に直交する方向の、処理対象となる重像画像の強度の変動量と、の相対値を上記信頼度として算出することを特徴とする請求項１８に記載の撮像装置。
【請求項２１】
上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量の周期性を上記信頼度として算出することを特徴とする請求項１８に記載の撮像装置。
【請求項２２】
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする請求項１８に記載の撮像装置。
【請求項２３】
上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする請求項１４に記載の撮像装置。
【請求項２４】
上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された重像を形成する像間の変形量に対応する上記類似度算出手段で算出される類似度の大きさを上記信頼度として算出とする、
ことを特徴とする請求項１４に記載の撮像装置。
【請求項２５】
上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記類似度算出手段で求められる類似度の分布の形状から上記類似度を算出する、
ことを特徴とする請求項１４に記載の撮像装置。
【請求項２６】
上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする請求項１４に記載の撮像装置。
【請求項２７】
上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする請求項１４に記載の撮像装置。
【請求項２８】
上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
ことを特徴とする請求項１４に記載の撮像装置。
【請求項２９】
画像の入力処理を行う画像入力ステップと、
上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
上記信頼度算出手段ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を計測する画像処理装置及びそれを用いた撮像装置、並びに、コンピュータにそのような画像処理装置の手順を実行させる画像処理プログラムに関する。
【０００２】
ここで、本明細書中において、「重像画像」とは、図６に示すように、観測対象がある変位を持って多重に撮像されている画像全般を表し、重像画像に含まれる重像を形成する各像間は、ある変形量を持って対応している。本明細書中では、各像間の変形の方向を「像間の変形方向」、変形の量を「像間の変形量」と称している。
【０００３】
なお、ここでいう「重像画像」は、具体的には、撮像装置により積極的に撮像された重像画像だけではなく、期せずして観測対象がある変位を持って取得された画像であればどの様な形態の画像でも構わないものとする。その様な重像画像の例としては、例えばテレビジョンシステムにおける、電波受信に問題があった場合のテレビジョン映像等が該当する。
【０００４】
また、「多重」とは、少なくとも一部が重なっている状態を意味する。
【背景技術】
【０００５】
重像画像に含まれる重像を形成する多重像の像間の変形量を計測する方法として、自己相関関数を用いた手法が存在する。例えば、特許文献１では、ビデオカメラにおける撮像素子からの画像情報に基づく測距法として、自己相関関数による像間の変形量計測が行われている。
【特許文献１】特開平７−１３５５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に開示されているような、重像画像に含まれる重像を形成する多重像の像間の変形量を自己相関関数を用いて計測する方法では、像間の変形量の計測精度が悪いことがあった。例えば、自己相関による計測法では、第１ピークを除く最大のピーク（第２ピーク）位置に対応する値を求めることで重像を形成する像間の変形量を求めることが可能であるが、実際には自己相関関数の第１ピークの山内に第２ピークが埋もれてしまい、像間の変形量の計測が難しい場合があった。また、そのような場合に、計測された値の精度が良いものであるのか、悪いものであるのかを調べることが行われていなかった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、より安定して像間の変形量を計測することが可能な画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置の一態様は、
画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする。
【０００９】
また、本発明の撮像装置の一態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする。
【００１０】
また、本発明の画像処理プログラムの一態様は、
画像の入力処理を行う画像入力ステップと、
上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
上記信頼度算出ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定した像間の変形量の計測が可能となる画像処理装置、撮像装置及び画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１３】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置１０の構成を示す図であり、該画像処理装置１０は、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５、像間変形量決定部１６、出力部１７、制御部１８及び外部Ｉ／Ｆ部１９から構成されている。
【００１４】
ここで、入力部１１は、記録部１２に接続されている。記録部１２は、像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５及び出力部１７に接続されている。像間変形方向算出・記憶部１３は、像間変形量推定部１４、信頼度算出部１５に接続されている。像間変形量推定部１４は、信頼度算出部１５に接続されている。信頼度算出部１５は、像間変形量決定部１６に接続されている。像間変形量決定部１６は、記録部１２に接続されている。制御部１８は、制御信号線により、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５、像間変形量決定部１６及び外部Ｉ／Ｆ部１９と双方向に接続されている。
【００１５】
次に、本実施形態の作用を説明する。
【００１６】
入力部１１は、画像の入力処理を行う画像入力手段であり、該入力部１１より、図６に示すような、観測対象の像が多重化されている重像画像が入力されると、記録部１２に記録される。
【００１７】
像間変形方向算出・記憶部１３、像間変形量推定部１４、信頼度算出部１５及び像間変形量決定部１６は、上記記録部１２に記録された重像画像について、制御部１８による当該重像画像に存在する重像を形成する像間の変形量計測を開始する指示信号により、重像を形成する像間の変形量の計測を開始する。この、制御部１８からの指示信号は、外部Ｉ／Ｆ部１９においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部１２に記録された時点で制御部１８が自動的に信号を発生させても良い。
【００１８】
重像を形成する像間の変形量計測が開始されると、像間変形量推定部１４では、重像を形成する像間の変形量を推定する。この像間変形量推定部１４では、例えば重像画像の自己相関関数の算出により重像を形成する像間の変形量計測を行う。以下、自己相関関数による重像を形成する像間の変形量計測法について説明を行う。
【００１９】
自己相関関数による重像を形成する像間の変形量計測に用いる自己相関関数の形態は、以下の（１）式のようになる。
【数１】
2010186443.tif 000003
【００２０】
ここで、ｘは重像画像、ｔは座標、τは座標ｔをτだけ移動させる重像画像に含まれる重像を形成する像間の変形量、Ｃ（τ）は変形量がτである場合の自己相関値、Ｒは座標ｔの走査領域を表す。上記（１）式により、高い自己相関値を示すτを、重像を形成する像間の変形量として推定する。実際には、重像画像の自己相関関数値のマップ（自己相関関数の形状）は、図２の様になる。
【００２１】
図２に示すように、重像画像における自己相関関  数値のマップは、τ＝０場合に最も大きい第１のピークの自己相関関数値を持ち、τが重像を形成する像間の変形量である場合に第２に大きい第２のピークの自己相関関数値を持つ。即ち、重像を形成する像間の変形量を計測する場合には、第２の自己相関関数のピークに対応するτを求めれば良い。
【００２２】
なお、像間変形量推定部１４における重像を形成する像間の変形量の推定方法は、上記自己相関関数による方法によらず、重像を形成する像間の変形量が推定できる方法であればどの様な方法を用いても構わないものとする。例えば、類似度として、自己相関値を用いる代わりに、ＳＳＤ（Sum of Squared Differences）値やＳＡＤ値（Sum of Absolute Differences）を用いても構わない。
【００２３】
また、上記の様に、自己相関関数により像間変形量を求める場合は、変形量τをある領域で走査し、自己相関関数のマップを求め、そのマップの第２のピークを求める、という処理を行う。
【００２４】
ここで、変形量τを走査する領域は任意の領域で良いが、より効率的な変形量の操作方法として、予め重像を形成する像間の変形方向を取得しておき、その方向に沿った変形のみを設定するという形態をとっても構わないものとする。例えば、重像画像を取得する撮像装置が予め特定されており、その撮像装置の光学系では重像を形成する像間の変形方向がどちらの方向であるのかが一意に決まるような場合がある。
【００２５】
この場合の重像を形成する像間の変形方向、つまり重像を形成する一つの象が他の一つの像に対して本来変形する方向は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向記憶手段としての像間変形方向算出・記憶部１３に記憶しておいたものを用いる。これにより、像間の変形方向を算出する必要が無いので、より高速に測定結果が得られる。
【００２６】
また、そのように予め像間変形方向算出・記憶部１３に記憶しておく代わりに、重像画像の付加情報として画像のヘッダ等、画像の情報が記述可能な領域に、重像を形成する像間の変形方向を記載しておき、それを像間変形方向算出・記憶部１３で読み取って重像を形成する像間の変形方向として利用するという構成をとっても良い。
【００２７】
また、像間変形方向算出・記憶部１３では、その場で自己相関演算等の何らかの方法で像間の変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。
【００２８】
上記の様にして像間変形量推定部１４において推定が行われた重像を形成する像間の変形量は、信頼度算出部１５へ送信される。また、像間変形方向算出・記憶部１３で算出、記憶された重像を形成する像間の変形方向に関する情報も、信頼度算出部１５へと送信される。
【００２９】
なお、重像画像の種類によっては、重像を形成する像間の変形方向が予め決定されない場合もある。その様な場合は、必ずしも像間変形方向算出・記憶部１３から信頼度算出部１５へ重像を形成する像間の変形方向に関する情報を送信する必要はない。
【００３０】
信頼度算出手段としての信頼度算出部１５は、像間変形量推定部１４により推定された重像を形成する像間の変形量に対する信頼度を算出する。この信頼度の算出法としては、種々の方法を用いることができる。以下、各信頼度算出の詳細な方法について説明を行う。
【００３１】
（１）［信頼度＝画像信号の強度の変動量の大きさ］  
（２）［信頼度＝像間変形方向の画像信号の強度の変動量］  
信頼度算出部１５における、信頼度として、記録部１２に記録されている重像画像の画像信号の強度の変動量を計測して用いることができる。なお、「画像信号の変動量」とは、ある画素の画素値に対して、その近隣の画素値がどれだけ変化しているかを表す量である。
【００３２】
例えば画像信号の強度の変動量が０の場合、即ち、図３に示すような平坦部１００の場合は、重像画像は生成されず、平坦部のままとなる。この様に、平坦部１００である場合は、重像画像が生成されないので、重像を形成する像間の変形量について、計測が不能である。そのような場合に、信頼度を低くする指標として、重像画像の信号の強度の変動量の大きさを用いる。このように、重像画像の生成されない平坦部から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。
【００３３】
このとき、画像信号の強度の変動量を計測する対象の画像は、通常は記録部１２に記録されている重像画像であるが、その他の形態として、その重像画像をデノイズした画像、デブラー処理等を用いて重像画像を復元し１重の画像に戻した復元画像、等を対象としても良い。この様に、重像画像にデノイズやデブラーを施した後に信頼度算出を行う処理は、以下の信頼度算出法に対しても同様に行うことができる。これらデノイズやデブラー等の処理は信頼度算出部１５において行われることとする。
【００３４】
上記、画像信号の強度の変動量は、一例として、画像のフィルタリング処理により、ラプラシアンフィルタをかけ、そのラプラシアンフィルタ後の画素値について、絶対値をとり、所定の領域で総和をとったものとすることができる。
【００３５】
ラプラシアンフィルタは、以下の（２）式のような形状をしたフィルタである。
【数２】
2010186443.tif 000004
【００３６】
ここで、フィルタリング処理の具体例としてラプラシアンフィルタを例に挙げたが、実際にはラプラシアンフィルタによらず、画像の中域〜高域の周波数を取得する任意のフィルタを用いて良い。例えば、ラプラシアンフィルタの他には、ハイパスフィルタであるソーベルフィルタやプリューウィットフィルタ、バンドパスフィルタであるＬＯＧフィルタやＤＯＧフィルタ、等を利用することが可能となる。
【００３７】
特に、上記ソーベルフィルタやプリューウィットフィルタを用いることで、方向指向性を持つフィルタリング、即ち重像を形成する像間の変形方向に沿ったフィルタリングを行うことによって画像信号の強度の変動量を算出し、それを信頼度として用いることで、より信頼度の精度を高めることが可能となる。これは、重像画像中で重像を形成する像間の変形量推定に利用されるエッジは、主に重像を形成する像間の変形方向に直交するエッジであるからである。このような場合は、像間変形方向算出・記憶部１３に記憶されている、像間変形方向を信頼度算出部１５において参照し、その像間変形方向に沿ったフィルタリング処理を行う。
【００３８】
また、特にバンドパスフィルタであるＬＯＧフィルタ、ＤＯＧフィルタを用いることで、重像画像にノイズが存在する場合でも良好に復元画像の画像信号の強度の変動量を算出することを可能にしたり、多重解像度解析により処理を高速にしたりすることが出来る。
【００３９】
その他の画像信号の強度の変動量算出の方法としては、画像の周波数変換処理を用いても良い。例えば、重像画像に対し、ＦＦＴ処理を施し、算出された周波数係数の絶対値をとり、所定の領域で総和をとり、信頼度としても良い。なお、周波数変換処理はＦＦＴだけによらず、ＤＣＴ、Ｗａｖｅｌｅｔ等任意の方法で周波数変換処理を行い画像の強度の変動量を算出してかまわないものとする。
【００４０】
（３）［信頼度＝像間変形方向の画像信号の強度の変動量と像間変形方向に直交する方向の画像信号の強度の変動量の相対値］  
また、信頼度算出部１５は、信頼度として、重像画像に含まれる重像を形成する像間の変形方向の強度の変動量と、その像間の変形方向に直交する方向と、の相対値を用いることができる。これにより、より信頼度の精度を高めることが可能となる。これは、重像画像中で重像を形成する像間の変形量推定に利用されるエッジは主に像間の変形方向に直交するエッジ１０１（図３参照）であり、重像を形成する像間の変形方向に沿ったエッジ１０２（図３参照）は像間の変形量推定に寄与しづらいという性質を利用する為である。このような性質は、像間の変形方向に沿ったエッジ１０２は、重像になっても一つのエッジ形態を保持する傾向にある（つまり、重像になる前と後で画像の形態が変わりづらい）が、像間の変形方向に直交するエッジ１０１は、重像になった場合に明らかにエッジがずれる傾向にある（つまり、重像になる前と後で画像の形態が変わりやすい）ということに起因する。
【００４１】
ここで、画像信号の強度の変動量としては、上述したフィルタリングまたは周波数変換処理による強度の変動量算出を行い利用する。この強度の変動量を、重像を形成する像間の変形方向及び重像を形成する像間の変形方向に直交する方向で算出し、それらの比を算出することで、信頼度とする。この時、その比は像間の変形方向に直交する方向の強度の変動量が多い方が好ましいので、（重像を形成する像間の変形方向に直交する強度の変動量）／（重像を形成する像間の変形方向の強度の変動量）という形態をとることが好ましい。なお、ここでは信頼度として比を用いているが、実際には像間の変形方向及び像間の変形方向に直交する方向の画像信号の強度の変動量間の相対値を用いるのであれば、どの様なかたちをとってもよく、例えば、強度の変動量の差を利用しても良い。
【００４２】
（４）［信頼度＝像間変形方向の画像信号の強度の変動量の周期性］  
また、信頼度算出部１５は、信頼度として、像間変形方向算出・記憶部１３に記憶されている像間変形方向における画像信号の強度の変動量の周期性を用いることができる。これは、例えば観測対象である被写体のテクスチャ等に代表される構造的性質により、像間変形方向算出・記憶部１３に記憶されている像間変形方向では画像信号に何らかの周期性が存在する場合、その周期的性質と、重像画像に含まれる重像を形成する像間の周期的性質とが入り混じり、像間の周期的性質が計測しづらくなる、という傾向に基づき考案された信頼度である。これにより、周期性をもった部分から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。
【００４３】
本信頼度で用いられる像間変形方向の画像信号の強度の変動量の周期性計測には、例えば、記録部１２に記録されている重像画像のＦＦＴ変換により、画像の周期的な性質を抽出しても良いし、像間変形量推定部１４において、重像を形成する像間の変形量推定の為に自己相関関数値等を用いた類似度探索を行った場合は、その類似度探索結果のマップの周期性を調べても良い（調べる場合には、上記同様ＦＦＴ変換等を用いる）。ＦＦＴ変換で周期性を調べる為には、像間変形量推定部１４において推定が行われた変形量から、その変形量に対応する周期性を求め、その周期性を示すＦＦＴ変換係数をＦＦＴ変換で調べるという処理を行う。このとき、ＦＦＴ変換係数の絶対値が大きい場合は信頼度が低くなるという構成をもつ。
【００４４】
（５）［信頼度＝像間変形方向算出・記憶部１３に記憶されている像間変形量と像間変形量推定部１４で推定された像間変形量の同一性］  
また、信頼度算出部１５は、信頼度として、像間変形方向算出・記憶部１３に記憶されている像間変形量と像間変形量推定部１４で推定された像間変形量の同一性を用いることができる。これは、例えば同一性の指標として、像間変形量推定部１４において重像画像に含まれる重像を形成する像間の変形量を２次元的に探索し、その結果、推定値を得たとき、その推定値の変形方向と、像間変形方向算出・記憶部１３に記憶されている像間の変形方向との差異を数値化したものを用いる。例えば、像間の変形量が平行移動を想定した場合に、像間変形量推定部１４における像間の変形量の推定値が［ａ，ｂ］であり、像間変形方向算出・記憶部１３に記憶されている像間の変形量が［ｃ，ｄ］であった場合、これら変形量間の差異を変形量のベクトルの角度で表すと、この角度はこれら変形量間の内積により以下の（３）式のように書ける。
【数３】
2010186443.tif 000005
【００４５】
上記（３）式により、θが小さい場合（即ちｃｏｓθが大きい場合）に高くなるような信頼度を用いる。これにより、記憶されている変形方向と異なる方向を持つ変形量が推定された場合に、その変形量の信頼度を低くすることで、より信頼度の精度を高めることが可能となる。
【００４６】
なお、この時、信頼度には、ｃｏｓθをそのまま用いても良い。その他の形態として、ｃｏｓθを何らかの関数の引数とし、その関数値を信頼度とするという形態をとっても構わない。
【００４７】
（６）［信頼度＝既に周囲で求められている像間の変形量との同一性］  
また、信頼度算出部１５は、信頼度として、既に周囲で求められている像間の変形量との同一性を用いることができる。ここでは、重像画像に含まれる重像を形成する像間の変形量は重像画像の局所領域では余り変化しない、という前提を用いている。即ち、周囲で求められている像間の変形量と同様の像間の変形量であればあるほど、像間の変形量として尤もらしいので、このような場合は信頼度を高くするという処理を行う。これにより、より信頼度の精度を高めることが可能となる。
【００４８】
信頼度としては、以下の（４）式により算出し、利用する。
【数４】
2010186443.tif 000006
【００４９】
ここで、ｐ＾は信頼度を算出する対象となる像間の変形量、ｐｉはｐ＾の周囲で既に求められている像間の変形量、Ｒはｐ＾の周辺領域を表す。
【００５０】
上記（４）式により、信頼度を算出する対象となる像間の変形量と、既に周囲で求められている像間の変形量との間の差異を算出している。なお、信頼度の算出法は、この式によらず、既に周囲で求められている像間変形量との同一性を算出する方法であれば、どの様な式を利用しても構わないものとする。
【００５１】
（７）［信頼度＝類似度の大きさ］  
また、像間変形量推定部１４が、重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段として類似度算出部を含む場合には、信頼度算出部１５は、信頼度として、その類似度算出部において算出された類似度値の大きさに基づく値を用いることができる。本信頼度は、像間変形量推定部１４に、類似度算出部が含まれている場合に、算出が可能となる。ただし、類似度算出部を像間変形量推定部１４以外のブロックに有する画像処理装置という構成をとっても構わない。その場合は、信頼度算出部１５は、像間変形量推定部１４以外のブロックに含まれる類似度算出部から類似度を取得し、信頼度を計算する。
【００５２】
類似度算出部では、重像画像の異なる位置に存在する像間の類似度を算出する。ここで言う類似度は、例えば上述した自己相関関数の計算による自己相関関数値としても良い。その場合、上述の様に、始めに第２のピークの自己相関関数値を探索し、その第２のピークに対応する像間の変形量に対する信頼度として、第２のピークの自己相関関数値つまり第２ピークの大きさ１０３（図２参照）を信頼度とする。
【００５３】
このような信頼度を用いることで、類似度が高く評価された像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。
【００５４】
なお、ここでは類似度の一例として、第２のピークの自己相関関数値をそのまま信頼度とする例を示したが、実際には、像間変形量推定部１４に含まれる、像間の変形量の推定に用いられた類似度であれば、どの様なものであっても構わない。
【００５５】
（８）［信頼度＝類似度の分布］  
また、信頼度算出部１５は、信頼度として、像間変形量推定部１４に含まれる類似度算出部において算出された類似度値の分布に基づく値を用いることができる。本信頼度は、像間変形量推定部１４に、類似度算出部が含まれている場合に算出が可能となる。ただし、類似度算出部を像間変形量推定部１４以外のブロックに有する画像処理装置という構成をとっても構わない。その場合は、信頼度算出部１５は、像間変形量推定部１４以外のブロックに含まれる類似度算出部から類似度を取得し、信頼度を計算する。
【００５６】
類似度算出部では、重像画像の異なる位置に存在する像間の類似度を複数算出し、類似度の分布を求める。ここで言う類似度は、例えば上述した自己相関関数の計算による自己相関関数値としても良い。その場合、上述の様に、始めに第２のピークの自己相関関数値を探索し、その第２のピークに対応する像間の変形量に対する信頼度として、例えば、第２のピークの自己相関関数値とその他の自己相関関数値との関係を信頼度とする。より具体的には、図２に示すように、第２のピークと第３のピークとの間の自己相関関数値の落差である第２ピークと第３ピークの落差１０４を信頼度とする。この第２ピークと第３ピークの落差１０４が大きい場合には、第２のピークがより際立っていると考えられるので、この場合は信頼度を大きくする。その他には、第２のピークの自己相関関数値とその周辺の自己相関関数値の落差を信頼度としても同様の効果を得られる。
【００５７】
このような信頼度を用いることで、類似度のピークがよりはっきりとした形で現れた像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。なお、ここでは類似度の一例として、第２のピークの自己相関関数値とその他の自己相関関数値との落差である第２ピークと第３ピークの落差１０４から信頼度を算出する例を示したが、実際には、像間変形量推定部１４に含まれる、像間の変形量の推定に用いられた類似度の分布からはっきりとしたピークを調べることが出来る方法であれば、どの様な方法を用いて信頼度を算出しても構わない。
【００５８】
以上説明した様な信頼度算出方法の何れか、あるいはそれらの任意の組み合わせによって信頼度算出部１５で算出された信頼度は、像間変形量推定部１４で推定された像間の変形量と共に、信頼度算出部１５から像間変形量決定部１６に送信される。
【００５９】
重像間変形量決定手段としての像間変形量決定部１６では、上記像間変形量推定部１４において推定が行われた像間の変形量と、上記信頼度算出部１５で算出された信頼度と、に基づき、上記入力部１１で入力されて記録部１２に記録された重像画像に含まれる重像を形成する像間の変形量を決定する。例えば、像間変形量推定部１４において推定された像間の変形量に対応する信頼度が低ければ、その推定された像間の変形量は、記録部１２に記録された重像画像に含まれる重像を形成する像間の変形量として決定しないようにする。そして、そのような場合には、その像間の変形量を再度、別の方法により推定する、という構成をとっても良い。また例えば、像間変形量推定部１４において推定された像間の変形量及び信頼度算出部１５において算出されたそれに対応する信頼度を、記録部１２に記録すると同時に表示装置等の出力部１７によって直接的にユーザに提示しても良い。
【００６０】
また、像間変形量推定部１４及び信頼度算出部１５において像間の変形量及び信頼度が部分的に推定及び算出される場合は、以下に示すような流れにより、像間変形量決定部１６における像間の変形量の決定が行われる。
【００６１】
即ち、上記一連の信頼度算出方法は重像画像全体に対して適用することも可能であるが、実際には、重像画像の部分領域により重像を形成する像間の変形量が異なる場合がある。このような場合は特に、上記一連の処理を重像画像の部分領域毎に行う。部分領域毎に処理が行われた場合は、重像画像の部分領域毎に、詳細な像間の変形量を求めることが出来、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることが出来る。
【００６２】
さらに、部分領域毎に決定された像間の変形量を、上記一連の信頼度算出方法で算出された信頼度に基づき統合する処理を行っても良い。即ち、像間変形量推定部１４において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。
【００６３】
この様な処理を行うことで、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。
【００６４】
統合処理には、例えば像間の変形量が重複して出力された部分領域について、信頼度を重みとした重み付き平均化等の処理で一つのマップとすれば良い。このとき、重像を形成する像間の変形量は、像間変形量決定部１６に変形量統合手段を設けることで、その変形量統合手段においてマップ化が行われる。なお、信頼度をある閾値により２値化することで、重み付き平均化時の重みを０か１かの２値の重みとし、信頼度の低い場合の変形量は出力しないという構成としても良い。
【００６５】
さらに、部分領域毎に決定された信頼度を統合する処理を行っても良い。即ち、像間変形量推定部１４において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。
【００６６】
この様な処理を行うことで、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。統合処理には、例えば信頼度が重複して出力された部分領域について、平均化する等の処理で一つのマップとすれば良い。このとき、信頼度は、信頼度算出部１５に信頼度マップ生成手段を設けることで、その信頼度マップ生成手段においてマップ化が行われる。
【００６７】
上記、像間変形量決定部１６において生成された像間の変形量に関するマップ、及び信頼度算出部１５において生成された信頼度に関するマップは、記録部１２に送信、記憶保持され、場合によりユーザによって利用されることができる。
【００６８】
以上のように、本発明の第１実施形態に係る画像処理装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。
【００６９】
また、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出して提示することで、その計測結果をどの程度信頼できるかをユーザが把握することが可能となる。
【００７０】
さらに、推定された像間の変形量を信頼度で統合することで、視認性のより高い推定結果を取得することが出来る。
【００７１】
［第２実施形態］
上記第１実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、重像画像を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。勿論、このソフトウェアは、予めコンピュータにインストールされているものであっても良いし、ＣＤ−ＲＯＭ等の記録媒体やネットワークを介してコンピュータに供給されるものであっても良い。
【００７２】
図４は、不図示コンピュータによる画像処理のソフトウェア処理に関するフローチャートを示す図である。なお、本フローチャートの処理は、重像画像の部分領域毎に行う場合の例である。
【００７３】
即ち、コンピュータはまず、重像画像の入力処理を行う（ステップＳ１）。その際、重像画像にヘッダ情報等の付加情報が含まれる場合は、その付加情報も読み込む。
【００７４】
次に、上記入力された重像画像における所定の部分領域を指定する（ステップＳ２）。また、このステップＳ２で指定された所定の部分領域に関して、重像画像に像間変形方向があれば予めその方向を取得しておく（ステップＳ３）。取得方法は、その場で算出又は重像画像にヘッダ情報等の付加情報として付加されていればそこから読み取る。
【００７５】
そして、上記ステップＳ２で指定された所定の部分領域の変形量の推定を行う（ステップＳ４）。次に、上記ステップＳ４で推定されたある部分領域の変形量に対して、その変形量の信頼度を算出する（ステップＳ５）。算出する信頼度は、上記第１実施形態で説明したような複数の指標のいずれかを用いるか、またはそれらを組み合わせても良い。
【００７６】
その後、全ての部分領域の像間の変形量及び信頼度が求め終わったか否かを判別する（ステップＳ６）。ここで、まだ全ての部分領域で求め終わっていないと判別した場合は、上記ステップＳ２に戻って、所定の部分領域を変化させて、その部分領域の像間の変形量及び信頼度を求めることとなる。
【００７７】
而して、上記ステップＳ６において全ての部分領域の像間の変形量及び信頼度が求め終わったと判別したならば、上記ステップＳ４で推定された像間の変形量の推定値と、上記ステップＳ５で算出された信頼度とを複数用いて、像間の変形量の統合処理を行い、一つの像間の変形量のマップを生成する（ステップＳ７）。
【００７８】
また、上記ステップＳ５で算出された信頼度を複数用いて、像間の変形量の統合処理を行い、一つの信頼度のマップを生成する（ステップＳ８）。
【００７９】
そして、それらの２つのマップを出力し、コンピュータが備えるハードディスク等の記録部に保持したり、表示装置に表示したりする（ステップＳ９）。
【００８０】
以上のように、コンピュータのソフトウェアによっても、上記第１実施形態に係る画像処理装置と同様に、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、より安定して像間の変形量を計測することが可能となる。
【００８１】
［第３実施形態］
図５は、本発明の第３実施形態に係る撮像装置２０の構成を示す図であり、該撮像装置２０は、撮影光学系２１、撮像部２２、記録部２３、像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６、像間変形量決定部２７、出力部２８、制御部２９、外部Ｉ／Ｆ部３０、ＡＦモータ３１及び合焦点制御部３２から構成されている。
【００８２】
ここで、被写体の光束を結像する撮影光学系２１には、像を多重に結像させる多重像結像手段２１Ａが含まれている。撮像部２２は、この多重像結像手段２１Ａを含む撮影光学系２１で結像される像を取得可能な構成となっている。この撮像部２２は、記録部２３と接続されている。また、ＡＦモータ３１は、撮影光学系２１を制御し、結像される像の合焦点位置を変化させることが可能な構成となっている。
【００８３】
記録部２３は、像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６及び出力部２８に接続されている。像間変形方向算出・記憶部２４は、像間変形量推定部２５及び信頼度算出部２６に接続されている。像間変形量推定部２５は、信頼度算出部２６に接続されている。信頼度算出部２６は、像間変形量決定部２７に接続されている。像間変形量決定部２７は、記録部２３及び合焦点制御部３２に接続されている。制御部２９は、制御信号線により、撮像部２２、記録部２３、像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６、像間変形量決定部２７、外部Ｉ／Ｆ部３０及び合焦点制御部３２と双方向に接続されている。合焦点制御部３２は、ＡＦモータ３１に接続されている。
【００８４】
次に、本実施形態の作用を説明する。
【００８５】
撮影光学系２１によって、被写体の像は、撮像部２２に結像される。この撮像部２２は、特に図示はしていないが、ＣＣＤ等の光を電気信号に変換する光電変換手段と、該光電変換手段で変換された電気信号から画像信号を生成する信号処理回路等の画像信号生成手段とを含んでいる。この撮像部２２に結像された被写体の像は電気的な信号に変換され、記録部２３へ送信され記録される。
【００８６】
ここで、撮影光学系２１に含まれる多重像結像手段２１Ａは、図示しない駆動手段により、撮影光路内に挿脱自在に構成されており、多重像結像手段２１Ａを用いた撮像を行った場合は重像画像が、多重像結像手段２１Ａを用いない撮像を行った場合は通常の画像が記録される。
【００８７】
像間変形方向算出・記憶部２４、像間変形量推定部２５、信頼度算出部２６及び像間変形量決定部２７は、上記記録部２３に記録された重像画像について、制御部２９による当該重像画像に存在する重像を形成する像間の変形量計測を開始する指示信号により、重像を形成する像間の変形量の計測を開始する。この、制御部２９からの指示信号は、外部Ｉ／Ｆ部３０においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部２３に記録された時点で制御部２９が自動的に信号を発生させても良い。
【００８８】
重像を形成する像間の変形量計測が開始されると、像間変形量推定部２５では、重像を形成する像間の変形量を推定する。この像間変形量推定部２５では、例えば重像画像の自己相関関数の算出により重像を形成する像間の変形量計測を行う。自己相関関数による重像を形成する像間の変形量計測法については、上述した第１実施形態と同様の方法を用いる為、その詳しい説明を省略する。
【００８９】
上記第１実施形態で説明した様に、像間の変形量を求める場合は、変形量τをある領域で走査し、自己相関関数のマップを求め、そのマップの第２のピークを求める、という処理を行う。
【００９０】
ここで、変形量τを走査する領域は任意の領域で良いが、より効率的な変形量の操作方法として、予め重像を形成する像間の変形方向を取得しておき、その方向に沿った変形のみを設定するという形態をとっても構わないものとする。この場合の重像を形成する像間の変形方向は、撮影光学系２１（多重像結像手段２１Ａを含む）及び撮像部２２に特有な重像を形成する像間の変形法である場合は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向記憶手段としての像間変形方向算出・記憶部２４に記憶しておいたものを用いる。また、そのように予め像間変形方向算出・記憶部２４に記憶しておく代わりに、重像画像の付加情報として画像のヘッダ等、画像の情報が記述可能な領域に、重像を形成する像間の変形方向を記載しておき、それを像間変形方向算出・記憶部２４で読み取って重像を形成する像間の変形方向として利用するという構成をとっても良い。また、像間変形方向算出・記憶部２４では、重像画像を撮影したその都度、自己相関演算等の何らかの方法で像間変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。
【００９１】
上記の様にして像間変形量推定部２５において推定が行われた重像を形成する像間の変形量は、信頼度算出部２６へ送信される。また、像間変形方向算出・記憶部２４で算出、記憶された重像を形成する像間の変形方向に関する情報も、信頼度算出部２６へと送信される。なお、重像画像の種類によっては、重像を形成する像間の変形方向が予め決定されない場合もある。その様な場合は、必ずしも像間変形方向算出・記憶部２４から信頼度算出部２６へ重像を形成する像間の変形方向に関する情報を送信する必要はない。
【００９２】
信頼度算出手段としての信頼度算出部２６は、像間変形量推定部２５により推定された重像を形成する像間の変形量に対する信頼度を算出する。この信頼度の算出法としては、種々の方法を用いることができる。その信頼度算出の詳細な方法については、上述の第１実施形態と同様の信頼度算出法を用いるので、ここでは、処理の内容の説明を省略する。
【００９３】
上記の様に、像間変形量推定部２５で推定された像間の変形量、及び信頼度算出部２６で算出された信頼度は、像間変形量決定部２７に送信される。重像間変形量決定手段としての像間変形量決定部２７では、上記像間変形量推定部２５において推定が行われた像間の変形量と、上記信頼度算出部２６で算出された信頼度と、に基づき、上記生成されて記録部２３に記録された重像画像に含まれる重像を形成する像間の変形量を決定する。例えば、像間変形量推定部２５において推定された像間の変形量に対応する信頼度が低ければ、その推定された像間の変形量は、記録部２３に記録された重像画像に含まれる重像を形成する像間の変形量として決定しないようにする。そして、そのような場合には、再撮影を行って、もう一度同じ方法で変形量の計測を行っても良い。ノイズの影響や誤動作による計測ミスをリカバーできる。あるいは、その像間の変形量を再度、別の方法により推定する、という構成をとっても良い。
【００９４】
また、この再撮影時、別の方法として、撮像装置２０に備わっている撮影光学系２１（多重像結像手段２１Ａ）及び撮像部２２の撮像時の構成を変更して撮像を行い、再度像間の変形量を推定しても良い。例えば、多重像結像手段２１Ａを回転自在に構成しておき、再撮影時には、制御部２９の制御により図示しない駆動手段により多重像結像手段２１Ａを回転させる。これにより、重像画像の重像を形成する像間の変形方向を回転させ、再度、像間の変形量の推定を行っても良い。この様な処理を行うことで、重像を形成する像間の変形方向と被写体のエッジの方向性に起因する変形量推定の不明確さを改善し、信頼度を高めることが可能となる。
【００９５】
また例えば、像間変形量推定部２５において推定された像間の変形量及び信頼度算出部２６において算出されたそれに対応する信頼度を、記録部２３に記録すると同時に液晶モニタ等の出力部２８によって直接的にユーザに提示しても良い。
【００９６】
さらに、像間の変形量と被写体との距離とが対応する場合には、上記像間変形量決定部２７において信頼度に基づき決定された像間の変形量から、被写体までの距離情報を求めることができる。従って、像間の変形量と被写体との距離の対応関係は、像間変形量決定部２７に記録保持しておくことで、像間変形量決定部２７において、その決定された像間の変形量から被写体までの距離情報を求め、それ用いて、合焦点制御部３２において、被写体に対する合焦動作を行っても良い。合焦点制御部３２は、ＡＦモータ３１の制御を行い、ＡＦモータ３１は、被写体が合焦するように、撮影光学系２１の光学関係を変更する。このとき、制御部２９が図示しない駆動手段により多重像結像手段２１Ａを撮影光軸から外すことは言うまでもない。
【００９７】
また、像間変形量推定部２５及び信頼度算出部２６において像間の変形量及び信頼度が部分的に推定及び算出される場合は、以下に示すような流れにより、像間変形量決定部２７における像間の変形量の決定が行われる。
【００９８】
即ち、上記一連の信頼度算出方法は重像画像全体に対して適用することも可能であるが、実際には、重像画像の部分領域により重像を形成する像間の変形量が異なる場合がある。このような場合は特に、上記一連の処理を重像画像の部分領域毎に行う。部分領域毎に処理が行われた場合は、重像画像の部分領域毎に詳細な像間の変形量を求めることが出来、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることが出来る。
【００９９】
さらに、部分領域毎に決定された像間の変形量を、上記一連の信頼度算出方法で算出された信頼度に基づき統合する処理を行っても良い。即ち、像間変形量推定部２５において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。
【０１００】
この様な処理を行うことで、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。
【０１０１】
統合処理には、例えば像間の変形量が重複して出力された部分領域について、信頼度を重みとした重み付き平均化等の処理で一つのマップとすれば良い。このとき、重像を形成する像間の変形量は、像間変形量決定部２７に変形量統合手段を設けることで、その変形量統合手段においてマップ化が行われる。なお、信頼度をある閾値により２値化することで、重み付き平均化時の重みを０か１かの２値の重みとし、信頼度の低い場合の変形量は出力しないという構成としても良い。
【０１０２】
さらに、部分領域毎に決定された信頼度を統合する処理を行っても良い。即ち、像間変形量推定部２５において重像を形成する像間の変形量が部分領域毎に推定された場合に、それらの値を一つのマップに統合する処理を行っても良い。
【０１０３】
この様な処理を行うことで、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。統合処理には、例えば信頼度が重複して出力された部分領域について、平均化する等の処理で一つのマップとすれば良い。このとき、信頼度は、信頼度算出部２６に信頼度マップ生成手段を設けることで、その信頼度マップ生成手段においてマップ化が行われる。
【０１０４】
上記、像間変形量決定部２７において生成された像間の変形量に関するマップ、及び信頼度算出部２６において生成された信頼度に関するマップは、記録部２３または合焦点制御部３２に送信、記憶保持され、場合によりユーザによって利用されることができる。
【０１０５】
以上のように、本発明の第３実施形態に係る撮像装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。そして、その計測された重像画像に含まれる重像を形成する像間の変形量から被写体距離情報を求めて撮影光学系２１の合焦動作を行うことで、被写体への合焦動作も安定して行うことができる。
【０１０６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１０７】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１０８】
（１）  画像の入力処理を行う画像入力手段と、
上記画像入力手段により入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記画像入力手段で入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする画像処理装置。
【０１０９】
（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、入力部１１が上記画像入力手段に、像間変形量推定部１４が上記像間変形量推定手段に、信頼度算出部１５が上記信頼度算出手段に、像間変形量決定部１６が上記重像間変形量決定手段に、それぞれ対応する。
【０１１０】
（作用効果）
この（１）に記載の画像処理装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。
【０１１１】
（２）  上記信頼度算出手段は、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（１）に記載の画像処理装置。
【０１１２】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１１３】
（作用効果）
この（２）に記載の画像処理装置によれば、重像画像の生成されない平坦部から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。
【０１１４】
（３）  上記重像画像に含まれる重像を形成する一つの象が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする（１）に記載の画像処理装置。
【０１１５】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部１３が上記像間変形方向記憶手段に対応する。
【０１１６】
（作用効果）
この（３）に記載の画像処理装置によれば、像間の変形方向を算出する必要がないので、より高速に測定結果が得られる。
【０１１７】
（４）  上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。
【０１１８】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１１９】
（作用効果）
この（４）に記載の画像処理装置によれば、像間の変形方向に直交するエッジから推定した変形量を信頼度の高い推定値とすることで、より信頼度の精度を高めることが可能となる。
【０１２０】
（５）  上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量と、上記変形する方向に直交する方向の、処理対象となる重像画像の強度の変動量と、の相対値を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。
【０１２１】
（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１２２】
（作用効果）
この（５）に記載の画像処理装置によれば、像間の変形量推定に利用される像間の変形方向に直交するエッジと、変形量推定に寄与しづらい像間の変形方向に沿ったエッジとの比を利用することで、より信頼度の精度を高めることが可能となる。
【０１２３】
（６）  上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量の周期性を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。
【０１２４】
（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１２５】
（作用効果）
この（６）に記載の画像処理装置によれば、周期性をもった部分から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。
【０１２６】
（７）  上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする（３）に記載の画像処理装置。
【０１２７】
（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１２８】
（作用効果）
この（７）に記載の画像処理装置によれば、記憶されている変形方向と異なる方向を持つ変形量が推定された場合に、その変形量の信頼度を低くすることで、より信頼度の精度を高めることが可能となる。
【０１２９】
（８）  上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする（１）に記載の画像処理装置。
【０１３０】
（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１３１】
（作用効果）
この（８）に記載の画像処理装置によれば、周囲で求められている像間の変形量と同様の像間の変形量が推定されたときに、その変形量の信頼度を高くすることで、より信頼度の精度を高めることが可能となる。
【０１３２】
（９）  上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された重像を形成する像間の変形量に対応する上記類似度算出手段で算出される類似度の大きさを上記信頼度として算出とする、
ことを特徴とする（１）に記載の画像処理装置。
【０１３３】
（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１３４】
（作用効果）
この（９）に記載の画像処理装置によれば、類似度が高く評価された像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。
【０１３５】
（１０）  上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記類似度算出手段で求められる類似度の分布の形状から上記類似度を算出する、
ことを特徴とする（１）に記載の画像処理装置。
【０１３６】
（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１３７】
（作用効果）
この（１０）に記載の画像処理装置によれば、類似度のピークがよりはっきりとした形で現れた像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。
【０１３８】
（１１）  上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする（１）に記載の画像処理装置。
【０１３９】
（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１４０】
（作用効果）
この（１１）に記載の画像処理装置によれば、重像画像の部分領域毎に、詳細な像間の変形量を求めることができ、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることができる。
【０１４１】
（１２）  上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする（１）に記載の画像処理装置。
【０１４２】
（対応する実施形態）
この（１２）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１４３】
（作用効果）
この（１２）に記載の画像処理装置によれば、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。
【０１４４】
（１３）  上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
ことを特徴とする（１）に記載の画像処理装置。
【０１４５】
（対応する実施形態）
この（１３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【０１４６】
（作用効果）
この（１３）に記載の画像処理装置によれば、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。
【０１４７】
（１４）  被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定手段と、
上記像間変形量推定手段により推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出手段と、
上記信頼度算出手段により算出された信頼度と、上記像間変形量推定手段で推定された重像を形成する像間の変形量と、に基づいて、上記生成された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定手段と、
を有することを特徴とする撮像装置。
【０１４８】
（対応する実施形態）
この（１４）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、撮影光学系２１が上記撮影光学系に、多重像結像手段２１Ａが上記多重像結像手段に、撮像部２２が上記光電変換手段及び画像信号生成手段に、像間変形量推定部２５が上記像間変形量推定手段に、信頼度算出部２６が上記信頼度算出手段に、像間変形量決定部２７が上記重像間変形量決定手段に、それぞれ対応する。
【０１４９】
（作用効果）
この（１４）に記載の撮像装置によれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。
【０１５０】
（１５）  上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする（１４）に記載の撮像装置。
【０１５１】
（対応する実施形態）
この（１５）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１５２】
（作用効果）
この（１５）に記載の撮像装置によれば、ノイズの影響や誤動作による計測ミスをリカバーできる。
【０１５３】
（１６）  上記撮像装置は、上記信頼度算出手段において算出された信頼度が低かった場合に、上記撮像光学系、上記多重像結像手段及び上記光電変換手段で構成されるシステムの構成を変化させて、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段より重像画像の再撮影を行うことを特徴とする（１４）に記載の撮像装置。
【０１５４】
（対応する実施形態）
この（１６）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１５５】
（作用効果）
この（１６）に記載の撮像装置によれば、重像を形成する像間の変形方向と被写体のエッジの方向性に起因する変形量推定の不明確さを改善し、信頼度を高めることが可能となる。
【０１５６】
（１７）  上記信頼度算出手段は、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（１４）に記載の撮像装置。
【０１５７】
（対応する実施形態）
この（１７）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１５８】
（作用効果）
この（１７）に記載の撮像装置によれば、重像画像の生成されない平坦部から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。
【０１５９】
（１８）  上記重像画像に含まれる重像を形成する一つの象が他の一つの像に対して本来変形する方向を記憶する像間変形方向記憶手段をさらに有することを特徴とする（１４）に記載の撮像装置。
【０１６０】
（対応する実施形態）
この（１８）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、像間変形方向算出・記憶部２４が上記像間変形方向記憶手段に対応する。
【０１６１】
（作用効果）
この（１８）に記載の撮像装置によれば、像間の変形方向を算出する必要がないので、より高速に測定結果が得られる。
【０１６２】
（１９）  上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。
【０１６３】
（対応する実施形態）
この（１９）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１６４】
（作用効果）
この（１９）に記載の撮像装置によれば、像間の変形方向に直交するエッジから推定した変形量を高い推定値とすることで、より信頼度の精度を高めることが可能となる。
【０１６５】
（２０）  上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量と、上記変形する方向に直交する方向の、処理対象となる重像画像の強度の変動量と、の相対値を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。
【０１６６】
（対応する実施形態）
この（２０）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１６７】
（作用効果）
この（２０）に記載の撮像装置によれば、像間の変形量推定に利用される像間の変形方向に直交するエッジと、変形量推定に寄与しづらい像間の変形方向に沿ったエッジとの比を利用することで、より信頼度の精度を高めることが可能となる。
【０１６８】
（２１）  上記信頼度算出手段は、上記像間変形方向記憶手段に記憶されている上記変形する方向の、処理対象となる重像画像の強度の変動量の周期性を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。
【０１６９】
（対応する実施形態）
この（２１）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１７０】
（作用効果）
この（２１）に記載の撮像装置によれば、周期性をもった部分から推定した像間の変形量を低い信頼度とすることができるので、より信頼度の精度を高めることが可能となる。
【０１７１】
（２２）  上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量の変形方向と、上記像間変形方向記憶手段に記憶されている上記変形する方向と、の方向の同一性を上記信頼度として算出することを特徴とする（１８）に記載の撮像装置。
【０１７２】
（対応する実施形態）
この（２２）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１７３】
（作用効果）
この（２２）に記載の撮像装置によれば、記憶されている変形方向と異なる方向を持つ変形量が推定された場合に、その変形量の信頼度を低くすることで、より信頼度の精度を高めることが可能となる。
【０１７４】
（２３）  上記信頼度算出手段は、上記像間変形量推定手段で推定された上記重像を形成する像間の変形量と、既に周囲で求められている重像を形成する像間の変形量と、の同一性を上記信頼度として算出することを特徴とする（１４）に記載の撮像装置。
【０１７５】
（対応する実施形態）
この（２３）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１７６】
（作用効果）
この（２３）に記載の撮像装置によれば、周囲で求められている像間の変形量と同様の像間の変形量が推定されたときに、その変形量の信頼度を高くすることで、より信頼度の精度を高めることが可能となる。
【０１７７】
（２４）  上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記像間変形量推定手段で推定された重像を形成する像間の変形量に対応する上記類似度算出手段で算出される類似度の大きさを上記信頼度として算出とする、
ことを特徴とする（１４）に記載の撮像装置。
【０１７８】
（対応する実施形態）
この（２４）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１７９】
（作用効果）
この（２４）に記載の撮像装置によれば、類似度が高く評価された像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。
【０１８０】
（２５）  上記像間変形量推定手段は、上記重像画像の異なる位置にある重像を形成する像間の類似度を算出する類似度算出手段を有し、
上記信頼度算出手段は、上記類似度算出手段で求められる類似度の分布の形状から上記類似度を算出する、
ことを特徴とする（１４）に記載の撮像装置。
【０１８１】
（対応する実施形態）
この（２５）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１８２】
（作用効果）
この（２５）に記載の撮像装置によれば、類似度のピークがよりはっきりとした形で現れた像間の変形量ほど、より信頼度が高い変形量であるとすることができるので、より信頼度の精度を高めることが可能となる。
【０１８３】
（２６）  上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行うことを特徴とする（１４）に記載の撮像装置。
【０１８４】
（対応する実施形態）
この（２６）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１８５】
（作用効果）
この（２６）に記載の撮像装置によれば、重像画像の部分領域毎に、詳細な像間の変形量を求めることができ、また、同時にその部分領域毎の像間の変形量に対する信頼度も詳細に求めることができる。
【０１８６】
（２７）  上記信頼度算出手段は、上記信頼度の算出処理を上記画像入力手段により入力された画像の部分領域毎に行って部分毎の信頼度を生成し、それらを統合して一つの信頼度マップを生成する信頼度マップ生成手段を有することを特徴とする（１４）に記載の撮像装置。
【０１８７】
（対応する実施形態）
この（２７）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１８８】
（作用効果）
この（２７）に記載の撮像装置によれば、画像の部分領域毎に決定された信頼度が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。
【０１８９】
（２８）  上記像間変形量推定手段は、上記画像入力手段により入力された画像の部分領域毎に重像を形成する像間の変形量を推定し、
上記信頼度算出手段は、上記画像の上記部分領域毎に信頼度を生成し、
上記像間変形量決定手段は、上記像間変形量推定手段の上記部分領域毎の重像を形成する像間の変形量の推定結果を、上記信頼度生成手段の上記部分領域毎の信頼度に基づき統合処理を行う変形量統合手段を有する
ことを特徴とする（１４）に記載の撮像装置。
【０１９０】
（対応する実施形態）
この（２８）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。
【０１９１】
（作用効果）
この（２８）に記載の撮像装置によれば、画像の部分領域毎に決定された重像を形成する像間の変形量が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。
【０１９２】
（２９）  画像の入力処理を行う画像入力ステップと、
上記画像入力ステップで入力された観測対象の像が多重になっている重像画像に含まれる重像を形成する像間の変形量を推定する像間変形量推定ステップと、
上記像間変形量推定ステップで推定された上記重像を形成する像間の変形量の信頼度を算出する信頼度算出ステップと、
上記信頼度算出ステップで算出された信頼度と、上記像間変形量推定ステップで推定された重像を形成する像間の変形量と、に基づいて、上記画像入力ステップで入力された重像画像に含まれる重像を形成する像間の変形量を決定する重像間変形量決定ステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【０１９３】
（対応する実施形態）
この（２９）に記載の画像処理プログラムに関する実施形態は、第２実施形態が対応する。その実施形態において、ステップＳ１が上記画像入力ステップに、ステップＳ４が上記像間変形量推定ステップに、ステップＳ５が上記信頼度算出ステップに、ステップＳ７が上記重像間変形量決定ステップに、それぞれ対応する。
【０１９４】
（作用効果）
この（２９）に記載の画像処理プログラムによれば、重像画像に含まれる重像を形成する像間の変形量を計測する場合に、その計測結果に対する信頼度を算出し、その信頼度の度合いにより、より信頼度の高い計測結果を重視し、信頼度の低い計測結果を低く評価することで、より安定して像間の変形量を計測することが可能となる。
【図面の簡単な説明】
【０１９５】
【図１】図１は、本発明の第１実施形態に係る画像処理装置の構成を示す図である。
【図２】図２は、重像画像の自己相関関数値のマップ（自己相関関数の形状）の例を示す図である。
【図３】図３は、重像画像の性質を説明するための図である。
【図４】図４は、本発明の第２実施形態に係る画像処理プログラムのフローチャートを示す図である。
【図５】図５は、本発明の第３実施形態に係る撮像装置の構成を示す図である。
【図６】図６は、重像画像の例を示す図である。
【符号の説明】
【０１９６】
１０…画像処理装置、  １１…入力部、  １２，２３…記録部、  １３，２４…像間変形方向算出・記憶部、  １４，２５…像間変形量推定部、  １５，２６…信頼度算出部、  １６，２７…像間変形量決定部、  １７，２８…出力部、  １８，２９…制御部、  １９，３０…外部Ｉ／Ｆ部、  ２０…撮像装置、  ２１…撮影光学系、  ２１Ａ…多重像結像手段、  ２２…撮像部、  ３１…ＡＦモータ、  ３２…合焦点制御部、  １００…平坦部、  １０１…像間の変形方向に直交するエッジ、  １０２…像間の変形方向に沿ったエッジ、  １０３…第２ピークの大きさ、  １０４…第２ピークと第３ピークの落差。
【図１】
2010186443.tif 000007
【図２】
2010186443.tif 000008
【図３】
2010186443.tif 000009
【図４】
2010186443.tif 000010
【図５】
2010186443.tif 000011
【図６】
2010186443.tif 000012