(57)【要約】【課題】距離情報の信頼度が低い被写体の位置合わせ性能が高い幾何変換係数を作成できるようにする。【解決手段】基準画像を含む複数の画像を取得し、前記基準画像に対して基準画像以外の画像を幾何変換して位置合わせして合成する画像処理装置であって、各画像の領域ごとに画像処理装置からの距離を示す距離情報を算出する距離情報算出手段と、各画像間の移動量を算出する移動量算出手段と、距離に応じて、前記移動量から基準画像以外の画像を幾何変換するために用いる第１の幾何変換係数を算出する変換係数算出手段と、前記距離情報の信頼度が所定値よりも低い領域について、前記距離に応じて算出された幾何変換係数を用いて変換した画像と前記基準画像と比較する比較手段と、前記比較手段の比較結果に応じて、適用する幾何変換係数を選択する幾何変換係数選択手段とを備える。【選択図】図１
2016076776.tif 000002
【特許請求の範囲】
【請求項１】
基準画像を含む複数の画像を取得し、前記基準画像に対して基準画像以外の画像を幾何変換して位置合わせして合成する画像処理装置であって、
各画像の領域ごとに画像処理装置からの距離を示す距離情報を算出する距離情報算出手段と、
各画像間の移動量を算出する移動量算出手段と、
距離に応じて、前記移動量から基準画像以外の画像を幾何変換するために用いる第１の幾何変換係数を算出する変換係数算出手段と、
前記距離情報の信頼度が所定値よりも低い領域について、前記距離に応じて算出された幾何変換係数を用いて変換した画像と前記基準画像と比較する比較手段と、
前記比較手段の比較結果に応じて、適用する幾何変換係数を選択する幾何変換係数選択手段とを備える、
ことを特徴とする画像処理装置。
【請求項２】
前記幾何変換係数選択手段は、
選択した第１の幾何変換係数と前記第１の幾何変換係数が算出された距離を基準に所定距離以内で算出された幾何変換係数を第２の幾何変換係数として選択し、前記第１の幾何変換係数と前記第２の幾何変換係数の各要素を所定の割合で合成することで推定幾何変換係数を作成し、
前記距離情報の信頼度が所定値よりも低い領域について、前記比較手段により前記推定幾何変換係数を用いて変換した画像を前記基準画像と比較することによって、適用する幾何変換係数を前記第１の幾何変換係数と推定幾何変換係数から選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記比較手段は、
前記距離情報の信頼度が所定値よりも低い領域について、前記推定幾何変換係数を用いて変換した画像を前記基準画像と比較し、
前記幾何変換係数選択手段は、
前記比較結果が第１の所定値を下回るまで、前記合成の割合を変更しながら前記推定幾何変換係数を作成することを繰り返す、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記比較手段は、
前記距離情報の信頼度が所定値よりも低い領域を前記第１の幾何変換係数、または前記推定幾何変換係数で変換した画像と前記基準画像の領域の差分絶対値に基づいて比較する、
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記幾何変換係数選択手段は、
前記比較手段の比較結果から、差分絶対値が最小値であるときの幾何変換係数を選択する、
ことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
基準画像を含む複数の画像を取得し、前記基準画像に対して基準画像以外の画像を幾何変換して位置合わせして合成する画像処理装置の制御方法であって、
各画像の領域ごとに画像処理装置からの距離を示す距離情報を算出する距離情報算出工程と、
各画像間の移動量を算出する移動量算出工程と、
距離に応じて、前記移動量から基準画像以外の画像を幾何変換するために用いる第１の幾何変換係数を算出する変換係数算出工程と、
前記距離情報の信頼度が所定値よりも低い領域について、前記距離に応じて算出された幾何変換係数を用いて変換した画像と前記基準画像と比較する比較工程と、
前記比較工程の比較結果に応じて、適用する幾何変換係数を選択する幾何変換係数選択工程とを備える、
ことを特徴とする画像処理装置の制御方法。
【請求項７】
基準画像を含む複数の画像を取得し、前記基準画像に対して基準画像以外の画像を幾何変換して位置合わせして合成する画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
各画像の領域ごとに画像処理装置からの距離を示す距離情報を算出する距離情報算出工程と、
各画像間の移動量を算出する移動量算出工程と、
距離に応じて、前記移動量から基準画像以外の画像を幾何変換するために用いる第１の幾何変換係数を算出する変換係数算出工程と、
前記距離情報の信頼度が所定値よりも低い領域について、前記距離に応じて算出された幾何変換係数を用いて変換した画像と前記基準画像と比較する比較工程と、
前記比較工程の比較結果に応じて、適用する幾何変換係数を選択する幾何変換係数選択工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理装置の制御方法に関し、特に、複数の画像を基準画像に対して幾何変換による位置合わせを行い、位置合わせを行った画像を基準画像に合成する技術に関する。
【背景技術】
【０００２】
今日、デジタルカメラは、複数枚の画像を基準となる画像に対して位置合わせを行い、基準画像と合成することでノイズを低減する技術や、複数枚の画像を異なる露出で撮影し、同様に合成することで画像のダイナミックレンジを拡大する技術が搭載されている。基準となる画像に対する位置合わせは幾何変換によって行われ、その主な手法としてアフィン変換や射影変換と呼ばれる手法が採用されている。
【０００３】
画面内の各被写体のデジタルカメラからの距離が異なる場合、撮影時の手振れによる各被写体の画面内の移動量は距離に応じて異なる。そのため、ある平面を別な平面に変換するアフィン変換や射影変換では、距離の異なる被写体の移動量から算出した幾何変換係数を用いて画像全体の位置合わせを行うと、各被写体の位置合わせ結果にズレが生じる可能性がある。そこで、距離に応じて各被写体の位置合わせを別々にすることで、位置合わせの性能を高めることができる。
【０００４】
合成画像の品質を高めるために、画像を位置合わせする際、デジタルカメラから画像内の被写体までの距離を示す距離情報を用いて近距離の被写体と遠距離の被写体を分けて合成する方法が特許文献１で提案されている。また、被写体の距離情報に応じて、位置合わせの幾何変換係数の算出に用いる特徴点を取得する領域を変更する方法が特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１９１４８６号公報
【特許文献２】特開２００４−３５７２０２号公報
【特許文献３】特開２０１３−９３８３６号公報
【特許文献４】特開２０１０−１３０４３０号公報
【特許文献５】特開２０１０−１０９９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述の特許文献１や特許文献２では距離情報が正しく取得できない被写体の幾何変換係数について、位置合わせの性能を向上させるための言及がなされていない。
本発明は前述の問題点に鑑み、距離情報の信頼度が低い被写体の位置合わせ性能が高い幾何変換係数を作成できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、基準画像を含む複数の画像を取得し、前記基準画像に対して基準画像以外の画像を幾何変換して位置合わせして合成する画像処理装置であって、各画像の領域ごとに画像処理装置からの距離を示す距離情報を算出する距離情報算出手段と、各画像間の移動量を算出する移動量算出手段と、距離に応じて、前記移動量から基準画像以外の画像を幾何変換するために用いる第１の幾何変換係数を算出する変換係数算出手段と、前記距離情報の信頼度が所定値よりも低い領域について、前記距離に応じて算出された幾何変換係数を用いて変換した画像と前記基準画像と比較する比較手段と、前記比較手段の比較結果に応じて、適用する幾何変換係数を選択する幾何変換係数選択手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、距離情報の信頼度が低い被写体の位置合わせ性能が高い幾何変換係数を作成することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る基準画像を示す図である。
【図２】本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図である。
【図３】本発明の実施形態に係る画像の位置合わせの動作を示すフローチャートである。
【図４】本発明の実施形態に係る位置合わせ幾何変換係数の作成を示すフローチャートである。
【図５】本発明の実施形態に係る距離情報から作成されたヒストグラムの説明図である。
【図６】本発明の実施形態に係る低信頼度被写体が実在する距離を示した図である。
【図７】本発明の実施形態に係る基準画像の各被写体を距離情報によって分けた図である。
【図８】本発明の実施形態に係る近距離被写体の幾何変換を説明する図である。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
本発明の好適な実施形態の一例として、以下に図面を用いて説明する。
なお、以下に説明する一実施形態は、画像処理装置の一例としての、デジタルカメラから被写体までの距離を取得することが可能なデジタルカメラに本発明を適用した例を説明する。
本発明の概略を説明する。
【００１１】
複数枚の画像を撮影し、撮影画像から位置合わせの基準となる基準画像を選択する。そして、基準画像に基準画像以外の他の画像（以下、対象画像と呼ぶ）の各被写体距離に応じた幾何変換係数の算出と幾何変換で対象画像の各被写体の位置合わせを行う。
本実施形態では、説明のため幾何変換を射影変換で行い、射影変換に用いる係数は射影変換係数とする。本実施形態では幾何変換は射影変換、幾何変換係数と射影変換係数を指す。ただし、幾何変換を射影変換だけに限定するものではなく、アフィン変換で行ってもよい。
【００１２】
距離に応じて幾何変換係数を算出するので、距離が正確に出ていない被写体は位置合わせ性能が出ない可能性がある。
そこで、被写体の距離が正確に出ているのかを距離情報信頼度で確認し、距離情報信頼度の低い被写体の幾何変換係数を、距離情報の信頼度が高い被写体から算出された幾何変換係数から選択あるいは推測し決定する。
【００１３】
次に、詳細を説明するために、本実施形態の基準画像を図１を用いて説明し、デジタルカメラの構成を図２を用いて説明する。
図１は、本発明の実施形態に係る基準画像を示す図である。
基準画像内にはデジタルカメラから近い順に近景の被写体１００と中距離の被写体１０１と遠距離の被写体１０２が存在する。そして、距離情報の信頼度が所定値よりも低い被写体１０３（以下、低信頼度被写体１０３と呼ぶ）が存在している。ここでは、低信頼度被写体１０３は細かい格子状のテクスチャを持っている。
【００１４】
図２は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。
システム制御部２０１は、例えばＣＰＵであり、デジタルカメラ２００が備える各ブロックの動作プログラムをＲＯＭ２０２より読み出し、ＲＡＭ２０３に展開して実行することによりデジタルカメラ２００が備える各ブロックの動作を制御する。
【００１５】
ＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作プログラムに加え、各ブロック動作に必要なパラメータ等を記憶する。焦点検出などで必要なレンズ情報として、射出瞳距離もＲＯＭ２０２に記憶されている。
ＲＡＭ２０３は、書き換え可能な揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１６】
光学系２０４は、被写体像を撮像部２０５に結像する。光学系２０４には絞りも含まれており、光学系の開口径を調節することで撮影時の光量調節を行う。
撮像部２０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系２０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部２０６に出力する。
【００１７】
Ａ／Ｄ変換部２０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ２０３に出力して記憶させる。
画像処理部２０７は、ＲＡＭ２０３に記憶されている画像データを処理する。また、画像処理部２０７は後述する幾何変換係数が入力されると対応する画像の被写体に対して幾何変換を行う。
【００１８】
記録媒体２０８は、着脱可能なメモリカード等であり、ＲＡＭ２０３に記憶されている画像処理部２０７で処理された画像や、Ａ／Ｄ変換部２０６でＡ／Ｄ変換された画像などが、記録画像として記録される。
バス２０９は、各ブロックの間で信号のやり取りを行うために用いられる。
距離情報算出部２１０は画像処理部２０７で処理された画像を読み込み、画像中の被写体の距離情報を算出し出力する。
【００１９】
距離情報信頼度算出部２１１は、画像処理部２０７で処理された画像を読み込み、画像中の被写体のテクスチャから距離情報信頼度を出力する。
変換係数算出部２１２は、基準画像と対象画像と距離情報と距離情報信頼度から距離に応じた被写体の幾何変換係数を算出する。加えて、距離情報の信頼度が低い被写体の幾何変換係数を作成する。そして幾何変換係数を画像処理部２０７へ出力する。
【００２０】
次に、距離情報の信頼度が低い被写体をそれぞれ含む対象画像と基準画像に位置合わせをする動作のフローの詳細について図３を用いて説明する。図３は、本発明の実施形態に係る位置合わせの動作を示すフローチャートである。
Ｓ３００において、画像処理部２０７が処理した画像（基準画像）から距離情報算出部２１０が距離情報を算出する。距離情報の算出は、視差画像を利用してデジタルカメラ２００から各画素の距離を算出する。視差画像を利用してデジタルカメラ２００から各被写体までの距離を算出する方法は、例えば特許文献３に記載されている手法を用いればよく、ここでは説明を省略する。
【００２１】
Ｓ３０１において、距離情報信頼度算出部２１１が入力画像の距離情報の信頼度を算出する。
距離情報の信頼度は被写体毎に算出され、被写体のテクスチャが繰り返し模様かどうか判定し、繰り返し模様の場合に距離情報の信頼度を低とする。繰り返し模様でない場合は距離情報の信頼度を高とする。
【００２２】
ここで、被写体のテクスチャが繰り返し模様の場合に距離情報の信頼度を低くするのは、距離情報の算出に後述するテンプレートマッチングと呼ばれる手法を用いるため、繰り返しのテクスチャによって誤検出する可能性があるからである。テクスチャが繰り返し模様かどうか判定する方法は、例えば特許文献４に記載されている手法を用いればよく、ここでは説明を省略する。
【００２３】
Ｓ３０２において、変換係数算出部２１２は基準画像と対象画像の被写体を距離情報を用いて分け、分けられた被写体毎に画像間の移動量（始点の座標と終点の座標）を算出する移動量算出処理を行う。移動量算出処理は、後述するテンプレートマッチングによって行う。被写体毎に画像間の移動量を算出するため、まず距離情報から各被写体を分けた図を、図５を用いて説明する。
図５は、本発明の実施形態に係る距離情報から作成されたヒストグラムの説明図である。
図５において、横軸はデジタルカメラ２００からの距離を示し、縦軸は度数を示している。
【００２４】
ヒストグラムから離散的に度数が高い距離を抽出し、抽出した距離について所定の範囲でグループ化する。
近距離の被写体１００のヒストグラムは、図５では横軸の距離の値が小さい範囲で近距離グループのヒストグラム５００として存在する。
中距離の被写体１０１のヒストグラムは、図５では横軸の距離の値が中間の範囲で中距離グループのヒストグラム５０１として存在する。
遠距離の被写体１０２のヒストグラムは、図５では横軸の距離の値が最も大きい範囲で最遠距離グループのヒストグラム５０２として存在する。
低信頼度被写体１０３のヒストグラムは、図５では横軸の距離の値が２番目に大きい範囲で２番目に遠い距離グループのヒストグラム５０３として存在する。
【００２５】
ヒストグラムのグループ毎に分けた被写体について、図７を用いて説明する。図７は本発明の実施形態に係る基準画像の各被写体を距離情報によって分けた図である。
近距離被写体の領域７００は、近距離グループのヒストグラム５００に対応する画素の集合である。
中距離被写体の領域７０１は、中距離グループのヒストグラム５０１に対応する画素の集合である。
遠距離被写体の領域７０２は、最遠距離グループのヒストグラム５０２に対応する画素の集合である。
低信頼度被写体の領域７０３は、２番目に遠い距離グループのヒストグラム５０３に対応する画素の集合である。
【００２６】
近距離被写体の領域７００を領域分割し、分割した領域をそれぞれテンプレートとして対象画像とテンプレートマッチングを行い近距離被写体の移動量７０４を４個以上取得する。
中距離被写体の領域７０１を領域分割し、分割した領域をそれぞれテンプレートとして対象画像とテンプレートマッチングを行い中距離被写体の移動量７０５を４個以上取得する。
【００２７】
遠距離被写体の領域７０２を領域分割し、分割した領域をそれぞれテンプレートとして対象画像とテンプレートマッチングを行い遠距離被写体の移動量７０６を４個以上取得する。
低信頼度被写体の領域７０３を領域分割し、分割した領域をそれぞれテンプレートとして対象画像とテンプレートマッチングを行い低信頼度被写体の移動量７０７を４個以上取得する。
【００２８】
移動量を４個以上取得するのは、本発明の実施形態において、幾何変換が射影変換によって行われるためである。幾何変換を射影変換以外で行う場合は移動量の取得個数を変更してもよい。
テンプレートマッチングの方法については、例えば特許文献５に記載されている手法を用いればよく、ここでは説明を省略する。
【００２９】
図３のフローチャートの説明に戻る。
Ｓ３０３において、距離情報信頼度算出部２１１は距離情報で分けられた被写体の内、距離情報信頼度の高い被写体(以下高信頼度被写体)の位置合わせに使用する幾何変換係数を算出する。
幾何変換係数の算出について説明する。幾何変換係数とは本実施形態では射影変換係数を指しており、射影変換の式は以下の式１で表すことができる。
【００３０】
【数１】
2016076776.tif 000003
【００３１】
ここでｘ０、ｙ０は移動量における始点の座標であり、ｘ、ｙは移動量における終点の座標である。ａ〜ｉは射影変換の射影変換係数である。
式（１）は式（２）、式（３）のように変換をすることができる。
【００３２】
【数２】
2016076776.tif 000004
【００３３】
近距離の被写体１００の幾何変換係数は、４組以上の近距離被写体の移動量７０４を式（２）、式（３）に代入して解くことで取得できる。
中距離の被写体１０１の幾何変換係数は、４組以上の中距離被写体の移動量７０５を式（２）、式（３）に代入して解くことで取得できる。
遠距離の被写体１０２の幾何変換係数は、４組以上の遠距離被写体の移動量７０６を式（２）、式（３）に代入して解くことで取得できる。
【００３４】
Ｓ３０４において、画像処理部２０７はＳ３０３で距離毎に分けた被写体の幾何変換係数で、幾何変換係数に対応する対象画像の高信頼度被写体を幾何変換する。幾何変換について図８を用いて説明する。
【００３５】
図８は、本発明の実施形態に係る近距離被写体の幾何変換を説明する図である。
図８の（ａ）は、基準画像の近距離被写体の周辺を拡大したものである。
図８の（ｂ）は、対象画像の近距離被写体の周辺を拡大したものである。
対象画像の幾何変換とは、基準画像の近距離の被写体１００のある座標８０１を近距離被写体の幾何変換係数で変換する。そして、ある座標８０１を変換した座標に対応する対象画像の座標８０２の画素から信号値を取得し、基準画像とは別な画像のある座標８０１に取得した信号値を配置することである。
【００３６】
そして、近距離の被写体１００にあるすべての画素において幾何変換が行われることで対象画像の近距離の被写体の幾何変換が完了する。
その他の距離の被写体の幾何変換についても同様の処理を行うため説明を省略する。
【００３７】
図３のフローチャートの説明に戻る。
Ｓ３０５において、
低信頼度被写体１０３は距離情報の信頼度が低いため、低信頼度被写体１０３が実在する位置は大まかに図６のように４種類に分けたなかのいずれかになる。
【００３８】
図６は、本発明の実施形態に係る低信頼度被写体１０３が実在する位置を示した図である。
（ａ）は、低信頼度被写体１０３が近距離被写体１００と中距離被写体１０１の間に位置する場合である。
（ｂ）は、低信頼度被写体１０３が中距離被写体１０１と遠距離被写体１０２の間に位置する場合である。
（ｃ）は、低信頼度被写体１０３が遠距離被写体１０２より遠い距離に位置する場合である。
（ｄ）は、低信頼度被写体１０３が近距離被写体１００より近い距離に位置する場合である。
【００３９】
この場合、低信頼度被写体１０３が実在する距離が分からないため、画像処理部２０７は対象画像の低信頼度被写体を近距離の被写体１００の幾何変換係数、中距離の被写体１０１の幾何変換係数、遠距離の被写体１０２の幾何変換係数でそれぞれ幾何変換する。
【００４０】
Ｓ３０６において、画像処理部２０７は、例えば低信頼度の領域７０３について基準画像の低信頼度被写体１０３とＳ３０５で得られた対象画像の幾何変換後の低信頼度被写体１０３の対応する画素の輝度値の差分を抽出し、差分を積分する。
【００４１】
Ｓ３０７において、画像処理部２０７はＳ３０６で積分された差分が最小になるときに使用された幾何変換係数を低信頼度被写体の仮幾何変換係数と決定する。
Ｓ３０８において、システム制御部２０１は仮幾何変換係数が、図６の（ｃ）に示すデジタルカメラ２００から一番遠い距離の被写体１０２から算出された幾何変換係数か否かを判断する。そうである場合はＳ３１１に進み、そうでない場合はＳ３０９に進む。
【００４２】
Ｓ３０９において、システム制御部２０１は仮幾何変換係数が、図６の（ｄ）に示すデジタルカメラ２００から一番近い距離の被写体１００から算出された幾何変換係数か否かを判断する。そうである場合はＳ３１１に進み、そうでない場合はＳ３１０に進む。
Ｓ３１１において、画像処理部２０７は仮幾何変換係数を低信頼度被写体の幾何変換係数として選択する、幾何変換係数選択処理を行う。
【００４３】
Ｓ３１０において、低信頼度被写体の位置合わせ性能をあげるため、仮幾何変換係数を元に低信頼度被写体の幾何変換係数を作成する。低信頼度被写体の幾何変換係数の作成フローを図４を用いて説明する。
【００４４】
図４は、本発明の実施形態に係る位置合わせ幾何変換係数の作成を示すフローチャートである。
Ｓ４００において、仮幾何変換係数を算出した位置を基準として、デジタルカメラ２００に向って手前側と奥側それぞれにおいて所定距離以内で最も近い位置で算出された幾何変換係数によって積分された差分を取得する。
本実施形態では、仮幾何変換係数を図１の中間距離の被写体１０１から算出された幾何変換係数として説明をする。そのため、手前側の幾何変換係数は近距離被写体１００の幾何変換係数を指し、奥側の幾何変換係数は遠距離被写体１０２の幾何変換係数を指す。
【００４５】
Ｓ４０１の判断において、手前の幾何変換係数で積分した差分が奥の幾何変換係数で積分した差分よりも小さい時はＳ４０２へ進み、そうでない場合はＳ４０６へ進む。
Ｓ４０２に進む場合は、低信頼度被写体１０３が図６の（ａ）に記載されている位置、Ｓ４０６へ進む場合は、低信頼度被写体が図６の（ｂ）に記載されている位置にいると推測する。
【００４６】
Ｓ４０２において、手前の幾何変換係数を前方幾何変換係数として選択する。
Ｓ４０３において、前方幾何変換係数で抽出された差分を前方差分と定義する。
Ｓ４０４において、仮幾何変換係数を後方幾何変換係数として選択する。
Ｓ４０５において、後方幾何変換係数で抽出された差分を後方差分と定義する。
Ｓ４０６において、奥の幾何変換係数を後方幾何変換係数として選択する。
Ｓ４０７において、後方幾何変換係数で抽出された差分を後方差分と定義する。
【００４７】
Ｓ４０８において、仮幾何変換係数を前方幾何変換係数として選択する。
Ｓ４０９において、前方幾何変換係数で抽出された差分を前方差分と定義する。
Ｓ４１０において、前方幾何変換係数と後方幾何変換係数を、所定の割合で合成し推定幾何変換係数を作成する。
【００４８】
例えば、低信頼度被写体１０３が前方幾何変換係数に対応する被写体と後方幾何変換係数に対応する被写体の間のどの位置にいるか仮決定することで所定の割合を決定する。
さらに、本実施形態では説明のため低信頼度被写体１０３の仮決定した位置を前方幾何変換係数に対応する被写体と後方幾何変換係数に対応する被写体の中間の位置とし、所定の割合を５０対５０としている。
また合成方法について、前方幾何変換係数と後方幾何変換係数のａ〜ｉの同じ要素を所定の割合で合成を行うが、特定の要素だけを合成するという方法を行ってもよい。
【００４９】
Ｓ４１１において、画像処理部２０７は対象画像の低信頼度被写体１０３を推定幾何変換係数で幾何変換する。
Ｓ４１２において、画像処理部２０７は基準画像の低信頼度被写体１０３とＳ４１１で幾何変換された対象画像の低信頼度被写体の各画素の輝度値の差分を積分する。
【００５０】
Ｓ４１３において、推定幾何変換係数を用いて算出された差分を積分したものを推定差分と定義する。
Ｓ４１４において、繰り返し推定幾何変換係数を作成する効果があるかを判断し、推定差分から前回の推定差分を減算した差分絶対値が第１の差分閾値より大きい場合はＳ４１５に進み、そうでない場合はＳ４２２へ進む。
ここで、前回の推定差分値の初期値は０もしくは第１の差分閾値よりも低く設定する。前回の推定差分は、後述するＳ４２１で更新される。
【００５１】
Ｓ４１５の判断において、推定差分があらかじめ決めた第２の差分閾値よりも小さい場合は、推定幾何変換係数の性能が十分だと判断しＳ４２２へ進み、そうでない場合はＳ４１６へ進む。
Ｓ４１６の判断において、推定幾何変換係数の合成の割合をどのように変えるか決めるため、まず前方差分と後方差分の値を比較する。この比較結果において、前方差分が後方差分よりも小さい時はＳ４１７へ進み、そうでない場合はＳ４１９へ進む。
【００５２】
Ｓ４１７において、後方差分の値を推定差分の値で置き換える。
Ｓ４１８において、前方幾何変換係数の合成の割合を上げて後方幾何変換係数と合成して推定幾何変換係数を再作成する。そして、Ｓ４２１へ進む。
例えば、現状の後方幾何変換係数の合成の割合を半分に下げ、下げた分、前方幾何変換係数の合成の割合を上げる。
【００５３】
Ｓ４１９において、前方差分の値を推定差分の値で置き換える。
Ｓ４２０において、前方幾何変換係数の合成の割合を下げて後方幾何変換係数と合成して推定幾何変換係数を再作成する。そして、Ｓ４２１へ進む。
例えば、現状の前方幾何変換係数の合成の割合を半分に下げ、下げた分、後方幾何変換係数の合成の割合を上げる。
【００５４】
Ｓ４２１において、推定差分を前回の推定差分値として更新する。そして、Ｓ４１１へ進む。前述のように、積分した差分が所定値を下回るまで、合成の割合を変更しながらＳ４１１〜Ｓ４２１の処理を繰り返し行う。
Ｓ４２２において、積分した差分が最小値になる時の幾何変換係数を低信頼度被写体の幾何変換係数として選択してＳ３１２へ進む。
【００５５】
図３のフローチャートの説明に戻る。
Ｓ３１２において、対象画像の低信頼度被写体をＳ３１０で作成した幾何変換係数で幾何変換する。
Ｓ３１３において、基準画像の低信頼度被写体１０３の距離情報を更新する。更新する方法としては推定幾何変換係数が最終的に選ばれた場合、推定幾何変換係数を作成した合成の割合から低信頼度被写体の位置を算出し、その位置から低信頼度被写体１０３の距離情報を更新する。
【００５６】
一例として、前方幾何変換係数と後方幾何変換係数の合成の割合が５０対５０の場合は、前方幾何変換係数と後方幾何変換係数が算出された位置の中間の位置に低信頼度被写体が存在する位置とし、その位置から低信頼度被写体１０３の距離情報を更新する。
前方幾何変換係数もしくは後方幾何変換係数が選ばれた場合、その幾何変換係数が算出された位置を低信頼度被写体の位置とし、その位置から低信頼度被写体１０３の距離情報を更新する。
本実施の形態によれば、距離情報の信頼度の低い被写体に対して位置合わせ性能が高い幾何変換係数を取得することが可能である。
【００５７】
（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１００  近距離被写体
１０１  中距離被写体
１０２  遠距離被写体
１０３  距離情報の信頼度の低い被写体
【図１】
2016076776.tif 000005
【図２】
2016076776.tif 000006
【図３】
2016076776.tif 000007
【図４】
2016076776.tif 000008
【図５】
2016076776.tif 000009
【図６】
2016076776.tif 000010
【図７】
2016076776.tif 000011
【図８】
2016076776.tif 000012