(57)【要約】      （修正有）【課題】画像の位置合わせに用いる幾何変換係数を算出する際に、必要な所定数の動きベクトルが画像から検出されない場合でも、精度良く位置合わせを行う画像処理装置および画像処理方法を提供する。【解決手段】各画像の領域毎に撮影位置からの距離を示す距離情報を取得する取得手段と、各画像の領域を距離情報に応じてグループに分類する分類手段と、グループ毎に画像間の動きベクトルを検出する検出手段と、動きベクトルに基づいて幾何変換に用いる変換係数を算出する係数算出手段と、を備える。係数算出手段は、検出された動きベクトルの数が所定数よりも多いグループには、検出された動きベクトルに基づいて第１変換係数を算出する第１係数算出手段と、検出された動きベクトルの数が所定数よりも少ないグループについては、第１変換係数と距離情報に基づいて、第２変換係数を算出する第２係数算出手段と、を有する。【選択図】図３
2017005540.tif 000002
【特許請求の範囲】
【請求項１】
基準画像を含む複数の画像を取得し、前記基準画像以外の画像を幾何変換して前記基準画像に合成する画像処理装置であって、
各画像の領域毎に撮影位置からの距離を示す距離情報を取得する取得手段と、
前記各画像の領域を前記距離情報に応じてグループに分類する分類手段と、
前記グループ毎に画像間の動きベクトルを検出する検出手段と、
検出された動きベクトルに基づいて幾何変換に用いる変換係数を算出する係数算出手段と、を備え、
前記係数算出手段は、
前記検出された動きベクトルの数が所定数よりも多いグループについては、前記検出された動きベクトルに基づいて第１変換係数を算出する第１係数算出手段と、
前記検出された動きベクトルの数が所定数よりも少ないグループについては、前記第１変換係数と前記距離情報に基づいて、第２変換係数を算出する第２係数算出手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記各画像について前記第１変換係数または第２変換係数を用いてグループ毎に幾何変換を行い、変換後の画像を位置合わせ合成する合成手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２係数算出手段は、前記検出された動きベクトルの数が所定数よりも小さいグループに最も距離が近いグループについて算出された第１変換係数を用いて、前記第２変換係数を算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２係数算出手段は、前記検出された動きベクトルの数が所定数よりも小さいグループと異なる複数のグループについて算出された第１変換係数を用いて、前記第２変換係数を算出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
前記複数のグループは、前記検出された動きベクトルの数が所定数よりも小さいグループから撮影位置に近い側のグループと遠い側のグループを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
基準画像を含む複数の画像を取得し、前記基準画像以外の画像を幾何変換して前記基準画像に合成する画像処理方法であって、
各画像の領域毎に撮影位置からの距離を示す距離情報を取得する取得ステップと、
前記各画像の領域を前記距離情報に応じてグループに分類する分類ステップと、
前記グループ毎に画像間の動きベクトルを検出する検出ステップと、
検出された動きベクトルに基づいて幾何変換に用いる変換係数を算出する係数算出ステップと、を備え、
前記係数算出ステップは、
前記検出された動きベクトルの数が所定数よりも多いグループについては、前記検出された動きベクトルに基づいて第１変換係数を算出する第１係数算出ステップと、
前記検出された動きベクトルの数が所定数よりも少ないグループについては、前記第１変換係数と前記距離情報に基づいて、第２変換係数を算出する第２係数算出ステップと、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基準画像を含む複数の画像を取得し、基準画像以外の画像を幾何変換して基準画像に合成する画像処理技術に関する。
【背景技術】
【０００２】
従来のデジタルカメラには、複数の画像を基準となる画像に対して位置合わせを行って合成することでノイズを低減する技術や、複数の画像を異なる露出で撮影して位置合わせ合成することで画像のダイナミックレンジを拡大する技術が搭載されている。
【０００３】
上述した複数の画像の位置合わせは、幾何変換によって行われ、その主な手法としてアフィン変換や射影変換と呼ばれる手法が採用されている。
【０００４】
また、画像内の各被写体のデジタルカメラからの距離が異なる場合、各被写体についての撮影間の手振れによる画像間での移動量は距離に応じて異なる。
【０００５】
そのため、ある平面を別な平面に変換するアフィン変換や射影変換では、距離の異なる被写体の移動量から幾何変換係数を算出して画像全体の位置合わせを行うと、各被写体の位置合わせ結果にズレが生じる可能性が有る。
【０００６】
そこで、合成画像の品質を高めるため、画像を位置合わせする際、デジタルカメラから画像内の被写体までの距離を示す距離情報を用いて、近距離の被写体と遠距離の被写体を分けて合成する方法が、特許文献１で提案されている。
【０００７】
また、被写体の距離情報に応じて、位置合わせの幾何変換係数の算出に用いる特徴点を取得する領域を変更する方法が、特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２‐１９１４８６号公報
【特許文献２】特開２００４‐３５７２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１と特許文献２においては、位置合わせの幾何変換係数を算出するために必要となる所定数の動きベクトルが画像から得られない場合について、一切考慮されていない。従って、画像の内容によっては、精度良く位置合わせを行うことができないという課題があった。
【００１０】
そこで、本発明は、幾何変換係数を算出するために必要となる所定数以上の動きベクトルが画像から得られない領域があったとしても、当該領域について、他の領域で算出された幾何変換係数を用いて幾何変換係数を算出することができる画像処理技術を提供する。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置の一態様は、基準画像を含む複数の画像を取得し、前記基準画像以外の画像を幾何変換して前記基準画像に合成する画像処理装置であって、各画像の領域毎に撮影位置からの距離を示す距離情報を取得する取得手段と、前記各画像の領域を前記距離情報に応じてグループに分類する分類手段と、前記グループ毎に画像間の動きベクトルを検出する検出手段と、検出された動きベクトルに基づいて幾何変換に用いる変換係数を算出する係数算出手段と、を備え、前記係数算出手段は、前記検出された動きベクトルの数が所定数よりも多いグループについては、前記検出された動きベクトルに基づいて第１変換係数を算出する第１係数算出手段と、前記検出された動きベクトルの数が所定数よりも少ないグループについては、前記第１変換係数と前記距離情報に基づいて、第２変換係数を算出する第２係数算出手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、幾何変換係数を算出するために必要となる所定数以上の動きベクトルが画像から得られない領域があったとしても、当該領域について、他の領域について算出された幾何変換係数を用いて幾何変換係数を算出することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る基準画像の図。
【図２】本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図。
【図３】本発明の実施形態に係る位置合わせ幾何変換係数の算出を示すフロー図。
【図４】本発明の実施形態に係る撮影位置から被写体までの距離を示す模式図。
【図５】本発明の実施形態に係る距離情報から作成されたヒストグラムの図。
【図６】本発明の実施形態に係る移動量の算出に用いるテンプレートの図。
【図７】本発明の実施形態に係る各グループの移動量を示す図。
【図８】本発明の実施形態に係る位置合わせ幾何変換係数を算出できなかったグループの幾何変換係数を算出するフロー図。
【図９】本発明の実施形態に係る二つの前幾何変換係数から幾何変換係数を作成するための図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。以下の説明においては、画像処理装置の一例としてデジタルカメラを用いて説明を行うが、本発明はこれに限定されない。本発明はスマートフォンなどの端末に対しても適用することが可能である。
【００１５】
（実施形態１）
実施形態１のデジタルカメラついて、図１から図９を用いて説明する。
【００１６】
まず実施形態１のデジタルカメラの動作について概略を説明する。実施形態１のデジタルカメラは、複数の画像を撮影し、これらの撮影画像から位置合わせの基準となる画像（以下、基準画像と称する）を選択する。そして、基準画像以外の他の画像（以下、対象画像と称する）について、被写体距離に応じた幾何変換を行って位置合わせを行う。
【００１７】
本実施形態では、射影変換による幾何変換を行い、幾何変換係数として射影変換係数を用いる。つまり、本実施形態では、幾何変換は射影変換、幾何変換係数は射影変換係数を示す。なお、本発明を実施するにあたっては、幾何変換は射影変換に限定されず、アフィン変換などのであってもよい。
【００１８】
図１は、位置合わせの基準となる基準画像を示す。
【００１９】
図１を参照して、基準画像内にはデジタルカメラから近い順に、近距離の被写体１００、中距離の被写体１０２、遠距離の被写体１０１が存在する。
【００２０】
図２は、実施形態１のデジタルカメラの機能構成を示すブロック図である。
【００２１】
システム制御部２０１は、例えばＣＰＵであり、デジタルカメラ２００が備える各ブロックの動作プログラムをＲＯＭ２０２より読み出し、動作プログラムをＲＡＭ２０３に展開して実行することにより、デジタルカメラ２００が備える各ブロックの動作を制御する。
【００２２】
ＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作プログラムに加え、各ブロック動作に必要なパラメータ等を記憶する。焦点検出などで必要なレンズ情報として、射出瞳距離もＲＡＭ２０２に記憶されている。
【００２３】
ＲＡＭ２０３は、書き換え可能な揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００２４】
光学系２０４は、被写体像を撮像部２０５に結像する。光学系２０４には、絞りが含まれており、光学系の開口径を絞りで調節することによって撮影時の光量調節を行うことができる。
【００２５】
撮像部２０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系２０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部２０６に出力する。
【００２６】
Ａ／Ｄ変換部２０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ２０３に出力して記憶させる。
【００２７】
画像処理部２０７は、ＲＡＭ２０３に記憶されている画像データを処理する。画像処理部２０７は、撮像部２０５の撮像によって得られた複数枚の画像データについて、被写体の位置合わせを行って合成する処理も行う。この処理を実行するために、画像処理部２０７は、画像の位置合わせに用いる幾何変換係数を変換係数算出部２１１から取得する。
【００２８】
記録媒体２０８は、着脱可能なメモリカード等であり、ＲＡＭ２０３に記憶されている画像処理部２０７で処理された画像やＡ／Ｄ変換部２０６でＡ／Ｄ変換された画像などが、記録画像として記録される。
【００２９】
バス２０９は、各ブロックの間で信号のやり取りを行うために用いられる。
【００３０】
距離情報算出部２１０は、画像処理部２０７で処理された画像データを読み込み、画像中の被写体の距離情報を算出して出力する。
【００３１】
変換係数算出部２１１は、基準画像と対象画像に基づいて、画像の領域毎に幾何変換係数を算出する。より詳細には、変換係数算出部２１１は、距離情報算出部２１０から取得した距離情報に基づいて、各画像の領域を距離ごとに複数のグループに分類し、グループごとに変換係数を算出する。変換係数の算出方法については後述する。また、変換係数算出部２１１は、バス２０９を介して、算出した変換係数を画像処理部２０７に出力する。
【００３２】
図３は、本実施形態における画像の位置合わせのための幾何変換係数を算出する制御を示すフロー図である。図８は、距離情報に応じて分けられた被写体のグループのうちで、幾何変換係数を算出できないグループについて、当該グループの幾何変換係数を算出する制御を示すフロー図である。
【００３３】
以下に、図３を主として用い、図４から図９を適宜参照して、変換係数算出部２１１が幾何変換係数を算出する制御を説明する。
【００３４】
複数の撮影画像が取得されると、距離情報算出部２１０は、画像処理部２０７が出力した画像（基準画像）に基づいて、画像内の各被写体について撮影位置からの距離を算出して、距離情報を生成する。距離情報算出部２１０は、たとえば視差画像を利用してデジタルカメラ２００から各画素の距離を算出する（Ｓ３００）。
【００３５】
視差画像を利用してデジタルカメラ２００から各被写体までの距離を算出する方法として、公知の手法を用いることができる。例えば特開２０１３−９３８３６号公報に記載されている手法を用いることができ、ここでは説明を省略する。なお、各被写体までの距離の算出方法は上記手法に限定されない。
【００３６】
次に、変換係数算出部２１１は、基準画像と対象画像のそれぞれについて、距離情報算出部２１０から取得した被写体の距離情報を用いて、画像の被写体領域毎に撮影位置からの距離に応じて複数のグループに分類する（Ｓ３０１）。
【００３７】
ここで、変換係数算出部２１１が行うグループの分け方について、図４を用いて説明する。図４は、撮影位置であるデジタルカメラ２００と各被写体が位置する状態を示す模式図であり、横軸はデジタルカメラ２００から各被写体までの距離を示している。図に示すように、デジタルカメラ２００から近い順に近距離被写体１００、中距離被写体１０２、遠距離被写体体１０１が位置している。
【００３８】
変換係数算出部２１１は、各被写体を撮影位置からの距離に応じてグループに分類するために、距離情報算出部２１０から取得した距離情報を用いて距離のヒストグラムを作成する。図５は、距離情報から作成された各被写体までの距離のヒストグラムを示す図であり、横軸はデジタルカメラ２００からの距離を示し、縦軸は度数を示している。
【００３９】
変換係数算出部２１１は、図に示すように、距離のヒストグラムから離散的に度数が高い距離を抽出し、抽出した距離に基づいて、各被写体を所定の距離範囲でグループ化する（Ｓ３０１）。
【００４０】
ヒストグラム５００は近距離の被写体Ａ１００のグループ、ヒストグラム５０１は遠距離の被写体Ｂ１０１のグループ、ヒストグラム５０２は中距離の被写体Ｘ１０２のグループを表している。
【００４１】
変換係数部算出部２１２は、基準画像と対象画像の間でグループ毎の移動量（始点の座標から終点の座標までの距離と方向を示す動きベクトル）を算出する。移動量の算出は後述するテンプレートマッチングによって行う（Ｓ３０２）。
【００４２】
テンプレートマッチングの方法については、例えば特開２０１０−１０９９１７号公報に記載されている手法を用いることができる。ここでは、詳細な説明を省略するが、概要については図６を用いて説明する。
【００４３】
図６は、移動量算出に用いるテンプレートの図である。
【００４４】
図６の（ａ）は、基準画像の近距離被写体１００を示しており、テンプレートマッチングに用いるテンプレート６００が示されている。テンプレート６００は誤検出を防ぐために一定の領域を有しており、ｎ画素×ｎ画素の領域を持っている（ｎの値は画像の大きさ、被写体の大きさなどに応じて設定される）。
【００４５】
そして図６の（ｂ）は、対象画像の近距離被写体１００を示しており、テンプレート６００に対応する探索領域６０１が示されている。
【００４６】
図６の（ｃ）は、基準画像の中距離被写体１０２を示しており、テンプレートマッチングに用いるテンプレート６０２が記載されている。テンプレート６０２は、テンプレート６００と同様に、誤検出を防ぐために一定の領域（ｎ画素×ｎ画素の領域）を持っている。
【００４７】
そして図６の（ｄ）は、対象画像の中距離被写体１０２を示しており、テンプレート６０２に対応する探索領域６０３が記載されている。
【００４８】
グループ毎の被写体にテンプレートを複数配置することで、移動量（動きベクトル）を幾何変換係数の算出に必要な個数取得することが望ましい。しかし、図６で示されているように、中距離被写１０２は他の被写体に比べて画面上での面積が小さく、中距離被写体１０２に配置できるテンプレートの数が限られる。この場合、幾何変換係数を算出するために必要となる所定数の移動量（動きベクトル）を検出することができない可能性がある。
【００４９】
そこでテンプレートの数を増やすためにテンプレートの領域を小さくすることが考えられるが、小さくなるほどノイズや局所的に似たテクスチャなどの影響で移動量の算出で誤検出が発生しやすくなる。
【００５０】
本実施形態では、射影変換による幾何変換としているため、動きベクトルを４個以上取得することが望ましい。幾何変換を射影変換以外で行う場合は移動量の取得個数を変更してもよい。
【００５１】
ｉ（ｉ＝０）番目のグループを選択する。本実施例では説明のため近距離被写体１００のグループを０番目、中距離被写体のグループを１番目、遠距離被写体のグループを２番目のグループとする（Ｓ３０３）。
【００５２】
ｉ番目のグループで算出した動きベクトルの個数が第一の所定値よりも多いか否かを判定し（Ｓ３０４）、多い場合（Ｓ３０４でＹＥＳ）はＳ３０５へ進み、少ない場合（Ｓ３０４でＮＯ）はＳ３０６へ進む。幾何変換係数を算出するのに必要な動きベクトルの個数を所定値に設定する。
【００５３】
各グループで算出された動きベクトルの個数を図７を用いて説明する。
【００５４】
図７には各グループで算出された動きベクトルが記載されている。図内の矢印の群は、近距離被写体１００の動きベクトル７００、遠距離被写体１０１の動きベクトル７０１、中距離被写体１０２の動きベクトル７０２を表している。
【００５５】
なお矢印の数はグループで算出できた動きベクトルの数を示し、矢印の大きさは画像間の移動量（動き量）を表している。
【００５６】
変換係数部算出部２１１は、ｉ番目のグループの動きベクトルからｉ番目のグループの位置合わせに使用する幾何変換係数を算出する（Ｓ３０５）。
【００５７】
幾何変換係数の算出について説明する。本実施形態では、幾何変換係数は射影変換係数を指しており、射影変換の式は以下の式１で表すことができる。
【００５８】
【数１】
2017005540.tif 000003
【００５９】
ここでｘ０、ｙ０は移動前の座標であり、ｘ、ｙは移動後の座標である。ａ〜ｉは射影変換の射影変換係数である。
【００６０】
式（１）は式（２）、式（３）のように変換をすることが出来る。そして移動前の座標と移動後の座標を式（２）式（３）に代入することで解くことができる。
【００６１】
【数２】
2017005540.tif 000004
【００６２】
【数３】
2017005540.tif 000005
【００６３】
全てのグループについて動きベクトルの個数の比較が終了したか否かを判定し（Ｓ３０６）、終了した場合（Ｓ３０６でＹＥＳ）はＳ３０８へ進み、終了していない場合（Ｓ３０６でＮＯ）はＳ３０７へ進む。
【００６４】
次のグループでの動きベクトルの個数の判定を行うために、ｉをインクリメントしてＳ３０４へ進む。
【００６５】
幾何変換係数を算出できなかったグループが存在する場合（Ｓ３０８でＹＥＳ）はＳ３０９へ進み、幾何変換係数を算出できなかったグループが存在しない場合（Ｓ３０８でＮＯ）は図３のフローチャートを終了する。
【００６６】
幾何変換係数を算出できなかったグループの幾何変換係数を算出する（Ｓ３０９）。この算出方法については、図８を用いて説明する。図８は、本発明の実施形態に係る位置合わせ幾何変換係数を算出できなかったグループの幾何変換係数を算出するフロー図である。
【００６７】
幾何変換係数を算出できなかったグループの位置を起点として、幾何変換係数を算出できたグループをデジタルカメラ２００の側に近づく方向で検索する（Ｓ８００）。ここで見つかった幾何変換係数を前幾何変換係数と呼ぶ。
【００６８】
Ｓ８００の検索の範囲は、撮影位置（デジタルカメラ２００）から幾何変換係数を算出できなかったグループの位置までとなる。
【００６９】
幾何変換係数を算出できなかったグループの位置を起点として、幾何変換係数を算出できたグループをデジタルカメラ２００の側から離れる方向で検索する（Ｓ８０１）。ここで見つかった幾何変換係数を後幾何変換係数と呼ぶ。
【００７０】
前後方向共に幾何変換係数を算出できたグループがある場合（Ｓ８０２でＹＥＳ）は、Ｓ８０３へ進み、幾何変換係数を算出できたグループが無い場合はＳ８０４へ進む。
【００７１】
Ｓ８０３では、距離情報と前後のグループの幾何変換係数（前幾何変換係数と後幾何変換係数）から幾何変換係数を算出できなかったグループの幾何変換係数を作成する。
【００７２】
最初に幾何変換係数を算出できなかったグループを中心として、カメラ方向に向かい前後でそれぞれ最も近い前幾何変換係数と後幾何変換係数を選択する。
【００７３】
前幾何変換係数と後幾何変換係数と距離情報を、式（４）と式（５）に代入することで幾何変換係数を算出できなかったグループの幾何変換係数を算出することが出来る。
【００７４】
【数４】
2017005540.tif 000006
【００７５】
【数５】
2017005540.tif 000007
【００７６】
ｄは幾何変換係数を算出できなかったグループのデジタルカメラ２００からの距離、ｄ１は前幾何変換係数を算出したグループのデジタルカメラ２００からの距離、ｄ２は後幾何変換係数を算出したグループのデジタルカメラ２００からの距離を表す。
【００７７】
αは、幾何変形数の合成の比率を表し、それぞれのグループまでの距離に応じて算出される。
【００７８】
ａ０〜ｉ０は幾何変換係数を算出できなかったグループの幾何変換係数、ａ１〜ｉ１は前幾何変換係数、ａ２〜ｉ２は後幾何変換係数を表している。
【００７９】
例えば、幾何変換係数を算出できなかったグループの位置が前幾何変換係数と後幾何変換係数を算出した位置の中央にいる場合は、前幾何変換係数と後幾何変換係数を５０対５０の割合で合成される。
【００８０】
式（４）と式（５）に基づいて合成した幾何変換係数を、幾何変換係数を算出できなかったグループの幾何変換係数として図８のフローを終了する。
【００８１】
Ｓ８０４では、前方向もしくは後方向に幾何変換係数を算出できたグループが複数ある場合（Ｓ８０４でＹＥＳ）はＳ８０５へ進み、複数のグループがない場合（Ｓ８０４でＮＯ）はＳ８０６へ進む。
【００８２】
距離情報と複数の前幾何変換係数もしくは後幾何変換係数から幾何変換係数を算出できなかったグループの幾何変換係数を作成する。
【００８３】
ここで、前幾何変換係数が複数ある場合について図９を用いて説明する。図９は、二つの前幾何変換係数から幾何変換係数を作成するための図である。
【００８４】
幾何変換係数を算出できなかったグループを起点として、デジタルカメラ２００の方向に近い順に一番目に近い前幾何変換係数９００と二番目に近い前幾何変換係数９０１を選択する。
【００８５】
選択した二つの幾何変換係数からａと距離を式（６）に代入する。
【００８６】
【数６】
2017005540.tif 000008
【００８７】
ｓｌｏｐｅは変化量を表す。ｐ２は前幾何変換係数９００のａ、ｐ１は前幾何変換係数９０１のａ。ｄ３は前幾何変換係数９００を算出した距離、ｄ４は前幾何変換係数９０１を算出した距離を表す。
【００８８】
式（７）と式（８）を連立方程式として解きｉｎｔｅｒｃｅｐｔを算出する。
ｙ＝ｓｌｏｐｅ・ｄ３＋ｉｎｔｅｒｃｅｐｔ      ・・・式（７）
ｙ＝ｓｌｏｐｅ・ｄ４＋ｉｎｔｅｒｃｅｐｔ      ・・・式（８）
ｙは前幾何変換係数である。ここでは式（７）のｙは前幾変換係数９００のａ、式（８）のｙは前幾何変換係数９０１が入力される。
【００８９】
そして式（９）に幾何変換係数を算出できなかったグループのデジタルカメラ２００からの距離を代入することで幾何変換係数を算出する。
ｙ＝ｓｌｏｐｅ・ｄｘ＋ｉｎｔｅｒｃｅｐｔ      ・・・式（９）
ｄｘは幾何変換係数を算出できなかったグループのデジタルカメラ２００からの距離である。
【００９０】
式（６）から式（９）までを用いて、ａ〜ｉの幾何変換係数を順に代入して行う事で、幾何変換係数を算出できなかったグループの幾何変換係数９０２（ａ０〜ｉ０）を線形的に算出していく。
【００９１】
複数の後幾何変換係数を用いて、幾何変換係数を算出できなかったグループの幾何変換係数を算出する方法は同等なのでここでは説明を省略する。そして図８のフローを終了する。
【００９２】
そして検索の範囲は、例えば幾何変換係数を算出できなかったグループの位置から距離情報の最も遠い位置までと設定する。
【００９３】
幾何変換係数を算出できたグループが存在しない場合（Ｓ８０６でＹＥＳ）は図８のフローを終了し、グループが存在する場合（Ｓ８０６でＮＯ）はＳ８０７へ進む。
【００９４】
Ｓ８０７では、幾何変換係数を算出できたグループの幾何変換係数を、算出できなかったグループの幾何変換係数とすることで図８のフローを終了する。
【００９５】
画像処理部２０７は、変換係数算出部２１１から出力される幾何変換係数を用いて、グループ毎に幾何変換を行い、変換後の画像を位置合わせして合成することで、各被写体の位置合わせにズレが生じさせることなく、合成画像を生成することが可能性となる。
【００９６】
本実施の形態によれば、距離情報に応じて分けられた被写体グループの内で、幾何変換係数を算出できなかったグループがあったとしても、撮影位置から各被写体までの距離情報と他のグループの幾何変換係数を用いることで、幾何変換係数を作成することが可能である。
【００９７】
（その他の実施形態）
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００９８】
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。
【符号の説明】
【００９９】
２００  デジタルカメラ
２０１  システム制御部
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  光学系
２０５  撮像部
２０６  Ａ／Ｄ変換部
２０７  画像処理部
２０８  記録媒体
２０９  バス
２１０  距離情報算出部
２１１  変換係数算出部
【図１】
2017005540.tif 000009
【図２】
2017005540.tif 000010
【図３】
2017005540.tif 000011
【図４】
2017005540.tif 000012
【図５】
2017005540.tif 000013
【図６】
2017005540.tif 000014
【図７】
2017005540.tif 000015
【図８】
2017005540.tif 000016
【図９】
2017005540.tif 000017