(57)【要約】【課題】複数の画像の重ね合わせに基づく重畳画像を好適に生成する。【解決手段】複数の画像を重ね合わせて重畳画像を生成する画像処理装置は、複数の画像の画像間の幾何関係を決定する幾何関係決定手段と、重ね合わせの基準とする基準画像に対する各画像の幾何関係に基づいて当該基準画像に対して重ね合わせを行う際の各画像の重みを決定する重み決定手段と、基準画像に対して幾何関係に基づく位置合わせを行い決定された重みで各画像を重ね合わせることにより重畳画像を生成する生成手段と、を有する。【選択図】図３
2019204182.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を重ね合わせて重畳画像を生成する画像処理装置であって、
前記複数の画像の画像間の幾何関係を決定する幾何関係決定手段と、
前記重ね合わせの基準とする基準画像に対する各画像の幾何関係に基づいて、該基準画像に対して前記重ね合わせを行う際の各画像の重みを決定する重み決定手段と、
前記基準画像に対して前記幾何関係に基づく位置合わせを行い前記決定された重みで各画像を重ね合わせることにより前記重畳画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記複数の画像の画像間の幾何関係に基づいて該複数の画像の中から前記基準画像を決定する基準画像決定手段を更に有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記幾何関係決定手段は、各画像の画像特徴を用いて画像間の位置合わせを行うことにより、該画像間の幾何関係を決定する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記幾何関係は、平行移動、回転、拡大縮小の少なくとも１つを含む
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記重み決定手段は、前記基準画像に対して９０度の倍数以外の回転、拡大縮小の少なくとも一方の幾何関係を有する画像に対する重みを、前記基準画像に対して平行移動のみの幾何関係を有する画像に対する重みよりも小さくする
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記基準画像決定手段は、前記複数の画像の中から前記基準画像の候補であるＮ枚の基準画像候補を選択し、Ｎ枚の基準画像候補のうち平行移動の幾何関係を有する画像をより多く有する基準画像候補を前記基準画像に決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記複数の画像のうち前記重ね合わせに用いる画像の目標数を設定する設定手段を更に有し、
前記生成手段は、前記位置合わせを行う際に画質劣化が少ない順で、前記複数の画像のうちの前記目標数の画像を重ね合わせて前記重畳画像を生成する
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記位置合わせを行う際の画質劣化が所定量未満である画像の個数が前記目標数よりも多いか否かを判定する判定手段を更に有し、
前記生成手段は、前記位置合わせを行う際の画質劣化が前記所定量未満である画像の個数が前記目標数以下であると前記判定手段により判定された場合、前記位置合わせを行う際に画質劣化が少ない順で、画質劣化が前記所定量未満である画像のみを重ね合わせて前記重畳画像を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記位置合わせを行う際の画質劣化が無い画像の個数が前記目標数よりも多いか否かを判定する判定手段を更に有し、
前記生成手段は、前記位置合わせを行う際の画質劣化が無い画像の個数が前記目標数よりも多いと前記判定手段により判定された場合、前記位置合わせを行う際の画質劣化が無い画像を全て重ね合わせて前記重畳画像を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
複数の画像を重ね合わせて重畳画像を生成する画像処理装置の制御方法であって、
前記複数の画像の画像間の幾何関係を決定する幾何関係決定工程と、
前記重ね合わせの基準とする基準画像に対する各画像の幾何関係に基づいて、該基準画像に対して前記重ね合わせを行う際の各画像の重みを決定する重み決定工程と、
前記基準画像に対して前記幾何関係に基づく位置合わせを行い前記決定された重みで各画像を重ね合わせることにより前記重畳画像を生成する生成工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を重畳し合成画像を生成する技術に関するものである。
【背景技術】
【０００２】
画像のＳＮ比やダイナミックレンジを向上する方法として、複数の画像に対して同一部分の位置合わせを行いその画素平均を取ることにより実現する手法が提案されている。特許文献１には、複数の画像間で対応する特徴点を求め、当該複数の画像間の移動ベクトルに基づき平行移動関係にある画像群を選択し合成する技術が開示されている。また、特許文献２には、単独で撮影された画像に対し、画像から特徴的な点（局所特徴点）を抽出し幾何変換関係を求めることにより位置合わせを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１１４５２０号公報
【特許文献２】特許第３３４７８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、平行移動関係にある画像のみで位置合わせを行い画素平均を取得する。そのため、画像群中に回転関係にある画像が多い場合には、処理の効果を得ることは難しいという課題がある。また、特許文献２では、入力画像を全て重ね合わせる前提で処理を行っている。そのため、回転関係にある画像を合成する際には画像の回転処理が必要となり、拡縮関係にある画像を合成する際には画像の拡縮処理が必要となるため、回転処理や拡縮処理により画質劣化が生じる事を考慮する必要がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、複数の画像の重ね合わせに基づく重畳画像をより好適に生成可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、複数の画像を重ね合わせて重畳画像を生成する画像処理装置は、
前記複数の画像の画像間の幾何関係を決定する幾何関係決定手段と、
前記重ね合わせの基準とする基準画像に対する各画像の幾何関係に基づいて、該基準画像に対して前記重ね合わせを行う際の各画像の重みを決定する重み決定手段と、
前記基準画像に対して前記幾何関係に基づく位置合わせを行い前記決定された重みで各画像を重ね合わせることにより前記重畳画像を生成する生成手段と、
を有する。
【発明の効果】
【０００７】
本発明によれば、複数の画像の重ね合わせに基づく重畳画像をより好適に生成可能とする技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理システムの全体構成を示すブロック図である。
【図２】画像処理装置の機能構成を示すブロック図である。
【図３】画像重畳処理の概略フローチャートである。
【図４】基準画像候補作成処理の例を示すフローチャートである。
【図５】基準画像候補作成処理の他の例を示すフローチャートである。
【図６】画像特徴の概念を説明する図である。
【図７】基準画像決定処理の例を示すフローチャートである。
【図８】位置合わせ処理の例を示すフローチャートである。
【図９】画像優先度判定処理及び重ね合わせ処理の例を示すフローチャートである。
【図１０】優先順位ソート処理の例を示すフローチャートである。
【図１１】重ね合わせ処理の他の例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１０】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、画像重畳を行う画像処理装置を例に挙げて以下に説明する。
【００１１】
＜装置の構成＞
図１は、画像処理システムの全体構成を示すブロック図である。コンピュータ装置１００は、単一のコンピュータ装置で実現してもよいし、サーバ装置やクライアント装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬＡＮ（Local Area Network）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。
【００１２】
ＣＰＵ（Central Processing Unit）１０１は、所与のプログラムを実行することによりコンピュータ装置１００全体を制御する。ＲＯＭ（Read Only Memory）１０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ（Random Access Memory）１０３は、外部装置などから供給されるプログラムやデータを一時記憶する。外部記憶装置１０４は、コンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やコンパクトディスク（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。
【００１３】
入力デバイス１０９は、ユーザの操作を受け付けるための、ポインティングデバイスやキーボードなどの装置である。入力デバイスインターフェイス１０５は、入力デバイス１０９とのインターフェイスである。モニタ１１０は、コンピュータ装置１００の保持するデータや供給されたデータの情報をユーザに提供するための装置である。出力デバイスインターフェイス１０６は、モニタ１１０とのインターフェイスである。通信インターフェイス１０７は、インターネットなどのネットワーク回線１１１や、各種外部装置（デジタルカメラ１１２，デジタルビデオカメラ１１３，スマートフォン１１４など）に接続するためのインターフェイスである。システムバス１０８は、上述の各ユニットを通信可能に接続する伝送路である。
【００１４】
図２は、画像処理装置の機能構成を示すブロック図である。ここでは、各機能ブロックの動作は、ＲＯＭ１０２等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをＣＰＵ１０１が実行することにより実現されることを想定する。もちろん、１以上の機能ブロックを特定用途向けＩＣ（ＡＳＩＣ）などのハードウェアにより実現してもよい。
【００１５】
入力部２０１は、重畳対象の複数の画像の入力を行う。蓄積部２０２は、入力部２０１から入力された複数の画像を記憶し蓄積する。特徴算出部２０３は、入力部２０１から入力された複数の画像それぞれの画像特徴量を抽出する。特徴蓄積部２０４は、特徴算出部２０３により抽出された画像特徴量を抽出元の画像と対応付けて記憶し蓄積する。重畳画像蓄積部２０５は、後述する方法により生成した重畳画像を記憶し蓄積する。
【００１６】
類似度判定部２０６は、公知である局所画像特徴量を用いたＢｏＷ（Bug of Words）法等の照合方法を用い、２つの画像間の類似距離を得る。或いは、局所特徴を用いた更に簡易な照合方法を用いても良い。推定処理部２０７は、２つの画像間の幾何関係決定を行う。具体的な処理の代表的なものにＲＡＮＳＡＣ法がある。
【００１７】
基準画像候補作成部２０８は、入力部２０１から入力された複数の画像から基準画像の候補となる画像を絞り込む処理である。最もシンプルな方法は、ランダムサンプリング或いは一定間隔でサンプリングする方法である。詳細は後述するが、基準画像とは、重畳処理に利用する画像のうち基準となる画像である。他の画像は基準画像に合わせて幾何変換処理がなされ基準画像に重畳されることになる。なお、基準画像候補作成部２０８により基準画像の候補となる画像を絞り込む理由は、総当たりで入力された複数の画像を比較すると処理負荷が重いためである。もちろん、画像処理装置の処理能力が高い場合には、入力された複数の画像の全てを基準画像候補としても構わない。
【００１８】
基準画像決定部２０９は、基準画像候補作成部２０８により絞り込まれた基準画像候補とその他の画像との間の幾何関係が平行移動か、或いは回転や拡縮を含むか等の評価を行う。これにより、総合的に重畳処理に伴って実施される画像変換における画像劣化の影響が少なくなるような基準画像を決定する。
【００１９】
優先度判定処理部２１０は、重畳処理対象の画像について基準画像に対して幾何関係が平行移動か或いは回転や拡縮を含むか等の評価を行う。そして、平行移動のみの画像を優先した、重畳処理対象の画像の優先度付けを行う。重ね合わせ処理部２１１は、重畳処理対象の画像の優先度付けに従い、幾何関係に応じた重み付けで画素平均を行い、重畳処理を行う。
【００２０】
＜装置の動作＞
図３は、第１実施形態に係る画像処理装置における画像重畳処理の概略フローチャートである。特に、第１実施形態では、重畳する画像の目標数（最大数）Ｇを予め設定する方法について説明する。この構成は、処理レスポンス（処理時間の上限）の調整を目標数の調整により実現できるため製品の設計において都合がよい。
【００２１】
Ｓ３０１では、入力部２０１は、Ｍ枚の画像を読み込む。Ｍ枚の画像に関して、ここでは、高速連射した静止画や動画フレーム列などの近接した時間で撮影された複数の画像を想定する。
【００２２】
Ｓ３０２では、基準画像候補作成部２０８は、重ね合わせの対象となる画像の枚数である目標数Ｇを入力する。当然、Ｇ≦Ｍを満たすこととなるが、なるべく多くを重畳したい場合には、Ｇ＝Ｍとしても良い。但し、重畳にふさわしくない画像については重畳処理を行わないため、Ｇは重畳する画像の最大数を意味する。
【００２３】
Ｓ３０３では、基準画像候補作成部２０８は、重ね合わせ処理において基準となる画像である基準画像の候補をＮ枚作成する。当然、Ｎ≦Ｍを満たすこととなる。上述したように、この処理は処理の効率化、高速化が目的である。計算パワーが十分或いは、処理に掛かる時間に制約が無い場合には、Ｎ＝Ｍとしても構わない。
【００２４】
Ｓ３０４では、基準画像決定部２０９は、重ね合わせ基準画像の候補から最適な重ね合わせ基準画像を決定する。重畳する画像の幾何関係が平行移動のものと、それ以外の画質劣化を伴うものを考慮した評価基準に基づき、画質劣化が起きにくい基準画像を選択する。
【００２５】
Ｓ３０５では、優先度判定処理部２１０は、重ね合わせを行う画像の優先度を判定する。重畳する画像間の幾何関係が平行移動のものを重視しながら、重ね合わせ目標数Ｇを考慮した重畳処理する画像の順番を決定する。
【００２６】
Ｓ３０６では、重ね合わせ処理部２１１は、Ｓ３０５で決定した優先度に基づき、基準画像との幾何関係を考慮した重みづけを行いながら画像の重ね合わせ処理を実行する。
【００２７】
図４は、基準画像候補作成処理（Ｓ３０３）の例を示すフローチャートである。図４は、基準画像候補作成部２０８が、Ｍ枚の画像を入力し（Ｓ４０１）、Ｎ枚をサンプリングする（Ｓ４０２）方法を示している。具体的なサンプリングの方法としては、ランダムサンプリングでもよいし、時系列方向で一定間隔のサンプリングを行っても良い。
【００２８】
図５は、基準画像候補作成処理（Ｓ３０３）の他の例を示すフローチャートである。図４の方法では、互いに似ている物が含まれる可能性が有り、その場合、処理の効率が低下してしまうことになる。そこで、基準画像候補作成部２０８は、画像を入力し（Ｓ５０１）サンプリング（Ｓ５０２）を行った後、Ｓ５０３にて、サンプリングしたＭ’枚の画像に対して総当たりで画像特徴の類似距離を算出する。
【００２９】
Ｓ５０４では、基準画像候補作成部２０８は、特徴間距離の降順（すなわち似ていない順）でソートする。これにより、互いに似ていない画像ペアの順序が求まる。降順ソートした結果においてｉ番目の距離をＤ（ｉ）としておく。その後、基準画像候補作成部２０８は、Ｓ５０５〜Ｓ５１１において類似距離の大きな画像のペアを求める。
【００３０】
Ｓ５０５では、基準画像候補作成部２０８は、ループカウンタｉを”１”にセットする。Ｓ５０６では、基準画像候補作成部２０８は、ループカウンタｉがサンプリングした画像枚数Ｍ’を超えていないか確認する。超えていれば、Ｓ５０７においてＮにＭ’を代入し、処理を終了する。これにより、Ｍ’枚の基準画像候補が決定される。ループカウンタｉがサンプリングした画像枚数Ｍ’を超えていない場合は、Ｓ５０８に進む。
【００３１】
Ｓ５０８では、基準画像候補作成部２０８は、ｉ番目の比較結果を得た比較画像の画像ＩＤをリストへ追加する。この際、過去に同じ画像ＩＤが存在する場合には重複させないようにする。結果として、リストに追加された画像ＩＤの個数Ｎ＿ｌｉｓｔを得る。
【００３２】
Ｓ５０９では、基準画像候補作成部２０８は、距離Ｄ（ｉ）と所定の類似距離閾値Ｄ＿ＴＨとを比較する。Ｄ（ｉ）が閾値Ｄ＿ＴＨ以上である場合には、互いに似ていない画像は無いと判断し、Ｓ５１０においてループカウンタｉ（即ち現在のリスト中の画像ＩＤの個数）をＮへ代入し、処理を終える。一方、Ｄ（ｉ）が閾値Ｄ＿ＴＨ未満である場合には、Ｓ５１１においてループカウンタｉをインクリメント（１増加）して、Ｓ５０６に進む。
【００３３】
もちろん、Ｓ５０２においてサンプリングを行わず（即ちＭ＝Ｍ’）、Ｍ枚の画像を総当たりし、互いに類似していない画像を選ぶ構成としても良い。Ｓ５０３における類似距離算出に関しては、公知のＢｏＷによる局所特徴量の類似ペア数の投票に基づく方法もある。これは、局所特徴量の幾何関係に基づく同一幾何関係の投票処理である。
【００３４】
図６は、画像特徴の概念を説明する図である。画像を複数の部分領域（図６では９個の領域）に分割し、各部分領域に存在する局所特徴量（特徴点の個数など）を求めておく。比較の際に、同じ位置の部分領域に存在する局所特徴量の差の絶対値を加算（累積）することで代表することも可能である。
【００３５】
図７は、基準画像決定処理（Ｓ３０４）の例を示すフローチャートである。
【００３６】
Ｓ７０１では、基準画像決定部２０９は、Ｍ枚の画像及びＮ枚の基準画像候補を入力する。Ｓ７０２では、基準画像決定部２０９は、ループカウンタｉを”０”に初期化し、更に、位置合わせ評価値（Ｓｕｃｃｅｅｄｅｄ［０］〜Ｓｕｃｃｅｅｄｅｄ［Ｎ−１］）を”０”に初期化する。Ｓ７０４では、基準画像決定部２０９は、ループカウンタｊを”０”に初期化する。
【００３７】
Ｓ７０３から始まるループ処理は、ループカウンタｉをインクリメント（Ｓ７１４）することによりＮ枚の基準画像候補を制御するループ処理である。一方、Ｓ７０５から始まるループ処理は、ループカウンタｊをインクリメント（Ｓ７１３）することによりＭ枚の画像を制御するループ処理である。特に、Ｓ７０５〜Ｓ７１３は、ループカウンタｉで示す１枚の基準画像候補に対して行うＭ枚の画像の幾何関係による基準画像の適正をスコアリングする処理である。
【００３８】
Ｓ７０６では、基準画像決定部２０９は、対象画像［ｊ］と基準画像候補［ｉ］とが同一の画像であるか否かを判断する。同一の画像である場合、後述のＳ７０７〜Ｓ７１２の処理は無駄な処理となるためＳ７１３へ進む。もちろん、Ｓ７０６の判断処理を行わず、同一の画像に対しても処理を行うよう構成してもよい。
【００３９】
Ｓ７０７では、基準画像決定部２０９は、対象画像［ｊ］と基準画像候補［ｉ］との位置合わせを試行する。Ｓ７０７に関しては公知のＲＡＮＳＤＡＣ方法を用いアフィン変換行列を得ることができる。なお、より軽量な処理については図８を参照して後述する。
【００４０】
Ｓ７０８では、基準画像決定部２０９は、対象画像［ｊ］と基準画像候補［ｉ］との位置合わせが成功したかどうかを判断する。失敗する場合とは、映像が非線形に変形したりぶれたりした場合等である。失敗した場合はＳ７１３へ進み、成功した場合はＳ７０９へ進む。
【００４１】
Ｓ７０９では、基準画像決定部２０９は、アフィン変換行列に基づいて、対象画像［ｊ］と基準画像候補［ｉ］との幾何関係が”平行移動”かどうか（平行移動が支配的か否か）を判断する。”平行移動”の場合にはＳ７１０に進み、そうでない場合はＳ７１１に進む。Ｓ７１０では、基準画像決定部２０９は、基準画像候補の評価値であるＳｕｃｃｅｅｄｅｄ［ｉ］に”１”を加える。一方、Ｓ７１１では、基準画像決定部２０９は、Ｓｕｃｃｅｅｄｅｄ［ｉ］に”０．５”を加える。なお、”０．５”は一例であり、幾何関係が平行移動から外れるに従って徐々に小さな値にするよう設定してもよい。Ｓ７１２では、基準画像決定部２０９は、Ｓ７０７〜Ｓ７０９で得られた位置合わせ情報を記憶する。以上の処理により、平行移動の関係にある画像に重みを置いた評価値（Ｓｕｃｃｅｅｄｅｄ［ｉ］）を得ることができる。当該評価値は、画質劣化が所定量未満である画像の個数に相当する指標でもある。
【００４２】
Ｓ７１３では、基準画像決定部２０９は、ｊをインクリメントし、対象画像［ｊ］を更新する。そして、Ｓ７０５においてｊ＝Ｍとなり全ての対象画像の処理を終えたと判断したらＳ７１４に進む。Ｓ７１４では、基準画像決定部２０９は、ｉをインクリメントし、基準画像候補［ｉ］を更新する。そして、Ｓ７０３においてｉ＝Ｎとなり全ての基準画像候補の処理を終えたと判断したらＳ７１５に進む。
【００４３】
Ｓ７１５では、基準画像決定部２０９は、Ｓｕｃｃｅｅｄｅｄ［ｉ］が最大となる基準画像候補［ｉ］を基準画像として決定する。これにより、重畳可能な画像が多く、且つ、その中に画質劣化の少ない重畳処理が可能な基準画像を得ることが可能となる。
【００４４】
図８は、位置合わせ処理（Ｓ７０７）の例を示すフローチャートである。上述したように、対象画像［ｊ］と基準画像候補［ｉ］との位置合わせに関しては公知のＲＡＮＳＤＡＣ方法を用いることができる。しかしながら、ＲＡＮＳＡＣ処理回数が（（Ｎ−１）×Ｍ）回発生する事になり処理コストが重いという問題がある。そこで、図８では、より簡易な処理について説明する。具体的には、対象画像［ｊ］と基準画像候補［ｉ］にて、対応する特徴点ペアの座標値の差分を取り、これを２次元のヒストグラム化し、その集中度合を評価する方法である。
【００４５】
Ｓ８０１では、基準画像決定部２０９は、着目する対象画像と基準画像候補を得る。Ｓ８０２では、基準画像決定部２０９は、基準画像候補上で、対象画像の特徴点の座標近傍で類似する特徴点を求める。座標近傍とするのは、動画フレームや連写など画像の変化が少ない場合を想定し、ＲＡＮＳＡＣを行わない分、制約条件を設けたほうが良いからである。もちろん、動画フレームや連写などで無い場合には座標近傍という制約を外しても良い。
【００４６】
Ｓ８０３では、基準画像決定部２０９は、類似する局所特徴を持つ特徴点の、基準画像候補と対象画像の座標の差分値の正規化ヒストグラム（２次元）を算出する。Ｓ８０４では、基準画像決定部２０９は、ヒストグラムの集中度合いを評価し評価値を算出する。簡易な方法として、２次元の分散や標準偏差を求める方法が有る。分散や標準偏差が小さなものほど集中度合いが大きいとする。
【００４７】
Ｓ８０５では、基準画像決定部２０９は、集中度合いの評価値が所定の閾値以上であるか否かを判定する。評価値が所定の閾値以上である場合は、Ｓ８０６にて、基準画像決定部２０９は、「平行移動」で位置合わせが成功したと判定し、そのヒストグラムのピーク或いは平均値を平行移動量として決定する。一方、集中度合いの評価値が所定の閾値未満の場合は、Ｓ８０７にて、基準画像決定部２０９は、Ｓ８０２にて求めた類似特徴点数が閾値以上か否かを判定する。類似特徴点数が閾値以上である場合は、Ｓ８０８にて、基準画像決定部２０９は、「平行移動以外」で位置合わせが成功したと判定する。基準画像候補と対象画像との関係が、回転や回転と平行移動の組み合わせである場合等がこれにあたる。一方、類似特徴点数が閾値未満の場合は、Ｓ８０９にて、基準画像決定部２０９は、「似ていない」ため位置合わせ失敗と判定する。
【００４８】
上述の処理により、ＲＡＮＳＡＣより軽量な処理コストで、基準画像候補と対象画像との関係が「平行移動」、「平行移動以外」、「似ていない」の３つの状態を返すことが可能となる。
【００４９】
図９は、画像優先度判定処理（Ｓ３０５）及び重ね合わせ処理（Ｓ３０６）の例を示すフローチャートである。
【００５０】
Ｓ９０１では、優先度判定処理部２１０は、基準画像に対する回転角度に応じた優先順位ソート処理を行う。なお、各画像の基準画像に対する回転角度は予め０以上３６０未満の数値として決定されているとする。
【００５１】
図１０は、優先順位ソート処理（Ｓ９０１）の例を示すフローチャートである。
【００５２】
Ｓ１００１では、優先度判定処理部２１０は、回転角度を”９０”で割った剰余Ｒを求める。このとき、Ｒは、０≦Ｒ＜９０を満たす。画像回転処理に伴う画質の劣化は、主に、座標変換を行った際に必要となる補完処理により発生するボケにより生じる。補完処理には例えば周囲の画素を考慮した重み付き線形和が用いられる。そのため、９０度単位の回転処理は画素の座標変換のみで可能であることから、補完処理が不要であり画質劣化は生じない。
【００５３】
Ｓ１００２では、優先度判定処理部２１０は、Ｒと”４５”の差の絶対値Ｒ２を求める。このとき、Ｒ２は、０≦Ｒ≦４５を満たす。上述のように９０度単位の回転処理では劣化は生じない。また、回転処理における回転角度が小さい場合には、画素のシフトによる補完が多く、回転角度が多くなるにつれ、補完のために参照する（重み付けが大きい画素と考えても良い）周囲画素の数が多くなる。そのため、Ｒ２が”０”に近いほど劣化が大きく、Ｒ２が”４５”に近いほど劣化が小さくなる。そこで、Ｒ２を画質劣化の指標とする処理を行う。
【００５４】
Ｓ１００３では、優先度判定処理部２１０は、Ｒ２の降順でＭ個の画像をソートしたものを、重畳処理優先度とする。これにより、画質劣化の少ないと仮定できるものほど高い優先順位とすることが可能となる。もちろん、画質劣化度合いをＬＵＴ（ルックアップテーブル）化し、回転による画質劣化の指標にしても良い。当該ＬＵＴは、実際に画像サイズを想定した画像回転処理のシミュレーションを行い、回転角度毎にどの程度の割合で周囲画素の重み付けで補完が発生するかを測定することにより得られる。
【００５５】
Ｓ９０２では、重ね合わせ処理部２１１は、ループカウンタｋを”０”に初期化する。更に、基準画像と同じサイズ（画素数）で、画素ごとに加算回数を記憶する画素加算回数カウンタを全て”０”に初期化する。このカウンタは、後に加算回数で画素加算値を割って正規化する際に用いる。
【００５６】
Ｓ９０３では、重ね合わせ処理部２１１は、基準画像決定処理（図７）で求めた基準画像（＝基準画像候補［ｉ］）に対応する評価値Ｓｕｃｃｅｅｄｅｄ［ｉ］と、重畳目標回数Ｇの大小関係を比較する。Ｓｕｃｃｅｅｄｅｄ［ｉ］が目標数Ｇより大きい場合は、Ｓ９０５にて、重ね合わせ処理部２１１は、重畳目標回数Ｇを重畳回数のリミットＬｏｏｐｌｉｍｉｔに設定する。一方、Ｓｕｃｃｅｅｄｅｄ［ｉ］が目標数以下の場合は、重ね合わせ処理部２１１は、Ｓｕｃｃｅｅｄｅｄ［ｉ］を重畳回数のリミットＬｏｏｐｌｉｍｉｔに設定する。
【００５７】
Ｓ９０６〜Ｓ９１２のループで画像の重畳処理を行う。ループカウンタｋは重畳の優先順位に対応しており、ｋ＝０は最優先の画像となる。
【００５８】
Ｓ９０６にて、重ね合わせ処理部２１１は、カウンタｋとＬｏｏｐｌｉｍｉｔとを比較し重畳処理が終了しているか確認する。終わっていなければＳ９０７に進む。
【００５９】
Ｓ９０７では、重ね合わせ処理部２１１は、ｋ番目の画像は「平行移動」の関係にあるかどうかを判断する。平行移動の関係かどうかは上述の基準画像決定処理（図７）で記憶した情報を用いれば良い。
【００６０】
平行移動の関係でないと判断した場合は、Ｓ９０８にて位置合わせを行い、画素に例えば重み”０．５”で加算する。重みを”１”未満とするのは、回転変換等による画質劣化が有るからである。前述したＲ２を画質劣化の指標とみなし、これに応じた重み付けを行っても良い。更に、Ｓ９０９にて基準画像上の画素単位で、加算した画素に画素加算回数カウンタへ”０．５”加算する。これは、先に述べたように、画素加算値を正規化する際に用いる。
【００６１】
一方、平行移動の関係であると判断した場合は、Ｓ９１０にて位置合わせを行い、画素に例えば重み”１”で加算する。ここで、重みを”１”とするのは、画質劣化が無いからである。更に、Ｓ９１１にて基準画像上の画素単位で、加算した画素に画素加算回数カウンタへ”１”加算する。
【００６２】
そして、Ｓ９０９或いはＳ９１１の処理の後、ループカウンタｋをインクリメントし、Ｓ９０６に進む。重畳のための画素加算処理が全て終わった（ｋ＝Ｌｏｏｐｌｉｍｉｔ）とＳ９０６で判断したら、Ｓ９１３にて、基準画像上の画素の加算値（積算値）を画素加算回数カウンタで除算して正規化を行う。これにより画素平均処理が行われた重畳処理を完了する。
【００６３】
以上説明したとおり第１実施形態によれば、複数の画像を重畳するにあたって、平行移動の関係にある画像がより多い画像を基準画像として決定する。そして当該基準画像に対して、複数の画像を重ね合わせ処理（重畳処理）を実行する。また、重ね合わせ処理において、基準画像に対して平行移動の関係にある画像に対して高い優先度を設定し、優先度の高い画像の順で重ね合わせ処理を実行する。更に、補完処理が生じる変換（回転や拡大）が必要となる画像の重ね合わせ処理における重み付けを小さくすることにより、画質劣化の少ない重畳画像を得ることが可能となる。
【００６４】
なお、上述の説明においては平行移動の関係にある画像がより多い画像を基準画像として決定したが、基準画像については他の方法で決定してもよい。また、基準画像の指定をユーザから受け付けるよう構成してもよい。
【００６５】
（第２実施形態）
第２実施形態では、重ね合わせる画像の個数を目標数Ｇに限定しない形態の処理について説明する。第１実施形態のように重ね合わせる画像の個数を目標数Ｇに限定することにより、処理レスポンス（処理時間の上限）を調整することが可能となる。一方、重畳する画像群によっては、目標数Ｇを超える個数の平行移動関係にある画像が存在する場合がある。その際は、高画質化を処理時間増加より優先して、平行移動関係の画像を全て重畳したい場合がある。そこで、第２実施形態では、目標数Ｇを超えた場合であっても重ね合わせ処理を継続する形態について説明する。
【００６６】
図１１は、第２実施形態に係る画像優先度判定処理（Ｓ３０５）及び重ね合わせ処理（Ｓ３０６）の例を示すフローチャートである。第１実施形態とは重ね合わせ処理（Ｓ３０６）のみが異なる。
【００６７】
Ｓ１１０１では、優先度判定処理部２１０は、基準画像に対する回転角度に応じた優先順位ソート処理を行う。この処理は第１実施形態と同様であるため詳細な説明は省略する。
【００６８】
Ｓ１１０２では、重ね合わせ処理部２１１は、ループカウンタｋを”０”に初期化する。更に、基準画像と同じサイズ（画素数）で、画素ごとに加算回数を記憶する画素加算回数カウンタを全て”０”に初期化する。このカウンタは、後に加算回数で画素加算値を割って正規化する際に用いる。
【００６９】
Ｓ１１０３〜Ｓ１１２４のループで画像の重畳処理を行う。ループカウンタｋは重畳の優先順位に対応しており、ｋ＝０は最優先の画像となる。
【００７０】
Ｓ１１０３にて、重ね合わせ処理部２１１は、カウンタｋと図７の重畳基準画像決定処理で求めた基準画像ｉに対応するＳｕｃｃｅｅｄｅｄ［ｉ］とを比較し重畳処理が終了しているか確認する。終わっていなければＳ１１０４に進む。
【００７１】
Ｓ１１０４では、重ね合わせ処理部２１１は、ｋが重ね合わせ目標数Ｇ未満であるか判断する。ｋが重ね合わせ目標数Ｇ未満である場合は、Ｓ１１０５にて、ｋ番目の画像は「平行移動」の関係にあるかどうかを判断する。平行移動かどうかは上述の基準画像決定処理（図７）で記憶した情報を用いれば良い。
【００７２】
平行移動の関係でないと判断した場合は、Ｓ１１０６にて位置合わせを行い、画素に例えば重み”０．５”で加算する。重みを”１”未満とするのは、回転変換等による画質劣化が有るからである。前述したＲ２を画質劣化の指標とみなし、これに応じた重み付けを行っても良い。更に、Ｓ１１０７にて基準画像上の画素単位で、加算した画素に画素加算回数カウンタへ”０．５”加算する。これは、先に述べたように、画素加算値を正規化する際に用いる。
【００７３】
一方、平行移動の関係であると判断した場合は、Ｓ１１０８にて位置合わせを行い、画素に例えば重み”１”で加算する。ここで、重みを”１”とするのは、画質劣化が無い（実質的に無視できる）からである。更に、Ｓ１１０９にて基準画像上の画素単位で、加算した画素に画素加算回数カウンタへ”１”加算する。
【００７４】
そして、Ｓ１１０７或いはＳ１１０９の処理の後、ループカウンタｋをインクリメントし、Ｓ１１０３に進む。ｋ＝Ｓｕｃｃｅｅｄｅｄ［ｉ］）とＳ１１０３で判断したら、Ｓ１１１４にて、基準画像上の画素の加算値（積算値）を画素加算回数カウンタで除算して正規化を行う。これにより画素平均処理が行われた重畳処理を完了する。
【００７５】
Ｓ１１０４において、ｋが重ね合わせ目標数Ｇ以上の場合は、Ｓ１１１０にてｋ番目の画像が「平行移動」の関係であるか否かを判断する。平行移動の関係でないと判断した場合は、重ね合わせ処理をしても高画質化が期待できないため、Ｓ１１１４に進む。一方、平行移動の関係であると判断した場合は、Ｓ１１１１にて位置合わせを行い、画素に例えば重み”１”で加算する。ここで、重みを”１”とするのは、画質劣化が無いからである。更に、Ｓ１１１２にて基準画像上の画素単位で、加算した画素に画素加算回数カウンタへ”１”加算する。
【００７６】
Ｓ１１１４では、重ね合わせ処理部２１１は、基準画像上の画素の加算値（積算値）を画素加算回数カウンタで除算して正規化を行う。これにより画素平均処理が行われた重畳処理を完了する。
【００７７】
以上説明したとおり第２実施形態によれば、「平行移動」の関係にある画像が目標数Ｇを超える存在する場合、目標数Ｇを超える個数の画像を重畳することが可能となる。すなわち、高画質化を優先した処理を行うことが可能となる。
【００７８】
（変形例）
上述の第１及び第２実施形態では目標数Ｇを設定したが、目標数Ｇを設定せず位置合わせ可能な画像を全て重畳するよう構成してもよい。例えば、Ｓｕｃｃｅｅｄｅｄ［ｉ］を重畳回数のリミットＬｏｏｐｌｉｍｉｔに設定するよう構成してもよい。
【００７９】
また、「平行移動以外」の関係として「回転」に着目した説明を行ったが、「拡大縮小」に着目して同様の方法を用いることも可能である。その場合は、画質劣化の要因を拡大／縮小率と置き換えればよい。また、「回転」と「拡大縮小」の組み合わせに着目して同様の方法を用いることも可能である。
【００８０】
更に、上述の説明においては、画像全体を対象として位置合わせ処理及び重畳処理を行う例について説明した。ただし、画像を短冊状（バンド状）に分割し、個別の短冊状画像に対して位置合わせ処理を行うよう構成してもよい。そして、位置合わせ可能な短冊状画像に対して重畳処理を行うよう構成してもよい。
【００８１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
２０１  入力部；  ２０２  蓄積部；  ２０３  特徴算出部；  ２０４  特徴蓄積部；  ２０５  重畳画像蓄積部；  ２０６  類似度判定部；  ２０７  推定処理部；  ２０８  基準画像候補作成部；  ２０９  基準画像決定部；  ２１０  優先度判定処理部；  ２１１  重ね合わせ処理部
【図１】
2019204182.tif 000003
【図２】
2019204182.tif 000004
【図３】
2019204182.tif 000005
【図４】
2019204182.tif 000006
【図５】
2019204182.tif 000007
【図６】
2019204182.tif 000008
【図７】
2019204182.tif 000009
【図８】
2019204182.tif 000010
【図９】
2019204182.tif 000011
【図１０】
2019204182.tif 000012
【図１１】
2019204182.tif 000013