(57)【特許請求の範囲】
【請求項１】
境界周辺部分が互いに重なり合う複数の部分領域の各画像のデータから、該各画像を境界周辺部分において不連続が生じないようにつなぎ合わせた全体合成画像のデータを合成する画像合成処理装置において、
上記部分領域の画像間の互いに重なり合う境界周辺部分について、注目画素位置でのポテンシャル値Ｐを、上記注目画素から距離Ｄの範囲の周辺画素について、上記周辺画素の値ｆ、上記周辺画素と上記注目画素との間の距離ｄを用いて、Ｐ＝ｆ−（最大濃度値／Ｄ）×ｄ、但し、Ｐ＜０ならＰ＝０と表し、上記注目画素位置での上記ポテンシャル値Ｐの最大値を上記各注目画素の値とするポテンシャル画像を作成するポテンシャル画像作成手段と、
該作成されたポテンシャル画像間のずれ量を検出するずれ量検出手段と、
該検出されたポテンシャル画像間のずれ量を対応する上記部分領域の画像間のずれ量として上記全体合成画像のデータを合成する画像合成手段とを備えたことを特徴とする画像合成処理装置。
【請求項２】
上記周辺画素と上記注目画素との間の距離は、８近傍距離で表すことを特徴とする請求項１記載の画像形成装置。
【請求項３】
上記ずれ量検出手段は、ポテンシャル画像間の関係を制限範囲内で仮想的に変化させたときの符合度を算出し、そのなかで最も符合度の高い変化を実行し、これを繰り返す反復照合を行い、最も高い符合度が前回までの最も高い符合度より小さいか等しくなった時点で反復照合を終了し、その時点でのポテンシャル画像間のずれ量を検出することを特徴とする、請求項１または２記載の画像合成処理装置。
【請求項４】
境界周辺部分が互いに重なり合う複数の部分領域の各画像から、該各画像を境界周辺部分において不連続が生じないようにつなぎ合わせた全体合成画像を合成する画像合成処理方法において、
上記部分領域の画像間の互いに重なり合う境界周辺部分について、注目画素位置でのポテンシャル値Ｐを、上記注目画素から距離Ｄの範囲の周辺画素について、上記周辺画素の値ｆ、上記周辺画素と上記注目画素との間の距離ｄを用いて、Ｐ＝ｆ−（最大濃度値／Ｄ）×ｄ、但し、Ｐ＜０ならＰ＝０と表し、上記注目画素位置での上記ポテンシャル値Ｐの最大値を上記各注目画素の値とするポテンシャル画像を作成する第１ステップと、
該作成されたポテンシャル画像間のずれ量を検出する第２ステップと、
該検出されたポテンシャル画像間のずれ量を対応する上記部分領域の画像間のずれ量として上記全体合成画像のデータを合成する第３ステップとを備えたことを特徴とする画像合成処理方法。
【請求項５】
コンピュータによって、境界周辺部分が互いに重なり合う複数の部分領域の各画像のデータから、該各画像を境界周辺部分において不連続が生じないようにつなぎ合わせた全体合成画像のデータを合成する画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体において、
上記部分領域の画像間の互いに重なり合う境界周辺部分について、注目画素位置でのポテンシャル値Ｐを、上記注目画素から距離Ｄの範囲の周辺画素について、上記周辺画素の値ｆ、上記周辺画素と上記注目画素との間の距離ｄを用いて、Ｐ＝ｆ−（最大濃度値／Ｄ）×ｄ、但し、Ｐ＜０ならＰ＝０と表し、上記注目画素位置での上記ポテンシャル値Ｐの最大値を上記各注目画素の値とするポテンシャル画像を作成する手順と、
該作成されたポテンシャル画像間のずれ量を検出する手順と、
該検出されたポテンシャル画像間のずれ量を対応する上記部分領域の画像間のずれ量として上記全体合成画像のデータを合成する手順とをコンピュータに実行させる画像データ処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像合成処理装置、画像合成処理方法および画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関し、特に文字を含む画像に好適な画像合成処理装置、画像合成処理方法および画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来、自然画像あるいは原稿画像等を複数の領域に分割して撮影を行うカメラ型撮像装置が提案されているが、このような装置では、複数の領域に分割して撮影した画像について画像の重なり部分のずれを検出して、画像を合成する必要がある。
【０００３】
この画像の重なり部分のずれを検出する方法として、逐次残差検定法が知られている。逐次残差検定法は、画像間に仮想のずれを与えて、符合度の最も高いずれ位置を探索する方法である。この方法は、符合度には画素値の差の２乗和等を用いるが、あるずれ位置での符合度の演算の途中で、前回まで最も符合度が高い値（２乗和の最小値）よりも、符合度が高くないことを示す値になった時点で、このずれ位置での符合度の演算を止めて次のずれ位置での演算を行う。これにより、無駄な計算を削減できる。
【０００４】
しかし、ずれ成分を縦／横だけでなく、回転、拡大・縮小、その他（歪等）も追加すると、膨大な探索空間となり、逐次残差検定法をそのまま適用したのでは、計算量削減の効果が十分ではない。
【０００５】
【発明が解決しようとする課題】
【０００６】
そこで、標準位置から符合度の高い位置へ、少しづつずれ位置を変化させて行くことにより、効率のよい探索経路をたどって符合するずれ位置に到達させることが考えられる。
【０００７】
しかし、２値的な線画像では、ずれ量に対して符合度が滑らかに変化しない傾向がある。そのため、このままでは、探索経路の途中で符合度の極大点で探索が終了してしまい、正確なずれ量を検出できない恐れがある。
【０００８】
したがって、本発明が解決しようとする技術的課題は、画像間のずれ量を正確に検出することができる画像合成処理装置、画像合成処理方法および画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することである。
【０００９】
【課題を解決するための手段および作用・効果】
本発明は、上記技術的課題を解決するために、以下の構成の画像合成処理装置を提供する。
【００１０】
画像合成処理装置は、境界周辺部分が互いに重なり合う複数の部分領域の各画像のデータから、該各画像を境界周辺部分において不連続が生じないようにつなぎ合わせた全体合成画像のデータを合成するタイプのものである。画像合成処理装置は、上記部分領域の画像間の互いに重なり合う境界周辺部分について、注目画素位置でのポテンシャル値Ｐを、上記注目画素から距離Ｄの範囲の周辺画素について、上記周辺画素の値ｆ、上記周辺画素と上記注目画素との間の距離ｄを用いて、Ｐ＝ｆ−（最大濃度値／Ｄ）×ｄ、但し、Ｐ＜０ならＰ＝０と表し、上記注目画素位置での上記ポテンシャル値Ｐの最大値を上記各注目画素の値とするポテンシャル画像を作成するポテンシャル画像作成手段と、該作成されたポテンシャル画像間のずれ量を検出するずれ量検出手段と、該検出されたポテンシャル画像間のずれ量を対応する上記部分領域の画像間のずれ量として上記全体合成画像のデータを合成する画像合成手段とを備える。
【００１１】
上記構成によれば、原画像が文字や罫線などの線画像を含むような場合でも、画像にポテンシャル場を付加したポテンシャル画像に変換することによって、ずれ量に対して単調に符合度が変化するようにできる。ポテンシャル画像を用いて画像間のずれ量を探索すれば、経路探索の途中で探索を打ち切ることなく、正しい符合位置まで到達することができる。
【００１２】
したがって、画像間のずれ量を正確に検出することができる。
【００１３】
好ましくは、上記ずれ量検出手段は、ポテンシャル画像間の関係を制限範囲内で仮想的に変化させたときの符合度を算出し、そのなかで最も符合度の高い変化を実行し、これを繰り返す反復照合を行い、最も高い符合度が前回までの最も高い符合度より小さいか等しくなった時点で反復照合を終了し、その時点でのポテンシャル画像間のずれ量を検出する。
【００１４】
上記構成によれば、探索空間上で、符合度が最も高い近傍位置へ、ポテンシャル画像を繰り返し移動することによって、画像間のずれ量を検出することができる。ずれ量の許容範囲内の全探索を行うのではなく、ずれ量の近傍の繰り返し探索を行うので、効率よく符合位置まで探索経路をたどることにより、計算量を削減できる。
【００１５】
また、本発明は、画像合成処理方法を提供する。
【００１６】
画像合成処理方法は、境界周辺部分が互いに重なり合う複数の部分領域の各画像から、該各画像を境界周辺部分において不連続が生じないようにつなぎ合わせた全体合成画像を合成するタイプのものである。画像合成処理方法は、上記部分領域の画像間の互いに重なり合う境界周辺部分について、注目画素位置でのポテンシャル値Ｐを、上記注目画素から距離Ｄの範囲の周辺画素について、上記周辺画素の値ｆ、上記周辺画素と上記注目画素との間の距離ｄを用いて、Ｐ＝ｆ−（最大濃度値／Ｄ）×ｄ、但し、Ｐ＜０ならＰ＝０と表し、上記注目画素位置での上記ポテンシャル値Ｐの最大値を上記各注目画素の値とするポテンシャル画像を作成する第１ステップと、該作成されたポテンシャル画像間のずれ量を検出する第２ステップと、該検出されたポテンシャル画像間のずれ量を対応する上記部分領域の画像間のずれ量として上記全体合成画像のデータを合成する第３ステップとを備える。
【００１７】
上記方法によれば、原画像が文字や罫線などの線画像を含むような場合でも、ポテンシャル画像に変換することによって、ずれ量に対して単調に符合度が変化するようにできる。ポテンシャル画像を用いて画像間のずれ量を探索すれば、経路探索の途中で探索を打ち切ることなく、正しい符合位置まで到達することができる。
【００１８】
したがって、画像間のずれ量を正確に検出することができる。
【００１９】
上記した方法の画像合成処理は、画像合成処理プログラムにより実現され、該プログラムは記録媒体に記録して提供される。
【００２０】
【発明の実施の形態】
以下、図面を参照しながら、本発明の一実施形態に係るデジタルカメラについて説明する。
【００２１】
デジタルカメラ１０は、図１の全体構成図に示すように、カメラ本体上面には撮像開始ボタン１２があり、操作者はこのボタン１２により撮像を開始する。このカメラ１０は、光軸の移動により分割撮像を行い、分割撮像した画像を貼り合わせることにより高解像度あるいは広角の画像を得るものである。この際、貼り合わせる画像間には時間差があり、手ぶれによりその位置関係は一定とはならないので、詳しくは後述するように、ずれ量の検出を行って画像を合成する。
【００２２】
詳しくは、レンズ２０と撮像センサ３０は、光学系支持台２２上に配置される。光学系支持台２２は、カメラ本体中央部下方に設けたモーター２４によって回動されるようになっている。モーター２４には、光学系支持台２２の回転角度を検出するための角度センサ２６が取り付けられている。モーター２４により光学系支持台２２が回動すると、レンズ２０と撮像センサ３０とが一体的に回動し、図３（Ａ）、（Ｂ）の模式図に示すように光軸Ｌが移動して、被写体Ｋの略左半分の領域Ｓ１と略右半分の領域Ｓ２とに分割して、それぞれを撮像することができるようになっている。このとき、画像合成を行うために、分割して撮像した領域Ｓ１，Ｓ２にはオーバーラップ領域Ｄができるようになっている。
【００２３】
制御系は、図２のブロック図に示すように構成している。
【００２４】
すなわち、角度センサ２６の入力に基いて光学系支持台制御部２８はモーター２４を制御する。画像データは撮像センサ３０で光電変換された後、Ａ／Ｄ変換部３２でＡ／Ｄ変換され、画像メモリ３４に格納される。分割撮像では、画像メモリ３４に格納した画像のデータを用いて、ＣＰＵ４０により画像合成処理（後述する図７のステップ＃１４〜＃１８）を行う。ＣＰＵ４０は、プログラムメモリ４２に記録されているプログラムを読み込んで動作し、画像の貼り合わせを含む各処理の制御を行う。すなわち、後述する図７〜図９のフローはプログラムメモリ４２に記憶されており、すべてＣＰＵ４０が行う。また、撮像し格納された画像は、必要なときにコンピュータやプリンタ等の外部機器に、外部出力部３６から出力される。
【００２５】
図４に左右の画像の合成の様子を示す。撮影時の手ぶれなどにより、カメラ内の光軸の移動分に相当する標準位置で、（Ａ）の左画像と（Ｂ）の右画像とを重ね合わせただけでは、左右の画像は正確には一致しない場合がある。手ぶれによる光軸そのものの回転の成分により画像上では平行移動△ｘ、△ｙが発生し、光軸周りの回転の成分により回転移動θが発生し、カメラの前後の成分により倍率magの変化が発生する。そこで、これらの成分を検出して、これらずれ量をもとに画像の幾何補正を行って、（Ｃ）の合成画像のように、正確な貼り合わせを行う。
【００２６】
図５にずれ量の探索の様子を示す。ずれ量の成分が４種（△ｘ、△ｙ、θ、mag）あるので、（Ａ）のように、ずれの許容範囲内、すなわち手ぶれ成分の予想最大値の範囲内で全探索を行うと、膨大な探索空間となってしまう。そこで、（Ｂ）のように、画像が符合するずれ位置まで、効率のよい経路をたどる効率のよい繰り返し探索を行う。すなわち、標準貼り合わせ位置から、４種のずれ成分における近傍のなかで最も画像の符合度の高い位置への移動を繰り返すことにより、符合位置までの探索を行うものである。
【００２７】
図６にずれ量と符合度との様子を示す。文字や罫線などの線が主成分の画像では、（Ａ）のように、符合度がずれ量に対して滑らかに変化しない。また、完全に符合する位置から線幅以上ずれると、急激に符合度が低下する。このような状況では、上記の繰り返し探索において、右または左から矢印で示したように進んでいくと、×で示した途中の極大値から先へ進めずに間違った位置を符合位置としてしまうことが起こりうる。
【００２８】
これを解決するために、デジタルカメラ１０は、たとえば図１１に示すように、原画像からポテンシャル画像を作成し、このポテンシャル画像を用いて符合位置の繰り返し探索を行い、ずれ量を検出する。ポテンシャル画像を用いると、図６（Ｂ）に示したように、符合度がずれ量に対して滑らかに変化するので、右または左から矢印で示したように進んでいくと、途中で間違った位置を符合位置とすることなく、正しく符合位置に到達することができる。
【００２９】
次に、このカメラ１０の動作について説明する。
【００３０】
まず、動作の概要について、図７の全体フローチャートを参照しながら説明する。
【００３１】
撮像開始ボタン１２が押されると、ステップ＃１２において、撮像処理を開始する。次に、ステップ＃１４において、撮像した画像からポテンシャルを検出してポテンシャル画像を作成する。そして、ステップ＃１６において、このポテンシャル画像を用いてずれ量の検出が行い、ステップ＃１８において、検出したずれ量に基いて補正量を計算して画像の貼り合わせを行い、ステップ＃２０において、その他画像処理を行う。なお、上記ステップ＃１４および＃１６の処理は、撮像した画像のうち重なり合う可能性のある部分についてだけ行えば十分である。
【００３２】
次に、上記ステップ＃１４の詳細手順について、図８の詳細フローチャートと、図１０の説明図とを参照しながら説明する。
【００３３】
この処理では、周辺の画素各々によるポテンシャルのうち、注目する画素の位置において最大の値のものを選択する。平均化フィルタやガウシャンフィルタ等でぼかしただけの画像を用いないのは、文字の芯部分等のピーク部分の情報を保存するためである。すなわち、ピークのポテンシャルは、周辺の画素のポテンシャルより大きいので、埋もれない。
【００３４】
具体的には、ステップ＃２２および＃２４において、全画素について終了するまで、注目画素の周辺の画像による注目画素位置でのポテンシャル値Ｐを計算する。周辺の画像によるポテンシャル場は、たとえば図１０で濃淡で示したように、計算対象の周辺画素の位置で最大（黒）で、これからの距離に応じて単調減少し、０以上（白）となるものであればよい。
【００３５】
たとえば、図１１の例では、「周辺」を８近傍距離で２０画素の範囲とし、注目画素位置でのポテンシャル値Ｐの式は、
Ｐ＝ｆ−（最大濃度値／２０）×ｄ、但し、Ｐ＜０ならＰ＝０
で求めた。ここで、ｆは周辺画素の値、ｄは周辺画素と注目画素との間の距離である。なお、周辺画素と注目画素とが一致するときには、ポテンシャル値Ｐは注目画素の値となる。
【００３６】
次に、ステップ＃２６において、周辺画素による注目画素位置でのポテンシャル値（周辺画素の数だけある）のうち最大のものを選択し、その値を注目画素の値として登録し、ステップ＃２２に戻り、次の注目画素について処理を行う。これにより、ポテンシャル画像を作成するが、このとき、ポテンシャル画像と原画像との画素位置は一致するようにする。
【００３７】
以上を、貼り合わせ対象の画像の両方について実行する。
【００３８】
次に、上記ステップ＃１６のずれ量検出のフローについて、図９の詳細フローチャートを参照しながら説明する。
【００３９】
この処理では、上述のようにして作成したポテンシャル画像を用いる。
【００４０】
まず標準位置から開始するので、ステップ＃３０において、「現在のずれ量」は各成分とも０にする。この位置のずれ量から、制限範囲内で変化させた候補値を設定する。たとえば、「ｘ、ｙ：±３画素、１画素ステップ」、「θ：±１degree、０.２degreeステップ」、「mag：±１％、０．２％ステップ」とする。
【００４１】
そして、ステップ＃３４において、これらの組み合わせの全てについて処理が終了するまで、各組み合わせについて、ステップ＃３６において、画像の一方（たとえば、図４（Ｂ）の右画像）についてのポテンシャル画像を幾何変換し、ステップ＃３８において、この幾何変換した画像と他方の画像（たとえば、図４（Ａ）の左画像）についてのポテンシャル画像との符合度を計算し、これを繰り返す。符合度には、たとえば、画素値の差の２乗和に−１を掛けたものを用いる。なお、ｘ、ｙのみの検出ならば、回転や拡大・縮小等の幾何変換の必要はない。
【００４２】
全ての組み合わせについて処理が終了すれば、ステップ＃４０において、最も符合度の高かったずれ量の組み合わせを選択し、さらに、ステップ＃３２において、前回の符合度よりも高ければ、「現在のずれ量」をこの組のずれ量に更新し、ステップ＃３４以降の処理を繰り返す。そうでなければ、処理を終了し、「現在のずれ量」を画像間のずれ量とする。
【００４３】
その後、このずれ量を用いて原画像を幾何補正して、貼り合わせ処理を行う。
【００４４】
以上説明したように、このデジタルカメラ１０は、分割撮像した画像を合成する際に、効率よく符号位置までの探索経路をたどることにより、計算量を削減でき、したがって、短時間で画像合成処理を終了することができる。
【００４５】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。
【００４６】
上記実施例では、分割撮影装置内で画像合成処理を行うように構成したが、画像合成処理はパーソナルコンピュータなどの外部装置で行うように構成してもよい。この場合、図７〜図９のフローは、ソフトウエアとしてＣＤ−ＲＯＭなどの記憶媒体に記憶されて供給され、パーソナルコンピュータに読み込まれて実行される。ただし、図７のステップ＃１２は、「画像データ入力」に変更する。このステップでは、撮影装置から直接画像データを入力するようにしてもよいし、一旦画像ファイルとして記憶されたデータを読み込むようにしてもよい。
【００４７】
また、本発明は、上記のような分割撮影装置に限らず、通常のデジタルカメラ、スキャナ等で撮影された画像を貼り合わせるときにも、同様に処理が可能である。この場合、画像データは撮影装置と一体または別個独立のコンピュータで処理することになり、上記と同様ＣＤ−ＲＯＭなどの記録媒体によってソフトウエアを提供することが可能である。
【図面の簡単な説明】
【図１】   本発明の一実施形態に係るデジタルカメラの構成図である。
【図２】   図１のデジタルカメラのブロック図である。
【図３】   分割撮影の説明図である。
【図４】   画像合成の説明図である。
【図５】   探索の説明図である。
【図６】   画像の符合度の説明図である。
【図７】   図１のデジタルカメラの全体フローチャートである。
【図８】   図７のステップ＃１４の詳細フローチャートである。
【図９】   図７のステップ＃１６の詳細フローチャートである。
【図１０】   ポテンシャルの説明図である。
【図１１】   ポテンシャル画像の説明図である。
【符号の説明】
１０ デジタルカメラ
１２ 撮像開始ボタン
２０ レンズ
２２ 光学系支持台
２４ モーター
２６ 角度センサ
２８ 光学系支持台制御部
３０ 撮像センサ
３２ Ａ／Ｄ変換部
３４ 画像メモリ
３６ 外部出力部
４０ ＣＰＵ
４２ プログラムメモリ
Ｄ オーバーラップ領域
Ｋ 被写体
Ｌ 光軸
Ｓ１，Ｓ２ 領域
【図１】
0003791216.tif 000002
【図２】
0003791216.tif 000003
【図３】
0003791216.tif 000004
【図４】
0003791216.tif 000005
【図５】
0003791216.tif 000006
【図６】
0003791216.tif 000007
【図７】
0003791216.tif 000008
【図８】
0003791216.tif 000009
【図９】
0003791216.tif 000010
【図１０】
0003791216.tif 000011
【図１１】
0003791216.tif 000012