(57)【要約】【課題】位置ずれの少い全焦点画像を得るための処理時間の短縮化を図るとともに、ハードウエア量の削減を図る。【解決手段】合焦ブロック検出部１２は画像メモリ１１に保存した複数画像夫々から合焦ブロックのみを抽出し、合焦ブロック位置記憶部１３は各合焦ブロックの位置を識別して記憶し、差判定部１４は位置識別された合焦ブロック群と画像メモリ１１に保存されている他の撮影画像との間でパターンマッチングを行って最も類似していると判定し、ずれ量決定部１５は合焦ブロック群の水平・垂直のずれ量を決定し、メモリ制御部１６は水平・垂直のずれ量だけ合焦ブロック群の位置を戻して画像メモリ１１に重ね書きする。これにより、全焦点画像が得られる。【選択図】  図１
2005338901.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を記憶する画像記憶手段を具備し、前記画像記憶手段に焦点を変えて撮影した複数の画像を記憶させ、前記画像記憶手段に記憶させた複数の画像を基に全ての画像に焦点の合っている全焦点画像を再構成する撮像装置において、
前記画像記憶手段に記憶された前記複数の画像夫々をブロック単位に分割して高周波成分の多いブロックを合焦ブロックとして検出する合焦ブロック検出手段と、
撮影された複数の画像のうちのある１つの画像の全合焦ブロックと他の１つの画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求めるずれ量取得手段と、
前記ある１つの画像の全非合焦ブロックと同一位置にある前記他の１つの画像の全ブロックを前記ずれ量取得手段で求められたずれ量と同量で且つ逆方向に位置をずらして前記ある１つの画像に上書きする上書き手段と、
を具備することを特徴とする撮像装置。
【請求項２】
前記合焦ブロック検出手段で検出された全合焦ブロックのなかから、画像レベルの濃淡差が一定以上となる全合焦ブロックを抽出する抽出手段を具備し、
前記ずれ量取得手段は、前記２つの画像の一方の画像の全合焦ブロックのうち前記抽出手段で抽出された全合焦ブロックと他方の画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求めることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合焦ブロック検出手段で検出された全合焦ブロックのなかから、画像レベルの平均値が一定以上となる全合焦ブロックを抽出する抽出手段を具備し、
前記ずれ量取得手段は、前記２つの画像の一方の画像の全合焦ブロックのうち前記抽出手段で抽出された全合焦ブロックと他方の画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求めることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ずれ量取得手段は、
前記合焦ブロックに対してぼけ処理を行うフィルタ処理手段を具備し、
前記抽出手段で抽出された全合焦ブロックを前記フィルタ処理手段でぼけ処理することを特徴とする請求項２又は請求項３のいずれかに記載の撮像装置。
【請求項５】
前記フィルタ処理手段は、レンズのぼけを模擬したガウシアンフィルタであることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記ずれ量取得手段は、２つの画像として時間的に前後して撮影された２つの画像を用い、時間的に先の方の画像を前記他の１つの画像とし、時間的に後の方の画像を前記ある１つの画像とすることを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
【請求項７】
複数の画像を記憶する画像記憶手段に、焦点を変えて撮影した複数の画像を記憶させ、前記画像記憶手段に記憶させた複数の画像を基に全ての画像に焦点の合っている全焦点画像を再構成する撮像方法において、
前記画像記憶手段に記憶された前記複数の画像夫々をブロック単位に分割して高周波成分の多いブロックを合焦ブロックとして検出する合焦ブロック検出工程と、
撮影された複数の画像のうちのある１つの画像の全合焦ブロックと他の１つの画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求めるずれ量取得工程と、
前記ある１つの画像の全非合焦ブロックと同一位置にある前記他の１つの画像の全ブロックを前記ずれ量取得工程で求められたずれ量と同量で且つ逆方向に位置をずらして前記ある１つの画像に上書きする上書き工程と、
を具備することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点を変えて撮影した複数の画像を基に全ての画像に焦点の合っている全焦点画像を再構成する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、ＬＳＩ製品の検査などに用いられている撮像装置は、全ての画像に焦点の合っている全焦点画像を再構成する際に、撮影合間の撮像装置の位置ずれによって生ずる撮影画像間のずれ量を求めて補正するために、複数の画像をそれぞれ低い解像度から高い解像度に階層化し、低い解像度の階層にて広範囲な探索範囲でパターンマッチングを行って画像間のずれ量を粗く推定し、粗く推定したずれ位置を中心とした探索範囲にて高い解像度の階層でパターンマッチングを行い、ずれ量を求めている（例えば特許文献１参照）。
【０００３】
図１３は、特許文献１で開示された従来の撮像装置の構成を示すブロック図、図１４は、撮影して得られた画像のブロック化の説明図である。図１３において、レンズ１３０１を通過した光は、固体撮像素子の一種であるＣＣＤ(Charge Coupled Device)１３０２に結像される。その撮影された画像は、処理部１３０３にて、図１４に示すように例えば９つのブロックに分割される。利用者はビューワ１３０４に映される画像を見ながら焦点を合わせたいブロックを指定すると、焦点調整機構１３０７が駆動されて、利用者が指定したブロックに焦点の合う（以下、合焦）画像が撮影される。撮影された画像はメモリ１３０６に格納される。この動作が焦点を合わせたい全てのブロックを網羅するように複数枚分繰り返されることにより、全てのブロックに合焦された画像を採取することができる。
【０００４】
これら複数枚の撮影画像から全焦点画像を構成するにあたり、焦点の合っていない（以下、非合焦）ブロックに同一位置の合焦ブロックを置き換えるだけの従来方法（画像合成方法）では、撮影の合間に撮像装置の位置がずれた場合にはブロックの境界で不連続となる合成画像が得られてしまう。このようなことから、画像の位置ずれを検出し、ずれを補正して画像合成を行うため階層的マッチングを行っている。
【０００５】
図１５は、従来の三層の階層的マッチングを示す概略図である。図１５において、画像１、画像２は焦点をずらして撮像して得られた原画像である。画像１’、画像２’は、撮影された画像１、画像２に対してガウシアンフィルタを施して画素を水平、垂直方向に１画素毎にダウンサンプリングしたものである。画像１’’、画像２’’は、画像１’、画像２’に対してガウシアンフィルタをさらに施して画素を水平、垂直方向ともに１画素毎にダウンサンプリングしたものである。
【０００６】
先ず最も解像度の粗い階層にある画像１’’と画像２’’に対してパターンマッチングの手法、つまり両画像の差が最小となるよう両画像をずらして低精度なずれ位置を探索して推定する。次に、画像１’と画像２’に対して前記推定された低精度なずれ位置の周辺について探索を行い、中精度なずれ位置を推定する。そして最後に画像１と画像２に対して中精度なずれ位置の周辺について探索を行い、画像１に対しての画像２のずれ位置を求める。このようにして求まったずれ位置に基づいて画像の不連続が少なくなるように、ずれた分だけ画像を戻して重ね合わせることにより全焦点画像の再構成が行われる。
【０００７】
【特許文献１】特開２００１−２２３８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の撮像装置においては、先ず複数の画像の全領域に対してそれぞれ階層分だけガウシアンフィルタを施し、次に複数画像の広範囲な重なり部分についてパターンマッチングを階層分だけ繰り返す計算量の多い処理が２段階で行われるため、撮影終了から処理が終了して全焦点画像を見ることができるまで時間がかかるという問題がある。また、階層分の画像メモリを用意する必要があるため、ハードウエア量が増加し、コスト高になるという問題もある。
【０００９】
本発明はこのような課題を解決するもので、位置ずれの少い全焦点画像を得るための処理時間の短縮化が図れるとともに、ハードウエア量の削減が図れる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記従来の課題を解決するために、本発明の撮像装置は、複数の画像を記憶する画像記憶手段を具備し、前記画像記憶手段に焦点を変えて撮影した複数の画像を記憶させ、前記画像記憶手段に記憶させた複数の画像を基に全ての画像に焦点の合っている全焦点画像を再構成する撮像装置において、前記画像記憶手段に記憶された前記複数の画像夫々をブロック単位に分割して高周波成分の多いブロックを合焦ブロックとして検出する合焦ブロック検出手段と、撮影された複数の画像のうちのある１つの画像の全合焦ブロックと他の１つの画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求めるずれ量取得手段と、前記ある１つの画像の全非合焦ブロックと同一位置にある前記他の１つの画像の全ブロックを前記ずれ量取得手段で求められたずれ量と同量で且つ逆方向に位置をずらして前記ある１つの画像に上書きする上書き手段と、を具備する。
【００１１】
上記構成によれば、複数枚の撮影画像から合焦ブロック群のみについて画像間マッチングを行い、ブロック群のずれ量だけ位置を戻して合成するので、処理時間の短縮化が図れる。ブロック毎にずれ量を求める従来の方法ではずれ量にばらつきが生ずるが、本発明では同一画像中の全合焦ブロックのずれ量は同じとすることができるので、同一原画像中の隣接した合焦ブロック間で互いにずれがない画像合成を行うことができ、ブロック境界の破綻を抑制した全焦点画像を得ることができる。また、画像上書きを行うことで画像メモリ領域の有効活用ができ、メモリ量を削減できる分、コストの削減が可能となる。
【００１２】
上記撮像装置において、前記合焦ブロック検出手段で検出された全合焦ブロックのなかから、画像レベルの濃淡差が一定以上となる全合焦ブロックを抽出する抽出手段を具備し、前記ずれ量取得手段は、前記２つの画像の一方の画像の全合焦ブロックのうち前記抽出手段で抽出された全合焦ブロックと他方の画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求める。
【００１３】
上記構成によれば、全合焦ブロックのなかから、画像レベルの濃淡差が一定以上となる全合焦ブロックのみに絞ってパターンマッチングによる探索を行うことにより、画像内の全ブロックを用いて探索する方法に比べて演算ブロック数を少なくでき、ずれ量演算の精度を維持しつつも処理時間の短縮が図れる。特に本発明をソフトウエアに置き換えて実現すれば、よりＣＰＵの処理負担を低減することができる。またメモリ削減などのハードウエア量を削減できる効果がある。
【００１４】
上記撮像装置において、前記合焦ブロック検出手段で検出された全合焦ブロックのなかから、画像レベルの平均値が一定以上となる全合焦ブロックを抽出する抽出手段を具備し、前記ずれ量取得手段は、前記２つの画像の一方の画像の全合焦ブロックのうち前記抽出手段で抽出された全合焦ブロックと他方の画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求める。
【００１５】
上記構成によれば、全合焦ブロックのなかから、画像レベルの平均値が一定以上となる全合焦ブロックのみに絞ってパターンマッチングによる探索を行うことにより、画像内の全ブロックを用いて探索する方法に比べて演算ブロック数を少なくでき、ずれ量演算の精度を維持しつつも処理時間の短縮が図れる。特に本発明をソフトウエアに置き換えて実現すれば、よりＣＰＵの処理負担を低減することができる。またメモリ削減などのハードウエア量を削減できる効果がある。
【００１６】
上記撮像装置において、前記ずれ量取得手段は、前記合焦ブロックに対してぼけ処理を行うフィルタ処理手段を具備し、前記抽出手段で抽出された全合焦ブロックを前記フィルタ処理手段でぼけ処理する。
【００１７】
上記構成によれば、合焦ブロックにフィルタを施してぼかすことにより、ぼけて撮影された他画像との間でずれ量の演算をすることになるため、合焦ブロックに対して最も類似した画像領域を探索する精度を向上させることができるので、位置ずれの少ない全焦点画像を得ることができる。なお、フィルタ処理手段として、レンズのぼけを模擬したガウシアンフィルタが好適である。
【００１８】
上記撮像装置において、前記フィルタ処理手段は、レンズのぼけを模擬したガウシアンフィルタである。
【００１９】
上記撮像装置において、前記ずれ量取得手段は、２つの画像として時間的に前後して撮影された２つの画像を用い、時間的に先の方の画像を前記他の１つの画像とし、時間的に後の方の画像を前記ある１つの画像とする。
【００２０】
相関の最もある２枚画像の間で差を算出するので、探索精度を向上させて位置ずれの少ない全焦点画像を得ることができる。
【００２１】
本発明の撮像方法は、複数の画像を記憶する画像記憶手段に、焦点を変えて撮影した複数の画像を記憶させ、前記画像記憶手段に記憶させた複数の画像を基に全ての画像に焦点の合っている全焦点画像を再構成する撮像方法において、前記画像記憶手段に記憶された前記複数の画像夫々をブロック単位に分割して高周波成分の多いブロックを合焦ブロックとして検出する合焦ブロック検出工程と、撮影された複数の画像のうちのある１つの画像の全合焦ブロックと他の１つの画像の全ブロックとのパターンマッチングを行い、前記２つの画像間のずれが最も小さくなるときのずれ量を求めるずれ量取得工程と、前記ある１つの画像の全非合焦ブロックと同一位置にある前記他の１つの画像の全ブロックを前記ずれ量取得工程で求められたずれ量と同量で且つ逆方向に位置をずらして前記ある１つの画像に上書きする上書き工程と、を具備する。
【００２２】
上記構成によれば、複数枚の撮影画像から合焦ブロック群のみについて画像間マッチングを行い、ブロック群のずれ量だけ位置を戻して合成するので、処理時間の短縮化が図れる。ブロック毎にずれ量を求める従来の方法ではずれ量にばらつきが生ずるが、本発明では同一画像中の全合焦ブロックのずれ量は同じとすることができるので、同一原画像中の隣接した合焦ブロック間で互いにずれがない画像合成を行うことができ、ブロック境界の破綻を抑制した全焦点画像を得ることができる。また、画像上書きを行うことで画像メモリ領域の有効活用ができ、メモリ量を削減できる分、コストの削減が可能となる。
【発明の効果】
【００２３】
本発明によれは、複数枚の撮影画像から合焦ブロック群のみについて画像間マッチングを行い、ブロック群のずれ量だけ位置を戻して合成するので、処理時間の短縮化が図れる。ブロック毎にずれ量を求める従来の方法ではずれ量にばらつきが生ずるが、本発明では同一画像中の全合焦ブロックのずれ量は同じとすることができるので、同一原画像中の隣接した合焦ブロック間で互いにずれがない画像合成を行うことができ、ブロック境界の破綻を抑制した全焦点画像を得ることができる。また、画像上書きを行うことで画像メモリ領域の有効活用ができ、メモリ量を削減できる分、コストの削減が可能となる。
【００２４】
また、本発明によれば、全合焦ブロックのなかから、画像レベルの濃淡差が一定以上となる全合焦ブロックのみに絞ってパターンマッチングによる探索を行うことにより、画像内の全ブロックを用いて探索する方法に比べて演算ブロック数を少なくでき、ずれ量演算の精度を維持しつつも処理時間の短縮が図れる。特に本発明をソフトウエアに置き換えて実現すれば、よりＣＰＵの処理負担を低減することができる。またメモリ削減などのハードウエア量を削減できる効果がある。
【００２５】
また、本発明によれば、全合焦ブロックのなかから、画像レベルの平均値が一定以上となる全合焦ブロックのみに絞ってパターンマッチングによる探索を行うことにより、画像内の全ブロックを用いて探索する方法に比べて演算ブロック数を少なくでき、ずれ量演算の精度を維持しつつも処理時間の短縮が図れる。特に本発明をソフトウエアに置き換えて実現すれば、よりＣＰＵの処理負担を低減することができる。またメモリ削減などのハードウエア量を削減できる効果がある。
【００２６】
また、本発明によれば、合焦ブロックにフィルタを施してぼかすことにより、ぼけて撮影された他画像との間でずれ量の演算をすることになるため、合焦ブロックに対して最も類似した画像領域を探索する精度を向上させることができるので、位置ずれの少ない全焦点画像を得ることができる。なお、フィルタ処理手段として、レンズのぼけを模擬したガウシアンフィルタが好適である。
【００２７】
また、本発明によれば、相関の最もある２枚画像の間で差を算出するので、探索精度を向上させて位置ずれの少ない全焦点画像を得ることができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の主要部の構成を示すブロック図である。なお、図１３に示す従来の撮像装置と共通する部分については、同じ符号で援用することとする。
【００２９】
図１において、本実施の形態の撮像装置は、画像メモリ１１と、合焦ブロック検出部１２と、合焦ブロック位置記憶部１３と、差判定部１４と、ずれ量決定部１５と、メモリ制御部１６とを備えた全焦点画像生成部を有している。なお、画像メモリ１１は画像記憶手段に対応し、合焦ブロック検出部１２は合焦ブロック検出手段に対応し、差判定部１４とずれ量決定部１５はずれ量取得手段を構成し、メモリ制御部１６は上書き手段に対応する。
【００３０】
画像メモリ１１には、ＣＣＤ１３０１（図１３参照）によって得られるアナログ映像信号をアナログ／ディジタル変換した複数の画像（フレーム画像）が格納される。合焦ブロック検出部１２は、画像メモリ１１に格納された複数の画像それぞれをブロック単位に分割して合焦ブロックを検出する。合焦ブロック位置記憶部１３は、検出された合焦ブロックの画像内の位置を記憶する。差判定部１４は、合焦ブロック位置記憶部１３に記憶された複数の画像それぞれの合焦ブロックの位置をもとに、時間的に前後する２つの画像のうち、後の画像の全合焦ブロックと先の画像の全ブロックとの２つの画像データ間のパターンマッチングの手法、即ち水平・垂直にずらして両者の差を算出し、最も画像が類似している領域を判定する。ずれ量決定部１５は、差判定部１４で得られた全合焦ブロックに最も類似している領域が水平、垂直方向にどれだけずれたかを求める。メモリ制御部１６は、合焦ブロック位置記憶部１３に記憶されている位置の全合焦ブロックの画像データをずれた分だけ逆に位置を戻して画像メモリ１１に上書きするよう制御する。
【００３１】
図２から図４は、本実施の形態の撮像装置の動作原理を示す図であり、これに基づいて動作を説明する。図２は、画像メモリ１１に書き込まれた画像をブロックに分割したものである。ここでは「５０」のブロックに分割し、それぞれのブロックを識別して位置がわかるように「１」〜「５０」までの番号を付してある。
【００３２】
図３は焦点を変えて撮像して得られた３枚の画像を示している。（ａ）を画像１、（ｂ）を画像２、（ｃ）を画像３とし、画像１、２、３は焦点距離の長短の順に撮像されて順次画像メモリ１１に記憶されている。番号が付された領域（ブロック）は、合焦ブロック検出部１２が画像メモリ１１内の画像１、２、３を読み出して、高周波成分が多いブロックを合焦ブロックとして検出したブロックであり、番号がない領域は非合焦の領域である。
【００３３】
合焦ブロック位置記憶部１３は、合焦ブロック検出部１２で検出された合焦ブロックを識別して位置を記憶する。具体的には、画像１についてはブロック位置「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」、「９」、「１０」、「１１」、「２０」、「２１」、「３０」、「３１」、「４０」、「４１」、「４２」、「４３」、「４４」、「４５」、「４６」、「４７」、「４８」、「４９」、「５０」を、画像２についてはブロック位置「１２」、「１３」、「１４」、「１７」、「１８」、「１９」、「２２」、「２３」、「２４」、「２７」、「２８」、「２９」、「３２」、「３３」、「３４」、「３７」、「３８」、「３９」を、画像３についてはブロック位置「１５」、「１６」、「２５」、「２６」、「３５」、「３６」のそれぞれの位置を記憶する。
【００３４】
差判定部１４は、先ずは合焦ブロック位置記憶部１３に記憶された画像２の１８個の合焦ブロックについて画像１のどの領域に最も類似しているかをパターンマッチングの手法により探索して判定する。このとき、画像２の１８個の合焦ブロックそれぞれについて探索するのではなく、１８個の全合焦ブロックをブロック群として扱い、ブロック群を同時に水平・垂直にずらして探索を行う。
【００３５】
次に、ずれ量決定部１５は、ブロック群の水平・垂直のずれ量をそれぞれ決定する。図５はある一例を示したものであり、画像２中の実線のブロック群が画像１中の実線の領域に最も類似したと検索されており、画像２の実線のブロック群は画像１の実線の領域の直交する２軸に対してΔＸ、ΔＹだけずれたことを示している。
【００３６】
次に、探索された側のフレームの非合焦ブロックと同一位置にあるブロックで、探索する側のフレームのブロック画像データを、上記のようにして求まったずれ量−ΔＸ、−ΔＹだけ位置をずらして（（ΔＸ、ΔＹ）だけ逆に位置を戻しずらすこと、絶対量を同じく方向のみを変更することと等価）順次画像メモリ１１上の探索されたフレームの格納領域に上書きするようにメモリ制御部１６が動作する。
【００３７】
具体的には、画像２の合焦ブロックに対して探索された画像は画像１なので、図４（ａ）に示すように、画像１の非合焦ブロックと同一位置にある画像２のブロック「１２」〜「１９」、「２２」〜「２９」、「３２」〜「３９」のデータを−ΔＸ、−ΔＹだけずらして（ΔＸ、ΔＹだけ逆に戻しずらすことと等価）画像１の格納領域に上書きし、画像１と画像２との合成画像（以下画像１＋２）を生成する。
【００３８】
次に、画像３の合成方法について説明する。この場合、画像１＋２に対して差判定部１４は、合焦ブロック位置記憶部１３に記憶された画像３の６個の合焦ブロックからなる合焦ブロック群について画像１＋２のどの領域に最も類似しているかをパターンマッチングの手法により探索して判定し、ずれ量決定部１５は画像３としてのずれ量ΔＸ’、ΔＹ’を求める。
【００３９】
次に、探索される側のフレームの非合焦ブロックと同一位置にあるブロックで、探索する側のフレームのブロックデータを、上記のようにして求まったずれ量−ΔＸ’、−ΔＹ’だけずらして（ΔＸ’、ΔＹ’だけ逆に戻しずらすことと等価）順次画像メモリ１１上の探索されたフレームの格納領域に上書きするようにメモリ制御部１６が機能する。
【００４０】
具体的には画像３のブロックに対して探索された画像は画像１＋２なので、図４（ｂ）に示されるように、画像１の合焦ブロックと画像２の合焦ブロック以外の位置である画像３の「１５」、「１６」、「２５」、「２６」、「３５」、「３６」を−ΔＸ’、−ΔＹ’だけずらして（ΔＸ、ΔＹだけ逆に戻しずらすことと等価）画像１＋２の格納領域に上書きし、画像１＋２と画像３との合成画像（画像１＋２＋３）を生成する。以上のようにして画像１、２、３の各合焦ブロックを抽出し、撮像装置の位置ずれを補正した全焦点画像を得ることができる。
【００４１】
図６は、本実施の形態に係る撮像装置の動作を示すフローチャートである。図６において、まず、得られた複数のディジタル画像それぞれをブロック単位に分割して合焦ブロックを検出する（Ｓ６０１）。次いで、各合焦ブロックの画像内の位置を記憶する（Ｓ６０２）。ステップＳ６０１とＳ６０２を繰り返して、複数のディジタル画像それぞれについて合焦ブロックの位置記憶を終了したかどうかを判断する（Ｓ６０３）。
【００４２】
複数のディジタル画像それぞれについて合焦ブロックの位置記憶を行った後、Ｓ６０２で記憶した画像（これを画像２とする）の合焦ブロックの位置をもとに、画像２の合焦ブロックと他の撮影画像（これを画像１とする）の類似している領域をパターンマッチング（例えば水平・垂直にずらして両者の差を算出し、最も画像が類似している領域を判定）により探索する（Ｓ６０４）。そして、最も類似しているときのずれを、画像２の合焦ブロック群の水平・垂直のずれ量（ΔＸ*、ΔＹ*）として求める（Ｓ６０５）。次いで、画像１の非合焦領域と同じ位置の画像２のブロックを（ΔＸ*、ΔＹ*）だけ戻して（ずらして）画像１に上書きして画像１＋２を生成する（Ｓ６０６）。
【００４３】
画像１＋２を生成した後、ステップＳ６０２で記憶した他の画像（画像３とする）の合焦ブロックの位置をもとに、画像３の合焦ブロックと画像１＋２の類似している領域をパターンマッチングにより探索する（Ｓ６０７）。画像３の合焦ブロックと画像１＋２の類似している領域を探索した後、最も類似しているときのずれを画像３の合焦ブロック群の水平・垂直のずれ量（ΔＸ**、ΔＹ**）として求める（Ｓ６０８）。このずれ量を求めた後、画像１＋２の非合焦領域と同じ位置の画像３のブロックを（ΔＸ**、ΔＹ**）だけ戻して（ずらして）画像１に上書きして画像１＋２＋３を生成する（Ｓ６０９）。以上のようにして画像１、２、３の各合焦ブロックを抽出し、撮像装置の位置ずれを補正した全焦点画像を得ることができる。
【００４４】
本実施の形態に係る撮像装置によれば、複数画像を撮影して合焦ブロックのみについて、同一画像内の合焦ブロック群のずれ量をパターンマッチングにより求めることにより、同一画像内の全ての合焦ブロックのずれ量は統一され、ブロック毎にずれ量をそれぞれ求める方法と比べてもずれ量にばらつきが現れないので、ブロック境界の破綻を抑制して位置ずれの少ない全焦点画像画像を合成できる効果がある。
【００４５】
なお、本実施の形態においては、水平・垂直の直交する２軸に関してのパターンマッチングによるずれ量を検出してこれを補正することを説明したが、画像の要求により軸の数や方向を適宜変えることもでき、回転方向に対して角度補正を加えることによってずれ量が少ない画像を合成することも可能である。この場合は前述のΔＸ、ΔＹ等に加えて回転の成分Δθだけ補正することで実現可能である。
【００４６】
また、本実施の形態においては、ブロックの識別手段として合焦ブロック位置記憶部１３を設けたが、位置に固執することはなく、ブロックの識別ができる別の属性を割り当てても良い。パターンマッチングの手法は画素間の差の総和のみならず画素間の平均自乗誤差を算出する方法等、定量的に差異を比較することができれば方法に固執するものではない。
【００４７】
また、本実施の形態においては、画像をフレームとして扱ったが、これに固執することなくフィールド画像であってもよい。なお、ブロック分割や群の構成については対象とする画像の要求によって適宜変更することは勿論可能である。
【００４８】
また、本実施の形態においては、ハードウェア構成として機能ブロックを例示したが、ソフトウエア化してＤＳＰ(Digital Sginal Prosessor)やＣＰＵに実行させるようにしてもよい。
【００４９】
（実施の形態２）
図７は、本発明の実施の形態２に係る撮像装置の主要部の構成を示すのブロック図である。なお、図７において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００５０】
本実施の形態の撮像装置は、全焦点画像生成部において濃淡差判定部７７を有している点が上述した実施の形態１の撮像装置と異なる。この濃淡差判定部７７は、画像メモリ１１に格納されている画像の各ブロック内画素の濃淡差を検出し、濃淡差が一定以上のブロックを差判定部１４に通知する。差判定部１４は、濃淡差が一定以上のブロックについてのみパターンマッチングによる探索を行う。
【００５１】
図８から図１０は、本実施の形態に係る撮像装置の動作原理を示す図であり、これに基づいて動作を説明する。図８は、撮影により得られた画像をブロックに分割し、識別して位置を示すように「１」〜「５０」の連番を付してあるものであり、特にブロックに○が付してあるものについてはブロック内の画素に濃淡差のあるもの（即ち画素レベルの最大値と最小値との差が大きいもの）である。他については図２と同じであるので説明を省略する。
【００５２】
画像１と画像２との画像合成の際、濃淡差判定部７７は画像２のブロック内の画素について、
最大値−最小値＞設定閾値  …  （式１）
となるブロックを抽出する。画像２については図９（ｂ）の○で示すようにブロック「１４」、「１７」、「２９」、「３３」、「３４」、「３７」、「３８」となり、合焦ブロック１８個のうち７個のブロック群のみが画像１に対してずれ量を探索する対象となる。
【００５３】
ずれ量決定部１５は、この７個のブロック群のずれ量ΔＸ’’、ΔＹ’’を求める。メモリ制御部１６は、画像１の格納領域に図１０（ａ）に示す画像１の非合焦ブロックと同じ位置である画像２の２４個の画像ブロックデータを−ΔＸ’’、−ΔＹ’’だけずらして（即ちΔＸ’’、ΔＹ’’だけ位置を戻して）画像１に上書きする制御を行い、画像１＋２の合成画像を生成する。
【００５４】
画像３については、図１０（ｂ）の○で示すブロック「２５」、「２６」からなるブロック群が濃淡差判定部７７により式１に基づいて抽出される。ずれ量決定部１５は、２つのブロックからなるブロック群のずれ量ΔＸ’’’、ΔＹ’’’を求める。メモリ制御部１６は、画像１＋２の格納領域に図１０（ｂ）に示す画像１、画像２以外の６個の合焦ブロックを−ΔＸ’’’、−ΔＹ’’’だけずらして（即ちΔＸ’’’、ΔＹ’’’だけ位置を戻して）上書きするように制御を行い、画像１＋２＋３の合成画像を生成する。
【００５５】
本実施の形態に係る撮像装置によれば、濃淡差のあるブロックのみについて類似ブロックの探索を行うので、演算ブロック数を少なくでき、ずれ量演算の精度を維持しつつも処理時間の短縮を図ることが可能となる。
【００５６】
（実施の形態３）
図１１は、本発明の実施の形態３に係る撮像装置の主要部の構成を示すブロック図である。なお、図１１において図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００５７】
本実施の形態の撮像装置は、全焦点画像生成部において平均値判定部１１７を有している点で上述した実施の形態１の撮像装置と異なる。この平均値判定部１１７は、画像メモリ１１に格納されている画像の各ブロック内画素の平均値を検出し、平均値が一定以上のブロックを差判定部１４に通知する。すなわち、平均値判定部１１７は合焦しているブロックに対して、
ブロック内画素平均値＞設定閾値  …  （式２）
となるブロックを抽出する。
【００５８】
例えば、図８から図１０の○で示すブロックが式２を満たすブロックであるとすると、図９（ｂ）の合焦ブロック１８個のうち、○で示す７個のブロックから成るブロック群、図１０（ｂ）の合焦ブロック６個のうち○で示す２個ブロックからなるブロック群のみがずれ量を探索する対象となる。パターンマッチングによる検索を許可する動作以外は図７の撮像装置と同じであるので、動作説明を省略する。差判定部１４は、画素の平均値が一定以上のブロックについてのみパターンマッチングによる探索を行う。
【００５９】
本実施の形態に係る撮像装置によれば、ブロック内画素の平均値が一定以上のブロックからなるブロック群のみについて類似ブロックの探索を行うので、演算ブロック数を少なくでき、ずれ量演算の精度を維持しつつも処理時間の短縮を図ることが可能となる。
【００６０】
（実施の形態４）
図１２は、本発明の実施の形態４に係る撮像装置の差判定部１４の構成を示すブロック図である。図１２において、本実施の形態の撮像装置の差判定部１４は、合焦ブロックに対してぼけ処理を行うフィルタ処理部１２２を持つ点で上述した実施の形態２の撮像装置の差判定部１４と異なる。すなわち、実施の形態２の撮像装置の差判定部１４は、差判定部７８にて合焦ブロックの画像データと他画像データとの間で濃淡差判定部７７から通知された濃淡差一定以上のブロックのときにパターンマッチングを行うものであるが、本実施の形態の撮像装置の差判定部１４は、フィルタ処理部１２２が合焦ブロック位置記憶部１３に記憶されている位置の合焦ブロックに対してぼけ処理を行い、差算出部７８が合焦ブロックのぼけ処理後の画像データと他画像データとの間で濃淡差判定部７７から通知された濃淡差一定以上のブロックのときにパターンマッチングを行う。本実施の形態では、フィルタ処理部１２２のフィルタとして、レンズのぼけを模擬したガウシアンフィルタを使用している。
【００６１】
ｈ(ｘ、ｙ)＝ｅｘｐ(−（ｘ2＋ｙ2）／Ｒ2)／(πＲ2)  …（式３）
ｘ:画素水平位置、ｙ：画素垂直位置、Ｒ:ぼける画像領域の半径
【００６２】
本実施の形態に係る撮像装置によれば、ぼけ処理済みの合焦ブロックの画像データがぼけた画像に類似するのを利用したので、パターンマッチングの精度を向上させることができ、位置ずれの少ない全焦点画像を得ることができる。
【００６３】
なお、本実施の形態では、フィルタの一例として、レンズのぼけを模擬したガウシアンフィルタを使用したが、フィルタの種類についてはそれに限定されることはなく、高周波成分を減衰させることのできる別のフィルタを使用することもできる。
【００６４】
また、本実施の形態では、ブロック内の濃淡差が一定以上のときに処理する場合であったが、ブロック内の平均値が一定以上のときでもよい。また濃淡レベルに限定することなく合焦ブロック全てにフィルタ処理を施しても良い。
【産業上の利用可能性】
【００６５】
本発明にかかる撮像装置は、パターンマッチングの演算対象を合焦ブロックに絞り、さらに濃淡差のあるブロックだけに絞ることによって処理削減を行いつつ演算精度を維持することが可能となるので、複数の画像を焦点を変えて撮像して高周波成分の多いブロックを抽出することにより全焦点画像を得る撮像装置として有用である。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態１に係る撮像装置の主要部の構成を示すブロック図
【図２】本発明の実施の形態１に係る撮像装置おける全焦点画像生成の原理を説明するための図
【図３】本発明の実施の形態１に係る撮像装置おける全焦点画像生成の原理を説明するための図
【図４】本発明の実施の形態１に係る撮像装置おける全焦点画像生成の原理を説明するための図
【図５】本発明の実施の形態１に係る撮像装置おける全焦点画像生成の原理を説明するための図
【図６】本発明の実施の形態１に係る撮像装置の動作を説明するためのフローチャート
【図７】本発明の実施の形態２に係る撮像装置の主要部の構成を示すブロック図
【図８】本発明の実施の形態２に係る撮像装置おける動作原理を説明するための図
【図９】本発明の実施の形態２に係る撮像装置おける動作原理を説明するための図
【図１０】本発明の実施の形態２に係る撮像装置おける動作原理を説明するための図
【図１１】本発明の実施の形態３に係る撮像装置の主要部の構成を示すブロック図
【図１２】本発明の実施の形態４に係る撮像装置の差判定部の構成を示すブロック図
【図１３】従来の撮像装置の構成を示すブロック図
【図１４】従来の撮像装置における画像のブロック化を説明するための図
【図１５】従来の撮像装置における三層の階層的マッチングを説明するための図
【符号の説明】
【００６７】
１１  画像メモリ
１２  合焦ブロック検出部
１３  合焦ブロック位置記憶部
１４、１１８、１２１  差判定部
１５  ずれ量決定部
１６  メモリ制御部
７７  濃淡差判定部
７８  差算出部
１１７  平均値判定部
１２２  フィルタ処理部
【図１】
2005338901.tif 000003
【図２】
2005338901.tif 000004
【図３】
2005338901.tif 000005
【図４】
2005338901.tif 000006
【図５】
2005338901.tif 000007
【図６】
2005338901.tif 000008
【図７】
2005338901.tif 000009
【図８】
2005338901.tif 000010
【図９】
2005338901.tif 000011
【図１０】
2005338901.tif 000012
【図１１】
2005338901.tif 000013
【図１２】
2005338901.tif 000014
【図１３】
2005338901.tif 000015
【図１４】
2005338901.tif 000016
【図１５】
2005338901.tif 000017