(57)【要約】【課題】手振れが生じた場合でも不自然さの無いパンフォーカスな画像を複数枚の画像から合成する。【解決手段】  同一被写体のピント位置の異なる複数枚の画像を連続して撮像し各撮像画像からピントの合った部分領域を切り出し貼り合わせることで画面全面でピントの合った１枚の画像を合成するデジタルスチルカメラにおいて、複数枚の画像間の画角を一致させる動き補正手段３と、動き補正手段３により補正された複数枚の画像からピントのあった部分領域を切り出し貼り合わせることで一枚の合成画像を生成する画像合成手段４と、合成画像中の前記異なる画像間の境界部分を補正演算により修正する境界補正手段５とを備える。【選択図】図１
2007214887.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体のピント位置の異なる複数枚の画像を連続して撮像し各撮像画像からピントの合った部分領域を切り出し貼り合わせることで画面全面でピントの合った１枚の画像を合成するデジタルスチルカメラにおいて、前記複数枚の画像間の画角を一致させる動き補正手段と、該動き補正手段により補正された前記複数枚の画像からピントのあった部分領域を切り出し貼り合わせることで一枚の合成画像を生成する画像合成手段と、前記合成画像中の前記異なる画像間の境界部分を補正演算により修正する境界補正手段とを備えることを特徴とするデジタルスチルカメラ。
【請求項２】
前記境界補正手段は、前記境界部分の画像データを、前記合成に用いた２つの元画像から切り出した当該境界部分の画像データを重み付け加算平均して算出することを特徴とする請求項１に記載のデジタルスチルカメラ。
【請求項３】
前記画像合成手段は、前記複数枚の異なる画像の夫々を同一メッシュに分割し、分割された各分割画像のうち前記異なる画像の同一位置の分割画像の中で最も合焦度の高い分割画像を選択して前記合成画像中の当該位置の分割画像とすることを特徴とする請求項１または請求項２に記載のデジタルスチルカメラ。
【請求項４】
前記画像合成手段は、前記複数枚の異なる画像のうち前記動き補正手段による位置ズレ補正が所定値以上になる画像を前記画像合成に用いないことを特徴とする請求項１乃至請求項３のいずれかに記載のデジタルスチルカメラ。
【請求項５】
同一被写体のピント位置の異なる複数枚の画像からピントの合った部分領域を切り出し貼り合わせることで画面全面でピントの合った１枚の画像を合成する画像合成方法において、前記複数枚の画像間の画角を一致させる補正を行い、該補正後の前記複数枚の画像からピントのあった部分領域を切り出し貼り合わせることで一枚の合成画像を生成し、該合成画像中の前記異なる画像間の境界部分を補正演算により修正することを特徴とする画像合成方法。
【請求項６】
前記補正演算は、前記境界部分の画像データを、前記合成に用いた２つの元画像から切り出した当該境界部分の画像データを重み付け加算平均することで行うことを特徴とする請求項５に記載の画像合成方法。
【請求項７】
前記画像合成は、前記複数枚の異なる画像の夫々を同一メッシュに分割し、分割された各分割画像のうち前記異なる画像の同一位置の分割画像の中で最も合焦度の高い分割画像を選択して前記合成画像中の当該位置の分割画像とすることを特徴とする請求項５または請求項６に記載の画像合成方法。
【請求項８】
前記複数枚の異なる画像のうち前記画角を一致させる補正による位置ズレ補正が所定値以上になる画像を前記画像合成に用いないことを特徴とする請求項５乃至請求項７のいずれかに記載の画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルスチルカメラ及び画像合成方法に係り、特に、遠景から近景までピントの合った画像を撮像し生成することができるデジタルスチルカメラ及び画像合成方法に関する。
【背景技術】
【０００２】
ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等の固体撮像素子を用いて被写体を撮像するデジタルスチルカメラには、例えば下記特許文献１，２に記載されている様に、異なる焦点距離の同一被写体画像を複数枚撮像し、夫々の画像からピントの合った部分を切り出して合成することで、パンフォーカスな画像を得ることが行われている。
【０００３】
しかし、特許文献１記載の従来技術では、顕微鏡下の被写体からの入射光をプリズムを用いて３分割し、夫々を異なる焦点距離に置いた異なる固体撮像素子で受光する構成をとっているため、各固体撮像素子の入射光量が１／３になってしまう。また、固体撮像素子として例えば原色系カラーフィルタを搭載したカラー固体撮像素子を用いると、例えば赤色フィルタを搭載した画素では緑色，青色の光を利用しないため光利用効率が１／３になってしまい、明るい画像を得るには露光量をかなり増やす工夫が必要になる。
【０００４】
特許文献２記載の従来技術では、一般的な風景写真を撮るデジタルスチルカメラで異なる焦点距離の同一被写体画像を複数枚撮像し、各画像のピントのあった部分を貼り合わせることで、パンフォーカスな画像を得ている。しかし、カメラを手に持って撮像するため、手振れが起きたとき画像合成境界部分のずれが、ピントの合った画像であるため目立ってしまう。
【０００５】
【特許文献１】特開２００５―５７５０３号公報
【特許文献２】特開２００２―５１２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ユーザがカメラを手に持ち、同一被写体を、焦点距離を異ならせて複数枚連続して撮像し、各画像からピントのあった部分を切り出し貼り合わせることでパンフォーカスな１枚の画像を合成する場合、貼り合わせた部分の境界における画像ズレを良好に補正しないと、不自然な画像になってしまうという問題がある。
【０００７】
本発明の目的は、手振れが生じた場合でも不自然さの無いパンフォーカスな画像を合成することが可能なデジタルスチルカメラ及び画像合成方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明のデジタルスチルカメラは、同一被写体のピント位置の異なる複数枚の画像を連続して撮像し各撮像画像からピントの合った部分領域を切り出し貼り合わせることで画面全面でピントの合った１枚の画像を合成するデジタルスチルカメラにおいて、前記複数枚の画像間の画角を一致させる動き補正手段と、該動き補正手段により補正された前記複数枚の画像からピントのあった部分領域を切り出し貼り合わせることで一枚の合成画像を生成する画像合成手段と、前記合成画像中の前記異なる画像間の境界部分を補正演算により修正する境界補正手段とを備えることを特徴とする。
【０００９】
本発明のデジタルスチルカメラの前記境界補正手段は、前記境界部分の画像データを、前記合成に用いた２つの元画像から切り出した当該境界部分の画像データを重み付け加算平均して算出することを特徴とする。
【００１０】
本発明のデジタルスチルカメラの前記画像合成手段は、前記複数枚の異なる画像の夫々を同一メッシュに分割し、分割された各分割画像のうち前記異なる画像の同一位置の分割画像の中で最も合焦度の高い分割画像を選択して前記合成画像中の当該位置の分割画像とすることを特徴とする。
【００１１】
本発明のデジタルスチルカメラの前記画像合成手段は、前記複数枚の異なる画像のうち前記動き補正手段による位置ズレ補正が所定値以上になる画像を前記画像合成に用いないことを特徴とする。
【００１２】
本発明の画像合成方法は、同一被写体のピント位置の異なる複数枚の画像からピントの合った部分領域を切り出し貼り合わせることで画面全面でピントの合った１枚の画像を合成する画像合成方法において、前記複数枚の画像間の画角を一致させる補正を行い、該補正後の前記複数枚の画像からピントのあった部分領域を切り出し貼り合わせることで一枚の合成画像を生成し、該合成画像中の前記異なる画像間の境界部分を補正演算により修正することを特徴とする。
【００１３】
本発明の画像合成方法における前記補正演算は、前記境界部分の画像データを、前記合成に用いた２つの元画像から切り出した当該境界部分の画像データを重み付け加算平均することで行うことを特徴とする。
【００１４】
本発明の画像合成方法における前記画像合成は、前記複数枚の異なる画像の夫々を同一メッシュに分割し、分割された各分割画像のうち前記異なる画像の同一位置の分割画像の中で最も合焦度の高い分割画像を選択して前記合成画像中の当該位置の分割画像とすることを特徴とする。
【００１５】
本発明の画像合成方法では、前記複数枚の異なる画像のうち前記画角を一致させる補正による位置ズレ補正が所定値以上になる画像を前記画像合成に用いないことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像合成するときに動き補正を行った複数の画像を用いるため、合成画像に不自然さが無くなる。また、異なる画像間の境界部分を修正するため、異なる画像間の繋がりが滑らかとなり、違和感の無いパンフォーカスな画像を合成することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１８】
図１は、本発明の一実施形態に係るデジタルスチルカメラの機能説明図である。本実施形態のデジタルスチルカメラは、ユーザがレリーズボタンを押下すると、連続して３枚の被写体画像（第１画像，第２画像，第３画像）がカラー固体撮像素子１によって撮像される。
【００１９】
第１画像はフォーカスレンズ２のピント位置が自動的に遠景に合わされたとき撮像され、第２画像はフォーカスレンズ２のピント位置が自動的に中景に合わされたとき撮像され、第３画像はフォーカスレンズ２のピント位置が自動的に近景に合わされたとき撮像される。
【００２０】
カラー固体撮像素子１から出力される第１画像，第２画像，第３画像の夫々の画像データは、フレームメモリ内に格納される。デジタルスチルカメラを手に持って撮像が行われると、第１画像，第２画像，第３画像の夫々の間には若干のずれが手振れによって生じている。
【００２１】
そこで、カメラ内蔵の微小動き補正手段（手振れ補正手段）３は、第１画像，第２画像，第３画像間のずれを補正した画像を生成する。例えば、第１画像→第２画像→第３画像の順に撮像されたとき、第１画像と第２画像との差分を検出し、差分が無くなるように第２画像の画角が第１画像の画角と一致するように第２画像を補正する。同様に、第１画像と第３画像との差分を検出し、差分が無くなるように第３画像の画角が第１画像の画角と一致するように第３画像を補正する。
【００２２】
この補正は、従来から行われている電子的（ソフト的）手振れ補正技術を用いて行うことができる。この補正により、第２画像中のエッチ部分が、第１画像中のエッジ部分と一致し、第３画像中のエッジ部分が第１画像中のエッジ部分と一致する。
【００２３】
このとき、例えば第３画像の位置ズレが補正できないほど手振れが大きかった場合には、即ち、位置ズレ補正量が所定値より大きかった場合には、第３画像を削除して、第１画像と第２画像から以下に述べる合成画像を生成する。位置ズレが小さい場合には、以下の説明のように、全ての画像を用いて画像合成処理を行う。
【００２４】
尚、第１画像→第２画像→第３画像と順に撮像するとき、この順にズレ量が大きくなると、第３画像の第１画像に対する位置ズレ量が大きくなり、第３画像を削除することになる。しかし、中間に撮像した第２画像を基本画像とし、第１画像と第３画像を夫々補正して第２画像の画角に一致するように補正することで、第３画像が利用可能となる場合もある。３枚の画像の中からブレの中心となる画像を演算処理で求め、これを基本画像とすることも可能である。
【００２５】
次に、カメラ内蔵の画像合成手段４は、３枚の画像（補正済第１画像，第２画像（基本画像），補正済第３画像）を解析し、ピントのあった部分を切り出し貼り合わせることで、１枚の合成画像を詳細は後述するように生成する。
【００２６】
そして、更に、カメラ内蔵の境界補正手段５は、合成画像中の境界部分の画像を、補正済第１画像，第２画像，補正済第３画像から切り出した境界部分画像から詳細は後述するように生成し、これを合成画像中の境界部分の画像に置き換えて、出力画像とする。
【００２７】
図２は、図１に示す画像合成手段３が行う合成処理の詳細説明図である。補正済第１画像（以下、Ａ画像とする。）と、第２画像（以下、Ｂ画像とする。）と、補正済第３画像（以下、Ｃ画像とする。）とを、夫々、メッシュに分割する。メッシュが細かい程、きめ細かくピントのあった部分を抽出できるが、図示する例では、４×４＝１６のメッシュに分割している。第ｉ行第ｊ列の分割画像を、Ａij，Ｂij，Ｃijとして図示している。
【００２８】
画像合成手段３は、先ず、Ａ画像中の第１行第１列の分割画像Ａ11の合焦値（例えば、高周波成分値あるいはコントラスト値）を図示しないフィルタを通して検出し、同様に、Ｂ画像中の第１行第１列の分割画像Ｂ11の合焦値と、Ｃ画像中の第１行第１列の分割画像Ｃ11の合焦値を検出する。
【００２９】
そして、分割画像Ａ11，Ｂ11，Ｃ11の中で最も合焦値が高い分割画像を選択し、合成画像の第１行第１列の分割画像とする。図２に示す例では、分割画像Ｂ11が合成画像の第１行第１列の分割画像として選択されている。
【００３０】
以下同様にして、合成画像を構成する第ｉ行第ｊ列の分割画像を、分割画像Ａij，Ｂij，Ｃijの中から選択し、合成画像を生成する。
【００３１】
この合成画像のままでも、図１の微小動き補正手段３によって各画像中のエッジ部分が一致するように補正されているため、境界部分の被写体画像間のズレは目立たない。しかし、Ａ画像（遠景画像），Ｂ画像（中景画像），Ｃ画像（近景画像）はそもそもフォーカスレンズのピント位置が異なる撮像画像であるため、本実施形態では更に境界補正処理を施す。
【００３２】
図３は、境界補正手段５が行う境界補正処理の詳細説明図である。図２で説明した合成画像は、Ａ画像，Ｂ画像，Ｃ画像を分割画像単位に切り貼りした画像であるため、異なる画像Ａ，Ｂ，Ｃ間には境界７が存在する。
【００３３】
そこで、境界補正手段５は、境界７を挟む狭い部分領域を定める。図４に、Ａ画像とＣ画像の間の境界７に沿って定めた部分領域８を例示している。本実施形態の境界補正手段５は、この部分領域８を、境界７を挟む更に狭い領域８ｙと、領域８ｙに隣接するＡ画像側の領域８ｘと、領域８ｙに隣接するＣ画像側の領域８ｚとに３分割する。
【００３４】
そして、境界補正手段５は、Ａ画像から領域８ｙの画像を切り出すと共にＣ画像からも領域８ｙの画像を切り出し、切り出した両画像を重み付け加算平均した画像（例えば、０．５Ａ＋０．５Ｃ）を算出して合成画像の領域８ｙの画像とする。
【００３５】
同様に、Ａ画像から領域８ｘの画像を切り出すと共にＣ画像からも領域８ｘの画像を切り出し、切り出した両画像を重み付け加算平均した画像（例えば、０．７５Ａ＋０．２５Ｃ）を算出して合成画像の領域８ｘの画像とする。
【００３６】
同様に、Ａ画像から領域８ｚの画像を切り出すと共にＣ画像からも領域８ｚの画像を切り出し、切り出した両画像を重み付け加算平均した画像（例えば、０．２５Ａ＋０．７５Ｃ）を算出して合成画像の領域８ｚの画像とする。
【００３７】
そして、算出した領域８ｘ，８ｙ，８ｚの画像データを、図２で求めた合成画像の境界部分の画像データに上書きし、出力画像とする。
【００３８】
この様な境界補正処理を、図３の左図に示す各画像Ａ，Ｂ，Ｃ間の全境界７で行い、境界７に沿う部分領域８の画像データを、重み付け加算平均した画像データで置き換えることで、画像Ａ，Ｂ，Ｃ間の繋がりが更に滑らかになり、パンフォーカスでしかも違和感の無い自然な合成画像を得ることが可能となる。
【００３９】
尚、上述した実施形態では、ピント位置の異なる３枚の画像を連続して撮像し合成したが、４枚，５枚，…と、ピント位置が夫々異なる多数枚の画像を連続して撮像し画像合成する場合にも本実施形態を適用可能である。
【産業上の利用可能性】
【００４０】
本発明の画像合成方法は、画像を不自然無く滑らかに繋ぎ合成するため、パンフォーカスな画像を撮像するデジタルスチルカメラとして有用である。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態にデジタルスチルカメラの機能説明図である。
【図２】図１に示す画像合成手段の機能説明図である。
【図３】図１に示す境界補正手段の機能説明図である。
【図４】図１に示す境界補正手段が行う重み付き加算平均処理の説明図である。
【符号の説明】
【００４２】
１  カラー固体撮像素子
２  フォーカスレンズ
３  微小動き補正手段（手振れ補正手段）
４  画像合成手段
５  境界補正手段
７  異なる画像間の境界
８  境界を挟む部分領域
【図１】
2007214887.tif 000003
【図２】
2007214887.tif 000004
【図３】
2007214887.tif 000005
【図４】
2007214887.tif 000006