(57)【要約】【課題】フィルタ処理の回路規模を抑えつつ、一眼レフカメラのような大きな背景ボケを忠実に再現することを可能にした画像処理装置を提供する。【解決手段】画像処理部の２次元フィルタ処理回路が、入力画像に第１〜第Ｎの分割フィルタ係数（Ｎは２以上の整数）によるフィルタ処理を施して第１〜第Ｎの中間画像を生成し、画像処理部の画像加算回路が、２次元フィルタ処理回路により生成された第１〜第Ｎの中間画像を加算することで積算画像を生成するようにして、小さいサイズの２次元フィルタ処理で一眼レフカメラのような大きな背景ボケを忠実に再現できるようにする。【選択図】図１
2015149554.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に第１〜第Ｎの分割フィルタ係数（Ｎは２以上の整数）によるフィルタ処理を施して第１〜第Ｎの中間画像を生成するフィルタ処理手段と、
前記フィルタ処理手段により生成される前記第１〜第Ｎの中間画像を加算することで第２の画像を生成する加算手段とを有することを特徴とする画像処理装置。
【請求項２】
フィルタ係数を分割して前記第１〜第Ｎの分割フィルタ係数を生成するフィルタ係数分割手段をさらに有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フィルタ処理手段は、フィルタ処理を施す前記第１の画像の範囲を前記分割フィルタ係数毎に変化させることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記フィルタ処理手段は、前記第１〜第Ｎの分割フィルタ係数の中の分割フィルタ係数が同じである分割フィルタ係数群に対しては、前記分割フィルタ係数群から選択した代表の分割フィルタ係数のみをフィルタ処理の対象とすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記フィルタ処理手段は、前記第１〜第Ｎの分割フィルタ係数の中の分割フィルタ係数のすべての要素がゼロである分割フィルタ係数をフィルタ処理の対象としないことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
第１の画像に第１〜第Ｎの分割フィルタ係数（Ｎは２以上の整数）によるフィルタ処理を施して第１〜第Ｎの中間画像を生成するフィルタ処理工程と、
前記フィルタ処理工程にて生成される前記第１〜第Ｎの中間画像を加算することで第２の画像を生成する加算工程とを有することを特徴とする画像処理方法。
【請求項７】
レンズを含む光学系と、
前記光学系により結像された被写体像を光電変換し画像信号を出力する撮像手段と、
前記撮像手段より出力される画像信号に画像処理を施す画像処理手段とを有し、
前記画像処理手段は、
第１の画像に第１〜第Ｎの分割フィルタ係数（Ｎは２以上の整数）によるフィルタ処理を施して第１〜第Ｎの中間画像を生成するフィルタ処理手段と、
前記フィルタ処理手段により生成される前記第１〜第Ｎの中間画像を加算することで第２の画像を生成する加算手段とを有することを特徴とする撮像装置。
【請求項８】
第１の画像に第１〜第Ｎの分割フィルタ係数（Ｎは２以上の整数）によるフィルタ処理を施して第１〜第Ｎの中間画像を生成するフィルタ処理ステップと、
前記フィルタ処理ステップにて生成される前記第１〜第Ｎの中間画像を加算することで第２の画像を生成する加算ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ぼかし処理機能を有する画像処理装置、画像処理方法及び撮像装置に関する。
【背景技術】
【０００２】
コンパクトデジタルカメラによる撮影では、一眼レフカメラで撮影するのに対して相対的に広い距離範囲に対して焦点があってしまうため、一眼レフカメラのように背景を大きくぼかしたような撮影を行うことができない。このため、従来、コンパクトデジタルカメラでは、大きなぼかし効果を得るために、デジタルフィルタ処理で一眼レフカメラ相当の大きさのボケを撮影画像に付与していた。例えば、特許文献１には、縮小した画像に小さいサイズのフィルタ処理を施した後に元の画像サイズに拡大することで、小さいサイズのフィルタ処理で大きなボケを画像に付与する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１０２９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された従来技術では、フィルタサイズが小さいため、一眼レフカメラのような背景ボケを忠実に再現することができない。例えば、一眼レフカメラで背景の点光源を大きく丸くぼかすような撮影手法があるが、特許文献１に開示されている小さいサイズのフィルタ処理では、画像を縮小することで画像の高域成分が失われるため、丸ボケの形状のディテイルが十分に表現できない。また、画像を縮小せずにフィルタ処理を施すことも考えられるが、一眼レフカメラのような大きな背景ボケを再現するには、５０タップ程度の多タップの２次元フィルタが必要であり、それを回路実装すると回路規模が非常に大きくなってしまう。
【０００５】
本発明の目的は、フィルタ処理の回路規模を抑えつつ、一眼レフカメラのような大きな背景ボケを忠実に再現することを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、第１の画像に第１〜第Ｎの分割フィルタ係数（Ｎは２以上の整数）によるフィルタ処理を施して第１〜第Ｎの中間画像を生成するフィルタ処理手段と、前記フィルタ処理手段により生成される前記第１〜第Ｎの中間画像を加算することで第２の画像を生成する加算手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、フィルタ処理の回路規模を抑えつつ、一眼レフカメラのような大きな背景ボケを忠実に再現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】第１の実施形態に係る画像処理部の構成例を説明するための図である。
【図３】本実施形態に係る２次元フィルタ係数を説明するための図である。
【図４】第１の実施形態に係る画像処理部の動作を説明するための図である。
【図５】第２の実施形態に係る画像処理部の構成例を説明するための図である。
【図６】第２の実施形態に係る画像処理部の動作を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
（第１の実施形態）
本発明の第１の実施形態について説明する。なお、以下に説明する実施形態は、画像処理装置の一例としての撮像装置（デジタルカメラ）に、本発明を適用した例を説明する。
【００１０】
図１は、本発明の実施形態に係る撮像装置（デジタルカメラ）の構成例を示すブロック図である。制御部１０１は、例えばＣＰＵ（Central Processing Unit）である。制御部１０１は、デジタルカメラ１００が有する各機能部の動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００が有する各機能部の動作を制御する。
【００１１】
ＲＯＭ（Read Only Memory）１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各機能部の動作プログラムに加え、各機能部の動作に必要なパラメータ等を記憶する。ＲＡＭ（Random Access Memory）１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が有する各機能部の動作において出力されたデータの一時的な記憶領域として用いられる。
【００１２】
光学系１０４は、レンズや絞りを含み、被写体像を撮像部１０５に結像する。撮像部１０５は、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換（アナログ／デジタル変換）部１０６に出力する。撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をＡ／Ｄ変換処理して、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。
【００１３】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに画像処理を施す。例えば、画像処理部１０７は、図２に示す２次元フィルタ処理回路２０１、画像加算回路２０６、及び画像除算回路２１０を有し、画像データを画像処理することで撮影画像に所望のボケを付与する。記録媒体１０８は、着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換処理された画像などが、記録画像として記録される。
【００１４】
以下、図２〜図４を用いて、第１の実施形態における画像処理部１０７の構成及び動作について説明する。
【００１５】
図３は、撮影画像に適用する２次元フィルタ処理のフィルタ係数を説明するための図である。図３に示すように、円柱形のフィルタ形状となっており、撮影画像に本フィルタ処理を適用することで一眼レフカメラのような丸ボケを表現することができる。また、フィルタサイズは、円柱部分が（４７タップ）×（４７タップ）である。分割フィルタ係数ｆ１、ｆ２、・・・、ｆ３６は、それぞれサイズが（９タップ）×（９タップ）の２次元フィルタ係数である。縦６ブロック横６ブロックの分割フィルタ係数ｆ１、ｆ２、・・・、ｆ３６で最大（５４タップ）×（５４タップ）の２次元フィルタ係数を表現することができる。
【００１６】
図４は、図３に示した２次元フィルタ処理を撮影画像に適用する様子を説明するための図である。図４において、４０１は第１の画像としての撮影された入力画像であり、４０２は（５４タップ）×（５４タップ）の２次元フィルタによるフィルタ処理を施した後の第２の画像としての出力画像の領域である。
【００１７】
図２は、第１の実施形態における画像処理部１０７の構成例を説明するための図である。図２（Ａ）に示す２０１は、（９タップ）×（９タップ）の２次元フィルタ処理を施す２次元フィルタ処理回路である。２０３は２次元フィルタ係数入力、２０４は画像入力、２０５は２次元フィルタ出力である。２次元フィルタ処理回路２０１は、入力画像の所望の領域を読み出し、２次元コンボリューション処理を施す。
【００１８】
入力画像に図３に示したフィルタ係数の２次元フィルタ処理を施す際、２次元フィルタ処理回路２０１は、図３に示した分割フィルタ係数ｆ１を入力画像に適用する。その際、図４に示す入力画像の領域４０３を部分的に読み出し分割フィルタ係数ｆ１によるフィルタ処理を施すことで、第１の中間画像を生成する。同様に、２次元フィルタ処理回路２０１は、図４に示す入力画像の領域４０４を部分的に読み出し図３に示した分割フィルタ係数ｆ２によるフィルタ処理を施すことで、第２の中間画像を生成する。
【００１９】
図２（Ｂ）に示す２０６は、画像加算回路である。２０７、２０８は画像入力であり、２０９は画像出力である。画像加算回路２０６は、画像入力２０７、２０８より入力される画像を加算処理して、加算後の画像を画像出力２０９より出力する。画像加算回路２０６は、前述のようにして生成された第１の中間画像及び第２の中間画像が画像入力２０７、２０８から入力され、それらを加算して第２の積算画像を生成し画像出力２０９から出力する。
【００２０】
次に、図３に示した分割フィルタ係数ｆ２の処理と同様に、２次元フィルタ処理回路２０１は、入力画像の領域をずらして図３に示した分割フィルタ係数ｆ３によるフィルタ処理を施すことで第３の中間画像を生成する。そして、画像加算回路２０６は、第２の積算画像と第３の中間画像とを加算することで第３の積算画像を生成する。以下、図３に示した分割フィルタ係数ｆ４〜ｆ３６についても、適用する画像の範囲を分割フィルタ係数毎に変化させて２次元フィルタ処理回路２０１及び画像加算回路２０６が同様の処理を行って、最終的に第３６の積算画像を生成する。
【００２１】
図２（Ｃ）に示す２１０は、画像除算回路である。２１１は画像入力であり、２１３は正規化係数入力であり、２１２は画像出力である。画像除算回路２１０は、画像入力２１１から入力された第３６の積算画像を正規化係数入力２１３で除算し、除算後の画像を最終的なぼかし画像として画像出力２１２から出力する。ここで、図３に示した２次元フィルタ係数の係数値の合計は１６５３であるので、正規化係数入力２１３には１６５３を入力する。
【００２２】
ここで、本実施形態において図３に示した分割フィルタ係数ｆ１〜ｆ３６は、それぞれ予めＲＯＭ１０２に記憶されており、ＲＡＭ１０３上に展開されてから、画像処理部１０７の２次元フィルタ係数入力２０３に入力される。ただし、これに限定されるものではなく、図３に示した（５４タップ）×（５４タップ）の２次元フィルタ係数を、制御部１０１がフィルタ係数分割部として機能してＲＡＭ１０３上に生成し３６個の分割フィルタ係数ｆ１〜ｆ３６に分割するようにしてもよい。このようにした場合には、図１に示したＲＯＭ１０２に記憶する２次元フィルタ係数データを削減することができる。
【００２３】
第１の実施形態によれば、９タップのような小さいサイズの２次元フィルタ処理で、５４タップの２次元フィルタ処理で得られるような大きなボケを、ディテイルを損なうことなく撮影画像に付与することができる。つまり、フィルタ処理の回路規模を抑えつつ、一眼レフカメラのような大きな背景ボケを忠実に再現することができる。
【００２４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における画像処理装置の一例である撮像装置（デジタルカメラ）の構成は、図１に示した第１の実施形態における撮像装置（デジタルカメラ）の構成と同様である。
【００２５】
以下、図５及び図６を用いて、第２の実施形態における画像処理部１０７の構成及び動作について説明する。図５は、第２の実施形態における画像処理部１０７の構成例を説明するための図である。図５において、図２に示した構成要素と同一の構成要素には同一の符号を付し、重複する説明は省略する。第２の実施形態における画像処理部１０７の構成は、第１の実施形態における画像処理部１０７の構成と、画像加算回路が異なる。画像加算回路５０１は、画像入力２０７、２０８より入力される画像を加算処理して、加算後の画像を画像出力２０９より出力する。
【００２６】
第２の実施形態における画像処理部１０７の動作は、図３に示したフィルタ係数においてフィルタ係数の要素がすべて１である分割フィルタ係数についての処理を除いては、第１の実施形態と同様である。すなわち、第２の実施形態では、分割フィルタ係数ｆ９、ｆ１０、ｆ１４、ｆ１５、ｆ１６、ｆ１７、ｆ２０、ｆ２１、ｆ２２、ｆ２３、ｆ２７、ｆ２８についての処理が、第１の実施形態とは異なる。
【００２７】
図５（Ａ）に示す２次元フィルタ処理回路２０１は、図３に示した分割フィルタ係数ｆ９を入力画像に適用する際、図６に示す入力画像４０１の領域６０１を部分的に読み出し分割フィルタ係数ｆ９によるフィルタ処理を施すことで、第９の中間画像を生成する。図６に示した６０２は第９の中間画像の出力画像領域である。本実施形態において、図３に示した分割フィルタ係数ｆ１０、ｆ１４、ｆ１５、ｆ１６、ｆ１７、ｆ２０、ｆ２１、ｆ２２、ｆ２３、ｆ２７、ｆ２８については、フィルタ処理を行わない。
【００２８】
図５（Ｂ）に示す画像加算回路５０１は、第８の積算画像に中間画像を加算して第９の積算画像を生成する際、第９の中間画像の領域６０３（図６）を部分的に読み出して加算することで第９の積算画像を生成する。さらに、画像加算回路５０１は、第９の積算画像に中間画像を加算して第１０の積算画像を生成する際、第９の中間画像の領域６０４（図６）を部分的に読み出して加算することで第１０の積算画像を生成する。以下、同様に、第１４、第１５、第１６、第１７、第２０、第２１、第２２、第２３、第２７、及び第２８の積算画像を生成する際も、第９の中間画像の領域をずらしながら部分的に読み出して加算することで各積算画像を生成する。
【００２９】
第２の実施形態によれば、分割フィルタ係数ｆ１〜ｆ３６の中の同じフィルタ係数を持つ分割フィルタ係数（分割フィルタ係数群）に対しては、選択した代表の分割フィルタ係数により１回だけフィルタ処理を行う。そして、積算画像を生成する際には、代表の分割フィルタ係数によるフィルタ処理により生成された中間画像の領域をずらして部分的に読み出して加算する。したがって、同じフィルタ係数を持つ分割フィルタ係数が複数存在する場合に、画像処理時間を短縮することができる。
【００３０】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態における画像処理装置の一例である撮像装置（デジタルカメラ）の構成は、図１に示した第１の実施形態における撮像装置（デジタルカメラ）の構成と同様である。
【００３１】
第３の実施形態における画像処理部１０７の動作は、図３に示したフィルタ係数においてフィルタ係数の要素がすべて０（ゼロ）である分割フィルタ係数についての処理を除いては、第１の実施形態と同様である。すなわち、第３の実施形態では、分割フィルタ係数ｆ１、ｆ６、ｆ３１、ｆ３６についての処理が、第１の実施形態とは異なる。
【００３２】
本実施形態において、図３に示した分割フィルタ係数の内、要素がすべて０（ゼロ）である分割フィルタ係数ｆ１、ｆ６、ｆ３１、ｆ３６については、２次元フィルタ処理回路でのフィルタ処理を行わない。また、画像加算回路は、第１、第６、第３１、及び第３６の積算画像の画像加算処理を行わない。
【００３３】
第３の実施形態によれば、フィルタ係数がすべてゼロの分割フィルタ係数に対してはフィルタ処理の対象とせず、フィルタ処理及び画像加算処理を行わない。したがって、フィルタ係数がすべてゼロの分割フィルタ係数が存在する場合に、画像処理時間を短縮することができる。
【００３４】
なお、前述した第２の実施形態と第３の実施形態とを組み合わせて適用することも可能である。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３５】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３６】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００３７】
１００：撮像装置  １０１：制御部  １０２：ＲＯＭ  １０３：ＲＡＭ  １０４：光学系  １０５：撮像部  １０６：Ａ／Ｄ変換部  １０７：画像処理部  １０８：記録媒体
【図１】
2015149554.tif 000003
【図２】
2015149554.tif 000004
【図５】
2015149554.tif 000005
【図３】
2015149554.tif 000006
【図４】
2015149554.tif 000007
【図６】
2015149554.tif 000008