(57)【要約】【課題】不連続な境目と、エッジの滲みのないぼかし画像を生成することを可能にする画像処理装置を提供する。【解決手段】本発明にかかる画像処理装置は、取得された画像情報からオブジェクト領域を抽出する(102,103)。次に、抽出されたオブジェクト領域のサイズに基づいて、該オブジェクト領域を包含する複数の処理領域を取得する(111)。次に、取得された処理領域に異なるぼかし処理を施し、取得された画像情報のぼかし画像を生成する(104,105)。【選択図】図７
2010039946.tif 000002
【特許請求の範囲】
【請求項１】
取得された画像情報からオブジェクト領域を抽出する抽出手段と、
抽出された前記オブジェクト領域のサイズに基づいて、該オブジェクト領域を包含する複数の処理領域を取得する領域取得手段と、
取得された前記処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域取得手段は、抽出された前記オブジェクト領域を所定の大きさで順次拡大し、複数の処理領域を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記オブジェクト領域からの距離に応じて、前記処理領域に異なるぼかし処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
請求項１から請求項３の何れか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項５】
取得された画像情報からオブジェクト領域を抽出する抽出ステップと、
抽出された前記オブジェクト領域のサイズに基づいて、該オブジェクト領域を包含する複数の処理領域を取得する領域取得ステップと、
取得された前記処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成ステップと、
を備えることを特徴とする画像処理方法。
【請求項６】
前記領域取得ステップは、抽出された前記オブジェクト領域を所定の大きさで順次拡大し、複数の処理領域を取得することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記生成ステップは、前記オブジェクト領域からの距離に応じて、前記処理領域に異なるぼかし処理を施すことを特徴とする請求項５または６に記載の画像処理方法。
【請求項８】
請求項５から請求項７の何れか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報にぼかし処理を行う画像処理装置、撮像装置、画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮影装置は、撮像素子が一般的に小さいため、画像を撮影するために必要な撮影光学系の焦点距離が短くなる。また、コンパクトカメラ等の撮像装置は、一眼レフのような撮像装置に比べて、レンズのサイズが小さい。
【０００３】
ここで、焦点距離が短く、レンズのサイズが小さい場合は、撮影光学系のＦ値を同じにしても、被写界深度が深くなってしまう。このため、デジタルカメラ等の撮像装置で撮影する場合には、一眼レフのような撮像装置に比べて、相対的に広い距離範囲に焦点が合うことになる。
【０００４】
その結果、デジタルカメラ等の撮像装置は、一眼レフのような撮像装置と同じ明るさの画像を撮影した場合に、ぼけの少ない画像を得ることが可能になる。しかし、ポートレートのように背景のぼけが必要な画像を撮影する場合には、背景までもが鮮明になってしまい、逆に、画像の表現力が一眼レフのような撮像装置に比べて落ちてしまうことになる。
【０００５】
ここで、被写界深度が深いカメラで撮影された画像データの背景をぼかすために、特許文献１には、撮影距離に応じてぼかし処理を行う発明が開示されている。具体的には、画像データを複数の小さいブロックに分割し、それぞれのブロックの撮影距離を測定する。そして、測定された撮影距離に応じて、ブロック毎にぼかし処理を施し、ぼかし処理を行った複数のブロックを合成することにしている。この特許文献１に開示された発明では、撮影距離に応じたぼかし処理をブロック毎に施すため、背景に適したぼかし処理を施すことが可能となる。
【特許文献１】特開２０００−２５９８２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１で開示された発明は、主要被写体画像にぼかし処理を施さない一方、背景画像に撮影距離に応じたぼかし処理を施し、両画像を合成することで背景に適したぼかし処理を施した画像データを生成することにしている。
【０００７】
このため、上記特許文献１に開示された背景ぼかし処理方法では、ぼかし処理を施さないオブジェクトブロックと、ぼかし処理を施したオブジェクトブロックと、を合成する際に、図１に示すように、急激なコントラストの変化が発生してしまい、ひいては、不連続な境目が生じてしまうことになる。
【０００８】
また、背景と思われる部分についてぼかし処理を施す際に、ローパスフィルタをかけるため、エッジが広がることになる。背景は遠く、ローパスフィルタを強くかければかける程、エッジがより広がることになる。従って、図２に示すように、オブジェクトを切り出し、背景ブロックと貼り合わせる際に、オブジェクトの部分も広がるため、エッジの滲みが発生してしまうことになる。特に、オブジェクトの色と背景の色とが異なる場合に、色の滲みが目立つことになる。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、不連続な境目と、エッジの滲みのないぼかし画像を生成することが可能な画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するために、本発明は、以下の特徴を有することとする。
【００１１】
＜画像処理装置＞
本発明にかかる画像処理装置は、取得された画像情報からオブジェクト領域を抽出する抽出手段と、抽出された前記オブジェクト領域のサイズに基づいて、該オブジェクト領域を包含する複数の処理領域を取得する領域取得手段と、取得された前記処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成手段と、を備えることを特徴とする。
【００１２】
＜撮像装置＞
また、本発明にかかる撮像装置は、上記記載の画像処理装置を備えることを特徴とする。
【００１３】
＜画像処理方法＞
また、本発明にかかる画像処理方法は、取得された画像情報からオブジェクト領域を抽出する抽出ステップと、抽出された前記オブジェクト領域のサイズに基づいて、該オブジェクト領域を包含する複数の処理領域を取得する領域取得ステップと、取得された前記処理領域に異なるぼかし処理を施し、取得された前記画像情報のぼかし画像を生成する生成ステップと、を備えることを特徴とする。
【００１４】
＜プログラム＞
また、本発明にかかるプログラムは、上記記載の画像処理方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、不連続な境目と、エッジの滲みのないぼかし画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１６】
まず、本実施形態の画像処理装置の概要について説明する。
【００１７】
本実施形態の画像処理装置は、オリジナル画像に対し、段階的にローパスフィルタ処理を行い、図３〜図５に示す複数の画像データを作成する。図５は、背景部分に最も強いローパスフィルタをかけて作成した画像データを示す。図４は、図５のローパスフィルタよりも弱いローパスフィルタをかけて作成した画像データを示す。図３は、図４のローパスフィルタよりも更に弱いローパスフィルタをかけて作成した画像データを示す。
【００１８】
本実施形態の画像処理装置は、図５の領域３を切り出し、図６に示す出力画像に貼り付ける。次に、図４の領域２を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。次に、図３の領域１を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。これにより、不連続な境目がなく、エッジの滲みのないぼかし画像を生成することが可能となる。
【００１９】
（第１の実施形態）
以下、添付図面を参照しながら、本実施形態の画像処理装置について詳細に説明する。なお、以下の説明では、撮像装置に搭載された画像処理装置を例に説明する。
【００２０】
＜画像処理装置の構成＞
まず、図７を参照しながら、本実施形態の画像処理装置の構成について説明する。図７は、撮像装置に搭載された画像処理装置の構成を示すブロック図である。
【００２１】
本実施形態における画像処理装置は、画像入力部101、画像領域分割部102、オブジェクト抽出部103、オブジェクトエッジ処理部111、画像ぼかし処理部104、画像合成部105、画像出力部106、カメラパラメータ入力部107、距離情報取得部108、ぼけ関数取得部109、ぼけ関数DB110を含んで構成している。
【００２２】
画像入力部101は、画像を画像領域分割部102に入力するものである。
画像領域分割部102は、画像を細かく分割するものである。
【００２３】
オブジェクト抽出部103は、画像領域分割部102が細かく分割した小領域を組み合わせ、意味のあるオブジェクトを抽出するものである。ここで、意味のあるオブジェクトとは、前景、背景を区別することを意味する。本実施形態では、前景、背景が区別でき、オブジェクト間の距離が分かれば、背景のぼかし処理を実現することが可能となる。オブジェクト間の距離は、距離情報取得部108から取得する。
【００２４】
オブジェクトエッジ処理部111は、オブジェクト抽出部103が抽出したオブジェクトを基に、図３〜図５に示すようなオブジェクト領域より一回り大きい領域を指定するマスク（処理領域）を作成するものである。
【００２５】
画像ぼかし処理部104は、ぼけ関数のフィルタを基に、オブジェクト抽出部103が抽出したオブジェクトのぼかし処理を行い、複数枚のぼかし画像（背景）を作成するものである。ぼけ関数のフィルタは、ぼけ関数取得部109から取得する。
【００２６】
画像合成部105は、オブジェクトエッジ処理部111で作成した複数の異なるサイズのマスク（処理領域）と、画像ぼかし処理部104で作成した複数枚のぼかし画像（背景）と、を基に、オブジェクトと、ぼかし画像（背景）と、を合成するものである。
【００２７】
画像出力部106は、画像合成部105で合成した画像を出力するものである。
【００２８】
カメラパラメータ入力部107は、カメラパラメータを入力するものである。
【００２９】
距離情報取得部108は、距離情報を取得するものである。距離情報取得部109の詳細内部構成を図８に示す。
【００３０】
距離情報取得部109は、縮小画像入力部201と、エッジ情報計算部202と、距離情報計算部203と、距離情報出力部204と、レンズ焦点調整部205と、を有して構成する。
【００３１】
レンズ焦点調整部205は、カメラレンズの焦点を調整するものである。
縮小画像入力部201は、複数の異なる焦点位置の画像をエッジ情報計算部202に入力するものである。
【００３２】
エッジ情報計算部202は、縮小画像入力部201から入力された複数の異なる焦点位置の画像を基に、複数の画像ブロックに分割し、同じ位置のブロック領域でのコントラスト値の合計値を求めるものである。
距離情報計算部203は、同じ位置のブロック領域でのコントラスト値を比較し、撮影距離を計算するものである。
距離情報出力部204は、距離情報計算部203が取得した距離情報をオブジェクト抽出部103とぼけ関数取得部109に出力するものである。
【００３３】
ぼけ関数DB110は、ぼけ関数のフィルタを記憶するものである。ぼけ関数DB110のデータ構造を図９に示す。
【００３４】
ぼけ関数DB110は、図９に示すように、距離の差と、焦点距離、Ｆ値、開口の形、ぼけ関数のフィルタ、を対応付けて記憶している。このため、距離の差、焦点距離、Ｆ値、開口の形に応じて、ぼけ関数のフィルタｆの内容が変わることになる。ぼけ関数のフィルタｆは、Ｎ×Ｎのフィルタである。各要素の値は、カメラパラメータ、撮影距離によって変化する。カメラレンズの設計値を基に、各要素の値を予め計算し、ぼけ関数DB110に記憶することになる。
【００３５】
ぼけ関数取得部109は、カメラパラメータ入力部107から入力されたカメラパラメータを基に、ぼけ関数DB110からぼけ関数のフィルタｆを取得するものである。
【００３６】
本実施形態の画像処理装置では、画像領域分割部102、オブジェクト抽出部103が画像情報からオブジェクト領域を抽出する抽出手段を実現する。
【００３７】
また、オブジェクトエッジ処理部111が、抽出手段により抽出されたオブジェクト領域のサイズに基づいて、そのオブジェクト領域を包含する複数の処理領域を取得する領域取得手段を実現する。
【００３８】
また、画像ぼかし処理部104、画像合成部105が、領域取得手段により取得された処理領域に異なるぼかし処理を施し、取得された画像情報のぼかし画像を生成する生成手段を実現する。
【００３９】
＜画像処理装置の処理動作＞
次に、図７、図８、図１０を参照しながら、本実施形態の画像処理装置の処理動作について説明する。図１０は、本実施形態の画像処理装置の処理動作を示す図である。
【００４０】
＜ステップA1〜A3の処理動作＞
まず、図７、図８、図１０を参照しながら、図７に示す距離情報取得部108の処理動作について説明する。
【００４１】
本実施形態の距離情報取得部108は、レンズ焦点調整部205が、カメラレンズの焦点を調整し、縮小画像入力部201が、複数の異なる焦点位置の画像をエッジ情報計算部202に入力する（ステップA1）。
【００４２】
エッジ情報計算部202は、縮小画像入力部201から入力された複数の異なる焦点位置の画像を基に、複数の画像ブロックに分割し、同じ位置のブロック領域でのコントラスト値の合計値を求める（ステップA2）。
【００４３】
距離情報計算部203は、同じ位置のブロック領域でのコントラスト値を比較し、撮影距離を計算する。例えば、最もコントラスト値の高い画像がそのブロックに焦点があっていると判断し、その画像フレームの焦点位置を基に、撮影距離を計算する。距離情報計算部203は、全てのブロックでの撮影距離情報を計算し、ブロック毎の距離情報を取得する（ステップA3）。なお、距離情報計算部203は、距離測定センサーを使用し、距離情報を取得することも可能である。距離情報出力部204は、距離情報計算部203が取得した距離情報を、オブジェクト抽出部103とぼけ関数取得部109に出力することになる。
【００４４】
＜ステップB1〜B2の処理動作＞
次に、図７、図１０を参照しながら、図７に示すカメラパラメータ入力部107と、ぼけ関数取得部109の処理動作について説明する。
【００４５】
まず、カメラパラメータ入力部107は、カメラパラメータをぼけ関数取得部109に入力する（ステップB1）。
【００４６】
ぼけ関数取得部109は、カメラパラメータ入力部107から入力されたカメラパラメータを基に、ぼけ関数DB110からぼけ関数のフィルタを取得する（ステップB2）。ぼけ関数取得部109は、ぼけ関数DB110から取得したぼけ関数のフィルタを画像ぼかし処理部104に出力することになる。
【００４７】
＜ステップS1〜S8の処理動作＞
次に、図７、図１０を参照しながら、図７に示す画像入力部101、画像領域分割部102、オブジェクト抽出部103、オブジェクトエッジ処理部111、画像ぼかし処理部104、画像合成部105、画像出力部106の処理動作について説明する。
【００４８】
まず、画像入力部101は、画像を画像領域分割部102に入力する（ステップS1）。
【００４９】
画像領域分割部102は、画像入力部101から入力された画像を細かく分割する（ステップS2）。画像領域分割部102は、画像のエッジ、色などの情報を利用し、画像を分割する。画像の領域分割は、図１１に示すようにほぼ同じ色の領域を１つの塊として抽出する。図１１では、同じ色の塊オブジェクトA、オブジェクトB、背景Cを抽出している。
【００５０】
画像領域分割部102は、画像の各画素の色を基に、隣画素の色との色差を計算し、色差が所定の閾値以下であれば、同じ塊と判断し、その同じ塊を１つの領域として抽出する。また、画像領域分割部102は、コントラストがほぼ同じ塊を１つの領域として抽出する。
【００５１】
ここで、図１２を参照しながら、ステップS2の領域分割の処理動作について詳細に説明する。
【００５２】
まず、画像を色空間変換し、RGB画像をYUVに変換し、YUV画像を生成する（ステップS21）。Yは画像の輝度であり、UとVとは画素の色特性を示す。Uは輝度信号とB信号の差分であり、Vは輝度信号とR信号との差分である。
【００５３】
次に、Y、U、Vそれぞれの成分に対し、フィルタリング処理を行う（ステップS22）。フィルタリング処理により、ノイズ成分や急激に変化する小さい領域を平均化し、同じ特性の塊を作り易くすることが可能となる。なお、フィルタリング処理に用いるフィルタは、ノイズ除去、平滑効果が得られるものであれば特に限定せず、あらゆるフィルタを適用することが可能である。例えば、平滑効果があるGaussianを適用することも可能である。
【００５４】
次に、フィルタリング処理を行ったY、U、V成分を基に、領域生成を行う（ステップS23）。フィルタリングしたY、U、V成分は、隣り合う画素の差分が所定の閾値より小さければ同じ塊と判断し、塊を作る。閾値は、Y、U、Vそれぞれについて設定する。閾値は、実験により予め調整して設定し、それぞれの閾値をメモリに保存しておく。これにより、特性差の少ない小領域を生成することが可能となる。なお、U、Vの閾値で領域分割を行っても良く、輝度値Yの閾値も含めて、それぞれの閾値で領域分割を行っても良い。このステップS22の処理により、図１１に示すように、同じ色の塊オブジェクトA、オブジェクトB、背景Cに分離することが可能になる。
【００５５】
次に、小領域を削除する（ステップS24）。ノイズや孤立点の影響により、小さい領域が生成される場合がある。このため、領域面積の閾値を設け、その閾値より小さい領域を隣の領域と融合する。但し、融合する場合には、隣領域との輝度、色差が最も少ない領域と合成する。最小面積の閾値は任意に調整でき、予め設定する。
【００５６】
次に、ステップS24で融合した領域を領域分割結果として出力する（ステップS25）。融合した領域は、色の近い融合領域、または、コントラスト変化の少ない融合領域となる。これにより、図１１に示すように、同じ色で且つコントラスト変化の少ない塊を１つの領域として抽出し、オブジェクトA、オブジェクトB、背景Cに分離することになる。これにより、画像領域分割部102は、画像入力部101から入力された画像を細かく分割し、画像を小領域に分割することが可能となる。
【００５７】
次に、オブジェクト抽出部103は、ステップS2で画像領域分割部102が分割した小領域を組み合わせ、意味のあるオブジェクトを抽出する（ステップS3）。
【００５８】
画像領域分割部102は、ステップS2でオブジェクトの塊A、B、Cを作成したので、オブジェクト抽出部103は、距離情報を基に、オブジェクトA、Bと背景Cとの距離差が分かれば、背景のぼかし処理を実現することが可能となる。このため、図１３に示すように、A、B、Cのそれぞれの領域に確信度の高いブロックがあれば、そのブロックを用いて、オブジェクト間の距離情報を取得することが可能となる。
【００５９】
但し、距離情報を取得できない部分があっても、背景のぼかし処理を行うことは可能である。例えば、各オブジェクトの中で、１つのブロックで距離情報が取得できた場合に、その距離情報をオブジェクトの距離情報として使用する。このため、他のブロックの距離情報が取得できなくても良いことになる。
【００６０】
本実施形態では、オブジェクト抽出部103は、人物の頭、体をそれぞれ小領域とし、２つの領域として分割する。そして、頭領域内のブロックと体領域内のブロックとの距離がほぼ同じであるため、頭と体とを組み合わせて、１つのオブジェクトとして抽出する。また、頭領域内のブロックと体領域内のブロックは、隣の木領域のブロックと距離が異なるため、別のオブジェクトとして抽出する。これにより、図１３に示すように、オブジェクトA、オブジェクトBと、背景Cと、をそれぞれ分離することが可能となる。
【００６１】
次に、オブジェクトエッジ処理部111は、ステップS3でオブジェクト抽出部103が抽出したオブジェクトを基に、図３〜図５に示すようなオブジェクト領域より一回り大きい領域を指定するマスク（処理領域）を作成する（ステップS4）。これにより、オブジェクトエッジ処理部111は、エッジ部分を連続させるための複数の異なるサイズのマスク（処理領域）を作成することになる。
【００６２】
一回り大きい領域は、ステップS3でオブジェクト抽出部103が抽出したオブジェクトの外周からN画素数だけ離れた領域とする（図３〜６参照）。ここで、Nは可変である。但し、オブジェクトの抽出精度が高ければ、オブジェクトに近いマスクのステップを小さくし、オブジェクトから背景まで、画素Nの大きさを段階的に増やしていく。また、オブジェクトの抽出精度が低ければ、オブジェクトから背景までのマスクのステップを均等にするか、もしくは、オブジェクトに近いほうが、N画素のマスクのステップ間隔を大きくする。その結果、オブジェクト抽出の誤差を目立たなくすることが可能となる。
【００６３】
なお、複数の異なるサイズのマスク（処理領域）を作成する際には、オブジェクト間の距離や、オブジェクト間のぼかし具合の差に応じて、作成するマスクの枚数を変化することが好ましい。例えば、オブジェクト間の距離の差が大きければ、マスクの枚数を段階的に増やし、連続的にぼかしていく。このため、オブジェクト間の距離とマスクの枚数とを対応付けてメモリに予め記録し、測定したオブジェクト間の距離に応じたマスクの枚数をメモリから呼び出すようにすることが好ましい。
【００６４】
次に、画像ぼかし処理部104は、ぼけ関数取得部109からぼけ関数のフィルタを取得し、その取得したぼけ関数のフィルタを基に、オブジェクトにぼかし処理を行う（ステップS5）。ぼかし処理を行う際は、複数のボケ関数のフィルタを基に、オブジェクトにぼかし処理を行い、図３〜図５に示すように複数枚のぼかし画像を生成する（ステップS6）。これにより、画像ぼかし処理部104は、複数枚のぼかし画像を生成することになる。
【００６５】
ここで、オブジェクト周囲領域におけるぼかし具合の決定方法について説明する。
画像ぼかし処理部104は、ぼけ関数のフィルタの強さで、ぼかし具合を調整する。オブジェクトに近いほど、ぼけ関数のフィルタを弱くする。そして、距離の離れたオブジェクトに近づいていくほど、ぼけ関数のフィルタを強くしていく。本実施形態では、ぼけ関数取得部109がぼけ関数DB110から取得したぼけ関数のフィルタを基に、ぼかし具合を調整する。なお、オブジェクト間の距離により、マスクの強さを変化するようにすることも可能である。この場合、オブジェクト間の距離が遠くなればなるほど、マスクのぼかしを強くするようにする。
【００６６】
次に、画像合成部105は、ステップS4で生成した複数の異なるサイズのマスク（処理領域）と、ステップS6で生成した複数枚のぼかし画像（背景）と、を基に、オブジェクトと、複数枚のぼかし画像（背景）と、を合成する（ステップS7）。オブジェクトと、複数枚のぼかし画像（背景）と、を合成する際には、複数の異なるサイズのマスク（処理領域）を用いて、複数枚のぼかし画像（背景）から画像を切り出し、画像を合成し、図６に示す画像を生成する。具体的には、図５の領域３を切り出し、図６に示す出力画像に貼り付ける。次に、図４の領域２を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。次に、図３の領域１を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。これにより、不連続な境目がなく、エッジの滲みのないぼかし画像を生成することが可能となる。
【００６７】
次に、画像出力部106は、ステップS7で合成した画像を出力する（ステップS8）。
【００６８】
＜本実施形態の画像処理装置の作用・効果＞
このように、本実施形態の画像処理装置は、オリジナル画像に対し、段階的にローパスフィルタ処理を行い、図３〜図５に示す複数の画像データを作成する。そして、図５の領域３を切り出し、図６に示す出力画像に貼り付ける。次に、図４の領域２を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。次に、図３の領域１を示す円の部分を切り出し、図６に示す出力画像に貼り付ける。これにより、本実施形態の画像処理装置は、不連続な境目がなく、エッジの滲みのないぼかし画像を生成することが可能となる。
【００６９】
＜本実施形態の画像処理装置を搭載した撮像装置＞
次に、図１４を参照しながら、上述した図７に示す画像処理装置を搭載した撮像装置のハードウェア構成について説明する。図１４は、本実施形態の撮像装置のハードウェア構成を示すブロック図である。
【００７０】
本実施形態の撮像装置は、撮影光学系1、メカシャッタ2、CCD（Charge Coupled Device）3、CDS（Correlated Double Sampling）回路4、A/D変換器5、モータドライバ6、タイミング信号発生器7、画像処理回路8、CPU9、RAM（Random Access Memory）10、ROM（Read Only Memory）11、SDRAM（Synchronous DRAM）12、圧縮伸張回路13、メモリカード14、操作部15、LCD16を含んで構成している。
【００７１】
被写体光は、撮影光学系1を通してCCD3に入射される。また、撮影光学系1とCCD3との間には、メカシャッタ2が配置されており、このメカシャッタ2によりCCD3への入射光を遮断することが出来る。撮影光学系1及びメカシャッタ2は、モータドライバ6で駆動する。
【００７２】
CCD3は、撮像面に結像された光学像を電気信号に変換し、アナログの画像データとしてCDS回路4に出力する。CDS回路4は、CCD3から出力された画像情報のノイズ成分を除去し、A/D変換器5に出力する。A/D変換器5は、デジタル値に変換し、画像処理回路8に出力する。
【００７３】
画像処理回路8は、SDRAM12を用いて、YCrCb変換処理、ホワイトバランス処理、コントラスト補正処理、エッジ強調処理、色変換処理等の各種画像処理を行う。
【００７４】
ホワイトバランス処理は、画像情報の色濃さを調整する処理である。コントラスト補正処理は、画像情報のコントラストを調整する処理である。エッジ強調処理は、画像情報のシャープネスを調整する処理である。色変換処理は、画像情報の色合いを調整する処理である。
【００７５】
また、画像処理回路8は、信号処理や画像処理が施された画像情報をLCD16に表示する。また、画像処理回路8は、信号処理、画像処理が施された画像情報を、圧縮伸張回路13を介して、メモリカード14に記録する。
【００７６】
圧縮伸張回路13は、操作部15からの指示により、画像処理回路8から出力される画像情報を圧縮し、メモリカード14に出力すると共に、メモリカード14から読み出した画像情報を伸張し、画像処理回路8に出力する。
【００７７】
CPU9は、タイミング信号を発生するタイミング信号発生器7を介してCCD3、CDS回路4、A/D変換器5のタイミングを制御する。更に、CPU9は、画像処理回路8、圧縮伸張回路13、メモリカード14を制御する。
【００７８】
＜本実施形態の撮像装置の処理動作＞
次に、図１０、図１４を参照しながら、本実施形態の撮像装置の処理動作について説明する。
本実施形態の撮像装置は、被写体の距離情報を測定する。次に、モータドライバ6を動かしながら、撮影光学系1及びメカシャッタ2を制御し、焦点位置を変え、複数枚の縮小画像をSDRAM12に入力する。これにより、異なる撮影距離の複数枚の縮小画像がSDRAM12に入力される（ステップS1）。
【００７９】
次に、本撮影を行い、背景ぼけ処理用の大きいサイズの画像をSDRAM12に入力する（ステップA1）。次に、距離測定プログラムをROM11から呼び出し、図１０に示すステップA2〜A3の処理を行う。具体的には、各画像をブロックに分割し、同じ位置ブロック内のコントラスト値の合計を計算する。最もコントラスト値の高いブロックは、この位置にフォーカスがあっていると判断し、それをフレームの結像位置とする。そして、結像位置を基に被写体距離を計算する。これにより、距離情報を抽出することが可能となる。
【００８０】
次に、領域分割、オブジェクト抽出プログラムをROM11から呼び出し、図１０に示すステップS2〜S3の処理を行う。具体的には、画像のエッジ情報、色情報を使用し、画像を小さい領域に分割する。次に、小領域をまとめ、図１１に示すように、オブジェクトを抽出する。オブジェクトを抽出する場合には、色の特性、エッジの特性を基に、共通の属性がある小領域をまとめる。また、測定した距離情報も領域をまとめる際に利用する。距離の近い小領域は、同じグループにし、オブジェクト候補とする。オブジェクトは、人物、前景、背景など意味のある領域である。それぞれの領域での撮影距離は異なる。これにより、図１３に示すように、画像をブロックに分割することが可能となる。各ブロック内では、距離測定ソフトウェアによりそれぞれの距離が測定されている。また、図１３に示すA,B,Cの距離は、ブロックから取得することになる。
【００８１】
次に、図１０に示すステップB2の処理を行い、オブジェクトA,B,Cのぼけ関数のフィルタを取得する。オブジェクトAが主要被写体と判断された場合は、Aに対してぼかし処理を施さない。オブジェクトB、背景Cの撮影距離、カメラパラメータを基に、ぼけ関数DB110からぼけ関数のフィルタを取得する。ぼけ関数のフィルタは、図９に示すｆであり、カメラパラメータと撮影距離に応じたぼけ関数のフィルタをぼけ関数DB110から取得する。
【００８２】
次に、図１０に示すステップS5〜S6の処理を行い、撮影した元画像Aに対してフィルタｆ#Bでフィルタリング処理を行い、フィルタリング処理を行った画像BをSDRAM12に格納する。次に、元画像Aに対してフィルタｆ_Cでフィルタリング処理を行い、フィルタリング処理を行った画像CもSDRAM12に格納する。
【００８３】
オブジェクトBとオブジェクトCとの距離は異なるため、遠いものに対して強いローパスフィルタをかけ、強くぼかす。これにより、入力したカメラパラメータと同じカメラのぼけを実現することができる。例えば、一眼レフのパラメータを入力すると、その一眼レフカメラと同じ背景ぼけのある画像を作成することが可能となる。
【００８４】
また、図１０に示すステップS4の処理を行い、エッジ処理用のマスクを生成する。
【００８５】
次に、図１０に示すステップS7の処理を行い、元画像AからオブジェクトAの部分を切り出し、画像BからオブジェクトBを切り出し、画像Cから背景部分Cを切り出し、画像を合成する。この場合、オブジェクトと一回り異なるサイズのマスクに合わせ、複数のフィルタリング処理を行い、複数枚のぼかした画像をSDRAM12に格納する。フィルタの強度は、オブジェクトから背景間の距離を段階的に分割し、その距離により、ぼけ関数DB110からぼけ関数のフィルタを取得する。複数のマスクと複数枚ぼかした画像から画像を切り出し、背景ぼかし画像を生成する。
【００８６】
本実施形態の撮像装置は、上述した背景ぼかし機能を含むモジュール構成となっており、CPU（プロセッサ）9がROM11からプログラムを読み出して実行することになる。
【００８７】
（第２の実施形態）
次に、第２の実施形態について説明する。
【００８８】
第１の実施形態の画像処理装置は、オブジェクト間の距離に応じて、ぼけ関数のフィルタを変更し、オブジェクト周囲領域におけるぼかし具合を調整することにした。
【００８９】
第２の実施形態の画像処理装置は、オブジェクト間に複数の領域を設定し、オブジェクト間の距離及び撮像距離の差を基に、ぼけ関数のフィルタを変更し、上記設定した各領域におけるぼかし具合を調整することを特徴とする。これにより、オブジェクト間に複数の領域を設定し、その設定した各領域のぼかし画像を作成することが可能となる。
【００９０】
オブジェクトAとオブジェクトBとの距離が分かれば、ぼけ関数のフィルタ調整を行うことが可能である。また、オブジェクトの撮影距離、オブジェクト間の距離が分かる場合には、オブジェクト間に複数の領域を設定し、オブジェクト間の距離及び撮影距離の差を基に、ぼけ関数のフィルタを変更し、上記設定した各領域におけるぼかし具合を調整することが可能である。この場合、撮影距離及び撮影距離の差を基に、ぼけ関数のフィルタを計算し、その計算したぼけ関数のフィルタを、その撮影距離及び撮影距離の差に対応付けてぼけ関数DB110に保存する。そして、実際に得られた撮影距離及び撮影距離の差を基に、その撮影距離及び撮影距離の差に対応するぼけ関数のフィルタをぼけ関数DB110から取得し、その取得したぼけ関数のフィルタを用いて、各領域におけるぼかし具合を調整し、ぼかし画像を作成する。これにより、オブジェクト間に複数の領域を設定し、その設定した各領域のぼかし画像を作成することが可能となる。
【００９１】
（第３の実施形態）
次に、第３の実施形態について説明する。
【００９２】
第１、第２の実施形態は、図１４に示す撮像装置に搭載された画像処理装置を例として説明した。このため、図１０に示すように、ステップS1の画像入力と、ステップA1の異なるフォーカス画像入力と、を各々別々に行うようにした。
【００９３】
第３の実施形態は、画像ファイルを入力し、図１０に示すステップS1の画像入力と、ステップA1の異なるフォーカス画像入力と、を一緒に行い、画像ファイルから距離情報を抽出することを特徴とする。これにより、上述した撮像装置に搭載された画像処理装置と同様な処理を一般的な画像処理装置でも行うことが可能となる。以下、添付図面を参照しながら、本実施形態の画像処理装置について説明する。
【００９４】
＜本実施形態の画像処理装置のハード構成＞
まず、図１５を参照しながら、本実施形態の画像処理装置のハード構成について説明する。図１５は、本実施形態における画像処理装置のハードウェア構成例を示すブロック図である。
【００９５】
本実施形態の画像処理装置は、CPU24、RAM21、ROM22、I/F23、HDD25、CD-ROMドライバ20、メモリカードドライバ27、を有して構成している。
【００９６】
CPU24は、各部を集中的に制御するものである。ROM22は、BIOSなどを記憶した読出し専用メモリである。RAM21は、各種データを書換え可能に記憶してCPU24の作業エリアとして機能するものである。HDD25は、制御プログラム等を記憶するものである。CD-ROMドライバ20は、CD（Compact Disc）−ROM28を読み取るものである。メモリカードドライバ27は、メモリカード29を読み取るものである。I/F23は、プリンタ部等との通信を司るインタフェースである。
【００９７】
CD-ROM28は、所定の制御プログラムが記憶されている。CPU24は、CD-ROM28に記憶されている制御プログラムをCD-ROMドライブ26で読み取り、HDD25にインストールする。これにより、上述した実施形態と同様な各種の処理を行うことが可能になる。また、メモリカード29には、画像情報などが格納され、メモリカードドライバ27で読み取られる。
【００９８】
記憶媒体としては、CD-ROM28やメモリカード29のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フロッピー（登録商標）ディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることも可能である。
【００９９】
また、インターネットなどのネットワークからプログラムをダウンロードし、HDD25にインストールすることも可能である。この場合は、送信側のサーバでプログラムを記憶している記憶装置も、本実施形態の記憶媒体に相当する。なお、プログラムは、所定のOS（Operating System）上で動作するものも可能である。その場合は、後述の各種処理の一部の実行をOSに肩代わりさせることも可能である。また、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含むことも可能である。
【０１００】
また、本実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせるようにすることも可能である。また、本実施の形態の画像処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布することも可能である。また、本実施形態のプログラムを、ROM等に予め組み込んで提供することも可能である。
【０１０１】
＜本実施形態の画像処理装置の処理動作＞
次に、図１６を参照しながら、本実施形態の画像処理装置で行う処理動作について説明する。
【０１０２】
本実施形態の画像処理装置で行う処理動作は、図１６に示すように、画像ファイルを入力し（ステップS'1）、その画像ファイルから距離情報を抽出し、その抽出した距離情報をオブジェクト抽出部103、ぼけ関数取得部109に出力する（ステップA'3）。なお、他の処理動作は、図１０とほぼ同様な処理を行うことになる。
【０１０３】
このように、本実施形態の画像処理装置は、画像ファイルを入力し、図１０に示すステップS1の画像入力と、ステップA1の異なるフォーカス画像入力と、を一緒に行い（ステップS'1）、画像ファイルから距離情報を抽出する（ステップA'3）。これにより、上述した撮像装置に搭載された画像処理装置と同様な処理を一般的な画像処理装置でも行うことが可能となる。
【０１０４】
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【図面の簡単な説明】
【０１０５】
【図１】急激なコントラストの変化が発生した状態を示す図である。
【図２】エッジの滲みが発生した状態を示す図である。
【図３】ローパスフィルタ処理を行い作成した画像データを示す図であり、図４のローパスフィルタよりも弱いローパスフィルタをかけて作成した画像データを示す図である。
【図４】ローパスフィルタ処理を行い作成した画像データを示す図であり、図５のローパスフィルタよりも弱いローパスフィルタをかけて作成した画像データを示す図である。
【図５】ローパスフィルタ処理を行い作成した画像データを示す図であり、背景部分に最も強いローパスフィルタをかけて作成した画像データを示す図である。
【図６】図３〜図５に示す画像データを基に作成した出力画像データを示す図である。
【図７】本実施形態の画像処理装置の構成を示す図である。
【図８】図７に示す距離情報取得部109の詳細内部構成例を示す図である。
【図９】ぼけ関数DB110のデータ構造例を示す図である。
【図１０】本実施形態の画像処理装置の処理動作を示す図である。
【図１１】画像の領域分割を行った状態を示す図である。
【図１２】図１０に示すステップS2の領域分割の詳細処理動作例を示す図である。
【図１３】画像をブロックに分割した状態を示す図である。
【図１４】撮像装置のハードウェア構成例を示す図である。
【図１５】画像処理装置のハードウェア構成例を示す図である。
【図１６】本実施形態の画像処理装置の処理動作を示す図である。
【符号の説明】
【０１０６】
１    撮影光学系
２    メカシャッタ
３    CCD
４    CDS回路
５    A/D変換器
６    モータドライバ
７    タイミング信号発生器
８    画像処理回路
９    CPU
１０    RAM
１１    ROM
１２    SDRAM
１３    圧縮伸張回路
１４    メモリカード
１５    操作部
１６    LCD
２１    RAM
２２    ROM
２３    I/F
２４    CPU
２５    HDD
２６    CD-ROMドライバ
２７    メモリカードドライバ
２８    CD-ROM
２９    メモリカード
１０１    画像入力部
１０２    画像領域分割部
１０３    オブジェクト抽出部
１０４    画像ぼかし処理部
１０５    画像合成部
１０６    画像出力部
１０７    カメラパラメータ入力部
１０８    距離情報取得部
１０９    ぼけ関数取得部
１１０    ぼけ関数ＤＢ
１１１    オブジェクトエッジ処理部
２０１    縮小画像入力部
２０２    エッジ情報計算部
２０３    距離情報計算部
２０４    距離情報出力部
２０５    レンズ焦点調整部
【図１】
2010039946.tif 000003
【図２】
2010039946.tif 000004
【図３】
2010039946.tif 000005
【図４】
2010039946.tif 000006
【図５】
2010039946.tif 000007
【図６】
2010039946.tif 000008
【図７】
2010039946.tif 000009
【図８】
2010039946.tif 000010
【図９】
2010039946.tif 000011
【図１０】
2010039946.tif 000012
【図１１】
2010039946.tif 000013
【図１２】
2010039946.tif 000014
【図１３】
2010039946.tif 000015
【図１４】
2010039946.tif 000016
【図１５】
2010039946.tif 000017
【図１６】
2010039946.tif 000018