(57)【要約】【課題】全体的にやわらかな描写の画像を作成しつつ主要被写体をその周辺と比較して強調した描写を可能とする撮像装置及び画像処理装置を提供すること。【解決手段】画像データにおける１以上の特定領域の領域情報を取得する領域情報取得手段と、各々の画素について、１以上の特定領域からの距離情報を領域情報に基づき算出する距離情報テーブル算出手段と、各々の画素にかけるフィルタ係数を距離情報に基づき算出するフィルタ係数テーブル算出手段と、フィルタ係数に基づくフィルタ処理を施すフィルタ処理手段とを有し、フィルタ係数テーブル算出手段は、距離情報に基づき特定領域からの距離が大きい画素ほど強いＬＰＦ係数をフィルタ係数として算出し、距離情報テーブル算出手段は、特定領域が複数ある場合、各々の画素について当該複数の特定領域のそれぞれからの距離を取得し、最も距離が近い距離を距離情報として選択することを特徴とする。【選択図】図４
2011239267.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データを画像処理する画像処理装置であって、
前記画像データにおける単数または複数の特定領域の領域情報を取得する領域情報取得手段と、
前記画素データにおける各々の画素について、前記単数または複数の特定領域から当該画素までの距離情報を、前記領域情報に基づき算出する距離情報テーブル算出手段と、
前記画素データにおける各々の画素にかけるフィルタ処理に用いられるフィルタ係数を、前記距離情報に基づき算出するフィルタ係数テーブル算出手段と、
前記フィルタ係数に基づくフィルタ処理を前記画素データにおける各々の画素に施すフィルタ処理手段と、を有し、
前記フィルタ係数テーブル算出手段は、前記画像データにおける各々の画素に対し、前記距離情報に基づき、前記特定領域からの距離が大きい画素ほど強いローパスフィルタ係数を前記フィルタ係数として算出し、かつ、前記特定領域に含まれる画素には弱いローパスフィルタ係数ないし弱いハイパスフィルタ係数を前記フィルタ係数として算出し、
前記距離情報テーブル算出手段は、前記特定領域が複数ある場合は、前記画素データにおける各々の画素について当該複数の特定領域のそれぞれからの距離を取得し、当該取得された距離の中で最も距離が近いと判断された特定領域からの距離を距離情報として選択する
ことを特徴とする画像処理装置。
【請求項２】
前記領域情報は、前記単数または複数の特定領域の位置、形状または大きさを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記単数または複数の特定領域の指定、及び、前記領域情報の制御を、ユーザにより入力可能な領域操作手段を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記特定領域の形状は、円形、楕円または矩形を含む
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特定領域の形状は、矩形であり、かつ、前記画像データにおけるいずれかの両端部を含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像データにおける顔検出を行い、顔の位置及びサイズの少なくとも１つを含む顔検出情報を取得する顔検出手段を有し、
前記領域情報取得手段は、前記顔検出情報を前記領域情報として取得する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記フィルタ係数テーブル算出手段は、前記顔検出手段により前記画像データから顔が検出されなかった場合は、当該画像データ全体に同一のローパスフィルタ係数を前記フィルタ係数として算出すること
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記フィルタ係数テーブル算出手段は、前記顔検出手段により前記画像データから複数の顔が検出された場合は、検出された全ての顔について顔検出評価値に基づき優先度をつけ、前記優先度が高い方から順にローパスフィルタ係数が弱くなるように前記フィルタ係数を算出すること
を特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記顔検出評価値は、検出された顔のＡＦ評価値あるいはサイズ、または、顔が検出された位置を含むこと
を特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記フィルタ処理手段によるフィルタ処理を適用するか否かをユーザが選択できるフィルタ処理適用選択手段
を有することを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特殊レンズを使用したかのような描写の画像が得られる撮像装置及び画像処理装置に関するものである。
【背景技術】
【０００２】
一般に、アーティスティックな写真、例えばソフトフォーカスレンズやチルトシフトレンズを用いて撮影できるような写真を撮影しようとすると、それに適した高価なレンズを用意しなければならない。
そこでデジタル処理によって、安価かつ手軽に、上記したようなレンズと似たような効果を画像データに加える技術が考えられ既に知られている。
【０００３】
例えば特許文献１には、画像処理により画像の被写界深度を変更するに際し、所望の被写界深度をユーザに指定させ、指定された被写界深度に応じて被写体のぼけを強調する構成が開示されている。
【０００４】
しかしながら、特許文献１のような今までの画像処理（デジタルソフトフォーカス処理）では、画像全体に均一なぼかし効果を加えるので、全体的に滲んだ芯のない画像が撮影されるという問題があった。さらに特許文献１に記載の構成では、複数の被写体にぼけの効果を得られないという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、以上の従来技術における問題に鑑みてなされたものであり、単数または複数の主要被写体には所望の程度芯を残しながらも、その周辺には比較的強い強度のぼかし効果を加えることで、全体的にやわらかな描写の画像を作成しつつ主要被写体をその周辺と比較して強調した描写を可能とする撮像装置及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明に係る撮像装置及び画像処理装置は、具体的には下記（１）〜（１１）に記載の技術的特徴を有する。
（１）：入力された画像データを画像処理する画像処理装置であって、前記画像データにおける単数または複数の特定領域の領域情報を取得する領域情報取得手段と、前記画素データにおける各々の画素について、前記単数または複数の特定領域から当該画素までの距離情報を、前記領域情報に基づき算出する距離情報テーブル算出手段と、前記画素データにおける各々の画素にかけるフィルタ処理に用いられるフィルタ係数を、前記距離情報に基づき算出するフィルタ係数テーブル算出手段と、前記フィルタ係数に基づくフィルタ処理を前記画素データにおける各々の画素に施すフィルタ処理手段と、を有し、前記フィルタ係数テーブル算出手段は、前記画像データにおける各々の画素に対し、前記距離情報に基づき、前記特定領域からの距離が大きい画素ほど強いローパスフィルタ係数を前記フィルタ係数として算出し、かつ、前記特定領域に含まれる画素には弱いローパスフィルタ係数ないし弱いハイパスフィルタ係数を前記フィルタ係数として算出し、前記距離情報テーブル算出手段は、前記特定領域が複数ある場合は、前記画素データにおける各々の画素について当該複数の特定領域のそれぞれからの距離を取得し、当該取得された距離の中で最も距離が近いと判断された特定領域からの距離を距離情報として選択することを特徴とする画像処理装置である。
【０００７】
（２）：前記領域情報は、前記単数または複数の特定領域の位置、形状または大きさを含むことを特徴とする上記（１）に記載の画像処理装置である。
【０００８】
（３）：前記単数または複数の特定領域の指定、及び、前記領域情報の制御を、ユーザにより入力可能な領域操作手段を有することを特徴とする上記（１）または（２）に記載の画像処理装置である。
【０００９】
（４）：前記特定領域の形状は、円形、楕円または矩形を含むことを特徴とする上記（３）に記載の画像処理装置である。
【００１０】
（５）：前記特定領域の形状は、矩形であり、かつ、前記画像データにおけるいずれかの両端部を含むことを特徴とする上記（４）に記載の画像処理装置である。
【００１１】
（６）：前記画像データにおける顔検出を行い、顔の位置及びサイズの少なくとも１つを含む顔検出情報を取得する顔検出手段を有し、前記領域情報取得手段は、前記顔検出情報を前記領域情報として取得することを特徴とする上記（１）または（２）に記載の画像処理装置である。
【００１２】
（７）：前記フィルタ係数テーブル算出手段は、前記顔検出手段により前記画像データから顔が検出されなかった場合は、当該画像データ全体に同一のローパスフィルタ係数を前記フィルタ係数として算出することを特徴とする上記（６）に記載の画像処理装置である。
【００１３】
（８）：前記フィルタ係数テーブル算出手段は、前記顔検出手段により前記画像データから複数の顔が検出された場合は、検出された全ての顔について顔検出評価値に基づき優先度をつけ、前記優先度が高い方から順にローパスフィルタ係数が弱くなるように前記フィルタ係数を算出することを特徴とする上記（６）または（７）に記載の画像処理装置である。
【００１４】
（９）：前記顔検出評価値は、検出された顔のＡＦ評価値あるいはサイズ、または、顔が検出された位置を含むことを特徴とする上記（８）に記載の画像処理装置である。
【００１５】
（１０）：前記フィルタ処理手段によるフィルタ処理を適用するか否かをユーザが選択できるフィルタ処理適用選択手段を有することを特徴とする上記（１）〜（９）のいずれか１項に記載の画像処理装置である。
【００１６】
（１１）：上記（１）〜（１０）のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置である。
【発明の効果】
【００１７】
本発明によれば、画像データをデジタル画像処理でぼかして特殊レンズを使用したような描写の画像が得られると共に、単数または複数の主要被写体を背景から際立たせることができる撮像装置及び画像処理装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る撮像装置の一実施の形態としてのデジタルスチルカメラを示す説明図であり、（ａ）は正面図であり、（ｂ）は上面図であり、（ｃ）は背面図である。
【図２】図１のデジタルスチルカメラのシステム構成の概要を示すブロック図である。
【図３】本発明に係る撮像装置におけるフィルタ処理の第１の実施の形態で用いられる画像処理部の概略構成を示すブロック図である。
【図４】本発明に係る撮像装置におけるフィルタ処理の第１の実施の形態の処理フローを示すフローチャートである。
【図５】第１の実施の形態において指定された特定領域が単数の場合のフィルタ処理の一例を示す概略図である。
【図６】第１の実施の形態において指定された特定領域が複数（２つ）の場合のフィルタ処理の一例を示す概略図である。
【図７】本発明に係る撮像装置におけるフィルタ処理の第２の実施の形態で用いられる画像処理部の概略構成を示すブロック図である。
【図８】本発明に係る撮像装置におけるフィルタ処理の第２の実施の形態の処理フローを示すフローチャートである。
【図９】第３の実施の形態において指定された特定領域が矩形である場合のフィルタ処理の一例を示す概略図である。
【発明を実施するための形態】
【００１９】
本発明に係る画像処理装置及び撮像装置は、入力された画像データを画像処理し、前記画像データにおける単数または複数の特定領域の領域情報を取得する領域情報取得手段と、前記画素データにおける各々の画素について、前記単数または複数の特定領域から当該画素までの距離情報を、前記領域情報に基づき算出する距離情報テーブル算出手段と、前記画素データにおける各々の画素にかけるフィルタ処理に用いられるフィルタ係数を、前記距離情報に基づき算出するフィルタ係数テーブル算出手段と、前記フィルタ係数に基づくフィルタ処理を前記画素データにおける各々の画素に施すフィルタ処理手段と、を有し、前記フィルタ係数テーブル算出手段は、前記画像データにおける各々の画素に対し、前記距離情報に基づき、前記特定領域からの距離が大きい画素ほど強いローパスフィルタ係数を前記フィルタ係数として算出し、かつ、前記特定領域に含まれる画素には弱いローパスフィルタ係数ないし弱いハイパスフィルタ係数を前記フィルタ係数として算出し、前記距離情報テーブル算出手段は、前記特定領域が複数ある場合は、前記画素データにおける各々の画素について当該複数の特定領域のそれぞれからの距離を取得し、当該取得された距離の中で最も距離が近いと判断された特定領域からの距離を距離情報として選択することを特徴とする。
【００２０】
次に、本発明に係る画像処理装置及び撮像装置についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００２１】
《撮像装置の一実施の形態》
先ず、本発明におけるフィルタ処理及び該フィルタ処理に付随する処理並びにこれらを実行するための構成を説明するに先立ち、本発明に係る撮像装置の一実施の形態としてのデジタルスチルカメラの構成について以下に図面を参照して詳細に説明する。
【００２２】
＜デジタルスチルカメラ＞
図１は、本発明に係る撮像装置の一実施の形態としてのデジタルスチルカメラ（以下、「デジタルカメラ１」という）を示す説明図であり、（ａ）は正面図であり、（ｂ）は上面図であり、（ｃ）は背面図である。図２は、図１のデジタルカメラ１のシステム構成の概要を示すブロック図である。
【００２３】
（デジタルカメラの外観構成）
本実施の形態のデジタルカメラ１では、図１に示すように、上面側に、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられ、正面（前面）側に、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。
【００２４】
また、デジタルカメラ１では、背面側に、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。このデジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。なお、本発明に係る撮像装置の外観は、必ずしも本実施の形態に限定されるものではなく、他の外観を備えていてもよい。
【００２５】
（デジタルカメラのシステム構成）
デジタルカメラ１は、図２に示すように、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ（charge coupled device）２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部２１（以下、「ＡＦＥ部２１」という）、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５、後述する制御部２８が適宜データを格納および読み出すことが可能とされたメモリとしてのＲＡＭ４４等を備えている。
【００２６】
撮影レンズ系５は、ズームレンズやフォーカスレンズ等を有する。鏡胴ユニット６は、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を有し、その撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニットは、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。
【００２７】
ＣＣＤ２０は、結像された被写体像を電気信号（画像データ、画像信号）に変換して出力する固体撮像素子である。このＣＣＤ２０は、受光面全体が画素（ピクセル）と呼ばれる格子状の領域（以下、画素２０ａともいう）に分割されていて、デジタルデータである画素データの集合で構成される画像データを、電気信号として出力する。ＣＣＤ２０では、分割された各領域（画素）にベイヤー配列を構成するように色フィルタ（ＲＧＢ、ＣＹＭ等）が設けられており、本実施の形態では、ベイヤー配列のＲＧＢ原色フィルタ（以下、「ＲＧＢフィルタ」という）が配置されている。このため、ＣＣＤ２０は、各画素２０ａからＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）を出力する。なお、ＣＣＤ２０は、固体撮像素子としてのＣＭＯＳ型イメージセンサ等で構成することもできる。
【００２８】
ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を有する。
【００２９】
信号処理部２２は、ＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という）３４と、メモリコントローラ３５と、ＹＵＶ変換部３６と、リサイズ処理部３７と、表示出力制御部３８と、データ圧縮部３９と、メディアインターフェース（以下、「メディアＩ／Ｆ」という）４０と、画像処理部４２と、制御部（ＣＰＵ）２８と、を有する。
【００３０】
ＣＣＤＩ／Ｆ３４は、ＡＦＥ部２１のＴＧ３０へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込む。メモリコントローラ３５は、ＳＤＲＡＭ２３を制御する。ＹＵＶ変換部３６は、ＣＣＤＩ／Ｆ３４にて取り込んだＲＡＷ−ＲＧＢデータを、表示や記録が可能なＹＵＶ形式の画像データに変換する。リサイズ処理部３７は、表示や記録される画像データのサイズに合わせて画像サイズを変更する。表示出力制御部３８は、画像データの表示出力を制御する。データ圧縮部３９は、画像データをＪＰＥＧ形式等で記録させるべくデータの変換を行う。メディアＩ／Ｆ４０は、画像データをメモリカード１４へ書き込み、またはメモリカード１４に書き込まれた画像データを読み出す。画像処理部４２は、ＣＣＤ２０にて取得された画像データ（画像信号）が、信号処理部２２内を伝播する過程において、フィルタ処理及び該フィルタ処理に付随する処理を行うものである。このフィルタ処理及び該フィルタ処理に付随する処理については、後に詳述する。制御部２８は、操作部４１からの操作入力情報等に応じて、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う。
【００３１】
操作部４１は、デジタルカメラ１の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等（図１参照）であり、撮影者の操作に応じた所定の動作指示信号が制御部２８に入力される。
【００３２】
ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されるとともに、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、加えて、データ圧縮部３９で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。なお、このＹＵＶデータとは、輝度データ（Ｙ）と、輝度データと青色（Ｂ）成分データの差分である色差（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分である色差（Ｖ）の情報で色を表現する形式である。
【００３３】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００３４】
先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動する。制御部２８は、電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを検知すると、モータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。
【００３５】
そして、鏡胴ユニット６の撮影レンズ系５が被写体に向けられることにより、撮影レンズ系５を通して入射される被写体画像がＣＣＤ２０の各画素の受光面上に結像する。次いで、ＣＣＤ２０から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３により１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換される。
【００３６】
このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３６でＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータとして保存される。
【００３７】
そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出されるＹＵＶデータは、表示出力制御部３８を介して液晶モニタ（ＬＣＤ）９へ送られ、液晶モニタ（ＬＣＤ）９において撮影画像が表示される。その液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームが読み出されている。このため、ＡＦＥ部２１および信号処理部２２は、制御部２８の制御下で画像生成手段として機能する。
【００３８】
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。
【００３９】
この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、撮影者は、静止画を撮影するための構図の確認等を行うことができる。なお、デジタルカメラ１では、表示出力制御部３８からＴＶビデオ信号として出力して、ビデオケーブルを介して図示しない外部のＴＶ（テレビ）に撮影画像を表示することもできる。
【００４０】
撮影はシャッタボタン２の押下によって行なわれる。撮影に先立ち画角を調整する必要があるときは、撮影者は広角側ズームスイッチ１０、望遠側ズームスイッチ１１を操作し、撮影レンズ系５が備えるズームレンズをズーミングさせて画角を調整する。
【００４１】
シャッタボタン２が半押しされると、ＣＰＵ２８はＡＥ／ＡＦ処理を実施し、絞り値とシャッタスピードを決定し、これに従い絞りユニット２６、メカシャッタユニット２７が制御され適正な露光量が得られる。
【００４２】
この後、撮影者はシャッタボタン２を押し切ると、ＣＰＵ２８は、撮影、記録処理を開始する。すなわち、ＣＰＵ２８は絞りユニット２６、メカシャッタユニット２７を制御してＣＣＤ２０の露光時間を制御することにより、ＣＣＤ２０を露光する。
【００４３】
ＣＣＤ２０から出力された画像信号は、上述したモニタリング動作の際と同様の処理により、ＹＵＶデータとしてＳＤＲＡＭ２３に格納される。（このとき、画像処理部４２は、ＣＣＤ２０にて取得された画像データが、信号処理部２２内を伝播する過程において、フィルタ処理及び該フィルタ処理に付随する処理を行う。この詳細については後述する。）
【００４４】
ＳＤＲＡＭ２３に格納されたＹＵＶデータは、データ圧縮部３９により、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、再びＳＤＲＡＭ２３に格納され、所定の画像記録フォーマットの画像ファイルとされたのち、メモリカード１４に記録され、撮像動作を終了する。
また、以上のようにしてメモリカード１４に記録された画像は、ＬＣＤ９で再生表示させることができる。
【００４５】
次に、本発明におけるフィルタ処理及び該フィルタ処理に付随する処理並びにこれらを実行するための構成について具体例を挙げて以下に詳述する。
【００４６】
《フィルタ処理の第１の実施の形態》
本発明に係る撮像装置におけるフィルタ処理の第１の実施の形態について説明する。
ここでまず、ソフトフォーカスレンズの概要及びソフトフォーカスレンズのデジタル処理（画像処理）による実現方法について説明する。
通常のレンズの場合は、被写体から来た光はレンズにより１点に集められる。
一方、ソフトフォーカスレンズの場合は、あえて光を１点に集めることを避けて光を分散させる（収差という）。こうすることで、明るい部分の光が滲んだような、霧がかかったような柔らかい描写の画像が撮影できる。
【００４７】
このソフトフォーカスレンズの効果を画像処理で実現するために、ローパスフィルタをかけることで画像データを平均化してぼかすことが考えられる。ただしローパスフィルタによって画像全体にある程度強いぼかし効果を得ようとすると、芯のない写りとなってしまう。
【００４８】
そこで、通常の撮影では主要被写体（撮影したいもの）というものが存在するはずであるから、主要被写体を含む最小の領域を芯が残る程度の弱いローパスフィルタでぼかし、その周辺はより強いローパスフィルタでぼかす。
この時、特定の領域とその周辺でぼけ方を急に変えると、ぼけ方を変える境界で不自然なエッジが生成されてしまう懸念がある。その対策としては、特定の領域から離れた画素ほどローパスフィルタの係数をローパスフィルタが強くかかるようなものに設定することで、ぼけ方が自然になるようにする。
【００４９】
このように本実施の形態では、ローパスフィルタを使って画像全体をぼかし、ソフトフォーカスレンズを使って撮影したような柔らかい描写の画像を生成しつつ、主要被写体を含む局所的な領域のぼかし効果を弱くする。そうすることによって、主要被写体とその周辺でぼけ方が異なることにより主要被写体が画像中で強調され、また、主要被写体にはある程度芯を残したままの画像が撮影できる。
以上がソフトフォーカスレンズの概要及びソフトフォーカスレンズのデジタル処理（画像処理）の原理の説明である。
【００５０】
次に、本実施の形態における画像処理部の構成についてさらに詳細に説明する。
図３は、本発明に係る撮像装置におけるフィルタ処理の第１の実施の形態で用いられる画像処理部の概略構成を示すブロック図である。なお、この撮像装置の一部を構成する画像処理部は、独立して画像処理装置として用いられてもよく、以下に示す第２および第３の実施の形態においても同様である。
図３に示すが如く、画像処理部に入力される画像データは、領域情報取得手段により領域情報が取得された後、距離情報テーブル算出手段に供される。距離情報テーブル算出手段は、各画素の距離情報を取得し、この距離情報をもとに次のフィルタ係数テーブル算出手段によりフィルタ係数が算出される。しかる後に、各画素に対してフィルタ処理が行われ、所望のフィルタ処理が施されたフィルタ処理後画像データが得られる。また、本実施の形態では、操作部をユーザが操作することによりコマンドが入力され、領域操作手段によって特定領域の位置、形状、大きさが所望のものに変更される。
【００５１】
さらに、どのような処理フローでソフトフィルター効果を実現するかを具体的に説明する。
図４は、本発明に係る撮像装置におけるフィルタ処理の第１の実施の形態の処理フローを示すフローチャートである。
ここで本実施の形態では、上述のとおりぼかし効果を弱くする領域（特定領域）はユーザが指定可能であるとする。なお、本発明はかかる態様に何ら限定されるものではなく、即ち、特定領域とはユーザが指定する領域あるいは（所望の設定に応じて）自動に特定される領域のいずれをも含むものである。
【００５２】
・領域指定
まず、本実施の形態で提案するソフトフォーカス効果が得られる撮影モード（ソフトフォーカスモード）を選択する。すると、ＬＣＤ９に表示されるモニタリング画像中に、円形（楕円含む）または矩形の枠が表示される。
この枠はユーザがカメラのボタン（操作部４１；領域操作手段）を操作することで上下左右に位置（指定位置）を動かすことができる。また、ボタン操作によりその枠の形状の切り替え（円から矩形、または矩形から円等）と枠の大きさの制御とが可能である。即ち、デジタルカメラを被写体に向けた状態で、ユーザはこの枠が主要被写体を囲むようにデジタルカメラを操作する（領域操作手段）。
特定領域の指定は単数または複数行うことが可能で、それぞれ個別に形状や枠の大きさ、位置を変更することができる。枠の形状、サイズ及び位置が定まったらレリーズボタン２を押して撮影を行う。
【００５３】
・撮影／画像データ取得／領域情報取得
撮影が開始されると、ユーザが指定した複数の特定領域について、指定位置、サイズ及び形状からなる領域情報をそれぞれ取得する（領域情報取得手段）。
【００５４】
・距離情報テーブル算出
次に、領域情報を参照しつつ、入力された画像データの全画素それぞれについて、特定領域からの距離を算出する。複数の特定領域が指定されている場合は、その全ての特定領域に関して、各々の画素（注目画素）ごとからの距離を算出する（距離情報テーブル算出手段）。この注目画素に対して全ての特定領域について算出された距離の中で、もっとも距離の近い特定領域からの距離を、当該注目画素における“特定領域からの距離“と決定し、距離情報として選択する。ただし、全画素それぞれに対して距離データを保持するとなると、情報を記憶しておくためのメモリが非常に大きくなってしまう。したがって、例えば、特定領域からの距離が最大となる距離を２５５として正規化し、距離情報を０〜２５５の指標にしてしまっても良い。
【００５５】
・フィルタ係数テーブル算出
距離情報が算出されると、それに基づいて各画素に施すフィルタ係数を算出する（フィルタ係数テーブル算出手段）。尚、本実施の形態ではフィルタ係数としてローパスフィルタ係数を算出するものとし、特定領域からの距離が大きい画素ほどローパスフィルタの効果が強くなる（ローパス）フィルタ係数を設定するようにする。また本実施の形態では、特定領域に含まれる画素には弱い（ローパス）フィルタ係数を設定する。
【００５６】
・フィルタ処理
以上の処理ステップを踏み、最終的に算出した距離情報からなる距離情報テーブルと（ローパス）フィルタ係数テーブルとを参照し、画像データにローパスフィルタ処理を行う（フィルタ処理手段）。
【００５７】
また、図５は第１の実施の形態において指定された特定領域が単数の場合のフィルタ処理の一例を示す概略図である。
図５に示す例では、中心に位置する特定領域ではぼかし効果が弱く、特定領域からの距離が大きくなるにつれて（四辺に近付くにつれて）ぼかし効果が強くなるようにフィルタ処理が行われる（ローパスフィルタ係数が算出される）。
【００５８】
さらに、図６は第１の実施の形態において指定された特定領域が複数（２つ）の場合のフィルタ処理の一例を示す概略図である。
図６に示す例では、図６中左下（特定領域１）及び右上（特定領域２）のそれぞれに位置する２つの特定領域ではぼかし効果が弱く、特定領域からの距離が大きくなるにつれてぼかし効果が強くなるようにフィルタ処理が行われる（ローパスフィルタ係数が算出される）。
ここで、２つの特定領域からの距離（距離情報）の算出について図６に示す具体例を用いて説明する。図６に示す注目画素からの距離は、特定領域１からの距離Ａと特定距離２からの距離Ｂとを算出した後、距離Ａと距離Ｂとの大小関係を判定し、いずれか大きいほうを当該注目画素における距離情報とする。特定領域が３以上の場合であっても同様に判定し、最も距離が大きいいずれか１を距離情報とする。
そして、画像データ中の各画素全てについての距離情報を取得し、特定領域からの距離が大きくなるにつれてぼかし効果が強くなるようにフィルタ処理が行われる（ローパスフィルタ係数が算出される）。
【００５９】
以上説明した本発明に係る撮像装置におけるフィルタ処理の第１の実施の形態では、具体的には、デジタル処理によるソフトフォーカス処理に際して、撮影前に、ユーザに主要被写体の位置領域を単数または複数指定させ、撮影時にはそれを参照し、指定された特定領域から離れた位置の画素のローパスフィルタ係数を強くし、一方、指定された特定領域はその周辺より弱いローパスフィルタ係数で画像全体にローパスフィルタ処理を行うことで、画像全体にソフトフォーカスレンズを使用したような柔らかい描写がかかり、なおかつ主要被写体を周辺から際立たせることができる。
【００６０】
このように、ローパスフィルタを使って画像全体をぼかした、あるいは、ソフトフォーカスレンズを使って撮影したような柔らかい描写の画像を生成しつつ、複数の主要被写体を含むそれぞれの局所的な領域のぼかし効果を弱くすることによって、主要被写体とその周辺でぼけ方が異なることにより複数の主要被写体が画像中で強調され、また、主要被写体にはある程度芯を残したままの画像が撮影できる。
【００６１】
《フィルタ処理の第２の実施の形態》
上記第１の実施の形態では、特定領域をユーザが指定することができたが、このような特定領域指定（エリア設定）の操作が煩わしいと感じるユーザも存在する。また、ソフトフォーカスレンズは、柔らかい印象の描写をすることや、顔のシワやシミを目立たなくすることから、女性のポートレート写真に多く用いられる。
そこで本実施の形態では、被写体の中から人物の顔を自動で検出し、検出データに基づいて煩雑なエリア設定を必要とすることなく、簡単に人物を主要被写体（特定領域）としたソフトフォーカス画像を撮影する方法を説明する。
【００６２】
先ず、本実施の形態における画像処理部の構成についてさらに詳細に説明する。
図７は、本発明に係る撮像装置におけるフィルタ処理の第２の実施の形態で用いられる画像処理部の概略構成を示すブロック図である。
図７に示すが如く、画像処理部に入力される画像データは、顔検出手段により顔検出が行われ、顔検出情報が得られる。この顔検出情報は、領域情報取得手段により領域情報として取得された後に、距離情報テーブル算出手段に供される。距離情報テーブル算出手段は、各画素の距離情報を取得し、この距離情報をもとに次のフィルタ係数テーブル算出手段によりフィルタ係数が算出される。しかる後に、各画素に対してフィルタ処理が行われ、所望のフィルタ処理が施されたフィルタ処理後画像データが得られる。
また、本実施の形態ではユーザが特定領域の指定を行わず、自動で顔検出（特定領域の指定）が行われるものである。なお、操作部をユーザが操作することによりコマンドが入力され、取得された顔検出情報である特定領域の位置、形状、大きさが領域操作手段によって所望のものに変更される構成であっても構わない。
【００６３】
次に、どのような処理フローで顔検出及びソフトフィルター効果を実現するかを具体的に説明する。
図８は、本発明に係る撮像装置におけるフィルタ処理の第２の実施の形態の処理フローを示すフローチャートである。
【００６４】
・撮影／画像データ取得／顔検出／顔検出データ取得
顔検出機能を有するデジタルカメラにより、人物を被写体として撮影を行い、生成される画像データから顔検出機能によって顔の検出を行う（顔検出手段）。顔検出の手法については後述する。
【００６５】
・領域情報取得
先ず、ここでは顔検出機能が単数の顔を検出した場合について考える。（図８において、画像中に顔あり：ＹＥＳ、顔検出数＝１：ＹＥＳ、の場合。）
顔検出の結果（顔検出情報）から、画像データ上の顔の位置及びサイズを取得する。特定領域としては、顔は楕円なので特定領域の形状は楕円とし、特定領域のサイズは顔のサイズを包含するサイズとする。また、顔検出の結果をそのまま特定領域としても良い。
【００６６】
次に、顔検出機能が複数の顔を検出した場合について考える。（図８において、画像中に顔あり：ＹＥＳ、顔検出数＝１：ＮＯ、の場合。）
例えば、Ｎ数の顔を検出した場合、検出した顔に第１優先度から第Ｍ優先度までの優先度を付ける。ただし、Ｍ，Ｎは整数で、Ｍ≦Ｎである。また、主要被写体（顔）の優先度については後述する。
しかる後は、第１の実施の形態で提示した、特定領域からの距離に依存したＬＰＦ（ローパスフィルタ）パラメータの算出と同様にして、ＬＰＦ効果が１（優先度が高い）からＭ（優先度が低い）になるにつれて強くなるようなパラメータを算出して設定すれば良い。また、特定の人物の顔のみを強調したい場合は、第１主要被写体のみＬＰＦパラメータを弱くするといった制御も可能である。
【００６７】
なお、図８において、画像中に顔あり：ＮＯの場合、領域情報取得および距離情報テーブル算出は行わずに、主要被写体（特定領域）がないものとし、画面全体に一律のぼかしをかけるべくフィルタ係数テーブル算出及びフィルタ処理のみを行う。具体的には、画像データ全体に同一のローパスフィルタ係数（フィルタ係数）を算出し、このローパスフィルタ係数を用いてフィルタ処理を行う。
【００６８】
・距離情報テーブル算出／フィルタ係数テーブル算出／フィルタ処理
距離情報テーブル算出、フィルタ係数テーブル算出及びフィルタ処理については上記第１の実施の形態と同様のため、説明を省略する。
【００６９】
＜顔検出方法の説明＞
被写体像の中から人物像（顔）を検出する方法は、下記（Ａ）〜（Ｃ）に示すような手法が公知となっており、本実施の形態では、下記（Ａ）〜（Ｃ）に示す手法うちのいずれかの手法を用いるものとする。
（Ａ）テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
（Ｂ）電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
（Ｃ）画像ラボ１９９１−１１（１９９１）の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
【００７０】
なお、図８に示す処理フローでは、撮影して取得された画像データに対して顔検出を行う構成を開示しているが、本発明はこれに何ら限定されるものではなく、これと同時あるいは別に、撮影前の画角（フレーミング）決定時において顔検出を行う構成としても構わない。
【００７１】
＜主要被写体の優先度＞
主要被写体の優先度のつけ方は例えば下記（１）〜（３）に示すようなものが考えられる。なお、以下に示す顔のサイズ、ＡＦ評価値、位置（これらを顔検出評価値とする）に基づき、優先度を決定し、該優先度が高いほうから順にローパスフィルタ係数が弱くなるようにフィルタ係数を算出する。
（１）検出した顔のサイズ
検出した顔のサイズが大きい程、優先度を高く設定する。
（２）ＡＦ評価値
検出した顔のＡＦ評価値からＡＦが合っている顔を判定し、ＡＦ評価値の高さから優先度をつける。
（３）位置
通常主要被写体は画像中心に位置することが考えられるので、画像中央からの位置が近いほど優先度を高く設定する。
【００７２】
《フィルタ処理の第３の実施の形態》
ここでは、チルトシフトレンズで得ることができるミニチュア効果を、デジタル処理で実現する方法について説明する。
ここでまず、チルトシフトレンズとミニチュア効果について記述する。
チルトシフトレンズとは、レンズを傾ける機構を備えたレンズで、レンズを傾けることにより擬似的に被写界深度を浅くすることができる。例えば、レンズを前後に傾けると上下の被写界深度が浅くなり、レンズを左右に傾けると左右の被写界深度が浅くなる。この仕組みを利用して、通常は近くの被写体と遠くの被写体との両方にピントを合わせるために使用されるが、被写体深度を制御して、あえて焦点が合っているエリアとぼけているエリアを作り出し（逆チルトと呼ばれる）、現実味を失わせて実際の風景をまるでミニチュアを撮影したかのように見せる手法がある。チルトシフトレンズとは、このような目的で、アーティスティックな写真を撮影したい人が好んで使用するレンズでもある。
【００７３】
しかしながら、チルトシフトレンズは一般的には特殊撮影を対象としたものであり、汎用性に欠ける割には高価で気軽に購入できるものではない。この問題を解決するために、逆チルトの、デジタル処理での実現方法を説明する。
【００７４】
上述の第１の実施の形態及び第２の実施の形態における特定領域に対しては、その周辺と比較して弱いローパスフィルタ係数をかけていたが、本実施の形態では、特定領域にはローパスフィルタ処理を施さないこととする、もしくは、むしろ弱めにハイパスフィルタ係数をかけても良い。
【００７５】
また、図９は第３の実施の形態において指定された特定領域が矩形である場合のフィルタ処理の一例を示す概略図である。
本実施の形態における特定領域は矩形とし、画像両端を含む領域とする。ぼけ方はこれまでと同様に、特定領域からの距離に応じて、強くかかるパラメータを設定する。
つまり、図９に示すように、ぼける範囲は画像の上下、もしくは左右の領域になるので、本実施の形態によればチルトシフトレンズの効果を得ることができる。あるいは、ぼける範囲を図９に示す上下と左右との間に位置するような斜め（不図示）の領域にしても良い。
【００７６】
さらにミニチュアらしい画像を期待する場合は、彩度やコントラストを調整することで（一般的には彩度やコントラストを上げる）、よりミニチュアらしい画像が得られる。
【００７７】
なお、以上示した第３の実施の形態では、上記第１の実施の形態における特定領域の形状が矩形であると共に、画像データにおけるいずれかの両端部を含んでなる点で相違し、これ以外の点で共通する。このため、上記第１の実施の形態と重複する点は説明を省略した。
【００７８】
《フィルタ処理のその他の実施の形態》
以上示した第１〜３の実施の形態に加えて、フィルタ処理手段によるフィルタ処理を適用するか否かをユーザが選択できる、フィルタ処理適用選択手段をさらに備える構成としてもよい。
【符号の説明】
【００７９】
１  デジタルスチルカメラ
２１  アナログフロントエンド部
２２  信号処理部
２３  ＳＤＲＡＭ
２４  ＲＯＭ
２８  制御部
４２  画像処理部
４４  ＲＡＭ
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００９−２８４０５６号公報
【図１】
2011239267.tif 000003
【図２】
2011239267.tif 000004
【図３】
2011239267.tif 000005
【図４】
2011239267.tif 000006
【図７】
2011239267.tif 000007
【図８】
2011239267.tif 000008
【図５】
2011239267.tif 000009
【図６】
2011239267.tif 000010
【図９】
2011239267.tif 000011