(57)【要約】【課題】  本発明は、撮像した画像に対して、より自然でなめらかなフィルタリング処理を高速に行うことができる技術を提供することを目的とする。【解決手段】  本発明は、撮像した画像を表示する表示部と、撮像した画像においてフィルタリング処理の基準となる位置を指定する基準指定部と、基準となる位置を中心として、撮像した画像に対するフィルタリング処理を行うフィルタリング関数の強度が、所定の閾値より小さい値となる領域の大きさを指定する領域指定部と、基準となる位置及び領域の大きさに基づいて、フィルタリング関数における複数のパラメータ値を決定する演算部と、複数のパラメータ値を用いて前記フィルタリング関数によるフィルタリング処理を撮像した画像に対して行う画像処理部と、撮像した画像からフィルタリング処理された画像へ表示部の表示を切り替える制御部とを備える。【選択図】      図１
2010178282.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像を表示する表示部と、
前記撮像した画像においてフィルタリング処理の基準となる位置を指定する基準指定部と、
前記基準となる位置を中心として、前記撮像した画像に対する前記フィルタリング処理を行うフィルタリング関数の強度が、所定の閾値より小さい値となる領域の大きさを指定する領域指定部と、
前記基準となる位置及び前記領域の大きさに基づいて、前記フィルタリング関数における複数のパラメータ値を決定する演算部と、
前記複数のパラメータ値を用いて前記フィルタリング関数によるフィルタリング処理を前記撮像した画像に対して行う画像処理部と、
前記撮像した画像から前記フィルタリング処理された画像へ前記表示部の表示を切り替える制御部と
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像した画像は、撮像素子の複数の画素のうち一部の画素による構図確認用の画像であることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
ユーザによる撮像指令を受け付ける操作部材をさらに備え、
前記制御部は、
前記操作部材からの前記撮像指令に基づいて、前記撮像素子に対して、前記構図確認用の画像と同じ構図の前記複数の画素による画像を撮像させ、
前記画像処理部は、前記構図確認用の画像に対する前記フィルタリング処理に用いた、同一の前記フィルタリング関数と複数のパラメータ値とによる前記フィルタリング処理を、前記複数の画素による画像に対して行う
ことを特徴とする撮像装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の撮像装置おいて、
前記撮像した画像の画像特徴量に基づいて、被写体像の形状を検出する形状検出部をさらに備え、
前記基準指定部は、前記形状検出部による検出結果に基づいて前記基準となる位置を指定し、
前記領域指定部は、前記形状検出部による検出結果に基づいて前記領域の大きさを指定する
ことを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置おいて、
前記形状検出部は、前記被写体像の動きを追随することを特徴とする撮像装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の撮像装置において、
前記演算部は、前記基準となる位置及び前記領域の大きさに基づいて、前記フィルタリング関数における前記複数のパラメータ値の複数の組み合わせを決定し、
前記画像処理部は、前記複数の組み合わせの各々の前記複数のパラメータ値を用いて、前記フィルタリング関数によるフィルタリング処理を前記撮像した画像に対してそれぞれ行う
ことを特徴とする撮像装置。
【請求項７】
撮像した画像を読み込む入力ステップと、
前記撮像した画像においてフィルタリング処理の基準となる位置を指定する基準指定ステップと、
前記基準となる位置を中心として、前記撮像した画像に対する前記フィルタリング処理を行うフィルタリング関数の強度が、所定の閾値より小さい値となる領域の大きさを指定する領域指定ステップと、
前記基準となる位置及び前記領域の大きさに基づいて、前記フィルタリング関数における複数のパラメータ値を決定する演算ステップと、
前記複数のパラメータ値を用いて前記フィルタリング関数によるフィルタリング処理を前記撮像した画像に対して行う画像処理ステップと、
前記撮像した画像からフィルタリング処理した画像へ表示を切り替える制御ステップと
を備えコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像に対してフィルタリング処理を行うことができる撮像素子及びプログラムに関する。
【背景技術】
【０００２】
従来、自然なボカシ効果を施した画像を取得する方法には、電子カメラ等においてレンズからの光を拡散させる部材を用いて行う方法と、撮像した画像に対してデジタル画像処理を適用する方法とがある。
【０００３】
例えば、後者の例として、特許文献１には、ユーザが、電子カメラの表示画面に撮像しようとする構図確認用の画像に基づいて、複数ある合焦領域（ＡＦ領域）のうちの１つを選択して撮像するとともに、その撮像した画像に対して、上記選択したＡＦ領域を中心にした同心円状にフィルタリング処理を行うことによって、ボカシ効果を有した画像を生成する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のような従来技術では、撮像した画像を同心円状に複数の領域に分割して、それぞれの領域において、一定のフィルタ係数を用いて処理することから、各領域間の境界において不自然な画素値の段差が生じてしまうという問題がある。
【０００５】
上記従来技術が有する問題に鑑み、本発明の目的は、撮像した画像に対して、より自然でなめらかなフィルタリング処理を高速に行うことができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像装置は、撮像した画像を表示する表示部と、撮像した画像においてフィルタリング処理の基準となる位置を指定する基準指定部と、基準となる位置を中心として、撮像した画像に対するフィルタリング処理を行うフィルタリング関数の強度が、所定の閾値より小さい値となる領域の大きさを指定する領域指定部と、基準となる位置及び領域の大きさに基づいて、フィルタリング関数における複数のパラメータ値を決定する演算部と、複数のパラメータ値を用いて前記フィルタリング関数によるフィルタリング処理を撮像した画像に対して行う画像処理部と、撮像した画像からフィルタリング処理された画像へ表示部の表示を切り替える制御部とを備える。
【０００７】
また、本発明において、撮像した画像は、撮像素子の複数の画素のうち一部の画素による構図確認用の画像である。
【０００８】
また、本発明において、ユーザによる撮像指令を受け付ける操作部材をさらに備え、制御部は、操作部材からの撮像指令に基づいて、撮像素子に対して、構図確認用の画像と同じ構図の複数の画素による画像を撮像させ、画像処理部は、構図確認用の画像に対するフィルタリング処理に用いた、同一のフィルタリング関数と複数のパラメータ値とによるフィルタリング処理を、複数の画素による画像に対して行う。
【０００９】
また、本発明おいて、撮像した画像の画像特徴量に基づいて、被写体像の形状を検出する形状検出部をさらに備え、基準指定部は、形状検出部による検出結果に基づいて基準となる位置を指定し、領域指定部は、形状検出部による検出結果に基づいて領域の大きさを指定する。
【００１０】
また、本発明おいて、形状検出部は、被写体像の動きを追随する。
【００１１】
また、本発明において、演算部は、基準となる位置及び領域の大きさに基づいて、フィルタリング関数における複数のパラメータ値の複数の組み合わせを決定し、画像処理部は、複数の組み合わせの各々の複数のパラメータ値を用いて、フィルタリング関数によるフィルタリング処理を撮像した画像に対してそれぞれ行う。
【００１２】
本発明のプログラムは、撮像した画像を読み込む入力ステップと、撮像した画像においてフィルタリング処理の基準となる位置を指定する基準指定ステップと、基準となる位置を中心として、撮像した画像に対するフィルタリング処理を行うフィルタリング関数の強度が、所定の閾値より小さい値となる領域の大きさを指定する領域指定ステップと、基準となる位置及び領域の大きさに基づいて、フィルタリング関数における複数のパラメータ値を決定する演算ステップと、複数のパラメータ値を用いてフィルタリング関数によるフィルタリング処理を撮像した画像に対して行う画像処理ステップと、撮像した画像からフィルタリング処理した画像へ表示を切り替える制御ステップとを備えコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、撮像した画像に対して、より自然でなめらかなフィルタリング処理を高速に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一の実施形態に係る電子カメラ１００の構成例を示す模式図
【図２】電子カメラ１００で撮像されたスルー画又は静止画像の一部の画素配列を示す図
【図３】本発明の一の実施形態に係る電子カメラ１００のフィルタリング処理モードにおける撮影手順を示すフローチャート
【図４】スルー画又は撮像した画像の表示のされ方の一例を示す図
【図５】式（１）の強度Ｇ１の分布の一例を示す図
【図６】本発明の一の実施形態に係るコンピュータ２００の構成例を示す模式図
【図７】本発明の他の実施形態に係るコンピュータ２００によるフィルタリング処理の手順を示すフローチャート
【発明を実施するための形態】
【００１５】
図１は、本発明の一の実施形態に係る電子カメラ１００に適用した場合の構成図である。
【００１６】
電子カメラ１０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、タイミングジェネレータ（ＴＧ）４、ＣＰＵ５、バッファメモリ６、カードインタフェース（カードＩ／Ｆ）７、操作部材９、記憶部１０、表示部１１及び画像処理部１２から構成される。ＣＰＵ５、バッファメモリ６、カードＩ／Ｆ７、操作部材９、記憶部１０、表示部１１及び画像処理部１２は、バス１３を介して情報伝達可能に接続されている。また、撮像素子２及びＡ／Ｄ変換部３は、ＴＧ４を介して、ＣＰＵ５にそれぞれ接続され制御される。
【００１７】
撮像レンズ１は、複数の光学レンズにより構成され、被写体像を撮像素子２の受光面に結像する。
【００１８】
撮像素子２は、その受光面上に配置された複数の撮像画素の各々に、Ｒ（赤）、Ｇｒ（Ｇｂ）（緑）又はＢ（青）のいずれかのカラーフィルタがベイヤ配列型に設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等である。撮像素子２は、ＣＰＵ５の指令に基づいて、全画素による被写体像の撮像、或いは、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、ライブビュー用のスルー画や動画の被写体像の撮像を行うことができる。図２は、撮像素子２によって撮像された全画素又は間引き読み出しによる画像データのうちの一部の画像データを示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇｒ（Ｇｂ）及びＢは、各カラーフィルタを有する撮像画素を示す。これらの記号に続く２桁の番号は画素の位置を示す。なお、図２の画像の一部は、画素Ｒ１１を起点とする左上角の一部である。
【００１９】
この撮像素子２は、ＣＰＵ５の指令を受けて、ＴＧ４が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子２から出力された画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。デジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ６に記録される。なお、バッファメモリ６には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。
【００２０】
ＣＰＵ５は、ユーザによる操作部材９の電源釦が押されると、電子カメラ１００の電源が入れられ、記憶部１０に記憶されている制御プログラムを読み込み、電子カメラ１００を初期化する。ＣＰＵ５は、操作部材９を介してユーザからの指示を受け付けると、制御プログラムに基づいて、ＴＧ４に撮像素子２による被写体像の撮像指令を出力したり、画像処理部１２に撮像した画像の画像処理をさせたり、及びカードメモリ８や記憶部１０への記録や表示部１１への表示等の制御を行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。
【００２１】
カードＩ／Ｆ７には、カードメモリ８が脱着可能に装着される。バッファメモリ６に記録されている画像は、ＣＰＵ５の指示に基づいて画像処理部１２で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ８に記録される。
【００２２】
操作部材９は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材９には、例えば、電源釦、撮影モード等のモード設定釦及びシャッタレリーズ釦等の操作部材を有する。なお、操作部材９は、後述する表示部１１の画面に表示されるタッチパネル式の釦であっても良い。
【００２３】
記憶部１０は、電子カメラ１００が撮像した画像データやＣＰＵ５が電子カメラ１００を制御するための制御プログラム等を記憶する。さらに、記憶部１０は、後述するように、撮像した静止画像又はスルー画に対して行うフィルタリング処理のフィルタリング関数の複数のパラメータの初期値データも記憶する。記憶部１０に記憶されるプログラムやデータは、バス１３を介して、ＣＰＵ５から適宜参照することができる。記憶部１０は、一般的なハードディスク装置や光磁気ディスク装置、又は半導体メモリである任意の不揮発性メモリ等を適宜選択して用いることができる。
【００２４】
表示部１１は、スルー画や撮影した画像又はモード設定画面等を表示する。表示部１１には、液晶モニタ等を適宜選択して用いることができる。
【００２５】
画像処理部１２は、撮像した静止画像やスルー画に対して、補間処理、輪郭強調処理やホワイトバランス補正等の画像処理とともに、後述するフィルタリング処理を行い、ＪＰＥＧ形式やＹＵＶ形式等の撮像した静止画像やスルー画のファイルの生成するディジタルフロントエンド回路である。
【００２６】
次に、本実施形態に係る電子カメラ１００におけるフィルタリング処理の手順について、図３に示すフローチャートを参照しながら説明する。
【００２７】
ユーザにより操作部材９の電源釦が押されると、ＣＰＵ５は、電子カメラ１００の記憶部１０に記憶されている制御プログラムを読み込み、電子カメラ１０を初期化する。同時に、ＣＰＵ５は、フィルタリング関数の複数のパラメータの値の初期値データを読み込む。そして、ステップＳ１０〜ステップＳ２１の処理が行われる。なお、本実施形態では、フィルタリング処理のうち、ソフトレンズの効果が得られる、ローパスフィルタのフィルタリング処理を行うものとする。また、ステップＳ１０からの処理が始まる前に、ユーザは、操作部材９のモード設定釦を用いて、フィルタリング処理を行うか否かの設定を行う。本実施形態では、ユーザによってフィルタリング処理を行うモードが選択設定されているものとする。
【００２８】
ステップＳ１０：ＣＰＵ５は、ユーザからの被写体の撮像指示が出されるまで待機するとともに、ＴＧ４に対して、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子２に被写体像を間引き読み出しによる撮像を行わせ、画像処理部１２に補間処理、輪郭強調処理やホワイトバランス補正等の画像処理を行わせる。そして、ＣＰＵ５は、図４に示すように、表示部１１にライブビュー用に取得生成されたスルー画２０を表示する。
【００２９】
ステップＳ１１：ＣＰＵ５は、ユーザによってフィルタリング処理を行うモードが設定されているか否かを判定する。ＣＰＵ５は、フィルタリング処理を行うモードが設定されていると判定した場合には、ステップＳ１２（ＹＥＳ側）へ移行する。一方、設定されていない場合には、ＣＰＵ５は、ステップＳ１８（ＮＯ側）へ移行する。
【００３０】
ステップＳ１２：ＣＰＵ５は、取得したスルー画２０において人物の顔を検出する。ここで、ＣＰＵ５が行う顔検出の手法は、公知である手法を適宜用いて行うことができる。具体的には、ＣＰＵ５は、取得したスルー画２０からエッジ量等の画像特徴量の特徴点を抽出して、各人物の顔の領域、大きさ等を検出する。
【００３１】
図４は、フィルタリング処理のモードが選択された場合における、電子カメラ１００の表示部１１の表示例を示す。本実施形態では、例えば、表示部１１には、ステップＳ１０で取得されたスルー画２０、ステップＳ１２で顔検出された領域３０、後述するフィルタリング処理において、なるべくボカシ効果を少なくしたい領域（即ち、鮮明な画像のままにしておきたい領域）の大きさを調節する領域調節バー４０、及びフィルタリングの強度を調節する強度調節バー４１が表示される。
【００３２】
ステップＳ１３：ＣＰＵ５は、図４に示すスルー画２０におけるステップＳ１２で顔検出された領域３０の中心位置（ＸＣＥＮ，ＹＣＥＮ）を算出する。
【００３３】
本実施形態において用いるローパスフィルタの画像（スルー画も含む）の座標（ｘ，ｙ）における強度Ｇ１は、次式（１）のように表される一般的な公知の２次曲線を用いる。
Ｇ１（ｘ，ｙ）＝                                                       …（１）
［Ａ１×（（ｘ−ＸＣＥＮ）／Ｓ）2＋Ａ２×（（ｘ−ＸＣＥＮ）／Ｓ）＋Ａ３］×（ｙ−ＹＣＥＮ）／Ｓ）2
＋［Ａ４×（（ｘ−ＸＣＥＮ）／Ｓ）2＋Ａ５×（（ｘ−ＸＣＥＮ）／Ｓ）＋Ａ６］×（ｙ−ＹＣＥＮ）／Ｓ）
＋Ａ７×（（ｘ−ＸＣＥＮ）／Ｓ）2＋Ａ８×（（ｘ−ＸＣＥＮ）／Ｓ）＋Ａ９
ここで、パラメータＡ１〜Ａ９は、中心座標（ＸＣＥＮ，ＹＣＥＮ）及び領域３０の大きさで値が決まるパラメータであり、係数Ｓは画像サイズかそれ以上の値を用いる。
【００３４】
図５は、係数Ｓを４０９６とし、Ａ１＝Ａ４＝Ａ７＝１、Ａ２＝Ａ３＝Ａ５＝Ａ６＝Ａ８＝Ａ９＝０を初期値とした場合であって、且つ本ステップで求めた中心座標（ＸＣＥＮ，ＹＣＥＮ）を、式（１）に代入して求めた中心座標を含む（ａ）水平走査方向と（ｂ）垂直走査方向とにおける強度Ｇ１の分布を示す。また、図５の点線は、スルー画２０において領域３０において、ローパスのフィルタリング処理による効果を小さくするために、強度Ｇ１の値の閾値α（例えば、本実施形態ではα＝０．０５とする）を示し、またその点線上の太い黒線は各走査方向の領域３０の幅を示す。
【００３５】
ステップＳ１４：ＣＰＵ５は、スルー画２０のデータを画像処理部１２に転送し、画像処理部１２は、式（１）で求まる図５のような強度Ｇ１の分布を用いて、スルー画２０の各画素値に対してローパスのフィルタリング処理を行う。具体的には、次式（２）の演算を行うことでローパスのフィルタリング処理を行う。なお、Ｒ３３の位置座標を（ｘ，ｙ）としてＲ３３＝Ｒ（ｘ，ｙ）と表し、次式（２）は以下のようになる。
Ｒ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）×（Ｒ（ｘ−２，ｙ−２）＋Ｒ（ｘ，ｙ−２）＋Ｒ（ｘ＋２，ｙ−２）＋Ｒ（ｘ−２，ｙ））＋Ｒ（ｘ，ｙ）                    …（２）
Ｇｒ（ｘ＋１，ｙ）＝Ｇ１（ｘ＋１，ｙ）×（Ｇｒ（ｘ−１，ｙ−２）＋Ｇｒ（ｘ＋１，ｙ−２）＋Ｇｒ（ｘ＋３，ｙ−２）＋Ｇｒ（ｘ−１，ｙ））＋Ｇｒ（ｘ＋１，ｙ）
Ｇｂ（ｘ，ｙ＋１）＝Ｇ１（ｘ，ｙ＋１）×（Ｇｂ（ｘ−２，ｙ−１）＋Ｇｂ（ｘ，ｙ−１）＋Ｇｂ（ｘ＋２，ｙ−１）＋Ｇｂ（ｘ−２，ｙ＋１））＋Ｇｂ（ｘ，ｙ＋１）
Ｂ（ｘ＋１，ｙ＋１）＝Ｇ１（ｘ＋１，ｙ＋１）×（Ｂ（ｘ−１，ｙ−１）＋Ｂ（ｘ＋１，ｙ−１）＋Ｂ（ｘ＋３，ｙ−１）＋Ｂ（ｘ−１，ｙ＋１））＋Ｂ（ｘ＋１，ｙ＋１）
ここで、式（２）が示すように、フィルタリング処理の対象画素、対象画素の左側の１画素及びその上側の３つの画素（例えば、Ｒ３３、Ｒ３１、Ｒ１１、Ｒ１３及びＲ１５）を用いることから、元のスルー画２０の周囲の２画素幅分（例えば、Ｒ１１やＧｒ１２等）に対しては、式（２）のようなフィルタリング処理はできない。したがって、本フィルタリング処理によって最終的に得られる画像は、元のスルー画２０と比べて、周囲の２画素幅分少ない画素数の画像が生成される。
【００３６】
また、本実施形態における式（２）によるフィルタリング処理において、ローパスのフィルタリング処理による効果を効率よく反映させるために、例えば、式（２）によって更新されたＲ３３の画素値を用いて、次のＲ３５やＲ５３等の画素値に対する式（２）によるフィルタリング処理を行っている。また、フィルタリング処理の対象画素（例えば、Ｒ３３）に対して左上の画素値（例えば、Ｒ１１、Ｒ１３、Ｒ１５及びＲ３１）を用いて演算することから、最終的に得られる画像は、画像の左上から右下（例えば、Ｒ１１からＧｂ６７）へ流れるような効果が得られる。
【００３７】
ステップＳ１５：ＣＰＵ５は、ステップＳ１４でフィルタリング処理された画像を表示部１１に表示する。
【００３８】
ステップＳ１６：ＣＰＵ５は、ユーザがステップＳ１５で表示されたフィルタリング処理された画像が、所望したフィルタリング効果を有した画像であると判断して、操作部材９のシャッタレリーズ釦を押したか、又は、ユーザがパラメータＡ１〜Ａ９の値を変更して、再度フィルタリング処理を行うために、図４の領域調節バー４０又は強度調節バー４１を操作したか否かを判定する。即ち、ＣＰＵ５は、シャッタレリーズ釦が押されたと判定した場合には、ステップＳ１８（ＹＥＳ側）へ移行する。また、領域調節バー４０又は強度調節バー４１が操作された場合には、ＣＰＵ５は、ステップＳ１７（ＮＯ側）へ移行する。
【００３９】
ステップＳ１７：ＣＰＵ５は、ユーザによる操作部材９の領域調節バー４０及び強度調節バー４１の操作に応じて、各パラメータＡ１〜Ａ９の値を更新する。ここで、領域調節バー４０では主にパラメータＡ１〜Ａ８の値が調節され、強度調節バー４１では、パラメータＡ１〜Ａ８も変化するが、主に、パラメータＡ９が調節される。
【００４０】
なお、これらの調整において、図５に示す顔検出された領域３０の幅の範囲内において、強度Ｇ１の値が閾値α以上にならないようにして行う必要がある。そのため、例えば、強度Ｇ１の値が閾値α以上になったら、警告の表示を行うのが好ましい。また、ステップＳ１４での画像処理部１２における演算処理中の桁数を抑えるために、或いは、パラメータＡ１〜Ａ９の値が大きすぎると元画像に何が写っていたか分からなくなるほど画像の全体をボカしてしまうために、パラメータＡ１〜Ａ９の値は小さい値の方が好ましい。
【００４１】
そうした調節を行った後、ステップＳ１０へ移行し、新たに取得したスルー画２０に対して、ＣＰＵ５は、ステップＳ１０〜ステップＳ１５の処理を行う。
【００４２】
ステップＳ１８：ＣＰＵ５は、ユーザによってシャッタレリーズ釦が押されたか否かを判定し、本撮像を行う。フィルタリング処理のモードが設定されている場合には、シャッタレリーズ釦がステップＳ１６で押されていることから、ＣＰＵ５は、ＴＧ４を介して、撮像素子２に全画素による、被写体像の静止画像の撮像指令を出して撮像させる。そして、ＣＰＵ５は、その静止画像をバッファメモリ６に保持し、ステップＳ１９（ＹＥＳ側）へ移行する。一方、フィルタリング処理のモードが設定されていない場合には、ＣＰＵ５は、ユーザによって操作部材９のシャッタレリーズ釦が押されたか否かを判定する。ＣＰＵ５は、シャッタレリーズ釦が押されたと判定した場合には、ＴＧ４を介して、撮像素子２に全画素による被写体像の静止画像の撮像を行わせて、バッファメモリ６に保持する。そして、ＣＰＵ５は、ステップＳ１９（ＹＥＳ側）へ移行する。他方、シャッタレリーズ釦が押されていないと判定した場合には、ＣＰＵ５は、ステップＳ１０へ移行し、ステップＳ１０〜ステップＳ１８までの処理を行う。
【００４３】
ステップＳ１９：ＣＰＵ５は、ステップＳ１１の場合と同様に、ユーザによってフィルタリング処理のモードが設定されているか否かを判定する。ＣＰＵ５は、フィルタリング処理のモードが設定されていると判定した場合には、ステップＳ２０（ＹＥＳ側）へ移行する。一方、設定されていない場合には、ＣＰＵ５は、ステップＳ２１（ＮＯ側）へ移行する。
【００４４】
ステップＳ２０：ＣＰＵ５は、ステップＳ１９で撮像された静止画像のデータを画像処理部１２に転送し、画像処理部１２は、補間処理、輪郭強調処理やホワイトバランス補正等の画像処理とともに、ステップＳ１６の時点で決定されたパラメータＡ１〜Ａ９の値を用い、式（１）で求まる強度Ｇ１を用いて、式（２）によるローパスのフィルタリング処理を、静止画像に対して行う。画像処理部１２は、処理した静止画像データを、バッファメモリ６へ転送し記録する。
【００４５】
ステップＳ２１：ＣＰＵ５は、バッファメモリ６にあるフィルタリング処理された静止画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１３とカードＩ／Ｆ７とを介して、カードメモリ８に記録して、一連の作業を終了する。
【００４６】
このように本実施形態では、撮像した画像に対してフィルタリング処理を行うにあたり、被写体像である人物の位置及び画像の領域の大きさを考慮するので、それに最適なパラメータＡ１〜Ａ９を用いた式（１）によって決まる強度Ｇ１の値を用いて行うことから、より自然なフィルタリング処理を実現することができる。
【００４７】
また、式（２）が示すように、フィルタリング処理の対象画素と同じフィルタ色で同じ水平走査線にある左側の１つの画素、及び隣接する水平走査線にある３つの画素の上下２列の水平走査線上にある画素値のみで計算を行うことから、少ないメモリ容量でフィルタリング処理を高速に行うことが可能となる。
【００４８】
また、電子カメラ１００の表示部１１に表示されるスルー画２０に基づいて、本撮像である静止画像のできばえをリアルタイムに確認しながら撮像ができることから、確実のユーザが所望する画像を撮像することができる。
≪他の実施形態≫
図６は、本発明の他の実施形態に係るコンピュータ２００の概念図である。
【００４９】
図６に示すコンピュータ２００において、図１の一の実施形態に係る電子カメラ１００と同じ構成要素については同じ符号を付して、それらの動作に関する説明は省略する。本実施形態の構成において一の実施形態と異なる点は、入出力インタフェース（入出力Ｉ／Ｆ）１６、その入出力Ｉ／Ｆ１６を介して、画像処理の途中経過や処理結果を表示する出力装置１７、及びユーザからの入力を受け付ける入力装置１８がそれぞれ接続される点にある。なお、出力装置１７には、一般的な液晶モニタ等を用いることができ、入力装置１８には、キーボードやマウス等をそれぞれ適宜選択して使用できる。
【００５０】
また、本実施形態が一の実施形態と異なる点は、何のフィルタリング処理もされないで撮像された画像に対して、フィルタリング処理する点にある。
【００５１】
次に、本実施形態に係るコンピュータ２００によるフィルタリング処理の手順について、図７のフローチャートを参照しながら説明する。
【００５２】
ユーザが、入力装置１８を介して、フィルタリング処理プログラムのコマンドを入力、又はそのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ５は、その命令を入出力Ｉ／Ｆ１６を通じて受け付け、記憶部１０に記憶されているフィルタリング処理のプログラムを実行する。その結果、図７のステップＳ３０〜ステップＳ３７の処理が行われる。なお、本実施形態では、記憶部１０にあらかじめフィルタリング処理のプログラムがインストールされているとともに、フィルタリング処理されていない電子カメラ等で撮像された被写体像の画像が記憶されているものとする。また、記憶部１０には、フィルタリング処理のプログラムにおけるフィルタリング関数の複数のパラメータの初期値データも記録されているものとする。ＣＰＵ５は、その初期値データをプログラムの起動時に読み込み、メモリ（不図示）に一時的に記憶する。
【００５３】
ステップＳ３０：ＣＰＵ５は、入力装置１８からのユーザの指示に基づいて、フィルタリング処理を行う画像データのファイル名を受け付ける。ＣＰＵ５は、そのファイル名の画像データを記憶部１０より読み込み、図４に示すような配置で、出力装置１７の画面に読み込んだ画像を表示する。以下の説明において、ＣＰＵ５が読み込んだ画像を画像２０として説明する。
【００５４】
ステップＳ３１：ＣＰＵ５は、一の実施形態と同様に、画像２０において人物の顔を検出する。
【００５５】
ステップＳ３２：ＣＰＵ５は、図４に示す画像２０におけるステップＳ３１で顔検出した領域３０の中心位置（ＸＣＥＮ，ＹＣＥＮ）を算出する。
【００５６】
ステップＳ３３：ＣＰＵ５は、一の実施形態と同様に、式（１）で求まる図５のような強度Ｇ１の分布を用いて、画像２０の各画素値に対してローパスのフィルタリング処理を行う。具体的には、一の実施形態と同様に、式（２）のような演算を行うことでローパスのフィルタリング処理を行う。そして、一の実施形態と同様の理由により、式（２）によるフィルタリング処理では、元の画像２０の周囲の２画素幅分については処理はできないことから、最終的に得られる画像は、元の画像２０の画素数より周囲の２画素幅分だけ少ない画素数の画像が生成される。
【００５７】
ステップＳ３４：ＣＰＵ５は、ステップＳ３３でフィルタリング処理された画像を出力装置１７に表示する。
【００５８】
ステップＳ３５：ＣＰＵ５は、ユーザに対して、フィルタリング処理された画像が、所望していた画像か否かを、出力装置１７にＯＫ釦及びＮＯ釦（不図示）を表示して問い合わせる。ユーザは、出力装置１７に表示されたＯＫ釦又はＮＯ釦（不図示）のいずれかを、出力装置１７の画面をタッチして選択するか、入力装置１８のキーボードやマウス等を用いて選択する。ＣＰＵ５は、ユーザによってＯＫ釦（不図示）が選択された場合には、所望したフィルタリング効果を有した画像が得られたと判断してステップＳ３７（ＹＥＳ側）へ移行する。また、ＮＯ釦（不図示）が選択された場合には場合には、ＣＰＵ５は、ユーザはパラメータＡ１〜Ａ９の値を変更して再度フィルタリング処理を行いたいと判断して、ステップＳ３６（ＮＯ側）へ移行する。
【００５９】
ステップＳ３６：ＣＰＵ５は、ユーザによる領域調節バー４０及び強度調節バー４１の操作に応じて、各パラメータＡ１〜Ａ９の値を更新する。そうした調節を行った後、ステップＳ３３へ移行し、ＣＰＵ５は、再度画像２０に対してローパスのフィルタリング処理を行う。
【００６０】
ステップＳ３７：ＣＰＵ５は、画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、記憶部１０に記録して、一連の作業を終了する。
【００６１】
このように本実施形態では、撮像した画像に対してフィルタリング処理を行うにあたり、被写体像である人物の位置及び画像の領域の大きさを考慮するので、それに最適なパラメータＡ１〜Ａ９を用いた式（１）によって決まる強度Ｇ１の値を用いて行うことから、より自然なフィルタリング処理を実現することができる。
【００６２】
また、式（２）が示すように、フィルタリング処理の対象画素と同じフィルタ色で同じ水平走査線にある左側の１つの画素、及び隣接する水平走査線にある３つの画素の上下２列の水平走査線上にある画素値のみで計算を行うことから、少ないメモリ容量でフィルタリング処理を高速に行うことが可能となる。
≪実施形態の補足事項≫
一の実施形態及び他の実施形態では、強度Ｇ１を求めるために式（1）の２次曲線を用いたが、本発明はこれに限定されず、３次や４次以上の曲線関数を用いることができる。
【００６３】
なお、一の実施形態及び他の実施形態では、式（１）で決まる強度Ｇ１を用いた、式（２）によるフィルタリング処理を行ったが、本発明はこれに限定されない。例えば、画素Ｇｂ６１をフィルタリング処理の演算処理の起点とする、次式（３）を用いて計算してもよい。なお、式（２）と同様に、Ｒ３３の位置座標を（ｘ，ｙ）とする。
Ｒ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）×（Ｒ（ｘ−２，ｙ＋２）＋Ｒ（ｘ，ｙ＋２）＋Ｒ（ｘ＋２，ｙ＋２）＋Ｒ（ｘ−２，ｙ））＋Ｒ（ｘ，ｙ）                    …（３）
Ｇｒ（ｘ＋１，ｙ）＝Ｇ１（ｘ＋１，ｙ）×（Ｇｒ（ｘ−１，ｙ＋２）＋Ｇｒ（ｘ＋１，ｙ＋２）＋Ｇｒ（ｘ＋３，ｙ＋２）＋Ｇｒ（ｘ−１，ｙ））＋Ｇｒ（ｘ＋１，ｙ）
Ｇｂ（ｘ，ｙ＋１）＝Ｇ１（ｘ，ｙ＋１）×（Ｇｂ（ｘ−２，ｙ＋３）＋Ｇｂ（ｘ，ｙ＋３）＋Ｇｂ（ｘ＋２，ｙ＋３）＋Ｇｂ（ｘ−２，ｙ＋１））＋Ｇｂ（ｘ，ｙ＋１）
Ｂ（ｘ＋１，ｙ＋１）＝Ｇ１（ｘ＋１，ｙ＋１）×（Ｂ（ｘ−１，ｙ＋３）＋Ｂ（ｘ＋１，ｙ＋３）＋Ｂ（ｘ＋３，ｙ＋３）＋Ｂ（ｘ−１，ｙ＋１））＋Ｂ（ｘ＋１，ｙ＋１）
本実施形態における式（２）の場合と同様に、ローパスのフィルタリング処理による効果を効率よく反映させるために、例えば、式（３）によって更新されたＲ３３の画素値を用いて、次のＲ３５やＲ３７等の画素値に対する式（３）によるフィルタリング処理を行うのがよい。また、処理対象画素に対して左下の画素値（例えば、Ｒ３３に対してＲ３１、Ｒ５１、Ｒ５３及びＲ５５）を用いて演算することから、最終的に得られる画像は、画像の左下から右上（例えば、Ｒ６１からＧｂ１７）へ流れるような効果が得られる。また、ローパスのフィルタリング処理の式（２）や式（３）の式変形の仕方によって、中心座標（ＸＣＥＮ，ＹＣＥＮ）に対して左回り又は右回りのボカシ効果を得ることも可能である。例えば、処理が画面内の左上から開始される場合は、右回りのボカシ効果を得られ（計算式は円を描くので右回りの処理が実行される）、処理が画面内の右上から開始される場合は、左回りのボカシ効果を得ることができる。
【００６４】
さらに、式（２）は、次式（４）のように変形してもよい。
Ｒ（ｘ，ｙ）＝Ｇ１（ｘ，ｙ）×β×（Ｒ（ｘ−２，ｙ−２）＋Ｒ（ｘ，ｙ−２）＋Ｒ（ｘ＋２，ｙ−２）＋Ｒ（ｘ−２，ｙ））＋Ｒ（ｘ，ｙ）                    …（４）
Ｇｒ（ｘ＋１，ｙ）＝Ｇ１（ｘ＋１，ｙ）×β×（Ｇｒ（ｘ−１，ｙ−２）＋Ｇｒ（ｘ＋１，ｙ−２）＋Ｇｒ（ｘ＋３，ｙ−２）＋Ｇｒ（ｘ−１，ｙ））＋Ｇｒ（ｘ＋１，ｙ）
Ｇｂ（ｘ，ｙ＋１）＝Ｇ１（ｘ，ｙ＋１）×β×（Ｇｂ（ｘ−２，ｙ−１）＋Ｇｂ（ｘ，ｙ−１）＋Ｇｂ（ｘ＋２，ｙ−１）＋Ｇｂ（ｘ−２，ｙ＋１））＋Ｇｂ（ｘ，ｙ＋１）
Ｂ（ｘ＋１，ｙ＋１）＝Ｇ１（ｘ＋１，ｙ＋１）×β×（Ｂ（ｘ−１，ｙ−１）＋Ｂ（ｘ＋１，ｙ−１）＋Ｂ（ｘ＋３，ｙ−１）＋Ｂ（ｘ−１，ｙ＋１））＋Ｂ（ｘ＋１，ｙ＋１）
ここで、係数βは、強度Ｇ１の強度を調整する係数であり、例えば、係数βによって、たとえパラメータＡ１〜Ａ９の値を変化させる場合と比較して、図５に示す強度Ｇ１の分布の勾配を急峻に変化させることが可能となる。係数βを変化させるにあたり、強度調節バー４１を用いて行うか、ユーザが直接入力して行うのが好ましい。
【００６５】
なお、一の実施形態及び他の実施形態では、スルー画又は撮像した画像には人物が写っているものとして説明したが、本発明はこれに限定されない。例えば、人物が写っていない場合には、人物以外の自動車等の特定の形状を検出して領域３０及び中心座標（ＸＣＥＮ，ＹＣＥＮ）を求めてもよいし、ユーザが表示部１１や出力装置１７の画面にタッチ等をして、領域３０及び中心座標（ＸＣＥＮ，ＹＣＥＮ）を直接指定するようにしてもよい。又は、ステップＳ１８へ移行するようにしてもよい。
【００６６】
なお、一の実施形態及び他の実施形態では、フィルタリング処理の式（２）は、フィルタリング処理の対象画素及びその周囲にある同じフィルタ色の４つの画素のみを用いて演算を行ったが、本発明はこれに限定されず、４つよりも多くの画素値を用いて行ってもよい。
【００６７】
なお、一の実施形態及び他の実施形態では、式（１）の係数Ｓを４０９６及び閾値αを０．０５としたが、本実施形態ではこれに限定されず、撮像する画像の大きさに応じて係数Ｓの値や、そしてユーザのフィルタリング処理に対する要求に応じて閾値αの値を決めるのが好ましい。
【００６８】
なお、一の実施形態及び他の実施形態では、ソフトレンズ処理を行うローパスのフィルタリング処理について、式（２）を用いて行ったが、本発明はこれに限定されず、ハイパスのフィルタリング処理に対しても、式（２）を次式（５）のように変形することによって適応可能である。
Ｒ（ｘ，ｙ）＝（４×Ｇ１（ｘ，ｙ）＋１）×Ｒ（ｘ，ｙ）−（Ｒ（ｘ−２，ｙ−２）＋Ｒ（ｘ，ｙ−２）＋Ｒ（ｘ＋２，ｙ−２）＋Ｒ（ｘ−２，ｙ））            …（５）
Ｇｒ（ｘ＋１，ｙ）＝（４×Ｇ１（ｘ＋１，ｙ）＋１）×Ｇｒ（ｘ＋１，ｙ）−（Ｇｒ（ｘ−１，ｙ−２）＋Ｇｒ（ｘ＋１，ｙ−２）＋Ｇｒ（ｘ＋３，ｙ−２）＋Ｇｒ（ｘ−１，ｙ））
Ｇｂ（ｘ，ｙ＋１）＝（４×Ｇ１（ｘ，ｙ＋１）＋１）×Ｇｂ（ｘ，ｙ＋１）−（Ｇｂ（ｘ−２，ｙ−１）＋Ｇｂ（ｘ，ｙ−１）＋Ｇｂ（ｘ＋２，ｙ−１）＋Ｇｂ（ｘ−２，ｙ＋１））
Ｂ（ｘ＋１，ｙ＋１）＝（４×Ｇ１（ｘ＋１，ｙ＋１）＋１）×Ｂ（ｘ＋１，ｙ＋１）−（Ｂ（ｘ−１，ｙ−１）＋Ｂ（ｘ＋１，ｙ−１）＋Ｂ（ｘ＋３，ｙ−１）＋Ｂ（ｘ−１，ｙ＋１））
ただし、本実施形態における式（２）のローパスのフィルタリング処理の場合とは異なり、ハイパスのフィルタリング処理による効果を効率よく反映させるために、例えば、式（５）によって更新されたＲ３３ではなく、元のＲ３３の画素値を用いて、次のＲ３５やＲ５３等の画素値に対する式（５）によるフィルタリング処理の計算を行うのがよい。
【００６９】
なお、一の実施形態及び他の実施形態では、１組のパラメータＡ１〜Ａ９の初期値等の値に基づいて、スルー画や撮像した画像に対してフィルタリング処理を行ったが、本発明はこれに限定されない。例えば、図５に示すような１つの中心座標（ＸＣＥＮ，ＹＣＥＮ）及び領域３０が決められると、領域３０の範囲内で且つ閾値α以下の条件を満たす、強度Ｇ１の分布の式（１）のパラメータＡ１〜Ａ９の組み合わせは複数存在する。そこで、ＣＰＵ５が、上記条件を満たすパラメータＡ１〜Ａ９の複数の組み合わせをあらかじめ算出して、各組み合わせのパラメータＡ１〜Ａ９によるフィルタリング処理（所謂、ブラケット処理）をスルー画や撮像した画像に対してそれぞれ行い、ユーザがブラケット処理された複数の画像の中から１つを選択するようにしてもよい。
【００７０】
なお、一の実施形態では、スルー画２０に基づいて、顔検出された領域３０の大きさ及び中心座標（ＸＣＥＮ，ＹＣＥＮ）が動かないものとしたが、本発明はこれに限定されない。例えば、スルー画２０において、顔検出された領域３０及びその中心座標（ＸＣＥＮ，ＹＣＥＮ）は、人物の動きに追従するようにするのが好ましい。さらに、自動車等のものの領域の検出やユーザによる領域指定が可能な場合においても、自動車等の動きやユーザによって指定された領域中の被写体像の動きに応じて、それらの領域も追従するのが好ましい。
【００７１】
なお、他の実施形態では、フィルタリング処理されないで撮像された画像２０を、コンピュータ２００にインストールされたプログラムでフィルタリング処理したが、本発明はこれに限定されない。例えば、一の実施形態に係る電子カメラ１００において、上記プログラムがインストールされており、フィルタリング処理しないで画像を撮像した後に、その画像に対してフィルタリング処理を行ってもよい。
【００７２】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００７３】
１  撮像レンズ群、２  撮像素子、３  Ａ／Ｄ変換部、４  ＴＧ、５  ＣＰＵ、６  バッファメモリ、７  カードＩ／Ｆ、８  カードメモリ、９  操作部材、１０  記憶部、１１  表示部、１２  画像処理部、１３  バス、２０  スルー画又は撮像した画像、３０顔検出された領域、４０  領域調節バー、４１  強度調節バー、１００  電子カメラ
【先行技術文献】
【特許文献】
【００７４】
【特許文献１】特開２００３−１０１８５８号公報
【図１】
2010178282.tif 000003
【図２】
2010178282.tif 000004
【図３】
2010178282.tif 000005
【図４】
2010178282.tif 000006
【図５】
2010178282.tif 000007
【図６】
2010178282.tif 000008
【図７】
2010178282.tif 000009