(57)【要約】【課題】ノイズの影響を低減して、ハイパスフィルタ処理によって常に精度よく被写体を抽出する。【解決手段】システム制御回路５０および画像処理回路２０は被写体を撮影した結果得られた画像において被写体を抽出処理する際、撮影の際の撮影感度又は画像におけるノイズレベルに応じて、画像を縮小して縮小画像とし、縮小画像において被写体のエッジを検出してエッジ検出結果を出力する。【選択図】図１
2014135589.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影した結果得られた画像において前記被写体を抽出処理する画像処理装置であって、
前記撮影の際の撮影感度又は前記画像におけるノイズレベルに応じて、前記画像を縮小して縮小画像とする縮小処理手段と、
前記縮小画像において前記被写体のエッジを検出してエッジ検出結果を出力する第１のエッジ検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記縮小処理手段は、前記撮影感度又は前記ノイズレベルに応じて前記画像を縮小する縮小率を変更することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記縮小処理手段は、前記撮影感度が高くなるか又は前記ノイズレベルが大きくなるに伴って前記画像を縮小する縮小率を大きくすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像を元画像として当該元画像において前記被写体のエッジを検出する第２のエッジ検出手段と、
前記第１のエッジ検出手段の出力であるエッジ検出結果と前記第２のエッジ検出手段の出力であるエッジ検出結果とを合成して最終的なエッジ検出結果とする合成手段とを有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記合成手段は、前記撮影感度又は前記ノイズレベルに応じて、前記第１のエッジ検出手段の出力であるエッジ検出結果と前記第２のエッジ検出手段の出力であるエッジ検出結果とを合成する合成比率を変更することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合成手段は、前記撮影感度が所定の第１の感度を超えるか又は前記ノイズレベルが所定の第１の閾値を超えると、前記第１のエッジ検出手段の出力であるエッジ検出結果と前記第２のエッジ検出手段の出力であるエッジ検出結果とを合成することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記合成手段は、前記撮影感度が前記第１の感度よりも高い第２の感度を超えるか又は前記ノイズレベルが前記第１の閾値よりも高い第２の閾値を超えると、前記第１のエッジ検出手段の出力であるエッジ検出結果を前記最終的なエッジ検出結果として出力することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記合成手段は、前記撮影感度が前記第１の感度以下であるか又は前記ノイズレベルが前記第１の閾値以下であると、前記第２のエッジ検出手段の出力であるエッジ検出結果を前記最終的なエッジ検出結果として出力することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記画像における輝度信号および色差信号の少なくとも一方に応じて前記画像における被写体のエッジを検出する第３のエッジ検出手段を備え、
前記合成手段は、前記撮影感度が前記第２の感度よりも高い第３の感度を超えるか又は前記ノイズレベルが前記第２の閾値よりも高い第４の閾値を超えると、前記第１のエッジ検出手段の出力であるエッジ検出結果と前記第３のエッジ検出手段の出力であるエッジ検出結果とを合成して前記最終的なエッジ検出結果とする請求項７に記載の画像処理装置。
【請求項１０】
前記第１のエッジ検出手段および前記第２のエッジ検出手段の各々はハイパスフィルタ処理によって前記被写体のエッジを検出することを特徴とする請求項４に記載の画像処理装置。
【請求項１１】
前記縮小処理手段の代わりに、前記画像に対してローパスフィルタ処理を施してローパスフィルタ処理済み画像を生成するローパスフィルタ処理手段を備え、
前記縮小画像の代わりに前記ローパスフィルタ処理済み画像を用い、前記ローパスフィルタ処理手段は前記撮影感度又は前記ノイズレベルに応じて、前記ローパスフィルタ処理に係る係数を変更することを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
被写体を撮影した結果得られた画像において前記被写体を抽出処理する画像処理装置の制御方法であって、
前記撮影の際の撮影感度又は前記画像におけるノイズレベルに応じて、前記画像を縮小して縮小画像とする縮小処理ステップと、
前記縮小画像において前記被写体のエッジを検出してエッジ検出結果を出力するエッジ検出ステップと、
を有することを特徴とする制御方法。
【請求項１３】
被写体を撮影した結果得られた画像において前記被写体を抽出処理する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記撮影の際の撮影感度又は前記画像におけるノイズレベルに応じて、前記画像を縮小して縮小画像とする縮小処理ステップと、
前記縮小画像において前記被写体のエッジを検出してエッジ検出結果を出力するエッジ検出ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像装置で用いられる画像処理装置、その制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置においては、主被写体を認識して、オートフォーカスのために当該主被写体を追尾することが行われている。さらに、撮像装置においては、画像から主被写体を抽出して当該主被写体を最適化する画像処理を施し、さらには、画像の背景をぼかすなどの特殊効果処理を行うことがある。
【０００３】
特に、画像において被写体と背景とを切り分ける際には、被写体抽出の精度の向上が要求されている。
【０００４】
ここで、画像において被写体を抽出する手法の１つとして、画像にハイパスフィルタ処理を施してエッジ情報を抽出する手法がある。
【０００５】
ところが、この手法では、ハイパスフィルタ処理に起因して、画像に重畳するランダムノイズとエッジとのの切り分けが難しい。特に、ノイズレベルが高くなる高感度撮影の際においてはエッジの抽出を困難となることがある。
【０００６】
このため、撮影の結果得られた画像に重畳するノイズレベルを別に求めて、ハイパスフィルタ処理結果から得られるエッジ信号からノイズレベルを一律に減算してノイズの影響を排除するようにした撮像装置がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１７１６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、特許文献１のように、ハイパスフィルタ処理の結果得られたエッジ信号からノイズレベルを一律に減算すると、当該ノイズレベルよりもそのレベルが低いエッジ成分を検出することができない。その結果、画像において被写体を精度よく抽出することができないことがある。
【０００９】
従って、本発明の目的は、ハイパスフィルタ処理によって常に精度よく被写体を抽出することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による画像処理装置は、被写体を撮影した結果得られた画像において前記被写体を抽出処理する画像処理装置であって、前記撮影の際の撮影感度又は前記画像におけるノイズレベルに応じて、前記画像を縮小して縮小画像とする縮小処理手段と、前記縮小画像において前記被写体のエッジを検出してエッジ検出結果を出力する第１のエッジ検出手段と、を有することを特徴とする。
【００１１】
本発明による制御方法は、被写体を撮影した結果得られた画像において前記被写体を抽出処理する画像処理装置の制御方法であって、前記撮影の際の撮影感度又は前記画像におけるノイズレベルに応じて、前記画像を縮小して縮小画像とする縮小処理ステップと、前記縮小画像において前記被写体のエッジを検出してエッジ検出結果を出力するエッジ検出ステップと、を有することを特徴とする。
【００１２】
本発明による制御プログラムは、被写体を撮影した結果得られた画像において前記被写体を抽出処理する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記撮影の際の撮影感度又は前記画像におけるノイズレベルに応じて、前記画像を縮小して縮小画像とする縮小処理ステップと、前記縮小画像において前記被写体のエッジを検出してエッジ検出結果を出力するエッジ検出ステップと、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ノイズの影響を低減して、ハイパスフィルタ処理によって常に精度よく被写体を抽出することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラで行われるエッジ抽出処理を説明するための図であり、（ａ）は元画像を示す図、（ｂ）は元画像にハイパスフィルタ処理を施した画像を示す図、（ｃ）は元画像のエッジ領域を示す図、（ｄ）は元画像を縮小してハイパスフィルタ処理を施した画像を示す図、（ｅ）は（ｄ）に示す画像のエッジ領域を示す図、（ｆ）は（ｃ）に示すエッジ領域と（ｅ）に示すエッジ領域とを合成した結果を示す図である。
【図３】図１に示すカメラで行われるエッジ抽出処理を説明するためのブロック図である。
【図４】図３に示すエッジ判定結果を合成する際に用いられる合成比率のテーブルの一例を示す図である。
【図５】図１に示すカメラで行われるエッジ判定処理の際に用いられるハイパスフィルタおよびローパスフィルタについて説明するための図であり、（ａ）はハイパスフィルタの一例を示す図、（ｂ）はローパスフィルタの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態による撮像装置について図面を参照して説明する。
【００１６】
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【００１７】
図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０を有している。撮影レンズ１０の後段には絞り機能を備えるシャッター１２が配置されている。そして、シャッター１２の後側には、光学像を電気信号に変換するＣＣＤ又はＣＭＯＳ素子などの撮像素子１４が配置されている。撮像素子１４の出力であるアナログ信号はＡ／Ｄ変換器１６によってデジタル信号（画像データ）に変換される。
【００１８】
なお、図示はしないが、撮影レンズ１０の前面側にはバリアが配置されており、このバリアは撮影レンズ１０、シャッター１２、および撮像素子１４などを覆って、その汚れおよび破損を防止するためのものである。
【００１９】
タイミング発生回路１８は撮像素子１４、Ａ／Ｄ変換器１６、およびＤ／Ａ変換器２６にクロック信号又は制御信号を供給する。このタイミング発生回路１８はメモリ制御回路２２およびシステム制御回路５０によって制御される。
【００２０】
なお、撮像素子１８のリセットタイミングを制御することによる電子シャッターで撮像素子１８の蓄積時間を制御すれば、当該電子シャッターによって動画撮影などを行うことができる。
【００２１】
画像処理回路２０はＡ／Ｄ変換器１６の出力である画像データ、又はメモリ制御回路２２から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。
【００２２】
また、画像処理回路２０は画像データからその一部領域を画像として切り出す切り出し処理および変倍処理を行って電子ズームを実行する。
【００２３】
画像処理回路２０は撮像の結果得られた画像データを用いて所定の演算処理を行う。システム制御回路５０は当該演算結果に基づいて露光制御部４０および測距制御部４２を制御して露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。
【００２４】
さらに、画像処理回路２０は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００２５】
メモリ制御回路２２はＡ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、および圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６からの出力である画像データは、画像処理回路２０およびメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介してメモリ３０に書き込まれる。
【００２６】
メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８に送られる。これにより、画像表示部２８には画像データに応じた画像が表示される。
【００２７】
なお、画像表示部２８（例えば、ＬＣＤ）に撮像によって得られた画像を逐次表示すれば、電子ファインダ機能を実現することができる。
【００２８】
画像表示部２８は、システム制御回路５０の制御によってその表示をオン／オフすることが可能であり、表示をオフにした場合は、撮像装置１００の電力消費を大幅に低減することができる。
【００２９】
メモリ３０には、撮影の結果得られた静止画像又は動画像が格納される。メモリ３０は、所定枚数の静止画像又は所定時間の動画像を格納するための十分な記憶容量を有している。
【００３０】
このメモリ３０を用いれば、複数枚の静止画像を連続して撮影する連写撮影又はパノラマ撮影の場合においても、高速に大量の画像を保存することができる。また、メモリ３０はシステム制御回路５０の作業領域としても用いられる。
【００３１】
圧縮伸張回路３２は、適応離散コサイン変換（ＡＤＣＴ）などによって画像データを圧縮又は伸張する。圧縮伸張回路３２は、例えば、シャッター１２の動作をトリガとしてメモリ３０に格納された画像データを読み込んで圧縮処理を行い、圧縮処理後の画像データをメモリ３０に書き込む。
【００３２】
また、圧縮伸張回路３２は記録媒体２００からメモリ３０に読み込まれた圧縮処理後の画像データを読み込んで伸張処理を行って、伸張処理後の画像データをメモリ３０に書き込む。圧縮伸張回路３２によってメモリ３０に書き込まれた画像データは、システム制御回路５０においてファイル化されて、インタフェース９０を介して記録媒体２００に記録される。
【００３３】
露光制御部４０はシステム制御回路５０の制御下でシャッター１２の制御を行う。さらに、露光制御部４０はフラッシュ４８と連携してフラッシュ調光を行う。測距制御部４２はシステム制御回路５０の制御下で撮影レンズ１０のフォーカシングを制御する。
【００３４】
前述のように、システム制御回路５０は、画像処理回路２０による演算結果に基づいて露光制御部４０および測距制御部４２を制御して、ＴＴＬ方式の露光制御および測距制御を行う。
【００３５】
ズーム制御部４４はシステム制御回路５０の制御下で撮影レンズ１０のズーミングを制御する。フラッシュ４８はシステム制御回路５０によって制御され、ピント合わせを行うためのＡＦ補助光の投光を行うとともに、フラッシュ調光を行う。
【００３６】
システム制御回路５０は撮像装置１００全体の制御を司る。不揮発性メモリ３１は、例えば、フラッシュＲＯＭであり、不揮発性メモリメモリ３１にはシステム制御回路５０の動作用の定数、変数、およびプログラムなどが記憶される。
【００３７】
また、不揮発性メモリ３１には、カメラに係る情報を記憶する領域、ユーザ設定情報を記憶する領域が規定され、システム制御回路５０はこれら情報および設定を起動の際に読み出して復元する。
【００３８】
モードダイアルスイッチ６０は、電源８６のオン又はオフの際に用いられる。さらに、モードダイアルスイッチ６０は、例えば、システム制御回路５０の動作モードをプログラムＡＥモードなどの自動露出モード、全自動モード、マニュアル露出モード、寝顔撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、又はＰＣ接続モードなどに切り替える際に用いられる。
【００３９】
シャッターボタン６２が操作途中（半押し）であると、第１のシャッタースイッチＳＷ１がオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御回路５０に与えられる。
【００４０】
これによって、システム制御回路５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理などの撮影準備動作を開始示する。
【００４１】
シャッターボタン６２が操作完了（全押し）されると、第２のシャッタースイッチＳＷ２がオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御回路５０に与えられる。
【００４２】
これによって、システム制御回路５０は撮像素子１４の信号読み出しからメモリ３０に画像データを書き込む露光処理、画像処理回路２０およびメモリ制御回路２２による演算を用いた現像処理、そして、メモリ３０から画像データを読み出して圧縮伸長回路３２で圧縮を行った後記録媒体２００に画像データを書き込む記録処理などの一連の撮像処理を開始する。
【００４３】
表示切替スイッチ６６の操作に応じて、システム制御回路５０は画像表示部２８における表示切替を行う。これによって、光学ファインダ１０４を用いて撮影を行う際には、画像表示部２８に対する電力の供給が遮断されて省電力となる。
【００４４】
操作部７０は各種ボタン、タッチパネル、および回転式ダイアルなどを有している。各種ボタンとして、例えば、メニューボタン、セットボタン、マクロボタン、画像表示オン／オフボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、および日付／時間設定ボタンがある。
【００４５】
メニューボタンが操作されると、システム制御回路５０は各種設定を行うためのメニュー画面を画像表示部２８に表示する。ユーザは画像表示部２８に表示されたメニュー画面を見て、各種ボタンの操作によって直感的に各種設定を行うことができる。
【００４６】
ズームスイッチ７２はユーザが画像の倍率変更指示を行う際に用いられる。このズームスイッチ７２は、撮像画角を望遠側に変更するテレスイッチと広角側に変更するワイドスイッチとを有している。
【００４７】
ズームスイッチ７２の操作によって、システム制御回路５０はズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示するとともに、光学ズーム操作を行う。
【００４８】
なお、ズームスイッチ７２の操作によって画像処理回路２０による画像の切り出し処理および画素補間処理などによる撮像画角の電子的なズーミング変更が行われる。
【００４９】
電源８６はアルカリ電池又はリチウム電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を備えるとともに、ＡＣアダプターなどを有している。
【００５０】
インタフェース（Ｉ／Ｆ）９０は記録媒体２００とのインタフェースである。インタフェース９０はコネクタ９２によって記録媒体２００に備えられたコネクタ２０６に接続される。記録媒体２００はインタフェース２０４および記録部２０２を有しており、記録部２０２として半導体メモリ又は磁気ディスクが用いられる。
【００５１】
通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、又は無線通信などに係る各種通信処理を行う。コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０をプリンタなどの外部機器と接続する。
【００５２】
コネクタ１１２にプリンタが接続された場合、例えば、記録媒体２００に記録された画像ファイル（画像データ）がプリンタに転送されて、ＰＣなどを用いることなく直接プリンタによって画像の印刷を行うことができる。
【００５３】
光学ファインダ１０４を用いれば、画像表示部２８による電子ファインダ機能を使用することなく撮影を行うことが可能である。
【００５４】
また、光学ファインダ１０４には表示部５４の一部に表示される表示内容の一部、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、および露出補正表示が表示される。
【００５５】
システム制御回路５０は、撮影可能なモードにおいてモードダイアルスイッチ６０によって電源８６のオンが行われると、各種撮影準備動作を行う。そして、撮影準備動作が完了すると、システム制御回路５０はメモリ制御回路２２を制御して画像表示部２８にスルー画像を表示する。
【００５６】
ここで、スルー画像とは、静止画を撮影する前後においてファインダ機能を実行するため撮像素子１４によって撮像された画像のことをいう。
【００５７】
スルー画像表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、およびメモリ制御回路２２を介して画像表示メモリ２４に逐次書き込まれた画像データが、メモリ制御回路２２およびＤ／Ａ変換器２６を介して画像表示部２８に逐次送られる。これによって、電子ビューファインダ（ＥＶＦ）機能が行われる。
【００５８】
図２は、図１に示すカメラで行われるエッジ抽出処理を説明するための図である。そして、図２（ａ）は元画像を示す図であり、図２（ｂ）は元画像にハイパスフィルタ処理を施した画像を示す図である。また、図２（ｃ）は元画像のエッジ領域を示す図であり、図２（ｄ）は元画像を縮小してハイパスフィルタ処理を施した画像を示す図である。さらに、図２（ｅ）は図２（ｄ）に示す画像のエッジ領域を示す図であり、図２（ｆ）は図２（ｃ）に示すエッジ領域と図２（ｅ）に示すエッジ領域とを合成した結果を示す図である。
【００５９】
図２（ａ）に示す画像は撮影の結果得られた画像を示す元画像であり、当該元画像は画像処理回路２０において生成されたＹＵＶ画像である。そして、図示の元画像には主被写体２０１と背景２０２が存在する。
【００６０】
画像処理回路２０において装置図２（ａ）に示す元画像に対してハイパスフィルタ処理（ＨＰＦ）を施すと図２（ｂ）に示す画像が得られる。図示の画像において、主被写体領域２０３はエッジ信号およびノイズ信号を有している。ここでは、説明の便宜上、主被写体領域２０３にのみノイズ信号が存在するとする。
【００６１】
そして、画像処理回路２０はシステム制御回路５０の制御下で、図２（ｂ）に示す画像を複数のブロック２０４に分割する。図示の例では、画像は８×８個のブロック２０４に分割される。
【００６２】
システム制御回路５０は画像処理回路２０を制御して、ブロック２０４毎にそのエッジを検出して、図２（ｃ）に示すエッジ領域２０５を得る。ここでは、黒地領域で示すように主被写体領域に含まれるエッジ信号およびノイズ信号をエッジ領域と判定する。
【００６３】
ここで、元画像を縮小してエッジ抽出を行う手法について説明する。
【００６４】
まず、画像処理回路２０はシステム制御回路５０の制御下で、図２（ａ）に示す元画像を縮小して縮小画像とする。そして、画像処理回路２０は当該縮小画像に対してハイパスフィルタ処理を施して、図２（ｄ）に示す画像を得る。図２（ｄ）に示す画像では元画像を縮小した後、ハイパスフィルタ処理を施しているので、ノイズレベルが相対的に低下する。この結果、図２（ｄ）に示す画像においては主被写体領域２０６にはエッジ信号のみが含まれるとみなしてよい。
【００６５】
そして、画像処理回路２０はシステム制御回路５０の制御下で、図２（ｄ）に示す画像を複数のブロック２０７に分割する。図示の例では、画像は４×４個のブロック２０７に分割される。
【００６６】
システム制御回路５０は画像処理回路２０を制御して、ブロック２０７毎にそのエッジを検出して、図２（ｅ）に示すエッジ領域２０８を得る。ここでは、黒地領域で示すように主被写体領域に含まれるエッジ信号をエッジ領域と判定する。
【００６７】
続いて、システム制御回路５０は画像処理回路２０を制御して、図２（ｃ）に示すエッジ領域２０５と図２（ｅ）に示すエッジ領域２０８とを合成して図２（ｆ）に示すエッジ領域を得る。
【００６８】
つまり、ノイズ信号を含む等倍画像に係るエッジ領域と、位置精度が粗くなるもののノイズ信号を含まない縮小画像のエッジ領域とを合成することによって、黒地領域で示すようにノイズの影響を低減したエッジ領域２０９を得ることができる。
【００６９】
図３は、図１に示すカメラで行われるエッジ抽出処理を説明するためのブロック図である。なお、図３に示すエッジ抽出処理はシステム制御回路５０の制御下で行われる。
【００７０】
まず、画像処理回路５０に画像データ（ここでは、ＲＧＢ信号）が与えられて、画像信号は当該ＲＧＢ信号を現像して元画像であるＹＵＶ信号を得る（Ｓ３０６）。
【００７１】
第１の系（Ｓ３０１）においては、等倍画像でエッジ判定が行われる。画像処理回路５０は元画像に対してハイパスフィルタ処理を施した後（Ｓ３０７）、前述のようにブロック分割する。
【００７２】
そして、画像処理回路５０はブロック毎にハイパスフィルタ処理後の画像を積分して（つまり、ブロック毎に画素の積分を行う：Ｓ３０８）、当該積分結果が所定の閾値以上となったブロックをエッジ領域と判定し（Ｓ３０９）、第１のエッジ判定結果（第１のエッジ領域）を得る。なお、エッジ判定結果はエッジ検出結果ともいう。
【００７３】
第２の系においては（Ｓ３０２）、第１の縮小率で縮小した結果得られた第１の縮小画像でエッジ判定が行われる。画像処理回路２０は元画像を第１の縮小率で縮小して第１の縮小画像を得た後（Ｓ３１１）、当該第１の縮小画像に対してハイパスフィルタ処理を施す（Ｓ３１２）。
【００７４】
画像処理回路２０はハイパスフィルタ処理後の画像を複数のブロックに分割して、ブロック毎にハイパスフィルタ処理後の画像を積分する（Ｓ３１３）。そして、画像処理回路２０は当該積分結果が所定の閾値以上となったブロックをエッジ領域と判定して（Ｓ３１４）、エッジ判定結果を得る。
【００７５】
続いて、画像処理回路５０は、このエッジ判定結果を第１の縮小率と同率の第１の倍率で拡大して元に戻して第２のエッジ判定結果（第２のエッジ領域）とする（Ｓ３１５）。
【００７６】
第３の系においては（Ｓ３０３）において、第１の縮小率よりも縮小率が大きい第２の縮小率で縮小した結果得られた第２の縮小画像でエッジ判定が行われる。画像処理回路２０は元画像を第２の縮小率で縮小して第２の縮小画像を得た後（Ｓ３１７）、当該第２の縮小画像に対してハイパスフィルタ処理を施す（Ｓ３１８）。
【００７７】
画像処理回路２０はハイパスフィルタ処理後の画像を複数のブロックに分割して、ブロック毎にハイパスフィルタ処理後の画像を積分する（Ｓ３１９）。そして、画像処理回路２０は当該積分結果が所定の閾値以上となったブロックをエッジ領域と判定して（Ｓ３２０）、エッジ判定結果を得る。
【００７８】
続いて、画像処理回路５０は、このエッジ判定結果を第２の縮小率と同率の第２の倍率で拡大して元に戻して第３のエッジ判定結果（第３のエッジ領域）とする（Ｓ３２１）。
【００７９】
第４の系においては（Ｓ３０４）、輝度信号を用いてエッジ判定が行われる。まず、画像処理回路２０は元画像を複数のブロックに分割する（Ｓ３２３）。そして、画像処理回路２０はブロック毎に輝度信号（つまり、画素毎の輝度値）を積分して輝度積分値を得る。
【００８０】
続いて、画像処理回路２０は輝度積分値が予め設定された範囲にあるブロックをグルーピングして輝度グループ領域を得る（Ｓ３２４）。そして、画像処理回路２０は輝度グループ領域の境界をエッジと判定して、第４のエッジ判定結果（第４のエッジ領域）を得る（Ｓ３２５）。
【００８１】
第５の系においては（Ｓ３０５）、色差信号を用いてエッジ判定が行われる。まず、画像処理回路２０は元画像を複数のブロックに分割する（Ｓ３２７）。そして、画像処理回路２０はブロック毎に色差信号を積分して色差積分値を得る。
【００８２】
続いて、画像処理回路２０は色差積分値が予め設定された範囲にあるブロックをグルーピングして色差グループ領域を得る（Ｓ３２８）。そして、画像処理回路２０は色差グループ領域の境界をエッジと判定して、第５のエッジ判定結果（第５のエッジ領域）を得る（Ｓ３２９）。
【００８３】
上述のようにして、システム制御回路５０は画像処理回路２０によって第１〜第５のエッジ判定結果を得た後、システム制御回路５０は、所定の第４の合成比率ｋ４によって第４のエッジ判定結果と第５のエッジ判定結果とを合成して、第４の合成エッジ判定結果を得る（Ｓ３２６）。ここでは、第４のエッジ判定結果はｋ４倍され、第５のエッジ判定結果は（１−ｋ４）倍される。
【００８４】
続いて、システム制御回路５０は、所定の第３の合成比率ｋ３によって第３のエッジ判定結果と第４の合成エッジ判定結果とを合成して、第３の合成エッジ判定結果を得る（Ｓ３２２）。ここでは、第３のエッジ判定結果はｋ３倍され、第４の合成エッジ判定結果は（１−ｋ３）倍される。
【００８５】
次に、システム制御回路５０は、所定の第２の合成比率ｋ２によって第２のエッジ判定結果と第３の合成エッジ判定結果とを合成して、第２の合成エッジ判定結果を得る（Ｓ３１６）。ここでは、第２のエッジ判定結果はｋ２倍され、第３の合成エッジ判定結果は（１−ｋ２）倍される。
【００８６】
さらに、システム制御回路５０は、所定の第１の合成比率ｋ１によって第１のエッジ判定結果と第２の合成エッジ判定結果とを合成して、第１の合成エッジ判定結果を得る（Ｓ３１０）。ここでは、第１のエッジ判定結果はｋ１倍され、第２の合成エッジ判定結果は（１−ｋ１）倍される。そして、システム制御回路５０は第１の合成エッジ判定結果を、主被写体のエッジ領域とする。
【００８７】
なお、上述の例では、元画像を縮小してノイズレベルを相対的に低減するようにしたが、元画像を縮小することなく、ローパスフィルタ処理を行ってノイズレベルを低減するようにしてもよい。
【００８８】
つまり、元画像を縮小処理する代わりに、元画像に対してローパスフィルタ処理を施してローパスフィルタ処理済み画像を生成する。そして、縮小画像の代わりにローパスフィルタ処理済み画像を用い、撮影感度又はノイズレベルに応じて、ローパスフィルタ処理に係る係数を変更する。
【００８９】
図４は、図３に示すエッジ判定結果を合成する際に用いられる合成比率ｋ１〜ｋ４のテーブルの一例を示す図である。
【００９０】
合成比率ｋ１〜ｋ４を設定する際には、撮影者の設定による感度条件（撮影感度）又はカメラの自動設定による感度条件、又はノイズレベルに応じて第１の設定〜第５の設定のいずれかが選択される。ここでは、まず、撮影感度を例に挙げて説明する。なお、図４に示すテーブルは、例えば、図１に示す不揮発性メモリ３１に格納されている。
【００９１】
システム制御回路５０は、撮影感度（例えば、ＩＳＯ）が予め定められた第１の感度以下であると、第１の設定を選択する。撮影感度が第１の感度以下の際には、ノイズの影響を受けることなく、高精度でエッジ領域の判定を行うことができるので、ここでは、第１の合成比率ｋ１＝１として、第１の系（Ｓ３０１）のみを用いてエッジ領域の判定が行われる。
【００９２】
この結果、システム制御回路５０は第１のエッジ判定結果を第１の合成エッジ判定結果として出力することになる。
【００９３】
なお、撮影感度が第１の感度以下の際には、第２の合成比率ｋ２〜第４の合成比率ｋ４は用いられない。
【００９４】
撮影感度が第１の感度を超え、当該第１の感度よりも高い第２の感度以下であると、システム制御回路５０は、第２の設定を選択する。ここでは、第１の合成比率ｋ１＝０．５、第２の合成比率ｋ２＝１として、第１の系（Ｓ３０１）および第２の系（Ｓ３０２）を用いてエッジ領域の判定が行われる。
【００９５】
この結果、システム制御回路５０は、第２のエッジ判定結果を第２の合成エッジ判定結果とし、当該第２の合成エッジ判定結果と第１のエッジ判定結果とをそれぞれ０．５倍して合成し、第１の合成エッジ判定結果を出力する。
【００９６】
なお、撮影感度が第１の感度を超え第２の感度以下であると、第３の合成比率ｋ３および第４の合成比率ｋ４は用いられない。
【００９７】
撮影感度が第２の感度を超え、当該第２の感度よりも高い第３の感度以下であると、システム制御回路５０は、第３の設定を選択する。ここでは、第１の合成比率ｋ１＝０、第２の合成比率ｋ２＝０．５、そして、第３の合成比率ｋ３＝１として、第１の系（Ｓ３０１）〜第３の系（Ｓ３０３）を用いてエッジ領域の判定が行われる。
【００９８】
この結果、システム制御回路５０は、ｋ３＝１であるから第３のエッジ判定結果を第３の合成エッジ判定結果とし、Ｋ２＝０．５であるから当該第３の合成エッジ判定結果と第２のエッジ判定結果とをそれぞれ０．５倍して合成し、第２の合成エッジ判定結果を出力する。
【００９９】
そして、システム制御回路５０は、ｋ１＝０であるから、第２の合成エッジ判定結果を第１の合成判定結果として出力する。
【０１００】
なお、撮影感度が第２の感度を超え第３の感度以下であると、第４の合成比率ｋ４は用いられない。
【０１０１】
撮影感度が第３の感度を超え、当該第３の感度よりも高い第４の感度以下であると、システム制御回路５０は、第４の設定を選択する。撮影感度が第３の感度を超え第４の感度以下の場合には、ノイズレベルの上昇によってハイパスフィルタ処理によるエッジ領域判定では精度が落ちるので、輝度信号の輝度レベルをエッジ領域の判定を用いる。
【０１０２】
ここでは、第１の合成比率ｋ１＝０、第２の合成比率ｋ２＝０、第３の合成比率ｋ３＝０．５、そして、第４の合成比率ｋ４＝１として、第１の系（Ｓ３０１）〜第４の系（Ｓ３０４）を用いてエッジ領域の判定が行われる。
【０１０３】
この結果、システム制御回路５０は、ｋ４＝１であるから第４のエッジ判定結果を第４の合成エッジ判定結果とし、Ｋ３＝０．５であるから当該第４の合成エッジ判定結果と第３のエッジ判定結果とをそれぞれ０．５倍して合成し、第３の合成エッジ判定結果を出力する。
【０１０４】
そして、システム制御回路５０は、ｋ２＝Ｋ１＝０であるから、第３の合成エッジ判定結果を第２の合成判定結果として出力し、第２の合成判定結果を第１の合成判定結果として出力することになる。
【０１０５】
撮影感度が第４の感度を超えると、システム制御回路５０は、第５の設定を選択する。撮影感度が第４の感度を超えると、ノイズレベルの上昇によってハイパスフィルタ処理によるエッジ領域判定ではさらに精度が落ちるので、輝度信号の輝度レベルと色差信号とをエッジ領域の判定を用いる。
【０１０６】
ここでは、第１の合成比率ｋ１＝０、第２の合成比率ｋ２＝０、第３の合成比率ｋ３＝０．３３、そして、第４の合成比率ｋ４＝０．５として、第１の系（Ｓ３０１）〜第４の系（Ｓ３０４）を用いてエッジ領域の判定が行われる。
【０１０７】
この結果、システム制御回路５０は、ｋ４＝０．５であるから第５のエッジ判定結果と第４のエッジ判定結果とをそれぞれ０．５倍して合成し、第４の合成エッジ判定結果を出力する。
【０１０８】
さらに、Ｋ３＝０．３３であるから、システム制御回路５０は第４の合成エッジ判定結果を０．６７倍し、第３のエッジ判定結果を０．３３倍して合成し、第３の合成エッジ判定結果を出力する。
【０１０９】
そして、システム制御回路５０は、ｋ２＝Ｋ１＝０であるから、第３の合成エッジ判定結果を第２の合成判定結果として出力し、第２の合成判定結果を第１の合成判定結果として出力することになる。
【０１１０】
なお、上述の説明では、撮影感度を例に挙げて説明したが、画像におけるノイズレベルによって第１の設定〜第４の設定のいずれかを選択するようにしてもよい。
【０１１１】
つまり、システム制御回路５０は、ノイズレベルが第１の閾値レベル以下（第１の閾値以下）であると第１の設定を選択し、ノイズレベルが第１の閾値レベルを超え当該第１の閾値レベルよりも高い第２の閾値レベル以下であると、第２の設定を選択する。
【０１１２】
同様にして、システム制御回路５０は、ノイズレベルが第２の閾値レベルを超え当該第２の閾値レベルよりも高い第３の閾値レベル以下であると、第３の設定を選択する。
【０１１３】
さらに、システム制御回路５０は、ノイズレベルが第３の閾値レベルを超え当該第３の閾値レベルよりも高い第４の閾値レベル以下であると、第４の設定を選択する。そして、システム制御回路５０は、ノイズレベルが第４の閾値レベルを超えると第５の設定を選択する。
【０１１４】
図５は、図１に示すカメラで行われるエッジ判定処理の際に用いられるハイパスフィルタおよびローパスフィルタについて説明するための図である。そして、図５（ａ）はハイパスフィルタの一例を示す図であり、図５（ｂ）はローパスフィルタの一例を示す図である。
【０１１５】
図１に示すカメラでは、ハイパスフィルタ又はローパスフィルタを元画像上で１画素ずつ左から右へ、上から下へ移動しつつ、当該フィルタ行列と元画像との演算結果を生成する。
【０１１６】
このように、本発明の実施の形態では、元画像をハイパスフィルタ処理してエッジの判定を行ってエッジ判定結果を得るとともに、撮影感度又はノイズレベルに応じて元画像を縮小してエッジ判定を行ってエッジ判定結果を得て、これらエッジ判定結果を所定の合成比率で合成して最終的なエッジ判定結果を得るようにしたので、常に精度よく被写体を抽出することができる。
【０１１７】
さらに、撮影感度又はノイズレベルが高い場合には、輝度信号および色差信号の少なくとも一方を用いてエッジ判定を行って、そのエッジ判定結果と元画像に応じて得られたエッジ判定結果とを所定の合成比率で合成するようにしたので、撮影感度又はノイズレベルが高い場合にであっても、精度よく被写体を抽出することができる。
【０１１８】
上述の説明から明らかなように、図１に示す例においては、少なくとも画像処理回路２０およびシステム制御回路５０が画像処理装置を構成する。そして、画像処理回路２０およびシステム制御回路５０は縮小処理手段、第１のエッジ検出手段、第２のエッジ検出手段、合成手段、第３のエッジ検出手段、およびとして機能する。
【０１１９】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２０】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１２１】
上記の制御方法および制御プログラムの各々は、少なくとも縮小処理ステップおよびエッジ検出ステップを有している。
【０１２２】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２３】
１４  撮像素子
２０  画像処理回路
２２  メモリ制御回路
２８  画像表示部
４０  露光制御部
４２  測距制御部
４４  ズーム制御部
５０  システム制御回路
６０  モードダイアルスイッチ
６２  シャッターボタン
【図１】
2014135589.tif 000003
【図２】
2014135589.tif 000004
【図３】
2014135589.tif 000005
【図４】
2014135589.tif 000006
【図５】
2014135589.tif 000007