(57)【要約】【課題】  画像に含まれる被写体の位置の推定や被写体の抽出の精度を高める。【解決手段】  入力される第１画像の特徴量に基づいて生成される顕著性マップを用いて、第１画像における注目点の位置を推定する位置推定部と、第１画像の輝度情報及び色情報に基づいて生成される複数の第２画像を、輝度情報及び色情報により２値化処理し、複数の２値化画像を生成する２値化処理部と、推定された注目点の位置と複数の２値化画像とから、第１画像に含まれる被写体を推定する被写体推定部と、を備えたことを特徴とする。【選択図】    図２
2014232477.tif 000002
【特許請求の範囲】
【請求項１】
入力される第１画像の特徴量に基づいて生成される顕著性マップを用いて、前記第１画像における注目点の位置を推定する位置推定部と、
前記第１画像の輝度情報及び色情報のいずれかを用いて生成される複数の第２画像に対して２値化処理を行い、複数の２値化画像を生成する２値化処理部と、
推定された前記注目点の位置と複数の前記２値化画像とから、前記第１画像に含まれる被写体を推定する被写体推定部と、
を備えたことを特徴とする被写体特定装置。
【請求項２】
請求項１に記載の被写体特定装置において、
前記位置推定部は、前記第１画像に含まれる画素のうち、前記顕著性マップにおける特徴量が第１閾値以上となる画素を抽出し、抽出された前記特徴量が第１閾値以上となる画素の重心の位置を、前記注目点の位置として推定することを特徴とする被写体特定装置。
【請求項３】
請求項１又は請求項２に記載の被写体特定装置において、
前記第１画像に対して異なる方向に複数の方向選択性フィルタを適用し、前記複数の方向選択性フィルタを適応した結果を加算することで、前記顕著性マップを生成するフィルタ処理部を備えていることを特徴とする被写体特定装置。
【請求項４】
請求項３に記載の被写体特定装置において、
前記方向選択性フィルタは、ガボールフィルタからなることを特徴とする画像処理装置。
【請求項５】
請求項１に記載の被写体特定装置において、
前記被写体推定部は、前記２値化画像に含まれる白画素で構成される白画素領域のうち、前記白画素領域を含む矩形の面積に対する前記白画素領域の面積の比が第２閾値以下となる白画素領域を、前記被写体を推定する候補となる白画素領域から除外することを特徴とする被写体特定装置。
【請求項６】
請求項１に記載の被写体特定装置において、
前記被写体推定部は、前記２値化画像に含まれる白画素で構成される白画素領域のうち、前記白画素領域を含む矩形の縦横比が所定範囲内に含まれる白画素領域を、前記被写体を推定する候補となる白画素領域から除外することを特徴とする被写体特定装置。
【請求項７】
請求項５又は請求項６に記載の被写体特定装置において、
前記被写体推定部は、前記被写体を推定する候補となる白画素領域及び前記注目点の位置とを用いて評価値を算出し、算出された評価値が大きい白画素領域を、前記被写体の領域として推定することを特徴とする被写体特定装置。
【請求項８】
被写体光を取り込む撮像光学系と、
取り込まれた被写体光に基づく画像信号を出力する撮像素子と、
前記撮像素子から出力される画像信号に基づく画像が第１画像として入力される、請求項１から請求項７のいずれか１項に記載の被写体特定装置と、
前記被写体特定装置において推定された被写体を含む領域を用いて、前記撮像光学系の焦点調節制御を実行する制御部と、
を備えたことを特徴とする撮像装置。
【請求項９】
入力される第１画像の特徴量に基づいて生成される顕著性マップを用いて、前記第１画像における注目点の位置を推定する位置推定手順と、
前記第１画像の輝度情報及び色情報に基づいて生成される複数の第２画像を、前記輝度情報及び前記色情報により２値化処理し、複数の２値化画像を生成する２値化手順と、
推定された前記注目点の位置と複数の前記２値化画像とから、前記第１画像に含まれる被写体を推定する被写体推定手順と、
を備えたことを特徴とする被写体特定方法。
【請求項１０】
入力される第１画像の特徴量に基づいて生成される顕著性マップを用いて、前記第１画像における注目点の位置を推定する位置推定手順と、
前記第１画像の輝度情報及び色情報に基づいて生成される複数の第２画像を、前記輝度情報及び前記色情報により２値化処理し、複数の２値化画像を生成する２値化手順と、
推定された前記注目点の位置と複数の前記２値化画像とから、前記第１画像に含まれる被写体を推定する被写体推定手順と、
を、コンピュータに実行させるための被写体特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体特定装置、撮像装置、被写体特定方法及び被写体特定プログラムに関する。
【背景技術】
【０００２】
一般に提供される撮像装置の中には、ユーザにより選択されたＡＦ領域に基づいて被写体位置を特定し、特定した被写体を対象として焦点調節処理を行うものがある。このような撮像装置は、ユーザによって選択された領域に基づいて焦点調節処理を行うものであり、被写体の大きさや形状を特定するものではない。このため、輝度成分及び色差成分に区分された画像を２値化処理し、２値化処理された画像から被写体の位置や形状、大きさを特定することが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０５８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この特許文献１では、２値化処理された画像に含まれる白画素の領域のそれぞれに対して、ユーザによって指定された位置や画像から検出される顔の位置からなる被写体推定位置を基準とした評価値を求め、評価値の高い白画素の領域を被写体として特定している。しかしながら、ユーザによる被写体推定位置の指定や顔の位置の検出を行わない場合には、白画素の領域に対する評価値の正確性が乏しくなり、被写体を正確に特定することができなくなる。
【０００５】
本発明は、画像に含まれる被写体の位置の推定や被写体の抽出の精度を高めることができるようにした被写体特定装置、撮像装置、被写体特定方法及び被写体特定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の被写体特定装置は、入力される第１画像の特徴量に基づいて生成される顕著性マップを用いて、前記第１画像における注目点の位置を推定する位置推定部と、前記第１画像の輝度情報及び色情報に基づいて生成される複数の第２画像を、前記輝度情報及び前記色情報により２値化処理し、複数の２値化画像を生成する２値化処理部と、推定された前記注目点の位置と複数の前記２値化画像とから、前記第１画像に含まれる被写体を推定する被写体推定部と、を備えたことを特徴とする。
【０００７】
また、本発明の撮像装置は、被写体光を取り込む撮像光学系と、取り込まれた被写体光に基づく画像信号を出力する撮像素子と、前記撮像素子から出力される画像信号に基づく画像が第１画像として入力される、上記に記載の被写体特定装置と、前記被写体特定装置において推定された被写体を含む領域を用いて、前記撮像光学系の焦点調節制御を実行する制御部と、を備えたことを特徴とする。
【０００８】
また、本発明の被写体特定方法は、入力される第１画像の特徴量に基づいて生成される顕著性マップを用いて、前記第１画像における注目点の位置を推定する位置推定手順と、前記第１画像の輝度情報及び色情報に基づいて生成される複数の第２画像を、前記輝度情報及び前記色情報により２値化処理し、複数の２値化画像を生成する２値化手順と、推定された前記注目点の位置と複数の前記２値化画像とから、前記第１画像に含まれる被写体を推定する被写体推定手順と、を備えたことを特徴とする。
【０００９】
また、本発明の被写体特定プログラムは、入力される第１画像の特徴量に基づいて生成される顕著性マップを用いて、前記第１画像における注目点の位置を推定する位置推定手順と、前記第１画像の輝度情報及び色情報に基づいて生成される複数の第２画像を、前記輝度情報及び前記色情報により２値化処理し、複数の２値化画像を生成する２値化手順と、推定された前記注目点の位置と複数の前記２値化画像とから、前記第１画像に含まれる被写体を推定する被写体推定手順と、を、コンピュータに実行させるためのものである。
【発明の効果】
【００１０】
本発明によれば、画像に含まれる被写体の位置の推定や、被写体の外形の抽出の精度を高めることができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の一実施形態を示す機能ブロック図である。
【図２】被写体特定部の構成を示す機能ブロック図である。
【図３】図３（ａ）は被写体特定部に入力される画像を示す図、図３（ｂ）は図３（ａ）に示す画像の輝度成分から求まるガボールマップを示す図、図３（ｃ）は、ガボールマップから求まる重心位置を示す図である。
【図４】入力された画像のＹ画像、Ｃｂ画像及びＣｒ画像をそれぞれ異なる閾値にて２値化した場合のサンプル画像の一例を示す図である。
【図５】被写体を特定する処理の流れを示すフローチャートである。
【図６】図４に示すサンプルのうち、被写体候補となる島を絞り込んだときの各サンプルの一例を示す。
【図７】被写体特定処理の結果に基づくＡＦ領域を示す図である。
【発明を実施するための形態】
【００１２】
図１に示すように、撮像装置１０は、撮像光学系１５、撮像素子１６、Ａ／Ｄ変換器１７、ドライバ１８、タイミングジェネレータ（ＴＧ）１９、バッファメモリ２０、画像処理回路２１、符号化／復号化回路２２、被写体特定回路２３、表示制御回路２４、モニタ２５、メディアコントローラ２６、ＣＰＵ３０、内蔵メモリ３１、レリーズボタン３２及び設定操作部３３を備えている。ここで、Ａ／Ｄ変換器１７、バッファメモリ２０、画像処理回路２１、符号化／復号化回路２２、表示制御回路２３、メディアコントローラ２６、ＣＰＵ３０、内蔵メモリ３１は、バス３５を介して接続される。
【００１３】
撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。なお、撮像光学系１５を介して取り込まれる被写体光は、撮像素子１６の受光面において結像される。
【００１４】
撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。この撮像素子１６は、ドライバ１８によって駆動制御される。撮像素子１６の駆動制御としては、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された各画素の信号電荷の出力を制御することが挙げられる。なお、各画素の信号電荷は画像信号としてＡ／Ｄ変換器１７に出力される。Ａ／Ｄ変換器１７は、入力される画像信号をアナログの信号からデジタルの信号に変換する。このＡ／Ｄ変換器１７から出力されるデジタルの画像信号は、バッファメモリ２０に記憶される。
【００１５】
タイミングジェネレータ１９は、Ａ／Ｄ変換器１７やドライバ１８に対してクロックパルスを出力する。タイミングジェネレータ１９からクロックパルスが出力されることで、撮像素子１６やＡ／Ｄ変換器１７の駆動タイミングが同期される。
【００１６】
バッファメモリ２０は、例えばＥＰＰＲＯＭなどの不揮発性メモリからなる。このバッファメモリ２０は、Ａ／Ｄ変換器１７から出力された画像信号、画像処理回路２１にて画像処理が施された画像信号の他、記憶媒体４０から読み出された画像信号が一時的に記憶される。
【００１７】
画像処理回路２１は、バッファメモリ２０に書き込まれた画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。以下、画像処理が施された画像信号を、画像データと称する。
【００１８】
この画像処理回路２１は、画像データに対して解像度変換処理を行う。この解像度変換処理により、元の画像データに対して、解像度の低い画像データが生成される。この解像度の低い画像データの例としては、画像の一覧表示を行う際に用いる画像データ（サムネイル画像データ）が挙げられる。また、画像処理回路２１は、バッファメモリ２０に記憶された画像データに基づく画像をモニタ２５に表示させる場合に、モニタ２５の解像度に併せた解像度となるように画像データに対する解像度変換処理を実行する。
【００１９】
さらに、画像処理回路２１は、撮影待機状態となる場合に取得される画像データに対して、被写体を特定する処理を行う。なお、被写体を特定する処理（以下、被写体特定処理）については、後述する。
【００２０】
符号化／復号化回路２２は、バッファメモリ２０に記憶された画像データを読み出し、読み出した画像データに対して符号化処理を実行する。この符号化処理により、例えばＪＰＥＧ圧縮された画像データが生成される。符号化処理が施された画像データは、バッファメモリ２０に記憶される。また、符号化／復号化回路２２は、符号化処理が施された画像データに対して復号化処理を施す。
【００２１】
被写体特定回路２３は、バッファメモリ２０に記憶された画像データを用いて被写体の位置、形状及び大きさを特定する。ここで、被写体特定回路において用いられる画像データとしては、撮影待機状態において得られるスルー画像データが挙げられる。この被写体特定回路２３により特定された被写体の位置、形状及び大きさの情報は、ＣＰＵ３０に出力される。
【００２２】
表示制御回路２４は、画像処理回路２１にて解像度変換処理が施された画像データを読み出す。そして、表示制御回路２４は、読み出した画像データに基づく画像をモニタ２５に表示する。ここで、モニタ２５としては、例えばＬＣＤや有機ＥＬディスプレイなどが挙げられる。
【００２３】
メディアコントローラ２６は、例えばフラッシュメモリからなるメモリカードの他、光学ディスク、磁気ディスクなどの記憶媒体４０と電気的に接続される。画像データを記憶媒体４０に記憶させるときには、ＣＰＵ３０は、撮影条件、撮像装置１０の機種、撮影日時、サムネイル画像データなどを付帯情報として生成し、生成された付帯情報を生成する。そして、ＣＰＵ３０は、バッファメモリ２０に記憶された符号化された画像データと付帯情報とを、例えばＥＸＩＦ形式の画像ファイルとして記憶媒体４０に書き込む。
【００２４】
ＣＰＵ３０は、図示を省略した制御プログラムを実行することで、撮像装置１０の各部を統括的に制御する。このＣＰＵ３０にはレリーズボタン３２や設定操作部３３が接続され、ＣＰＵ３０は、これら操作に応じた処理を実行する。なお、ＣＰＵ３０における処理としては、ＡＦ処理、ＡＥ処理などが挙げられる。
【００２５】
次に、被写体特定回路２３の構成について、図２を用いて説明する。図２に示すように、被写体特定回路２３は、データ生成部５０、注目点推定部５１、被写体推定部５２を有する。以下、被写体特定回路２３に入力される画像データとして、ＹＣｂＣｒ色空間で示される画像データ（ＹＣｂＣｒ画像データ）を例に挙げて説明する。
【００２６】
データ生成部５０は、入力されたＹＣｂＣｒ画像データから、輝度成分の画像データ、色差成分の画像データをそれぞれ生成する。以下、輝度成分の画像データをＹ画像データ、色差成分の画像データをＣｂ画像データ及びＣｒ画像データと称して説明する。データ生成部５０は、生成した画像データのうち、Ｙ画像データを注目点推定部５１に出力する。また、データ生成部５０は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを被写体推定部５２に出力する。なお、ＹＣｂＣｒ色空間以外の色空間で示される画像データが入力される場合には、データ生成部５０は、入力される画像データに対して色空間変換処理を施した後に、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを生成すればよい。
【００２７】
注目点推定部５１は、入力されるＹ画像データを用いて、画像における注目点の位置を推定する。この注目点は、ユーザが画像を観察したときに注目する点である。この注目点推定部５１は、フィルタ処理部５５、２値化処理部５６及び位置算出部５７を有する。
【００２８】
フィルタ処理部５５は、入力されるＹ画像データに対して、例えばガボール関数を用いたフィルタ処理を施す。周知のように、ガボール関数は、人間の視覚における物体の認識方法に基づいたフィルタである。このガボール関数は、三角関数（正弦関数）と、ガウシアン関数との積からなる。本実施形態では、２次元の三角関数と２次元のガウシアン関数との積からなる２次元のガボール関数を用いる。以下、（１）式がガボール関数を示す式である。
【００２９】
【数１】
2014232477.tif 000003
【００３０】
ここで、ｘ，ｙは画像の座標値、λは空間周波数に対応する波長、θは方位（方向）、ψは位相、σはガウス分布の標準偏差、γはアスペクト比をそれぞれ表す。ここでの空間周波数とは、人間の目の１°（ｄｅｇｒｅｅ）の視角内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はｃｐｄ（ｃｙｃｌｅｐｅｒ ｄｅｇｒｅｅ）である。
【００３１】
フィルタ処理部５５は、Ｙ画像データに対して、上述した（１）式で示すガボール関数の縞模様を複数の方向から画像と畳み込みし、その演算結果を加算する。ここで、複数の方向としては、例えばθ＝４５°及びθ＝１３５°の方向が挙げられる。なお、図３（ａ）は、被写体特定回路２３に入力される画像の一例を示し、また、図３（ｂ）は、図３（ａ）に示す画像の輝度（Ｙ）成分に対して畳み込み演算を行った際に生成されるマップ（以下、ガボールマップ）である。このガボールマップは、顕著性マップの一例である。
【００３２】
２値化処理部５６は、フィルタ処理部５５により得られたガボールマップに対して２値化処理を行う。なお、この２値化処理時に用いる閾値を閾値Ａとする。この閾値Ａは、例えばＹ画像データにおける各画素の平均値や標準偏差などの統計値に対して係数（例えば３など）を乗算した値からなる。ここで、係数の値は予め実験、統計などにより設定される値である。
【００３３】
位置算出部５７は、２値化処理されたガボールマップに含まれる白画素の重心の座標を算出する。位置算出部５７は、２値化処理されたガボールマップに含まれる白画素のそれぞれの座標を用いて、白画素の重心となる位置の座標を求める。なお、図３（ｃ）は、２値化処理されたガボールマップに含まれる白画素の重心を印「×」にて示している。一般に、画像においてユーザが注目する位置（以下、注目点）は、画像の中心ではなく、画像に含まれる被写体、或いは、その近傍を含む領域となる。また、画像に含まれる被写体の領域は、他の領域に較べて、高い周波数成分を含んでいる。つまり、Ｙ画像データからガボールマップを生成し、生成したガボールマップを２値化処理した場合には、画像に含まれる被写体の領域は白画素の領域として出現しやすい。したがって、注目点推定部５１は、位置算出部５７により算出した２値化処理されたガボールマップに含まれる白画素の重心を、注目点として推定する。位置算出部５７は、ラベリング領域における重心の座標データを、推定された注目点の座標データとして被写体推定部５２に出力する。
【００３４】
被写体推定部５２は、入力されるＹ画像データ、Ｃｂ画像データ及びＣｒ画像データと、注目点推定部５１により求めた注目点の座標データとを用いて、被写体を推定する。この被写体推定部５２は、２値化処理部６１及び形状抽出部６２を有する。
【００３５】
２値化処理部６１は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データの各データに対して２値化処理を実行する。まず、２値化処理部６１は、Ｙ画像データ、Ｃｂ画像データ、Ｃｒ画像データの各データから、各画素の平均輝度値Ｍと濃度値の標準偏差Ｂとを求める。そして、２値化処理部６１は、求めた平均輝度値Ｍと濃度値の標準偏差Ｂとを用いて、２値化処理を行う際に用いる閾値Ｄを算出する。閾値Ｄは以下の（２）式から算出すればよい。
【００３６】
［数２］
Ｄ＝Ｍ＋α×Ｂ    ・・・（２）
ここで、係数αは、予め実験、統計などから求められる値である。以下、係数αとして、α１＝１．６，α２＝１，α３＝−１．３を用いた場合を説明する。
【００３７】
２値化処理部６１は、上述した（２）式を用いて、各画像データに対する２値化処理を実行する。図４は、Ｙ画像、Ｃｂ画像及びＣｒ画像のそれぞれに対して、上述した３種類の係数α１，α２，α３のそれぞれを用いて２値化処理を行った場合のサンプルを示す。ここで、サンプル１、サンプル２及びサンプル３に示す２値化画像は、Ｙ画像、Ｃｂ画像及びＣｒ画像に対して、係数α＝α１（＝１．６）に設定した２値化処理を実行した場合に得られる２値化画像である。また、サンプル４、サンプル５及びサンプル６に示す２値化画像は、Ｙ画像、Ｃｂ画像及びＣｒ画像に対して、係数α＝α２（＝１）に設定した２値化処理を実行した場合に得られる２値化画像である。さらに、サンプル７、サンプル８及びサンプル９に示す２値化画像は、Ｙ画像、Ｃｂ画像及びＣｒ画像に対して、係数α＝α３（＝−１．３）に設定した２値化処理を実行した場合に得られる２値化画像である。
【００３８】
形状抽出部６２は、取得された２値化画像に対してラベリング処理を行い、白画素のかたまりをラベリング領域として抽出する。以下、形状抽出部６２よる抽出されるラベリング領域を島と称する。形状抽出部６２は、抽出された島のうち、例えば２値化画像の総面積に対する総面積の面積比が６０％以上となる島や、該面積比が１％以下となる島を除外する。また、形状抽出部６２は、抽出された島のうち、画像の左端又は右端にかかる島を除外する。これら処理の後、形状抽出部６２は、除外されていない残りの島を、被写体候補となる島として設定する。
【００３９】
形状抽出部６２は、被写体候補となる島が含まれる矩形の領域（以下、矩形領域）を島毎に求める。そして、形状抽出部６２は、求めた矩形領域毎に、矩形領域に対して白画素が占める面積比（比率）と、矩形の領域における縦横比とを、被写体候補となる島を絞り込むための第１の評価値及び第２の評価値として求める。形状抽出部６２は、算出した評価値を用いて被写体候補となる島に対する絞り込みを行う。この絞り込みの処理としては、第１の評価値が予め設定された閾値（例えば０．２）以下であるか否かを判定する処理と、第２の評価値が所定の範囲（例えば０．２以上５未満）に含まれるか否かを判定する処理とからなる。
【００４０】
例えば、第１の評価値が予め設定された閾値以下であるか否かを判定する処理を行うことで、被写体として通常ありえない凹凸や、空洞部分がある島を被写体候補となる島から除外することができる。また、対象となる島毎に求めた第２の評価値が所定の範囲に含まれるか否かを判定する処理を行うことで、被写体としてあり得ない細長い島を被写体候補となる島から除外することができる。
【００４１】
また、形状抽出部６２は、被写体候補となる島を絞り込んだ後、被写体候補となる島の面積と、注目点推定部５１において推定された注目点を中心とした慣性モーメントを算出する。ここで、慣性モーメントの算出方法については、公知のため詳細な説明を省略するが、例えば、注目点からの画素距離の２乗×（０または１）の和により算出することができる。
【００４２】
形状抽出部６２は、被写体候補となる島に対して、該島の面積を慣性モーメントで除算し、形状抽出用の評価値を算出する。そして、被写体候補となる島のうち、形状抽出用の評価値が最も大きい島を、被写体に該当する島として抽出する。
【００４３】
次に、被写体を抽出する処理の一実施態様について、図５のフローチャートに基づいて説明する。以下、ステップＳ１０２からステップＳ１０５までの処理が注目点を推定する処理となる。また、ステップＳ１０６からステップＳ１１１までの処理が被写体の形状を推定する処理となる。
【００４４】
ステップＳ１０１は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを生成する処理である。データ生成部５０は、入力されたＹＣｂＣｒ画像データを用いて、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを生成する。そして、データ生成部５０は、生成した画像データのうち、Ｙ画像データを注目点推定部５１に出力する。同時に、データ生成部５０は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを被写体推定部５２に出力する。
【００４５】
ステップＳ１０２は、ガボールマップを生成する処理である。フィルタ処理部５５は、入力されたＹ画像データに対してガボール関数を用いたフィルタ処理を実行する。詳細には、Ｙ画像データに対して上述した（１）式で示すガボール関数の縞模様を複数の方向から画像と畳み込みし、その演算結果を加算する（畳み込み和の算出）。ここで、２方向とは、（１）式において、θ＝４５°，１３５°の方向を指す。畳み込み和を算出する処理を全画素について行うことで、入力されるＹ画像データに基づくガボールマップが生成される（図３（ｂ）参照）。
【００４６】
ステップＳ１０３は、ガボールマップを２値化する処理である。２値化処理部５６は、生成されたガボールマップに対して閾値Ａを用いた２値化処理を実行する。
【００４７】
ステップＳ１０４は、２値化処理されたガボールマップに含まれる重心の座標を算出する処理である。位置算出部５７は、２値化処理されたガボールマップに含まれる白画素のそれぞれの座標を用いて、白画素の重心となる位置の座標を求める。この処理の後、位置算出部５７は、求めた白画素の重心の座標データを、推定される注目点の座標データとして被写体推定部５２に出力する。
【００４８】
ステップＳ１０５は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データに対する２値化処理を行う処理である。上述したように、被写体推定部５２には、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データが入力される。まず、２値化処理部６１は、入力されるＹ画像データ、Ｃｂ画像データ及びＣｒ画像データの平均輝度値Ｍ及び濃度値の標準偏差Ｂを求める。そして、２値化処理部６１は、求めた平均輝度値Ｍ及び濃度値の標準偏差Ｂと、２）式とを用いて閾値Ｄを求める。ここで、係数αとして、例えばα１＝＋１．６，α２＝１，α３＝−１．３の値が用いられる。そして、２値化処理部６１は、求めた閾値Ｄを用いて各画像データを２値化処理する。これにより、２値化画像データが複数生成される。
【００４９】
ステップＳ１０６は、ラベリング処理である。形状抽出部６２は、２値化画像データのそれぞれに対してラベリング処理を行う。このラベリング処理により、複数の島が抽出される。形状抽出部６２は、抽出された複数の島のうち、例えば２値化画像の総面積に対する面積比が６０％以上となる島、又は該面積比が１％以下となる島を除外する。さらに、形状抽出部６２は、２値化画像の左端、又は右端にかかる島を除外する。そして、形状抽出部６２は、除外されていない残りの島を被写体候補となる島として設定する。
【００５０】
ステップＳ１０７は、第１及び第２の評価値を算出する処理である。形状抽出部６２は、被写体候補となる島のそれぞれに対して、該島が含まれる矩形の領域を求める。次に、形状抽出部６２は、求めた矩形の領域毎に、矩形の領域に対して白画素が占める比率（第１の評価値）と、矩形の領域の縦横比（第２の評価値）とを求める。
【００５１】
ステップＳ１０８は、第１及び第２の評価値を用いて被写体候補となる島を絞り込む処理である。まず、形状抽出部６２は、被写体候補となる島毎に求めた第１の評価値が、予め設定された閾値（例えば０．２）以下であるか否かを判定する。そして、形状抽出部６２は、第１の評価値が閾値以下となる島を被写体候補となる島から除外する。
【００５２】
次に、形状抽出部６２は、除外された島を除く被写体候補となる島に対する第２の評価値が所定の範囲（例えば０．２以上５未満）に含まれるか否かを判定する。そして、形状抽出部６２は、第２の評価値が所定の範囲に含まれる島を被写体候補となる島から除外する。このステップＳ１０８の処理を行うことで、被写体候補となる島が絞り込まれる。
【００５３】
ステップＳ１０９は、被写体候補となる島の面積及び慣性モーメントを算出する処理である。形状抽出部６２は、ステップＳ１０８の処理により絞り込まれた被写体候補となる島の面積を求める。また、形状抽出部６２は、該被写体候補となる島が検出された２値化画像データを用いて慣性モーメントを求める。ここで、ステップＳ１０４にて求めた重心の座標データは、注目点の座標データとして、被写体推定部５２に入力される。形状抽出部６２は、注目点の座標データを用いて、島の慣性モーメントを求める。
【００５４】
ステップＳ１１０は、形状抽出用の評価値を求める処理である。形状抽出部６２は、ステップＳ１０９にて求めた島の面積及び島の慣性モーメントを用いて、形状抽出用の評価値を算出する。具体的には、形状抽出部６２は、島の面積を島の慣性モーメントで除算することで、形状推定用の評価値を求める。
【００５５】
ステップＳ１１１は、形状を抽出する処理である。形状抽出部６２は、被写体候補となる島のうち、ステップＳ１１０にて求めた形状抽出用の評価値が最大となる島を被写体の領域であると推定し、該島の形状を被写体の形状として抽出する。
【００５６】
図４に示すように、例えばＹ画像、Ｃｂ画像、Ｃｒ画像に対して異なる閾値を用いて２値化処理を施した２値化画像のそれぞれにおいては、ラベリング領域が１以上検出される。ここで、上述したステップＳ１０６〜ステップＳ１０９の処理を行うことで、被写体候補となる島が存在する２値化画像はサンプル１及びサンプル３の２値化画像となる（図６参照）。図６において、サンプル１の２値化画像に示す符号７０、及びサンプル３の２値化画像に示す符号７１が、それぞれ被写体候補となる島である。各２値化画像において、印「×」が注目点推定部５１により求めた注目点となる。ここで、慣性モーメントは、例えば注目点から離れるほど値が大きくなる。つまり、形状抽出用の評価値は、慣性モーメントが大きくなればなるほど、その値は小さくなる。よって、図６の場合には、サンプル１の２値化画像に含まれる島７０の評価値よりも、サンプル３の２値化画像に含まれる島７１に対する評価値が大きくなる。よって、サンプル３の２値化画像に含まれる島７１の形状が被写体の形状として抽出される。これにより、被写体の位置の推定や、被写体の形状の抽出に対する精度を高めることが可能となる。
【００５７】
なお、形状抽出部６２により抽出した被写体に係る情報（被写体情報）は、ＣＰＵ３０に出力される。ＣＰＵ３０は、この被写体情報に基づいてＡＦ領域を設定し、ＡＦ処理を実行する。つまり、図７に示す枠７２の領域をＡＦ領域とするＡＦ処理が実行される。
【００５８】
このように、被写体推定部５２は、ガボールマップを用いて被写体の位置を推定した後、画像から得られる白画素の固まり（島）の大きさと、この推定された位置を中心とした島の慣性モーメントとを用いた評価値で、被写体の形状を評価している。このような方法を用いることで、例えば被写体の位置がわからない場合であっても、被写体の概略位置を推定することができ、その結果、画像に含まれる被写体の位置や形状を推定することが可能となる。
【００５９】
本実施形態では、注目点を推定する処理が行われた後、被写体を推定する処理を行う構成としているが、これに限定される必要はなく、例えば注目点を推定する処理と被写体の形状を推定する処理とを並行して行うことも可能である。
【００６０】
また、この他に、被写体の形状を推定する処理を行った後、注目点を推定する処理を行うことも可能である。この場合、被写体推定部５２は、例えば画像データの中心や、顔検出処理を行うことで得られる被写体の顔の領域の中心を用いて、被写体候補となる島に対する評価を行う。この評価と、注目点推定部５１にて求めた注目点の座標データを用いて、求めた評価値に対する再評価を行い、再評価の結果が最も高くなる島を、被写体として特定する。
【００６１】
本実施形態では、被写体特定回路２３に入力される画像データの画像サイズについては、詳細を記載していないが、画像処理部２１にて実行される画像処理の後に、解像度変換処理を行うことで画像サイズを縮小した画像データであることが好ましい。
【００６２】
本実施形態では、被写体特定回路２３における被写体を特定する処理を実行するタイミングについては、特に詳細を述べていないが、撮影待機状態に移行した直後に得られるスルー画像データに対して上述した被写体を特定する処理を行い、その後得られるスルー画像データに対しては、特定されている被写体の位置、形状及び大きさを用いたテンプレートマッチングを行ってもよいし、生成されるスルー画像データのそれぞれを用いて被写体を特定することも可能である。また、この他に、撮影により得られた画像データに対して被写体を特定する処理を行ってもよい。この場合には、被写体を特定した結果を画像分類などの処理に用いることができる。
【００６３】
本実施形態では、撮像装置の例を取り上げているが、これに限定される必要はなく、例えば図２の構成や、図５のフローチャートを実行することが可能な画像処理装置であってもよい。また、この他に、図２に示す機能や、図５のフローチャートの処理をコンピュータに実行させることが可能な被写体特定プログラムであってもよい。この場合、被写体特定プログラムは、不揮発性メモリからなるメモリカード、光学ディスク、磁気ディスク、ＨＤＤなど、コンピュータが認識することが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６４】
１０…撮像装置、２１…画像処理回路、２３…被写体特定回路、５１…注目点推定部、５２…被写体推定部、５５…フィルタ処理部、５６，６１…２値化処理部、５７…位置算出部、６２…形状抽出部
【図１】
2014232477.tif 000004
【図２】
2014232477.tif 000005
【図５】
2014232477.tif 000006
【図３】
2014232477.tif 000007
【図４】
2014232477.tif 000008
【図６】
2014232477.tif 000009
【図７】
2014232477.tif 000010