(57)【要約】【課題】被撮影者の意思に基づき主の被写体を選定可能な被写体検出装置を提供すること。【解決手段】所定時間間隔で供給される画像から所定の被写体を検出し、検出した該所定の被写体の中から主の被写体を選定する被写体検出装置であって、前記画像から所定の被写体を検出する検出手段と、前記検出手段で検出された被写体の特定の動作を認識する動作認識手段と、前記検出手段により検出された被写体の中から主の被写体を選定する主被写体選定手段を備え、前記主被写体選定手段は、前記動作認識手段において認識される特定の動作と関連付いた主の被写体選定方法を有し、前記動作認識手段により特定の動作を認識した場合、前記主被写体選定手段は該特定の動作と関連付いた主の被写体選定方法に基づき主の被写体を選定することを特徴とする。【選択図】図１
2016048863.tif 000002
【特許請求の範囲】
【請求項１】
所定時間間隔で供給される画像から所定の被写体を検出し、検出した該所定の被写体の中から主の被写体を選定する被写体検出装置であって、
前記画像から所定の被写体を検出する検出手段と、
前記検出手段で検出された被写体の特定の動作を認識する動作認識手段と、
前記検出手段により検出された被写体の中から主の被写体を選定する主被写体選定手段を備え、
前記主被写体選定手段は、前記動作認識手段において認識される特定の動作と関連付いた主の被写体選定方法を有し、
前記動作認識手段により特定の動作を認識した場合、前記主被写体選定手段は該特定の動作と関連付いた主の被写体選定方法に基づき主の被写体を選定することを特徴とする被写体検出装置。
【請求項２】
前記主被写体選定手段における特定の動作と関連付いた主の被写体選定方法とは、
該特定の動作を認識した被写体を主の被写体として優先的に選定する方法、
該特定の動作を認識した被写体を非主の被写体として優先的に選定する方法、
該特定の動作が方向を示す動作であり該動作を認識した被写体の示す被写体を主の被写体として優先的に選定する方法の
少なくともいずれか一つであることを特徴とする請求項１に記載の被写体検出装置。
【請求項３】
前記動作認識手段は、主の被写体選定状態に応じて、認識する特定の動作の種類を変更することを特徴とする請求項１又は請求項２に記載の被写体検出装置。
【請求項４】
前記動作認識手段は、
主の被写体として選定されている被写体に対しては、前記主被写体選定手段において主の被写体として優先的に選定する方法と関連付いた動作を認識動作から除外し、
非主の被写体として選定されている被写体に対しては、前記主被写体選定手段において被写体を非主の被写体として優先的に選定する方法と関連付いた動作を認識動作から除外することを特徴とする請求項３に記載の被写体検出装置。
【請求項５】
主の被写体選定状態を通知する通知手段を更に備え、
特定の動作を主の被写体選定状態の通知を促す動作とし、前記動作認識手段により該特定の動作が認識された場合、前記通知手段により主の被写体選定状態を通知することを特徴とする請求項１乃至請求項４の何れか一項に記載の被写体検出装置。
【請求項６】
前記通知手段は発光方法を変えることにより主の被写体選定状態を通知する手段であって、
前記動作認識手段により主の被写体選定状態の通知を促す動作を認識した被写体が、主の被写体である場合と非主の被写体である場合とにおいて前記通知手段の発光方法を変化させることを特徴とする請求項５に記載の被写体検出装置。
【請求項７】
撮像した画像を供給する撮像手段と、
請求項１乃至請求項６の何れか一項に記載の被写体検出装置と、
前記撮像手段が撮像する際の撮像条件を、前記被写体検出装置により選定された主の被写体の情報に応じて制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項８】
供給される画像を表示する表示手段と、
請求項１乃至請求項６の何れか一項に記載の被写体検出装置と、
前記表示手段が表示する表示条件を、前記被写体検出装置により選定された主の被写体の情報に応じて制御する制御手段と、
を備えることを特徴とする表示装置。
【請求項９】
所定時間間隔で供給される画像から所定の被写体を検出し、検出した該所定の被写体の中から主の被写体を選定する被写体検出装置の制御方法であって、
前記画像から所定の被写体を検出する検出工程と、
前記検出工程で検出された被写体の特定の動作を認識する動作認識工程と、
前記検出工程により検出された被写体の中から主の被写体を選定する主被写体選定工程を備え、
前記主被写体選定工程は、前記動作認識工程において認識される特定の動作と関連付いた主の被写体選定方法を有し、
前記動作認識工程により特定の動作を認識した場合、前記主被写体選定工程は該特定の動作と関連付いた主の被写体選定方法に基づき主の被写体を選定することを特徴とする被写体検出装置の制御方法。
【請求項１０】
請求項９に記載の被写体検出装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体検出装置、その制御方法、撮像装置、表示装置及びプログラムに関する。
【背景技術】
【０００２】
画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔領域の特定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。デジタルカメラやデジタルビデオカメラでは、撮影画像から特定の被写体を検出し、その検出結果を制御対象として焦点や露出を最適化させている。撮像画像中から複数の被写体が検出された場合には、検出された複数の被写体の中から、主の被写体を選定して、当被写体に対して最適なＡＦやＡＥなどが実施される。
【０００３】
上述したように、撮像画像中から複数の被写体が検出された場合に、正確なＡＦやＡＥ
などを行うためには、主の被写体の選定が必要である。特許文献１では、撮像範囲に存在する被写体の状態の変化を尊重しつつも、極端に頻繁に主顔が入れ替わることを抑制した選定方法について記載されている。ここでの、被写体の状態とは、撮像装置から被写体までの距離、撮像範囲における被写体の面積、撮像範囲における被写体の位置、被写体間の距離などを表す種々のパラメータを意味する。また、特許文献２では、検出された複数の被写体領域からいずれかの領域を主の被写体としてユーザからの指示に応じて選択する方法について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−００５４３８号公報
【特許文献２】特開２００９−０３８７４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の方法では、撮影の構図や状態によって主の被写体が選定されるため、撮影者や被撮影者にとって最適な被写体が主の被写体として選定されないことがある。また、特許文献２では、撮影者が主の被写体を選定するため、最適な被写体を主の被写体として選定できるものの、被撮影者の意思に基づき、主の被写体を選定することはできない。
【０００６】
本発明は、上述した課題に鑑みてなされたものであり、被撮影者に意思に基づき主の被写体を選定可能な被写体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的は、
所定時間間隔で供給される画像から所定の被写体を検出し、検出した該所定の被写体の中から主の被写体を選定する被写体検出装置であって、
前記画像から所定の被写体を検出する検出手段と、
前記検出手段で検出された被写体の特定の動作を認識する動作認識手段と、
前記検出手段により検出された被写体の中から主の被写体を選定する主被写体選定手段を備え、
前記主被写体選定手段は、前記動作認識手段において認識される特定の動作と関連付いた主の被写体選定方法を有し、
前記動作認識手段により特定の動作を認識した場合、前記主被写体選定手段は該特定の動作と関連付いた主の被写体選定方法に基づき主の被写体を選定することを特徴とする被写体検出装置によって達成される。
【０００８】
また、上記目的は、
所定時間間隔で供給される画像から所定の被写体を検出し、検出した該所定の被写体の中から主の被写体を選定する被写体検出装置の制御方法であって、
前記画像から所定の被写体を検出する検出工程と、
前記検出工程で検出された被写体の特定の動作を認識する動作認識工程と、
前記検出工程により検出された被写体の中から主の被写体を選定する主被写体選定工程を備え、
前記主被写体選定工程は、前記動作認識工程において認識される特定の動作と関連付いた主の被写体選定方法を有し、
前記動作認識工程により特定の動作を認識した場合、前記主被写体選定工程は該特定の動作と関連付いた主の被写体選定方法に基づき主の被写体を選定することを特徴とする被写体検出装置の制御方法によっても達成される。
【発明の効果】
【０００９】
本発明の被写体検出装置によれば、被撮影者に意思に基づき主の被写体を選定することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る主被写体選定の処理の流れを示す図である。
【図３】第１の実施形態に係る動作認識部で認識する動作例を示す図である。
【図４】第１の実施形態に係る主被写体選定部での選定結果の例を示す図である。
【図５】第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図６】第２の実施形態に係る主被写体選定状態通知の処理の流れを示す図である。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。
【００１２】
［実施例１］
以下には第１の実施形態に係る撮像装置の構成及び動作について図を参照して説明する。図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。本実施例の撮像装置１００では、人物の顔を被写体として検出し、検出した被写体の中から主の被写体選定を行う。
【００１３】
図１に示すように、撮像装置１００では、撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどである撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。
【００１４】
撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、撮影制御部１０５及び画像処理部１０６に入力される。
【００１５】
撮影制御部１０５は、ＣＰＵやマイクロコントローラなどであり、撮像装置１００の動作を中央制御する。具体的には、撮影制御部１０５は、ＲＯＭに記憶されたプログラムコードをＲＡＭの作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。
【００１６】
画像処理部１０６においては、入力されたデジタル形式の映像信号に対して、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。なお、画像処理部１０６は、通常の画像処理に加え、後述する主被写体選定部１１１から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能も有する。
【００１７】
画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。撮像装置１００は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に逐次表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、後述する被写体検出部１０９や主被写体選定部１１１による被写体領域の位置などを表示可能とする。
【００１８】
また、画像処理部１０６から出力された映像信号は、記録媒体１０８、例えば着脱可能なメモリーカードに記録される。なお、映像信号の記録先は、撮像装置１００の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。
【００１９】
画像処理部１０６から出力された映像信号は、被写体検出部１０９にも供給される。被写体検出部１０９は、画像中の目的とする所定の被写体を検出し、被写体領域を特定するためのものであり、被写体領域として人物の顔領域を特定する。画像中に複数の人物の顔が存在する場合は、その人数分の領域が検出される。被写体検出部１０９における検出方法としては、公知の顔検出方法を用いる。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、認識率向上のためにこれらを組み合わせて顔認識を行うのが一般的である。具体的には特開２００２−２５１３８０号広報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００２０】
また、本実施例における被写体検出部１０９の検出対象は人物の顔に限定されるものではなく、他の被写体領域を検出対象としても適用可能である。例えば、人物の上半身などが検出対象として挙げられる。検出方法として、特開２００９−２１１３１１号公報により記述されている方法を例として挙げる。本例では、局所的な上半身の輪郭のエッジ強度を局所特徴量として検出する。画像から特徴量を抽出する方法としては、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｈａａｒフィルタなどの様々な方法がある。抽出された局所特徴量を人物判別器で上半身、非上半身を判別する。
【００２１】
人物判別器における判別は、ＡｄａＢｏｏｓｔ学習などのような機械学習に基づき実施される。被写体検出部１０９による結果は後述する動作認識部１１０および主被写体選定部１１１に供給される。
【００２２】
動作認識部１１０では、被写体検出部１０９による検出された被写体の動作を認識する。動作認識部１１０による認識結果は主被写体選定部１１１に供給される。本実施例での動作とは、人物を対象とし、「手を左右に振る」など身体の動きを伴う変化を指す。被写体検出部１０９では、人物の顔を検出するものとし、動作認識部１１０による処理方法の例に関して説明する。被写体検出部１０９による検出された被写体の画像に形状モデルを当てはめる。形状モデルとは、予め単純化された３次元パーツモデル（円筒、楕円体、super-quadrics等）により近似された人体各部の形状モデルであり、顔部（頭部）の位置、姿勢を基準として、腕、手、足、動体等の存在範囲を推定する。
【００２３】
対象となる人物を構成するパーツごとの特徴量（局所的かつ幾何学的な特徴、動きベクトル、色成分特徴等）をパーツの代表点付近での平均的特徴量として所定の記憶手段に格納し、パーツ単位での代表点位置の時系列画像データを抽出し、抽出した時系列画像データと動作モデルデータとの照合を行い、時系列画像データに対応する動作モデルデータが存在するか否かを判別する。ここで、動作モデルデータとは、認識したい動作の特徴量を指し、１つ以上のパーツによる時系列的な特徴量である。なお、人物動作の抽出技術の詳細については、文献（星野、「人物動作における個性の抽出と再構成」画像電子学会誌第３０巻、ｐｐ．６３１−６４０，  ２００１）等に記載の技術を用いればよい。
【００２４】
動作モデルデータとのマッチング処理の基本的な方法としては、入力画像の遷移系列とモデルとの対応付けをDynamic time warpingという手法で行う方法（T.J.Darell and A.P.Pentland, 1993 “Space-Time Gestures,”）、動作の状態遷移を確率モデルで行う隠れマルコフモデルを用いた手法(J.Yamato, J.Ohya, and K.Ishii, 1992 “Recognizing Human Action in Time-Sequential Images Using Hidden Markov Model,” Proc. CVPR, pp. 379-385) 、時空間エッジ画像ベクトル列の連続動的計画法 (Continuous Dynamic Programming) による方法（西村、岡「ジェスチャ動画像の逆時間動作や静止動作をスポッティング認識するためのNon-monotonic連続ＤＰ」、信学技報、PRMU96-32、pp. 49-56, 1996）等がある。
【００２５】
主被写体選定部１１１では、被写体検出部１０９により検出された被写体の中から主の被写体を選定する。主被写体選定部１１１における主の被写体選定方法は、動作認識部１１０において、特定の動作が認識されたか否かによって異なる。動作認識部１１０において、特定の動作が認識されなかった場合、被写体検出部１０９によって出力される被写体の位置や大きさによって、主の被写体を選定する。被写体の大きさが大きく、位置が画像中心に近い被写体を優先的に主の被写体として選定する。また、時系列的な主の被写体の切り替わりを抑制するために、前フレームで主の被写体として選定された被写体を主の被写体として優先的に選定するようにしてもよい。
【００２６】
一方で、動作認識部１１０において、特定の動作が認識された場合は、特定の動作と予め関連付けられた選定方法により主の被写体を選定する。例えば、動作認識部１１０において動作モデルデータとして定義された「左手を左右に振る」と「当該動作を認識した被写体を主の被写体とする」という主の被写体選定方法とを関連付けておく。この関連付けに基づき、被写体検出部１０９に検出された被写体が、動作認識部１１０において、「左手を左右に振る」という動作モデルデータが認識された場合は、当被写体を主の被写体として選定する。
【００２７】
撮影制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況などの撮像条件を制御する。具体的には、撮影制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズ１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構は撮像レンズ１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタを駆動させるアクチュエータなどである。 
【００２８】
撮影制御部１０５は、この焦点制御機構や露出制御機構の制御に、主被写体選定部１１１から供給された主の被写体領域の選定結果の情報を用いることができる。具体的には、主の被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行う。したがって、撮像装置１００では、撮像画像における特定の被写体領域を考慮した撮像処理を行うことができる。また、撮影制御部１０５は、撮像素子１０２の出力タイミングや出力画素など、撮像素子１０２の読み出し制御も行う。
【００２９】
第１の実施形態に係る主被写体選定の処理の流れについて図２を参照して説明する。画像処理部１０６は、撮像素子１０２を介して得られた撮像画像をＡ／Ｄ変換部１０４によりデジタル化して得られた画像を入力画像として読み込む（Ｓ２０１）。次に、被写体検出部１０９は、入力画像中の被写体領域を検出し、検出データを出力する（Ｓ２０２）。
【００３０】
次に、動作認識部１１０は、被写体検出部１０９により検出された被写体に対して、特定の動作を認識する（Ｓ２０３）。本実施例では、特定の動作として図３に示すような動作を認識する。図３の（Ａ）では、「被写体の左手を頭部で左右に振る」、図３の（Ｂ）では、「被写体の両手を動体の前で左右に振る」、図３の（Ｃ）では、「被写体の両手を頭部の上で１方向に向ける」動作を示す。動作認識部１１０では、図３に示すような、時系列的な各人体パーツの位置関係を動作モデルデータとして予め保持しておく。入力画像に対して、複数の人体パーツにより構成される３次元形状モデルをフィッティグし、各パーツの軌跡を動作モデルデータとマッチングし、一致するか否かを判定する。
【００３１】
次に、動作認識部１１０によって、特定の動作が認識されたか否かを判定する（Ｓ２０４）。動作認識部１１０の認識結果によって、主被写体選定部１１１における選定方法が異なる。図４に、主の被写体選定結果の例を示す。図４中の実線の矩形枠で囲まれた被写体は主の被写体を示し、点線の矩形枠で囲まれた被写体は非主の被写体を示す。
【００３２】
動作認識部１１０によって、特定の動作が認識されなかった場合（Ｓ２０４でＮＯと判定）、被写体検出部１０９より得られる被写体の位置、大きさに基づき主の被写体が選定される（Ｓ２０５）。被写体の位置が画面中心に近く、大きさが大きい被写体を優先して主の被写体として選定するために図４（Ａ）に示すような主の被写体選定結果となる。
【００３３】
一方で、動作認識部１１０によって、特定の動作が認識された場合（Ｓ２０４でＹＥＳと判定）、認識された動作に関連付いた選定方法によって主の被写体が選定される（Ｓ２０６）。特定の動作と関連付いた主の被写体選定方法としては、特定の動作を認識した被写体を主の被写体として優先的に選定する方法、特定の動作を認識した被写体を非主の被写体として優先的に選定する方法、特定の動作が方向を示す動作であり該動作を認識した被写体の示す被写体を主の被写体として優先的に選定する方法などが挙げられる。本実施例では、図３の（Ａ）で示した動作と、動作認識した被写体を主の被写体として優先的に選定する方法とが関連付いているものとする。
【００３４】
したがって、図４の（Ｂ）に示すように、動作認識された被写体を主の被写体として選定した結果となる。また、図３の（Ｂ）で示した動作と、動作認識された被写体を非主の被写体として優先的に選定する方法とが関連付いているものとする。したがって、図４の（Ｃ）に示すように、動作認識した被写体を非主の被写体として選定し、次いで被写体の位置が画像中心に近く、大きさの大きい被写体が主の被写体として選定された結果となる。また、図３（Ｃ）で示した方向を示す動作と、動作認識した被写体の示す被写体を主の被写体として優先的に選定する方法とが関連付いているものとする。したがって、図４の（Ｄ）に示すように、動作認識された被写体が示す位置に存在する被写体が主の被写体として選定された結果となる。
【００３５】
ここで、動作認識部１１０の処理は被写体検出部１０９で検出された各被写体に対して必要であり、被写体検出部１０９で検出された被写体の数が多い場合、処理負荷が大きくなる。したがって、処理負荷を軽減させる対策が必要となる。そこで、主被写体選定部１１０の選定結果に応じて、各被写体において認識する動作モデルの種別を絞り込むことで、処理の効率化を行う。主被写体選定部１１０の選定結果において、現在主の被写体のとして選定されている被写体に関しては、当被写体を主の被写体として選定する方法と関連付いた動作を認識する必要がない。また、現在非主の被写体として選定されている被写体に関しては、当被写体を非主の被写体として選定する方法と関連付いた動作を認識する必要がない。
【００３６】
つまり、現在の主の被写体選定結果を変化させない選定方法と関連付いた動作の認識は不要であり、不要な動作を認識対象から除外することにより処理の効率化が期待できる。本実施例では、現在主の被写体として選定されている被写体に関しては、特定の動作を認識した被写体を非主の被写体として優先的に選定する方法、特定の動作が方向を示す動作であり該動作を認識した被写体の示す被写体を主の被写体として優先的に選定する方法と関連付いた動作のみを認識対象として、特定の動作を認識した被写体を非主の被写体として優先的に選定する方法と関連付いた動作は認識対象から除外する。
【００３７】
一方で、現在非の被写体として選定されている被写体に関しては、特定の動作を認識した被写体を主の被写体として優先的に選定する方法、特定の動作が方向を示す動作であり該動作を認識した被写体の示す被写体を主の被写体として優先的に選定する方法と関連付いた動作のみを認識対象として、特定の動作を認識した被写体を非主の被写体として優先的に選定する方法と関連付いた動作は認識対象から除外する。
【００３８】
以上のように、第１実施形態によれば、被撮影者が意識的に主の被写体選定方法と関連付いた動作を行うことにより、被撮影者の意思に基づき主の被写体を選定することができる。
【００３９】
［第２の実施形態］
第２の実施形態に係る撮像装置の構成及び動作を、第１の実施形態との差異を中心に説明する。なお、第１の実施形態と同一の構成及び動作については、その説明は省略する。
図５は、第２の実施形態に係る撮像装置５００の構成を示すブロック図である。第２の実施形態に係る撮像装置５００の構成及び動作として、第１の実施形態との差異があるのは、通知部５０１を有することである。
【００４０】
第１の実施形態に係る撮像装置１００により、被撮影者が意識的に主の被写体選定方法と関連付いた動作を行うことにより、被撮影者の意思に基づき主の被写体を選定することができ、主の被写体領域を考慮した撮像処理を行うことができる。しかしながら、被撮影者は、撮像装置１００において、どの被写体が主の被写体として選定されるかを認識することができない。そこで、第２の実施形態に係る撮像装置５００では、現在の主被写体選定部１１０の選定状態を被撮影者に通知する通知部５０１を備える。
【００４１】
なお、撮像装置５００における動作認識部１１０では、第１の実施形態で説明した認識する動作モデルに加え、特定の動作を主の被写体選定状態の通知を促す動作とし関連付けてあるものとする。
【００４２】
第２の実施形態に係る主被写体選定状態通知に関する処理の流れについて図６を参照して説明する。画像処理部１０６は、撮像素子１０２を介して得られた撮像画像をＡ／Ｄ変換部１０４によりデジタル化して得られた画像を入力画像として読み込む（Ｓ６０１）。次に、被写体検出部１０９は、入力画像中の被写体領域を検出し、検出データを出力する（Ｓ６０２）。次に、動作認識部１１０は、被写体検出部１０９により検出された被写体に対して、特定の動作を認識する（Ｓ６０３）。
【００４３】
ここで、動作認識部１１０において主の被写体選定状態の通知を促す動作を認識したか否かを判定する（Ｓ６０４）。主の被写体選定状態の通知を促す動作が認識されなった場合（Ｓ６０４でＮＯと判定）、本入力画像に対する主被写体選定状態通知に関する処理は終了する。主の被写体選定状態の通知を促す動作が認識された場合（Ｓ６０４でＹＥＳと判定）、当該動作を認識した被写体が主の被写体であるか否かを判定する（Ｓ６０５）。特定の動作を認識した被写体が主の被写体である場合（Ｓ６０５でＹＥＳと判定）、通知部５０１は通知方法１を行う（Ｓ６０６）。特定の動作を認識した被写体が非主の被写体である場合（Ｓ６０５でＮＯと判定）、通知部５０１は通知方法２を行う（Ｓ６０７）。
【００４４】
通知部５０１は、例えばＬＥＤとし、ＬＥＤの発光方法を動作認識した被写体の主被写体選定状態に応じて変化させる。例えば、通知方法１では赤色を発光し、通知方法２では青色を発光する。
【００４５】
以上のように、第２の実施形態によれば、被撮影者は、撮像装置において、どの被写体が主の被写体として選定されるかを認識することができる。
【００４６】
［他の実施形態］
上述した実施形態では撮像装置に被写体検出装置を適用した場合を例示したが、被写体検出装置を適用する機器は撮像装置に限定しない。例えば、外部機器や記録媒体などから供給される画像（再生データ）を表示する表示装置に被写体検出を行う被写体検出装置を適用してもよい。この表示装置では、再生データを被写体領域検出処理のデータとし、被写体領域検出処理が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体検出処理により抽出された被写体の情報（画像中の被写体の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。
【００４７】
具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。また、検出された被写体が主の被写体であるか否かによって、重畳表示する枠の表示方法を変えてもよい。また、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
【００４８】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００４９】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００５０】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００５１】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【符号の説明】
【００５２】
１００  撮像装置、１０１  撮像レンズ、１０２  撮像素子、
１０３  アナログ信号処理部、１０４  A/D変換部、１０５  撮影制御部、
１０６  画像処理部、１０７  表示部、１０８  記録媒体、１０９  被写体検出部、
１１０  動作認識部、１１１  主被写体選定部、５０１  通知部
【図１】
2016048863.tif 000003
【図２】
2016048863.tif 000004
【図３】
2016048863.tif 000005
【図４】
2016048863.tif 000006
【図５】
2016048863.tif 000007
【図６】
2016048863.tif 000008