(57)【特許請求の範囲】
【請求項１】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、
前記顔領域の位置を示す第１の表示枠と、前記体領域の位置を示す第２の表示枠を生成する生成手段と、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、
前記生成手段は、前記顔領域のサイズに基づいて前記顔領域を囲むように前記第１の表示枠を生成し、前記顔領域のサイズおよび前記体領域のサイズに基づいて前記体領域のうち前記顔領域を除いた領域を囲むように前記第２の表示枠を生成することを特徴とする画像表示制御装置。
【請求項２】
前記生成手段は、前記第１の表示枠に隣接するように前記第２の表示枠を生成することを特徴とする請求項１記載の画像表示制御装置。
【請求項３】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、
前記顔領域および前記体領域の少なくともいずれかの回転角度を検出する角度検出手段と、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成手段と、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、
前記生成手段は、前記顔領域の回転角度に基づいて、前記第１の表示枠を表示する際の角度を設定すること、および前記体領域の回転角度に基づいて、前記第２の表示枠を表示する際の角度を設定することの少なくともいずれかを行い、
前記表示制御手段は、前記第１の表示枠に対して前記第２の表示枠が傾いている場合に、前記第１および前記第２の表示枠の重なり合う部分において、前記第１および前記第２の表示枠のいずれかを前記画面に表示しないことを特徴とする画像表示制御装置。
【請求項４】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成手段と、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、
前記生成手段は、前記第１の表示枠および前記第２の表示枠の少なくともいずれかを、前記顔領域と前記体領域を比較した結果の履歴に基づいて生成することを特徴とする画像表示制御装置。
【請求項５】
前記生成手段は、前記第１の表示枠および前記第２の表示枠の少なくともいずれかを、前記顔領域の角度と前記体領域の角度を比較した結果の履歴に基づく角度で生成することを特徴とする請求項４に記載の画像表示制御装置。
【請求項６】
前記生成手段は、前記顔領域の角度と前記体領域の角度の差分が閾値以下である場合には、前記第１の表示枠と前記第２の表示枠を同じ角度で生成することを特徴とする請求項５に記載の画像表示制御装置。
【請求項７】
前記生成手段は、前記第１の表示枠および前記第２の表示枠の少なくともいずれかを、前記顔領域のサイズと前記体領域のサイズを比較した結果の履歴に基づくサイズで生成することを特徴とする請求項４に記載の画像表示制御装置。
【請求項８】
前記生成手段は、前記第１の表示枠および前記第２の表示枠の少なくともいずれかを、前記顔領域の位置と前記体領域の位置を比較した結果の履歴に基づく位置で生成することを特徴とする請求項４に記載の画像表示制御装置。
【請求項９】
前記生成手段は、前記顔領域の位置と前記体領域の位置の差分が閾値以下である場合には、前記第１の表示枠と前記第２の表示枠を同軸上に生成することを特徴とする請求項８に記載の画像表示制御装置。
【請求項１０】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成手段と、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、
前記表示制御手段は、前記顔領域のサイズに応じて、前記第１の表示枠を表示するか、あるいは前記第１の表示枠と前記第２の表示枠の両方を表示するかを決定することを特徴とする画像表示制御装置。
【請求項１１】
前記表示制御手段は、前記顔領域の面積が予め設定された第１の面積閾値を超えると、前記第２の表示枠を表示せずに前記第１の表示枠を表示し、前記顔領域の面積が前記第１の面積閾値以下だと、前記第１の表示枠と前記第２の表示枠を表示することを特徴とする請求項１０に記載の画像表示制御装置。
【請求項１２】
前記表示制御手段は、前記体領域の面積が予め設定された第２の面積閾値を超えると、前記第１の表示枠と前記第２の表示枠を表示し、前記体領域の面積が前記第２の面積閾値以下であると、前記第１の表示枠を表示せずに前記第２の表示枠を表示することを特徴とする請求項１０または１１に記載の画像表示制御装置。
【請求項１３】
前記表示制御手段は、前記顔領域の面積が予め設定された第１の面積閾値を超えると、前記第２の表示枠の表示形態を変更することを特徴とする請求項１０に記載の画像表示制御装置。
【請求項１４】
前記表示制御手段は、前記顔領域の面積が予め設定された第１の面積閾値を超えると、予め定められた時間の経過の後、前記第２の表示枠を非表示とすることを特徴とする請求項１０に記載の画像表示制御装置。
【請求項１５】
請求項１〜１４のいずれか１項に記載の画像表示制御装置と、
前記被写体を撮影して得られた画像を生成するための撮像手段を有することを特徴とする撮像装置。
【請求項１６】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域の位置を示す第１の表示枠と、前記体領域の位置を示す第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを有し、
前記生成ステップにおいて、前記顔領域のサイズに基づいて前記顔領域を囲むように前記第１の表示枠を生成し、前記顔領域のサイズおよび前記体領域のサイズに基づいて前記体領域のうち前記顔領域を除いた領域を囲むように前記第２の表示枠を生成することを特徴とする画像の表示制御方法。
【請求項１７】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域および前記体領域の少なくともいずれかの回転角度を検出する角度検出ステップと、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを有し、
前記生成ステップにおいて、前記顔領域の回転角度に基づいて、前記第１の表示枠を表示する際の角度を設定すること、および前記体領域の回転角度に基づいて、前記第２の表示枠を表示する際の角度を設定することの少なくともいずれかを行い、
前記表示制御ステップにおいて、前記第１の表示枠に対して前記第２の表示枠が傾いている場合に、前記第１および前記第２の表示枠の重なり合う部分において、前記第１および前記第２の表示枠のいずれかを前記画面に表示しないことを特徴とする画像の表示制御方法。
【請求項１８】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを有し、
前記生成ステップにおいて、前記第１の表示枠および前記第２の表示枠の少なくともいずれかを、前記顔領域と前記体領域を比較した結果の履歴に基づいて生成することを特徴とする画像の表示制御方法。
【請求項１９】
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを有し、
前記表示制御ステップにおいて、前記顔領域のサイズに応じて、前記第１の表示枠を表示するか、あるいは前記第１の表示枠と前記第２の表示枠の両方を表示するかを決定することを特徴とする画像の表示制御方法。
【請求項２０】
被写体を撮影した結果得られた画像を表示する画像表示制御装置で用いられる制御プログラムであって、
前記画像表示制御装置が備えるコンピュータに、
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域の位置を示す第１の表示枠と、前記体領域の位置を示す第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを実行させ、
前記生成ステップにおいて、前記顔領域のサイズに基づいて前記顔領域を囲むように前記第１の表示枠を生成させ、前記顔領域のサイズおよび前記体領域のサイズに基づいて前記体領域のうち前記顔領域を除いた領域を囲むように前記第２の表示枠を生成させることを特徴とする制御プログラム。
【請求項２１】
被写体を撮影した結果得られた画像を表示する画像表示制御装置で用いられる制御プログラムであって、
前記画像表示制御装置が備えるコンピュータに、
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域および前記体領域の少なくともいずれかの回転角度を検出する角度検出ステップと、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを実行させ、
前記生成ステップにおいて、前記回転角度に基づいて、前記第１の表示枠を表示する際の角度を設定させること、および前記体領域の回転角度に基づいて、前記第２の表示枠を表示する際の角度を設定することの少なくともいずれかを行い、
前記表示制御ステップにおいて、前記第１の表示枠に対して前記第２の表示枠が傾いている場合に、前記第１および前記第２の表示枠の重なり合う部分において、前記第１および前記第２の表示枠のいずれかを前記画面に表示しないことを特徴とする制御プログラム。
【請求項２２】
被写体を撮影した結果得られた画像を表示する画像表示制御装置で用いられる制御プログラムであって、
前記画像表示制御装置が備えるコンピュータに、
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを実行させ、
前記生成ステップにおいて、前記第１の表示枠および前記第２の表示枠の少なくともいずれかを、前記顔領域と前記体領域を比較した結果の履歴に基づいて生成させることを特徴とする制御プログラム。
【請求項２３】
被写体を撮影した結果得られた画像を表示する画像表示制御装置で用いられる制御プログラムであって、
前記画像表示制御装置が備えるコンピュータに、
被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出ステップと、
前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成ステップと、
前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御ステップとを実行させ、
前記表示制御ステップにおいて、前記顔領域のサイズに応じて、前記第１の表示枠を表示するか、あるいは前記第１の表示枠と前記第２の表示枠の両方を表示するかを決定させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示制御装置、撮像装置、表示制御方法、及び制御プログラムに関し、特に、画像の特定領域を示す情報を表示する技術に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置において、撮像の際、画像の特定領域（例えば、被写体の特定領域）を検出するようにしたものがある。そして、この種の撮像装置では、画像の特定領域を示す情報（特定情報）を表示装置に表示するための画像表示制御装置が備えられている。
【０００３】
例えば、撮像装置として、被写体の顔領域（特定領域）を検出する顔検出部を備えて、画像表示制御装置が検出部で検出された顔領域を示す表示枠（表示情報）を表示装置に表示するようにしたものがある（特許文献１参照）。
【０００４】
特許文献１においては、検出された顔領域を示す表示枠に対して、被写体の顔の特徴量（顔の角度など）に応じて表示枠の属性（表示枠の色および形状など）を変更して表示装置に表示するようにしている。これによって、ユーザが被写体の顔の特徴を直感的に把握することができるようにしている。
【０００５】
さらに、被写体の顔領域を検出する顔検出部に加えて、被写体の人体の部分（人体領域）を検出する人体検出部を備えた監視カメラなどの撮像装置がある。
【０００６】
図３５は、従来の顔／人体検出部を備える撮像装置における被写体の顔表示枠および人体表示枠の表示の一例を示す図である。図３５において、表示装置の画面２００には、被写体の顔領域を示す顔表示枠２０１と被写体の人体表示枠２０２が表示される。そして、図示のように、人体表示枠２０２は顔表示枠２０１を包含している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７４２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、従来の顔／人体検出部を備える撮像装置においては、表示装置に顔表示枠および人体表示枠を表示する際、独立的に顔表示枠および人体表示枠が表示される。このため、人体検出部が頭部を含む人の形状をした領域を検出するものであると、顔表示枠が人体表示枠の領域に包含されて表示されることになる（つまり、顔表示枠が人体表示枠の領域に重なって表示される）。
【０００９】
このように、顔表示枠が人体表示枠の領域に重なって表示されてしまうと、ユーザにとっては、顔表示枠および人体表示枠の視認性、特に、人体表示枠の視認性が低下してしまうという課題がある。
【００１０】
図３６は、従来の撮像装置において、顔表示枠２０１と人体表示枠２０２を表示し続けた状態でズーム倍率を変えた状態を示す図である。
【００１１】
図３６に示すように、テレ（Ｔｅｌｅ）からワイド（Ｗｉｄｅ）にズーム倍率を変更すると、被写体が小さくなるに連れて、顔領域枠２０１も人体表示枠２０２も小さくなる。その結果、特に、Ｗｉｄｅ時においては被写体が枠で隠れてしまい、枠および被写体の視認性が低下してしまうという課題がある。
【００１２】
ここで、複数のフレームが連続的を表示される場合について説明する。
【００１３】
図３７は、図３５に示す画像においてフレームの経過に応じた被写体の顔表示枠および人体表示枠の表示の一例を示す図である。
【００１４】
図３７において、図３５で説明したように、顔表示枠２０１と人体表示枠２０２とを表示装置に表示するものとする。フレームの経過に応じて、例えば、人体表示枠２０２の特徴量について差分（変化）が生じると、顔と人体の相対位置には変化が無いにも関わらず、人体表示枠２０２に包含される顔表示枠２０１が片側にずれて表示されてしまうことがある。
【００１５】
従って、本発明の目的は、被写体に係る顔表示枠と人体表示枠とを表示する際、ユーザにとってこれら領域枠の視認性が良好な画像表示制御装置、撮像装置、表示制御方法、及び制御プログラムを提供することにある。
【００１６】
本発明の他の目的は、フレーム数が経過して、顔領域および人体領域の少なくとも１つの特徴量に変化が生じても、安定して顔表示枠と人体表示枠とを表示することのできる画像表示制御装置、撮像装置、表示制御方法、及び制御プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
上記の目的を達成するため、本発明に係る画像表示制御装置は、被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、前記顔領域の位置を示す第１の表示枠と、前記体領域の位置を示す第２の表示枠を生成する生成手段と、前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、前記生成手段は、前記顔領域のサイズに基づいて前記顔領域を囲むように前記第１の表示枠を生成し、前記顔領域のサイズおよび前記体領域のサイズに基づいて前記体領域のうち前記顔領域を除いた領域を囲むように前記第２の表示枠を生成することを特徴とする。
また、本発明に係る画像表示制御装置は、被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、前記顔領域および前記体領域の少なくともいずれかの回転角度を検出する角度検出手段と、前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成手段と、前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、前記生成手段は、前記顔領域の回転角度に基づいて、前記第１の表示枠を表示する際の角度を設定すること、および前記体領域の回転角度に基づいて、前記第２の表示枠を表示する際の角度を設定することの少なくともいずれかを行い、前記表示制御手段は、前記第１の表示枠に対して前記第２の表示枠が傾いている場合に、前記第１および前記第２の表示枠の重なり合う部分において、前記第１および前記第２の表示枠のいずれかを前記画面に表示しないことを特徴とする。
【００１８】
また、本発明に係る画像表示制御装置は、被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成手段と、前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、前記生成手段は、前記第１の表示枠および前記第２の表示枠の少なくともいずれかを、前記顔領域と前記体領域を比較した結果の履歴に基づいて生成することを特徴とする。
【００１９】
さらに、本発明に係る画像表示制御装置は、被写体を撮影して得られた画像から前記被写体の顔領域と体領域を検出する検出手段と、前記顔領域を囲む第１の表示枠と、前記体領域のうち前記顔領域を除いた領域を囲む第２の表示枠を生成する生成手段と、前記画像とともに前記第１および前記第２の表示枠を画面に表示する表示制御手段とを有し、前記表示制御手段は、前記顔領域のサイズに応じて、前記第１の表示枠を表示するか、あるいは前記第１の表示枠と前記第２の表示枠の両方を表示するかを決定することを特徴とする。
【００２０】
本発明に係る撮像装置は、上記のいずれかの画像表示制御装置と、前記被写体を撮影して得られた画像を生成するための撮像手段を有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、第１および第２の表示枠を表示する際、ユーザにとってこれら領域枠の視認性が良好とすることができる。
【００２２】
また、本発明によれば、フレーム数が経過して、顔領域などの特定領域と人体領域などの残領域との少なくとも１つの特徴量に変化が生じても、安定して第１および第２の表示枠を表示することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施形態による撮像装置の一例を示すブロック図である。
【図２】図１に示す顔検出部によって検出された顔情報（顔検出情報）の第１の例を示す図である。
【図３】図１に示す人体検出部によって検出された人体情報（人体検出情報）の第１の例を示す図である。
【図４】図１に示す表示部に表示される顔表示枠および人体表示枠の一例を示す図である。
【図５】図４に示す顔表示枠および人体表示枠を表示する表示制御を説明するためのフローチャートである。
【図６】図１に示す表示部に表示される顔表示枠および人体表示枠において顔が人体に対してピッチ方向に傾いている際の表示の一例を示す図である。
【図７】本発明の第２の実施形態において、図１に示す顔検出部によって検出された顔情報（顔検出情報）の一例を示す図である。
【図８】本発明の第２の実施形態において、図１に示す人体検出部によって検出された人体情報（人体検出情報）の一例を示す図である。
【図９】本発明の第２の実施形態において、図１に示すシステム制御部で行われる相関演算処理の一例であるブロックマッチングを説明するための図である。
【図１０】本発明の第２の実施形態において、図１に示すシステム制御部で行われる顔表示枠および人体表示枠の生成を説明するための図である。
【図１１】本発明の第２の実施形態において、図１に示すシステム制御部で行われる顔表示枠および人体表示枠の生成の他の例について説明するための図である。
【図１２】本発明の第２の実施形態において、図１に示すシステム制御部で行われる顔表示枠および人体表示枠の生成のさらに他の例について説明するための図である。
【図１３】本発明の第２の実施形態において、図１に示すシステム制御部５０で行われる顔表示枠および人体表示枠の生成のさらに他の例について説明するための図である。
【図１４】本発明の第２の実施形態において、図１に示すシステム制御部で生成された顔表示枠および人体表示枠の表示のさらに他の例を示す図であり、（ａ）は人体が左向きで顔が上向きの際の顔表示枠および人体表示枠の表示を示す図、（ｂ）は人体が右向きで顔が下向きの際の顔表示枠および人体表示枠の表示を示す図である。
【図１５】本発明の第２の実施形態において、図１に示すシステム制御部で行われる顔表示枠の生成処理の他の例を説明するためのフローチャートである。
【図１６】図１５で示す処理によって表示される顔表示枠の一例を示す図であり、（ａ）は顔が後ろ向きである場合の表示の一例を示す図、（ｂ）は顔が後向きである場合の表示の他の例を示す図、（ｃ）は顔が後向きである場合の表示のさらに他の例を示す図である。
【図１７】本発明の第３の実施形態によるカメラの動作を説明するためのフローチャートである。
【図１８】図１７で説明した角度補正処理を詳細に説明するためのフローチャートである。
【図１９】フレーム数の経過による顔／人体の検出角度と顔表示枠／人体表示枠の表示角度との関係を示す図である。
【図２０】フレーム数の経過による顔／人体の検出角度と顔表示枠／人体表示枠の表示角度とを示す図であり、（ａ）は顔および人体の検出角度を示す図、（ｂ）は顔表示枠および人体表示枠の表示角度を示す図である。
【図２１】顔表示枠の表示角度と人体表示枠の表示角度とが等しくなるように補正を行った際の顔表示枠／人体表示枠を示す図であり、（ａ）は角度補正前の顔表示枠／人体表示枠を示す図、（ｂ）は角度補正後の顔表示枠／人体表示枠を示す図である。
【図２２】図１７で説明したサイズ補正処理を詳細に説明するためのフローチャートである。
【図２３】フレーム数の経過による顔／人体の検出サイズと顔表示枠／人体表示枠の表示サイズとの関係を示す図である。
【図２４】フレーム数の経過による顔／人体の検出サイズと顔表示枠／人体表示枠の表示サイズとを示す図であり、（ａ）は顔および人体の検出サイズを示す図、（ｂ）は顔表示枠および人体表示枠の表示サイズを示す図である。
【図２５】図１７に示す位置補正処理を詳細に説明するためのフローチャートである。
【図２６】フレーム数の経過に対する顔／人体の検出位置と顔表示枠／人体表示枠の表示位置との関係を示す図である。
【図２７】フレーム数の経過における顔／人体の検出位置と顔表示枠／人体表示枠の表示位置とを示す図であり、（ａ）は顔および人体の検出位置を示す図、（ｂ）は顔表示枠および人体表示枠の表示位置を示す図である。
【図２８】顔表示枠の表示位置と人体表示位置とが同軸上に配置されるように補正を行った際の顔表示枠／人体表示枠を示す図であり、（ａ）は位置補正前の顔表示枠／人体表示枠を示す図、（ｂ）は位置補正後の顔表示枠／人体表示枠を示す図である。
【図２９】本発明の第４の実施形態によるカメラにおける枠表示の決定処理を説明するためのフローチャートである。
【図３０】図２９における顔検出情報および人体検出情報と閾値との関係に応じた表示枠の表示形態を示す図である。
【図３１】図２９で説明した処理によって表示部に表示される顔表示枠および人体表示枠の一例を示す図である。
【図３２】図２９で説明した処理によって決定された表示および非表示のヒステリシス特性を説明するための図であり、（ａ）は顔表示枠の大きさに基づいて表示枠の決定を行う際の判定条件を示す図、（ｂ）は人体表示枠の大きさに基づいて表示枠の決定を行う際の判定条件を示す図である。
【図３３】図２９および図３２で説明した処理による表示枠の表示および非表示の一例を説明するための図であり、（ａ）は被写体の顔および人体が検出された状態における表示の例を示す図、（ｂ）は顔表示枠の大きさが拡大して閾値を超えた際の表示の例を示す図である。
【図３４】図２９および図３２で説明した処理による表示枠の表示および非表示の他の例を説明するための図であり、（ａ）は顔表示枠の大きさが引き続いて閾値を超えている状態の表示の例を示す図、（ｂ）は人体表示枠が完全に非表示になった瞬間における表示の例を示す図である。
【図３５】従来の顔／人体検出部を備える撮像装置における被写体の顔表示枠および人体表示枠の表示の一例を示す図である。
【図３６】従来の撮像装置において、顔表示枠と人体表示枠を表示し続けた状態でズーム倍率を変えた状態と示す図である。
【図３７】図３５に示す画像においてフレームの経過に応じた被写体の顔表示枠および人体表示枠の表示の一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態に形態よる撮像装置の一例について、図面を参照して説明する。
【００２５】
（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の一例を示すブロック図である。この撮像装置は、後述する画像表示制御装置を有している。
【００２６】
図１を参照して、図示の撮像装置は、例えば、デジタルカメラ１００である。デジタルカメラ（以下、単にカメラと呼ぶ）１００は、フォーカスレンズを含む撮影レンズ１０３を有しており、撮像レンズ１０３の前面側にはバリア１０２が配置されている。また、撮像レンズ１０３の後段には絞り機能を備えるシャッター１０１が配置されている。
【００２７】
撮像レンズ１０３は撮像部２２に光学像を結像する（光学像を入力する）。この撮像部２２はＣＣＤやＣＭＯＳ素子等で構成されている。そして、撮像部２２は光学像を電気信号（アナログ信号）に変換する。このアナログ信号はＡ／Ｄ変換器２３によってデジタル信号に変換される。なお、バリア１０２は撮影レンズ１０３を含む撮像系を覆い、これによって、撮影レンズ１０３、シャッター１０１、および撮像部２２の汚れおよび破損を防止している。
【００２８】
Ａ／Ｄ変換器２３から出力されたデジタル信号はメモリ制御部１５および画像処理部２４に与えられる。画像処理部２４は、Ａ／Ｄ変換器２３から出力されたデジタル信号又はメモリ制御部１５から送られる画像データに対して、画素補間および縮小などのリサイズ処理を行うとともに、色変換処理を行う。
【００２９】
さらに、画像処理部２４は、デジタル信号に応じて所定の演算処理を行い、演算処理の結果得られた演算結果に基づいてシステム制御部５０は露光制御および測距制御を行う。これによって、システム制御部５０はＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理を行う。また、画像処理部２４は、前述の演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も実行する。
【００３０】
Ａ／Ｄ変換器２３から出力されたデジタル信号は画像処理部２４およびメモリ制御部１５を介して、あるいはメモリ制御部１５のみを介してメモリ３２に画像データとして書き込まれる。なお、メモリ３２は、所定枚数の静止画像、所定時間の動画像および音声を格納するための十分な記憶容量を備えている。
【００３１】
メモリ３２は画像表示用のメモリ（ビデオメモリ）としても用いられる。つまり、メモリ３２には表示部２８に表示される画像データが画像表示用データとして格納される、メモリ３２に格納された画像表示用データは、メモリ制御部１５を介してＤ／Ａ変換器１３に送られ、ここでアナログ信号（アナログ画像信号）に変換される。そして、このアナログ信号に応じて表示部２８は画像を表示する。なお、表示部２８は、例えば、ＬＣＤ等の表示器である。
【００３２】
カメラ１００には不揮発性メモリ５６が備えられている。この不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えば、ＥＥＰＲＯＭが用いられる。この不揮発性メモリ５６には、システム制御部５０における動作用の定数およびプログラム等が記憶される。図示の例では、プログラムとは、後述する各種フローチャートを実行するためのプログラムである。
【００３３】
システム制御部５０は、カメラ１００全体の制御を司る。システム制御部５０は不揮発性メモリ５６に記録されたプログラムを実行して、後述する各処理を行う。システムメモリ５２としては、例えば、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０における動作用の定数および変数、そして、不揮発性メモリ５６から読み出したプログラム等が展開される。さらに、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、および表示部２８等を制御して、表示部２８における画像の表示制御を行う。
【００３４】
システム制御部５０には、モード切替スイッチ６０、シャッターボタン６１、第１シャッタースイッチ６２、第２シャッタースイッチ６４、および操作部７０が接続されている。これらはモード切替スイッチ６０、シャッターボタン６１、第１シャッタースイッチ６２、第２シャッタースイッチ６４、および操作部７０からシステム制御部５０に対して各種の動作指示が与えられる。
【００３５】
シャッターボタン６１は撮影指示を行うためのボタンであり、このシャッターボタン６１は第１シャッタースイッチ６２および第２シャッタースイッチ６４を有している。
【００３６】
モード切替スイッチ６０は、システム制御部５０における動作モードを静止画記録モード、動画記録モード、および再生モード等のいずれかに切り替えるためのスイッチである。
【００３７】
第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、つまり、シャッターボタン６１が半押し（撮影準備指示）状態となるとオン（ＯＮ）となる。これによって、第１シャッタースイッチ信号ＳＷ１がシステム制御部５０に与えられる。第１シャッタースイッチ信号ＳＷ１に応答して、システム制御部５０は撮影処理のためのＡＦ処理、ＡＥ処理、オートホワイトバランス（ＡＷＢ）処理、およびＥＦ（フラッシュプリ発光）処理等を開始する。
【００３８】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、つまり、シャッターボタン６１が全押し（撮影指示）状態となるとＯＮとなる。これによって、第２シャッタースイッチ信号ＳＷ２がシステム制御部５０に与えられる。第２シャッタースイッチ信号ＳＷ２に応答して、システム制御部５０は、撮像部２２からアナログ信号を読み出し、記録媒体２００に画像データを書き込むまでの一連の撮影処理を開始する。
【００３９】
例えば、表示部２８に表示される種々の機能アイコンを選択操作すると、操作部７０には、場面毎に適宜機能が割り当てられ、各種機能ボタンとして作用する。これら機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。
【００４０】
例えば、メニューボタンが押されると、各種のメニュー画面が表示部２８に表示される。そして、ユーザは、表示部２８に表示されたメニュー画面と４方向ボタンおよび設定（ＳＥＴ）ボタンとを用いて直感的に各種設定を行うことができる。
【００４１】
カメラ１００は電源制御部８０を有している。この電源制御部８０には電源３０が接続される。電源部３０は、例えば、アルカリ電池又はリチウム電池等の一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池等の二次電池を有するとともに、ＡＣアダプター等を備えている。
【００４２】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路等（ともに図示せず）を備えている。そして、電池制御部８０は、電源部（電池）３０の装着の有無、電池の種類、および電池残量の検出を行う。
【００４３】
また、電源制御部８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要とする電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００４４】
カメラ１００にはインターフェース（Ｉ／Ｆ）１８を介して、不揮発性の記録媒体２００が接続される。この記録媒体２００は、例えば、メモリカード（半導体メモリ）又はハードディスク（磁気ディスク）である。なお、システム制御部５０には電源スイッチ７２が接続され、電源スイッチ７２の操作によって電源オンおよび電源オフの切り替えが行われる。
【００４５】
図示のように、システム制御部５０には顔検出部１０４および人体検出部１０５が接続されている。顔検出部１０４は、メモリ３２に格納された画像データについて被写体に係る顔情報の検出を行う。人体検出部１０５はメモリ３２に格納された画像データについて被写体に係る人体情報の検出を行う。
【００４６】
ところで、カメラ１００においては、所謂中央１点ＡＦ又は顔ＡＦを用いた撮影が可能である。ここで、中央１点ＡＦとは撮影画面においてその中央位置１点に対してＡＦを行うことである。一方、顔ＡＦとは顔検出機能によって検出された撮影画面内の被写体の顔に対してＡＦを行うことである。
【００４７】
ここで、顔検出機能について説明する。システム制御部５０の制御下において、顔検出部１０４は、画像データに対して水平方向バンドパスフィルタを作用させる。続いて、顔検出部１０４は、水平方向バンドパスフィルタ処理された画像データに対して垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタ処理によって、顔検出部１０４は画像データにおいてエッジ成分を検出する。
【００４８】
その後、システム制御部５０の制御下において、顔検出部１０４は、検出されたエッジ成分に関してパターンマッチングを行って、目及び鼻、口、耳の候補群を抽出する。顔検出部１０４は、抽出された目の候補群の中から、予め設定された条件（例えば、２つの目の距離、傾き等）を満たす候補を、目の対と判断する。そして、顔検出部１０４は目の対がある候補のみを目の候補群として絞り込む。
【００４９】
続いて、システム制御部５０の制御下において、顔検出部１０４は、上述のように絞り込んだ目の候補群と当該候補群に対応する顔を形成する他のパーツ（鼻、口、耳）を対応付ける。そして、顔検出部１０４は、予め設定された非顔条件フィルタ処理を行って顔（顔領域：特定領域）を検出する。
【００５０】
このようにして顔の検出を行った後、顔検出部１０４は、顔検出結果に応じて顔情報を出力して、処理を終了する。そして、当該顔情報はシステムメモリ５２に記憶される。なお、顔情報については後述する。
【００５１】
続いて、人体検出機能について説明する。システム制御部５０の制御下において、人体検出部１０５は、画像データに対して水平方向バンドパスフィルタを作用させる。続いて、人体検出部１０５は、水平方向バンドパスフィルタ処理された画像データに対して垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタ処理によって、人体検出部１０５は画像データにおいてエッジ成分を検出する。
【００５２】
その後、システム制御部５０の制御下において、人体検出部１０５は、検出されたエッジ成分に関してパターンマッチングを行って、頭部を含む人体の輪郭形状に相当するか否かを判定して、人体（体領域：残領域）を検出する。このようにして、人体の検出を行った後、人体検出部１０５は、人体の検出結果に応じて人体情報を出力して、処理を終了する。そして、人体情報はシステムメモリ５２に記憶する。なお、人体情報については後述する。
【００５３】
図２は、図１に示す顔検出部１０４によって検出された顔情報（顔検出情報）の一例を示す図である。
【００５４】
図２において、顔検出情報（顔検出領域ともいう）は、顔水平検出位置（Ｘｆ）３０７を有している。この顔水平検出位置（Ｘｆ）３０７は、顔検出対象の画像データにおいて、顔の水平方向における始点となる画素情報を表す。また、顔検出情報は、顔垂直検出位置（Ｙｆ）３０８を有している。この顔垂直検出位置（Ｙｆ）３０８は、顔検出対象の画像データにおいて、顔の垂直方向における始点となる画素情報を表す。
【００５５】
顔水平検出サイズ（Ｈｆ）３０２は、顔検出対象の画像データにおいて、顔の水平方向の大きさを示す画素情報を表す。顔垂直検出サイズ（Ｖｆ）３０３は、顔検出対象の画像データにおいて、顔の垂直方向の大きさを示す画素情報を表す。また、顔ピッチ方向検出角度（Θｆｐ）３０６は、垂直方向に対する顔の傾きを示す角度情報を表す。
【００５６】
図３は、図１に示す人体検出部１０５によって検出された人体情報（人体検出情報）の第１の例を示す図である。
【００５７】
図３において、人体検出情報（人体検出領域ともいう）は、人体水平検出位置（Ｘｂ）３１７を有している。この人体水平検出位置（Ｘｂ）３１７は、人体検出対象の画像データにおいて、人体の水平方向における始点となる画素情報を表す。また、人体検出情報は、人体垂直検出位置（Ｙｂ）３１８を有している。この人体垂直検出位置（Ｙｂ）３１８は、人体検出対象の画像データにおいて、人体の垂直方向における始点となる画素情報を表す。
【００５８】
人体水平検出サイズ（Ｈｂ）３１２は、人体検出対象の画像データにおいて、人体の水平方向の大きさを示す画素情報を表す。人体垂直検出サイズ（Ｖｂ）３１３は、人体検出対象の画像データにおいて、人体の垂直方向の大きさを示す画素情報を表す。また、人体ピッチ方向検出角度（Θｂｐ）３１６は、垂直方向に対する人体の傾きを示す角度情報を表す。
【００５９】
図４は、図１に示す表示部２８に表示される顔表示枠および人体表示枠の一例を示す図である。なお、図４において、図２および図３と同一の構成要素については同一の参照番号を付す。
【００６０】
図２〜図４を参照して、まず、顔表示枠４０１を表示する際には、図２に示す顔水平検出位置（Ｘｆ）３０７および顔垂直検出位置（Ｙｆ）３０８で表す座標（Ｘｆ，Ｙｆ）が始点とされる。そして、水平方向に顔水平検出サイズ（Ｈｆ）３０２、垂直方向に顔垂直検出サイズ（Ｖｆ）３０３の画素数分について枠で囲む。つまり、顔検出情報と一致するように、表示部２８に顔表示枠４０１が表示される。
【００６１】
一方、人体表示枠４０２を表示する際には、人体検出情報を次のように一部変更して、表示部２８に表示する。
【００６２】
人体表示枠４０２を表示する際には、人体水平検出位置（Ｘｂ）３１７が水平方向の始点とされる。一方、垂直方向における始点は、人体垂直表示位置（ＹＢ）４１８とされる。この人体垂直表示位置（ＹＢ）４１８は、顔垂直検出位置（Ｙｆ）３０８に、顔垂直検出サイズ（Ｖｆ）３０３で示すＶｆを加えた位置とする。つまり、ＹＢ＝Ｙｆ＋Ｖｆとする。
【００６３】
さらに、図３に示す人体垂直検出位置（Ｙｂ）３１８と人体垂直検出サイズ（Ｖｂ）とを加算した位置又は垂直座標（Ｙｂ＋Ｖｂ）が人体表示枠４０２の終点とされる。人体表示枠４０２の終点である垂直座標（Ｙｂ＋Ｖｂ）から、人体垂直表示位置（ＹＢ）を減算した位置が人体垂直表示サイズ（ＶＢ）４１３とされる。つまり、ＶＢ＝（Ｙｂ＋Ｖｂ）−ＹＢとなる。
【００６４】
よって、人体表示枠４０２については、人体水平検出位置（Ｘｂ）３１７および人体垂直検出位置（ＹＢ）４１８で示す座標（Ｘｂ，ＹＢ）が始点とされ、水平方向に人体水平検出サイズ（Ｈｂ）３１２、垂直方向に人体垂直検出サイズ（ＶＢ）４１３の画素数分について枠で囲む。
【００６５】
図５は、図４に示す顔表示枠４０１および人体表示枠４０２を表示する表示制御を説明するためのフローチャートである。
【００６６】
図１および図５を参照して、まず、第１のシャッタースイッチ６２がＯＮとなると、システム制御部５０はメモリ３２から画像データを読み込み、当該画像データについて被写体をキャプチャする（ステップＳ５０１）。続いて、被写体について顔検出部１０４が前述のようにして、顔検出を行う（ステップＳ５０２）。
【００６７】
システム制御部５０は、顔検出処理の結果によって、顔（顔領域）が検出されたか否かについて判定する（ステップＳ５０３）。顔が検出されたと判定すると（ステップＳ５０３において、ＹＥＳ）、システム制御部５０は、図４で説明したようにして、顔表示枠４０１によって顔を囲む（ステップＳ５０４）。
【００６８】
続いて、被写体について人体検出部１０５が前述のようにして人体検出を行う（ステップＳ５０５）。システム制御部５０は、人体検出処理の結果によって、人体（領域領域）が検出されたか否かについて判定する（ステップＳ５０６）。人体が検出されたと判定すると（ステップＳ５０６において、ＹＥＳ）、システム制御部５０は、図４で説明したようにして、顔表示枠４０１に隣接させて人体表示枠４０２によって人体（顔を除く）を囲む（ステップＳ５０７）。
【００６９】
次に、システム制御部５０はレリーズされたか否かについて判定する（ステップＳ５０８）。つまり、システム制御部５０は、第２のシャッタースイッチ６４がＯＮとなったか否かについて判定する。レリーズされたと判定すると（ステップＳ５０８において、ＹＥＳ）、システム制御部５０は撮影を実行して（ステップＳ５０９）、処理を終了する。一方、レリーズされないと判定すると（ステップＳ５０８において、ＮＯ）、システム制御部５０は、ステップＳ５０１に戻って処理を続行する。
【００７０】
ステップＳ５０６において、人体が検出されないと判定されると（ステップＳ５０６において、ＮＯ）、処理はステップＳ５０８に進む。
【００７１】
ステップＳ５０３において、顔が検出されなかったと判定されると（ステップＳ５０３において、ＮＯ）、システム制御部５０は人体検出部１０５を制御して、人体検出を行う（ステップＳ５１０）。そして、システム制御部５０は、人体検出処理の結果に応じて、人体が検出されたか否かについて判定する（ステップＳ５１１）。
【００７２】
人体が検出されたと判定すると（ステップＳ５１１において、ＹＥＳ）、システム制御部５０は、頭部を含めて人体表示枠４０２によって人体を囲む（ステップＳ５１２）。つまり、図４で説明したようにして検出された人体検出情報と一致するように、人体表示枠４０２が表示部２８に表示される。その後、処理はステップＳ５０８に進む。
【００７３】
なお、人体が検出されなかったと判定されると（ステップＳ５１１において、ＮＯ）、処理はステップＳ５０８に進む。
【００７４】
図６は、図１に示す表示部２８に表示される顔表示枠４０１および人体表示枠４０２において顔が人体に対してピッチ方向に傾いている際の表示の一例を示す図である。なお、ここでは、人体表示枠４０２の表示位置は、図４に示す例と同一であるとする。
【００７５】
図６において、人物の顔が顔ピッチ方向検出角度（Θｆｐ）３０６傾くと、システム制御部５０は、顔表示枠４０１を顔ピッチ方向検出角度（Θｆｐ）３０６傾けて表示部２８に表示する。この際、顔表示枠４０１の一部が人体表示枠４０２に重なることになるが、当該重なった部分については、顔表示枠４０１は表示されない。このように、顔表示枠（顔表示枠）が人体表示枠（人体表示枠）に対して相対的にピッチ方向に傾くと、重なった部分において顔表示枠は表示されないことになる。
【００７６】
つまり、顔水平表示位置（ＸＦ）６１７および顔垂直表示位置（ＹＦ）６１８で示す座標（ＸＦ，ＹＦ）が始点とされる。そして、水平方向から顔ピッチ方向検出角度（Θｆｐ）３０６だけ傾いた方向に、顔水平検出サイズ（Ｈｆ）３０２、垂直方向から顔ピッチ方向検出角度（Θｆｐ）３０６だけ傾いた方向に顔垂直検出サイズ（Ｖｆ）３０３で示す画素数分を枠で囲む。そして、当該枠が顔表示枠４０１として表示部２８に表示される。この際、人体垂直表示位置（ＹＢ＝Ｙｆ＋Ｖｆ）４１８より大きい垂直座標においては、顔表示枠４０１は表示されない。
【００７７】
なお、ここでは、顔表示枠４０１と人体表示枠４０２の一部が重なった場合に、重なった部分については、顔表示枠４０１が表示されない例をあげて説明を行ったが、重なった部分については、人体表示枠４０２が表示されない構成としてもよい。
【００７８】
以上のように、第１の実施形態によれば、顔検出結果を示す顔表示枠と顔を除く人体検出結果を示す人体表示枠とを、ユーザが視認しやすいように表示することができる。
【００７９】
（第２の実施形態）
続いて、本発明の第２の実施形態による撮像装置の一例について説明する。なお、第２の実施形態によるカメラの構成は図１に示すカメラと同様であるので、説明を省略する。
【００８０】
図７は、図１に示す顔検出部１０４によって検出された顔情報（顔検出情報）の一例を示す図である。図７において、図２に示す例と同一の構成要素については同一の参照番号を付し説明を省略する。本実施形態では、撮像装置は顔領域および人体領域の、ヨー方向角度、ロール方向角度、およびピッチ方向角度を検出する。
【００８１】
図７において、顔ヨー方向検出角度（Θｆｙ）７０４は、顔の水平方向における回転角度（単に回転ともいう）を示す角度情報を表す。顔ロール方向検出角度（Θｆｒ）７０５は、顔の垂直方向における回転角度を示す角度情報を表す。そして、顔ヨー方向検出角度（Θｆｙ）７０４、顔ロール方向検出角度（Θｆｒ）７０５、および顔ピッチ方向検出角度（Θｆｐ）３０６は、集合的に顔検出角度情報８１０と呼ばれる。
【００８２】
図８は、図１に示す人体検出部１０５によって検出された人体情報（人体検出情報）の一例を示す図である。図８において、図３に示す例と同一の構成要素については同一の参照番号を付し説明を省略する。
【００８３】
図８において、人体ヨー方向検出角度８１４は人体の水平方向における回転を示す角度情報を表す。人体ロール方向検出角度８１５は、人体の垂直方向における回転を示す角度情報を表す。そして、人体ヨー方向検出角度８１４、人体ロール方向検出角度８１５、および人体ピッチ方向検出角度３１６は、集合的に人体検出角度情報３２０と呼ばれる。
【００８４】
第２の実施形態においては、カメラ１００は、例えば、撮影画面において、顔検出機能によって検出された顔領域について動きベクトル検出を行い、これによって、被写体の追尾処理を行うことができる。
【００８５】
時系列で連続して撮影する場合、現在および１フレーム前の連続した画像において、被写体領域（顔領域）について動きベクトル検出を行う。そして、動きベクトル検出の結果を被写体領域の移動量とし、被写体領域の位置を逐次修正して、被写体の追尾処理を行う。
【００８６】
これによって、例えば、顔の向きが徐々に後ろ向きになって顔検出ができない状態になっても、頭が存在する領域として追尾することができる。システム制御部５０は、現在および１フレーム前の被写体領域データに対するブロックマッチングなどの相関演算を用いて動きベクトルの量を求める。
【００８７】
図９は、図１に示すシステム制御部５０で行われる相関演算処理の一例であるブロックマッチングを説明するための図である。
【００８８】
図９において、いま、ブロックマッチング対象となる２枚の画像を符号１１０１および１１０２で表す。画像１１０１においてベースブロック１１０３で示される画像領域について、画像１１０２に規定される探索範囲１１０６において当該画像領域に近似する領域の位置（最も近似する位置）を探索する。ここで、最も近似する位置とは、探索領域１１０６の全画素に対してＳＡＤ演算を行った結果、その値（ＳＡＤ値）が最小となる位置をいう。図示の例では、ＳＡＤ値とは、差の絶対値の総和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）をいう。そして、上記の探索によって得られた位置（結像位置）の座標とベースブロック１１０３の座標との差分が動きベクトルとなる。
【００８９】
探索を行う際には、例えば、ベースブロック１１０３を画像１１０２に射影した際その射影イメージを、ベースブロックの射影イメージ１１０５で表すと、ベースブロックの射影イメージ１１０５を中心とした所定の範囲に探索範囲１１０６を規定する。そして、探索範囲１１０６の内側にあって、かつベースブロック１１０３と同一サイズのターゲットブロック１１０４を決定する。
【００９０】
ターゲットブロック１１０４とベースブロック１１０３とをそれぞれ切り出して、ＳＡＤ値を求める。探索範囲１１０６の内側にあり得る全てのターゲットブロック１１０４についてベースブロック１１０３とのＳＡＤ値を求める。そして、これらＳＡＤ値のうち最小のＳＡＤ値が得られたターゲットブロック１１０４の位置を決定して、この位置を結像位置の座標とする。この結像位置の座標とベースブロック１１０３の座標との差分が動きベクトル量となる。
【００９１】
続いて、図１に示すシステム制御部５０で行われる顔表示枠および人体表示枠の生成について説明する。
【００９２】
図１０は、図１に示すシステム制御部５０で行われる顔表示枠および人体表示枠の生成を説明するための図である。
【００９３】
図１０において、顔表示枠１２０１の顔水平表示位置ＸＦおよび顔垂直表示位置ＹＦと顔水平表示サイズＨＦおよび顔垂直表示サイズＶＦは、顔水平検出位置Ｘｆおよび顔垂直検出位置Ｙｆと顔水平検出サイズＨｆおよび顔垂直検出位置Ｖｆとに基づいて決定される。ここでは、ＸＦ＝Ｘｆ、ＹＦ＝Ｙｆ、ＨＦ＝Ｈｆ、ＶＦ＝Ｖｆとする。
【００９４】
破線で示す人体検出領域１２０３は人体水平検出位置Ｘｂおよび人体垂直検出位置Ｙｂと人体水平検出サイズＨｂおよび人体垂直検出サイズＶｂに基づいて得られる。図示のように、人体表示枠１２０２の左下の位置、右下の位置、および幅は人体検出領域１２０３と等しい。人体表示枠１２０２の高さは、顔サイズの高さに基づいて求められる。
【００９５】
図１０に示すように、例えば、顔サイズの高さ（顔垂直表示サイズＶＦ）から、予め規定された固定の比率Ｃ＝ａ／ｂとなるａおよびｂを求める。そして、ａおよびｂに応じて人体表示枠１２０２の上辺の位置ＹＢを求めて、人体表示枠１２０２の高さＶＢを決定する。つまり、ＹＢ＝Ｙｆ＋ａ、ＶＢ＝（Ｙｂ＋Ｖｂ）−ＹＢとなる。さらに人体表示枠１２０２が顔表示枠１２０１に重なって表示されないようにする。図示の例では、顔表示枠１２０１が人体表示枠１２０２の手前側に配置される。
【００９６】
このようにして、システム制御部５０は、顔表示枠１２０１および人体表示枠１２０２を生成して、被写体とともに表示部２８に表示する。
【００９７】
図１１は、図１に示すシステム制御部５０で行われる顔表示枠および人体表示枠の生成の他の例について説明するための図である。
【００９８】
図１１において、ここでは、システム制御部５０は、顔の向きを示すヨー方向の角度θｆｙを用いて顔表示枠および人体表示枠を生成する。
【００９９】
前述したように、システム制御部５０は顔検出情報に基づいて顔表示枠１２０１を生成するとともに、人体検出情報に応じて人体検出領域１２０３を求める。人体表示枠１２０２の幅ＨＢは人体検出領域１２０３の幅Ｈｂに等しい（ＨＢ＝Ｈｂ）。人体表示枠１２０２の垂直位置ＹＢおよび高さＶＢは図１０で説明したようにして求められる。
【０１００】
さらに、システム制御部５０は、前述のようにして、人体表示枠１２０２の水平位置ＸＢを求める（ＸＢ＝Ｘｂ）。そして、ヨー方向の角度θｆｙに応じて、システム制御部５０は、ａ＝Ｒ×ｓｉｎ（θｆｙ）を求める。ここで、Ｒは顔検出情報の幅Ｈｆに応じて決定される。例えば、Ｒは顔検出情報で得られる幅の１／２とされる（Ｒ＝１／２×Ｈｆ）。
【０１０１】
人体表示枠１２０２において、水平方向中央の位置ＸＣＢは、顔表示枠１２０１の水平方向中央位置ＸＣＦよりも、上記のａだけ図中右側に配置される（ＸＣＢ＝ＸＣＦ＋ａ）。ここで、ＸＣＦ＝ＸＦ＋ＨＦ／２である。さらに、システム制御部５０は人体表示枠１２０２の位置ＸＢを、ＸＢ＝ＸＣＢ−ＨＢ／２によって求める。
【０１０２】
そして、システム制御部５０は、上述のようにして生成した顔表示枠１２０１および人体表示枠１２０２を、画像とともに表示部２８に表示する。なお、ここでは顔が左向きの例をあげて説明を行ったが、顔が右向きの場合には、水平方向中央の位置ＸＣＢは、顔表示枠１２０１の水平方向中央位置ＸＣＦよりも、上記のａだけ図中左側に配置される（ＸＣＢ＝ＸＣＦ−ａ）。顔がどちら向きなのかは、人体検出領域と顔検出領域の中心部の位置を比較し、人体検出領域に対して顔検出領域のほうが左側に位置していれば左向き、右側に位置していれば右向きであると判定すればよい。
【０１０３】
上述の例では、顔検出情報に基づいて顔表示枠を生成して、顔検出情報と人体検出情報とに応じて人体表示枠を生成する例について説明したが、顔表示枠についても顔検出情報のみでなく、人体検出情報も用いて生成するようにしてもよい。
【０１０４】
図１２は、図１に示すシステム制御部５０で行われる顔表示枠および人体表示枠の生成のさらに他の例について説明するための図である。
【０１０５】
図１２において、ここでは、システム制御部５０は、顔の向きを示すヨー方向の角度θｆｙを用いて顔表示枠および人体表示枠を生成する。
【０１０６】
システム制御部５０は、顔検出情報に応じて顔検出領域１６０１を求めるとともに、図１０又は図１１で説明したようにして、人体検出情報に応じて人体表示枠１２０２を生成する。顔検出情報から得られたヨー方向の角度θｆｙに基づいて、システム制御部５０は顔検出領域１６０１を３次元空間において枠を回転して、得られた枠を２次元に写像して、顔表示枠１２０１を生成する。そして、システム制御部５０は、上述のようにして生成した顔表示枠１２０１および人体表示枠１２０２を、画像とともに表示部２８に表示する。
【０１０７】
図１３は、図１に示すシステム制御部５０で行われる顔表示枠および人体表示枠の生成のさらに他の例について説明するための図である。
【０１０８】
図１３において、ここでは、システム制御部５０は、顔の向きを示すヨー方向の角度Θｆｙおよび人体の向きを示すヨー方向の角度Θｂｙを用いて顔表示枠および人体表示枠を生成する。
【０１０９】
システム制御部５０は、図１２で説明したようにして、顔表示枠１２０１を生成する。さらに、システム制御部５０は、図１０で説明したようにして、人体検出領域１２０３を生成する。人体検出情報から得られたヨー方向の角度θｂｙに基づいて、システム制御部５０は、人体検出領域１２０３を３次元空間で回転させて枠を生成する。そして、システム制御部５０は当該枠を２次元に写像して人体表示枠１２０２を生成する。
【０１１０】
この際、システム制御部５０は、人体表示枠１２０２について顔表示枠１２０１と重なった部分は表示しないようにする。この結果、顔表示枠１２０１は人体表示枠１２０２の手前に配置されて表示されることになる。
【０１１１】
そして、システム制御部５０は、上述のようにして生成した顔表示枠１２０１および人体表示枠１２０２を、画像とともに表示部２８に表示する。
【０１１２】
上述の例では、顔の位置、サイズ、およびヨー方向の角度θｆｙ、そして、人体の位置、サイズ、およびヨー方向の角度θｂｙに基づいて、顔表示枠および人体表示枠を生成した。同様にして、顔のロールおよびピッチ方向の角度θｆｒおよびθｆｐを用いて顔表示枠を生成することができる。さらには、人体のロールおよびピッチ方向の角度θｂｒおよびθｂｐを用いて人体表示枠を生成することもできる。
【０１１３】
図１４は、図１に示すシステム制御部５０で生成された顔表示枠および人体表示枠の表示のさらに他の例を示す図である。そして、図１４（ａ）は人体が左向きで顔が上向きの際の顔表示枠および人体表示枠の表示を示す図であり、図１４（ｂ）は人体が右向きで顔が下向きの際の顔表示枠および人体表示枠の表示を示す図である。
【０１１４】
図１４において、システム制御部５０は、顔の水平検出位置Ｘｆ、垂直検出位置Ｙｆ、水平検出サイズＨｆ、垂直検出サイズＶｆ、ヨー方向検出角度θｆｙ、ロール方向検出角度θｆｒ、およびピッチ方向角θｆｐと、人体の水平検出位置Ｘｂ、垂直検出位置Ｙｂ、水平検出サイズＨｂ、垂直検出サイズＶｂ、ヨー方向検出角度θｂｙ、ロール方向検出角度θｂｒ、およびピッチ方向検出角度θｂｐに基づいて顔表示枠１２０１および人体表示枠１２０２を生成する。そして、システム制御部５０はこれら顔表示枠１２０１および人体表示枠１２０２を、画像とともに表示部２８に表示する。
【０１１５】
この際、人体が左向きで顔が上向きであれば、図１４（ａ）に示すように、顔表示枠１２０１および人体表示枠１２０２が表示部２８に表示される。一方、人体が右向きで顔が下向きであると、図１４（ｂ）に示すように、顔表示枠１２０１および人体表示枠１２０２が表示部２８に表示される。
【０１１６】
このようにして、顔表示枠および人体表示枠を生成して表示すると、ユーザに対して被写体の顔および人体の位置、サイズ、および角度をわかりやすく、しかも直感的に理解できるに表示することができる。
【０１１７】
ここで、顔の向きが徐々に後ろ向きになった際の顔表示枠について説明する。
【０１１８】
後ろ向きとなって、顔検出ができなくなったとしても、前述したように、顔検出領域について動きベクトル検出を用いて追尾処理を行えば、後ろ向きの頭部領域を検出することができる。また、頭部（つまり、後ろ向きの顔）に関して、そのヨー方向検出角度θｆｙ、ロール方向検出角度θｆｒ、およびピッチ方向検出角度θｆｐについても追尾処理結果から推定して求めることができる。
【０１１９】
図１５は、図１に示すシステム制御部５０で行われる顔表示枠の生成処理の他の例を説明するためのフローチャートである。ここでは、顔が後ろ向きである場合の生成処理について説明する。
【０１２０】
図１および図１５を参照して、顔表示枠生成が開始されると、システム制御部５０は、顔に関するヨー方向検出角度Θｆｙが−９０°以上９０°以下（予め規定された角度範囲）であるか否かについて判定する（ステップＳ２１０１）。ヨー方向検出角度Θｆｙが−９０°以上９０°以下であると（ステップＳ２１０１において、ＹＥＳ）、システム制御部５０は、顔表示枠を実線（第１の表示形態）で表示すると決定する（ステップＳ２１０２）。続いて、システム制御部５０は顔表示枠を人体表示枠よりも手前に表示すると決定するとともに、顔表示枠の領域においては人体表示枠を表示しないと決定する（ステップＳ２１０３）。そして、システム制御部５０は処理を終了する。
【０１２１】
一方、ヨー方向検出角度Θｆｙが−９０°以上９０°以下でないと（ステップＳ２１０１において、ＮＯ）、システム制御部５０は、顔表示枠を破線（第１の表示形態と異なる第２の表示形態）で表示すると決定する（ステップＳ２１０４）。続いて、システム制御部５０は顔表示枠を人体表示枠よりも後側に表示すると決定するとともに、顔表示枠の領域においても人体表示枠を表示すると決定する（ステップＳ２１０５）。そして、システム制御部５０は処理を終了する。
【０１２２】
上述の例では、顔表示枠を実線又は破線で表示することによって、顔の向きが前向きであるか又は後ろ向きであるかを示すようした。他にも、例えば、顔表示枠の線の太さ、線の濃さ（濃淡）、又は線の色などを用いて、顔の向きが前向きであるか又は後ろ向きであるかを示すようしてもよい。
【０１２３】
図１６は、図１５で示す処理によって表示される顔表示枠の一例を示す図である。そして、図１６（ａ）は顔が後ろ向きである場合の表示の一例を示す図であり、図１６（ｂ）は顔が後向きである場合の表示の他の例を示す図である。また、図１６（ｃ）は顔が後向きである場合の表示のさらに他の例を示す図である。
【０１２４】
図１６（ａ）においては、顔が後ろ向きであると、顔表示枠１２０１は破線で表示される。図１６（ｂ）においては、顔が後ろ向きであると、顔表示枠１２０１は人体表示枠１２０２よりも細い細線で表示される。また、図１６（ｃ）においては、顔が後ろ向きであると、顔表示枠１２０１は人体表示枠１２０２とは異なる色の線で描画される。例えば、人体表示枠１２０２は濃い色の線で描かれ、顔表示枠１２０１は薄い色の線で描かれる。そして人体表示枠１２０２と顔表示枠１２０１が交差する点においては、人体表示枠１２０２を示す濃い色の線が描かれる。
【０１２５】
このようにして、顔が後ろ向きとなっている際には、顔が前向きとなっている場合の顔表示枠と比べてその表現形態を変更するようにしたので、被写体像が小さくても、ユーザは容易に顔が前向きであるか又は後ろ向きであるかを把握することができる。
【０１２６】
以上のように、第２の実施形態によれば、顔の位置、大きさ、および角度、そして、人体の位置、大きさ、および角度に応じて顔表示枠および人体表示枠を表示するようにしたので、視認性を向上させることができる。この結果、ユーザは顔および人体を直感的に把握することができる。
【０１２７】
（第３の実施形態）
次に、本発明の第３の実施形態による撮像装置の一例について説明する。なお、第３の実施形態によるカメラの構成は図１に示すカメラと同様であるので、説明を省略する。
【０１２８】
第３の実施形態によるカメラでは、前述の図７および図８で説明したようにして、システム制御部５０は顔検出情報および人体検出情報を求める。そして、第３の実施形態によるカメラでは、これら顔検出情報および人体検出情報から得られる顔表示情報および人体表示情報に基づいて表示部２８に顔表示枠および人体表示枠を表示する。
【０１２９】
なお、第３の実施形態においては、顔表示枠は被写体の顔（顔領域）を囲む矩形状の枠であり、人体表示枠は顔領域を含めて被写体全体を囲む枠であるものとする。
【０１３０】
続いて、第３の実施形態によるカメラ１００の動作について説明する。
【０１３１】
図１７は、本発明の第３の実施形態によるカメラの動作を説明するためのフローチャートである。
【０１３２】
図１および図１７を参照して、撮影が行われると、システム制御部５０は、Ａ／Ｄ変換部２３から読み出したデジタル信号を画像データとして、メモリ制御部１５を介してメモリ３２に記憶する（ステップＳ２３０１）。続いて、システム制御部５０は、メモリ３２から画像データを読み出して、顔検出部１０４に転送する。そして、前述したようにして、顔検出部１０４は画像データにおいて被写体の顔検出を行って、システム制御部５０に顔検出情報を送る（ステップＳ２３０２）。システム制御部５０は、当該顔検出情報をシステムメモリ（記憶手段）５２に記憶する。
【０１３３】
次に、システム制御部５０は、メモリ３２から画像データを読み出して、人体検出部１０５に転送する。そして、前述したようにして、人体検出部１０５は画像データにおいて被写体の人体検出を行って、システム制御部５０に人体検出情報を送る（ステップＳ２３０３）。システム制御部５０は、当該人体検出情報を、顔検出情報に関連付けてシステムメモリ５２に記憶する。
【０１３４】
続いて、システム制御部５０は、システムメモリ５２に顔検出情報および人体検出情報に関する履歴を示す履歴情報が格納されているか否かについて判定する（ステップＳ２３０４）。履歴情報がシステムメモリ５２に格納されていると（ステップＳ２３０４において、ＹＥＳ）、システム制御部５０は、当該履歴情報を用いて、後述するように、顔検出角度情報および人体検出角度情報について補正処理を行う（角度補正処理：ステップＳ２３０５）。
【０１３５】
角度補正処理が終了すると、システム制御部５０は、履歴情報を用いて、後述するように、顔検出サイズ情報および人体検出サイズ情報について補正処理を行う（サイズ補正処理：ステップＳ２３０６）。サイズ補正処理が終了すると、システム制御部５０は、さらに履歴情報を用いて、後述するように、顔検出位置情報および人体検出位置情報について補正処理を行う（位置補正処理：ステップＳ２３０７）。
【０１３６】
システム制御部５０は補正結果に応じて顔表示情報および人体表示情報を求めて、補正後の顔表示情報および人体表示情報としてシステムメモリ５２に一旦格納する。
【０１３７】
続いて、システム制御部５０は、補正後の顔表示情報および人体表示情報をシステムメモリ５２から読み出す。そして、システム制御部５０は、補正後の顔表示情報および人体表示情報に基づいて顔表示枠および人体表示枠（被写体表示枠）を生成して、画像とともに表示部２８に表示する（ステップＳ２３０８）。
【０１３８】
その後、システム制御部５０は、ステップＳ２３０２で得た顔検出情報を顔検出情報に係る履歴（顔履歴）とし、ステップＳ２３０３で得た人体検出情報に係る履歴（人体履歴）とする。そして、システム制御部５０はこれら顔履歴および人体履歴を履歴情報としてシステムメモリ５２に記憶し、履歴情報の更新を行う（ステップＳ２３０９）。
【０１３９】
続いて、システム制御部５０は、ユーザによる操作部７０の操作又は電源スイッチ７２の操作に基づいて、処理を継続するか否かについて判定する（ステップＳ２３１０）。処理を継続すると判定すると（ステップＳ２３１０において、ＹＥＳ）、システム制御部５０はステップＳ２３０１に戻って処理を継続する。一方、処理を継続しないと判定すると（ステップＳ２３１０において、ＮＯ）、システム制御部５０は表示処理を終了する。
【０１４０】
ステップＳ２３０４において、履歴情報がシステムメモリ５２に格納されていないと（ステップＳ２３０４において、ＮＯ）、システム制御部５０は、ステップＳ２３０２およびＳ２３０３で得た顔検出情報および人体検出情報に応じて、顔表示枠および人体表示枠を生成する。そして、システム制御部５０は当該顔表示枠および人体表示枠を、画像とともに表示部２８に表示する（ステップＳ２３１１）。その後、システム制御部５０はステップＳ２３０８に移行して、履歴情報の更新を行う。
【０１４１】
図１８は、図１７で説明した角度補正処理を詳細に説明するためのフローチャートである。
【０１４２】
図１および図１８を参照して、角度補正処理を開始すると、システム制御部５０は履歴情報に基づいて、システム制御部５０は角度補正の対象となる枠の種別を判定する（ステップＳ２４０１）。システム制御部５０は、履歴情報を参照し、顔表示枠と人体表示枠のうち、最新の検出角度情報とその直前に得られた検出角度情報との差分が大きいと判定されたほうの枠を、角度補正の対象として選択する。角度補正の対象となる枠の種別が顔表示枠であると（ステップＳ２４０１において、顔表示枠）、システム制御部５０は、顔履歴および人体履歴を用いて、次の式（１）に基づいて人体の角度を基点として顔の相対角度（Ｒθｙｎ，Ｒθｒｎ，Ｒθｐｎ）を求める（ステップＳ２４０２）。
【０１４３】
【数１】
0005814557.tif 000002
【０１４４】
ここで、θｆｙｎは、図１７に示すステップＳ２３０２において、顔検出部１０４によって検出されたｎ（ｎは１以上の整数）フレーム目の画像データにおける顔ヨー方向検出角度を示す。
【０１４５】
θｆｒｎは、同様に、顔検出部１０４によって検出されたｎフレーム目（現フレーム）の画像データにおける顔ロール方向検出角度を示す。また、θｆｐｎは、顔検出部１０４によって検出されたｎフレーム目の画像データにおける顔ピッチ方向検出角度を示す。
【０１４６】
θｂｙｎは、ステップＳ２３０３において、人体検出部１０５によって検出されたｎフレーム目の画像データにおける人体ヨー方向検出角度を示す。θｂｒｎは、同様に、人体検出部１０５によって検出されたｎフレーム目の画像データにおける人体ロール方向検出角度を示す。そして、θｂｐｎは、人体検出部１０５によって検出されたｎフレーム目の画像データにおける人体ピッチ方向検出角度を示す。
【０１４７】
続いて、システム制御部５０は、ステップＳ２４０２で求めた顔相対角度を履歴間で平均して、顔相対角度の高周波成分を取り除く（ステップＳ２４０３）。ｎフレーム目の画像データにおいて、高周波成分を取り除いた顔相対角度（Ｔｅｍｐθｆｙｎ，Ｔｅｍｐθｆｒｎ，Ｔｅｍｐθｆｐｎ）は、次の式（２）によって求められる。
【０１４８】
【数２】
0005814557.tif 000003
【０１４９】
なお、上述の例では、顔相対角度の履歴間の平均を用いて、顔相対角度の高周波成分を取り除くようにしたが、顔相対角度の履歴を用いて高周波成分を取り除くという処理であれば、その他の手法を用いるようにしてもよい。
【０１５０】
次に、システム制御部５０は、高周波成分を取り除いた顔相対角度（Ｔｅｍｐθｆｙｎ，Ｔｅｍｐθｆｒｎ，Ｔｅｍｐθｆｐｎ）を顔表示枠（顔表示枠）の仮角度として、システムメモリ５２に記憶する（ステップＳ２４０４）。
【０１５１】
システム制御部５０は、図１７のステップＳ２３０３で得た人体検出角度情報と、システムメモリ５２に記憶された顔表示枠の仮角度との差分を求める。そして、システム制御部５０は、当該差分と不揮発性メモリ５６に記憶された閾値（予め設定された閾値）とを比較する。ここでは、システム制御部５０は差分（相対的角度）が閾値（角度閾値）よりも小さいか否かについて判定する（ステップＳ２４０５）。
【０１５２】
差分が閾値より小さいと（ステップＳ２４０５において、ＹＥＳ）、システム制御部５０は、顔表示枠の表示角度と人体表示枠の表示角度とが等しくなるように、顔表示角度情報および人体表示角度情報を決定する（ステップＳ２４０６）。そして、システム制御部５０は、決定した顔表示角度情報および人体表示角度情報を補正結果としてシステムメモリ５２に記憶する。その後、システム制御部５０は図１７に示すステップＳ２３０６に進む。
【０１５３】
顔表示角度情報および人体表示角度情報を、人体検出角度情報と顔表示枠の仮角度との平均値に補正する際には、ｎフレーム目の画像データにおける顔表示角度情報（θＦｙｎ，θＦｒｎ，θＦｐｎ）は、次の式（３）によって算出される。また、ｎフレーム目の画像データにおける人体表示角度情報（θＢｙｎ，θＢｒｎ，θＢｐｎ）は、次の式（４）によって算出される。
【０１５４】
【数３】
0005814557.tif 000004
【０１５５】
上述の例では、顔表示角度情報および人体表示角度情報を、人体検出角度情報と顔表示枠の仮角度との平均値に補正したが、顔表示枠の表示角度および人体表示枠の表示角度が等しくなるように補正すれば、その他の手法を用いるようにしてもよい。
【０１５６】
差分が閾値以上であると（ステップＳ２４０５において、ＮＯ）、システム制御部５０は、図１７のステップＳ２３０３で得た人体検出角度情報を人体表示角度情報として決定するとともに、顔表示枠の仮角度からの絶対角度を顔表示角度情報として決定する（ステップＳ２４０７）。そして、システム制御部５０は、決定した顔表示角度情報および人体表示角度情報を補正結果としてシステムメモリ５２に記憶する。その後、システム制御部５０は図１７に示すステップＳ２３０６に進む。
【０１５７】
ｎフレーム目の画像データにおける顔表示角度情報（θＦｙｎ，θＦｒｎ，θＦｐｎ）は、次の式（５）によって算出される。また、ｎフレーム目の画像データにおける人体表示角度情報（θＢｙｎ，θＢｒｎ，θＢｐｎ）は、次の式（６）によって算出される。
【０１５８】
【数４】
0005814557.tif 000005
【０１５９】
ステップＳ２４０１において、角度補正の対象となる枠の種別が人体表示枠であると（ステップＳ２４０１において、人体表示枠）、システム制御部５０は、ステップＳ２４０２で説明した手法と同様の手法で顔の角度を基点として人体の相対角度を算出する（ステップＳ２４０８）。その後、システム制御部５０はステップＳ２４０３に進み、高周波成分を除去する。
【０１６０】
ここで、フレーム数の経過による顔／人体の検出角度と顔表示枠／人体表示枠の表示角度との関係を比較する。
【０１６１】
図１９は、フレーム数の経過による顔／人体の検出角度と顔表示枠／人体表示枠の表示角度との関係を示す図である。
【０１６２】
図１９において、符号２５０１で示すグラフ（破線）は、図１７のステップＳ２３０２で得られた顔ピッチ方向検出角度の変化量を示す。また、符号２５０２で示すグラフ（破線）は、図１８のステップＳ２４０６又はＳ２４０７において補正された顔ピッチ方向表示角度の変化量を示す。さらに、符号２５０３で示すグラフ（実線）は、図１７のステップＳ２３０３で得られた人体ピッチ方向検出角度３１６の変化量を示す。そして、符号２５０４で示すグラフ（実線）は、図１８のステップＳ２４０６又はＳ２４０７において補正された人体ピッチ方向表示角度の変化量を示す。
【０１６３】
図１９に示すように、符号２５０１で示す顔ピッチ方向検出角度の変化量に比べて、符号２５０２で示す顔ピッチ方向表示角度の変化量は少ない。つまり、顔ピッチ方向検出角度のばらつきに伴う顔ピッチ方向表示角度のばらつきが抑制されている。なお、顔ヨー方向表示角度および顔ロール方向表示角度においても同様の効果が得られる。
【０１６４】
図２０は、フレーム数の経過による顔／人体の検出角度と顔表示枠／人体表示枠の表示角度とを示す図である。そして、図２０（ａ）は顔および人体の検出角度を示す図であり、図２０（ｂ）は顔表示枠および人体表示枠の表示角度を示す図である。
【０１６５】
図２０（ｂ）では、顔表示枠および人体表示枠の表示角度について、図１７のステップＳ２３０８において表示部２８に表示される顔表示枠および人体表示枠のフレーム数の経過に対する表示状態の推移が示されている。図２０に示すように、顔および人体の検出角度の変化に対して、顔表示枠および人体表示枠の表示角度は安定していることが分かる。
【０１６６】
図２１は、顔表示枠の表示角度と人体表示枠の表示角度とが等しくなるように補正を行った際の顔表示枠／人体表示枠を示す図である。そして、図２１（ａ）は角度補正前の顔表示枠／人体表示枠を示す図であり、図２１（ｂ）は角度補正後の顔表示枠／人体表示枠を示す図である。
【０１６７】
図２１（ａ）において、被写体はほぼ正面を向いており、角度補正前の顔表示枠２７２１におけるピッチ方向検出角度２７２３と角度補正前の人体表示枠２７２２におけるピッチ方向検出角度２７２４との差分（角度の差分）は小さくなる。ところが、角度補正前の顔表示枠２７２１と角度補正前の人体表示枠２７２２とにおいて角度の差分に伴って、表示上のずれ（枠角度のずれ）が発生する。このため、ユーザにとって枠の視認性が悪くなる。
【０１６８】
一方、角度の差分が小さい場合において、角度補正前の顔表示枠２７２１におけるピッチ方向検出角度２７２３と角度補正前の人体表示枠２７２２におけるピッチ方向検出角度２７２４との平均値を顔表示枠／人体表示枠におけるピッチ方向補正角度２７２５とする。そして、顔表示枠／人体表示枠におけるピッチ方向補正角度２７２５に基づいて、角度補正後の顔表示枠２７２６および人体表示枠２７２７を画面上に配置する。この結果、図２１（ｂ）に示すように、角度の差分が小さい場合において、枠角度のずれを防止することができ、ユーザにとって枠の視認性が向上する。
【０１６９】
図２２は、図１７で説明したサイズ補正処理を詳細に説明するためのフローチャートである。
【０１７０】
図１および図２２を参照して、サイズ補正処理を開始すると、システム制御部５０は、システムメモリ５２から読み込んだ顔履歴および人体履歴を用いて、次の式（７）に基づいて顔の大きさ（サイズ）に対する人体の大きさの比率（ＰＨｎ，ＰＶｎ）を算出する（ステップＳ２８０１）。
【０１７１】
【数５】
0005814557.tif 000006
【０１７２】
ここで、Ｈｆｎは、図１７のステップＳ２３０２で得られたｎフレーム目の画像データにおける顔水平検出サイズを示す。また、Ｖｆｎは、ｎフレーム目の画像データにおける顔垂直検出サイズ３０３を示す。
【０１７３】
さらに、Ｈｂｎは、図１７のステップＳ２３０３で得られたｎフレーム目の画像データにおける人体水平検出サイズを示す。また、Ｖｂｎは、ｎフレーム目の画像データにおける人体垂直検出サイズ３１３を示す。
【０１７４】
続いて、システム制御部５０は、角度補正処理と同様に、履歴情報に応じて補正対象となる枠の種別を決定する（ステップＳ２８０２）。補正対象となる枠の種別が人体表示枠であると（ステップＳ２８０２において、人体表示枠）、システム制御部５０は、顔の大きさに対する人体の大きさの比率を履歴間で平均して、人体の大きさに係る高周波成分を取り除く（ステップＳ２８０３）。ｎフレーム目の画像データにおいて高周波成分を取り除いた人体の大きさ（ＴｅｍｐＨｂｎ，ＴｅｍｐＶｂｎ）は、次の式（８）によって算出される。
【０１７５】
【数６】
0005814557.tif 000007
【０１７６】
なお、上記の例では、顔の大きさに対する人体の大きさの比率を履歴間で平均して、人体の大きさの高周波成分を取り除くようにしたが、比率の履歴を用いて高周波成分を取り除くという処理であれば、その他の手法を用いるようにしてもよい。
【０１７７】
補正対象となる枠の種別が顔表示枠であると（ステップＳ２８０２において、顔表示枠）、システム制御部５０は、ステップＳ２８０３で説明した手法と同様の手法によって、顔の大きさに係る高周波成分を取り除く（ステップＳ２８０４）。
【０１７８】
続いて、システム制御部５０は、顔検出サイズ情報を顔表示サイズ情報と決定し、高周波成分を取り除いた人体の大きさを人体表示サイズ情報として決定する（枠の表示サイズ決定：ステップＳ２８０５）。そして、システム制御部５０は顔表示サイズ情報および人体表示サイズ情報を補正結果としてシステムメモリ５２に記憶する。その後、システム制御部５０は、図１７のステップＳ２３０７に進む。
【０１７９】
ｎフレーム目の画像データにおける顔表示サイズ情報（ＨＦｎ，ＶＦｎ）は、次の式（９）によって算出される。また、ｎフレーム目の画像データにおける人体表示サイズ情報（ＨＢｎ，ＶＢｎ）は、次の式（１０）によって算出される。
【０１８０】
【数７】
0005814557.tif 000008
【０１８１】
ここで、フレーム数の経過による顔／人体の検出サイズと顔表示枠／人体表示枠の表示サイズとの関係を比較する。
【０１８２】
図２３は、フレーム数の経過による顔／人体の検出サイズと顔表示枠／人体表示枠の表示サイズとの関係を示す図である。
【０１８３】
図２３において、符号２９０１で示すグラフは、顔水平検出サイズの変化量を示す。符号２９０２で示すグラフは、補正後の顔水平表示サイズの変化量を示す。また、符号２９０３で示すグラフは、人体水平検出サイズの変化量を示す。そして、符号２９０４で示すグラフは、補正後の人体水平表示サイズの変化量を示す。
【０１８４】
図２１に示すように、符号２９０３で示す人体水平検出サイズの変化量に比べて、符号２９０４で示す人体水平表示サイズの変化量は少ない。つまり、人体水平検出サイズのばらつきに伴う人体水平表示サイズのばらつきが抑制されていることになる。そして、人体垂直表示サイズにおいても同様の効果が得られる。
【０１８５】
図２４は、フレーム数の経過による顔／人体の検出サイズと顔表示枠／人体表示枠の表示サイズとを示す図である。そして、図２４（ａ）は顔および人体の検出サイズを示す図であり、図２４（ｂ）は顔表示枠および人体表示枠の表示サイズを示す図である。
【０１８６】
図２４（ｂ）では、顔表示枠および人体表示枠の表示サイズについて、表示部２８に表示される顔表示枠および人体表示枠のフレーム数の経過における表示状態の推移が示されている。図２４に示すように、顔および人体の検出サイズの変化に対して、顔表示枠および人体表示枠の表示サイズは安定していることが分かる。
【０１８７】
図２５は、図１７に示す位置補正処理を詳細に説明するためのフローチャートである。
【０１８８】
図１および図２５を参照して、位置補正処理が開始されると、システム制御部５０はシステムメモリ５２から読み込んだ顔履歴および人体履歴を用いて、次の式（１１）に基づいて顔の重心（ＧＸｆｎ，ＧＹｆｎ）を算出する（ステップＳ３１０１）。
【０１８９】
【数８】
0005814557.tif 000009
【０１９０】
ここで、Ｘｆｎは、図１７のステップＳ２３０２で得られたｎフレーム目の画像データにおける顔水平検出位置を示す。Ｙｆｎは、ｎフレーム目の画像データにおける顔垂直検出位置を示す。また、Ｈｆｎは、ｎフレーム目の画像データにおける顔水平検出サイズを示す。そして、Ｖｆｎは、ｎフレーム目の画像データにおける顔垂直検出サイズを示す。
【０１９１】
同様にして、人体の重心（ＧＸｂｎ，ＧＹｂｎ）は、次の式（１２）に基づいて算出される。
【０１９２】
【数９】
0005814557.tif 000010
【０１９３】
ここで、Ｘｂｎは、図１７のステップＳ２３０３で得られたｎフレーム目の画像データにおける人体水平検出位置を示す。Ｙｂｎは、ｎフレーム目の画像データにおける人体垂直検出位置を示す。また、Ｈｂｎは、ｎフレーム目の画像データにおける人体水平検出サイズを示す。そして、Ｖｂｎは、ｎフレーム目の画像データにおける人体垂直検出サイズを示す。
【０１９４】
続いて、システム制御部５０は、角度補正処理と同様に、履歴情報に応じて補正対象となる枠の種別を決定する（ステップＳ３１０２）。補正対象となる枠の種別が人体表示枠であると（ステップＳ３１０２において、人体表示枠）、システム制御部５０は、ステップＳ３１０１で求めた顔の重心（ＧＸｆｎ，ＧＹｆｎ）および人体の重心（ＧＸｂｎ，ＧＹｂｎ）を用いて、式（１３）に基づいて顔の位置を基点とする人体の相対位置である人体相対位置（ＲＸｎ，ＲＹｎ）を算出する（ステップＳ３１０３）。
【０１９５】
【数１０】
0005814557.tif 000011
【０１９６】
続いて、システム制御部５０は、人体相対位置を履歴間で平均して、人体相対位置の高周波成分を取り除く（ステップＳ３１０４）。ｎフレーム目の画像データにおける高周波成分を取り除いた人体相対位置（ＴｅｍｐＸｂｎ，ＴｅｍｐＹｂｎ）は、次の式（１４）によって算出される。
【０１９７】
【数１１】
0005814557.tif 000012
【０１９８】
なお、上述の例では、人体相対位置の履歴間の平均を用いて、人体相対位置の高周波成分を取り除くようにしたが、人体相対位置の履歴を用いて高周波成分を取り除くという処理であれば、その他の手法を用いるようにしてもよい。
【０１９９】
次に、システム制御部５０は、高周波成分を取り除いた人体相対位置（ＴｅｍｐＸｂｎ，ＴｅｍｐＹｂｎ）を人体表示枠の仮位置として、システムメモリ５２に記憶する（ステップＳ３１０５）。
【０２００】
続いて、システム制御部５０は、顔の重心とシステムメモリ５２に記憶された人体表示枠の仮位置との差分を求めて、不揮発性メモリ５６に記憶された閾値（予め設定された閾値）と比較する。つまり、システム制御部５０は当該差分が閾値用も小さいか否かについて判定する（ステップＳ３１０６）。
【０２０１】
差分が閾値より小さいと（ステップＳ３１０６において、ＹＥＳ）、システム制御部５０は、顔表示枠および人体表示枠の表示位置が同軸上に配置されるように、顔表示位置情報および人体表示位置情報を決定する（ステップＳ３１０７）。そして、システム制御部５０は、当該顔表示位置情報および人体表示位置情報を補正結果としてシステムメモリ５２に記憶して、図１７に示すステップＳ２３０８に進む。
【０２０２】
顔の重心と人体表示枠の仮位置の平均値を用いて、水平方向に対して同軸上に配置されるように補正を行う場合、ｎフレーム目の画像データにおける顔表示位置情報（ＸＦｎ，ＹＦｎ）は、次の式（１５）によって算出される。また、ｎフレーム目の画像データにおける人体表示位置情報（ＸＢｎ，ＹＢｎ）は、次の式（１６）によって算出される。
【０２０３】
【数１２】
0005814557.tif 000013
【０２０４】
なお、上述の例では、顔の重心と人体表示枠の仮位置の平均値を用いて、水平方向に対して同軸上に配置されるように補正を行ったが、顔表示枠および人体表示枠が同軸上に配置されるようにすれば、その他の手法を用いるようにしてもよい。
【０２０５】
差分が閾値以上であると（ステップＳ３１０６において、ＮＯ）、システム制御部５０は、図１７のステップＳ２３０２で得られた顔検出位置情報を顔表示位置情報と決定し、さらに、システムメモリ５２に記憶された人体表示枠の仮位置からの絶対位置を人体表示位置情報として決定する（ステップＳ３１０８）。そして、システム制御部５０は、当該顔表示位置情報および人体表示位置情報を補正結果としてシステムメモリ５２に記憶して、図１７のステップＳ２３０８に進む。
【０２０６】
ｎフレーム目の画像データにおける顔表示位置情報（ＸＦｎ，ＹＦｎ）は、次の式（１７）によって算出される。また、ｎフレーム目の画像データにおける人体表示位置情報（ＸＢｎ，ＹＢｎ）は、次の式（１８）によって算出される。
【０２０７】
【数１３】
0005814557.tif 000014
【０２０８】
ステップＳ３１０２において、補正対象となる枠の種別が顔表示枠であると（ステップＳ２４０１において、顔表示枠）、システム制御部５０は、ステップＳ３１０３で説明した手法と同様の手法で、人体の位置を基点とする顔の相対位置である顔相対位置を算出する（ステップＳ３１０９）。その後、システム制御部５０はステップＳ３１０５に進み、高周波成分を除去する。
【０２０９】
ここで、フレーム数の経過に対する顔／人体の検出位置と顔表示枠／人体表示枠の表示位置との関係を比較する。
【０２１０】
図２６は、フレーム数の経過に対する顔／人体の検出位置と顔表示枠／人体表示枠の表示位置との関係を示す図である。
【０２１１】
図２６において、符号３２０１で示すグラフは、顔水平検出位置変化量を示す。符号３２０２で示すグラフは、補正後の顔水平表示位置の変化量を示す。また、符号３２０３で示すグラフは人体水平検出位置の変化量を示す。そして、符号３２０４で示すグラフは、補正後の人体水平表示位置の変化量を示す。
【０２１２】
図２６に示すように、符号３２０３で示す人体水平検出位置の変化量に比べて、符号３２０４で示す人体水平表示位置の変化量は少ない。つまり、人体水平検出位置のばらつきに伴う人体水平表示位置のばらつきが抑制されている。そして、人体垂直表示位置においても同様の効果が得られる。
【０２１３】
図２７は、フレーム数の経過における顔／人体の検出位置と顔表示枠／人体表示枠の表示位置とを示す図である。そして、図２７（ａ）は顔および人体の検出位置を示す図であり、図２７（ｂ）は顔表示枠および人体表示枠の表示位置を示す図である。
【０２１４】
図２７（ｂ）では、顔表示枠および人体表示枠の表示位置について、表示部２８に表示される顔表示枠および人体表示枠のフレーム数の経過における表示状態の推移が示されている。図２７に示すように、顔および人体の検出位置の変化に対して、顔表示枠および人体表示枠の表示位置は安定していることが分かる。
【０２１５】
図２８は顔表示枠の表示位置と人体表示位置とが同軸上に配置されるように補正を行った際の顔表示枠／人体表示枠を示す図である。そして、図２８（ａ）は位置補正前の顔表示枠／人体表示枠を示す図であり、図２８（ｂ）は位置補正後の顔表示枠／人体表示枠を示す図である。
【０２１６】
図２８（ａ）において、被写体はほぼ直立姿勢であり、位置補正前の顔表示枠３４２１における重心の水平位置３４２３と位置補正前の人体表示枠３４２２における重心の水平位置３４４との差分（位置の差分）は小さくなる。ところが、位置補正前の顔表示枠３４２１と位置補正前の人体表示枠３４２２とにおいて位置の差分に伴って、表示上のずれ（枠角度のずれ）が発生する。このため、ユーザにとって枠の視認性が悪くなる。
【０２１７】
一方、位置の差分が小さい場合において、位置補正前の顔表示枠３４２１における重心の水平位置３４２３と位置補正前の人体表示枠３４２２における重心の水平位置３４２４との平均値を顔表示枠／人体表示枠における重心の補正位置３４２５とする。そして、顔表示枠／人体表示枠における重心の補正位置３４２５に基づいて、位置補正後の顔表示枠３４２６および人体表示枠３４２７を画面上に配置する。この結果、図２８（ｂ）に示すように、位置の差分が小さい場合において、枠位置のずれを防止することができ、ユーザにとって枠の視認性が向上する。
【０２１８】
以上のように、第３の実施形態によれば、顔における特徴量の所定フレーム数分の履歴と人体の特徴量の所定フレーム数分の履歴とに基づいて顔表示枠および人体表示枠を生成するようにしたので、フレーム数の経過に応じて特徴量が変化しても顔表示枠および人体表示枠を安定して表示することができる。
【０２１９】
なお、第３の実施形態では、顔表示枠および人体表示枠の角度補正処理、サイズ補正処理、および位置補正処理を行う例をあげて説明を行ったが、少なくともいずれか１つの処理を行うだけでも、表示枠の視認性の向上に寄与することは可能である。
【０２２０】
（第４の実施形態）
次に、本発明の第４の実施形態による撮像装置の一例について説明する。なお、第４の実施形態によるカメラの構成は図１に示すカメラと同様であるので、説明を省略する。
【０２２１】
第４の実施形態によるカメラでは、前述の図７および図８で説明したようにして、システム制御部５０は顔検出情報および人体検出情報から顔表示情報および人体表示情報を得て、これら顔表示情報および人体表示情報に基づいて表示部２８に顔表示枠および人体表示枠を表示する。
【０２２２】
なお、第４の実施形態においては、顔表示枠は被写体の顔（顔領域）を囲む矩形状の枠であり、人体表示枠は顔領域を含めて被写体全体を囲む枠であるものとする。
【０２２３】
続いて、第４の実施形態によるカメラ１００における枠表示の決定処理について説明する。
【０２２４】
図２９は、本発明の第４の実施形態によるカメラ１００における枠表示の決定処理を説明するためのフローチャートである。
【０２２５】
図１および図２９を参照して、枠表示決定処理を開始すると、システム制御部５０は、システムメモリ５２から顔検出情報を読み込む（ステップＳ３５０１）。続いて、システム制御部５０はシステムメモリ５２から人体検出情報を読み込む（ステップＳ３５０２）。
【０２２６】
システム制御部５０は、顔検出部１０４によって顔検出が行われたか否か、つまり、システムメモリ５２から読み込んだ顔検出情報が有効であるか否かについて判定する（ステップＳ３５０３）。この判定の当たっては、例えば、顔検出部１０４によって被写体の顔を検出できなかった場合には、図８に示す顔検出情報ＨｆおよびＶｆを“０”（予め規定された値）とする。そして、顔検出情報ＨｆおよびＶｆが“０”であると、システム制御部５０は顔の検出ができなかったと判定する。
【０２２７】
または、被写体の顔検出の際、顔検出部１０４がシステムメモリ５２に顔検出情報の他に顔の検出ができたか否かを示すフラグ信号を書き込む。そして、フラグ信号に応じて、システム制御部５０は被写体の顔検出が行われたか否かを判定するようにしてもよい。
【０２２８】
被写体の顔が検出されると（ステップＳ３５０３において、ＹＥＳ）、システム制御部５０は、顔検出情報に含まれる水平方向サイズＨｆおよび垂直方向サイズＶｆの積と、不揮発性メモリ５６に予め記憶された所定の閾値Ａ（第１の面積閾値）との大小関係を比較する。ここでは、システム制御部５０は、Ｈｆ×Ｖｆ＞閾値Ａであるか否かについて判定する（ステップＳ３５０４）。
【０２２９】
Ｈｆ×Ｖｆ＞閾値Ａであると（ステップＳ３５０４において、ＹＥＳ）、システム制御部５０は顔表示枠を表示部２０に表示して、人体表示枠を非表示とすることに決定する（ステップＳ３５０５）。そして、システム制御部５０は処理を終了する。
【０２３０】
Ｈｆ×Ｖｆ≦閾値Ａであると、つまり、第１の面積閾値以下であると（ステップＳ３５０４において、ＮＯ）、システム制御部５０は人体検出部１０５によって人体検出が行われたかについて判定する（ステップＳ３５０６）。つまり、システム制御部５０は、システムメモリ５２から読み込んだ人体検出情報が有効であるか否かについて判定する。
【０２３１】
この判定に当たっては、例えば、人体を検出できなかった場合に、人体検出部１０５は図８に示す人体検出情報ＨｂおよびＶｂを“０”（予め規定された値）とする。そして、人体検出情報ＨｂおよびＶｂが“０”であると、システム制御部５０は人体検出がされなかったと判定する。
【０２３２】
または、人体検出部１０５はシステムメモリ５２に人体検出情報の他に人体の検出ができたか否かを示すフラグ信号を書き込む。そして、システム制御部５０は、当該フラグ情報に応じて人体の検出が行われたか否かを判定するようにしてもよい。
【０２３３】
人体が検出されると（ステップＳ３５０６において、ＹＥＳ）、システム制御部５０は、人体情報に含まれる水平方向サイズＨｂおよび垂直方向サイズＶｂの積と、不揮発性メモリ５６に予め記憶された所定の閾値Ｂ（第２の面積閾値）との大小関係を比較する。つまり、システム制御部５０は、Ｈｂ×Ｖｂ＞閾値Ｂであるか否かについて判定する（ステップＳ３５０７）。
【０２３４】
Ｈｂ×Ｖｂ＞閾値Ｂであると（ステップＳ３５０７において、ＹＥＳ）、システム制御部５０は顔表示枠および人体表示枠を表示部２８に表示すると決定する（ステップＳ３５０８）。そして、システム制御部５０は処理を終了する。
【０２３５】
一方、Ｈｂ×Ｖｂ≦閾値Ｂであると、つまり、第２の面積閾値以下であると（ステップＳ３５０７において、ＮＯ）、システム制御部５０は顔表示枠を非表示として、人体表示枠を表示部２８に表示すると決定する（ステップＳ３５０９）。そして、システム制御部５０は処理を終了する。
【０２３６】
ステップＳ３５０３において、被写体の顔が検出されないと（ステップＳ３５０３において、ＮＯ）、システム制御部５０は、ステップＳ３５０６と同様にして、人体検出部１０５によって人体検出が行われたか否か、つまり、システムメモリ５２から読み込んだ人体検出情報が有効であるか否かについて判定する（ステップＳ３５１０）。
【０２３７】
人体が検出されると（ステップＳ３５１０において、ＹＥＳ）、システム制御部５０はステップＳ３５０９に進んで、顔表示枠を非表示として人体表示枠を表示部２８に表示すると決定する。そして、システム制御部５０は処理を終了する。
【０２３８】
一方、人体が検出されないと（ステップＳ３５１０において、ＮＯ）、システム制御部５０は顔表示枠および人体表示枠を非表示とすると決定する（ステップＳ３５１１）。そして、システム制御部５０は処理を終了する。なお、ステップＳ３５０６において、人体が検出されないと（ステップＳ３５０６において、ＮＯ）、システム制御部５０はステップＳ３５１１に進む。
【０２３９】
上述の例では、顔表示枠の大きさおよび人体表示枠の大きさをそれぞれ閾値と比較して、その結果に応じて顔表示枠および人体表示枠を表示するか否かを決定するようにしているが、表示枠を決定する際の判定基準として、顔表示枠および人体表示枠の大きさ以外の他の情報を用いるようにしてもよい。
【０２４０】
さらに、例えば、図２９のステップＳ３５０６において人体が検出されないと判定した場合に、顔は検出されているので、システム制御部５０は顔表示枠のみを表示すると決定するようにしてもよい。また、図２９のステップＳ３５１０において人体が検出された際には、人体表示枠の大きさと閾値Ｂとの比較を行って、その比較結果に応じて人体表示枠の表示又は非表示を決定するようにしてもよい。
【０２４１】
図３０は、図２９における顔検出情報および人体検出情報と閾値との関係に応じた表示枠の表示形態を示す図である。
【０２４２】
図３０において、顔表示枠の大きさ（Ｈｆ×Ｖｆ）が閾値Ａよりも大きいと、人体表示枠の大きさに拘わらず、顔表示枠のみが表示部２８に表示される。一方、Ｈｆ×Ｖｆ≦閾値Ａであると、人体表示枠（Ｈｂ×Ｖｂ）が閾値Ｂよりも大きい場合に、顔表示枠および人体表示枠が表示部２８に表示される。
【０２４３】
そして、Ｈｆ×Ｖｆ≦閾値Ａで、かつＨｂ×Ｖｂ≦閾値Ｂであると、人体表示枠のみが表示部２８に表示される。さらに、Ｈｆ×Ｖｆ≦閾値Ａで、かつ人体が検出不能であると、顔表示枠および人体表示枠ともに非表示とされる。また、顔の検出が不能である場合に、人体が検出されると、人体表示枠の大きさに拘わらず、人体表示枠が表示される。顔および人体の検出がともに不能であれば、顔表示枠および人体表示枠のいずれも表示されない。
【０２４４】
図３１は、図２９で説明した処理によって表示部２８に表示される顔表示枠３７０１および人体表示枠３７０２の一例を示す図である。
【０２４５】
図３１において、ズームがＴｅｌｅの際には、顔表示枠３７０１のみが表示部２８に表示され、ＴｅｌｅからＷｉｄｅ側に移行すると、顔表示枠３７０１および人体表示枠３７０２が表示部２８に表示される。そして、Ｗｉｄｅとなると、人体表示枠３７０２のみが表示部２８に表示される。
【０２４６】
ここで、図２９で説明した処理によって決定された表示および非表示のヒステリシス特性について説明する。
【０２４７】
図３２は、図２９で説明した処理によって決定された表示および非表示のヒステリシス特性を説明するための図である。そして、図３２（ａ）は、顔表示枠の大きさに基づいて表示枠の決定を行う際の判定条件を示す図であり、図３２（ｂ）は、人体表示枠の大きさに基づいて表示枠の決定を行う際の判定条件を示す図である。
【０２４８】
前述のように、顔表示枠および人体表示枠の表示および非表示に係る切り替えは、顔および人体表示枠の大きさと閾値ＡおよびＢとの比較によって決定される。例えば、被写体である人物がスポーツ等の激しい動きをしているシーンにおいて、顔および人体表示枠の大きさが閾値近辺で変動する場合に、上述のようにして決定された表示枠をそのまま表示部２８に表示したとする。この場合には、表示枠が頻繁に明滅を繰り返すことになって、ユーザにとって煩わしく感じられることになる。
【０２４９】
上記の点を解決するため、例えば、不揮発性メモリ５６に予め２つの閾値ＡおよびＡ’（Ａ＞Ａ’）が記憶される。図３２（ａ）において、横軸は顔表示枠の大きさ、縦軸は表示部２０８に表示する表示枠を表す。顔表示枠の大きさに応じて、図中太線上を遷移し、太線上の時点に対応する表示枠が決定される。
【０２５０】
例えば、ある時刻における顔表示枠の大きさがＳ点に相当するとする。このとき、表示部２０８に表示される表示枠は顔表示枠および人体表示枠である。顔表示枠の大きさが次第に大きくなって、閾値Ａより大きくなる（Ｔ点に相当）と、表示部２０８に顔表示枠のみが表示される。
【０２５１】
次に、顔表示枠の大きさが閾値Ａを挟んでバタついた（Ｔ点−Ｕ点間を繰り返し遷移）ときには、顔表示枠のみが表示部２０８に表示され続ける。さらに、ある時刻における顔表示枠の大きさが閾値Ａ’を下回る（Ｓ点に相当）と、表示部２０８には顔表示枠および人体表示枠が表示される。
【０２５２】
同様に、不揮発性メモリ５６に予め２つの閾値ＢおよびＢ’（Ｂ＞Ｂ’）が記憶される。図３２（ｂ）において、横軸は人体表示枠の大きさを表し、縦軸は表示部２８に表示される表示枠を表す。人体表示枠の大きさに従って太線上を遷移して、太線上の時点において表示枠が決定される。
【０２５３】
例えば、ある時刻における人体表示枠２０２の大きさがＶ点に相当するとする。このとき、表示部２８に表示される表示枠は人体表示枠のみである。人体表示枠の大きさが次第に拡大していき閾値Ｂより大きくなる（Ｓ点に相当）と、表示部２８には顔表示枠および人体表示枠が表示される。
【０２５４】
次に、人体表示枠の大きさが閾値Ｂを挟んでバタついた（Ｗ点−Ｓ点間を繰り返し遷移）ときには、顔表示枠および人体表示枠が表示部２８に表示され続ける。さらに、ある時刻における人体表示枠の大きさが閾値Ｂ’を下回る（Ｖ点に相当）と、表示部２８には人体表示枠のみが表示される。
【０２５５】
図３３は、図２９および図３２で説明した処理による表示枠の表示および非表示の一例を説明するための図である。そして、図３３（ａ）は被写体の顔および人体が検出された状態における表示の例を示す図であり、図３３（ｂ）は顔表示枠の大きさが拡大して閾値を超えた際の表示の例を示す図である。
【０２５６】
図３３（ａ）において、ここでは、顔表示枠３９０１の大きさ（Ｈｆ×Ｖｆ）は閾値Ａより僅かに小さいとする。そして、図３３（ａ）においては、顔表示枠３９０１とともに人体表示枠３９０２も表示されている。
【０２５７】
図３３（ａ）に示す状態から、顔表示枠３９０１の大きさが拡大して閾値Ａを超えたある時刻では、図３３（ｂ）に示す表示が行われる。顔表示枠３９０１の大きさが閾値Ａを超えた瞬間に、人体表示枠３９０２を非表示とせず、人体表示枠３９０２の枠線濃度を段階的に変化させる。図３３（ｂ）に示す例では、人体表示枠３９０２は破線状で示されている。
【０２５８】
なお、連続的な表示を行うため枠線濃度を変化させる代わりに、枠線幅を時間とともに変化させるようにしてもよく、さらには、枠線を破線デ示す場合には、その点線間隔を時間とともに変化させるようにしてもよい。
【０２５９】
図３４は図２９および図３２で説明した処理による表示枠の表示および非表示の他の例を説明するための図である。そして、図３４（ａ）は顔表示枠の大きさが引き続いて閾値を超えている状態の表示の例を示す図であり、図３４（ｂ）は人体表示枠が完全に非表示になった瞬間における表示の例を示す図である。
【０２６０】
図３４（ａ）においては、顔表示枠３９０１の大きさが引き続いて閾値Ａを超えている状態あるので、図３３（ｂ）に示す状態よりも、人体表示枠３９０２の枠線濃度はさらに低くなる。
【０２６１】
図３３（ｂ）および図３４（ａ）では、顔表示枠３９０１の大きさが閾値Ａを超えた後に、人体表示枠３９０２の枠線濃度を薄くしつつ、その大きさについて被写体に適合した大きさで表示しているが、閾値Ａを超えた瞬間の枠の大きさを保持した状態で、人体表示枠の３９０２の枠線濃度を段階的に薄くするようにしてもよい。
【０２６２】
さらに、例えば、顔表示枠３９０１の大きさが閾値Ａを超えた後、時間的に拡大し続けなくても、顔表示枠３９０１の大きさが閾値Ａを超えている状態が維持されていれば、人体表示枠３９０２の枠線濃度を連続的に薄くするようにしてもよい。
【０２６３】
図３４（ｂ）にはおいては、人体表示枠３９０２は完全に非表示になっている。顔表示枠３９０１の大きさが閾値Ａを超えてから完全に人体表示枠３９０２が非表示になるまでの時間（フレーム数）は、一律に所定の時間であってもよいし、撮影モード毎に異なる時間とするようにしてもよい。
【０２６４】
このようにして、顔および人体表示枠の大きさが閾値近辺で変動する場合においても、表示枠が頻繁に明滅を繰り返すことがなくなって、その結果、ユーザは快適に表示画像を見ることができる。
【０２６５】
さらに、表示枠の表示から非表示への切り替え、又は非表示から表示への切り替えを段階的に行うことによって、表示および非表示が頻繁に切り替わる煩わしさを低減することができる。これによって、ユーザは被写体について高い視認性を維持しつつ、カメラによって顔および人体を容易に認識することができる。
【０２６６】
以上のように、第４の実施形態によれば、画像中の被写体の大きさに応じて、顔表示枠および人体表示枠を選択的に表示および非表示としているので、ユーザは被写体の大きさによって容易に表示枠の視認を行うことができる。
【０２６７】
上述の説明から明らかなように、図１において、顔検出部１０４、人体検出部１０５、およびシステム制御部５０が、画像において被写体を検出する検出手段および被写体の予め定められた特定領域を、この特定領域を除く残領域から区別して特定する特定手段として機能する。さらに、システム制御部５０は、特定領域を囲む第１の表示枠を生成する第１の生成手段、残領域を囲む第２の表示枠を生成する第２の生成手段、および画像とともに第１および第２の表示枠を画面に表示する表示制御手段として機能する。
【０２６８】
また、システム制御部５０、顔検出部１０４、人体検出部１０５は、第１の角度検出手段および第２の角度検出手段として機能する。そして、システム制御部５０は第１の撮影制御手段および第２の撮影制御手段として機能する。
【０２６９】
加えて、顔検出部１０４、人体検出部１０５、およびシステム制御部５０は、画像のフレーム毎に被写体の予め定められた特定領域を、被写体の領域から区別して特定して、特定領域の角度、サイズ、および位置を示す特定領域情報と被写体の領域の角度、サイズ、および位置を示す被写体領域情報を得る検出手段として機能する。
【０２７０】
さらに、システム制御部５０は、履歴情報に基づいて顔領域および被写体の領域における重心を求める重心算出手段、当該重心から顔領域の位置と前記被写体の領域の位置との相対的位置関係を求める位置算出手段、および相対的位置関係が予め規定された範囲であると、第１および第２の表示枠を同軸上に配置する位置補正手段として機能する。
【０２７１】
また、システム制御部５０は、特定領域の面積に応じて第１および第２の表示枠を非表示とするか又は表示するかを決定する表示制御手段としても機能する。
【０２７２】
なお、図１において、システム制御部５０、システムメモリ５２、顔検出部１０４、人体検出部１０５、メモリ制御部１５、メモリ３２、および表示部２８が画像表示制御装置を構成する。
【０２７３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０２７４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を、撮像装置又は画像表示制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、撮像装置又は画像表示制御装置が備えるコンピュータに実行させるようにしてもよい。
【０２７５】
この際、制御方法及び制御プログラムの各々は、少なくとも検出ステップ、特定ステップ、第１の生成ステップ、第２の生成ステップ、および表示制御ステップを有することになる。また、制御方法及び制御プログラムの各々は、少なくとも検出ステップ、記憶ステップ、第１の生成ステップ、第２の生成ステップ、および表示制御ステップを有するようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０２７６】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【０２７７】
１０３  撮像レンズ
１０４  顔検出部
１０５  人体検出部
２２  撮像部
２４  画像処理部
１５  メモリ制御部
２８  表示部
３２  メモリ
５０  システム制御部
６１  シャッターボタン
【図１】
0005814557.tif 000015
【図２】
0005814557.tif 000016
【図３】
0005814557.tif 000017
【図４】
0005814557.tif 000018
【図５】
0005814557.tif 000019
【図６】
0005814557.tif 000020
【図７】
0005814557.tif 000021
【図８】
0005814557.tif 000022
【図９】
0005814557.tif 000023
【図１０】
0005814557.tif 000024
【図１１】
0005814557.tif 000025
【図１２】
0005814557.tif 000026
【図１３】
0005814557.tif 000027
【図１４】
0005814557.tif 000028
【図１５】
0005814557.tif 000029
【図１６】
0005814557.tif 000030
【図１７】
0005814557.tif 000031
【図１８】
0005814557.tif 000032
【図１９】
0005814557.tif 000033
【図２０】
0005814557.tif 000034
【図２１】
0005814557.tif 000035
【図２２】
0005814557.tif 000036
【図２３】
0005814557.tif 000037
【図２４】
0005814557.tif 000038
【図２５】
0005814557.tif 000039
【図２６】
0005814557.tif 000040
【図２７】
0005814557.tif 000041
【図２８】
0005814557.tif 000042
【図２９】
0005814557.tif 000043
【図３０】
0005814557.tif 000044
【図３１】
0005814557.tif 000045
【図３２】
0005814557.tif 000046
【図３３】
0005814557.tif 000047
【図３４】
0005814557.tif 000048
【図３５】
0005814557.tif 000049
【図３６】
0005814557.tif 000050
【図３７】
0005814557.tif 000051