(57)【要約】【課題】  集合写真撮影を行うとき顔画像サイズの不均等を是正する。【解決手段】  撮像装置の一例であるディジタルカメラ１０は、撮像面１４ｆ上に結ばれた被写界像を繰り返し捉えるイメージセンサ１４、およびこれによる撮像処理に関連する情報をＬＣＤモニタ３４に表示するためのＣＧ４２を備える。ＣＰＵ２４は、イメージセンサ１４によって作成された各被写界画像から顔画像を検出し（Ｓ１３１〜Ｓ１４７）、検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面１４ｆと被写界に含まれる各顔との間の距離差が減少するような向きにディジタルカメラ１０自身を移動させる行動を促すための第１情報を、ＣＧ４２を制御して出力する（Ｓ７３〜Ｓ７９）。【選択図】  図１
2010193254.tif 000002
【特許請求の範囲】
【請求項１】
撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、
前記撮像手段によって作成された各被写界画像から顔画像を検出する顔検出手段、および
前記顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、前記撮像面と前記被写界に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第１情報を出力する、第１情報出力手段を備える、撮像装置。
【請求項２】
前記顔検出手段によって検出された複数の顔画像の間のサイズ差が前記閾値を上回らない場合に、各顔画像のサイズは均等であることを通知するための第２情報を出力する、第２情報出力手段をさらに備える、請求項１記載の撮像装置。
【請求項３】
前記顔検出手段によって検出された複数の顔画像の間のサイズ差が前記閾値を上回らない場合に、前記顔検出手段によって検出された顔画像のサイズが第１既定範囲内か否かを判別するサイズ判別手段、および
前記サイズ判別手段によって前記サイズが前記第１既定範囲内でないと判別された場合に、当該サイズが当該第１既定範囲内となるような行動を促すための第３情報を出力する、第３情報出力手段をさらに備える、請求項１または２記載の撮像装置。
【請求項４】
前記サイズ判別手段によって前記サイズが前記第１既定範囲内であると判別された場合に、当該サイズは適正であることを通知するための第４情報を出力する、第４情報出力手段をさらに備える、請求項３記載の撮像装置。
【請求項５】
前記サイズ判別手段によって前記サイズが前記第１既定範囲内でないと判別された場合に、前記顔検出手段によって検出された複数の顔画像の間の間隔が第２既定範囲内か否かを判別する間隔判別手段、および
前記間隔判別手段によって前記間隔が前記第２既定範囲内でないと判別された場合に、当該間隔が当該第２既定範囲内となるような行動を促すための第５情報を出力する、第５情報出力手段をさらに備える、請求項３または４記載の撮像装置。
【請求項６】
前記間隔判別手段によって前記間隔が前記第２既定範囲内であると判別された場合に、当該間隔は適正であることを通知するための第６情報を出力する、第６情報出力手段をさらに備える、請求項５記載の撮像装置。
【請求項７】
前記撮像手段によって作成された被写界画像を記録操作に応答して記録媒体に記録する記録手段、および
前記間隔判別手段によって前記間隔が前記第２既定範囲内であると判別された場合に、前記記録操作を促すための第７情報を出力する、第７情報出力手段をさらに備える、請求項５または６記載の撮像装置。
【請求項８】
少なくとも前記第１情報出力手段が有効化される集合写真モードを含む複数の撮影モードのうち１つをモード選択操作に基づいて選択する選択手段、および
前記撮像手段の画質を前記集合写真モードが選択されている期間に渡って一時的に高める画質制御手段をさらに備える、請求項１ないし７のいずれかに記載の撮像装置。
【請求項９】
前記被写界が集合写真モードに適合するか否かを、前記被写界画像内での各顔画像の位置を示す座標に少なくとも基づいて判別するモード判別手段、および
前記モード判別手段によって前記配置が集合写真モードに適合すると判別された場合に少なくとも前記第１情報出力手段を有効化する一方、前記配置が集合写真モードに適合しないと判別された場合には少なくとも前記第１情報出力手段を無効化する、モード制御手段をさらに備える、請求項１ないし７のいずれかに記載の撮像装置。
【請求項１０】
前記被写界が集合写真モードに適合するか否かを、前記撮像面と前記被写界に含まれる各顔との間の距離差に少なくとも基づいて判別するモード判別手段、および
前記モード判別手段によって前記配置が集合写真モードに適合すると判別された場合に少なくとも前記第１情報出力手段を有効化する一方、前記配置が集合写真モードに適合しないと判別された場合には少なくとも前記第１情報出力手段を無効化する、モード制御手段をさらに備える、請求項１ないし７のいずれかに記載の撮像装置。
【請求項１１】
前記撮像手段の画質を前記モード判別手段が判別を行う期間および前記集合写真モードが選択されている期間に渡って一時的に高める画質制御手段をさらに備える、請求項９または１０記載の撮像装置。
【請求項１２】
撮像面上に結ばれた被写界像を繰り返し捉える撮像手段と前記撮像手段の処理に関連する情報を出力する情報出力手段とを備える撮像装置のプロセッサに、
前記撮像手段によって作成された各被写界画像から顔画像を検出する顔検出ステップ、および
前記顔検出ステップによって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、前記撮像面と前記被写界に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第１情報を、前記情報出力手段を制御して出力する、第１情報出力ステップを実行させるための、集合写真撮影支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置および集合写真撮影支援プログラムに関し、特にたとえば、好適な集合写真を撮影するための、撮像装置および集合写真撮影支援プログラムに関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術では、集合写真を撮影する際に顔の重なりの有無を判定し、顔の重なりがある場合に報知を行う。
【特許文献１】特開２００６−１４０６９５号公報［H04N 5/225, G03B 17/18, G06T 1/00, H04N 101/00］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、集合写真では一般に、前列の顔と後列の顔との間で、撮像装置からの距離が異なるため、被写界画像に含まれる複数の顔画像の間でサイズにばらつきが出る。
【０００４】
しかし、背景技術は、顔画像の重なりの回避を図っているに過ぎないので、顔画像サイズの不均等を是正することはできなかった。
【０００５】
それゆえに、この発明の主たる目的は、新規な、撮像装置および集合写真撮影支援プログラムを提供することである。
【０００６】
この発明の他の目的は、集合写真撮影を行うとき顔画像サイズの不均等を是正できる、撮像装置および集合写真撮影支援プログラムを提供することである。
【課題を解決するための手段】
【０００７】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００８】
第１の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、撮像手段によって作成された各被写界画像から顔画像を検出する顔検出手段、および顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面と被写界に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第１情報を出力する、第１情報出力手段を備える、撮像装置である。
【０００９】
第１の発明では、撮像装置（１０）は、撮像手段（１４）、顔検出手段（Ｓ１３１〜Ｓ１４７）、および第１情報出力手段（４２，Ｓ７３〜Ｓ７９）を備える。撮像面上に結ばれた被写界像は、撮像手段によって繰り返し捉えられ、顔検出手段は、撮像手段によって作成された各被写界画像から顔画像を検出する。顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回ると、撮像面と被写界に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第１情報が、第１情報出力手段によって出力される。
【００１０】
第１の発明によれば、ユーザが第１情報に従って行動することで、撮像面と被写界に含まれる各顔との間の距離差が減少するので、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる。
【００１１】
なお、第１情報は、ある実施例では画像の態様で出力されるが、他の実施例では、音声の態様で出力されてもよく、画像および音声の両方の態様で出力されてもよい。後述する第２〜第７情報についても同様である。
【００１２】
また、顔画像のサイズは、ある実施例では、顔画像（Ｆ１，Ｆ２，…）の輪郭に沿う矩形（Ｆｒ１，Ｆｒ２，…）の面積である。他の実施例では、同様の矩形の長さ（たとえば隣り合う２辺を合計した長さや、対角線の長さなど）でもよく、顔画像自体の面積ないし長さでもよい。
【００１３】
第２の発明は、第１の発明に従属する撮像装置であって、顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らない場合に、各顔画像のサイズは均等であることを通知するための第２情報を出力する、第２情報出力手段をさらに備える。
【００１４】
第２の発明では、撮像装置は、第２情報出力手段（４２，Ｓ８１）をさらに備える。顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らなければ、各顔画像のサイズは均等であることを通知するための第２情報が、第２情報出力手段によって出力される。
【００１５】
第２の発明によれば、ユーザは、第２情報を通じて、顔画像サイズは均等である（第１情報に従って行動した結果不均等が是正された）ことを明確に認識することができる。
【００１６】
第３の発明は、第１または第２の発明に従属する撮像装置であって、顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らない場合に、顔検出手段によって検出された顔画像のサイズが第１既定範囲内か否かを判別するサイズ判別手段、およびサイズ判別手段によってサイズが第１既定範囲内でないと判別された場合に、当該サイズが当該第１既定範囲内となるような行動を促すための第３情報を出力する、第３情報出力手段をさらに備える。
【００１７】
第３の発明では、撮像装置は、サイズ判別手段（Ｓ８３）および第３情報出力手段（４２，Ｓ８５〜Ｓ８９）をさらに備える。サイズ判別手段は、顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らない場合に、顔検出手段によって検出された顔画像のサイズが第１既定範囲内か否かを判別し、サイズ判別手段によってサイズが第１既定範囲内でないと判別されると、当該サイズが当該第１既定範囲内となるような行動を促すための第３情報が、第３情報出力手段によって出力される。
【００１８】
第３の発明によれば、ユーザが第３情報に従って行動することで、さらに顔画像サイズを集合写真に適したサイズにすることができる。なお、ここで行動は、ある実施例では、ユーザ自身が目標に近づく行動、またはズームアップ操作を行う行動である。他の実施例では、ユーザが自分に近づくよう目標に指示する行動でもよい。
【００１９】
第４の発明は、第３の発明に従属する撮像装置であって、サイズ判別手段によってサイズが第１既定範囲内であると判別された場合に、当該サイズは適正であることを通知するための第４情報を出力する、第４情報出力手段をさらに備える。
【００２０】
第４の発明では、撮像装置は、第４情報出力手段（４２，Ｓ９１）をさらに備える。サイズ判別手段によってサイズが第１既定範囲内であると判別されると、当該サイズは適正であることを通知するための第４情報が、第４情報出力手段によって出力される。
【００２１】
第４の発明によれば、ユーザは、第４情報を通じて、顔画像サイズは適正である（第３情報に従って行動した結果第１既定範囲内に収まった）ことを明確に認識することができる。
【００２２】
第５の発明は、第３または第４の発明に従属する撮像装置であって、サイズ判別手段によってサイズが第１既定範囲内でないと判別された場合に、顔検出手段によって検出された複数の顔画像の間の間隔が第２既定範囲内か否かを判別する間隔判別手段、および間隔判別手段によって間隔が第２既定範囲内でないと判別された場合に、当該間隔が当該第２既定範囲内となるような行動を促すための第５情報を出力する、第５情報出力手段をさらに備える。
【００２３】
第５の発明では、撮像装置は、間隔判別手段（Ｓ９３）および第５情報出力手段（４２，Ｓ９５〜Ｓ９９）をさらに備える。間隔判別手段は、サイズ判別手段によってサイズが第１既定範囲内でないと判別された場合に、顔検出手段によって検出された複数の顔画像の間の間隔が第２既定範囲内か否かを判別し、間隔判別手段によって間隔が第２既定範囲内でないと判別されると、当該間隔が当該第２既定範囲内となるような行動を促すための第５情報が、第５情報出力手段によって出力される。
【００２４】
第５の発明によれば、ユーザが第５情報に従って行動することで、さらに顔画像間隔を集合写真に適した間隔にすることができる。なお、ここでいう行動は、ある実施例では、ユーザが目標に対して互いに近づくよう指示する行動である。
【００２５】
第６の発明は、第５の発明に従属する撮像装置であって、間隔判別手段によって間隔が第２既定範囲内であると判別された場合に、当該間隔は適正であることを通知するための第６情報を出力する、第６情報出力手段をさらに備える。
【００２６】
第６の発明では、撮像装置は、第６情報出力手段（４２，Ｓ１０１）をさらに備える。間隔判別手段によって間隔が第２既定範囲内であると判別されると、当該間隔は適正であることを通知するための第６情報が、第６情報出力手段によって出力される。
【００２７】
第６の発明によれば、ユーザは、第６情報を通じて、顔画像間隔は適正である（第５情報に従って行動した結果第２既定範囲内に収まった）ことを明確に認識することができる。
【００２８】
第７の発明は、第５または第６の発明に従属する撮像装置であって、撮像手段によって作成された被写界画像を記録操作に応答して記録媒体に記録する記録手段、および間隔判別手段によって間隔が第２既定範囲内であると判別された場合に、記録操作を促すための第７情報を出力する、第７情報出力手段をさらに備える。
【００２９】
第７の発明では、撮像装置は、記録手段（３６，Ｓ５７）および第７情報出力手段（４２，Ｓ１０３）をさらに備える。記録手段は、撮像手段によって作成された被写界画像を記録操作に応答して記録媒体（３８）に記録する。間隔判別手段によって間隔が第２既定範囲内であると判別されると、記録操作を促すための第７情報が、第７情報出力手段によって出力される。
【００３０】
第７の発明によれば、ユーザが第７情報に従って記録操作を行うことで、好適な集合写真、すなわち顔画像サイズのばらつきが少なくかつ顔画像サイズおよび顔画像間隔が適正な集合写真を記録することができる。
【００３１】
第８の発明は、第１ないし第７のいずれか発明に従属する撮像装置であって、少なくとも第１情報出力手段が有効化される集合写真モードを含む複数の撮影モードのうち１つをモード選択操作に基づいて選択する選択手段、および撮像手段の画質を集合写真モードが選択されている期間に渡って一時的に高める画質制御手段をさらに備える。
【００３２】
第８の発明では、撮像装置は、選択手段（２６，Ｓ１５）および画質制御手段（Ｓ２６，Ｓ２７）をさらに備える。選択手段は、集合写真モードを含む複数の撮影モードのうち１つをモード選択操作に基づいて選択し、画質制御手段は、撮像手段の画質を集合写真モードが選択されている期間に渡って一時的に高める。
【００３３】
集合写真モードで実行される第１情報出力処理は、顔画像サイズのばらつきが大きい状態で、すなわち被写界画像に小さなサイズの顔画像が含まれている状態で行われることが前提なので、撮像手段の画質が低いと、小さな顔画像を検出することができず、結果として第１情報出力が行えない場合がある。第８の発明によれば、撮像手段の画質を一時的に高めることで、消費電力の増加を抑制しながら、第１情報出力を的確に行うことができるようになる。なお、ここで画質は、ある実施例ではＳ／Ｎ比であるが、他の実施例では解像度などでもよい。
【００３４】
第９の発明は、第１ないし第７のいずれかの発明に従属する撮像装置であって、被写界が集合写真モードに適合するか否かを、被写界画像内での各顔画像の位置を示す座標に少なくとも基づいて判別するモード判別手段、およびモード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくとも第１情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくとも第１情報出力手段を無効化する、モード制御手段をさらに備える。
【００３５】
第９の発明では、撮像装置は、モード判別手段（Ｓ３１，Ｓ３３）およびモード制御手段（Ｓ３５，Ｓ３７，Ｓ２３，Ｓ２５）をさらに備える。モード判別手段は、被写界に含まれる各顔の配置が集合写真モードに適合するか否かを、被写界画像内での各顔画像の位置を示す座標に少なくとも基づいて判別し、モード制御手段は、モード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくとも第１情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくとも第１情報出力手段を無効化する。なお、ある実施例では、モード判別にあたって、被写界画像に含まれる顔画像の個数も考慮している。
【００３６】
第９の発明によれば、撮像装置は、顔配置が集合写真モードに適合するか否かを判別して、適合すれば自動的に、少なくとも第１情報による集合写真撮影支援、好ましくは第１〜第７情報による集合写真撮影支援を開始するので、ユーザは、特に意識することなく好適な集合写真撮影を行える。また、顔配置が集合写真モードに適合するか否かの判別を、顔座標を参照して行う（ある実施例では、画面内で各顔画像が前列・後列を構成しているか否かを顔座標に基づいて判別する）ので、大人の顔と子供の顔のように顔自体のサイズが異なる場合にも、好適な集合写真撮影が行える。
【００３７】
第１０の発明は、第１ないし第７のいずれかの発明に従属する撮像装置であって、被写界に含まれる各顔の配置が集合写真モードに適合するか否かを、撮像面と被写界に含まれる各顔との間の距離差に少なくとも基づいて判別するモード判別手段、およびモード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくともサイズ差検出手段および第１情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくともサイズ差検出手段および第１情報出力手段を無効化する、モード制御手段をさらに備える。
【００３８】
第１０の発明では、撮像装置は、モード判別手段（Ｓ３１，Ｓ３３ａ）およびモード制御手段（Ｓ３５，Ｓ３７，Ｓ２３，Ｓ２５）をさらに備える。モード判別手段は、被写界に含まれる各顔の配置が集合写真モードに適合するか否かを、被写界に含まれる各顔との間の距離差に少なくとも基づいて判別し、モード制御手段は、モード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくともサイズ差検出手段および第１情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくともサイズ差検出手段および第１情報出力手段を無効化する。なお、ある実施例では、モード判別にあたって、被写界画像に含まれる顔画像の個数も考慮している。
【００３９】
第１０の発明によれば、撮像装置は、顔配置が集合写真モードに適合するか否かを判別して、適合すれば自動的に、少なくとも第１情報による集合写真撮影支援、好ましくは第１〜第７情報による集合写真撮影支援を開始するので、ユーザは、特に意識することなく好適な集合写真撮影を行える。また、顔配置が集合写真モードに適合するか否かの判別にあたって、各顔までの距離差を参照するので、大人の顔と子供の顔のように顔自体のサイズが異なる場合にも、好適な集合写真撮影が行える。
【００４０】
第１１の発明は、第９または第１０の発明に従属する撮像装置であって、撮像手段の画質をモード判別手段が判別を行う期間および集合写真モードが選択されている期間に渡って一時的に高める画質制御手段をさらに備える。
【００４１】
第１１の発明では、撮像装置は、画質制御手段（Ｓ９，Ｓ２７）をさらに備える。画質制御手段は、撮像手段の画質をモード判別手段が判別を行う期間および集合写真モードが選択されている期間に渡って一時的に高める。
【００４２】
モード判別処理および集合写真モードで実行される第１情報出力処理は、顔画像サイズのばらつきが大きい状態で、すなわち被写界画像に小さなサイズの顔画像が含まれている状態で行われることが前提なので、撮像手段の画質が低いと、小さな顔画像を検出することができず、結果として的確なモード判別や第１情報出力が行えない場合がある。第１１の発明によれば、撮像手段の画質を一時的に高めることで、消費電力の増加を抑制しながら、モード判別および第１情報出力を的確に行うことができるようになる。なお、ここで画質は、ある実施例ではＳ／Ｎ比であるが、他の実施例では解像度などでもよい。
【００４３】
第１２の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段と撮像手段の処理に関連する情報を出力する情報出力手段とを備える撮像装置のプロセッサに、撮像手段によって作成された各被写界画像から顔画像を検出する顔検出ステップ、および顔検出ステップによって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面と被写界に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第１情報を、情報出力手段を通じて出力する、第１情報出力ステップを実行させるための、集合写真撮影支援プログラムである。
【００４４】
第１２の発明では、撮像装置（１０）は、撮像面（１４ｆ）上に結ばれた被写界像を繰り返し捉える撮像手段（１４）、および撮像手段の処理に関連する情報を出力する情報出力手段（４２）を備え、集合写真撮影支援プログラム（５０〜６０）は、撮像装置のプロセッサ（２４）に、顔検出ステップ（Ｓ１３１〜Ｓ１４７）および第１情報出力ステップ（Ｓ７３〜Ｓ７９）を実行させる。プロセッサは、顔検出ステップで、撮像手段によって作成された各被写界画像から顔画像を検出し、第１情報出力ステップでは、顔検出ステップによって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面と被写界に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第１情報を、情報出力手段を制御して出力する。
【００４５】
第１２の発明でも、第１の発明と同様に、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる。
【発明の効果】
【００４６】
この発明によれば、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる、撮像装置および集合写真撮影支援プログラムが実現される。
【００４７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４８】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】顔検出処理の一例を示す図解図である。
【図３】顔情報が登録される第１テーブルの一例を示す図解図である。
【図４】顔画像サイズの不均等を是正する原理を示す図解図であり、（Ａ）が是正前を示し、（Ｂ）が是正後を示す。
【図５】変換後の顔情報が登録される第２テーブルの一例を示す図解図であり、（Ａ）が図４（Ａ）と対応し、（Ｂ）が図４（Ｂ）と対応する。
【図６】モニタ画面上で顔画像サイズの不均等が是正される様子を示す図解図であり、（Ａ）が図４（Ａ）および図５（Ｂ）と対応し、（Ｂ）が図４（Ｂ）および図５（Ｂ）と対応する。
【図７】モニタ画面上で顔画像サイズが適正化される様子を示す図解図であり、（Ａ）が適正化前を示し、（Ｂ）が適正化後を示す。
【図８】モニタ画面上で顔画像間隔が適正化される様子を示す図解図であり、（Ａ）が適正化前を示し、（Ｂ）が適正化後を示す。
【図９】メモリマップを示す図解図であり、（Ａ）はＳＤＲＡＭの構成を示し、（Ｂ）はメインメモリの構成を示す。
【図１０】ＣＰＵ動作の一部を示すフロー図である。
【図１１】ＣＰＵ動作の他の一部を示すフロー図である。
【図１２】ＣＰＵ動作のその他の一部を示すフロー図である。
【図１３】ＣＰＵ動作のさらにその他の一部を示すフロー図である。
【図１４】ＣＰＵ動作の他の一部を示すフロー図である。
【図１５】ＣＰＵ動作のその他の一部を示すフロー図である。
【図１６】ＣＰＵ動作のさらにその他の一部を示すフロー図である。
【図１７】ＣＰＵ動作の一部を示すフロー図である。
【図１８】変形例におけるＣＰＵ動作の一部を示すフロー図である。
【図１９】履歴エリアに格納されるテーブルの一例を示すフロー図である。
【発明を実施するための形態】
【００４９】
図１を参照して、この実施例のディジタルカメラ１０は、フォーカスレンズ１２を含む。被写界の光学像は、フォーカスレンズ１２を経てイメージセンサ１４の撮像面１４ｆに結像し、ここで光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。
【００５０】
電源が投入されると、スルー撮影処理が開始される。このとき、ＣＰＵ２４は、スルー撮影用の露光および電荷読み出しの繰り返しをタイミングジェネレータ（ＴＧ）１８に命令する。ＴＧ１８は、撮像面１４ｆの露光動作と、これによって得られた電荷の間引き読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された電荷の一部は、１／３０秒に１回の割合で発生する垂直同期信号Ｖｓｙｎｃに応答して、ラスタ走査に従う順序で読み出される。こうして、低解像度（たとえばｘ方向３２０画素＊ｙ方向２４０画素：以下“３２０＊２４０”のように記述する）の生画像信号が、３０ｆｐｓのフレームレートでイメージセンサ１４から出力される。
【００５１】
イメージセンサ１４から出力された生画像信号は、カメラ処理回路２０によってＡ／Ｄなどの処理を施され、ディジタル信号である生画像データに変換される。生画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の生画像エリアに３０ａ（図９（Ａ）参照）に書き込まれる。カメラ処理回路２０はその後、生画像エリアに３０ａに格納された生画像データをメモリ制御回路２８を通して読み出し、色分離，ＹＵＶ変換などの処理を施す。こうして得られたＹＵＶ形式の画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０のＹＵＶ画像エリア３０ｂ（図９（Ａ）参照）に書き込まれる。
【００５２】
ＬＣＤ駆動回路３２は、ＹＵＶ画像エリア３０ｂに格納された画像データをメモリ制御回路２８を通して１／３０秒毎に読み出し、読み出された画像データでＬＣＤモニタ３４を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がＬＣＤモニタ３４に表示される。
【００５３】
このようなスルー撮影中にキー力装置２６によってズーム操作が行われると、ズーム回路４４は、ＹＵＶ画像エリア３０ｂに格納された画像データをメモリ制御回路２８を通して読み出し、読み出された画像データに電子ズーム処理を施す。電子ズーム処理を施された画像データは、再びメモリ制御回路２８を通してＹＵＶ画像エリア３０ｂに書き込まれる。ＬＣＤ駆動回路３２へは、こうして電子ズーム処理を施された画像データが与えられ、これにより、モニタ画面に表示されているスルー画像のサイズが変化する。なお、この実施例ではズーム回路４４による電子ズームを行っているが、他の実施例では、フォーカスレンズ１２の前方または後方にズームレンズ（図示せず）を追加し、電子ズームに代えて、またはこれと組み合わせて、ズームレンズによる光学ズームを行ってもよい。
【００５４】
なお、図示は省略しているが、スルー撮影中、カメラ処理回路２０によって生成されたＹデータに基づいて被写界の明るさ（輝度）を１／３０秒毎に評価する処理が輝度評価回路によって実行されている。ＣＰＵ２４は、輝度評価回路によって求められた輝度評価値に基づいてイメージセンサ１４の露光量を調整し、これによってＬＣＤモニタ３４に表示されるスルー画像の明るさが適度に調整される。
【００５５】
フォーカス評価回路２２は、カメラ処理回路２０によって生成されたＹデータのうちフォーカス評価エリア（図示せず）に属するＹデータを取り込み、取り込まれたＹデータの高域周波数成分を積分し、そして積分結果つまりフォーカス評価値を出力する。この一連の処理は、Ｖｓｙｎｃに応答して１／３０秒毎に実行される。ＣＰＵ２４は、こうして求められたフォーカス評価値に基づいて、いわゆるコンティニュアスＡＦ処理（Ｓ１１９：図１５参照）を実行する。フォーカスレンズ１２の光軸方向の位置は、ＣＰＵ２４の制御の下でドライバ（Ｄｒ）１６によって継続的に変更される。
【００５６】
ＣＰＵ２４はまた、ＳＤＲＡＭ３０に格納されたＹＵＶデータに注目した顔認識処理を実行する。顔認識処理は、人物の目，鼻，口などに相当する顔辞書データ６６（図９（Ｂ）参照）を注目するＹＵＶデータと照合する一種のパターン認識処理であり、これによって被写界像から人物の顔画像が検出される。
【００５７】
詳しくは、図２に示すように、所定サイズ（たとえば８０＊８０）の顔検出枠ＦＤを、スルー画像（ＬＣＤモニタ３４のモニタ画面：３２０＊２４０）内の開始位置（左上）に配置して、これをラスタ走査の態様で既定量ずつ移動させつつ、顔検出枠ＦＤ内の画像に対して照合処理を施していく。顔検出枠ＦＤが終了位置（画面の右下）に到達すると、これを開始位置に戻して同様の動作を繰り返す。
【００５８】
なお、他の実施例では、サイズの異なる複数の顔検出枠（図示せず）を準備して、各画像に対してこれらの顔検出枠による複数の検出処理を順次的または並列的に実行することで、検出精度を向上させてもよい。また、顔検出処理は、ＡＦ処理と並列的に実行されるので、各顔にピントが合った時点でのフォーカスレンズ１２の位置に基づいて、撮像面１４ｆから被写界内の各顔までの距離を算出するようにしてもよい。
【００５９】
顔画像が検出されると、ＣＰＵ２４はさらに、その顔画像についてサイズおよび位置を算出し、算出結果を“顔サイズ”および“顔位置”として識別子（ＩＤ）と共に第１テーブル６２に登録する（図９（Ｂ），図３参照）。具体的には、顔画像Ｆ（Ｆ１，Ｆ２，…）のサイズとして、顔画像を取り囲む矩形の顔枠Ｆｒ（Ｆｒ１，Ｆｒ２，…：図６（Ａ）等参照）の縦横の長さ（画素数）を、顔画像Ｆの位置としては顔枠Ｆｒの重心座標を、それぞれ用いることができる。ＩＤとしては、たとえば連続番号１，２，…が用いられる。現在検出されている顔の数つまり第１テーブル６２に登録されている顔の数を、以下単に「顔数」と呼ぶ。なお、図３には、スルー画像のサイズを３２０＊２４０とした場合の数値が示されている。
【００６０】
このような顔検出処理は、所定周期たとえば１／１０秒周期（３フレームに１回の割合）で実行される。したがって、第１テーブル６２の内容もまた、１／１０秒周期で更新されていく。更新にあたっては、それまで第１テーブル６２に登録されていた顔情報が履歴エリア４０ｃ（図９（Ｂ）参照）に移動され、そこで所定時間たとえば１秒間保持される。すなわち、履歴エリア４０ｃは１０回分の顔情報を記憶可能に構成されており、そこで最古の顔情報が新たな顔情報で上書きされていく。これにより、履歴エリア４０ｃには常時、直近１０回分（１秒相当）の顔情報が保持されている結果となる。
【００６１】
一度検出された顔が、横を向くなどして一時的に検出されなくなると、第１テーブル６２には、その顔に関し“消失”が登録される。第１テーブル６２で“消失”状態にある顔については、必要に応じて、履歴エリア４０ｃに保持されている顔情報が利用される。履歴エリア４０ｃには図１９に示すようなテーブルがさらに格納されており、ＣＰＵ２４は、履歴エリア４０ｃに保持されている顔情報を利用するにあたってこのテーブルを参照する。テーブルには、第１テーブル６２に登録されている各顔Ｆ１，Ｆ２，…の有無を示すフラグ（“１”は有を“０”は無をそれぞれ示す）が、直近１０回分（Ｎｏ．１〜１０）登録されている。このテーブルを参照することによって、第１テーブル６２で“消失”状態にある顔の顔情報を、履歴エリア４０ｃから素早く読み取ることが可能となる。たとえば、第１テーブル６２で顔Ｆ１が“消失”状態となっても、図１９のテーブルを参照すると顔Ｆ１は８フレーム前まで検出さているので、この場合には、顔Ｆ１は消失していないとみなし、履歴エリア４０ｃに記憶されている８フレーム前の顔Ｆ１に関する顔情報を利用して、第２テーブル６４の作成を行うことができる。もし、顔Ｆ１が直近１０フレームの間に１度も検出さていなければ、顔Ｆ１は“消失”したとみなされる。なお、履歴エリア４０ｃに保持する顔情報は、ここでは１秒分（１０フレーム相当）であるが、これよりも長くても短くてもよい。
【００６２】
なお、他の実施例では、ＣＰＵ２４は、顔サイズおよび顔位置に加え、撮像面１４ｆから被写界内の各顔までの距離をフォーカスレンズ１２の位置に基づいて算出し、算出結果を“顔距離”として第１テーブル６２に登録してもよい。したがって、この場合、第１テーブル６２には、“顔サイズ”および“顔位置”に加えて“顔距離”が登録される。顔距離は、ＣＰＵ２４が撮影モードを決定する際に利用される（図１８参照：後述）。
【００６３】
ＣＰＵ２４はまた、キャラクタジェネレータ（ＣＧ）４２を通してＬＣＤ駆動回路３２を制御することにより、顔枠ＦｒをＬＣＤモニタ３４のスルー画像上に描画（オンスクリーン表示）する。
【００６４】
以上のようなスルー撮影中にシャッタボタン２６ｓｈが半押しされると、ＣＰＵ２４は、Ｄｒ１６を制御して記録用ＡＦ処理を実行する。さらにシャッタボタン２６ｓｈが全押しされると、ＣＰＵ２４は、本撮影用の露光および電荷読み出しをＴＧ１８に命令する。ＴＧ１８は、撮像面１４ｆの露光動作と、これによって得られた電荷の全画素読み出し動作とをそれぞれ１回実行するべく、１つのタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された全電荷が、ラスタ走査に従う順序で読み出される。こうして、高解像度（たとえば１２８０＊９６０）の生画像信号がイメージセンサ１４から出力される。
【００６５】
イメージセンサ１４から出力された生画像信号は、カメラ処理回路２０によって生画像データに変換され、生画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の生画像エリアに３０ａに書き込まれる。カメラ処理回路２０はその後、生画像エリアに３０ａに格納された生画像データをメモリ制御回路２８を通して読み出し、ＹＵＶ形式の画像データに変換する。ＹＵＶ形式の画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の記録画像エリア３０ｃ（図９（Ａ）参照）に書き込まれる。Ｉ／Ｆ３６は、こうして記録画像エリア３０ｃに書き込まれた画像データをメモリ制御回路２８を通して読み出し、ファイル形式で記録媒体３８に記録する。
【００６６】
以上が、ディジタルカメラ１０の基本動作つまりノーマル撮影モードが選択されている場合の動作である。撮影モードとしては、ノーマル撮影モードのほかに、集合写真モード，ポートレートモード，夜景モードなどが準備されており、ユーザは、目標や状況に応じた撮影モードをキー入力装置２６で選択することができる。また、ディジタルカメラ１０はモード自動決定機能を有しており、この機能がオンされている場合には、撮影モードはＣＰＵ２４によって自動的に決定される。
【００６７】
モード自動決定機能がオンされている場合の動作は、次のようになる。電源がオンされると、上述したようなスルー撮影処理，ＡＦ処理および顔検出処理が開始される。スルー撮影処理では、イメージセンサ１２は、消費電力を抑制するために低画質モードで動作しており、ＣＰＵ２４は、撮影モード決定の際に顔の数や配置を参照するため、顔検出処理の精度を上げるべく、イメージセンサ１２の動作モードをスルー撮影中にもかかわらず一時的に高画質モードに変更する。ここで画質は、具体的にはＳ／Ｎ比であり、Ｓ／Ｎ比はたとえば画素加算を行うことで向上する。
【００６８】
なお、他の実施例では、Ｓ／Ｎ比に代えて、またはこれに加えて、解像度を高めてもよい。たとえば、ディジタルカメラ１０が動画記録機能を有しており、記録用動画の解像度が６４０＊４８０であれば、解像度を６４０＊４８０に高める。
【００６９】
これによって、低画質モードでは検出できなかった小さな顔も検出することができるようになる。ＣＰＵ２４はまた、第１テーブル６２（図３参照）に登録された顔位置および顔サイズに対して座標変換処理を施し、各顔を前列および後列（第１列，第２列，…）に区分し、そして変換後の顔位置および顔サイズを列毎に第２テーブル６４（図５参照）に登録する。第２テーブル６４に登録される顔サイズは、ここでは顔枠Ｆｒの面積（＝縦＊横）とする。なお、第１テーブル６２で“消失”状態にある顔については、履歴エリア４０ｃからその顔の情報を抽出して、第２テーブル６４に登録するための情報を作成する。
【００７０】
なお、詳細は後述するが、図３の第１テーブル６２は、図６（Ａ）の画面に対応しており、図５（Ａ）の第２テーブル６４もまた、図６（Ａ）の画面に対応している。一方、図５（Ｂ）の第２テーブル６４は、図６（Ｂ）の画面に対応している。
【００７１】
ここで座標変換処置は、ｘ座標およびｙ座標の各々を２０で除算する処理である。したがって、第１テーブル６２では、図２に示すように、スルー画像の左上および右下をそれぞれ（０，０）および（３２０，２４０）とする座標系で記述されていた顔位置および顔サイズは、第２テーブル６４では、図５に示すように、スルー画像の左上および右下をそれぞれ（０，０）および（１６，１２）とする座標系で記述される結果となる。なお、他の実施例では、このような座標変換は行わず、検出された顔位置および顔サイズをそのまま第２テーブル６４に登録してもよい。
【００７２】
また、区分処理では、複数の顔の間でｙ座標の差分が閾値（たとえば０．２）以下であるとき、これら複数の顔は同じ列に属するとみなされる。そして、複数の列の間では、そこに属する顔のｙ座標が小さい列ほど手前に位置している（ディジタルカメラ１０に近い）とみなされる。したがって、たとえば図６（Ａ）の画面について、ＣＰＵ２４は、２つの顔画像Ｆ１およびＦ２が後列に、３つの顔画像Ｆ３〜Ｆ５が前列にそれぞれ属していると判断する。なお、閾値は、固定値とは限らず、顔サイズに応じた値（たとえば顔枠Ｆｒの縦方向の長さの定数倍）としてもよい。
【００７３】
ＣＰＵ２４はまた、各列で互いに隣り合う２つの顔画像の間隔（以下「顔間隔」と呼ぶ：この実施例では重心間距離）を算出し、算出結果を“顔間隔”として第２テーブル６４にさらに登録する。たとえば図６（Ａ）の画面では、２つの顔画像Ｆ１およびＦ２の間の間隔は、それぞれに対応する２つのｘ座標６．５および９．５の差分として｜６．５−９．５｜＝３．０のように計算される。
【００７４】
ＣＰＵ２４はその後、第２テーブル６４やカメラ処理回路２０によって生成されたＹデータなどに基づいて撮影モードを決定する。撮影モードとして集合写真モードを選択するか否かは、第２テーブル６４に基づいて判別される。この実施例では、ＣＰＵ２４は、顔数が５以上でかつ顔配置が前列・後列を構成している場合に、集合写真モードを選択する。したがって、図６（Ａ）のような場面では、図５（Ａ）に示される第２テーブル６４に基づいて、集合写真モードが選択される。一方、顔数および顔配列がこの条件を満足しない場合には、さらにＹデータなどを参照して、他のモードたとえばポートレートモードや夜景モードなどを選択する。
【００７５】
このようなモード自動決定処理によって、またはキー入力装置２６の操作によって集合写真モードが選択されると、ＣＰＵ２４は、顔サイズのばらつき具合，顔サイズそれ自体，および顔間隔などに基づいて、ユーザに適切な行動ないし操作を行わせるためのアシスト情報（たとえば撮影アシストＡ０１〜Ａ１０：図１３，図１４参照）を、ＣＧ４２およびＬＣＤ駆動回路３２を制御してオンスクリーン表示する（図６〜図８参照）。
【００７６】
詳しくは、ＣＰＵ２４はまず、顔サイズが前列・後列間で均等か否かを判別して、均等であれば撮影アシストＡ０３すなわち“顔サイズは均等です”を表示する一方、不均等であれば前列および後列のどちら側の顔サイズが小さいかをさらに判別する。そして、後列側の顔サイズが小さければ撮影アシストＡ０１すなわち“カメラを少し高所から構えてください”を表示し、前列側の顔サイズが小さければ撮影アシストＡ０２すなわち“カメラを少し低所から構えてください”を表示する。ＣＰＵ２４がこのようなアシスト処理を繰り返し行うことで、ユーザはディジタルカメラ１０を顔１，２，…に対して適切な高さ、つまり画面内で顔サイズＦＳ１，ＦＳ２，…が均等になるような高さに構えることができる。
【００７７】
たとえば、図６（Ａ）の画面の場合、ディジタルカメラ１０と、画面内の２つの顔画像Ｆ１およびＦ４に対応する２つの顔１および４とは、奥行き方向および鉛直方向に関して図４（Ａ）のような位置関係にある。この状態でディジタルカメラ１０を上向きに移動させると、ディジタルカメラ１０と２つの顔１および４との位置関係は、図４（Ｂ）のように変化する。ディジタルカメラ１０から各顔１，４までの距離をｄ１，ｄ４とすると、その距離差｜ｄ１−ｄ４｜は、ディジタルカメラ１０を鉛直上方に移動させることで縮小され、この結果、図６（Ｂ）に示すように、画面内で顔サイズのばらつきが軽減される。
【００７８】
顔サイズが均等になると、ＣＰＵ２４は次に、顔サイズが既定範囲内か否かを判別して、既定範囲内であれば撮影アシストＡ０６すなわち“顔サイズは適正です”を表示する一方、既定範囲外であれば小さすぎるか大きすぎるかをさらに判別する。そして、顔サイズが小さすぎる場合には撮影アシストＡ０４すなわち“目標に近づくかズームアップしてください”を表示し、顔サイズが大きすぎる場合には撮影アシストＡ０５すなわち“目標から遠ざかるかズームダウンしてください”を表示する。ＣＰＵ２４がこのようなアシスト処理を繰り返し行うことで、ユーザは、画面内で顔サイズＦＳ１，ＦＳ２，…が適正な大きさになるように、自分の立ち位置やズーム倍率を変更することができる。
【００７９】
たとえば、図７（Ａ）の画面の場合、ＣＰＵ２４は顔サイズＦＳ１，ＦＳ２，…が小さすぎると判断し、撮影アシストＡ０４を表示する。応じてユーザが目標に近づくかズームアップ操作を行うと、顔サイズは拡大され、図７（Ｂ）のように適正サイズとなる。
【００８０】
顔サイズが適正になると、ＣＰＵ２４は次に、顔間隔が既定範囲内か否かを判別して、既定範囲内であれば撮影アシストＡ０９すなわち“顔間隔は適正です”を表示する一方、既定範囲外であればつまり過ぎかあき過ぎかをさらに判別する。そして、顔間隔があき過ぎの場合には撮影アシストＡ０７すなわち“目標に間を少しつめるよう指示してください”を表示し、顔間隔がつまり過ぎの場合には撮影アシストＡ０８すなわち“目標に間を少しあけるよう指示してください”を表示する。ＣＰＵ２４がこのようなアシスト処理を繰り返し行うことで、ユーザは、画面内で顔間隔が適切な大きさになるように、目標である各人物に立ち位置を変えさせることができる。
【００８１】
たとえば、図８（Ａ）の画面の場合、ＣＰＵ２４は顔間隔があき過ぎていると判断し、撮影アシストＡ０７を表示する。応じてユーザが目標に間を少しつめるよう指示し、目標がそのように立ち位置を変えると、顔間隔は短縮され、図７（Ｂ）のように適正間隔となる。
【００８２】
以上のようなディジタルカメラ１０の動作は、ＣＰＵ２４がメインメモリ４０に格納されたプログラムおよびデータに基づいて、図１０および図１１に示すモード制御タスク，図１２に示す撮影タスク，図１３および図１４に示す撮影アシストタスク，図１５に示すＡＦタスク，図１６に示す顔検出タスク，および図１７に示す顔情報変換タスクを実行することにより実現される。なお、ＣＰＵ２４は、マルチタスクＯＳの制御下にあり、複数のタスクを並列的に実行することができる。
【００８３】
メインメモリ４０のメモリマップを図９（Ｂ）に示す。メインメモリ４０にはプロググラムエリア４０ａ，データエリア４０ｂおよび履歴エリア４０ｃが形成され、プログラムエリア４０ａにはモード制御タスクに対応するモード制御プログラム５０，撮影タスクに対応する撮影プログラム５２，撮影アシストタスクに対応する撮影アシストプログラム５４，ＡＦタスクに対応するＡＦプログラム５６，顔検出タスクに対応する顔検出プログラム５８，および顔情報変換タスクに対応する顔情報変換プログラム６０などが格納されている。先述した第１テーブル６２，第２テーブル６４および顔辞書データ６６は、データエリア４０ｂに格納されている。データエリア４０ｂにはまた、現時点で選択されている撮影モードを示す撮影モード情報６８，モード自動決定機能がオン状態かオフ状態かを示すモード自動決定フラグ７０，およびイメージセンサ１４の現時点での動作モード（低画質モードか高画質モードか）を示すイメージセンサ動作モード情報７２などが記憶される。履歴エリア４０ｃには、第１テーブル６２の更新履歴（過去の顔情報）などが保持される。
【００８４】
ディジタルカメラ１０の電源がオンされると、モード制御タスクが起動される。図１０を参照して、モード制御タスクが起動されると、ＣＰＵ２４はまず、ステップＳ１でスルー撮影命令を発行し、ステップＳ３およびＳ５でＡＦタスクおよび顔検出タスク（図１５および図１６：後述）をそれぞれ起動する。これにより、イメージセンサ１４は低画質モードで動作を開始し、モニタ画面にスルー画像が表示される。ＣＰＵ２４は、ＡＦタスクおよび顔検出タスクを通じて、フォーカス調整を行いつつスルー画像に含まれる顔画像を検出し、その位置およびサイズを示す顔情報を第１テーブル６２（図３参照）に登録する。
【００８５】
ＣＰＵ２４は次に、ステップＳ７で、モード自動設定機能がオン状態か否かをモード自動決定フラグ７０に基づいて判別し、ＹＥＳであればステップＳ９〜Ｓ１３の一連の処理を経てステップＳ２１に進む。ステップＳ９では、イメージセンサ動作モード情報７２を更新して、イメージセンサ１４の動作モードを低画質モードから高画質モードに変更する。ステップＳ１１では、顔情報変換タスク（図１７参照：後述）を起動して、第１テーブル６２の顔情報に座標変換，区分などの処理を施し、変換後の顔情報を第２テーブル６４（図５参照）に登録する。ステップＳ１３では、第２テーブル６４の顔情報に基づいて撮影モードを決定する。
【００８６】
一方、ステップＳ７でＮＯであれば、ステップＳ１５に移ってモード選択操作の有無を判別する。ここでＹＥＳであれば、ステップＳ１７で、撮影モード情報６８の値を選択された撮影モードを示す値に更新した後、ステップＳ２１に進む。ステップＳ１５でＮＯであれば、ステップＳ１９で撮影モード情報６８の値をデフォルト値または前回と同じ値とした後、ステップＳ２１に進む。
【００８７】
ステップＳ２１では撮影タスク（図１２参照：後述）を起動し、そしてステップＳ２３で現時点の撮影モードが集合写真モードであるか否かを撮影モード情報６８に基づいて判別する。ステップＳ２３でＹＥＳであれば、ステップＳ２５で撮影アシストタスク（図１３および図１４参照：後述）をさらに起動し、そしてステップＳ２６でイメージセンサ１４の動作モードを低画質モードから高画質モードに変更し（Ｓ２６）、処理を終了する。ステップＳ２３でＮＯであれば、ステップＳ２７で、イメージセンサ動作モード情報７２を更新して、イメージセンサ１４の動作モードを高画質モードから低画質モードに復帰させ、処理を終了する。なお、ステップＳ２６，Ｓ２７では、既に動作モードが高画質モード，低画質モードであれば、現状維持される。
【００８８】
上記ステップＳ１３の撮影モード決定処理は、詳しくは図１１のサブルーチンに従って実行される。ＣＰＵ２４は、まずステップＳ３１で、現時点での顔数つまり第１テーブル６２に登録されている顔の数が集合写真に該当するかどうかを判別する。この実施例では、顔数が５以上であればステップＳ３１でＹＥＳと判別し、ステップＳ３３に進む。ステップＳ３３では、現時点での顔配置つまり第１テーブル６２に登録されている各顔の位置関係が集合写真に該当するか否かをさらに判別する。この実施例では、先述したように、各顔の位置が前列・後列を構成していれば（第１列，第２列，…のように前後方向に列を構成していれば）ＹＥＳと判別し、ステップＳ３５に進む。ステップＳ３５では、撮影モード情報６８に現時点の撮影モードが集合写真モードであることを記述し（以下では「撮影モードに集合写真モードをセットする」のように記す）、上位層のルーチンに復帰する。
【００８９】
一方、顔数が５に満たなければ、ステップＳ３１でＮＯと判別し、ステップＳ３７に進む。また、顔配置が前列・後列を構成していなければ（たとえば５つの顔をどのような２つの列または３つ以上の列に区分しても、各列でｙ座標の差分が閾値以下とならない場合）には、ステップＳ３３でＮＯと判別し、ステップＳ３７に進む。ステップＳ３７では、さらにＹデータなども参照して他の撮影モード（ポートレートモード，夜景モードなど）を選択し、これを撮影モードにセットする。そして上位層のルーチンに復帰する。
【００９０】
図１２を参照して、撮影タスクが起動されると、ＣＰＵ２４は、まずステップＳ５１でシャッタボタン２６ｓｈが半押し状態であるか否かを判別し、ＮＯであればステップＳ５５に進む。ステップＳ５１でＹＥＳであれば、ステップＳ５３で記録用ＡＦ命令を発行した後、ステップＳ５５に進む。フォーカスレンズ１２の位置は、ＡＦタスク（図１５参照：後述）による記録用ＡＦ処理を通じて、Ｄｒ１６により微調整される。
【００９１】
ステップＳ５５では、シャッタボタン２６ｓｈが全押し状態であるか否かを判別し、ＮＯであればステップＳ５１に戻って上記と同様の処理を繰り返す。ステップＳ５５でＹＥＳであれば、ステップＳ５７で本撮影命令を発行した後、ステップＳ５９で記録処理を実行する。本撮影命令に応じて、スルー撮影処理は中断され、イメージセンサ１４の動作モードは低画質モードから高画質モードへと変化する。本撮影処理によって記録画像エリア３０ｃに高解像度の画像データが書き込まれると、ＣＰＵ２４は、この画像データをＩ／Ｆ回路３６を通じてファイル形式で記録媒体３８に記録する。記録処理が完了すると、ステップＳ６１に進んでスルー撮影命令を発行し、ステップＳ５１に戻って上記と同様の処理を繰り返す。これにより、イメージセンサ１４の動作モードは高画質モードから低画質モードへと復帰し、スルー撮影処理が再開される。
【００９２】
図１３および図１４を参照して、撮影アシストタスクが起動されると、ＣＰＵ２４は、まずステップＳ７１でスルー撮影中か否かを判別し、ＮＯであれば待機する。ステップＳ７１でＹＥＳであればステップＳ７３に進み、顔サイズが前列・後列間で均等であるか否かを第２テーブル６４（図５参照）に基づいて判別する。具体的には、各列で顔サイズの平均値を求め、これらの平均値の差分（ｄＦＳ）が閾値（たとえば０．５）以下であるか否かを判別する。この実施例では、ｄＦＳ≦０．５のときステップＳ７３でＹＥＳと判別し、ステップＳ８１に進んで撮影アシストＡ０３の表示をＣＧ４２に命令する。ＣＧ４２は、ＬＣＤ駆動回路３２を通してＬＣＤモニタ３４に“顔サイズは均等です”を表示する（図６（Ｂ）参照）。その後、ステップＳ８３に進む。
【００９３】
一方、ｄＦＳ＞０．５であれば、ステップＳ７３でＮＯと判別し、ステップＳ７５に移って、顔サイズが前列よりも後列で小さいか否かをさらに判別する。ステップＳ７５でＹＥＳであれば、ステップＳ７７で撮影アシストＡ０１の表示をＣＧ４２に命令し、応じてＬＣＤモニタ３４には“カメラを少し高所から構えてください”が表示される（図６（Ａ）参照）。ステップＳ７５でＮＯであれば、ステップＳ７９で撮影アシストＡ０２の表示をＣＧ４２に命令し、応じてＬＣＤモニタ３４には“カメラを少し低所から構えてください”が表示される（図示せず）。アシスト表示後、ステップＳ７１に戻って同様の処理を繰り返す。このため、ユーザがアシスト表示に従ってカメラを構える高さを調整し、ｄＦＳ≦０．５となると、画面表示は撮影アシストＡ０１またはＡ０２からＡ０３に更新される。
【００９４】
顔サイズが均等になると、ＣＰＵ２４は、ステップＳ８３で顔サイズが既定範囲内か否かをさらに判別する。この実施例では、顔サイズの平均値（ＦＳ）が５から１０の範囲内にある（５≦ＦＳ≦１０）ときＹＥＳと判別し、ステップＳ９１に進んで撮影アシストＡ０６の表示を命令する。ＬＣＤモニタ３４には“顔サイズは適正です”が表示される（図７（Ｂ）参照）。その後、ステップＳ９３に進む。
【００９５】
一方、ＦＳ＜５または１０＜ＦＳであれば、ステップＳ８３でＮＯと判別し、ステップＳ８５に移って、顔サイズが小さすぎるか否かをさらに判別する。この実施例では、ＦＳ＜５のときステップＳ８５でＹＥＳと判別する。ステップＳ８５でＹＥＳであれば、ステップＳ８７で撮影アシストＡ０４の表示をＣＧ４２に命令し、応じてＬＣＤモニタ３４には“目標に近づくかズームアップしてください”が表示される（図７（Ａ）参照）。ステップＳ８５でＮＯであれば、ステップＳ８９で撮影アシストＡ０５の表示をＣＧ４２に命令し、応じてＬＣＤモニタ３４には“目標から遠ざかるかズームダウンしてください”が表示される（図示せず）。アシスト表示後、ステップＳ８３に戻って同様の処理を繰り返す。このため、ユーザがアシスト表示に従って自分の立ち位置またはズーム倍率を調整し、５≦ＦＳ≦１０となると、画面表示は撮影アシストＡ０４またはＡ０５からＡ０６に更新される。
【００９６】
顔サイズが適正になると、ＣＰＵ２４は、ステップＳ９３で顔間隔が既定範囲内か否かをさらに判別する。この実施例では、顔間隔の平均値（ｄｘ）が３から４の範囲内にある（３≦ｄｘ≦４）ときＹＥＳと判別し、ステップＳ１０１に進んで撮影アシストＡ０９の表示を命令する。ＬＣＤモニタ３４には“顔間隔は適正です”が表示される（図７（Ｂ）参照）。さらにステップＳ１０３で撮影アシストＡ１０の表示を命令し、ＬＣＤモニタ３４には“この状態でシャッタを押してください”が表示される（図示せず）。その後、ステップＳ７１に戻って同様の処理を繰り返す。
【００９７】
一方、ｄｘ＜３または４＜ｄｘであれば、ステップＳ９３でＮＯと判別し、ステップＳ９５に移って、顔間隔があきすぎか否かをさらに判別する。この実施例では、４＜ｄｘのときステップＳ９５でＹＥＳと判別する。ステップＳ９５でＹＥＳであれば、ステップＳ９７で撮影アシストＡ０７の表示をＣＧ４２に命令し、応じてＬＣＤモニタ３４には“目標に間を少しつめるよう指示してください”が表示される（図８（Ａ）参照）。ステップＳ９５でＮＯであれば、ステップＳ９９で撮影アシストＡ０８の表示をＣＧ４２に命令し、応じてＬＣＤモニタ３４には“目標に間を少し空けるよう指示してください”が表示される（図示せず）。アシスト表示後、ステップＳ９３に戻って同様の処理を繰り返す。このため、ユーザがアシスト表示に従って目標である人物に隣との間隔を変えるように指示し、応じて人物が間隔を調整した結果、３≦ｄｘ≦４となると、画面表示は撮影アシストＡ０７またはＡ０８からＡ０９に更新される。その後、画面表示は撮影アシストＡ０９からＡ１０にさらに更新され、応じてユーザがシャッタ操作を行うと、撮影タスクによる撮影処理が実行される。
【００９８】
図１５を参照して、ＡＦタスクが起動されると、ＣＰＵ２４は、ステップＳ１５１でＶｓｙｎｃの発生を待った後、記録用ＡＦ命令の有無をステップＳ１１３で判別する。撮影タスク（図１２参照）によって記録用ＡＦ命令が発行されると、ステップＳ１１３でＹＥＳと判別し、ステップＳ１１５に進んで記録用ＡＦ処理を実行する。そしてステップＳ１１１に戻り、上記と同様の処理を繰り返す。
【００９９】
ステップＳ１１３でＮＯであれば、現時点のフォーカス評価値がＡＦ起動条件を満足したか否かをステップＳ１１７で判別する。ここでＮＯであればステップＳ１１１に戻って同様の処理を繰り返す。ステップＳ１１７でＹＥＳであれば、ステップＳ１１９に進んでコンティニュアスＡＦ処理を実行した後、ステップＳ１１１に戻って同様の処理を繰り返す。
【０１００】
図１６を参照して、顔検出タスクが起動されると、ＣＰＵ２４は、ステップＳ１３１で第１テーブル６２（図３参照）を初期化する。次に、ステップＳ１３３で顔検出枠ＦＤを開始位置（たとえば画面左上：図２参照）に配置した後、ステップＳ１３５でＶｓｙｎｃが３回発生されるのを待ち、Ｖｓｙｎｃが３回発生するとステップＳ１３７に進んで、被写界画像から顔検出枠ＦＤ内の画像を切り出す。そしてステップＳ１３９で、切り出した画像と顔辞書データ６６との照合処理を実行し、照合結果が適合を示すか否かをステップＳ１４１で判別する。ステップＳ１４１でＮＯであればステップＳ１３７に戻って同様の処理を繰り返し、ＹＥＳであればステップＳ１４３で当該顔に関する顔情報（ＩＤ，位置およびサイズ）を第１テーブル６２に記述する。それまで第１テーブル６２に記述されていた顔情報は、履歴エリア４０ｃに移動される。その後、未照合部分の有無をステップＳ１４５で判別し、ＹＥＳであればステップＳ１４７で顔検出枠ＦＤを図２の要領で１ステップ移動させた後、ステップＳ１３７に戻って同様の処理を繰り返す。顔検出枠ＦＤが画面の右下に到達していれば、ステップＳ１４５でＮＯと判別し、ステップＳ１３３に戻って同様を繰り返す。
【０１０１】
図１７を参照して、顔情報変換タスクが起動されると、ＣＰＵ２４は、まずステップＳ１６１で第２テーブル６４（図５参照）を初期化する。次に、第１テーブル６２が更新されたか否かをステップＳ１６３で判別し、ＮＯであれば待機する。ステップＳ１６３でＹＥＳであれば、ステップＳ１６５に移って、第１テーブル６２に登録された顔情報のうち位置およびサイズに関して座標変換を行う。なお、第１テーブル６２で“消失”となっている顔については、履歴エリア４０ｃに保持されている顔情報に関して座標変換を行う。
【０１０２】
ＣＰＵ２４は次に、座標変換された後の位置およびサイズに基づいて、ステップＳ１６７で各顔を前列および後列（第１列，第２列，…）に区分し、ステップＳ１６９では各顔サイズつまり顔枠Ｆｒｉに対応する矩形の面積を算出し、そしてステップＳ１７１で顔間隔つまり矩形の重心間距離を算出する。なお、上記ステップＳ１６５〜Ｓ１７１にそれぞれ対応する座標変換，区分，顔サイズ算出および顔間隔算出の各処理については、先に説明したので省略する。こうして、第１テーブル６２に登録された顔情報は撮影アシスト用の顔情報に変換され、変換後の顔情報がステップＳ１７３で第２テーブル６４に記述される。その後、ステップＳ１６３に戻って同様の処理を繰り返す。
【０１０３】
以上から明らかなように、この実施例のディジタルカメラ１０は、撮像面１４ｆ上に結ばれた被写界像を繰り返し捉えるイメージセンサ１４、およびこれによる撮像処理に関連する情報をＬＣＤ駆動回路３２を介してＬＣＤモニタ３４に表示するＣＧ４２を備える。ＣＰＵ２４は、イメージセンサ１４によって作成された各被写界画像から顔画像を検出し（Ｓ１３１〜Ｓ１４７）、検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面１４ｆと被写界に含まれる各顔との間の距離差が減少するような向きにディジタルカメラ１０自身を移動させる行動を促すための撮影アシスト情報（Ａ０１，Ａ０２）を、ＣＧ４２を制御して出力する（Ｓ７３〜Ｓ７９）。
【０１０４】
したがって、ユーザが撮影アシスト情報に従って行動することで、撮像面１４ｆ（ディジタルカメラ１０）と被写界に含まれる各顔１，２，…との間の距離差が減少する（図４参照）ので、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる（図６参照）。
【０１０５】
なお、撮影アシスト情報（Ａ０１〜Ａ１０）は、この実施例ではＣＧ４２によって画像（図６〜図８参照）の態様で出力されるが、他の実施例では、サウンドジェネレータ（図示せず）によって音声の態様で出力されてもよく、画像および音声の両方の態様で出力されてもよい。
【０１０６】
また、顔画像のサイズは、この実施例では、顔画像（Ｆ１，Ｆ２，…）の輪郭に沿う矩形（顔枠Ｆｒ１，Ｆｒ２，…）の面積であるが、他の実施例では、同様の矩形の長さ（たとえば隣り合う２辺を合計した長さや、対角線の長さなど）でもよく、顔画像それ自体の面積や長さでもよい。
【０１０７】
また、この実施例では、撮影モードの決定にあたって、顔配置が集合写真に該当するか否かを、画面内で顔画像が前列・後列を形成しているか否か、すなわち顔画像の平面的な配置つまり座標（ｘ，ｙ）に基づいて判別した（Ｓ３３）が、変形例では、撮像面１４ｆ（ディジタルカメラ１０）から各顔１，２，…までの距離つまり顔距離ｄ１，ｄ２，…の差分、言い換えると奥行き方向の配置（図４参照）に基づいて、これを判別してもよい。この場合、第１テーブル６２（図３参照）には顔距離がさらに登録され、ＣＰＵ２４は、図１１の撮影モード決定処理に代えて、図１８の撮影モード決定処理を実行する。
【０１０８】
図１８の撮影モード決定処理は、図１１のそれにおいて、ステップＳ３３をステップＳ３３ａに置き換えたものであり、ステップＳ３３ａでＣＰＵ２４は、第１テーブル６２に登録された顔距離の間で距離差があるか否かを判別する。この変形例では、距離差が閾値（たとえば０．１５ｍ）以上のとき距離差ありとみなし、閾値に満たなければ距離差なしとみなす。たとえば図３の例では、距離差が０．２ｍなので、ステップＳ３３ａの判別結果はＹＥＳつまり距離差ありとなる。
【０１０９】
顔配置が集合写真に該当するか否かの判別を、この実施例のように各顔画像の座標（ｘ，ｙ）に基づいて行うか、または、この変形例のように撮像面から各顔までの距離差に基づいて行えば、大人の顔と子供の顔のように顔自体のサイズが異なる場合でも、好適な集合写真撮影が行える。
【０１１０】
なお、以上で挙げた位置，サイズ，間隔および距離などの値や、各種判別のための閾値は、理解を助けるための一例に過ぎず、適宜変更される。また、各タスクは、ＣＰＵ２４によって実行されたが、図示しないＭＰＵやマイコンによって実行されもよい。画像は、ＬＣＤ以外のディスプレイ、たとえば有機ＥＬディスプレイに表示されてもよい。画像データは、Ｉ／Ｆ３６を通して記録媒体３８に記憶されたが、メインメモリ４０などの内蔵メモリに記録してもよい。記録の形式は、必ずしもファイル形式でなくてもよい。
【０１１１】
以上では、一例として、ディジタルカメラ１０について説明したが、この発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段（たとえばＣＣＤやＣＭＯＳなどのイメージセンサ）、撮像手段の処理に関連する情報を出力する情報出力手段（たとえばキャラクタジェネレータ，サウンドジェネレータなど）、およびプロセッサ（ＣＰＵ，ＭＰＵ，マイコンなど）を備える、撮像装置（たとえばディジタルスチルカメラ，ディジタルムービーカメラ，カメラ付き携帯端末など）に適用できる。
【符号の説明】
【０１１２】
１０  …ディジタルカメラ
１２  …フォーカスレンズ
１４  …イメージセンサ
１４ｆ  …撮像面
２０  …カメラ処理回路
２２  …フォーカス評価回路
２４  …ＣＰＵ
３２  …ＬＣＤ駆動回路
３４  …ＬＣＤモニタ
４２  …キャラクタジェネレータ（ＣＧ）
４４  …ズーム回路
【図１】
2010193254.tif 000003
【図２】
2010193254.tif 000004
【図３】
2010193254.tif 000005
【図４】
2010193254.tif 000006
【図５】
2010193254.tif 000007
【図６】
2010193254.tif 000008
【図７】
2010193254.tif 000009
【図８】
2010193254.tif 000010
【図９】
2010193254.tif 000011
【図１０】
2010193254.tif 000012
【図１１】
2010193254.tif 000013
【図１２】
2010193254.tif 000014
【図１３】
2010193254.tif 000015
【図１４】
2010193254.tif 000016
【図１５】
2010193254.tif 000017
【図１６】
2010193254.tif 000018
【図１７】
2010193254.tif 000019
【図１８】
2010193254.tif 000020
【図１９】
2010193254.tif 000021