(57)【要約】【課題】  撮像した画像における顔のうち、所定の状態となっている顔について報知するための技術を提供すること。【解決手段】  集合撮影モードが設定された場合には、取得した画像中における被写体を検出し、検出した被写体の状態を認識する（ステップＳ１０５）。そして、認識結果が所定の状態を示す被写体について報知するための表示を行う（ステップＳ１０７）。【選択図】  図１
2007081992.tif 000002
【特許請求の範囲】
【請求項１】
外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出手段と、
前記検出手段が検出した被写体の状態を認識する認識手段と、
前記認識手段による認識結果が所定の状態を示す被写体について報知するための表示を行うべく、前記表示手段を制御する表示制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記被写体は、人の顔であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段が検出した人の顔が、よそ見した顔、目をつぶった顔、赤目となった顔の何れかであると前記認識手段が認識した場合には、前記表示制御手段は、当該認識した顔について報知する為の表示を行うべく、前記表示手段を制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出手段と、
前記検出手段が検出した被写体の状態を認識する認識手段と、
前記認識手段による認識結果が所定の状態である場合には、前記取得手段が取得した画像を所定のメモリに記録する記録制御手段と
を備えることを特徴とする撮像装置。
【請求項５】
外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置であって、
所定のモードが設定された場合には、前記取得手段が取得した画像を逐次メモリに記録する記録制御手段と、
所定の指示入力を検知すると、前記メモリに記録された画像群のうち、修正対象画像中における被写体を検出する検出手段と、
前記検出手段が検出した被写体の状態を認識する認識手段と、
前記認識手段による認識結果が所定の状態である場合には、前記画像群のうち１つを用いて、前記修正対象画像を修正する修正手段と
を備えることを特徴とする撮像装置。
【請求項６】
前記修正手段は、前記画像群のうち、画像中の前記被写体が前記所定の状態ではないと前記認識手段により認識された画像を用いて、前記修正対象画像を修正することを特徴とする請求項５に記載の撮像装置。
【請求項７】
外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置の制御方法であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出工程と、
前記検出工程で検出した被写体の状態を認識する認識工程と、
前記認識工程による認識結果が所定の状態を示す被写体について報知するための表示を行うべく、前記表示手段を制御する表示制御工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項８】
外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置の制御方法であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出工程と、
前記検出工程で検出した被写体の状態を認識する認識工程と、
前記認識工程による認識結果が所定の状態である場合には、前記取得手段が取得した画像を所定のメモリに記録する記録制御工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項９】
外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置の制御方法であって、
所定のモードが設定された場合には、前記取得手段が取得した画像を逐次メモリに記録する記録制御工程と、
所定の指示入力を検知すると、前記メモリに記録された画像群のうち、修正対象画像中における被写体を検出する検出工程と、
前記検出工程で検出した被写体の状態を認識する認識工程と、
前記認識工程による認識結果が所定の状態である場合には、前記画像群のうち１つを用いて、前記修正対象画像を修正する修正工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項１０】
撮像装置に請求項７乃至９の何れか１項に記載の制御方法を実行させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所望の撮像を行うための技術に関するものである。
【背景技術】
【０００２】
人物撮影を行う場合、被写体となっている人物がよそ見をしたり目をつぶったりすることが良くある。特に集合写真を撮影したときには、よそ見をしている人や目をつぶっている人が含まれる可能性はさらに高くなる。撮影者はこのことに後で気付いても、集合写真を撮影したシーンに戻ることはできないので、結果として意図とした集合写真を得ることはできない。
【０００３】
通常、デジタルスチルカメラは、撮影した画像を撮影直後にディスプレイに表示するクイックレビュー機能を備える。しかし、多人数での集合写真の場合、クイックレビューで撮影された画像を確認するだけでは、よそ見をしている人や目をつぶっている人を即座に見つけることは困難である。
【０００４】
係る技術分野には、以下のような従来技術（特許文献１を参照）が開示されている。即ち、撮像画像の中から被写体の顔の特徴的な部位を検出したり、肌色部分を検出することで顔領域を自動で検出する顔検出技術を用いて、入力された画像から顔画像を抽出し、名前、生年月日等の付加情報と共に、参照画像として登録する。そして、新たに入力された画像の中から参照画像に合致する顔画像を検出する。その顔画像をポインティングデバイス等でポインタを顔画像上に移動させると、参照情報に登録されていた付加情報を表示したり、拡大するしたりする。
【特許文献１】特開２００４−０１３８７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の問題に鑑みてなされたものであり、撮像した画像における顔のうち、所定の状態となっている顔について報知するための技術を提供することを目的とする。
【０００６】
また、本発明の別の目的は、それぞれの顔が所望の状態となっている場合に撮像を開始するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。
【０００８】
即ち、外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出手段と、
前記検出手段が検出した被写体の状態を認識する認識手段と、
前記認識手段による認識結果が所定の状態を示す被写体について報知するための表示を行うべく、前記表示手段を制御する表示制御手段と
を備えることを特徴とする。
【０００９】
本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。
【００１０】
即ち、外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出手段と、
前記検出手段が検出した被写体の状態を認識する認識手段と、
前記認識手段による認識結果が所定の状態である場合には、前記取得手段が取得した画像を所定のメモリに記録する記録制御手段と
を備えることを特徴とする。
【００１１】
本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。
【００１２】
即ち、外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置であって、
所定のモードが設定された場合には、前記取得手段が取得した画像を逐次メモリに記録する記録制御手段と、
所定の指示入力を検知すると、前記メモリに記録された画像群のうち、修正対象画像中における被写体を検出する検出手段と、
前記検出手段が検出した被写体の状態を認識する認識手段と、
前記認識手段による認識結果が所定の状態である場合には、前記画像群のうち１つを用いて、前記修正対象画像を修正する修正手段と
を備えることを特徴とする。
【００１３】
本発明の目的を達成するために、例えば、本発明の撮像装置の制御方法は以下の構成を備える。
【００１４】
即ち、外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置の制御方法であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出工程と、
前記検出工程で検出した被写体の状態を認識する認識工程と、
前記認識工程による認識結果が所定の状態を示す被写体について報知するための表示を行うべく、前記表示手段を制御する表示制御工程と
を備えることを特徴とする。
【００１５】
本発明の目的を達成するために、例えば、本発明の撮像装置の制御方法は以下の構成を備える。
【００１６】
即ち、外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置の制御方法であって、
所定のモードが設定された場合には、前記取得手段が取得した画像中における被写体を検出する検出工程と、
前記検出工程で検出した被写体の状態を認識する認識工程と、
前記認識工程による認識結果が所定の状態である場合には、前記取得手段が取得した画像を所定のメモリに記録する記録制御工程と
を備えることを特徴とする。
【００１７】
本発明の目的を達成するために、例えば、本発明の撮像装置の制御方法は以下の構成を備える。
【００１８】
即ち、外界を撮像することで、当該外界の画像を取得する取得手段と、
前記取得手段が取得した画像を表示する表示手段と、を備える撮像装置の制御方法であって、
所定のモードが設定された場合には、前記取得手段が取得した画像を逐次メモリに記録する記録制御工程と、
所定の指示入力を検知すると、前記メモリに記録された画像群のうち、修正対象画像中における被写体を検出する検出工程と、
前記検出工程で検出した被写体の状態を認識する認識工程と、
前記認識工程による認識結果が所定の状態である場合には、前記画像群のうち１つを用いて、前記修正対象画像を修正する修正工程と
を備えることを特徴とする。
【発明の効果】
【００１９】
本発明の構成により、撮像した画像における顔のうち、所定の状態となっている顔について報知することができる。
【００２０】
また、それぞれの顔が所望の状態となっている場合に撮像を開始することができる。
【発明を実施するための最良の形態】
【００２１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２２】
［第１の実施形態］
本実施形態では、撮像装置として、ディジタルカメラを適用した場合について説明する。図７は、本実施形態に係るディジタルカメラのハードウェア構成を示すブロック図である。
【００２３】
本実施形態に係るディジタルカメラは、被写体像を撮像するためのモードである撮影モード、撮影済みの画像を閲覧するためのモードである再生モード、そして集合写真撮影のためのモードである集合撮影モードの３つのモードを有する。ディジタルカメラの操作者が同図に示すモードスイッチ１０２１を操作し、この３つのモードのうち何れか１つのモードを選択すると、選択したモードを示す信号がモードスイッチ１０２１からＩＯ１０２５を介してＣＰＵ１００３に通知される。
【００２４】
これにより、ＣＰＵ１００３は、モードスイッチ１０２１により選択されたモードを検知することができ、検知したモードに応じた動作を行うべく、図７に示した各部を制御する。以下では、各モードにおける各部の動作について説明する。なお、以下の説明では、被写体として、人の顔を用いる。
【００２５】
＜撮影モード＞
先ず、被写体像を撮像するためのモードである撮影モードに設定した場合の図７に示した各部の動作について説明する。なお、以下説明する各部は、ＣＰＵ１００３がＲＯＭコントローラ１０１５を介してＲＯＭ１００４から読み取るプログラムやデータを用いて制御することで動作するものである。
【００２６】
レンズ１０１９は被写体像を結像し、結像された被写体像は撮像センサ１００９によりアナログ画像信号として出力される。ＡＤコンバータ１０２８は、撮像センサ１００９から出力されたアナログ画像信号に対してＡ／Ｄ変換などを施し、ディジタル画像信号として出力する。撮像回路１０１０は、ＡＤコンバータ１０２８から出力されるディジタル画像信号に対して、露出、ホワイトバランスを調整する処理を行うことで、調整済みの画像データを得る。更に静止画撮影時においてはこの画像データに対して圧縮処理を行い、圧縮画像データをバス１００２を介してメモリコントローラ１００５に出力する。後述するＥＶＦ動作の場合は圧縮していない画像データをメモリコントローラ１００５に出力する。
【００２７】
メモリコントローラ１００５はこの圧縮画像データをＤＲＡＭ１００６に格納する。表示回路１０１２は、ＤＲＡＭ１００６に格納された圧縮画像データを展開し、展開済みの画像データをＤＡコンバータ１０２９に出力、あるいはＤＲＡＭ１００６に格納された非圧縮画像データをＤＡコンバータ１０２９に出力する。ＤＡコンバータ１０２９は、この画像データに対してＤ／Ａ変換を施すことで、アナログ画像信号を生成し、後段のディスプレイ１０１１に出力する。以上の動作により、ディスプレイ１０１１の表示画面上には、上記被写体像が表示されることになる。
【００２８】
ここで、ディジタルカメラの操作者によってシャッタースイッチ１０２３が押下されると、その旨を示す信号はシャッタースイッチ１０２３からＩＯ１０２５を介してＣＰＵ１００３に通知される。ＣＰＵ１００３は、シャッタースイッチ１０２３が押下された旨をこの信号により検知すると、メモリコントローラ１００５を制御する。この制御により、撮像回路１０１０はＡＤコンバータ１０２８から出力されるディジタル画像信号に対して、露出、ホワイトバランスを調整する処理を行い、さらにこの画像データに対して圧縮処理を行い、圧縮画像データをバス１００２を介してメモリコントローラ１００５に記録する。メモリコントローラ１００５は、ＤＲＡＭ１００６に格納された圧縮画像データを読み出し、ソケット１００８に接続されているメモリカード１００７に、この読み出した圧縮画像データを転送する。
【００２９】
このような処理を行うことで、操作者がシャッタースイッチ１０２３を押下した場合には、そのタイミングに応じてＤＲＡＭ１００６に格納された画像をメモリカード１００７に記録することができる。
＜集合撮影モード＞
次に、集合写真を撮影するためのモードである集合撮影モードに設定した場合の図７に示した各部の動作について説明する。なお、以下説明する各部は、ＣＰＵ１００３がＲＯＭコントローラ１０１５を介してＲＯＭ１００４から読み取るプログラムやデータを用いて制御することで動作するものである。
【００３０】
集合撮影モードが設定されると、上記撮影モードが設定された場合における動作に加え、特徴検出回路１０００が動作する。図１は、集合撮影モードが設定された場合にディジタルカメラが行う処理のフローチャートである。
【００３１】
先ず、ディスプレイ１０１１に被写体を表示するための処理（ＥＶＦ表示）を行う（ステップＳ１０２）。即ち上述の通り、レンズ１０１９、撮像センサ１００９、ＡＤコンバータ１０２８、撮像回路１０１０を介して出力される被写体のディジタル画像信号は、撮像回路１０１０により画像データとしてメモリコントローラ１００５に出力される。メモリコントローラ１００５はこの画像データをＤＲＡＭ１００６に格納する。
【００３２】
表示回路１０１２は、ＤＲＡＭ１００６に格納された画像データをＤＡコンバータ１０２９に出力する。ＤＡコンバータ１０２９は、この展開済みの画像データに対してＤ／Ａ変換を施すことで、アナログ画像信号を生成し、後段のディスプレイ１０１１に出力する。
【００３３】
ここで、ディジタルカメラの操作者がシャッタースイッチ１０２３を押下した旨をＩＯ１０２５、バス１００２を介してＣＰＵ１００３が検知すると、処理をステップＳ１０３を介してステップＳ１０４に進める。そしてＣＰＵ１００３は、ＤＲＡＭ１００６に格納された最新の圧縮画像データを、ソケット１００８に接続されているメモリカード１００７に転送する（ステップＳ１０４）。更に、ＣＰＵ１００３は、同ステップにおいて、この圧縮画像データを展開したもの（撮影画像データ）をＤＲＡＭ１００６内に作成する。
【００３４】
そして、特徴検出回路１０００は、この撮影画像データを用いて、この撮影画像内に含まれている人の顔について認識処理を行い、認識した顔の状態について判別するための処理を行う（ステップＳ１０５）。
【００３５】
図２は、ステップＳ１０５における処理の詳細を示すフローチャートである。
【００３６】
ＣＰＵ１００３、特徴検出回路１０００は先ず、ＤＲＡＭ１００６に格納されている撮影画像から顔を検出する処理を行う（ステップＳ２０２）。この検出処理には、パラメータ１００１が用いられる。パラメータ１００１は、顔の検出、認識の際に用いるパラメータである。画像内における顔の検出方法については様々な方法が考えられるが、例えば、特開２００２−１８３７３１号公報、特開２００４−０６２５６５号公報に開示されている技術を用いることができる。
【００３７】
これらに開示された顔検出アルゴリズムにおいて、画像中の顔の輪郭に対する目の位置を判定することでよそ見を検出することができる。更に同アルゴリズムを用いれば、目を判定するときに細い目まで目と判定するように閾値設定を変化させたうえで顔検出を行うことにより目をつぶった顔を検出することができる。更に、同アルゴリズムを用いれば、目の色を判定することにより赤目となった顔を検出することができる。
【００３８】
なお、本実施形態では、よそ見をした顔や目をつぶった顔も検出する必要があるため、顔判定に用いる、顔の輪郭の縦横比や顔に対する目の位置や目の特徴を判定する閾値を、顔を広く検出することが可能なように設定する。
【００３９】
そして、ステップＳ２０２における顔検出処理の結果、撮像画像から１つも顔が検出できなかった場合には、本フローチャートに従った処理を終了する。一方、１以上の顔を検出した場合には処理をステップＳ２０３に進め、ＣＰＵ１００３は、撮影画像において検出した顔の領域を囲む枠を規定する座標値をＤＲＡＭ１００６に格納する処理を、検出した顔毎に行う（ステップＳ２０３）。例えば、枠の四隅の座標値をＤＲＡＭ１００６に格納しても良いし、枠の左上隅の座標値と右下隅の座標値とをＤＲＡＭ１００６に格納するようにしても良い。なお、検出した顔の領域を囲むものはここでは四角形の枠としているが、この枠の形状は如何なるものであっても良い。
【００４０】
このような処理により、撮影画像中における各顔について、顔を囲む枠を規定する座標値をＤＲＡＭ１００６に格納することができる。ここで、ＣＰＵ１００３は、検出したそれぞれの顔を指し示すためのポインタをリセットする（ステップＳ２０４）。即ち、検出したそれぞれの顔に対して番号を付けた場合に、ポインタが指し示す番号が最初の番号となるようにする。
【００４１】
次に、ＣＰＵ１００３は、現在のポインタが指し示す顔を囲む枠を規定する座標値データを参照し、この顔における目を検出し（ステップＳ２０５）、検出した目がよそ見の目であるのか否かのチェックを行う（ステップＳ２０６）。検出した目がよそ見の目であるのか否かのチェックは、例えば、ステップＳ２０２で顔検出処理の際に検出した顔の輪郭と目の位置を用いて判定する。人間の顔の場合、目は顔の輪郭に対してある範囲の位置に存在するはずである。しかし顔の輪郭に対して二つの目が中心より右あるいは左に偏って存在する場合、その顔はよそ見であると判定することができる。
【００４２】
従って、このようなチェック処理の結果、検出した目がよそ見の目である場合には処理をステップＳ２１０に進め、現在のポインタが指し示している顔を囲む枠を規定する座標値データを、ＤＲＡＭ１００６内のエラー情報領域に格納する（ステップＳ２１０）。
【００４３】
一方、ステップＳ２０６におけるチェック処理の結果、検出した目がよそ見の目では無い場合、若しくはステップＳ２１０における処理の次には処理をステップＳ２０７に進める。そして、ステップＳ２０５で検出した目が開いているか否か、開いている場合には目が赤目となっているか否かをチェックする（ステップＳ２０７）。検出した目が開いているか否かのチェックは、例えば、ステップＳ２０２で顔検出処理の際に検出した目の縦横比を測定する。極端に横長な比率であるとき、閉じられた目と判断する。また、目が赤目であるか否かは、瞳検出することで得られる瞳領域の色を判別する事によりチェックすることができる。
【００４４】
ステップＳ２０７におけるチェック処理の結果、目が閉じている、若しくは目が開いており且つ目が赤目である、と判定された場合には、処理をステップＳ２１１に進める。そして、現在のポインタが指し示している顔を囲む枠を規定する座標値データを、ＤＲＡＭ１００６内のエラー情報領域に格納する（ステップＳ２１１）。
【００４５】
一方、ステップＳ２０７におけるチェック処理の結果、検出した目が開いており、且つ目が赤目ではない場合には処理をステップＳ２０８に進める。そして、ステップＳ２０２で検出した全ての顔についてステップＳ２０５以降の処理を行ったか否かをチェックし（ステップＳ２０８）、未だ行っていない場合には処理をステップＳ２０９に進め、ポインタを１つインクリメントする（ステップＳ２０９）。これにより、未だステップＳ２０５以降の処理対象となっていない顔を、次のステップＳ２０５以降の処理対象とする。そして処理をステップＳ２０５に戻し、インクリメント後のポインタが指し示す顔についてステップＳ２０５以降の処理を行う。
【００４６】
一方、全ての顔についてステップＳ２０５以降の処理を行った場合には本フローチャートにおける処理を終了する。
【００４７】
以上説明した図２のフローチャートに従った処理によれば、撮影画像中の顔のうち、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、を囲む枠を規定する座標値データをＤＲＡＭ１００６内に格納することができる。
【００４８】
以上説明した図２のフローチャートに従った処理が終了すると、図１のステップＳ１０６に戻り、ＤＲＡＭ１００６より撮影画像データを読み出し、これをディスプレイ１０１１に表示する処理（クイックレビュー画面表示）を行う（ステップＳ１０６）。即ち、撮影画像を表示回路１０１２に出力する。表示回路１０１２は、この撮影画像をＤＡコンバータ１０２９に出力する。ＤＡコンバータ１０２９は、撮影画像に対してＤ／Ａ変換を施すことで、アナログ画像信号を生成し、後段のディスプレイ１０１１に出力する。
【００４９】
次に、ＣＰＵ１００３は、ＤＲＡＭ１００６内のエラー情報領域内を参照し、枠を規定する座標値データがあればこれを読み出し、顔毎の枠をＤＲＡＭ１００６上の画像データ上に上書きする。（ステップＳ１０７）。
【００５０】
表示回路１０１２は、ステップＳ１０６より、画像データをＤＡコンバータ１０２９に送出しはじめているため、枠が上書きされた表示画像がＤＡコンバータ１０２９に送出されることになる。ＤＡコンバータ１０２９は画像のデータに対してＤ／Ａ変換し、アナログ画像信号としてディスプレイ１０１１に送出する。これにより、ディスプレイ１０１１の表示画面上に表示されている撮影画像上において、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔には、枠が表示されることになる。
【００５１】
図８は、ディスプレイ１０１１の表示画面上に表示されている撮影画像上において、よそ見をしている顔、目を閉じている顔に枠が表示されている場合の表示例を示す図である。同図に示す如く、よそ見している顔、目を閉じている顔にはそれぞれ枠の画像８０１，８０２が重畳されて表示されている。
【００５２】
なお、ここでは、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、の何れについても同じ色でもって枠を表示しているが、顔の種類毎に枠の色などの表示形態を異ならせるようにしても良い。
【００５３】
次にＣＰＵ１００３は、エラー情報領域内に格納されている顔毎の座標値データをエラー情報ファイルとして作成し、ステップＳ１０４でメモリカード１００７内に記録した圧縮画像データと関連付けてメモリカード１００７内に格納する（ステップＳ１０９）。
【００５４】
以上の処理により、撮影した画像において、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、が存在する場合には、そのような顔に枠を表示することができる。なお、このような顔を通知する形態については枠を表示することに限定するものではなく、例えば、そのような顔の画像領域内の色を変更するようにしても良いし、通知形態については様々なもの考えられる。
【００５５】
＜再生モード＞
次に、メモリカード１００７に記録された画像をディスプレイ１０１１に表示する為のモードである再生モードが設定された場合に、図７に示した各部が行う動作について説明する。なお、以下説明する各部は、ＣＰＵ１００３がＲＯＭコントローラ１０１５を介してＲＯＭ１００４から読み取るプログラムやデータを用いて制御することで動作するものである。
【００５６】
図３は、再生モードが設定された場合にディジタルカメラが行う処理のフローチャートである。先ず、ＣＰＵ１００３は、メモリカード１００７内に記録された画像を指し示すポインタをリセットし、ポインタが、最も最近にメモリカード１００７内に記録された画像を指し示すようにする（ステップＳ３０２）。
【００５７】
次に、ＣＰＵ１００３は、現在のポインタが指し示す画像をメモリカード１００７から読み出し、ディスプレイ１０１１に表示する（ステップＳ３０３）。より詳しくは、現在のポインタが指し示す画像をメモリカード１００７から読み出すべく、ＣＰＵ１００３はメモリカードコントローラ１０１３を制御する。これによりメモリカードコントローラ１０１３は、ＣＰＵ１００３により指示された画像を読み出し、表示回路１０１２に出力する。表示回路１０１２は、この画像を展開し、展開後の画像データを一旦ＤＲＡＭ１００６に記録する。さらに表示回路１０１２は、ＤＲＡＭ１００６上のデータを繰り返しＤＡコンバータ１０２９に送出する。ＤＡコンバータ１０２９はこの画像データに対してＤ／Ａ変換し、アナログ画像信号としてディスプレイ１０１１に送出する。これにより、ディスプレイ１０１１の表示画面上には、現在のポインタが指し示す画像が表示されることになる。
【００５８】
ここで、メモリカード１００７内において、現在のポインタが指し示す画像にエラー情報ファイルが関連付けられて格納されている場合、ステップＳ３０３ではこのエラー情報ファイルも読み出す。そこで、ステップＳ３０３における表示処理後、現在のポインタが指し示す画像のデータにエラー情報ファイルが関連付けられて格納されている場合には処理をステップＳ３０４を介してステップＳ３０５に進める。そして、ＣＰＵ１００３はエラー情報ファイルに格納されている座標値データを用いて枠の画像を生成し、ＤＲＡＭ１００６上に存在する表示中の画像データに上書きする。（ステップＳ３０５）。
【００５９】
これにより、ディスプレイ１０１１の表示画面上に表示されている撮影画像上において、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔には、枠が重畳されて表示されることになる。
【００６０】
ディジタルカメラの操作者は、メモリカード１００７に記録されている次の画像をディスプレイ１０１１に表示させる場合には、操作スイッチ１０２２を構成している送りボタンを押下する。送りボタンが押下されると、操作スイッチ１０２２からはその旨を示す信号がＩＯ１０２５を介してＣＰＵ１００３に通知される。
【００６１】
ＣＰＵ１００３がこの信号を検知すると、処理をステップＳ３０６を介してステップＳ３０７に進め、ＣＰＵ１００３は、メモリカード１００７内において次に新しい画像を指し示すべく、ポインタを設定する（ステップＳ３０７）。そして処理をステップＳ３０３に戻し、次に新しい画像に対してステップＳ３０３以降の処理を行う。
【００６２】
以上の説明により、本実施形態によれば、撮影した画像において、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、が存在する場合には、そのような顔に枠を表示することができる。これにより、ディジタルカメラの操作者は、これらのような顔の撮影があったことを容易に認知することができる。
【００６３】
［第２の実施形態］
本実施形態では、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、が存在しないような集合撮影を行うディジタルカメラについて説明する。
【００６４】
図４は、本実施形態に係る集合撮影モードが設定された場合にディジタルカメラが行う処理のフローチャートである。
【００６５】
先ず、ディスプレイ１０１１に被写体を表示するための処理（ＥＶＦ表示）を行う（ステップＳ４０２）。ステップＳ４０２における処理は、上記ステップＳ１０２における処理と同様にして行う。
【００６６】
ここで、ディジタルカメラの操作者がシャッタースイッチ１０２３を押下した旨をＩＯ１０２５、バス１００２を介してＣＰＵ１００３が検知すると、処理をステップＳ４０３を介してステップＳ４０５に進める。ステップＳ４０５では先ず、ＣＰＵ１００３は、ＤＲＡＭ１００６に格納された最新の圧縮画像データを展開したもの（撮影画像データ）をＤＲＡＭ１００６内に作成する。
【００６７】
そして、特徴検出回路１０００は、この撮影画像データを用いて、この撮影画像内に含まれている人の顔について認識処理を行い、認識した顔の状態について判別するための処理を行う。ステップＳ４０５における処理は、上記ステップＳ１０５における処理と同様にして行う。
【００６８】
次に、ＣＰＵ１００３はＤＲＡＭ１００６内のエラー情報領域に座標値データが格納されているか否かをチェックする（ステップＳ４０６）。これにより、撮影画像内に、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、が存在するか否かをチェックすることができる。
【００６９】
このチェック処理の結果、ＤＲＡＭ１００６内のエラー情報領域に座標値データが格納されている場合には処理をステップＳ４０２に戻す。
【００７０】
一方、ＤＲＡＭ１００６内のエラー情報領域に座標値データが格納されていない場合には、処理をステップＳ４０７に進め、撮影画像データをディスプレイ１０１１に表示する処理（クイックレビュー画面表示）を行う（ステップＳ４０７）。即ち、撮影画像を表示回路１０１２に出力する。表示回路１０１２は、この撮影画像をＤＡコンバータ１０２９に出力する。ＤＡコンバータ１０２９は、撮影画像に対してＤ／Ａ変換を施すことで、アナログ画像信号を生成し、後段のディスプレイ１０１１に出力する。
【００７１】
次に、ＣＰＵ１００３は、この撮影画像データの展開元の圧縮画像データを、バス１００２を介してメモリコントローラ１００５に出力し、そこに格納する（ステップＳ４０８）。
【００７２】
以上のように、本実施例はよそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、の何れも存在しない場面でのみ、被写体の撮影が行われる。従ってシャッタースイッチ１０２３を押しつづけていれば、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、の何れも存在しない状態が発生したときに、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、の何れも存在しない画像が撮影される。
【００７３】
以上の説明により、本実施形態によれば、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、の何れも存在しない画像を撮像することができる。
【００７４】
［第３の実施形態］
第２の実施形態に係る集合撮影モードでは、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、の何れも存在しない画像を撮像することができる。しかし、よそ見をする人や目をつぶる人が撮影の間に代わる代わる現れつづけると、いつまでたっても撮影を行うことができない。そこで、本実施形態では、このような問題を解消する集合撮影モードについて説明する。
【００７５】
図５は、本実施形態に係る集合撮影モードが設定された場合にディジタルカメラが行う処理のフローチャートである。
【００７６】
先ず、ディスプレイ１０１１に被写体を表示するための処理（ＥＶＦ表示）を行う（ステップＳ５０２）。ステップＳ５０２における処理は、上記ステップＳ１０２における処理と同様にして行う。
【００７７】
ここで、ディジタルカメラの操作者がシャッタースイッチ１０２３を押下した旨をＩＯ１０２５、バス１００２を介してＣＰＵ１００３が検知すると、処理をステップＳ５０３を介してステップＳ５０４に進める。
【００７８】
そしてＣＰＵ１００３は、ＤＲＡＭ１００６に格納された最新の圧縮画像データを、ソケット１００８に接続されているメモリカード１００７に転送する（ステップＳ５０４）。ここで、ディジタルカメラの操作者がシャッタースイッチ１０２３の押下を解除した旨をＩＯ１０２５、バス１００２を介してＣＰＵ１００３が検知していない限りは、処理はステップＳ５０６を介してステップＳ５０４に戻る。即ち、シャッタースイッチ１０２３を押下している限りは、ＤＲＡＭ１００６には順次圧縮画像データが格納され、この格納された圧縮画像データは順次メモリカード１００７に転送されることになる。
【００７９】
一方、ディジタルカメラの操作者がシャッタースイッチ１０２３の押下を解除した旨をＩＯ１０２５、バス１００２を介してＣＰＵ１００３が検知すると、処理をステップＳ５０６を介してステップＳ５０７に進める。ステップＳ５０７では先ず、ＣＰＵ１００３がメモリカードコントローラ１０１３を制御し、シャッタースイッチ１０２３を押下して最初にメモリカード１００７に記録した圧縮画像データをメモリカード１００７からＤＲＡＭ１００６に読み出す。そして、読み出した圧縮画像データを展開し、展開済み画像データ（第１撮影画像データ）に対して図２のフローチャートに従った処理を行う（ステップＳ５０７）。
【００８０】
即ち、第１撮影画像について座標値データがエラー情報領域内に格納されているか否かをチェックする。より詳しくは、この第１撮影画像中に、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、が存在するか否かをチェックする。チェックの結果、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔の何れかが存在する場合には処理をステップＳ５０８を介してステップＳ５１２に進め、存在する顔について以下説明する修正処理を行う（ステップＳ５１２）。
【００８１】
図６は、ステップＳ５１２における処理の詳細を示すフローチャートである。
【００８２】
先ず、ＣＰＵ１００３は、第１撮影画像に対応する座標値データをエラー情報領域から読み出す（ステップＳ６０２）。次に、以下の処理対象とする画像を、シャッタースイッチ１０２３を押下して２番目にメモリカード１００７に記録した圧縮画像データを展開した展開済み画像データ（第２撮影画像データ）とする（ステップＳ６０４）。そして、第２撮影画像データ中で、ステップＳ６０２で読み出した座標値データで規定される枠内に、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔、が存在するか否かをチェックする（ステップＳ６０５）。このチェック処理は、ＣＰＵ１００３、特徴検出回路１０００により行われ、図２のフローチャートを用いて説明したとおりである。
【００８３】
このチェック処理の結果、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔の何れかが存在した場合には処理をステップＳ６０４に戻す。そして、以下の処理対象とする画像を、シャッタースイッチ１０２３を押下して３番目にメモリカード１００７に記録した圧縮画像データを展開した展開済み画像データ（第３撮影画像データ）とする。そして、第３の撮影画像データについてステップＳ６０５，Ｓ６０６における処理を行う。
【００８４】
以下の説明では、第ｘ（ｘ≧２）撮影画像中で、ステップＳ６０２で読み出した座標値データで規定される枠内に上記何れの顔も存在しない場合について説明する。ここで第ｘ撮影画像とは、シャッタースイッチ１０２３を押下してｘ番目にメモリカード１００７に記録した圧縮画像を展開した展開済み画像のことである。
【００８５】
第ｘ撮影画像中で、ステップＳ６０２で読み出した座標値データで規定される枠内に、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔の何れも含まれてない場合には処理をステップＳ６０７からステップＳ６０８に進める。そして、この枠内の画像領域をコピーし、第１撮影画像中で、ステップＳ６０２で読み出した座標値データで規定される枠内に、張り付ける（ステップＳ６０８）。これにより、第１撮影画像中で、よそ見をしている顔、目を閉じている顔、目は開いているが赤目となっている顔が存在しても、これを修正することができる。
【００８６】
そして処理を図５におけるステップＳ５０９に戻し、ステップＳ６０８で修正済みの画像をディスプレイ１０１１に表示する処理（クイックレビュー画面表示）を行う（ステップＳ５０９）。即ち、修正済みの画像を表示回路１０１２に出力する。表示回路１０１２はこの修正済みの画像をＤＡコンバータ１０２９に出力する。ＤＡコンバータ１０２９は、この画像に対してＤ／Ａ変換を施すことで、アナログ画像信号を生成し、後段のディスプレイ１０１１に出力する。
【００８７】
次に、ＣＰＵ１００３は、修正済みの画像を画像ファイルとして、メモリカードコントローラ１０１３を介してメモリカード１００７に記録する（ステップＳ５１０）。記録の際には、修正済みの画像を圧縮して記録する。
【００８８】
更に、ＣＰＵ１００３は、ＤＲＡＭ１００６内のエラー情報領域内を参照し、枠を規定する座標値データがあればこれを読み出し、ステップＳ５１０で記録した画像ファイルに関連付けてメモリカード１００７に記録する（ステップＳ５１１）。
【００８９】
なお、本実施形態では、修正対象の画像を、シャッタースイッチ１０２３を押下して最初にメモリカード１００７に記録した圧縮画像データを展開した画像とした。しかし、シャッタースイッチ１０２３を押下している間に記録された画像であれば良く、第１撮影画像に限定するものではない。
【００９０】
ここで、上記各実施形態では、被写体として人の顔を用いた。しかし、被写体としてその他のものを用いても良く、その場合には、その被写体の状態を認識するために必要なパラメータをパラメータ１００１として予め作成しておく必要がある。
【００９１】
また、第１〜３の実施形態のうち任意のものを適宜組み合わせた実施形態も実施可能である。
【００９２】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９３】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９５】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９６】
【図１】集合撮影モードが設定された場合にディジタルカメラが行う処理のフローチャートである。
【図２】ステップＳ１０５における処理の詳細を示すフローチャートである。
【図３】再生モードが設定された場合にディジタルカメラが行う処理のフローチャートである。
【図４】本発明の第２の実施形態に係る集合撮影モードが設定された場合にディジタルカメラが行う処理のフローチャートである。
【図５】本発明の第３の実施形態に係る集合撮影モードが設定された場合にディジタルカメラが行う処理のフローチャートである。
【図６】ステップＳ５１２における処理の詳細を示すフローチャートである。
【図７】本発明の第１の実施形態に係るディジタルカメラのハードウェア構成を示すブロック図である。
【図８】ディスプレイ１０１１の表示画面上に表示されている撮影画像上において、よそ見をしている顔、目を閉じている顔に枠が表示されている場合の表示例を示す図である。
【図１】
2007081992.tif 000003
【図２】
2007081992.tif 000004
【図３】
2007081992.tif 000005
【図４】
2007081992.tif 000006
【図５】
2007081992.tif 000007
【図６】
2007081992.tif 000008
【図７】
2007081992.tif 000009
【図８】
2007081992.tif 000010