(57)【要約】【課題】写っている人物の体調／気分をわかりやすく撮影すること。【解決手段】デジタルカメラは、被写体を撮像して画像データを生成する撮像手段１３と、被写体画像データに基づいて人物の顔の表情を検出する表情検出手段１７と、撮影開始前に撮像手段１３で生成された画像データを用いて表情検出手段１７が検出した表情に基づいて人物の体調／気分を判定する体調／気分判定手段１７と、体調／気分判定手段１７による判定結果に基づいて所定の撮影開始条件を選択する撮影開始条件選択手段１７と、選択された撮影開始条件を満たす場合に撮影を開始させる撮影制御手段１７と、を備える。【選択図】図１
2012156647.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像手段と、
前記被写体画像データに基づいて人物の顔の表情を検出する表情検出手段と、
撮影開始前に前記撮像手段で生成された画像データを用いて前記表情検出手段が検出した表情に基づいて前記人物の体調／気分を判定する体調／気分判定手段と、
前記体調／気分判定手段による判定結果に基づいて所定の撮影開始条件を選択する撮影開始条件選択手段と、
前記選択された撮影開始条件を満たす場合に撮影を開始させる撮影制御手段と、
を備えることを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
集音して音声データを生成する音声データ生成手段と、
前記音声データに基づいて音声認識を行う音声認識手段と、をさらに備え、
前記体調／気分判定手段は、前記表情検出手段で検出された表情、および前記音声認識手段による音声認識結果に基づいて前記人物の体調／気分を判定することを特徴とするデジタルカメラ。
【請求項３】
請求項１または２に記載のデジタルカメラにおいて、
記録媒体へ画像データを記録する記録手段をさらに備え、
前記記録手段は、前記撮影制御手段による撮影が開始された後に前記撮像手段で取得された画像データと、前記体調／気分判定手段による判定結果を示す体調／気分情報とを関連づけて記録することを特徴とするデジタルカメラ。
【請求項４】
請求項３に記載のデジタルカメラにおいて、
前記体調／気分情報は、当該体調／気分の状況を示すメッセージを含むことを特徴とするデジタルカメラ。
【請求項５】
請求項４に記載のデジタルカメラにおいて、
前記体調／気分情報を編集するための編集操作を受け付ける編集操作受け付け手段をさらに備え、
前記記録手段は、前記撮像手段で取得された画像データと、前記編集操作受け付け手段で受け付けられた編集操作後の体調／気分情報とを関連づけて記録することを特徴とするデジタルカメラ。
【請求項６】
請求項１〜５のいずれか一項に記載のデジタルカメラにおいて、
複数の音声データを登録する音声登録手段と、
前記体調／気分判定手段による判定結果に基づいて、前記音声登録手段に登録された音声データのうちから音声データを選択する音声選択手段と、をさらに備えることを特徴とするデジタルカメラ。
【請求項７】
請求項１〜６のいずれか一項に記載のデジタルカメラを含むことを特徴とするカメラ付き電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラおよびカメラ付き電子機器に関する。
【背景技術】
【０００２】
被写体の顔を検出し、顔の表情が所定の状態（たとえば、喜び、悲しみ等）となっているかを判定し、所定の表情になった場合に、自動的に撮影を行うカメラが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−５１３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、人物の顔の表情から喜びや悲しみを判定したとしても、それだけではその人物の体調や気分の程度まではわからない。したがって、従来の技術では、写っている人物がどのような体調／気分で撮影されたものかわからないことが多い。
【課題を解決するための手段】
【０００５】
（１）本発明によるデジタルカメラは、被写体を撮像して画像データを生成する撮像手段と、被写体画像データに基づいて人物の顔の表情を検出する表情検出手段と、撮影開始前に撮像手段で生成された画像データを用いて表情検出手段が検出した表情に基づいて人物の体調／気分を判定する体調／気分判定手段と、体調／気分判定手段による判定結果に基づいて所定の撮影開始条件を選択する撮影開始条件選択手段と、選択された撮影開始条件を満たす場合に撮影を開始させる撮影制御手段とを備えることを特徴とする。
（２）本発明によるカメラ付き電子機器は、請求項１〜６のいずれか一項に記載のデジタルカメラを含むことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、写っている人物の体調／気分をわかりやすく撮影することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の第一の実施形態によるデジタルカメラの構成を例示する図である。
【図２】撮影画像と体調（気分）の判断結果の表示画面を例示する図である。
【図３】再生画像と体調（気分）の判断結果の表示画面を例示する図である。
【図４】撮影モード時にＣＰＵが実行する処理の流れを説明するフローチャートである。
【図５】３つの画像データを該撮影画像のデータに基づいて評価した場合に得られる８項目の評価値を例示する図である。
【図６】撮影画像のデータおよび音声認識結果に基づいて３つの画像データを評価した場合に得られる７項目の評価値を例示する図である。
【図７】再生モード時にＣＰＵが実行する処理の流れを説明するフローチャートである。
【図８】第二の実施形態におけるＣＰＵが撮影モード時に実行する処理の流れを説明するフローチャートである。
【図９】変形例１におけるＣＰＵが撮影モード時に実行する処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施の形態）
図１は、本発明の第一の実施形態によるデジタルカメラの構成を例示する図である。図１において、デジタルカメラは、撮影光学系１１と、絞り１２と、撮像回路１３と、バッファメモリ１４と、画像処理部１５と、ＣＰＵ１７と、操作部材２０と、オーディオ制御部３３と、マイク３４と、スピーカー３５と、画像記録部１６と、ＲＯＭ１８と、表示制御部３１と、ＬＣＤ３２と、通信部４０とを含む。
【０００９】
このうち、画像処理部１５、ＣＰＵ１７、オーディオ制御部３３、画像記録部１６、ＲＯＭ１８、表示制御部３１、および通信部４０は、それぞれバス１９を介して接続されている。
【００１０】
撮影光学系１１は、撮像回路１３の撮像素子（不図示）上に被写体像を結ぶ。絞り１２は、被写体光束を制限する。撮像回路１３は、被写体像を撮像してデジタル画像データを出力する。バッファメモリ１４は、画像データを一時記憶する。画像処理部１５は、画像データに所定の画像処理（ホワイトバランス調整、輪郭強調、γ補正など）を施す。
【００１１】
ＣＰＵ１７は、ＲＯＭ１８に記憶されるプログラムに基づいて、デジタルカメラ各部を制御する。操作部材２０は、レリーズスイッチ、メニュースイッチ、および十字キースイッチなどの各スイッチを含み、各スイッチからの操作信号をＣＰＵ１７へ出力する。
【００１２】
オーディオ制御部３３は、ＣＰＵ１７からの指示に応じてマイク３４で集音した音声などをデジタル音声データに変換する。また、オーディオ制御部３３は、ＣＰＵ１７からの指示に応じてデジタル音声データに基づく音声再生信号を生成し、該音声再生信号でスピーカー３５を駆動することによって音声再生を行う。
【００１３】
画像記録部１６は、ＣＰＵ１７からの指示に応じてメモリカード１６ａなどの記録媒体にデジタル画像データやデジタル音声データなどを記録する。画像記録部１６はさらに、メモリカード１６ａに記録されている画像データの読み出しや、音声データの読み出しも行う。
【００１４】
ＲＯＭ１８は、ＣＰＵ１７が実行するプログラム、およびプログラムの実行に必要なデータを記憶する。表示制御部３１は、ＣＰＵ１７からの指示に応じてＬＣＤ３２に対する表示制御を行う。ＬＣＤ３２は、画像データに基づく再生画像や操作メニュー画面などを表示する。通信部４０は、ＣＰＵ１７からの指示に応じて、外部機器（たとえばＰＣ）との間で通信を行う。
【００１５】
本実施形態では、被写体人物の体調（気分）を判断し、体調（気分）の判断結果を撮影画像とともに記録する。たとえば、撮影モードにおいて撮影後に撮影画像をＬＣＤ３２に再生表示する際、撮影画像とともに体調（気分）の判断結果（図２の例では「体調３０％、気分３０％、お疲れ」というメッセージ３２２）を表示する。図２は、この場合のＬＣＤ３２の表示画面を例示する図である。また、「疲れたぁ〜。ふぅ〜。」は、スピーカー３５から音声再生する場合の録音音声３２１を表す。また、再生モードにおいて、上記体調（気分）の判断結果が撮影画像とともに記録されている場合は、該撮影画像をＬＣＤ３２に再生表示する際、再生画像とともに体調（気分）の判断結果（図３の例では「もう眠いなあ！」）を表示する。図３は、この場合のＬＣＤ３２の表示画面を例示する図である。
【００１６】
＜撮影モード＞
以下、撮影モード時にＣＰＵ１７が実行する処理の流れについて、図４に例示するフローチャートを参照して説明する。ＣＰＵ１７は、たとえば、撮影モード時に不図示の操作メニューにおいて「体調（気分）評価モード」がオン設定されている状態で、操作部材２０を構成するレリーズスイッチからレリーズ操作信号が入力されると、図４による処理を起動させる。
【００１７】
図４のステップＳ４１において、ＣＰＵ１７は、顔認識による撮影を行う。具体的には、スルー画像データに基づいて顔検出処理を行うことにより、スルー画像内に含まれる人物の顔を検出する。スルー画像は、撮影指示前に撮像回路１３によって所定の時間間隔（たとえば３０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。顔検出処理は、公知の技術であるため説明を省略する。
【００１８】
ＣＰＵ１７は、スルー画像内に顔を検出した場合に所定の露出演算を行うとともに、露出演算結果に基づいて絞り１２を駆動し、撮像回路１３に撮影指示を行う。ＣＰＵ１７は、あらかじめメニュー設定により音声録画を行う設定がなされている場合には、オーディオ制御部３３へ指示を送り、撮影時刻を挟んで所定時間（たとえば５秒間）にマイク３４で集音された音声に基づく音声データを生成させて、ステップＳ４２へ進む。
【００１９】
ステップＳ４２において、ＣＰＵ１７は、撮影画像のデータに基づいて体調（気分）評価を行って評価値を演算する。ＣＰＵ１７は、音声データが存在する場合（撮影時に音声データが生成されている場合）は、撮影画像のデータおよび音声データに基づいて体調（気分）評価を行って評価値を演算する。具体的には、音声データを用いて公知の音声認識処理を行い、撮影画像のデータおよび音声認識結果に基づいて体調（気分）評価を行って評価値を演算する。
【００２０】
体調（気分）評価は、「表情認識技術」、および「顔画像センシング技術」である「OKAO Vision(登録商標)」を用いて行う。「表情認識技術」としては、叶冠峰:"顔動画像からの特徴点抽出を用いた表情認識"、［online］、平成１７年２月３日、岐阜大学大学院工学研究科、［平成２２年８月３日検索］、インターネット＜http://www.elf.info.gifu-u.ac.jp/shuron/M2.04/ye＞がある。ＣＰＵ１７は、撮影画像に含まれる「顔」について、顔色や表情など複数の要素より総合的に判断し評価値を得る。評価項目は、たとえば、「笑顔度」、「興奮度」、「眠気度」、「疲労度」、「苛立ち度」、「焦り度」、「集中度」、および「健康度」の８項目とする。
【００２１】
＜撮影画像のデータに基づいて体調（気分）を評価する場合＞
図５は、３つの画像データ(DSC0001〜DSC0003)を該画像データに基づいて評価した場合に得られる上記８項目の評価値を例示する図である。図５において、評価値はそれぞれ１〜１０の範囲で表され、１０が最大値であり、１が最小値である。
【００２２】
図４のステップＳ４３において、ＣＰＵ１７は、上記評価値に基づいて、被写体人物の体調（気分）の判断に必要な判断値を算出する。図５を参照して説明すると、「総合判断」欄の「体調」についての判断値は、次式（１）または（２）を用いて算出する。
体調(％)＝｜((a+d)/20)２−((b+c)/20)２｜×100            …（１）
ただし、笑顔度a、眠気度b、疲労度c、健康度dとして、(a+d)≧(b+c)の場合である。
体調(％)＝100−｜((a+d)/20)２−((b+c)/20)２｜×100       …（２）
ただし、笑顔度a、眠気度b、疲労度c、健康度dとして、(a+d)＜(b+c)の場合である。
【００２３】
図５における「総合判断」欄の「気分」についての判断値は、次式（３）または（４）を用いて算出する。
気分(％)＝｜((a+e+h)/30)２−((c+f+h)/30)２｜×100        …（３）
ただし、笑顔度a、興奮度e、疲労度c、苛立ち度f、集中度hとして、(a+e+h)≧(c+f+h)の場合である。
気分(％)＝100−｜((a+e+h)/30)２−((c+f+h)/30)２｜×100   …（４）
ただし、笑顔度a、興奮度e、疲労度c、苛立ち度f、集中度hとして、(a+e+h)＜(c+f+h)の場合である。
【００２４】
ＣＰＵ１７はさらに、上述したように算出した判断値に基づいて、被写体人物の体調（気分）を判断する。体調（気分）の判断は、たとえば、「笑顔」、「お疲れ」、「泣き顔」、「居眠り」、「スポーツ」、「集中（真剣）」、「恐怖」、「悲しみ」、「怒り」、「驚き（感動）」、および「リラックス」の１１種類の体調（気分）項目の中からいずれか１つを選ぶ。図５における「顔の輪郭」欄の「驚き」、「お疲れ」、および「集中」は、３つの画像データ(DSC0001〜DSC0003)における上記８項目の評価値に基づいて判断した体調（気分）を表す。
【００２５】
＜撮影画像のデータおよび音声認識結果に基づいて体調（気分）を評価する場合＞
図６は、撮影画像のデータおよび音声認識結果の両方に基づいて３つの画像データ(DSC0001〜DSC0003)を評価した場合に得られる７項目の評価値を例示する図である。図５の場合に比べて「健康度」がないのは、音声からは「健康度」の判別が困難と考えられるからである。図６において、評価値はそれぞれ１〜１０の範囲で表され、１０が最大値で、１が最小値である。ＣＰＵ１７は、上記評価値に基づいて、たとえば式（１）〜式（４）のいずれかを用いて被写体人物の体調（気分）の判断に必要な判断値を算出する。
【００２６】
ＣＰＵ１７はさらに、上述したように算出した判断値に基づいて、被写体人物の体調（気分）を判断する。体調（気分）を判断は、図５の場合と同様に、１１種類の体調（気分）項目の中からいずれか１つを選ぶ。図６における「顔の輪郭」欄の「驚き」、「お疲れ」、および「集中」は、３つの画像データ(DSC0001〜DSC0003)における上記７項目の評価値、音声認識結果に基づいて判断した体調（気分）を表す。
【００２７】
ＣＰＵ１７は、画像記録部１６へ指示を送り、上述したように判断した体調（気分）を示す情報を撮影画像のデータ（音声データが存在する場合は音声データも含む）と共にメモリカード１６ａへ記録（保存）させてステップＳ４４へ進む。
【００２８】
図４のステップＳ４４において、撮影画像のデータに基づいて体調（気分）を評価する場合のＣＰＵ１７は、判断結果、すなわち「顔の輪郭」欄の内容と合致するメッセージ情報をＲＯＭ１８から読み出す。具体的には、あらかじめＲＯＭ１８に上記１１種類の体調（気分）項目のそれぞれに対応させて１１種類のメッセージ情報を記録しておき、上記判断した体調（気分）に対応づけられているメッセージ情報を読み出す。メッセージは、たとえば、体調（気分）が「驚き（感動）」の場合は「感動度１００％」、体調（気分）が「集中」の場合は「没頭中」、体調（気分）が「お疲れ」の場合は「お疲れモード」である。
【００２９】
ＣＰＵ１７はさらに、表示制御部３１へ指示を送り、撮影画像に重ねて上記メッセージ情報に基づくメッセージ「お疲れモード」をＬＣＤ３２に表示させて、編集の必要の有無を判定する。図２の例では、このメッセージとともに、当該撮影画像について上述したように判断した体調（気分）に対応する「お疲れ」、および図５の「総合判断」欄に示した各判断値「体調３０％、気分３０％」が表示されている。
【００３０】
一方、撮影画像のデータおよび音声認識結果に基づいて体調（気分）を評価する場合のＣＰＵ１７は、撮影画像に重ねて当該画像について判断した体調（気分）に対応する「お疲れ」、および図６の「総合判断」欄に示した各判断値「体調３０％、気分３０％」を表示しながら、スピーカー３５から音声データに基づく音声を再生させる。図２における吹き出し３２１は、音声録音した内容を再生した状態を示したものである。図２における表示３２２は、体調（気分）の判断結果および各判断値を例示するものである。
【００３１】
ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力された場合、ステップＳ４４を肯定判定してステップＳ４５へ進む。この場合は、編集の必要が無い場合である。ＣＰＵ１７は、操作部材２０を構成する十字スイッチ（不図示）からの操作信号が入力された場合、ステップＳ４４を否定判定してステップＳ４６へ進む。この場合は、編集の必要がある場合である。
【００３２】
ステップＳ４６において、ＣＰＵ１７は、操作部材２０を構成する十字スイッチ（不図示）からの操作信号が入力されるごとに、ＬＣＤ３２に表示中のメッセージに代えて、上記１１種類のメッセージ情報のうち異なるメッセージ情報をサイクリックにＲＯＭ１８から読み出し、読み出したメッセージ情報によるメッセージをＬＣＤ３２に表示させる。これにより、ＬＣＤ３２の画面上のメッセージを変更できる。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力された場合は、変更操作の受け付けを終了してステップＳ４５へ進む。
【００３３】
ステップＳ４５において、ＣＰＵ１７は、メッセージ情報（体調／気分の判断値を含む）をテキストファイルとした上で画像記録部１６へ指示を送り、該テキストファイルをステップＳ４３で記録（保存）した撮影画像のデータに関連づけてメモリカード１６ａへ記録（保存）させて図４による処理を終了する。
【００３４】
＜再生モード＞
以下、再生モード時にＣＰＵ１７が実行する処理の流れについて、図７に例示するフローチャートを参照して説明する。ＣＰＵ１７は、たとえば、再生モード時に操作部材２０によって再生すべき画像ファイルが指定された場合に、図７による処理を起動させる。
【００３５】
図７のステップＳ７１において、ＣＰＵ１７は画像記録部１６へ指示を送り、指定された画像ファイルのデータをメモリカード１６ａから読み出させる。ＣＰＵ１７はさらに、表示制御部３１へ指示を送り、上記データに基づく再生画像をＬＣＤ３２に表示させるとともに、当該画像データに関連づけられているテキストファイルに基づくメッセージを再生画像に重ねてポップアップ表示させて、ステップＳ７２へ進む。
【００３６】
ステップＳ７２において、ＣＰＵ１７は、吹き出しの追加操作、または絵（アイコン）、文字（記号）の追加（変更）操作を受け付ける。ＣＰＵ１７は、操作部材２０からの操作信号に応じて、メッセージを吹き出し３２３内に表示させたり、絵（アイコン）や文字を追加する（図３）。図３の例は、体調（気分）が「居眠り」と判断されている場合であってメッセージが「居眠りモード」であったところ、メッセージを吹き出し３２３内に表示させるための操作が行われ、さらにメッセージを「居眠りモード」から「もう、眠いなあ！」へ変更する操作が行われた状態を表す。吹き出し３２３の追加、絵（アイコン）の追加、文字の追加は、公知技術なので詳細な説明は省略する。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力された場合、変更操作の受け付けを終了してステップＳ７３へ進む。
【００３７】
ステップＳ７３において、ＣＰＵ１７は、文字（記号）の追加（変更）操作があった場合に追加（変更）後のメッセージ情報をテキストファイルとした上で画像記録部１６へ指示を送り、該テキストファイルを当該画像のデータに関連づけてメモリカード１６ａへ記録（保存）させて図７による処理を終了する。なお、何ら追加（変更）操作が行われなかった場合には、テキストファイルの新たな記録は行わない。
【００３８】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラは、被写体を撮像して画像データを生成する撮像回路１３と、被写体画像データに基づいて人物の顔の表情を検出するＣＰＵ１７と、撮影開始前に撮像回路１３で生成された画像データを用いてＣＰＵ１７が検出した表情に基づいて人物の体調／気分を判定するＣＰＵ１７と、該判定結果に基づいて所定の撮影開始条件を選択するＣＰＵ１７と、選択された撮影開始条件を満たす場合に撮影を開始させるＣＰＵ１７と、を備えるようにしたので、写っている人物の体調／気分がわかりやすい条件を満足した状態で撮影を開始できる。これにより、写っている人の体調／気分がわかりやすい撮影画像が得られる。
【００３９】
（２）上記（１）のデジタルカメラにおいて、集音して音声データを生成するオーディオ制御部３３と、音声データに基づいて音声認識を行うＣＰＵ１７とをさらに備え、該ＣＰＵ１７は、上記検出した表情、および上記音声認識結果に基づいて人物の体調／気分を判定するようにしたので、被写体人物が言葉で体調／気分を表現している場合には、この音声も含めて体調／気分を判定するから、判定精度を高めることができる。
【００４０】
（３）上記（１）または（２）のデジタルカメラにおいて、メモリカード１６ａへ画像データを記録する画像記録部１６をさらに備え、該画像記録部１６は、ＣＰＵ１７による撮影が開始された後に撮像回路１３で取得された画像データと、ＣＰＵ１７による判定結果を示す体調／気分情報とを関連づけて記録するようにした。これにより、撮影画像データのみならず体調／気分情報も、写っている人物がどのような体調／気分で撮影されたものかを知る手がかりになる。
【００４１】
（４）上記（３）のデジタルカメラにおいて、体調／気分情報は、体調／気分の判断値を含むメッセージを含めてもよい。これにより、写っている人物が具体的にどのようなレベルの体調／気分で撮影されたものかがわかりやすくなる。
【００４２】
（５）上記（４）のデジタルカメラにおいて、体調／気分情報を編集するための編集操作を受け付ける操作部材２０をさらに備え、画像記録部１６は、撮像回路１３で取得された画像データと、上記操作部材２０で受け付けられた編集操作後の体調／気分情報とを関連づけて記録するようにしたので、ＣＰＵ１７が判定した体調／気分情報を修正することもできる。
【００４３】
（第二の実施形態）
第一の実施形態では、顔認識による撮影（スルー画像内に顔を検出した場合に撮影する）を行う例を説明したが、検出した顔に基づいて判断した体調（気分）が「笑顔」の場合に撮影するように構成してもよい。第二の実施形態におけるＣＰＵ１７が撮影モード時に実行する処理の流れについて、図８に例示するフローチャートを参照して説明する。ＣＰＵ１７は、たとえば、撮影モード時に不図示の操作メニューにおいて「体調（気分）評価モード」に加えて「笑顔認識撮影」がオン設定されている状態で、操作部材２０を構成するレリーズスイッチからレリーズ操作信号が入力されると、図８による処理を起動させる。
【００４４】
図８のステップＳ８１において、ＣＰＵ１７は、スルー画像に基づいて顔認識評価を行う。具体的には、スルー画像データに基づいて顔検出処理を行うことにより、ＬＣＤ３２の画面上のスルー画像内に含まれる人物の顔を検出する。顔検出処理は、公知の技術であるため説明を省略する。ＣＰＵ１７はさらに、あらかじめメニュー設定により音声録画を行う設定がなされている場合には、オーディオ制御部３３へ指示を送り、マイク３４で集音される音声に基づく音声データを生成させて、ステップＳ８２へ進む。
【００４５】
ステップＳ８２において、ＣＰＵ１７は、スルー画像のデータに基づいて体調（気分）評価を行って評価値を演算する。演算方法は、第一の実施形態の場合と同様である。ＣＰＵ１７は、音声データが存在する場合（音声データが生成されている場合）には、スルー画像のデータおよび音声データに基づいて体調（気分）評価を行って評価値を演算する。この場合の演算方法も、第一の実施形態の場合と同様である。ステップＳ８３において、ＣＰＵ１７は、上述したように体調（気分）を判断したらステップＳ８４へ進む。
【００４６】
ステップＳ８４において、ＣＰＵ１７は、判断した体調（気分）が「笑顔」の場合に表示制御部３１へ指示を送り、スルー画像に重ねて「笑顔認識モードで撮影しますか？」というメッセージをＬＣＤ３２に表示させて、自動撮影の要否を判定する。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力された場合、ステップＳ８４を肯定判定してステップＳ８５へ進む。この場合は、笑顔認識による自動撮影を行う。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力されない（たとえば、十字スイッチ（不図示）からの操作信号が入力される）場合は、ステップＳ８４を否定判定してステップＳ８６へ進む。この場合は、他の体調（気分）モードでの自動撮影を行う。
【００４７】
ステップＳ８５において、ＣＰＵ１７は笑顔認識による撮影を開始させる。具体的には、新たに取得されたスルー画像データに基づいて算出された「笑顔度」についての評価値が、たとえば７以上の場合に所定の露出演算を行うとともに、露出演算結果に基づいて絞り１２を駆動し、撮像回路１３に撮影指示を行う。ＣＰＵ１７は、あらかじめメニュー設定により音声録画を行う設定がなされている場合には、オーディオ制御部３３へ指示を送り、撮影時刻を挟んで所定時間（たとえば５秒間）にマイク３４で集音された音声に基づく音声データを生成させる。
【００４８】
ＣＰＵ１７はさらに、メッセージ情報（体調／気分の判断値を含む）をテキストファイルにするとともに画像記録部１６へ指示を送り、該テキストファイルを撮影画像のデータ（音声データが存在する場合は音声データも含む）に関連づけてメモリカード１６ａへ記録（保存）させて図８による処理を終了する。
【００４９】
上述したステップＳ８４を否定判定してステップＳ８６において、ＣＰＵ１７は、判断した体調（気分）が「笑顔」と異なる場合に表示制御部３１へ指示を送り、ＬＣＤ３２上のスルー画像に重ねて「他の体調（気分）モード」を示す表示をさせてステップＳ８７へ進む。
【００５０】
ステップＳ８７において、ＣＰＵ１７は撮影モードの確認を行う。具体的には、ＬＣＤ３２に表示中の体調（気分）モードによる自動撮影の要否を判定する。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力された場合、ステップＳ８７を肯定判定してステップＳ８８へ進む。この場合は、表示中の撮影モードにより自動撮影を行う。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力されない（たとえば、十字スイッチ（不図示）からの操作信号が入力される）場合は、ステップＳ８７を否定判定してステップＳ８６へ戻る。ステップＳ８６へ戻る場合は、上記十字スイッチ（不図示）からの操作信号が入力されるごとに、ＬＣＤ３２に表示中の体調（気分）モードを示す表示に代えて、上記１１種類の体調（気分）モードのうち異なる体調（気分）モードをサイクリックにＬＣＤ３２に表示させる。
【００５１】
ステップＳ８８において、ＣＰＵ１７は指示された体調（気分）モードによる撮影を開始させる。具体的には、新たに取得されたスルー画像データに基づいて算出された評価値（上述した８項目のうち、指示された体調（気分）モードに対応するもの）が、たとえば、７以上の場合に所定の露出演算を行うとともに、露出演算結果に基づいて絞り１２を駆動し、撮像回路１３に撮影指示を行う。ＣＰＵ１７は、あらかじめメニュー設定により音声録画を行う設定がなされている場合には、オーディオ制御部３３へ指示を送り、撮影時刻を挟んで所定時間（たとえば５秒間）にマイク３４で集音された音声に基づく音声データを生成させる。
【００５２】
ＣＰＵ１７はさらに、メッセージ情報をテキストファイルにするとともに画像記録部１６へ指示を送り、該テキストファイルを撮影画像のデータ（音声データが存在する場合は音声データも含む）に関連づけてメモリカード１６ａへ記録（保存）させて図８による処理を終了する。
【００５３】
以上説明した第二の実施形態によれば、第一の実施形態の場合と同様の作用効果が得られる。そしてさらに、検出した顔に基づいて判断した体調（気分）が「笑顔」の場合に撮影を開始するようにしたので、写っている人物の体調／気分（この場合は「笑顔」）がわかりやすい条件を満足した状態で撮影を開始できる。これにより、写っている人の体調／気分がわかりやすい撮影画像が得られる。
【００５４】
（変形例１）
第二の実施形態では、検出した顔に基づいて判断した体調（気分）が「笑顔」の場合に撮影を指示する例を説明したが、検出した顔に基づいて判断した体調（気分）が「お疲れ」の場合に撮影指示を行うように構成してもよい。変形例１におけるＣＰＵ１７が撮影モード時に実行する処理の流れについて、図９に例示するフローチャートを参照して説明する。ＣＰＵ１７は、たとえば、撮影モード時に不図示の操作メニューにおいて「体調（気分）評価モード」に加えて「お疲れモード撮影」がオン設定されている状態で、操作部材２０を構成するレリーズスイッチからレリーズ操作信号が入力されると、図９による処理を起動させる。
【００５５】
図９のステップＳ９１〜ステップＳ９３、およびステップＳ９６〜ステップＳ９８の処理は、それぞれ図８におけるステップＳ８１〜ステップＳ８３、およびステップＳ８６〜ステップＳ８８の処理と同様なので説明を省略する。
【００５６】
ステップＳ９４において、ＣＰＵ１７は、判断した体調（気分）が「お疲れ」の場合に表示制御部３１へ指示を送り、スルー画像に重ねて「お疲れモードで撮影しますか？」というメッセージをＬＣＤ３２に表示させて、自動撮影の要否を判定する。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力された場合、ステップＳ９４を肯定判定してステップＳ９５へ進む。この場合は、お疲れモードによる自動撮影を行う。ＣＰＵ１７は、操作部材２０を構成する「ＯＫ」スイッチ（不図示）からの操作信号が入力されない（たとえば、十字スイッチ（不図示）からの操作信号が入力される）場合は、ステップＳ９４を否定判定してステップＳ９６へ進む。この場合は、他の体調（気分）モードでの自動撮影を行う。
【００５７】
ステップＳ９５において、ＣＰＵ１７はお疲れモードによる撮影を開始させる。具体的には、新たに取得されたスルー画像データに基づいて算出された「疲労度」についての評価値が、たとえば７以上の場合に所定の露出演算を行うとともに、露出演算結果に基づいて絞り１２を駆動し、撮像回路１３に撮影指示を行う。ＣＰＵ１７は、あらかじめメニュー設定により音声録画を行う設定がなされている場合には、オーディオ制御部３３へ指示を送り、撮影時刻を挟んで所定時間（たとえば５秒間）にマイク３４で集音された音声に基づく音声データを生成させる。
【００５８】
ＣＰＵ１７は、撮影画像に対して自動補正を行う。ＣＰＵ１７は画像処理部１５へ指示を送り、撮影画像データのうち、「顔」領域のデータに対して以下の画像補整処理を行う。
(i)目の下部における隈を暈かす（公知のフィルタ処理による電子暈かし）
(ii)皺を暈かす（公知のフィルタ処理による電子暈かし）
(iii)肌色補正（肌色を構成するRGB比率をあらかじめ定めた所定比率に変更する）
【００５９】
ＣＰＵ１７はさらに、メッセージ情報（体調／気分の判断値を含む）をテキストファイルにするとともに画像記録部１６へ指示を送り、該テキストファイルを上記自動補正後の撮影画像のデータ（音声データが存在する場合は音声データも含む）に関連づけてメモリカード１６ａへ記録（保存）させて図９による処理を終了する。
【００６０】
以上説明した変形例１によれば、検出した顔に基づいて判断した体調（気分）が「お疲れ」の場合に撮影を開始するようにしたので、写っている人物の体調／気分（この場合は「お疲れ」）がわかりやすい条件を満足した状態で撮影を開始できる。これにより、体調／気分を示す情報を含む撮影画像が得られる。
【００６１】
（変形例２）
第二の実施形態では、検出した顔に基づいて判断した体調（気分）が「お疲れ」の場合に撮影を指示する例を説明したが、検出した顔に基づいて判断した体調（気分）が他の場合に撮影指示を行うように構成してもよい。たとえば、検出した顔に基づいて判断した体調（気分）が「泣き顔」、「居眠り」、「スポーツ」、「集中（真剣）」、「恐怖」、「悲しみ」、「怒り」、「驚き（感動）」、および「リラックス」の場合にも、それぞれ自動的に撮像回路１３へ撮影指示を行う。
【００６２】
ＣＰＵ１７は、判断結果が「泣き顔」の場合は、新たに取得されたスルー画像データから検出した顔に基づいて「涙」を検出した場合に撮影指示を行う。また、新たに取得されたスルー画像データから検出された「笑顔度」についての評価値が１、かつ「興奮度」についての評価値が７以上の場合でもよい。
【００６３】
ＣＰＵ１７は、判断結果が「居眠り」の場合は、新たに取得されたスルー画像データから検出した顔に基づいて「眠り」を検出（所定時間目を閉じていたことを検出）した場合に撮影指示を行う。また、新たに取得されたスルー画像データから検出された「眠気度」についての評価値が７以上の場合でもよい。
【００６４】
ＣＰＵ１７は、判断結果が「スポーツ」の場合は、新たに取得されたスルー画像データから検出された「集中度」および「興奮度」についての評価値が、たとえばそれぞれ７以上の場合に撮影指示を行う。また、スターターによるピストル音が集音されたことを検出して撮影指示（連写撮影）を行うように構成してもよい。
【００６５】
ＣＰＵ１７は、判断結果が「真剣（集中）」の場合は、新たに取得されたスルー画像データから検出された「集中度」についての評価値が、たとえば７以上の場合に撮影指示を行う。
【００６６】
ＣＰＵ１７は、判断結果が「恐怖」の場合は、新たに取得されたスルー画像データから検出した顔に基づいて「目」の白目領域が所定の割合を超えていることを検出した場合に撮影指示を行う。また、新たに取得されたスルー画像データから検出された「焦り度」についての評価値が７、かつ「興奮度」についての評価値が７以上の場合でもよい。
【００６７】
ＣＰＵ１７は、判断結果が「悲しみ」の場合は、新たに取得されたスルー画像データから検出された「笑顔度」についての評価値が、たとえば最低の１の場合に撮影指示を行う。
【００６８】
ＣＰＵ１７は、判断結果が「怒り」の場合は、新たに取得されたスルー画像データから検出した顔に基づいて「眉間の縦皺」または「への字に曲がった口」を検出した場合に撮影指示を行う。また、新たに取得されたスルー画像データから検出された「興奮度」および「苛立ち度」についての評価値が、たとえばそれぞれ７以上の場合でもよい。
【００６９】
ＣＰＵ１７は、判断結果が「驚き（感動）」の場合は、新たに取得されたスルー画像データから検出した顔に基づいて「上がり眉」、「下がった顎」、および「開いた口」の少なくとも１つを検出した場合に撮影指示を行う。また、新たに取得されたスルー画像データから検出された「笑顔度」および「興奮度」についての評価値が、たとえばそれぞれ７以上の場合でもよい。
【００７０】
ＣＰＵ１７は、判断結果が「リラックス」の場合は、新たに取得されたスルー画像データから検出した顔に基づいて「目尻の皺」、および「上がった頬」の少なくとも１つを検出した場合に撮影指示を行う。また、新たに取得されたスルー画像データから検出された「興奮度」および「焦り度」についての評価値が、たとえばそれぞれかなり低い２以下の場合でもよい。さらにまた、鼻歌が集音されたことを検出して撮影指示を行うように構成してもよい。
【００７１】
以上説明した変形例２によれば、それぞれの体調／気分を示す情報を含む撮影画像が得られる。
【００７２】
（変形例３）
変形例１では、検出した顔に基づいて判断した体調（気分）が「お疲れ」の場合に、撮影画像に対して自動補正を行う例を説明した。これに加えて、検出した顔に基づいて判断した体調（気分）が「スポーツ」、「真剣（集中）」、および「悲しみ」の場合にも、それぞれ撮影画像に対して自動補正を行うようにしてもよい。
【００７３】
体調（気分）として「スポーツ」を判断したＣＰＵ１７は、画像処理部１５へ指示を送り、撮影画像データのうち「顔」領域のデータに対して汗を鮮やかに色補正する（RGB比率をあらかじめ定めた所定比率に変更する）。
【００７４】
また、体調（気分）として「真剣（集中）」を判断したＣＰＵ１７は、画像処理部１５へ指示を送り、撮影画像データのうち「顔」領域のデータに対して「目」の輪郭を強調する。目の輪郭強調により、凝視している印象が強くなる。
【００７５】
さらにまた、体調（気分）として「悲しみ」を判断したＣＰＵ１７は、画像処理部１５へ指示を送り、撮影画像データのうち「背景」領域を暈かし（公知のフィルタ処理による電子暈かし）、明暗を強調する。背景を暗くすることにより、悲しみに対する印象が強くなる。
【００７６】
以上説明した変形例３によれば、それぞれの撮影場面において、体調／気分を示す情報を引き立たせる撮影画像が得られる。
【００７７】
（変形例４）
あらかじめ音声情報（メロディ、電子音、音声）をＲＯＭ１８へ登録（記録）しておき、検出した顔に基づいて判断した体調（気分）に対応する音声情報をスピーカー３５から音声再生するように構成してもよい。
【００７８】
変形例４のＣＰＵ１７は、外部機器（たとえばＰＣ）から通信部４０を介して取得した音声情報を取得してＲＯＭ１８に記録しておく。音声情報は、たとえば、起動音や終了音でもよいし、携帯電話機など通信端末用の着信音（着信メロディ）、または効果音でもよい。
【００７９】
音声情報の記録は、上述した体調（気分）としての１１種類の判断項目、すなわち、「笑顔」、「お疲れ」、「泣き顔」、「居眠り」、「スポーツ」、「集中（真剣）」、「恐怖」、「悲しみ」、「怒り」、「驚き（感動）」、および「リラックス」にそれぞれ対応させて記録する。
【００８０】
ＣＰＵ１７は、撮影モードにおいて撮影後に撮影画像をＬＣＤ３２に表示する際、撮影画像とともに体調（気分）の判断結果を図２に例示したように表示するとともに、ＲＯＭ１８から対応する音声情報を読み出してスピーカー３５から再生させる。
【００８１】
変形例４によれば、複数の音声データを登録するＲＯＭ１８と、ＣＰＵ１７による判定結果に基づいて、ＲＯＭ１８に登録された音声データのうちから音声データを選択するＣＰＵ１７とをさらに備えるようにしたので、それぞれの撮影場面において、体調／気分を示す情報を引き立たせる音声情報を再生させることができる。
【００８２】
（変形例５）
上述した実施形態および各変形例の説明では、デジタルカメラの場合を例に説明したが、カメラ機能を有するものであれば、カメラ付き携帯電話機やカメラ付き音楽プレーヤーなどの電子機器にも本発明を適用してよい。
【００８３】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００８４】
１１…撮影光学系
１３…撮像回路
１５…画像処理部
１６…画像記録部
１７…ＣＰＵ
１８…ＲＯＭ
２０…操作部材
３１…表示制御部
３２…ＬＣＤ
３３…オーディオ制御部
３４…マイク
４０…通信部
【図１】
2012156647.tif 000003
【図２】
2012156647.tif 000004
【図３】
2012156647.tif 000005
【図４】
2012156647.tif 000006
【図５】
2012156647.tif 000007
【図６】
2012156647.tif 000008
【図７】
2012156647.tif 000009
【図８】
2012156647.tif 000010
【図９】
2012156647.tif 000011