(57)【要約】【課題】被写体人物に対して発する音声がその人物に適した音声となるようにすること。【解決手段】顔表情検出部２２は、顔検出部２１によって検出された被写体人物情報、例えば顔表情情報を取得し、音声データ選択部２５は、その顔表情情報に基づき、音声データ記憶部３５に記憶されている複数の音声データからその顔表情情報に適した音声データを選択し、操作部４１によるレリーズスイッチ操作に応じて、選択された音声データをスピーカー４３に送る。スピーカー４３から「もっと笑ってぇ」又は「泣かないで、チーズ」などの音声データが再生される。被写体人物情報としては、他に、年代／性別情報や人物登録情報がある。【選択図】図１
2011171921.tif 000002
【特許請求の範囲】
【請求項１】
被写体人物を撮像して、画像データを作成する撮像手段と、
撮影動作を開始させる撮影手段と、
撮影準備段階において前記撮像手段が撮像した前記画像データ中の被写体人物画像を検出し、前記被写体人物情報を取得する人物情報取得手段と、
複数の音声データを記憶する音声データ記憶手段と、
前記人物情報取得手段が取得した前記被写体人物情報に基づき、前記音声データ記憶手段に記憶されている前記複数の音声データの中から所定の音声データを選択する音声データ選択手段と、
前記撮影手段による撮影動作に先立って、前記選択された前記音声データを再生する音声再生手段と、を備えることを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記人物情報取得手段は、前記画像データ中の被写体人物の顔画像が所定の顔表情であることを検出し、顔表情情報を取得する顔表情検出手段を含み、
前記音声データ選択手段は、前記顔表情検出手段が取得した前記顔表情情報に基づき、前記所定の音声データを選択することを特徴とするデジタルカメラ。
【請求項３】
請求項１に記載のデジタルカメラにおいて、
前記人物情報取得手段は、前記画像データ中の被写体人物画像に基づきその人物の年代と性別との少なくとも一方を前記被写体人物情報として推論する推論手段を含み、
前記音声データ選択手段は、前記推論手段が推論した前記年代と性別との少なくとも一方に基づき、前記所定の音声データを選択することを特徴とするデジタルカメラ。
【請求項４】
請求項１〜３のいずれか１項に記載のデジタルカメラにおいて、
所定の人物の顔情報を顔登録データとして記憶する顔登録データ記憶手段と、
前記画像データ中の被写体人物の顔画像が前記顔登録データ記憶手段に記憶された所定の顔登録データに対応することを検出し、前記被写体人物が登録人物であることを認識する顔認識手段と、を更に備え、
前記音声データ記憶手段は、前記登録人物の名前を含む音声データを記憶しており、
前記音声データ選択手段は、前記顔認識手段が認識した前記登録人物に応じて、前記音声データ記憶手段に記憶されている複数の音声データの中から前記登録人物の名前を含む音声データを選択することを特徴とするデジタルカメラ。
【請求項５】
請求項４に記載のデジタルカメラにおいて、
前記画像データ中の被写体人物が複数人存在し、前記複数人の被写体人物の中に登録人物が所定数以上含まれる場合に、前記音声データ選択手段は、前記登録人物の名前を含まない音声データを選択することを特徴とするデジタルカメラ。
【請求項６】
請求項４に記載のデジタルカメラにおいて、
前記画像データ中の被写体人物が複数人存在し、前記複数人の被写体人物の中に登録人物が前記所定数未満である場合に、前記音声データ選択手段は、前記登録人物の全員の名前を含む音声データを選択することを特徴とするデジタルカメラ。
【請求項７】
請求項４に記載のデジタルカメラにおいて、
前記画像データ中の被写体人物が複数人存在し、前記複数人の被写体人物の中に登録人物が一人のみである場合に、前記音声データ選択手段は、前記登録人物の名前を含まない音声データを選択することを特徴とするデジタルカメラ。
【請求項８】
請求項２に記載のデジタルカメラにおいて、
前記撮影手段による撮影段階において前記撮像手段が撮像した前記画像データ中の被写体人物の顔画像に前記音声再生手段によって再生された前記音声データの効果が反映されているか否かを評価する評価手段と、
前記評価手段の評価結果に基づき、前記音声データ記憶手段に記録された複数の音声データに対してランキングを付与するランキング手段と、
前記ランキング手段が付与した前記ランキング結果を表示する表示手段と、を更に備えることを特徴とするデジタルカメラ。
【請求項９】
請求項１〜８のいずれか１項に記載のデジタルカメラにおいて、
前記音声データ記憶手段に記憶されている複数の音声データは、サーバーからダウンロードされることを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに係り、特に画像中の被写体人物を検出する機能を有するデジタルカメラに関する。
【背景技術】
【０００２】
被写体人物の笑顔を撮影したい場合に、被写体人物に所定の単語、例えば、比較的ポピュラーな「はい、チーズ」を発声するように案内し、発声を認識した後に、予め設定したタイミングで撮影を行う人物撮影装置が知られている（例えば、特許文献１参照）。
この人物撮影装置は、例えば証明写真撮影システムなどに使用されることが好適なものであり、被写体人物に対して予め定められた所定の音声でもって撮影手順などを説明する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２６６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般のデジタルカメラは、被写体人物の色々な表情、例えば、笑い顔や泣き顔や怒り顔や驚き顔などの表情を撮影する場合があり、被写体人物の顔表情に無関係に常に一定の音声を被写体人物に発することは、全く無意味であり、むしろ好ましくない場合がある。
【課題を解決するための手段】
【０００５】
請求項１の発明によるデジタルカメラは、被写体人物を撮像して、画像データを作成する撮像手段と、撮影動作を開始させる撮影手段と、撮影準備段階において撮像手段が撮像した画像データ中の被写体人物画像を検出し、被写体人物情報を取得する人物情報取得手段と、複数の音声データを記憶する音声データ記憶手段と、人物情報取得手段が取得した被写体人物情報に基づき、音声データ記憶手段に記憶されている複数の音声データの中から所定の音声データを選択する音声データ選択手段と、撮影手段による撮影動作に先立って、選択された音声データを再生する音声再生手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明のデジタルカメラによれば、被写体人物を検出して、その検出した被写体人物情報に応じた音声データを選択して、撮影前の被写体人物の顔表情情報などの被写体人物情報に適した音声を発することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４および画像処理部１５を備える。また、デジタルカメラは、画像記録部１６、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１７、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１８、バス１９、操作部４１、ディスプレイ４２、スピーカー４３および通信部４４を備える。
【０００９】
画像処理部１５、画像記録部１６、ＣＰＵ１７、ＲＯＭ１８、操作部４１、ディスプレイ４２、スピーカー４３および通信部４４は、バス１９を介して互いに接続されている。
ＣＰＵ１７は、顔検出部２１、顔表情検出部２２、年代／性別推論部２３、顔認識部２４、音声データ選択部２５、効果評価部２６およびランキング部２７として機能する。
また、ＣＰＵ１７は、撮影手段である撮影レンズ１１、絞り１２、撮像素子１３などを制御する。
ＲＯＭ１８は、顔データ記憶部３１、顔表情データ記憶部３２、年代／性別データ記憶部３３、顔登録データ記憶部３４および音声データ記憶部３５として機能する。
【００１０】
撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。
【００１１】
撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。
撮影開始前の段階、即ち撮影準備段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介してディスプレイ４２に送られ、スルー画像として表示される。
撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介して画像記録部１６の不揮発性のメモリ（記憶媒体）１６ａに記録される。
【００１２】
顔検出部２１は、スルー画像用の被写体画像データを顔データ記憶部３１に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。顔データ記憶部３１は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。
【００１３】
顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。
【００１４】
他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。
【００１５】
顔表情検出部２２は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情データ記憶部３２に予め記憶されている複数の顔表情データと比較することにより、顔画像中の被写体人物の顔表情の種類を検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔などの様々な種類があり、顔表情データ記憶部３２は、これらの様々な顔表情をデータとして記憶している。
【００１６】
顔表情検出部２２が顔領域の画像の顔表情を検出する場合には、例えば、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。顔表情検出部２２は、被写体人物の顔表情の種類に対応する検出信号を出力する。
【００１７】
年代／性別推論部２３は、顔検出部２１により検出された顔領域の画像に基づき被写体人物の年代／性別を推論する。すなわち、年代／性別推論部２３は、被写体人物の顔画像中の各特徴点と、年代／性別データ記憶部３３に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代、性別を推論する。そして、年代／性別推論部２３は、推論結果、例えば、被写体人物の年代は幼児で性別は男子や、年代は２０歳代で性別は女性と言った推論データを出力する。
年代／性別データ記憶部３３は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量（寸法、間隔）のデータおよび色彩データを記憶している。
【００１８】
年代／性別を推論する方法としては、例えば、特開２００４−２２２１１８号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。
【００１９】
顔認識部２４は、事前に撮影した被写体人物の顔画像の特徴情報を顔登録データとして顔登録データ記憶部３４に記録する人物登録機能と、新たに撮影する被写体人物の顔画像が顔登録データ記憶部３４に記録された顔登録データに対応するかを識別する人物認識機能とを有する。
これらの機能を詳述すると、顔認識部２４は、事前に撮影した人物の顔画像の特徴を分析して、それを顔登録データとして顔登録データ記憶部３４に記録する。この際に、この人物の氏名情報や年代情報や性別情報もこの顔登録データに関連付けて、顔登録データ記憶部３４に記録する。こうして、被写体人物の登録が行われる。
なお、この氏名情報と年代情報と性別情報は、図示を省略した情報入力部から撮影者によって入力される。
【００２０】
また、顔認識部２４は、顔検出部２１が検出した被写体人物の顔画像と顔登録データ記憶部３４に記録されている顔登録データとを比較して、被写体人物が登録済みの人物、即ち登録人物であるか否かを判別する。
なお、顔登録データ記憶部３４に記憶される顔登録データは、登録人物の顔画像の顔情報、例えば眉や眼や鼻や唇などの特徴点に関する情報である。
【００２１】
音声データ選択部２５は、被写体人物に関する情報に基づき、音声データ記憶部３５に記録されている音声データを選択し、選択した音声データをスピーカー４３により音声として再生させる。具体的には、音声データ選択部２５は、顔表情検出部２２が検出した顔表情の種類、年代／性別推論部２３が推論した年代／性別の情報、顔認識部２４が認識した登録人物の情報などに応じて、再生すべき音声データを選択する。
【００２２】
音声データ選択部２５は、選択した音声データを、撮影動作の少し前、例えば、撮影動作の１秒前にスピーカー４３に送出して再生する。具体的には、後述の操作部４１のレリーズスイッチが操作されると、音声データ選択部２５が選択済みの音声データをスピーカー４３に送り再生して、その再生の所定時間後に撮影動作が開始される。
【００２３】
音声データ記憶部３５には、撮影時に発声する種々の音声データが記録されている。例えば、「ハイ、笑ってぇ」、「もっと笑ってぇ」、「スマイル！」、「微笑んで」、「そんなに怒らないの」、「泣かないで、チーズ」、「ニコニコして」、「爆笑」、「笑いましょう」、「Ａちゃん、ニコニコして」、「Ｂ君、爆笑」、「Ｃさん、笑いましょう」、「Ｄさん、Ｅさん、ハイ、チーズ」、「皆さん、一斉に笑いましょう」等の音声データが音声データ記憶部３５に記録されている。
なお、「Ａちゃん、ニコニコして」、「Ｂ君、爆笑」、「Ｃさん、笑いましょう」、「Ｄさん、Ｅさん、ハイ、チーズ」の音声データ中の「Ａちゃん」、「Ｂ君」、「Ｃさん」、「Ｄさん」、「Ｅさん」は、顔登録データ記憶部３４に記憶された登録人物の名前である。これらの名前を含む音声データ「Ａちゃん、ニコニコして」、「Ｂ君、爆笑」、「Ｃさん、笑いましょう」、「Ｄさん、Ｅさん、ハイ、チーズ」は、登録人物の氏名情報と年代情報と性別情報とが顔登録データ記憶部３４に記憶される際に不図示の音声データ作成部によって自動的に作成され、音声データ記憶部３５に記憶される。
また、音声データは、アニメソングなどの歌声であってもよく、更には、人間の音声に限るものでなく、犬や猫などの鳴き声であってもよい。
【００２４】
音声データは、本実施の形態のデジタルカメラの製造段階において、多数の音声データが音声データ記憶部３５に記憶されると共に、顔登録データ記憶部３４への被写体人物の登録時にその登録人物の名前情報を含んだ音声データが音声データ記憶部３５に追加記憶され、更には、後述の通信部４４によって外部から入力された音声データが音声データ記憶部３５に追加記憶される。
【００２５】
例えば、顔表情検出部２２が被写体人物の笑顔を検出して笑顔情報を取得した場合は、音声データ選択部２５は、より良い笑顔を誘うために例えば「もっと笑ってぇ」という音声データを選択し、また、顔表情検出部２２が被写体人物の非笑顔を検出した場合は、音声データ選択部２５は、笑いを誘発するために例えば「はい、笑ってぇー」という音声データを選択する。
【００２６】
年代／性別推論部２３が、被写体が例えば幼児であると推論した場合には、音声データ選択部２５は、例えば幼児語の「ニコニコして」や犬の鳴き声「ワン、ワン」の音声データを選択し、年代／性別推論部２３が、被写体が例えば若い男性、又は若い女性であると推論した場合には、音声データ選択部２５は、それぞれ「爆笑」、又は「笑いましょう」や「微笑んで」の音声データを選択する。
【００２７】
顔認識部２４が、被写体人物が顔登録データ記憶部３４に登録されている登録人物であると認識した場合には、音声データ選択部２５は、その人物の名前を含んだ「Ａちゃん、ニコニコして」、「Ｂ君、爆笑」、「Ｃさん、笑いましょう」、「Ｄさん、Ｅさん、ハイ、チーズ」などの音声データを選択する。
【００２８】
効果評価部２６は、撮影した撮影画像データの被写体人物の顔表情がその撮影時の再生音声データの内容を反映した顔表情に成っているか否かを評価する。具体的には、顔表情検出部２２が撮影画像データの被写体人物の顔表情を検出すると、効果評価部２６は、その検出された被写体人物の顔表情が撮影時の再生音声データの内容を反映した表情になっているか否かを評価する。例えば、撮影前に再生された再生音声データが「ニコニコして」であった場合に、撮影された画像の顔表情が笑い顔であったか否かを判断し、笑い顔であった場合には音声再生の効果があったと評価し、この音声データに得点１を与える。
【００２９】
ランキング部２７は、効果評価部２６の評価結果に基づき、音声データ記憶部３５に記録された複数の音声データに対してランキングを付与する。具体的には、ランキング部２７は、効果評価部２６が音声データに付与した得点を音声データ毎に加算してこの加算結果から音声データのランキングを決める。
【００３０】
操作部４１は、デジタルカメラの電源スイッチ、撮影動作を開始するレリーズスイッチ、撮影画像を再生する再生スイッチ、撮影条件モードなどを選択・設定する選択／設定スイッチなどを含み、撮影者が各スイッチを操作すると、その操作に対応する操作信号がＣＰＵ１７へ出力される。例えば、操作部４１の選択機能としては、顔表情検出部２２、年代／性別推論部２３又は顔認識部２４などを選択して作動させる。
【００３１】
ディスプレイ４２は、スルー画像を表示し、メモリ１６ａに保存されている画像データに基づく再生画像を表示し、また、操作メニューなどを表示する。
スピーカー４３は、音声データ記憶部３５に記録されている音声データを音声として再生する。
通信部４４は、通信ネットワークを介して外部のサーバー１００と接続され、サーバー１００から必要に応じて音声データをダウンロードし、ダウンロードされた音声データは、音声データ記憶部３５に格納される。
【００３２】
以上のように構成されたデジタルカメラの動作について説明する。
−顔表情検出モード−
先ず、顔表情に基づいて、それに相応しい音声データを選択する場合を説明する。
操作者が操作部４１によって顔表情検出モードを選択すると、顔検出部２１と顔表情検出部２２が起動する。
顔検出部２１は、スルー画像データ中の被写体人物画像を顔データ記憶部３１の顔データと比較して、被写体人物の顔部分を検出する。顔表情検出部２２は、顔検出部２１によって検出された被写体人物の顔表情を顔表情データ記憶部３２の顔表情データと比較して、被写体人物の顔表情が「笑顔」又は「泣き顔」又は「怒り顔」などの何れであるかを検出して、笑い顔情報、泣き顔情報、怒り顔情報などを取得する。
【００３３】
音声データ選択部２５は、顔表情検出部２２からの顔表情情報に基づき、音声データ記憶部３５に記憶されている複数の音声データから、その顔表情情報に適した音声データを選択する。例えば、顔表情検出部２２が取得した顔表情情報が、例えば微笑み顔、又は泣き顔を表す場合に、音声データ「もっと笑ってぇ」又は音声データ「泣かないで、チーズ」をそれぞれ選択する。
【００３４】
その後に操作部４１のレリーズスイッチが操作されると、音声データ選択部２５はこのレリーズスイッチ操作に応じて選択音声データをスピーカー４３に送り、これによって、「もっと笑ってぇ」又は「泣かないで、チーズ」などの音声データが再生される。
この音声データの再生後、所定時間後に、撮影動作が開始され、撮像素子１３からの撮像信号が画像処理部１５で処理された後に画像記録部１６によってメモリ１６ａに記憶される。
【００３５】
顔表情検出部２２はこの撮影された被写体画像の顔表情を検出し、効果評価部２６は、この検出された撮影被写体画像の顔表情が音声データの再生効果によって「笑い顔」になっているか、即ち、撮影前の「微笑み顔」又は「泣き顔」から撮影時の「笑い顔」に変化したかを判別し、音声データの効果を評価する。
効果評価部２６は「笑い顔」に変化したと判断した場合には、この音声データに得点１を付与し、「笑い顔」になっていないと判断した場合には、得点１を付与しない。
【００３６】
ランキング部２７は、効果評価部２６が音声データに付与した得点を、音声データ毎に加算して音声データのランキングを決定する。
このランキングは、操作部４１の選択スイッチの操作に応じて、ディプレイ４２に表示される。このランキング表示は、例えば、１位「もっと笑ってぇ」１５点、２位「泣かないで、チーズ」１４点、３位「ニコニコして」１０点などのように行われる。
【００３７】
−年代／性別推論モード−
次に、年代、性別の推論に基づいて、それに相応しい音声データを選択する場合を説明する。
操作者が操作部４１によって年代／性別推論モードを選択すると、これによって顔検出部２１と年代／性別推論部２３が起動する。
顔検出部２１が、スルー画像データ中の被写体人物の顔画像を検出すると、年代／性別推論部２３は、顔検出部２１により検出された顔領域の画像に基づき被写体人物の年代／性別を推論し、被写体人物の年代や性別に関する情報を取得する。
年代／性別推論部２３は、被写体人物を例えば、「幼児」又は「２０歳代の女性」であると推論して、「幼児」情報又は「２０歳代の女性」情報を取得する。
【００３８】
音声データ選択部２５は、年代／性別推論部２３からの年代、性別情報に基づき、音声データ記憶部３５に記憶されている複数の音声データから、その年代、性別情報に適した音声データを選択する。
例えば、年代／性別推論部２３が取得した年代、性別情報が「幼児」又は「２０歳代の女性」を表す場合に、音声データ「ニコニコして」又は音声データ「微笑んで」をそれぞれ選択する。また、「幼児」の場合には、犬や猫の鳴き声を選択するようにしても良い。
【００３９】
操作部４１のレリーズスイッチが操作されると、音声データ選択部２５はこのレリーズスイッチ操作に応じて選択音声データをスピーカー４３に送り、これによって「ニコニコして」又は「微笑んで」などが再生される。
この音声データの再生後、所定時間後に、撮影動作が開始され、撮像素子１３からの撮像信号が画像処理部１５で処理された後に画像記録部１６によってメモリ１６ａに記憶される。
【００４０】
顔表情検出部２２は、この撮影された被写体画像の顔表情を検出し、効果評価部２６は、この検出された撮影被写体画像の顔表情が音声データの再生効果によって、幼児が「笑顔」になっているか、又は「２０歳代の女性」が「微笑み顔」になっているかを判別し、音声データの効果を評価する。
効果評価部２６は効果があったと判断した場合には、この音声データに得点１を付与し、効果が無いと判断した場合には、得点１を付与しない。
ランキング部２７は、効果評価部２６が音声データに付与した得点を、音声データ毎に加算して音声データのランキングを決定する。
【００４１】
上述の顔表情検出モードと年代／性別推論モードとを組み合わせることもできる。この組み合わせモードの場合には、顔表情検出部２２が検出した被写体人物の顔表情と年代／性別推論部２３が推論した被写体人物の年代や性別とに基づき、音声データ選択部２５は音声データ記憶部３５から音声データを選択する。
【００４２】
−人物登録＋顔表情検出モード−
操作者が操作部４１によって人物登録＋顔表情検出モードを選択すると、顔検出部２１と顔表情検出部２２と顔認識部２４とが起動する。
先ず、顔登録データの作成を説明する。
人物登録したい被写体人物を撮影してその人物の顔画像データを作成する。顔認識部２４は、このように事前に撮影した人物の顔画像の特徴を分析して、それを顔登録データとして顔登録データ記憶部３４に記録する。この際に、図示を省略した情報入力部によってこの人物の氏名情報や年代情報や性別情報などを入力して、これらの氏名情報や年代情報や性別情報などを顔登録データに関連付けて顔登録データ記憶部３４に記録する。
【００４３】
これらの顔登録データ及び氏名情報や年代情報や性別情報の顔登録データ記憶部３４への記録に応じて、この顔登録データに関連する名前情報を含む音声データを作成し、この音声データをそれの顔登録データに関連付けて、音声データ記憶部３５に記憶する。
以上の動作を繰り返すことにより、複数人の顔登録データとその氏名情報などとを顔登録データ記憶部３４に記録すると共に、それらの顔登録データに関連する音声データが音声データ記憶部３５に記憶される。
【００４４】
その後に、撮影準備段階において、顔検出部２１は、スルー画像データ中の被写体人物の画像を顔データ記憶部３１の顔データと比較して、被写体人物の顔部分を検出する。この説明では、被写体人物は１人のみとする。
顔表情検出部２２は、顔検出部２１によって検出された被写体人物の顔表情を顔表情データ記憶部３２の顔表情データと比較して、被写体人物の顔表情が「笑顔」又は「泣き顔」又は「怒り顔」などの何れであるかを検出して、笑い顔情報、泣き顔情報、怒り顔情報などの顔表情情報を取得する。
これと同時に、顔認識部２４は、顔検出部２１が検出した被写体人物の顔画像と顔登録データ記憶部３４に記録されている顔登録データとを比較して、被写体人物が登録済みの人物の誰に該当するかを判別する。
【００４５】
音声データ選択部２５は、顔認識部２４が判別した登録人物に関する氏名情報、年代情報及び性別情報と、顔表情検出部２２が取得した顔表情情報とに基づき、音声データ記憶部３５に記憶されている複数の音声データから、その顔表情情報に適した音声データを選択する。このときに選択される音声データは、上記の氏名情報を含んだ音声データであり、例えば、「Ａちゃん、ニコニコして」、「Ｂ君、爆笑」、「Ｃさん、笑いましょう」などの音声データが選択される。
【００４６】
次いで、操作部４１のレリーズスイッチが操作されると、音声データ選択部２５はこのレリーズスイッチ操作に応じて、選択された音声データをスピーカー４３に送り、これによって「Ａちゃん、ニコニコして」などが再生される。
この音声データの再生後、所定時間後に、撮影動作が開始され、撮像素子１３からの撮像信号が画像処理部１５で処理された後に画像記録部１６によってメモリ１６ａに記憶される。
【００４７】
顔表情検出部２２はこの撮影された被写体画像の顔表情を検出し、効果評価部２６はこの検出された撮影被写体画像の顔表情が音声データの再生効果によって「笑い顔」になっているかを判断する。
効果評価部２６は、顔表情検出部２２が「笑い顔」を検出した場合には、この音声データに得点１を付与し、「笑い顔」でないと判断した場合には、得点１を付与しない。
ランキング部２７は、効果評価部２６が音声データに付与した得点を、音声データ毎に加算して音声データのランキングを決定する。
【００４８】
次に、顔検出部２１が、スルー画像データから複数の被写体人物の顔画像を検出した場合について説明する。
顔検出部２１が検出した複数の被写体人物の内に登録人物が１人のみであることを顔認識部２４が判別した場合には、音声データ選択部２５は、「皆さん」のような複数人に呼びかけるような音声データを選択するか、又は氏名情報を含まない音声データを選択する。これは、複数の被写体人物を撮影する時に１人の登録人物の名前を含んだ音声データ、例えば「Ｃさん、笑いましょう」を再生することによってその登録人物のみが笑顔になり、他の被写体人物が非笑顔のままであるという状況を避けるためである。
【００４９】
また、顔検出部２１が検出した複数の被写体人物の内に登録人物が所定人数以上、例えば３人以上いることを顔認識部２４が判別した場合には、音声データ選択部２５は、「皆さん」のような複数人に呼びかけるような音声データを選択するか、又は氏名情報を含まない音声データを選択する。
また、顔検出部２１が検出した被写体人物が２人であり、その２人が共に登録人物である場合には、音声データ選択部２５は、その２名の氏名情報を含んだ音声データ、例えば「Ａさん、Ｂさん、笑って」を選択する。
【００５０】
上述の実施の形態は、以下の効果を有するものである。
（１）被写体人物の顔表情を検出して、その顔表情に基づき音声データを選択して、その選択した音声データを撮影動作の直前に再生することができる。
（２）被写体人物の年代／性別を推論して、その推論した年代／性別に基づき音声データを選択して、その選択した音声データを撮影動作の直前に再生することができる。
（３）被写体人物の顔表情を検出し、かつ被写体人物が登録人物であることを認識し、その顔表情と認識した登録人物情報とに基づいて音声データを選択して、その選択した音声データを撮影動作の直前に再生することができる。
（４）被写体人物が事前に登録された登録人物に相当することを認識した場合には、その登録人物の氏名情報を含む音声データを選択し、その選択した音声データを撮影動作の直前に再生することができる。
（５）被写体人物が複数であり、その複数の被写体人物のうち登録人物が１人のみの場合には、その登録人物の名前を含まない音声データを選択することができる。
（６）被写体人物が複数である場合には、「皆さん」のような複数人に呼びかけるような音声データを選択することができる。
【００５１】
なお、上述の実施の形態では、顔表情検出部２２によって単に被写体人物の顔表情を検出するものであったが、顔表情の度合い即ち表情レベルをも検出し、その顔表情レベルに応じて音声データを選択してもよい。
例えば、顔表情の度合い、即ち顔表情レベル、例えば「微笑み」、「中位の笑い」及び「大笑い」を区別して検出することができる顔表情レベル検出部をＣＰＵ１７に設け、この顔表情レベル検出部が検出した顔表情レベルに応じて、音声データを選択することもできる。
この場合には、顔表情レベル検出部が「中位の笑い」レベルを検出した場合には、例えば「もっと大きく笑って」などの音声データを選択する。
【符号の説明】
【００５２】
１３：撮像素子                      １７：ＣＰＵ
１８：ＲＯＭ                        １９：バス
２２：顔表情検出部                  ２３：年代／性別推論部
２４：顔認識部                      ２５：音声データ選択部
２６：効果評価部                    ２７：ランキング部
３２：顔表情データ記憶部            ３３：年代／性別データ記憶部
３４：顔登録データ記憶部            ３５：音声データ記憶部
４１：操作部                        ４２：ディスプレイ
４３：スピーカー
【図１】
2011171921.tif 000003