(57)【要約】【課題】撮影者が意図した顔表情の人物を容易に認識できるようにすること。【解決手段】レベル評価部３１は、被写体画像中の複数の人物の各々について、その顔表情を顔表情レベルデータ記憶部３５に予め記憶されている顔表情レベルデータと比較し、被写体人物の各々の顔表情の度合いを評価する。トリミング部４２は、被写体画像から、レベル評価部３１により最も高いレベルと評価された被写体人物の部分画像をトリミングし、液晶ディスプレイ３７は、トリミング部４２によってトリミングされたトリミング画像を表示する。【選択図】図１
2010068190.tif 000002
【特許請求の範囲】
【請求項１】
被写体人物を撮像して被写体画像を生成する撮像手段と、
前記被写体画像から被写体人物の所定の顔表情を検出する顔表情検出手段と、
前記顔表情検出手段の検出結果に基づき自動撮影を行う自動撮影手段と、
前記所定の顔表情に関する表情度合いを段階的に表す複数の顔表情レベルを顔表情レベルデータとして記憶する顔表情レベルデータ記憶手段と、
前記被写体画像中の複数の被写体人物の各々についてその顔表情を前記顔表情レベルデータと比較し、前記被写体人物の各々の顔表情の度合いを評価するレベル評価手段と、
前記被写体画像から、前記レベル評価手段により最も高いレベルと評価された被写体人物の部分画像をトリミングするトリミング手段と、
画像を表示する表示手段と、を備え、
前記表示手段は、前記トリミング手段によってトリミングされたトリミング画像を表示することを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記レベル評価手段は、前記最も高いレベルについて数値化し、
前記表示手段は、前記トリミング画像に、前記レベル評価手段によって数値化されたレベル値を付加して表示することを特徴とするデジタルカメラ。
【請求項３】
請求項１に記載のデジタルカメラにおいて、
記録媒体に画像を記録する画像記録手段を更に備え、
前記画像記録手段は、前記トリミング画像および前記被写体画像を前記記録媒体に記録することを特徴とするデジタルカメラ。
【請求項４】
請求項３に記載のデジタルカメラにおいて、
前記レベル評価手段は、前記被写体人物の各々の顔表情の度合いをそれぞれ数値化し、
前記表示手段は、前記被写体画像中の被写体人物の各々に、前記レベル評価手段によって数値化されたそれぞれのレベル値を付加して表示することを特徴とするデジタルカメラ。
【請求項５】
記録媒体に複数枚の撮影画像を記録する画像記録手段と、
前記記録媒体に記録されている前記撮影画像の中から同一人物の画像を複数枚選択する選択手段と、
所定の顔表情に関する表情度合いを段階的に表す複数の顔表情レベルを顔表情レベルデータとして記憶する顔表情レベルデータ記憶手段と、
前記選択手段により選択された前記複数枚の画像の各々についてその顔表情を前記顔表情レベルデータと比較し、前記複数枚の画像の人物の顔表情の度合いを評価するレベル評価手段と、
画像を表示する表示手段とを備え、
前記表示手段は、前記選択手段により選択された前記複数枚の画像のうち、前記レベル評価手段により最も高いレベルと評価された顔表情の画像を表示することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記表示手段は、前記複数枚の画像を人物の顔表情の度合いが高い順に順次表示することを特徴とする画像処理装置。
【請求項７】
請求項５または６に記載の画像処理装置において、
前記レベル評価手段は、前記複数枚の画像の人物の顔表情の度合いをそれぞれ数値化し、
前記表示手段は、前記表示する画像に、前記レベル評価手段によって数値化されたレベル値を付加して表示することを特徴とする画像処理装置。
【請求項８】
被写体を撮影して被写体画像を生成する撮像手段と、
前記被写体画像の少なくとも二人の人物の顔表情が第１、第２および第３の顔表情のいずれに相当するかを判別する顔表情判別手段と、
前記第１の顔表情が前記第２の顔表情に優り、前記第２の顔表情が前記第３の顔表情に優り、前記第３の顔表情が前記第１の顔表情に優るとのルールの下で、前記二人の人物のどちらの顔表情が優るかを前記顔表情判別手段の判別結果に基づいて決定する優劣決定手段と、
前記顔表情が優った人物の画像を前記被写体画像からトリミングするトリミング手段と、
画像を表示する表示手段とを備え、
前記表示手段は、前記トリミング手段によってトリミングされたトリミング画像を表示することを特徴とするデジタルカメラ。
【請求項９】
請求項１又は８に記載のデジタルカメラにおいて、
前記表示手段は、前記トリミング画像に、予め決められた前記顔表情に対応する所定の名言または格言のメッセージを付加して表示することを特徴とするデジタルカメラ。
【請求項１０】
複数の人物について、それぞれ顔表情を変化させて２回撮影し、それぞれの撮影画像を生成する撮像手段と、
前記複数の人物の撮影画像について、同一人物に関する変化前の顔表情と変化後の顔表情とを比較して、変化の最も大きい人物を決定する決定手段と、
前記決定された人物の前記撮影画像を表示する表示手段とを備えることを特徴とするデジタルカメラ。
【請求項１１】
第１の記録媒体に撮影画像を記録する画像記録手段と、撮影画像を表示する第１の表示手段と、撮影画像データを送受信する第１のデータ通信手段と、撮影画像の人物の所定の顔表情に関する表情度合いを評価するレベル評価手段とを具備する第１のデジタルカメラと、
第２の記録媒体に撮影画像を記録する画像記録手段と、撮影画像を表示する第２の表示手段と、撮影画像データを送受信する第２のデータ通信手段とを具備する第２のデジタルカメラと、を備え、
前記第２のデータ通信手段は、前記第２の記録媒体に記録されている第２の撮影画像を第１のデジタルカメラへ送信し、
前記レベル評価手段は、前記送信された第２の撮影画像の人物の前記所定の顔表情に関する表情度合いを評価するとともに、前記第１の記録媒体に記録されている第１の撮影画像の人物の前記所定の顔表情に関する表情度合いを評価し、
前記第１の表示手段は、前記第１および第２の撮影画像の評価結果を表示し、
前記第１のデータ通信手段は、前記評価結果を前記第２のデジタルカメラへ送信し、
前記第２の表示手段は、前記評価結果を表示することを特徴とするデジタルカメラシステム。
【請求項１２】
請求項１１に記載のデジタルカメラシステムにおいて、
前記第２のデジタルカメラは、前記第２の撮影画像を前記第１のデジタルカメラへ送信するとともに前記第２の記録媒体から削除し、前記第１のデジタルカメラは、前記第２のデジタルカメラから送信された前記第２の撮影画像を前記第１の記録媒体へ一時的に記録し、
前記評価結果が前記第１の撮影画像の方が前記第２の撮影画像よりも高い場合は、前記第１のデジタルカメラは、前記第２の撮影画像を前記第１の記録媒体に保存し、
前記評価結果が前記第１の撮影画像の方が前記第２の撮影画像よりも低い場合は、前記第１のデジタルカメラは、前記第２の撮影画像を前記第２のデジタルカメラへ送信するとともに前記第１の記録媒体から削除し、前記第１の撮影画像を前記第２のデジタルカメラへ送信するとともに前記第１の記録媒体から削除することを特徴とするデジタルカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の顔の表情を認識して自動的に撮影を行う機能を有するデジタルカメラに関する。
【背景技術】
【０００２】
最近のデジタルカメラには、被写体人物を撮像して、その人物画像を解析し、その人物の表情が笑顔であることを認識したときに、自動的に撮影を開始する笑顔検出自動撮影機能が搭載されており、この機能は、シャッターチャンスを逃すことなく被写体人物の笑顔を確実に撮影することができるので、広く普及している（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００８−４２３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、このようなデジタルカメラの笑顔検出自動撮影機能によって、複数の人物を含む被写体を自動撮影した場合には、そのうちの一人だけが笑顔であるが、他の人は笑顔でない場合があり得る。撮影者は、笑顔検出自動撮影機能によって笑顔を撮影する意図であったにもかかわらず、得られた画像は、笑顔でない顔表情をも含む結果となってしまうという問題があった。
【課題を解決するための手段】
【０００５】
（１）請求項１の発明によるデジタルカメラは、被写体人物を撮像して被写体画像を生成する撮像手段と、被写体画像から被写体人物の所定の顔表情を検出する顔表情検出手段と、顔表情検出手段の検出結果に基づき自動撮影を行う自動撮影手段と、所定の顔表情に関する表情度合いを段階的に表す複数の顔表情レベルを顔表情レベルデータとして記憶する顔表情レベルデータ記憶手段と、被写体画像中の複数の被写体人物の各々についてその顔表情を顔表情レベルデータと比較し、被写体人物の各々の顔表情の度合いを評価するレベル評価手段と、被写体画像からレベル評価手段により最も高いレベルと評価された被写体人物の部分画像をトリミングするトリミング手段と、画像を表示する表示手段と、を備え、表示手段は、トリミング手段によってトリミングされたトリミング画像を表示することを特徴とする。
【発明の効果】
【０００６】
本発明のデジタルカメラによれば、被写体画像の被写体人物の所定の顔表情を検出して自動撮影を行って得た撮影画像に複数の人物が写っていた場合に、それらの人物の中で所定の顔表情レベルが最も高い人物の画像をトリミングして表示する。従って、撮影者が意図しない顔表情の人物の画像が、撮影者の意図した所定の顔表情の人物の画像に混入することを確実に防止することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施の形態によるデジタルカメラについて、図１〜１１を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の第１の実施の形態によるデジタルカメラの構成を示すブロック図である。
【０００８】
図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔検出部２１、顔データ記憶部２２、レベル評価部３１、顔表情データ記憶部３２、顔表情設定部３３、自動撮影部３４、顔表情レベルデータ記憶部３５、表示制御部３６および液晶ディスプレイ３７を備える。さらに、デジタルカメラは、顔表情撮影モード設定部４０、画像再生部４１およびトリミング部４２を備える。
【０００９】
撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。
【００１０】
撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ３７に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６へ送られ、不揮発性メモリ１６ａに記録される。
【００１１】
画像記録部１６は、画像情報とその画像に関する属性情報とを関連付けてメモリ１６ａに記録する。
【００１２】
顔検出部２１は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られたスルー画像データを入力し、このスルー画像データを顔データ記憶部２２に予め記憶されている顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。被写体人物が複数人いる場合は、全員の顔を個別に検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。
【００１３】
顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。
【００１４】
他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。
【００１５】
レベル評価部３１は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の顔表情を顔表情データ記憶部３２に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。この顔表情検出は、一定の時間間隔毎に行われる。
【００１６】
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部３２は、笑顔データを含む複数の顔表情データを記憶している。
顔表情設定部３３は、被写体人物の顔表情の種類を外部から設定する操作部であり、笑顔を含む複数の顔表情を設定することができる。顔表情設定部３３が所定の顔表情を設定すると、レベル評価部３１は、画像中の被写体人物の顔表情が上記の設定された顔表情に対応することを検出する。
【００１７】
レベル評価部３１が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。
【００１８】
レベル評価部３１は、被写体人物の顔表情が顔表情設定部３３によって設定された顔表情であることを検出すると、検出信号を制御部２０に対して出力する。
自動撮影部３４は、レベル評価部３１からの検出信号に応じて制御部２０から発せられる信号に基づき、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の自動撮影を行う。この自動撮影は、レベル評価部３１が所定の顔表情、例えば笑顔を検出する毎に１枚の画像を撮像する。
【００１９】
顔表情レベルデータ記憶部３５は、顔表情設定部３３が設定可能な複数の顔表情について、各顔表情の度合い（顔表情レベル値）として、１０％から１００％まで１０％間隔で、各顔表情レベル毎に顔表情レベルデータを記憶している。例えば、笑顔レベル値が１０％、２０％、３０％・・・と高まるにつれて、笑顔表情は微笑程度から大笑いへとその笑顔の度合いが大きくなってゆく。
【００２０】
更に、レベル評価部３１は、上述の自動撮影部３４によって自動撮影された撮影画像に
ついて、その被写体人物全員の顔表情の度合い（表情レベル）を検出する。すなわち、レベル評価部３１は、自動撮影によって得られた撮影画像中の顔領域の画像の表情の度合いを顔表情レベルデータ記憶部３５の所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔表情レベルが所定の顔表情レベルに対応することを検出する。被写体人物が複数人いる場合は、全員の顔表情レベルを個別に検出する。
【００２１】
笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。
【００２２】
表示制御部３６は、液晶ディスプレイ３７による表示を制御する。すなわち、表示制御部３６は、液晶ディスプレイ３７がスルー画像の表示、バッファメモリ１４に一時的に記録されている撮影画像の表示、画像記録部１６のメモリ１６ａに保存された撮影画像の再生表示を行なう時の表示態様を制御する。また、表示制御部３６は、液晶ディスプレイ３７に撮影画像のみを表示させたり、属性情報を付加した撮影画像を表示させる。
【００２３】
液晶ディスプレイ３７は、スルー画像の表示やバッファメモリ１４に一時的に記録されている撮影画像、メモリ１６ａに保存された撮影画像の表示を行い、また、表示制御部３６の指令により、撮影画像に関連する属性情報の表示などを行う。
【００２４】
顔表情撮影モード設定部４０は、被写体人物の所定の顔表情、例えば笑顔を検出すると、自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。
【００２５】
画像再生部４１は、画像記録部１６のメモリ１６ａに保存されている撮影画像などの情報の検索や再生を行う操作部である。
【００２６】
トリミング部４２は、撮影画像中の複数の人物のうちの一人について部分画像の生成、すなわちトリミングを行う。このトリミングは、レベル評価部３１から発せられ、制御部２０を介してトリミング部４２に入力される所定の評価信号に応じて行われる。
【００２７】
以上のように構成されたデジタルカメラは、次のように動作する。
先ず、顔表情撮影モード設定部４０をＯＮとし、顔表情設定部３３によって顔表情の種類として例えば笑顔を設定する。
【００２８】
顔検出部２１がスルー画像を顔データ記憶部２２の顔データと比較することにより、スルー画像中の複数人の被写体人物の顔を個別に検出する。なお、このスルー画像は、図２に示すように、２人の被写体人物１０１，１０２が共に笑っている。
【００２９】
レベル評価部３１は、顔検出部２１により検出された被写体人物の顔画像を顔表情データ記憶部３２の笑顔データと比較し、被写体人物の笑顔を検出する。レベル評価部３１は、この笑顔検出により制御部２０へ検出信号を出力する。制御部２０は、その検出信号を入力すると、自動撮影部３４へ信号を出力する。自動撮影部３４は、制御部２０から発せられる信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力し、笑顔が検出された被写体の自動撮影を行い、図２に示したスルー画像に対応する撮影画像が得られる。自動撮影によって得られた撮影画像は、この画像が笑顔検出された画像であることを示す属性情報とともにメモリ１６ａに記録される。
【００３０】
その後に、ユーザーが画像再生部４１を操作して、自動撮影された撮影画像を再生すると、メモリ１６ａからその撮影画像が読み出される。レベル評価部３１は、読み出された撮影画像の被写体人物各々の顔表情を顔表情レベルデータ記憶部３５の笑顔レベルデータと比較し、各々の被写体人物の笑顔レベルを評価し、各人の笑顔レベル値を算出する。
なお、レベル評価部３１は、被写体人物１０１の笑顔を笑顔レベル値８０％と、被写体人物１０２の笑顔を笑顔レベル値４０％と評価したとする。もし、被写体人物のうち笑顔でない人物が存在した場合には、レベル評価部３１は、その人物の顔表情を笑顔レベル値０％と評価する。このように、笑顔レベル評価された撮影画像は、被写体人物毎の笑顔レベル値とともに、再度、メモリ１６ａに記録される。
【００３１】
また、レベル評価部３１は、撮影画像中で最も笑顔レベル値が高い人物を判定し、制御部２０へ判定信号を出力する。この判定信号は、最も笑顔レベル値が高い人物を特定する信号と、その人物の笑顔レベル情報とを含む。制御部２０は、その判定信号を入力すると、トリミング部４２へ信号を出力する。トリミング部４２は、制御部２０から発せられる信号に応じて、最も笑顔レベル値が高い人物の部分画像をトリミングし、このトリミングされた最も笑顔レベル値が高い人物１０１の画像が、図３に示すように、その笑顔レベル値とともに液晶ディスプレイ３７の画面上に表示される。
【００３２】
また、メモリ１６ａに記録された笑顔検出による撮影画像は、画像再生部４１によって再生された場合には、図４に示すように、２人の被写体人物１０１，１０２の画像がそれぞれの笑顔レベル値８０％，４０％とともに液晶ディスプレイ３７の画面上に表示される。
【００３３】
このように、本実施の形態によるデジタルカメラでは、笑顔検出による自動撮影を行ってその撮影画像を再生すると、最も笑顔レベルの高い人物の画像のみがトリミングされて表示される。したがって、笑顔を自動撮影したいとの撮影者の意図を最も反映する画像を得ることができる。また、最も高く評価された人物とその表情を容易に認識することができる。
【００３４】
本実施の形態では、複数の被写体人物を撮影して、最も笑顔レベルの高い人物の画像のみをトリミングして再生表示するので、例えば、以下に述べるような笑顔競技ゲームにも利用することができる。
即ち、複数の被写体人物を競技者とし、撮影者が競技者に「笑って」などのかけ声をかけて、競技者が笑った瞬間でそれを検出して自動撮影する。カメラは、この撮影画像について、笑顔レベル値が最も高い人物の画像をトリミングして再生表示する。この再生表示された人物が笑顔競技ゲームの勝者とする。撮影のタイミングとその笑顔レベルの評価は、カメラが決定するので、客観的な勝者判定を行うことができる。
【００３５】
このようなゲームでは、色々なバリエーションが考えられる。
例えば、笑顔の中でも種々の笑いの表情があり、苦笑い、照れ笑い、愛想笑いといった種別があるので、これらの笑いの種別によって評価レベルを可変として、レベル値を競うゲームも考えられる。また、顔表情としては笑顔だけではなく、泣き顔、怒り顔などを対象としてもよい。
【００３６】
本実施の形態の変形例を次に説明する。
笑顔を検出して自動撮影した場合に、笑顔レベル値が最も高い人物のみをトリミング表示する代わりに、所定の笑顔レベル値以上の人物全員をトリミングして表示することもできる。これにより、笑顔自動撮影時に、微笑み程度以上の笑顔人物全員をトリミング表示することができる。
また、上述の笑顔競技ゲームの場合には、笑顔自動撮影に限らず、撮影者が競技者に「笑って」などのかけ声をかけた時に、手動でシャッター操作釦を押し下げてもよい。
【００３７】
−第２の実施の形態−
図５は、本発明の第２の実施の形態による画像処理装置の構成を示すブロック図である。
第２の実施の形態による画像処理装置は、撮影機能および画像処理機能は有さないので、概ね、第１の実施の形態によるデジタルカメラからこれらの機能を除いた構成となっている。図５においては、図１に示すブロック図と同じ構成部品には同一符号を付し、説明を省略する。
【００３８】
図５に示す画像処理装置においては、外部の撮像装置により撮影された複数枚の撮影画像が画像記録部１０のメモリ１０ａに記録されている。複数枚の撮影画像の各々は、一人の被写体人物を撮影したポートレート画像であり、画像中の人物を特定する個人情報が付加されてメモリ１０ａに記録されている。例えば、被写体人物Ａ氏，Ｂ氏，Ｃ氏を撮影したポートレート画像がメモリ１０ａに記録されている。
【００３９】
画像再生部４１は、外部からの操作により、メモリ１０ａに記録されている画像から被写体人物Ａ氏，Ｂ氏又はＣ氏の画像を再生することを指示する。
画像選択部５０は、画像再生部４１からの指示に基づいて被写体人物Ａ氏，Ｂ氏又はＣ氏の複数の画像をメモリ１０ａから読み出す。
【００４０】
第２の実施の形態による画像処理装置は、次のように動作する。
先ず、顔表情設定部３３によって顔表情の種類として例えば笑顔を設定する。
次に、操作者が画像再生部４１によって再生モードとし、被写体人物Ａ氏を設定すると、画像選択部５０によってＡ氏の複数枚のポートレート画像がメモリ１０ａから読み出される。読み出されたＡ氏の複数枚のポートレート画像は、一時的にバッファメモリに記録しておいてもよい。
【００４１】
レベル評価部３１は、順次、読み出された各ポートレート画像のＡ氏の顔部分について顔表情レベルデータ記憶部３５の笑顔レベルデータと比較し、各ポートレート画像のＡ氏の笑顔レベルを評価し、各ポートレート画像のＡ氏の笑顔レベル値を算出する。レベル評価部３１は、笑顔が検出された場合は、ポートレート画像毎にＡ氏の笑顔レベル値を算出するが、笑顔が検出されなかった場合には笑顔レベル値を０％とする。
【００４２】
続いて、レベル評価部３１は、笑顔が検出されたポートレート画像のうち、笑顔レベル値が最も高いＡ氏の笑顔を判定し、制御部２０へ判定信号を出力する。この判定信号は、最も笑顔レベル値が高いＡ氏のポートレート画像を特定する信号と、笑顔レベル情報とを含む。制御部２０は、その判定信号を入力すると、表示制御部３６へ信号を出力する。表示制御部３６は、制御部２０から発せられる信号に応じて、最も笑顔レベル値が高いＡ氏のポートレート画像を液晶ディスプレイ３７の画面上に表示させる。
【００４３】
また、レベル評価部３１は、ポートレート画像毎にＡ氏の笑顔レベル値を算出するので、笑顔レベル値に対応する信号を制御部２０へ送出することができる。表示制御部３６は、制御部２０を介して笑顔レベル値に対応する信号を入力し、その信号に応じて、笑顔レベル値が高い順にＡ氏のポートレート画像を液晶ディスプレイ３７の画面上に順次表示させる。更に、表示制御部３６は、Ａ氏の各ポートレート画像に笑顔レベル値を付加して液晶ディスプレイ３７の画面上に表示させることもできる。
なお、レベル評価部３１によって算出されたＡ氏の笑顔レベル値は、メモリ１０ａに記録されている撮影画像ファイルの属性情報として記録してもよい。
【００４４】
本実施の形態では、外部の撮像装置により撮影された撮影画像を画像記録部１０のメモリ１０ａに記録し、画像選択部５０によって同一人物の複数枚のポートレート画像を選択し、選択されたポートレート画像の人物の笑顔レベル値を算出する。このような機能を利用して、例えば、次のようなことができる。
即ち、撮影日時が異なる同一人物の２枚の撮影画像について、いずれの画像が素晴らしいのかを笑顔レベル値を比較することにより客観的に評価することができる。特に、現在撮影したばかりの撮影画像を一つ前に撮影した画像と比較することにより、満足できる笑顔画像を撮影するためのヒントを得る可能性もある。
また、撮影装置や撮影場所が異なる場合でも同様に、画像の客観的な評価ができる。
【００４５】
本実施の形態による画像処理装置は、画像選択部５０により、画像に付加されている個人情報を識別して同一人物のポートレート画像を複数枚選択するので、選択作業が容易にできるという作用効果を奏する。
【００４６】
本実施の形態による画像処理装置の変形例は以下の通りである。
画像選択部５０は、画像に付加されている個人情報を識別してポートレート画像を選択するが、撮影画像をメモリ１０ａに記録する際に、同一人物の撮影画像を格納した被写体別フォルダを作成しておくことにより、このフォルダ内の画像を使う場合は、画像を選択する必要がなくなる。
【００４７】
−第３の実施の形態−
図６は、本発明の第３の実施の形態によるデジタルカメラの構成を示すブロック図である。
第３の実施の形態によるデジタルカメラは、第１の実施の形態によるデジタルカメラに類似した構成となっている。図６においては、図１に示すブロック図と同じ構成部品には同一符号を付し、説明を省略する。
【００４８】
本実施の形態によるデジタルカメラは、撮影した画像を用いてゲームを行うことができるゲームモードの機能をもっている。即ち、顔表情の種類について予め定めたルールを設けておき、少なくとも二人の人物を撮影し、撮影した被写体人物の顔表情を判別し、そのルールに基づいて勝敗を決するというゲームができる。
【００４９】
図６を参照すると、ゲームモード設定部４５は、上述したゲームを実行するモードをＯＮ／ＯＦＦ設定する操作部である。ゲームモードをＯＮ設定すると、所定のルールに基づくゲームを開始することができる。
【００５０】
顔表情判別部５１は、第１および第２の実施の形態で説明したレベル評価部３１に類似の構成部品であるが、顔表情のレベル評価は行わず、撮影された被写体人物の顔表情が予め定めたいずれの表情に相当するかを判別する。顔表情判別部５１は、所定の顔表情を判別すると、判別信号を制御部２０に対して出力する。
優劣決定部５２は、じゃんけん遊びのように、笑顔は怒り顔に勝ち、怒り顔は泣き顔に勝ち、泣き顔は笑顔に勝つとのルールが記憶され、顔表情判別部５１によって判別された結果を入力して上述のルールに基づいて二人以上の被写体人物の顔表情について勝敗を決定する。
【００５１】
以上のように構成されたデジタルカメラは、次のように動作する。
撮影者が複数の被写体人物に「じゃんけんぽん」などの掛け声をかけると、複数の被写体人物は、それぞれ笑顔と怒り顔と泣き顔とのいずれかの表情を呈する。撮影者は、上述の掛け声に合わせて、シャッターレリーズして上述の顔表情を撮影する。
【００５２】
以下の説明では、被写体人物ＤとＥの二人がこのゲームの競技者とする。
顔検出部２１は、撮影画像中の被写体人物ＤとＥの顔を、それぞれ顔データ記憶部２２の顔データと比較し、二人の顔を個別に検出する。
【００５３】
顔表情判別部５１は、顔検出部２１により検出された被写体人物Ｄ，Ｅの顔画像を個別に顔表情データ記憶部３２の笑顔、怒り顔、泣き顔の顔表情データと比較し、２名の被写体人物の顔表情をＤが笑顔、Ｅが怒り顔と判別する。顔表情判別部５１は、判別結果を示す判別信号を制御部２０へ出力する。
【００５４】
優劣決定部５２は、顔表情判別部５１からの判別信号に基づき、笑顔の被写体人物Ｄが怒り顔の被写体人物Ｅに勝ったとし、両者の顔表情の優劣を決定し、被写体人物Ｄの勝利信号を出力する。
【００５５】
トリミング部４２は、被写体人物Ｄの勝利信号に基づき、上記の撮影画像から被写体人物Ｄの部分画像をトリミングし、このトリミングされた画像が表示制御部３６を介して液晶ディスプレイ３７の画面上に表示される。なお、被写体人物Ｂのトリミング画像を表示する際に、「あなたの勝ちです！」というメッセージを画像とともに表示してもよい。また、メッセージの文言は、通常の言葉に限ることなく、名言や格言を画像に付加してもよい。例えば、名言として「笑う門には福来たる」、格言として「笑って暮らすも一生、泣いて暮らすも一生」がある。
【００５６】
また、被写体人物Ｂのトリミング画像をメモリ１６ａに保存しておくことにより、画像再生部４１を再生モードとすることによってメモリ１６ａに保存しているトリミング画像を再生することができる。
【００５７】
このように、本実施の形態によるデジタルカメラでは、二人以上の人物の撮影画像を用いてゲームを楽しむことができる。
【００５８】
本実施の形態では、顔表情の種類として、例えば笑顔と怒り顔と泣き顔を設定した場合の動作を説明したが、その他の顔表情を用いてもよい。また、顔表情の優劣はユーザーがカスタマイズしてもよい。
【００５９】
−第４の実施の形態−
図７は、本発明の第４の実施の形態によるデジタルカメラの構成を示すブロック図である。
第４の実施の形態によるデジタルカメラは、第１および第３の実施の形態によるデジタルカメラに類似した構成となっている。図７においては、図１，図６に示すブロック図と同じ構成部品には同一符号を付し、説明を省略する。
【００６０】
本実施の形態によるデジタルカメラも、第３の実施の形態によるデジタルカメラと同様に、撮影した画像を用いてゲームを行うことができるゲームモードの機能をもっている。即ち、２回の撮影を行って得られた２枚の撮影画像について、同一人物の顔表情の変化の度合い（変化量）を計量し、複数の人物それぞれの変化量の大小を比較し、変化の最も大きい人物を決定するというゲームができる。
【００６１】
図７を参照すると、ゲームモード設定部４６は、上述したゲームを実行するモードをＯＮ／ＯＦＦ設定する操作部である。ゲームモードをＯＮ設定すると、後述するゲームを開始することができる。
【００６２】
顔変化検出部６１は、２枚の顔画像において顔表情の変化に伴う特徴点の変化の度合いを計量する。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば顎の下端点、頬の左右端点が挙げられる。これらの特徴点は、顔部品データ記憶部６２に眉や眼などの部分画像として記憶されているので、顔変化検出部６１は、顔画像において、例えば眉の上端点あるいは唇の左右端点と認識できる。したがって、同一人物の２枚の顔画像の間で、眉の上端点の変化量、あるいは唇の左右端点間距離を計量できる。
【００６３】
顔変化決定部６２は、顔変化検出部６１によって計量された顔の各部分の変化量を総合的に評価して、複数の人物それぞれのトータルの変化量の大小を比較し、変化の最も大きい人物を決定する。総合的に評価するとは、顔の各部品により最大変化量は異なるので、この点を考慮して重み付けをして各部品の変化量を合算することである。
【００６４】
以上のように構成されたデジタルカメラは、次のように動作する。
先ず、ゲームモード設定部４６をＯＮとする。被写体人物ＦとＧの二人がこのゲームの競技者とする。
はじめに、被写体人物ＦとＧの通常の顔表情を一人ずつマニュアル撮影する。次に、被写体人物ＦとＧの変な顔表情を一人ずつマニュアル撮影する。この変な顔表情とは、当人の普通の顔表情とは異なる異常な表情である。これらの２枚の撮影画像は、バッファメモリ１４に記録される。
【００６５】
顔検出部２１は、バッファメモリ１４に記録された合計４枚の撮影画像を制御部２０を介して読み出し、被写体人物ＦとＧのそれぞれの撮影画像を顔データ記憶部２２の顔データと比較し、撮影画像中のＦ，Ｇの二人の顔を個別に検出する。
【００６６】
顔変化検出部６１は、顔検出部２１により検出された被写体人物Ｆの２枚の顔画像を比較し、顔部品データ記憶部６２の顔部品データに基づいて特徴点を認識し、被写体人物Ｆの顔部品のトータルの変化量ｆを計量する。同様に、顔変化検出部６１は、被写体人物Ｇの２枚の顔画像を比較し、顔部品データ記憶部６２の顔部品データに基づいて特徴点を認識し、被写体人物Ｇの顔部品のトータルの変化量ｇを計量する。
【００６７】
顔変化決定部６２は、顔変化検出部６１によって計量された被写体人物Ｆの顔部品のトータルの変化量ｆと被写体人物Ｇの顔部品のトータルの変化量ｇとを比較し、ｆ＞ｇであれば被写体人物Ｆの勝ち、ｆ＜ｇであれば被写体人物Ｇの勝ちを決定する。例えば、被写体人物Ｆが勝者であれば、被写体人物Ｆの変な顔の撮影画像が表示制御部３６を介して液晶ディスプレイ３７の画面上に表示される。なお、競技者が３人以上いる場合も同様に、各被写体人物の顔部品のトータルの変化量を比較し、最も変化量が大きい人物を勝者とする。
【００６８】
また、勝者の撮影画像をメモリ１６ａに保存しておくことにより、画像再生部４１を再生モードとすることによってメモリ１６ａに保存しているその画像を再生することができる。
【００６９】
このように、本実施の形態によるデジタルカメラでは、複数の人物の撮影画像を用いてゲームを楽しむことができる。
【００７０】
本実施の形態では、被写体人物ＤとＥの通常の顔表情を一人ずつ撮影し、変な顔表情も一人ずつ撮影したが、被写体人物ＤとＥの集合写真を通常の顔表情で１枚、変な顔表情で１枚撮影してもよい。この場合、通常の顔表情の集合写真画像と変な顔表情の集合写真画像との間で、被写体人物ＤおよびＥのトータルの変化量をそれぞれ計量し、２者のトータルの変化量の大小から勝者を決定する。
【００７１】
−第５の実施の形態−
図８は、本発明の第５の実施の形態によるデジタルカメラシステムの概略構成図である。
第５の実施の形態によるデジタルカメラシステムは、２台のデジタルカメラ（カメラＡ，カメラＢ）を備え、カメラＡとカメラＢとの間は無線通信ネットワークで接続されている。
【００７２】
カメラＡは、記録媒体８１、液晶ディスプレイ８２、無線通信部８３およびレベル評価部８４を具備し、カメラＢは、記録媒体９１、液晶ディスプレイ９２および無線通信部９３を具備している。記録媒体８１，９１は、例えば、カメラで撮影した画像を記録するメモリカードである。液晶ディスプレイ８２，９２は、記録媒体８１，９１に記録された撮影画像の表示を行い、また、テキストや記号などの表示を行う。無線通信部８３，９３は、いわゆるＷｉＦｉなどの無線通信ネットワークにより、画像データやテキストデータを送受信する。
【００７３】
更に、カメラＡのレベル評価部８４は、第１および第２の実施の形態で説明したレベル評価部３１と同様の構成、機能を有し、撮影画像中の人物の所定の顔表情に関する表情度合い、例えば、笑顔に関する笑顔レベルを評価する。
【００７４】
以上のように構成されたデジタルカメラシステムの動作について、図９〜１１も参照しながら説明する。なお、図９〜１１においては、カメラを構成する無線通信部８３，９３およびレベル評価部８４は図示を省略している。
【００７５】
このデジタルカメラシステムでは、通信を用いてカメラ間で人物画像を送り、所定のカメラが画像中の人物の表情度合いの評価を行い、評価レベルにより勝敗を争うゲームを行うことができる。以下、２つの画像の評価結果（例えば、笑顔レベル値）を用いて、笑顔レベル値が高い方が勝ちとするゲームについて説明する。
【００７６】
図８および図９において、カメラＡの記録媒体８１に記録されている画像の中から所定の画像ａが読み出され、カメラＢの記録媒体９１に記録されている画像の中から所定の画像ｂとそのサムネイル画像が読み出される。図９（ａ）は、この状態を模式的に示したものである。
【００７７】
画像ｂとそのサムネイル画像は、カメラＢの無線通信部９３からカメラＡへ送信され、画像ｂは、カメラＢからカメラＡへ送信されると、記録媒体９１から削除される。図９（ｂ）は、この状態を模式的に示したものであり、カメラＡには画像ａと画像ｂが存在し、カメラＢの破線は画像ｂが削除されたことを表す。但し、画像ｂのサムネイル画像はそのまま保存される。
【００７８】
カメラＡのレベル評価部８４は、受信した画像ｂの人物の笑顔に関する笑顔レベルを評価するとともに、記録媒体８１に記録されていた画像ａの人物の笑顔に関する笑顔レベルを評価する。評価結果である画像ａと画像ｂとの笑顔レベル値、および画像ａのサムネイル画像と画像ｂのサムネイル画像とが、カメラＡの液晶ディスプレイ８２に表示されるとともに、無線通信部８３から無線通信部９３へ送られ、カメラＢの液晶ディスプレイ９２にも表示される。
【００７９】
図１０では、画像ａの笑顔レベル値が８０％であり、画像ｂの笑顔レベル値が６０％であるので、画像ａを有するカメラＡの勝ちである。したがって、カメラＡの液晶ディスプレイ８２には、サムネイル画像ａとレベル値８０％、サムネイル画像ｂとレベル値６０％および「Ａの勝ち」とのメッセージ８５が表示される。カメラＡは、上述のように、この評価結果とサムネイル画像ａをカメラＢへ送信するので、カメラＢの液晶ディスプレイ９２にも、サムネイル画像ａとレベル値８０％、サムネイル画像ｂとレベル値６０％および「Ａの勝ち」とのメッセージ９５が表示される。画像ｂは、カメラＡの記録媒体８１に保存され、カメラＢからは失われる。
【００８０】
図１１では、画像ａの笑顔レベル値が６０％であり、画像ｂの笑顔レベル値が８０％であるので、画像ｂを有するカメラＢの勝ちである。この場合、カメラＡの無線通信部８３は、画像ａも画像ｂもそれぞれのレベル値６０％、８０％とともにカメラＢへ送信する。このとき、図１１に破線で示すように画像ａも画像ｂも記録媒体８１から削除される。
その結果、カメラＡの液晶ディスプレイ８２には、サムネイル画像ａとｂ、レベル値８０％とレベル値６０％および「Ｂの勝ち」とのメッセージ８６が表示される。一方、カメラＢの液晶ディスプレイ９２にも同様に、サムネイル画像ａとレベル値６０％、サムネイル画像ｂとレベル値８０％および「Ｂの勝ち」とのメッセージ９６が表示される。もちろん、画像ａも画像ｂもカメラＢの記録媒体９１に保存される。
【００８１】
このように、本実施の形態によるデジタルカメラシステムでは、通信を用いて画像を送り、画像の評価を行い、評価レベルにより勝敗を争うゲームを楽しむことができる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
【図面の簡単な説明】
【００８２】
【図１】第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】実施の形態によるデジタルカメラの液晶ディスプレイに表示されたスルー画像を模式的に示す図である。
【図３】実施の形態によるデジタルカメラの液晶ディスプレイに表示されたトリミング画像を模式的に示す図である。
【図４】実施の形態によるデジタルカメラの液晶ディスプレイに表示された撮影画像を模式的に示す図である。
【図５】第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図６】第３の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図７】第４の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図８】第５の実施の形態に係るデジタルカメラシステムの構成を示す概略図である。
【図９】実施の形態に係るデジタルカメラシステムの動作開始時の状態を示す模式図である。
【図１０】実施の形態に係るデジタルカメラシステムの動作終了時の状態を示す模式図である。
【図１１】実施の形態に係るデジタルカメラシステムの動作終了時の別の状態を示す模式図である。
【符号の説明】
【００８３】
１０，１６：画像記録部            ２０：制御部
３１，８４：レベル評価部          ３２：顔表情データ記憶部
３３：顔表情設定部                ３４：自動撮影部
３５：顔表情レベルデータ記憶部    ３６：表示制御部
３７：液晶ディスプレイ            ４０：顔表情撮影モード設定部
４１：画像再生部                  ４２：トリミング部
４５，４６：ゲームモード設定部    ５０：画像選択部
５１：顔表情判別部                ５２：優劣決定部
６１：顔変化検出部                ６２：顔部品データ記憶部
７１：顔変化決定部                ８１，９１：記録媒体
８２，９２：液晶ディスプレイ      ８３，９３：無線通信部
【図１】
2010068190.tif 000003
【図２】
2010068190.tif 000004
【図３】
2010068190.tif 000005
【図４】
2010068190.tif 000006
【図５】
2010068190.tif 000007
【図６】
2010068190.tif 000008
【図７】
2010068190.tif 000009
【図８】
2010068190.tif 000010
【図９】
2010068190.tif 000011
【図１０】
2010068190.tif 000012
【図１１】
2010068190.tif 000013