(57)【要約】【課題】より容易に所望する画像を撮像する撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体を提供する。【解決手段】画像を撮像する撮像手段を備える撮像装置であって、個人の顔認識に必要な顔画像データと個人毎の特定表情度の閾値とを格納するパーソナルデータ記憶手段と、撮像によって得られた画像データから顔画像データを検出する顔検出手段と、検出した顔画像データとパーソナルデータ記憶手段に格納されている顔画像データとを比較して一致するかどうか判断し、前記撮像によって得られた画像データから特定の表情度を算出し、一致する顔画像データがあった場合は一致した顔画像データ個人の特定表情度閾値をパーソナルデータ記憶手段から参照し、算出した特定の表情度が個人の特定表情度閾値を越えている場合は特定の表情であると判断し、特定の表情であると判断された場合は撮像によって得られた画像データを記憶することを特徴とする。【選択図】図１
2010041309.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段を備える撮像装置であって、
個人の顔認識に必要な顔画像データと、個人毎の特定表情度の閾値と、を格納するパーソナルデータ記憶手段と、
撮像によって得られた画像データから、顔画像データを検出する顔検出手段と、
前記検出した顔画像データと、前記パーソナルデータ記憶手段により格納されている顔画像データとを比較して一致するかどうか判断する顔認識手段と、
前記撮像によって得られた画像データから特定の表情度を算出し、前記顔認識手段により一致する顔画像データがあった場合は、前記一致した顔画像データ個人の特定表情度閾値を前記パーソナルデータ記憶手段から参照し、前記算出した特定の表情度が、前記個人の特定表情度閾値を越えている場合は、特定の表情であると判断する特定表情認識手段と、
前記特定の表情であると判断された場合に、前記撮像によって得られた画像データを記憶する記憶手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記特定表情度は、笑顔度であることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記顔認識手段により顔画像データが一致すると判断した場合に、その旨を報知する手段と、
前記報知に対して許可するか否かを入力する入力手段と、を備え、
前記特定表情認識手段は、前記報知に対して許可された場合に、前記一致する顔画像データ個人の閾値を参照して、特定の表情であるか否か判断することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記特定表情認識手段は、前記顔認識手段によって前記撮像によって得られた画像データから検出した顔画像データと一致する顔画像データが前記パーソナル記憶手段に格納されていないと判断された場合は、予め定めた特定表情閾値を参照することを特徴とする請求項１から３のいずれか１項記載の撮像装置。
【請求項５】
前記撮像によって得られた画像データから検出した顔画像データが、前記一致した顔画像データ個人の閾値、若しくは前記予め定めた特定表情閾値に応じた通知を行う通知手段を備えることを特徴とする請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
請求項１から５のいずれか１項記載の撮像装置を備えることを特徴とする携帯電話端末。
【請求項７】
個人の顔認識に必要な顔画像データと、個人毎の特定表情度の閾値と、をパーソナルデータ記憶手段に格納するステップと、
撮像によって得られた画像データから、顔画像データを検出するステップと、
前記検出した顔画像データと、前記パーソナルデータ記憶手段により格納されている顔画像データとを比較して一致するかどうか判断するステップと、
前記撮像によって得られた画像データから特定の表情度を算出し、前記一致するかどうか判断するステップにより一致する顔画像データがあった場合は、前記一致した顔画像データ個人の特定表情度閾値を前記パーソナルデータ記憶手段から参照し、前記算出した特定の表情度が、前記個人の特定表情度閾値を越えている場合は、特定の表情であると判断するステップと、
前記特定の表情であると判断された場合に、前記撮像によって得られた画像データを記憶するステップと、を備えることを特徴とする撮像方法。
【請求項８】
個人の顔認識に必要な顔画像データと、個人毎の特定表情度の閾値と、をパーソナルデータ記憶手段に格納する処理と、
撮像によって得られた画像データから、顔画像データを検出する処理と、
前記検出した顔画像データと、前記パーソナルデータ記憶手段により格納されている顔画像データとを比較して一致するかどうか判断する処理と、
前記撮像によって得られた画像データから特定の表情度を算出し、前記一致するかどうか判断するステップにより一致する顔画像データがあった場合は、前記一致した顔画像データ個人の特定表情度閾値を前記パーソナルデータ記憶手段から参照し、前記算出した特定の表情度が、前記個人の特定表情度閾値を越えている場合は、特定の表情であると判断する処理と、
前記特定の表情であると判断された場合に、前記撮像によって得られた画像データを記憶する処理と、をコンピュータに実行させることを特徴とする撮像プログラム。
【請求項９】
請求項８記載の撮像プログラムの処理を記録するコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体に関し、特により容易に所望する画像を撮像することが出来る撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において、シャッタボタンを押下するタイミングが適切でなく、満足のいかない写真が撮像されることがあった。そこで近年では画像から人間の顔を検出し、顔画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域が顔であるか否かを示す推定値を算出し、その１以上の推定値から領域内の画像が顔であるか否かを最終的に判別するようにした顔検出技術があった。また、さらに被撮影者あるいは撮影者にとってより満足度の高い画像を撮像することを目的として、撮像によって得られた画像を記録媒体に記録する前に、画像から人物の顔を検出し、その表情を評価し、特定の表情にどれだけ近いかの度合いを算出し、算出結果に応じた報知情報を被撮影者に対して報知する撮像装置が提案されている（特許文献１参照）。
【特許文献１】特開２００８−４２３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記技術では、特定の表情、例えば笑顔を認識することがシャッター条件等である場合、その笑顔度とは平常時と笑ったときの顔の表情変化量と言えるが、多くの被撮影者に適用できるように平均的な表情変化に対応しているため、特徴的な笑顔をする人物が被撮影者になった場合には、笑顔撮影のシャッター条件である笑顔度の閾値を変更する必要があった。このシャッター条件となる笑顔度の閾値は数段階で選択可能となっている場合もあるが、その場合も撮影者が被撮影者に応じてマニュアルで設定を変更する必要があった。このように、従来は操作性の点での課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、個人毎の特定表情度の閾値を参照することで、より容易に所望する画像を撮像することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、画像を撮像する撮像手段を備える撮像装置であって、個人の顔認識に必要な顔画像データと、個人毎の特定表情度の閾値と、を格納するパーソナルデータ記憶手段と、撮像によって得られた画像データから、顔画像データを検出する顔検出手段と、前記検出した顔画像データと、前記パーソナルデータ記憶手段により格納されている顔画像データとを比較して一致するかどうか判断する顔認識手段と、前記撮像によって得られた画像データから特定の表情度を算出し、前記顔認識手段により一致する顔画像データがあった場合は、前記一致した顔画像データ個人の特定表情度閾値を前記パーソナルデータ記憶手段から参照し、前記算出した特定の表情度が、前記個人の特定表情度閾値を越えている場合は、特定の表情であると判断する特定表情認識手段と、前記特定の表情であると判断された場合に、前記撮像によって得られた画像データを記憶する記憶手段と、を備えることを特徴とする。
【０００６】
本発明に係る携帯電話端末は、上記本発明に係る撮像装置を備えることを特徴とする。
【０００７】
本発明に係る撮像方法は、個人の顔認識に必要な顔画像データと、個人毎の特定表情度の閾値と、をパーソナルデータ記憶手段に格納するステップと、撮像によって得られた画像データから、顔画像データを検出するステップと、前記検出した顔画像データと、前記パーソナルデータ記憶手段により格納されている顔画像データとを比較して一致するかどうか判断するステップと、前記撮像によって得られた画像データから特定の表情度を算出し、前記一致するかどうか判断するステップにより一致する顔画像データがあった場合は、前記一致した顔画像データ個人の特定表情度閾値を前記パーソナルデータ記憶手段から参照し、前記算出した特定の表情度が、前記個人の特定表情度閾値を越えている場合は、特定の表情であると判断するステップと、前記特定の表情であると判断された場合に、前記撮像によって得られた画像データを記憶するステップと、を備えることを特徴とする。
【０００８】
本発明に係る撮像プログラムは、個人の顔認識に必要な顔画像データと、個人毎の特定表情度の閾値と、をパーソナルデータ記憶手段に格納する処理と、撮像によって得られた画像データから、顔画像データを検出する処理と、前記検出した顔画像データと、前記パーソナルデータ記憶手段により格納されている顔画像データとを比較して一致するかどうか判断する処理と、前記撮像によって得られた画像データから特定の表情度を算出し、前記一致するかどうか判断するステップにより一致する顔画像データがあった場合は、前記一致した顔画像データ個人の特定表情度閾値を前記パーソナルデータ記憶手段から参照し、前記算出した特定の表情度が、前記個人の特定表情度閾値を越えている場合は、特定の表情であると判断する処理と、前記特定の表情であると判断された場合に、前記撮像によって得られた画像データを記憶する処理と、をコンピュータに実行させることを特徴とする。
【０００９】
本発明に係る記録媒体は、上記本発明の撮像プログラムの処理を記録するコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００１０】
本発明によれば、個人毎の特定表情度の閾値を参照することで、より容易に所望する画像を撮像することが出来る。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明の実施形態について図面を用いて詳細に説明する。なお、以下に述べる実施形態は、本発明の好適な実施形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００１２】
本発明の実施形態に係る撮像装置１１の構成について図１を参照して説明する。図１は、本実施形態に係る撮像装置１１のブロック構成図である。撮像装置１１は、ＣＰＵ（Central Processing Unit）１２、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、パーソナルデータ記憶部１６、撮像部１７、顔検出部１８、顔認識部１９、特定表情認識部２０、記憶部２１、がバス１３を介して接続されている構成から成る。
【００１３】
ＲＯＭ１４は、ＣＰＵ１２が実行するための各種の制御用プログラムや装置内で使用する固定的なデータを格納したRead Only Memoryである。ＲＡＭ１５は、ＣＰＵ１２がプログラムを実行する上で一時的に必要とされるデータを格納するRandom Access Memoryである。
【００１４】
パーソナルデータ記憶部１６は、不揮発性のメモリであり、個人の顔認識に必要な顔画像データ及び前記顔画像データに対応する個人毎の閾値（以下、パーソナルデータとも称す）を、格納する。閾値とは、後述する特定表情であるか否か判断する際に基準となる値である。なお、特に図示しないが、パーソナルデータ記憶部１６に格納していない人物の顔画像が含まれていた場合にも対応するために、多くの被撮影者に適用できる平均的な特定表情を判断する閾値も予め記憶することも可能である。
【００１５】
閾値の一例としては、笑顔度閾値が考え得る。図２は、本実施形態にかかる笑顔度閾値の登録の一例を示す図である。図２に示すように、個人を識別する情報である氏名、個人毎の笑顔度閾値、顔認識用の顔画像データを登録する。笑顔度閾値は、低（微笑）・中・高（大笑い）で設定することが可能である。笑顔度閾値はシャッター判断基準となり、撮像した画像データを記憶部２１に記憶する。
【００１６】
撮像部１７は、レンズ、撮像素子、ＡＦＥ（アナログフロントエンド）回路等を内蔵し、撮像処理を行う。撮像部１７で被写体（被撮影者）を撮像し続けて、前記被写体の動画像を取得し、図示しない表示部に表示することも可能である。この場合、一定時間間隔毎に、前記被写体の動画像に対して後述する特定表情認識処理を行うことも可能である。これにより特定表情であると判断された場合には、シャッターを切る動作と共に、撮像された被写体の画像データを記憶部２１に記憶することも可能である。
【００１７】
顔検出部１８は、撮像部１７から入力された画像データに顔が含まれているか判断し、顔画像データを検出する処理を行う。
【００１８】
顔認識部１９は、顔検出部１８で検出された顔画像データと、パーソナルデータ部１６に格納されている顔画像データとを比較して、一致するか（同一人物か）を判断する処理を行う。
【００１９】
特定表情認識部２０は、顔検出部１８で検出された顔画像データの表情を判断し、上述した閾値を越える特定表情であるかを判断する処理を行う。特定表情とは、例えば笑顔を適用することも考え得る。特定表情であると判断された場合は、画像データを記憶部２１に記憶する。撮像部１７が被写体（被撮影者）を撮像し続けている場合は、撮像により得られた画像データに含まれる顔画像データが特定表情であると判断された場合に、シャッターを切る判断をし、撮像動作（フラッシュ、焦点の調整等）命令を行い、撮像された画像データを記憶部２１に記憶する。
【００２０】
次に本実施形態の動作処理について説明する。図３は、本実施形態に係る撮像装置の動作処理を示すフローチャートである。特定表情を笑顔とし、笑顔撮影モードで撮像する場合を一例として説明する。笑顔撮影モードとは、撮像画像に人物の顔画像が含まれていた場合に、その顔画像から算出された特定の表情度（本実施形態では笑顔度）が、閾値を超えていた場合に記憶部２１に画像を記憶する。ここで、上述したように、パーソナルデータ記憶部１６に格納していない人物の顔画像が含まれていた場合にも対応するために、多くの被撮影者に適用できるよう予め記憶した平均的な特定表情を判断する閾値を、初期設定としても良い。
【００２１】
まず、撮影者は、撮像装置１１のパーソナルデータ部１６に被撮影者となる人物の顔画像データと笑顔撮影時のシャッター条件となる笑顔度閾値を登録する（図３、ステップＳ１）。顔画像データは、撮像装置１１に備わる撮像部１７を使用して撮影した画像データを登録しても良いし、図示しないネットワーク接続部からネットワークに接続して外部装置から登録しても良い。笑顔度閾値は、例えば図２に示すような「低、中、高」の３段階で設定可能としても良い。撮像部１７を使用して登録する場合は、被撮影者を数回撮影して適切な段階値を登録することも可能である。
【００２２】
次に撮像を開始し（ステップＳ２）、撮像部１７から画像データを得る（ステップＳ３）。撮像部１７から得られた画像データは、顔検出部１８に入力される（ステップＳ４）。顔検出部１８は、入力画像データ内に顔があるかを判断し、顔画像データを検出する（ステップＳ５）。
【００２３】
顔を検出した場合は、検出した顔画像データを顔認識部１９に入力する（ステップＳ６）。なお、入力画像データと、入力画像データ内での検出した顔画像部分の位置やサイズ情報とを、顔認識部１９に入力しても良い。すなわち、顔認識部１９において顔画像の比較が出来るデータを入力出来れば良い。
【００２４】
顔認識部１９では、検出された顔画像データとパーソナルデータ部１６に予め登録された個人の顔画像とを比較し、パーソナルデータ部に登録された顔画像データと一致するか否かによって、登録された人物か判断する（ステップＳ７）。
【００２５】
パーソナルデータ部１６に登録された人物の顔と一致した場合は（ステップＳ７／Ｙｅｓ）、笑顔度閾値を、パーソナルデータ部１６に登録されたその人物の笑顔度閾値に一時的に変更する（ステップＳ８）。
【００２６】
一方、パーソナルデータ部１６に登録された人物でなかった場合は（ステップＳ７／Ｎｏ）、現在設定されている笑顔度閾値のまま、ステップＳ９へ進む。
【００２７】
特定表情認識部２０は、検出した顔画像データの笑顔度判断を行う。検出した顔画像データから笑顔度を算出し、算出した笑顔度が笑顔度閾値を超えたか否か判断する（ステップＳ９）。
【００２８】
閾値を超えている場合（ステップＳ９／Ｙｅｓ）、撮像部１７にシャッターを切る命令を行い、画像データを記憶部２１に記憶する（ステップＳ１０）。一方、閾値を超えていない場合は（ステップＳ９／Ｎｏ）、再度画像データ内の顔画像データを検出する（ステップＳ５）。撮像部１７から常に画像を入力し続けている場合は、最新の画像データについて検出することとなる。
【００２９】
上記実施形態により、被撮影者が予め顔画像の登録された人物だった場合に、シャッター条件である笑顔度閾値を、予め登録された個人毎の閾値として、笑顔度の判断を行うことで、容易に笑顔撮影が可能となる。
【００３０】
本発明の他の実施形態としては、顔認識部１９で行っていた処理（図３  ステップＳ７）において、顔画像データがパーソナルデータ部に予め登録した顔画像データと一致すると判断した場合に、その旨を報知することが考え得る。報知の方法は様々考え得るが、例えば表示部に表示し、撮影者が容易に確認できるようにすることも可能である。図４は、本実施形態に係る撮像装置の表示部２２に顔一致の報知を行うことを説明するための図である。報知に対し、撮影者が許可する旨を入力
入力の方法も様々考え得るが、例えば図４において操作部２３から所定のボタンを押下することで許可の旨を入力することとしても良い。報知に対する許可がされた場合は、特定表情認識部２０は、前記一致する顔画像データ個人の閾値を参照して、特定の表情であるか否か判断する。
【００３１】
また、他の実施形態としては、被撮影者がパーソナルデータ部１６に登録済みの人物と一致した場合は、登録された笑顔度閾値に応じた通知を被撮影者に行い、被撮影者へ笑顔状態の程度を促すことができる。例えば、被撮影者が笑顔度の閾値が高めでないと笑顔判断されない人物だった場合、被撮影者側に向いた表示機能を利用して、「思いっきり笑ってください」などのような通知を行うことが可能である。その他、通知方法は音声でも点灯でも良い。
【００３２】
また、他の実施形態としては、上述した撮像装置を携帯電話端末が備えることも考え得る。
【００３３】
なお、図３のフローチャートに示す処理や、上述した実施形態の動作について、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。
【００３４】
以上、本発明を好適な実施形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に係る撮像装置のブロック構成図である。
【図２】本発明の実施形態に係るパーソナルデータ部の登録内容の一例を示す図である。
【図３】本発明の実施形態に係る撮像装置の動作処理を示すフローチャートである。
【図４】本発明の実施形態に係る撮像装置の表示部２２に顔一致の報知を行うことを説明するための図である。
【符号の説明】
【００３６】
１１    撮像装置
１２    ＣＰＵ
１３    バス
１４    ＲＯＭ
１５    ＲＡＭ
１６    パーソナルデータ記憶部
１７    撮像部
１８    顔検出部
１９    顔認識部
２０    特定表情認識部
２１    記憶部
２２    表示部
２３    操作部
【図１】
2010041309.tif 000003
【図２】
2010041309.tif 000004
【図３】
2010041309.tif 000005
【図４】
2010041309.tif 000006