(57)【要約】【課題】人それぞれの顔の作りや笑顔の程度が異なっても、笑顔の判定精度を向上させることができる笑顔判定装置を提供する。【解決手段】顔検出器１１と顔検出プログラム１８１は画像内の顔を検出する。顔器官検出器１５と顔器官検出プログラム８４は顔器官情報を検出する。笑顔度検出プログラム１８２は顔器官情報に基づいて笑顔度を検出する。登録部１８６は、笑顔を指示していない状態での通常顔画像情報と、笑顔を指示していない状態での笑顔非指示時笑顔度と、笑顔を指示した状態での笑顔指示時笑顔度とを登録する。顔認証器１６と顔認証プログラム１８５によって顔が認証されたら、笑顔判定プログラム１８３は、現在の笑顔度と笑顔非指示時笑顔度と笑顔指示時笑顔度とを用いて笑顔であるか否かを判定する。【選択図】図１
2013058828.tif 000002
【特許請求の範囲】
【請求項１】
画像内の顔を検出する顔検出部と、
画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出部と、
前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出部と、
被写体に対して笑顔を指示していない状態での通常顔画像情報と、被写体に対して笑顔を指示していない状態で前記笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で前記笑顔度検出部が検出した笑顔指示時笑顔度とを登録する登録部と、
前記通常顔画像情報を用いて、前記顔検出部で検出された顔が前記登録部に登録された顔であるか否かを判定して顔を認証する顔認証部と、
前記顔認証部によって、前記顔検出部で検出された顔が登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔が笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出部で検出された顔が笑顔であるか否かを判定する笑顔判定部と、
を備えることを特徴とする笑顔判定装置。
【請求項２】
前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項１記載の笑顔判定装置。
【請求項３】
前記登録部は、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項１記載の笑顔判定装置。
【請求項４】
前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した第１の笑顔度と、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した第２の笑顔度とを所定の割合で加算した第３の笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項１記載の笑顔判定装置。
【請求項５】
前記登録部は、
顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、
前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録する
ことを特徴とする請求項１または２に記載の笑顔判定装置。
【請求項６】
前記登録部は、
顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、
前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第１の笑顔度とする
ことを特徴とする請求項４記載の笑顔判定装置。
【請求項７】
前記笑顔判定部は、
前記笑顔指示時笑顔度が前記前記第１の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第２の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、
前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出部で検出された顔が笑顔であるか否かを判定する
ことを特徴とする請求項４または６に記載の笑顔判定装置。
【請求項８】
前記笑顔判定部は、
前記笑顔指示時笑顔度が前記前記第１の笑顔度以上であり、前記笑顔指示時笑顔度が前記第２の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、
前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第３の笑顔度よりも第１の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することを特徴とする請求項４，６,７のいずれか１項に記載の笑顔判定装置。
【請求項９】
前記笑顔判定部は、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第３の笑顔度よりも前記第１の所定の値より大きい第２の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することを特徴とする請求項８記載の笑顔判定装置。
【請求項１０】
画像内の顔を検出する顔検出ステップと、
画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出ステップと、
前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出ステップと、
被写体に対して笑顔を指示していない状態での通常顔画像情報を登録する第１の登録ステップと、
被写体に対して笑顔を指示していない状態で前記笑顔度検出ステップにて検出した笑顔非指示時笑顔度を登録する第２の登録ステップと、
被写体に対して笑顔を指示した状態で前記笑顔度検出ステップが検出した笑顔指示時笑顔度とを登録する第３の登録ステップと、
前記通常顔画像情報を用いて、前記顔検出ステップで検出された顔が前記第１の登録ステップにて登録された顔であるか否かを判定して顔を認証する顔認証ステップと、
前記顔認証ステップにて、前記顔検出ステップにて検出された顔が登録された顔であると認証された場合に、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定しようとする時点で前記笑顔度検出ステップにて検出された現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定する笑顔判定ステップと、
を含むことを特徴とする笑顔判定方法。
【請求項１１】
前記第２の登録ステップは、前記笑顔度検出ステップにて前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項１０記載の笑顔判定方法。
【請求項１２】
前記第２の登録ステップは、前記顔検出ステップにて検出された顔が前記第１の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出部にて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項１０記載の笑顔判定方法。
【請求項１３】
前記第２の登録ステップは、前記笑顔度検出部ステップにて前記通常顔画像情報に基づいて検出した第１の笑顔度と、前記顔検出ステップにて検出された顔が前記第１の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出ステップにて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した第２の笑顔度とを所定の割合で加算した第３の笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項１０記載の笑顔判定方法。
【請求項１４】
前記第１の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、
前記第２の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録する
ことを特徴とする請求項１０または１１に記載の笑顔判定方法。
【請求項１５】
前記第１の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、
前記第２の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第１の笑顔度とする
ことを特徴とする請求項１３記載の笑顔判定方法。
【請求項１６】
前記笑顔判定ステップは、
前記笑顔指示時笑顔度が前記前記第１の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第２の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、
前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定する
ことを特徴とする請求項１３または１５に記載の笑顔判定方法。
【請求項１７】
前記笑顔判定ステップは、
前記笑顔指示時笑顔度が前記前記第１の笑顔度以上であり、前記笑顔指示時笑顔度が前記第２の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、
前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第３の笑顔度よりも第１の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することを特徴とする請求項１３，１５,１６のいずれか１項に記載の笑顔判定方法。
【請求項１８】
前記笑顔判定ステップは、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第３の笑顔度よりも前記第１の所定の値より大きい第２の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することを特徴とする請求項１７記載の笑顔判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれている顔画像の顔が笑顔であるか否かを判定する笑顔判定装置及び方法に関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラ等の撮像装置において、被写体の顔が笑顔であるか否かを判定し、笑顔でない通常の顔から笑顔になった時点で被写体を撮像するという技術が実用化されている。笑顔は、顔器官情報の内、目と口の情報に基づいて判定するのが一般的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１７７６７８号公報
【特許文献２】特開２０１０−１８６３７３号公報
【特許文献３】特開２００８−４２３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、人によって顔の作りが異なり、笑顔の程度（笑い方）も異なる。また、顔の向きは必ずしも正面を向いているとは限らず、顔の向きは一定ではない。従って、笑顔となっているにもかかわらず笑顔であると判定されない場合が多々発生する。そこで、笑顔の判定精度を向上させることが求められている。
【０００５】
本発明はこのような要望に対応するため、人それぞれの顔の作りや笑顔の程度が異なっても、笑顔の判定精度を向上させることができる笑顔判定装置及び方法を提供することを目的とする。また、顔の向きが異なっても、笑顔の判定精度を向上させることができる笑顔判定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述した従来の技術の課題を解決するため、画像内の顔を検出する顔検出部（１１，１８１）と、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出部（１５，１８４）と、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出部（１８２）と、被写体に対して笑顔を指示していない状態での通常顔画像情報と、被写体に対して笑顔を指示していない状態で前記笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で前記笑顔度検出部が検出した笑顔指示時笑顔度とを登録する登録部（１８６）と、前記通常顔画像情報を用いて、前記顔検出部で検出された顔が前記登録部に登録された顔であるか否かを判定して顔を認証する顔認証部（１６，１８５）と、前記顔認証部によって、前記顔検出部で検出された顔が登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔が笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出部で検出された顔が笑顔であるか否かを判定する笑顔判定部（１８３）とを備えることを特徴とする笑顔判定装置を提供する。
【０００７】
上記の笑顔判定装置において、前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することができる。
【０００８】
上記の笑顔判定装置において、前記登録部は、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することができる。
【０００９】
上記の笑顔判定装置において、前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した第１の笑顔度と、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した第２の笑顔度とを所定の割合で加算した第３の笑顔度を前記笑顔非指示時笑顔度として登録することが好ましい。
【００１０】
上記の笑顔判定装置において、前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することができる。
【００１１】
上記の笑顔判定装置において、前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第１の笑顔度とすることが好ましい。
【００１２】
上記の笑顔判定装置において、前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第１の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第２の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出部で検出された顔が笑顔であるか否かを判定することが好ましい。
【００１３】
上記の笑顔判定装置において、前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第１の笑顔度以上であり、前記笑顔指示時笑顔度が前記第２の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第３の笑顔度よりも第１の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することが好ましい。
【００１４】
上記の笑顔判定装置において、前記笑顔判定部は、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第３の笑顔度よりも前記第１の所定の値より大きい第２の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することが好ましい。
【００１５】
また、本発明は、上述した従来の技術の課題を解決するため、画像内の顔を検出する顔検出ステップ（Ｓ１０１）と、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出ステップ（Ｓ１０２）と、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出ステップ（Ｓ１０４）と、被写体に対して笑顔を指示していない状態での通常顔画像情報を登録する第１の登録ステップ（Ｓ２０４）と、被写体に対して笑顔を指示していない状態で前記笑顔度検出ステップにて検出した笑顔非指示時笑顔度を登録する第２の登録ステップ（Ｓ２０５，Ｓ２１０）と、被写体に対して笑顔を指示した状態で前記笑顔度検出ステップが検出した笑顔指示時笑顔度とを登録する第３の登録ステップ（Ｓ２１６）と、前記通常顔画像情報を用いて、前記顔検出ステップで検出された顔が前記第１の登録ステップにて登録された顔であるか否かを判定して顔を認証する顔認証ステップ（Ｓ３０１）と、前記顔認証ステップにて、前記顔検出ステップにて検出された顔が登録された顔であると認証された場合に、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定しようとする時点で前記笑顔度検出ステップにて検出された現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定する笑顔判定ステップ（Ｓ４０１〜Ｓ４１０）とを含むことを特徴とする笑顔判定方法を提供する。
【００１６】
上記の笑顔判定方法において、前記第２の登録ステップは、前記笑顔度検出ステップにて前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することができる。
【００１７】
上記の笑顔判定方法において、前記第２の登録ステップは、前記顔検出ステップにて検出された顔が前記第１の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出部にて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することができる。
【００１８】
上記の笑顔判定方法において、前記第２の登録ステップは、前記笑顔度検出部ステップにて前記通常顔画像情報に基づいて検出した第１の笑顔度と、前記顔検出ステップにて検出された顔が前記第１の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出ステップにて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した第２の笑顔度とを所定の割合で加算した第３の笑顔度を前記笑顔非指示時笑顔度として登録することが好ましい。
【００１９】
上記の笑顔判定方法において、前記第１の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第２の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することができる。
【００２０】
上記の笑顔判定方法において、前記第１の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第２の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第１の笑顔度とすることが好ましい。
【００２１】
上記の笑顔判定方法において、前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第１の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第２の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定することが好ましい。
【００２２】
上記の笑顔判定方法において、前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第１の笑顔度以上であり、前記笑顔指示時笑顔度が前記第２の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第３の笑顔度よりも第１の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することが好ましい。
【００２３】
上記の笑顔判定方法において、前記笑顔判定ステップは、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第３の笑顔度よりも前記第１の所定の値より大きい第２の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することが好ましい。
【発明の効果】
【００２４】
本発明の笑顔判定装置及び方法によれば、人それぞれの顔の作りや笑顔の程度が異なっても、精度よく笑顔であるか否かを判定することが可能となる。また、顔の向きが異なっても、精度よく笑顔であるか否かを判定することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の笑顔判定装置の一実施形態を示すブロック図である。
【図２】笑顔度を検出する際の処理を示すフローチャートである。
【図３】顔画像を登録する際の処理を示すフローチャートである。
【図４】図３の処理で登録される顔画像の例を概念的に示す図である。
【図５】撮影時の笑顔度を検出する際の処理を示すフローチャートである。
【図６】笑顔であるか否かを判定する際の処理を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の笑顔判定装置及び方法の一実施形態について、添付図面を参照して説明する。図１は、一実施形態の笑顔判定装置を備える映像処理装置（撮影装置）１００を示している。
【００２７】
＜映像処理装置１００の全体構成＞
図１において、被写体を撮像して生成した映像データを記録する記録モードでは、撮像部２は、撮像レンズ１で集光した光を光電変換して電気信号として出力する。撮像部２は例えばＣＭＯＳセンサまたはＣＣＤセンサである。撮像部２より出力された電気信号はカメラコントローラ３でデジタル信号に変換されて、映像データとしてメモリセレクタ６へと出力される。
【００２８】
記録された映像データを再生する再生モードでは、映像メモリ４から読み出された映像データはメモリコントローラ５を介してメモリセレクタ６へと出力される。メモリセレクタ６は、記録モードではカメラコントローラ３から供給された映像データを選択し、再生モードではメモリコントローラ５から供給された映像データを選択してリサイズコントローラ７へと出力する。リサイズコントローラ７は、入力された映像データに対してゲイン，オフセット等を調整し、ユーザ操作に従って電子ズーム，デジタルエフェクト等の処理を施して、これらの信号処理を施した映像データをＶＧＡセレクタ８へと出力する。
【００２９】
ＶＧＡセレクタ８は、映像データをＱＶＧＡコントローラ９及びＶＧＡコントローラ１３に供給する。ＶＧＡセレクタ８より出力される映像データは、一例として水平方向の画素数が６４０、垂直方向の画素数が４８０のいわゆるＶＧＡの大きさである。ＱＶＧＡコントローラ９は、ワークメモリであるメモリ１０を用いて、入力された映像データをＱＶＧＡの大きさに変換して、顔検出用の映像データを生成する。ＱＶＧＡの大きさは、水平方向の画素数が３２０、垂直方向の画素数が２４０である。本実施形態では顔検出用の映像データをＱＶＧＡの大きさとしているが、これに限定されるものではなく、ＶＧＡの大きさのままでもよいし、他の大きさに変換してもよい。
【００３０】
顔検出器１１は、制御部１８に格納されている顔検出プログラム１８１に従って、ＱＶＧＡコントローラ９から出力された顔検出用の映像データによる画像内の顔を検出する。検出された顔の画像情報はワークメモリであるメモリ１２に格納される。顔検出器１１は、顔検出プログラム１８１に従って顔を検出する主としてハードウェアにて構成される部分である。顔検出器１１と顔検出プログラム１８１とで顔検出部を構成する。メモリ１２に格納された顔の画像情報は制御部１８に供給される。
【００３１】
ＶＧＡコントローラ１３は、入力された映像データを顔器官検出及び顔認証用の映像データとしてワークメモリであるメモリ１４に保持する。顔器官検出器１５は、制御部１８に格納されている顔器官検出プログラム１８４に従って、顔の画像情報を参照しながら、顔の器官を検出する。検出された顔器官情報は、顔に対する目や口の位置や、目や口の特徴情報を含む。顔器官情報はワークメモリであるメモリ１７に格納される。顔の器官は少なくとも目と口である。顔器官検出器１５は、顔器官検出プログラム１８４に従って顔の器官を検出する主としてハードウェアにて構成される部分である。顔器官検出器１５と顔器官検出プログラム１８４とで顔器官検出部を構成する。メモリ１７に格納された顔器官情報は制御部１８に供給される。
【００３２】
顔認証器１６は、制御部１８に格納されている顔認証プログラム１８５に従って、顔検出器１１が検出した顔を認証する。具体的には、顔認証器１６は、顔検出器１１が検出した顔が、制御部１８内の登録部１８６に予め登録されている顔の画像と同一人物であるかを判定する。顔認証器１６は、複数の顔の画像が登録されている場合には、どの顔の画像と同一人物であるかを判定する。認証結果は、メモリ１７に格納される。顔認証器１６は、顔認証プログラム１８５に従って顔の画像を認証する主としてハードウェアにて構成される部分である。顔認証器１６と顔認証プログラム１８５とで顔認証部を構成する。
【００３３】
制御部１８は、詳細には、中央処理装置（ＣＰＵ）と、各種のプログラムを格納するＲＯＭと、ワークエリアとしてのＲＡＭ等を含む半導体集積回路であり、映像処理装置１００の全体を制御する。制御部１８は、笑顔度検出プログラム１８２と笑顔判定プログラム１８３も格納している。笑顔度検出プログラム１８２は、顔器官情報をワークエリアであるメモリ１９に展開しながら、顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する。笑顔度は、目と口の特徴情報として、例えば目じりの状態、口角の状態、歯が見えているか否か等を用いて検出することができる。図１の例では、ソフトウェアのみで笑顔度の検出を行っており、笑顔度検出プログラム１８２が笑顔度検出部となっている。
【００３４】
笑顔判定プログラム１８３は、笑顔度検出プログラム１８２で検出した笑顔度と、顔の画像を登録した際の笑顔度と、顔認証器１６で顔を認証した際の笑顔度とを用いて、被写体に含まれている顔が笑顔であるか否かを判定する。笑顔判定プログラム１８３による笑顔であるか否かの判定の具体的処理についは後に詳述する。図１の例では、ソフトウェアのみで笑顔であるか否かを判定しており、笑顔判定プログラム１８３が笑顔判定部となっている。
【００３５】
＜笑顔度検出処理＞
図２のフローチャートを用いて笑顔度を検出する処理について説明する。図２では、顔検出部，顔器官検出部，笑顔度検出プログラム１８２で行われる動作について説明する。図２において、顔検出部（顔検出器１１及び顔検出プログラム１８１）は、ステップＳ１０１にて画像内の顔を検出する。顔器官検出部（顔器官検出器１５及び顔器官検出プログラム１８４）は、ステップＳ１０２にて顔の器官を検出し、ステップＳ１０３にて顔器官情報を制御部１８に供給する。
【００３６】
笑顔度検出プログラム１８２は、ステップＳ１０４にて笑顔度を検出する。笑顔度は、一例として、１００％を最大として笑顔の程度を割合である％で表したものである。勿論、割合ではなく、笑顔の程度によって数値が大小するスコアのような数字であってもよい。
【００３７】
笑顔度検出プログラム１８２によって検出された笑顔度は、人それぞれの顔の作りや笑い方の違いを考慮せず、顔器官情報に基づいて客観的に検出されたものである。従って、笑顔度検出プログラム１８２によって検出された笑顔度のみに基づいて笑顔であるか否かを判定すると、笑顔の判定精度はさほど高くはならない。そこで、本実施形態においては、顔認証部（顔認証器１６及び顔認証プログラム１８５）で顔認証を行う際に必要となる顔の画像を登録する際に笑顔度の情報を取得しておく。
【００３８】
＜顔画像登録処理＞
図３のフローチャートを用いて、制御部１８が顔の画像を登録する際の処理について説明する。図３において、制御部１８は、ステップＳ２０１にて、被写体である人に対して映像処理装置１００の正面を向くよう指示する。図１では図示していないが、表示部に“正面を向いて下さい”と文字で表記したり、スピーカより音声にて“正面を向いて下さい”と発音したりすればよい。制御部１８は、ステップＳ２０２にて、顔器官検出部によって検出された顔器官情報に基づいて顔の角度を測定する。制御部１８は、ステップＳ２０３にて、ステップＳ２０２にて測定された顔の角度に基づいて顔の角度が正面の範囲内に入ったか否かを判定する。
【００３９】
制御部１８は、正面の範囲内に入っていなければ（NO）、処理をステップＳ２０２に戻し、正面の範囲内に入っていれば（YES）、ステップＳ２０４にて、顔検出器１１より出力された顔の画像を正面顔画像情報として登録部１８６に登録する。図４（Ａ）は、登録した正面顔画像情報を概念的に示している。図４（Ａ）〜（Ｃ）において、枠画像２０は、被写体の撮影位置を指定するために表示されたものである。制御部１８（笑顔度検出プログラム１８２）は、正面顔画像情報に基づいて笑顔度P(A1)を検出して保持する。なお、ここでは特に笑顔を要求していないので、正面顔は通常は笑顔ではなく普通の顔であることが多い。従って、笑顔度P(A1)は比較的低い値となる可能性が高い。
【００４０】
制御部１８は、ステップＳ２０６にて、被写体である人に対して顔の向きを回転させるよう指示する。例えば、表示部に“顔を上下左右に回転させて下さい”と文字で表記したり、スピーカより音声にて“顔を上下左右に回転させて下さい”と発音したりすればよい。制御部１８は、ステップＳ２０７にて顔の角度を測定し、ステップＳ２０８にて、上・下・左・右の内、未登録の顔の角度を検出したか否かを判定する。未登録の顔の角度を検出しなければ（NO）、制御部１８は、処理をステップＳ２０７に戻す。未登録の顔の角度を検出したら（YES）、制御部１８は、ステップＳ２０９にて顔画像情報を登録部１８６に登録する。図４（Ｂ）は、登録した左向き顔画像情報を概念的に示している。
【００４１】
制御部１８は、ステップＳ２１０にて、笑顔度P(A2)〜P(A5)のいずれかを取得して保持する。笑顔度P(A2)〜P(A5)は、顔の角度が上・下・左・右であるときの笑顔度である。
【００４２】
制御部１８は、ステップＳ２１１にて、上・下・左・右の全ての方向の顔画像情報の登録が完了したか否かを判定する。全ての方向の顔登録が完了していなければ（NO）、制御部１８は、処理をステップＳ２０７に戻す。全ての方向の顔登録が完了していれば（YES）、顔の角度が上・下・左・右のときの笑顔度P(A2)〜P(A5)を全て取得したということである。正面顔と同様に、ここでは特に笑顔を要求していないので、上・下・左・右を向いた顔も普通の顔であることが多い。従って、笑顔度P(A2)〜P(A5)は比較的低い値となる可能性が高い。
【００４３】
全ての方向の顔登録が完了していれば（YES）、制御部１８は、ステップＳ２１２にて、被写体に対して笑顔とするよう指示する。例えば、表示部に“正面を向いて笑顔にして下さい”と文字で表記したり、スピーカより音声にて“正面を向いて笑顔にして下さい”と発音したりすればよい。制御部１８（笑顔度検出プログラム１８２）は、ステップＳ２１３にて笑顔度を検出する。制御部１８は、ステップＳ２１４にて、ステップＳ２１３にて検出した笑顔度が所定の値以上であるか否かを判定する。所定の値は例えば６０％以上である。笑顔度６０％を標準笑顔度とする。所定の値以上でなければ（NO）、制御部１８は、処理をステップＳ２１３に戻す。
【００４４】
所定の値以上であれば（YES）、制御部１８は、ステップＳ２１５にて顔画像情報を登録部１８６に登録する。図４（Ｃ）は、登録した笑顔の顔画像情報を概念的に示している。制御部１８は、ステップＳ２１６にて、ステップＳ２１５にて登録した笑顔の顔画像情報の笑顔度P(S)を保持する。ステップＳ２１４での所定の値が６０％以上であるから、笑顔度P(S)は６０％以上となる。
【００４５】
制御部１８は、ステップＳ２１７にて、次の式（１）を用い、笑顔度P(A1)，P(A2)〜P(A5)に基づいて通常登録時笑顔度P(A)を計算して終了する。
P(A)=P(A1)/2+(P(A2)+P(A3)+P(A4)+P(A5))/4/2    …（１）
制御部１８は、笑顔度P(S)をそのまま笑顔指示時笑顔度とする。以下、笑顔指示時笑顔度P(S)と称する。
【００４６】
本実施形態では、正面の顔画像情報に加えて、上・下・左・右それぞれの方向での顔画像情報を登録するので、顔認証部での顔の認証精度を向上させることができる。簡略化のため、正面の顔画像情報のみを登録してもよい。正面の顔画像情報と、上・下・左・右の内、選択した１または複数の方向での顔画像情報を登録してもよい。勿論、正面の顔画像情報と上・下・左・右全ての方向での顔画像情報を登録することが好ましい。
【００４７】
本実施形態では、認証のための顔画像情報の登録に併せて、笑顔度P(A1)，P(A2)〜P(A5)を検出し、通常登録時笑顔度P(A)を取得するので、笑顔を指示していない状態の普通の顔の笑顔度を得ることができる。なお、正面の顔画像情報のみを登録する場合には、通常登録時笑顔度P(A)は笑顔度P(A1)となる。例えば、笑顔度P(A2)，P(A3)のみを検出した場合には、笑顔度P(A1)と笑顔度P(A2)，P(A3)の平均値とを所定の割合で加算して通常登録時笑顔度P(A)とすればよい。また、本実施形態では、笑顔を指示した状態での笑顔指示時笑顔度P(S)を得ることができる。後述する笑顔であるか否かの判定の際に通常登録時笑顔度P(A)及び笑顔指示時笑顔度P(S)を用いることによって、笑顔の判定精度を向上させることができる。
【００４８】
映像処理装置１００は、被写体を撮影している際に、顔検出器１１が顔を検出した場合には、顔認証部が登録されている顔であるかを認証する。認証の際には、少なくとも正面の顔画像情報を用いる。認証の際に、正面の顔画像情報に加えて、上・下・左・右の方向での顔画像情報を用いることが好ましい。本実施形態では、登録されている顔であることが認証された場合に、所定時間毎に笑顔度を検出して、後述する笑顔であるか否かの判定の際に用いる。
【００４９】
＜通常撮影時処理＞
図５のフローチャートを用いて、通常撮影時の処理について説明する。図５において、制御部１８は、ステップＳ３０１にて、顔認証の結果、登録された顔であるか否かを判定する。登録された顔でなければ（NO）、制御部１８は処理をステップＳ３０１に戻す。登録された顔であれば（YES）、制御部１８（笑顔度検出プログラム１８２）は、ステップＳ３０２にて、所定時間毎に笑顔度を検出する。所定時間毎とは例えば１０秒毎である。
【００５０】
制御部１８は、ステップＳ３０３にて、ステップＳ３０２にて検出した過去の笑顔度を積算した積算笑顔度Ｔと積算回数ｎとを求めて保持する。制御部１８は、ステップＳ３０４にて、次の式（２）に基づいて、撮影時笑顔度P(T)を計算する。
P(T)=T/n    …（２）
即ち、過去所定期間の笑顔度の平均を撮影時笑顔度P(T)とする。同一人物を検出している期間中、順次笑顔度を積算して積算笑顔度Ｔを求め、撮影時笑顔度P(T)をその都度計算すればよい。
【００５１】
さらに本実施形態では、撮影時笑顔度P(T)をそのまま笑顔であるか否かの判定の際に用いるのではなく、次のように条件分けして、通常笑顔度P(N)を求めて、通常笑顔度P(N)を笑顔であるか否かの判定の際に用いる。まず、P(A)＜P(T)＜P(S)を満たす場合には、次の式（３）に基づいて、通常笑顔度P(N)を計算する。
P(N)=(P(A)+P(T))/2    …（３）
即ち、通常登録時笑顔度P(A)と撮影時笑顔度P(T)との平均を通常笑顔度P(N)とする。
【００５２】
次に、P(T)＜P(A)＜P(S)を満たす場合には、次の式（４）に基づいて、通常笑顔度P(N)を計算する。
P(N)=2/3×P(A)+1/3×P(T)    …（４）
即ち、通常登録時笑顔度P(A)と撮影時笑顔度P(T)とを、通常登録時笑顔度P(A)の方の比率を大きくして加算する。
【００５３】
さらに、P(S)＜P(A)またはP(S)＜P(T)を満たす場合、即ち、笑顔指示時笑顔度P(S)が通常登録時笑顔度P(A)または撮影時笑顔度P(T)より小さい場合には、通常笑顔度P(N)を無効とする。
【００５４】
通常登録時笑顔度P(A)は、笑顔を指示していない状態で検出した通常の顔の笑顔度（笑顔非指示時笑顔度）である。撮影時笑顔度P(T)も、笑顔を指示していない状態で検出した通常の顔の笑顔度（笑顔非指示時笑顔度）である。通常登録時笑顔度P(A)と撮影時笑顔度P(T)とを用いて通常笑顔度P(N)を求めているのは、笑顔非指示時笑顔度の精度を向上させるためである。通常笑顔度P(N)は、通常登録時笑顔度P(A)と撮影時笑顔度P(T)とを用いて精度を向上させた笑顔非指示時笑顔度である。
【００５５】
後述する笑顔判定処理において、笑顔非指示時笑顔度として通常登録時笑顔度P(A)を用いて笑顔であるか否かを判定してもよい。笑顔非指示時笑顔度として撮影時笑顔度P(T)を用いて笑顔であるか否かを判定してもよい。笑顔判定処理で通常登録時笑顔度P(A)を用いる場合には、登録部１８６に通常登録時笑顔度P(A)を登録しておく。笑顔判定処理で撮影時笑顔度P(T)を用いる場合には、登録部１８６に撮影時笑顔度P(T)を登録しておく。笑顔判定処理で通常笑顔度P(N)を用いる場合には、登録部１８６に通常笑顔度P(N)を登録しておく。
【００５６】
勿論、笑顔非指示時笑顔度として通常笑顔度P(N)を用いて笑顔であるか否かを判定する方が高精度となる。後述する笑顔判定処理においては、笑顔非指示時笑顔度として通常笑顔度P(N)を用いて笑顔であるか否かを判定する例について説明する。
【００５７】
＜笑顔判定処理＞
図６のフローチャートを用いて、笑顔判定プログラム１８３が、顔検出部によって検出された顔が笑顔であるか否かを判定する処理について説明する。図６において、笑顔判定プログラム１８３は、ステップＳ４０１にて、笑顔度検出プログラム１８２によって検出された現在の笑顔度Pを取得する。現在の笑顔度Pは、顔検出部で検出された顔の画像が笑顔であるか否かを判定しようとする時点で検出した笑顔度である。
【００５８】
笑顔判定プログラム１８３は、ステップＳ４０２にて、顔認証部での認証結果を参照して登録された顔であるか否かを判定する。登録された顔でなければ（NO）、笑顔判定プログラム１８３は、処理をステップＳ４０４に移行させる。登録された顔であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０３にて、笑顔非指示時笑顔度である通常笑顔度P(N)が有効であるか否かを判定する。
【００５９】
通常笑顔度P(N)が有効でなければ（NO）、笑顔判定プログラム１８３は、処理をステップＳ４０４に移行させ、有効であれば（YES）、処理をステップＳ４０５に移行させる。笑顔判定プログラム１８３は、ステップＳ４０４にて、現在の笑顔度Pが標準笑顔度である６０％以上であるか否かを判定する。６０％以上であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０９にて、笑顔であると判定する。ステップＳ４０４からステップＳ４０９へと移行した場合の笑顔であるとの判定は、笑顔であるか否かを判定しようとする時点で検出した顔器官情報のみに基づく判定である。
【００６０】
笑顔判定プログラム１８３は、ステップＳ４０５にて、現在の笑顔度Pが絶対笑顔度である９０％以上であるか否かを判定する。９０％以上であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０９にて笑顔であると判定する。９０％以上でなければ（NO）、笑顔判定プログラム１８３は、ステップＳ４０６にて、現在の笑顔度Pが笑顔指示時笑顔度P(S)以上であるか否かを判定する。現在の笑顔度Pが笑顔指示時笑顔度P(S)以上であれば（YES）、笑顔判定プログラム１８３は、ステップＳ４０７にて、現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上であるか否かを判定する。現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上であれば、笑顔判定プログラム１８３は、ステップＳ４０９にて笑顔であると判定する。
【００６１】
ステップＳ４０６にて現在の笑顔度Pが笑顔指示時笑顔度P(S)以上でなければ（NO）、笑顔判定プログラム１８３は、ステップＳ４０８にて、現在の笑顔度Pが（通常笑顔度P(N)＋３０％）以上であるか否かを判定する。現在の笑顔度Pが（通常笑顔度P(N)＋３０％）以上であれば、笑顔判定プログラム１８３は、ステップＳ４０９にて笑顔であると判定する。ステップＳ４０７では、現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上としたので、ステップＳ４０８では、１０％よりも大きい例えば３０％とし、（通常笑顔度P(N)＋３０％）以上とすることが好ましい。
【００６２】
ステップＳ４０５からステップＳ４０９へと移行した場合、ステップＳ４０７からステップＳ４０９へと移行した場合、ステップＳ４０８からステップＳ４０９へと移行した場合の笑顔であるとの判定は、笑顔であるか否かを判定しようとする時点で検出した顔器官情報と、予め登録しておいた通常笑顔度P(N)や笑顔指示時笑顔度P(S)とに基づく判定である。
【００６３】
一方、ステップＳ４０４にて、現在の笑顔度Pが標準笑顔度である６０％以上でなかった場合（NO）、ステップＳ４０７にて、現在の笑顔度Pが（通常笑顔度P(N)＋１０％）以上でなかった場合（NO）、ステップＳ４０８にて、現在の笑顔度Pが（通常笑顔度P(N)＋３０％）以上でなかった場合（NO）には、笑顔判定プログラム１８３は、ステップＳ４１０にて笑顔ではないと判定する。笑顔判定プログラム１８３は、ステップＳ４０９及びステップＳ４１０での判定後、処理をステップＳ４０１に戻す。
【００６４】
ステップＳ４０４における標準笑顔度６０％以上、ステップＳ４０５における絶対笑顔度９０％以上、ステップＳ４０７における（通常笑顔度P(N)＋１０％）の１０％、ステップＳ４０８における（通常笑顔度P(N)＋３０％）の３０％は好適な例であるが、これらの数値に限定されるものではない。
【００６５】
以上説明したように、本実施形態では、被写体に対して笑顔を指示していない状態で笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で笑顔度検出部が検出した笑顔指示時笑顔度とを用いて、笑顔判定部が笑顔であるか否かを判定するので、人それぞれの顔の作りや笑顔の程度が異なっても、笑顔の判定精度を向上させることができる。顔の作りが異なれば笑い方も異なることになり、笑顔の程度がばらつくことになる。笑顔非指示時笑顔度と笑顔指示時笑顔度とを用いることにより、笑顔の程度がばらついても、人それぞれの笑顔でない状態と笑顔の状態とを区別することが可能となる。
【００６６】
また、本実施形態では、好ましい構成として、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上・下・左・右の内の少なくとも１つの方向に向けた非正面顔画像情報とを通常顔画像情報として登録するので、顔の認証精度が向上する。正面顔画像情報に基づいて検出した笑顔度と非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を用いれば、顔の向きが異なっても、精度よく笑顔であるか否かを判定すること可能となる。
【００６７】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図６に示す笑顔判定処理は好ましい判定処理の例を示すが、図６に限定されるものではない。笑顔判定部は、笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、笑顔非指示時笑顔度と、笑顔指示時笑顔度とを用い、これらを適宜比較して、現在の笑顔度と笑顔非指示時笑顔度または笑顔指示時笑顔度の大小関係や差の程度に基づいて笑顔であるか否かを判定すればよい。
【００６８】
本発明はハードウェアで構成してもソフトウェアで構成してもよい。両者を適宜組み合わせてもよく、ハードウェアとソフトウェアの使い分けは任意である。本発明をコンピュータプログラムとして構成して、記録媒体に記録して頒布したり、インターネット等の通信回線によって提供したりしてもよい。
【符号の説明】
【００６９】
１  撮像レンズ
２  撮像部
３  カメラコントローラ
４  映像メモリ
５  メモリコントローラ
６  メモリセレクタ
７  リサイズコントローラ
８  ＶＧＡセレクタ
９  ＱＶＧＡコントローラ
１０，１２，１４，１７，１９  メモリ
１１  顔検出器（顔検出部）
１３  ＶＧＡコントローラ
１５  顔器官検出器（顔器官検出部）
１６  顔認証器（顔認証部）
１８  制御部
１８１  顔検出プログラム（顔検出部）
１８２  笑顔度検出プログラム（笑顔度検出部）
１８３  笑顔判定プログラム（笑顔判定部）
１８４  顔器官検出プログラム（顔器官検出部）
１８５  顔認証プログラム（顔認証部）
１８６  登録部
【図１】
2013058828.tif 000003
【図２】
2013058828.tif 000004
【図３】
2013058828.tif 000005
【図４】
2013058828.tif 000006
【図５】
2013058828.tif 000007
【図６】
2013058828.tif 000008