"画像内の顔を検出する顔検出部と、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出部と、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出部と、被写体に対して笑顔を指示していない状態での通常顔画像情報と、被写体に対して笑顔を指示していない状態で前記笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で前記笑顔度検出部が検出した笑顔指示時笑顔度とを登録する登録部と、前記通常顔画像情報を用いて、前記顔検出部で検出された顔が前記登録部に登録された顔であるか否かを判定して顔を認証する顔認証部と、前記顔認証部によって、前記顔検出部で検出された顔が登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔が笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出部で検出された顔が笑顔であるか否かを判定する笑顔判定部と、を備えることを特徴とする笑顔判定装置。前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項1記載の笑顔判定装置。前記登録部は、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項1記載の笑顔判定装置。前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した第1の笑顔度と、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した第2の笑顔度とを所定の割合で加算した第3の笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項1記載の笑顔判定装置。前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項1または2に記載の笑顔判定装置。前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第1の笑顔度とすることを特徴とする請求項4記載の笑顔判定装置。前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第1の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第2の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出部で検出された顔が笑顔であるか否かを判定することを特徴とする請求項4または6に記載の笑顔判定装置。前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第1の笑顔度以上であり、前記笑顔指示時笑顔度が前記第2の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第3の笑顔度よりも第1の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することを特徴とする請求項4,67のいずれか1項に記載の笑顔判定装置。前記笑顔判定部は、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第3の笑顔度よりも前記第1の所定の値より大きい第2の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することを特徴とする請求項8記載の笑顔判定装置。画像内の顔を検出する顔検出ステップと、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出ステップと、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出ステップと、被写体に対して笑顔を指示していない状態での通常顔画像情報を登録する第1の登録ステップと、被写体に対して笑顔を指示していない状態で前記笑顔度検出ステップにて検出した笑顔非指示時笑顔度を登録する第2の登録ステップと、被写体に対して笑顔を指示した状態で前記笑顔度検出ステップが検出した笑顔指示時笑顔度とを登録する第3の登録ステップと、前記通常顔画像情報を用いて、前記顔検出ステップで検出された顔が前記第1の登録ステップにて登録された顔であるか否かを判定して顔を認証する顔認証ステップと、前記顔認証ステップにて、前記顔検出ステップにて検出された顔が登録された顔であると認証された場合に、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定しようとする時点で前記笑顔度検出ステップにて検出された現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定する笑顔判定ステップと、を含むことを特徴とする笑顔判定方法。前記第2の登録ステップは、前記笑顔度検出ステップにて前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項10記載の笑顔判定方法。前記第2の登録ステップは、前記顔検出ステップにて検出された顔が前記第1の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出部にて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項10記載の笑顔判定方法。前記第2の登録ステップは、前記笑顔度検出部ステップにて前記通常顔画像情報に基づいて検出した第1の笑顔度と、前記顔検出ステップにて検出された顔が前記第1の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出ステップにて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した第2の笑顔度とを所定の割合で加算した第3の笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項10記載の笑顔判定方法。前記第1の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第2の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することを特徴とする請求項10または11に記載の笑顔判定方法。前記第1の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第2の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第1の笑顔度とすることを特徴とする請求項13記載の笑顔判定方法。前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第1の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第2の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定することを特徴とする請求項13または15に記載の笑顔判定方法。前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第1の笑顔度以上であり、前記笑顔指示時笑顔度が前記第2の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第3の笑顔度よりも第1の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することを特徴とする請求項13,1516のいずれか1項に記載の笑顔判定方法。前記笑顔判定ステップは、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第3の笑顔度よりも前記第1の所定の値より大きい第2の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することを特徴とする請求項17記載の笑顔判定方法。ところが、人によって顔の作りが異なり、笑顔の程度笑い方も異なる。また、顔の向きは必ずしも正面を向いているとは限らず、顔の向きは一定ではない。従って、笑顔となっているにもかかわらず笑顔であると判定されない場合が多々発生する。そこで、笑顔の判定精度を向上させることが求められている。本発明はこのような要望に対応するため、人それぞれの顔の作りや笑顔の程度が異なっても、笑顔の判定精度を向上させることができる笑顔判定装置及び方法を提供することを目的とする。また、顔の向きが異なっても、笑顔の判定精度を向上させることができる笑顔判定装置及び方法を提供することを目的とする。本発明は、上述した従来の技術の課題を解決するため、画像内の顔を検出する顔検出部11,181と、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出部15,184と、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出部182と、被写体に対して笑顔を指示していない状態での通常顔画像情報と、被写体に対して笑顔を指示していない状態で前記笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で前記笑顔度検出部が検出した笑顔指示時笑顔度とを登録する登録部186と、前記通常顔画像情報を用いて、前記顔検出部で検出された顔が前記登録部に登録された顔であるか否かを判定して顔を認証する顔認証部16,185と、前記顔認証部によって、前記顔検出部で検出された顔が登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔が笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出部で検出された顔が笑顔であるか否かを判定する笑顔判定部183とを備えることを特徴とする笑顔判定装置を提供する。上記の笑顔判定装置において、前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することができる。上記の笑顔判定装置において、前記登録部は、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することができる。上記の笑顔判定装置において、前記登録部は、前記笑顔度検出部が前記通常顔画像情報に基づいて検出した第1の笑顔度と、前記顔検出部で検出された顔が前記登録部に登録された顔であると認証された場合に、前記笑顔度検出部が、前記顔検出部で検出された顔の笑顔度を複数回検出して平均した第2の笑顔度とを所定の割合で加算した第3の笑顔度を前記笑顔非指示時笑顔度として登録することが好ましい。上記の笑顔判定装置において、前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することができる。上記の笑顔判定装置において、前記登録部は、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記笑顔度検出部が前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第1の笑顔度とすることが好ましい。上記の笑顔判定装置において、前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第1の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第2の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出部で検出された顔が笑顔であるか否かを判定することが好ましい。上記の笑顔判定装置において、前記笑顔判定部は、前記笑顔指示時笑顔度が前記前記第1の笑顔度以上であり、前記笑顔指示時笑顔度が前記第2の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第3の笑顔度よりも第1の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することが好ましい。上記の笑顔判定装置において、前記笑顔判定部は、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第3の笑顔度よりも前記第1の所定の値より大きい第2の所定の値以上大きい場合に、前記顔検出部で検出された顔が笑顔であると判定することが好ましい。また、本発明は、上述した従来の技術の課題を解決するため、画像内の顔を検出する顔検出ステップS101と、画像内の顔から少なくとも目と口の顔器官情報を検出する顔器官検出ステップS102と、前記顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する笑顔度検出ステップS104と、被写体に対して笑顔を指示していない状態での通常顔画像情報を登録する第1の登録ステップS204と、被写体に対して笑顔を指示していない状態で前記笑顔度検出ステップにて検出した笑顔非指示時笑顔度を登録する第2の登録ステップS205,S210と、被写体に対して笑顔を指示した状態で前記笑顔度検出ステップが検出した笑顔指示時笑顔度とを登録する第3の登録ステップS216と、前記通常顔画像情報を用いて、前記顔検出ステップで検出された顔が前記第1の登録ステップにて登録された顔であるか否かを判定して顔を認証する顔認証ステップS301と、前記顔認証ステップにて、前記顔検出ステップにて検出された顔が登録された顔であると認証された場合に、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定しようとする時点で前記笑顔度検出ステップにて検出された現在の笑顔度と、前記笑顔非指示時笑顔度と、前記笑顔指示時笑顔度とを用いて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定する笑顔判定ステップS401~S410とを含むことを特徴とする笑顔判定方法を提供する。上記の笑顔判定方法において、前記第2の登録ステップは、前記笑顔度検出ステップにて前記通常顔画像情報に基づいて検出した笑顔度を前記笑顔非指示時笑顔度として登録することができる。上記の笑顔判定方法において、前記第2の登録ステップは、前記顔検出ステップにて検出された顔が前記第1の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出部にて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した笑顔度を前記笑顔非指示時笑顔度として登録することができる。上記の笑顔判定方法において、前記第2の登録ステップは、前記笑顔度検出部ステップにて前記通常顔画像情報に基づいて検出した第1の笑顔度と、前記顔検出ステップにて検出された顔が前記第1の登録ステップにて登録された顔であると認証された場合に、前記笑顔度検出ステップにて、前記顔検出ステップにて検出された顔の笑顔度を複数回検出して平均した第2の笑顔度とを所定の割合で加算した第3の笑顔度を前記笑顔非指示時笑顔度として登録することが好ましい。上記の笑顔判定方法において、前記第1の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第2の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記笑顔非指示時笑顔度として登録することができる。上記の笑顔判定方法において、前記第1の登録ステップは、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを前記通常顔画像情報として登録し、前記第2の登録ステップは、前記笑顔度検出ステップにて前記正面顔画像情報に基づいて検出した笑顔度と前記非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を前記第1の笑顔度とすることが好ましい。上記の笑顔判定方法において、前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第1の笑顔度より小さいか、前記笑顔指示時笑顔度が前記第2の笑顔度より小さい場合に、前記笑顔非指示時笑顔度を無効とし、前記笑顔非指示時笑顔度及び前記笑顔指示時笑顔度を用いることなく、前記現在の笑顔度に基づいて、前記顔検出ステップにて検出された顔が笑顔であるか否かを判定することが好ましい。上記の笑顔判定方法において、前記笑顔判定ステップは、前記笑顔指示時笑顔度が前記前記第1の笑顔度以上であり、前記笑顔指示時笑顔度が前記第2の笑顔度以上である場合に、前記笑顔非指示時笑顔度を有効とし、前記現在の笑顔度が前記笑顔指示時笑顔度以上であり、前記現在の笑顔度が前記第3の笑顔度よりも第1の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することが好ましい。上記の笑顔判定方法において、前記笑顔判定ステップは、前記現在の笑顔度が前記笑顔指示時笑顔度未満である場合に、前記現在の笑顔度が前記第3の笑顔度よりも前記第1の所定の値より大きい第2の所定の値以上大きい場合に、前記顔検出ステップにて検出された顔が笑顔であると判定することが好ましい。本発明の笑顔判定装置及び方法によれば、人それぞれの顔の作りや笑顔の程度が異なっても、精度よく笑顔であるか否かを判定することが可能となる。また、顔の向きが異なっても、精度よく笑顔であるか否かを判定することが可能となる。以下、本発明の笑顔判定装置及び方法の一実施形態について、添付図面を参照して説明する。図1は、一実施形態の笑顔判定装置を備える映像処理装置撮影装置100を示している。<映像処理装置100の全体構成>図1において、被写体を撮像して生成した映像データを記録する記録モードでは、撮像部2は、撮像レンズ1で集光した光を光電変換して電気信号として出力する。撮像部2は例えばCMOSセンサまたはCCDセンサである。撮像部2より出力された電気信号はカメラコントローラ3でデジタル信号に変換されて、映像データとしてメモリセレクタ6へと出力される。記録された映像データを再生する再生モードでは、映像メモリ4から読み出された映像データはメモリコントローラ5を介してメモリセレクタ6へと出力される。メモリセレクタ6は、記録モードではカメラコントローラ3から供給された映像データを選択し、再生モードではメモリコントローラ5から供給された映像データを選択してリサイズコントローラ7へと出力する。リサイズコントローラ7は、入力された映像データに対してゲイン,オフセット等を調整し、ユーザ操作に従って電子ズーム,デジタルエフェクト等の処理を施して、これらの信号処理を施した映像データをVGAセレクタ8へと出力する。VGAセレクタ8は、映像データをQVGAコントローラ9及びVGAコントローラ13に供給する。VGAセレクタ8より出力される映像データは、一例として水平方向の画素数が640、垂直方向の画素数が480のいわゆるVGAの大きさである。QVGAコントローラ9は、ワークメモリであるメモリ10を用いて、入力された映像データをQVGAの大きさに変換して、顔検出用の映像データを生成する。QVGAの大きさは、水平方向の画素数が320、垂直方向の画素数が240である。本実施形態では顔検出用の映像データをQVGAの大きさとしているが、これに限定されるものではなく、VGAの大きさのままでもよいし、他の大きさに変換してもよい。顔検出器11は、制御部18に格納されている顔検出プログラム181に従って、QVGAコントローラ9から出力された顔検出用の映像データによる画像内の顔を検出する。検出された顔の画像情報はワークメモリであるメモリ12に格納される。顔検出器11は、顔検出プログラム181に従って顔を検出する主としてハードウェアにて構成される部分である。顔検出器11と顔検出プログラム181とで顔検出部を構成する。メモリ12に格納された顔の画像情報は制御部18に供給される。VGAコントローラ13は、入力された映像データを顔器官検出及び顔認証用の映像データとしてワークメモリであるメモリ14に保持する。顔器官検出器15は、制御部18に格納されている顔器官検出プログラム184に従って、顔の画像情報を参照しながら、顔の器官を検出する。検出された顔器官情報は、顔に対する目や口の位置や、目や口の特徴情報を含む。顔器官情報はワークメモリであるメモリ17に格納される。顔の器官は少なくとも目と口である。顔器官検出器15は、顔器官検出プログラム184に従って顔の器官を検出する主としてハードウェアにて構成される部分である。顔器官検出器15と顔器官検出プログラム184とで顔器官検出部を構成する。メモリ17に格納された顔器官情報は制御部18に供給される。顔認証器16は、制御部18に格納されている顔認証プログラム185に従って、顔検出器11が検出した顔を認証する。具体的には、顔認証器16は、顔検出器11が検出した顔が、制御部18内の登録部186に予め登録されている顔の画像と同一人物であるかを判定する。顔認証器16は、複数の顔の画像が登録されている場合には、どの顔の画像と同一人物であるかを判定する。認証結果は、メモリ17に格納される。顔認証器16は、顔認証プログラム185に従って顔の画像を認証する主としてハードウェアにて構成される部分である。顔認証器16と顔認証プログラム185とで顔認証部を構成する。制御部18は、詳細には、中央処理装置CPUと、各種のプログラムを格納するROMと、ワークエリアとしてのRAM等を含む半導体集積回路であり、映像処理装置100の全体を制御する。制御部18は、笑顔度検出プログラム182と笑顔判定プログラム183も格納している。笑顔度検出プログラム182は、顔器官情報をワークエリアであるメモリ19に展開しながら、顔器官情報に基づいて笑顔の程度を示す値である笑顔度を検出する。笑顔度は、目と口の特徴情報として、例えば目じりの状態、口角の状態、歯が見えているか否か等を用いて検出することができる。図1の例では、ソフトウェアのみで笑顔度の検出を行っており、笑顔度検出プログラム182が笑顔度検出部となっている。笑顔判定プログラム183は、笑顔度検出プログラム182で検出した笑顔度と、顔の画像を登録した際の笑顔度と、顔認証器16で顔を認証した際の笑顔度とを用いて、被写体に含まれている顔が笑顔であるか否かを判定する。笑顔判定プログラム183による笑顔であるか否かの判定の具体的処理についは後に詳述する。図1の例では、ソフトウェアのみで笑顔であるか否かを判定しており、笑顔判定プログラム183が笑顔判定部となっている。<笑顔度検出処理>図2のフローチャートを用いて笑顔度を検出する処理について説明する。図2では、顔検出部,顔器官検出部,笑顔度検出プログラム182で行われる動作について説明する。図2において、顔検出部顔検出器11及び顔検出プログラム181は、ステップS101にて画像内の顔を検出する。顔器官検出部顔器官検出器15及び顔器官検出プログラム184は、ステップS102にて顔の器官を検出し、ステップS103にて顔器官情報を制御部18に供給する。笑顔度検出プログラム182は、ステップS104にて笑顔度を検出する。笑顔度は、一例として、100を最大として笑顔の程度を割合であるで表したものである。勿論、割合ではなく、笑顔の程度によって数値が大小するスコアのような数字であってもよい。笑顔度検出プログラム182によって検出された笑顔度は、人それぞれの顔の作りや笑い方の違いを考慮せず、顔器官情報に基づいて客観的に検出されたものである。従って、笑顔度検出プログラム182によって検出された笑顔度のみに基づいて笑顔であるか否かを判定すると、笑顔の判定精度はさほど高くはならない。そこで、本実施形態においては、顔認証部顔認証器16及び顔認証プログラム185で顔認証を行う際に必要となる顔の画像を登録する際に笑顔度の情報を取得しておく。<顔画像登録処理>図3のフローチャートを用いて、制御部18が顔の画像を登録する際の処理について説明する。図3において、制御部18は、ステップS201にて、被写体である人に対して映像処理装置100の正面を向くよう指示する。図1では図示していないが、表示部に正面を向いて下さいと文字で表記したり、スピーカより音声にて正面を向いて下さいと発音したりすればよい。制御部18は、ステップS202にて、顔器官検出部によって検出された顔器官情報に基づいて顔の角度を測定する。制御部18は、ステップS203にて、ステップS202にて測定された顔の角度に基づいて顔の角度が正面の範囲内に入ったか否かを判定する。制御部18は、正面の範囲内に入っていなければNO、処理をステップS202に戻し、正面の範囲内に入っていればYES、ステップS204にて、顔検出器11より出力された顔の画像を正面顔画像情報として登録部186に登録する。図4Aは、登録した正面顔画像情報を概念的に示している。図4A~Cにおいて、枠画像20は、被写体の撮影位置を指定するために表示されたものである。制御部18笑顔度検出プログラム182は、正面顔画像情報に基づいて笑顔度Pを検出して保持する。なお、ここでは特に笑顔を要求していないので、正面顔は通常は笑顔ではなく普通の顔であることが多い。従って、笑顔度Pは比較的低い値となる可能性が高い。制御部18は、ステップS206にて、被写体である人に対して顔の向きを回転させるよう指示する。例えば、表示部に顔を上下左右に回転させて下さいと文字で表記したり、スピーカより音声にて顔を上下左右に回転させて下さいと発音したりすればよい。制御部18は、ステップS207にて顔の角度を測定し、ステップS208にて、上下左右の内、未登録の顔の角度を検出したか否かを判定する。未登録の顔の角度を検出しなければNO、制御部18は、処理をステップS207に戻す。未登録の顔の角度を検出したらYES、制御部18は、ステップS209にて顔画像情報を登録部186に登録する。図4Bは、登録した左向き顔画像情報を概念的に示している。制御部18は、ステップS210にて、笑顔度P~Pのいずれかを取得して保持する。笑顔度P~Pは、顔の角度が上下左右であるときの笑顔度である。制御部18は、ステップS211にて、上下左右の全ての方向の顔画像情報の登録が完了したか否かを判定する。全ての方向の顔登録が完了していなければNO、制御部18は、処理をステップS207に戻す。全ての方向の顔登録が完了していればYES、顔の角度が上下左右のときの笑顔度P~Pを全て取得したということである。正面顔と同様に、ここでは特に笑顔を要求していないので、上下左右を向いた顔も普通の顔であることが多い。従って、笑顔度P~Pは比較的低い値となる可能性が高い。全ての方向の顔登録が完了していればYES、制御部18は、ステップS212にて、被写体に対して笑顔とするよう指示する。例えば、表示部に正面を向いて笑顔にして下さいと文字で表記したり、スピーカより音声にて正面を向いて笑顔にして下さいと発音したりすればよい。制御部18笑顔度検出プログラム182は、ステップS213にて笑顔度を検出する。制御部18は、ステップS214にて、ステップS213にて検出した笑顔度が所定の値以上であるか否かを判定する。所定の値は例えば60以上である。笑顔度60を標準笑顔度とする。所定の値以上でなければNO、制御部18は、処理をステップS213に戻す。所定の値以上であればYES、制御部18は、ステップS215にて顔画像情報を登録部186に登録する。図4Cは、登録した笑顔の顔画像情報を概念的に示している。制御部18は、ステップS216にて、ステップS215にて登録した笑顔の顔画像情報の笑顔度Pを保持する。ステップS214での所定の値が60以上であるから、笑顔度Pは60以上となる。制御部18は、ステップS217にて、次の式1を用い、笑顔度P,P~Pに基づいて通常登録時笑顔度Pを計算して終了する。PP2PPP42...1制御部18は、笑顔度Pをそのまま笑顔指示時笑顔度とする。以下、笑顔指示時笑顔度Pと称する。本実施形態では、正面の顔画像情報に加えて、上下左右それぞれの方向での顔画像情報を登録するので、顔認証部での顔の認証精度を向上させることができる。簡略化のため、正面の顔画像情報のみを登録してもよい。正面の顔画像情報と、上下左右の内、選択した1または複数の方向での顔画像情報を登録してもよい。勿論、正面の顔画像情報と上下左右全ての方向での顔画像情報を登録することが好ましい。本実施形態では、認証のための顔画像情報の登録に併せて、笑顔度P,P~Pを検出し、通常登録時笑顔度Pを取得するので、笑顔を指示していない状態の普通の顔の笑顔度を得ることができる。なお、正面の顔画像情報のみを登録する場合には、通常登録時笑顔度Pは笑顔度Pとなる。例えば、笑顔度P,Pのみを検出した場合には、笑顔度Pと笑顔度P,Pの平均値とを所定の割合で加算して通常登録時笑顔度Pとすればよい。また、本実施形態では、笑顔を指示した状態での笑顔指示時笑顔度Pを得ることができる。後述する笑顔であるか否かの判定の際に通常登録時笑顔度P及び笑顔指示時笑顔度Pを用いることによって、笑顔の判定精度を向上させることができる。映像処理装置100は、被写体を撮影している際に、顔検出器11が顔を検出した場合には、顔認証部が登録されている顔であるかを認証する。認証の際には、少なくとも正面の顔画像情報を用いる。認証の際に、正面の顔画像情報に加えて、上下左右の方向での顔画像情報を用いることが好ましい。本実施形態では、登録されている顔であることが認証された場合に、所定時間毎に笑顔度を検出して、後述する笑顔であるか否かの判定の際に用いる。<通常撮影時処理>図5のフローチャートを用いて、通常撮影時の処理について説明する。図5において、制御部18は、ステップS301にて、顔認証の結果、登録された顔であるか否かを判定する。登録された顔でなければNO、制御部18は処理をステップS301に戻す。登録された顔であればYES、制御部18笑顔度検出プログラム182は、ステップS302にて、所定時間毎に笑顔度を検出する。所定時間毎とは例えば10秒毎である。制御部18は、ステップS303にて、ステップS302にて検出した過去の笑顔度を積算した積算笑顔度Tと積算回数nとを求めて保持する。制御部18は、ステップS304にて、次の式2に基づいて、撮影時笑顔度Pを計算する。PTn...2即ち、過去所定期間の笑顔度の平均を撮影時笑顔度Pとする。同一人物を検出している期間中、順次笑顔度を積算して積算笑顔度Tを求め、撮影時笑顔度Pをその都度計算すればよい。さらに本実施形態では、撮影時笑顔度Pをそのまま笑顔であるか否かの判定の際に用いるのではなく、次のように条件分けして、通常笑顔度Pを求めて、通常笑顔度Pを笑顔であるか否かの判定の際に用いる。まず、P<P<Pを満たす場合には、次の式3に基づいて、通常笑顔度Pを計算する。PP2...3即ち、通常登録時笑顔度Pと撮影時笑顔度Pとの平均を通常笑顔度Pとする。次に、P<P<Pを満たす場合には、次の式4に基づいて、通常笑顔度Pを計算する。P23×P13×P...4即ち、通常登録時笑顔度Pと撮影時笑顔度Pとを、通常登録時笑顔度Pの方の比率を大きくして加算する。さらに、P<PまたはP<Pを満たす場合、即ち、笑顔指示時笑顔度Pが通常登録時笑顔度Pまたは撮影時笑顔度Pより小さい場合には、通常笑顔度Pを無効とする。通常登録時笑顔度Pは、笑顔を指示していない状態で検出した通常の顔の笑顔度笑顔非指示時笑顔度である。撮影時笑顔度Pも、笑顔を指示していない状態で検出した通常の顔の笑顔度笑顔非指示時笑顔度である。通常登録時笑顔度Pと撮影時笑顔度Pとを用いて通常笑顔度Pを求めているのは、笑顔非指示時笑顔度の精度を向上させるためである。通常笑顔度Pは、通常登録時笑顔度Pと撮影時笑顔度Pとを用いて精度を向上させた笑顔非指示時笑顔度である。後述する笑顔判定処理において、笑顔非指示時笑顔度として通常登録時笑顔度Pを用いて笑顔であるか否かを判定してもよい。笑顔非指示時笑顔度として撮影時笑顔度Pを用いて笑顔であるか否かを判定してもよい。笑顔判定処理で通常登録時笑顔度Pを用いる場合には、登録部186に通常登録時笑顔度Pを登録しておく。笑顔判定処理で撮影時笑顔度Pを用いる場合には、登録部186に撮影時笑顔度Pを登録しておく。笑顔判定処理で通常笑顔度Pを用いる場合には、登録部186に通常笑顔度Pを登録しておく。勿論、笑顔非指示時笑顔度として通常笑顔度Pを用いて笑顔であるか否かを判定する方が高精度となる。後述する笑顔判定処理においては、笑顔非指示時笑顔度として通常笑顔度Pを用いて笑顔であるか否かを判定する例について説明する。<笑顔判定処理>図6のフローチャートを用いて、笑顔判定プログラム183が、顔検出部によって検出された顔が笑顔であるか否かを判定する処理について説明する。図6において、笑顔判定プログラム183は、ステップS401にて、笑顔度検出プログラム182によって検出された現在の笑顔度Pを取得する。現在の笑顔度Pは、顔検出部で検出された顔の画像が笑顔であるか否かを判定しようとする時点で検出した笑顔度である。笑顔判定プログラム183は、ステップS402にて、顔認証部での認証結果を参照して登録された顔であるか否かを判定する。登録された顔でなければNO、笑顔判定プログラム183は、処理をステップS404に移行させる。登録された顔であればYES、笑顔判定プログラム183は、ステップS403にて、笑顔非指示時笑顔度である通常笑顔度Pが有効であるか否かを判定する。通常笑顔度Pが有効でなければNO、笑顔判定プログラム183は、処理をステップS404に移行させ、有効であればYES、処理をステップS405に移行させる。笑顔判定プログラム183は、ステップS404にて、現在の笑顔度Pが標準笑顔度である60以上であるか否かを判定する。60以上であればYES、笑顔判定プログラム183は、ステップS409にて、笑顔であると判定する。ステップS404からステップS409へと移行した場合の笑顔であるとの判定は、笑顔であるか否かを判定しようとする時点で検出した顔器官情報のみに基づく判定である。笑顔判定プログラム183は、ステップS405にて、現在の笑顔度Pが絶対笑顔度である90以上であるか否かを判定する。90以上であればYES、笑顔判定プログラム183は、ステップS409にて笑顔であると判定する。90以上でなければNO、笑顔判定プログラム183は、ステップS406にて、現在の笑顔度Pが笑顔指示時笑顔度P以上であるか否かを判定する。現在の笑顔度Pが笑顔指示時笑顔度P以上であればYES、笑顔判定プログラム183は、ステップS407にて、現在の笑顔度Pが通常笑顔度P10以上であるか否かを判定する。現在の笑顔度Pが通常笑顔度P10以上であれば、笑顔判定プログラム183は、ステップS409にて笑顔であると判定する。ステップS406にて現在の笑顔度Pが笑顔指示時笑顔度P以上でなければNO、笑顔判定プログラム183は、ステップS408にて、現在の笑顔度Pが通常笑顔度P30以上であるか否かを判定する。現在の笑顔度Pが通常笑顔度P30以上であれば、笑顔判定プログラム183は、ステップS409にて笑顔であると判定する。ステップS407では、現在の笑顔度Pが通常笑顔度P10以上としたので、ステップS408では、10よりも大きい例えば30とし、通常笑顔度P30以上とすることが好ましい。ステップS405からステップS409へと移行した場合、ステップS407からステップS409へと移行した場合、ステップS408からステップS409へと移行した場合の笑顔であるとの判定は、笑顔であるか否かを判定しようとする時点で検出した顔器官情報と、予め登録しておいた通常笑顔度Pや笑顔指示時笑顔度Pとに基づく判定である。一方、ステップS404にて、現在の笑顔度Pが標準笑顔度である60以上でなかった場合NO、ステップS407にて、現在の笑顔度Pが通常笑顔度P10以上でなかった場合NO、ステップS408にて、現在の笑顔度Pが通常笑顔度P30以上でなかった場合NOには、笑顔判定プログラム183は、ステップS410にて笑顔ではないと判定する。笑顔判定プログラム183は、ステップS409及びステップS410での判定後、処理をステップS401に戻す。ステップS404における標準笑顔度60以上、ステップS405における絶対笑顔度90以上、ステップS407における通常笑顔度P10の10、ステップS408における通常笑顔度P30の30は好適な例であるが、これらの数値に限定されるものではない。以上説明したように、本実施形態では、被写体に対して笑顔を指示していない状態で笑顔度検出部が検出した笑顔非指示時笑顔度と、被写体に対して笑顔を指示した状態で笑顔度検出部が検出した笑顔指示時笑顔度とを用いて、笑顔判定部が笑顔であるか否かを判定するので、人それぞれの顔の作りや笑顔の程度が異なっても、笑顔の判定精度を向上させることができる。顔の作りが異なれば笑い方も異なることになり、笑顔の程度がばらつくことになる。笑顔非指示時笑顔度と笑顔指示時笑顔度とを用いることにより、笑顔の程度がばらついても、人それぞれの笑顔でない状態と笑顔の状態とを区別することが可能となる。また、本実施形態では、好ましい構成として、顔を撮影装置の正面に向けた正面顔画像情報と、顔を上下左右の内の少なくとも1つの方向に向けた非正面顔画像情報とを通常顔画像情報として登録するので、顔の認証精度が向上する。正面顔画像情報に基づいて検出した笑顔度と非正面顔画像情報に基づいて検出した笑顔度とを所定の割合で加算した笑顔度を用いれば、顔の向きが異なっても、精度よく笑顔であるか否かを判定すること可能となる。本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図6に示す笑顔判定処理は好ましい判定処理の例を示すが、図6に限定されるものではない。笑顔判定部は、笑顔であるか否かを判定しようとする時点で検出した現在の笑顔度と、笑顔非指示時笑顔度と、笑顔指示時笑顔度とを用い、これらを適宜比較して、現在の笑顔度と笑顔非指示時笑顔度または笑顔指示時笑顔度の大小関係や差の程度に基づいて笑顔であるか否かを判定すればよい。本発明はハードウェアで構成してもソフトウェアで構成してもよい。両者を適宜組み合わせてもよく、ハードウェアとソフトウェアの使い分けは任意である。本発明をコンピュータプログラムとして構成して、記録媒体に記録して頒布したり、インターネット等の通信回線によって提供したりしてもよい。"