(57)【要約】【課題】この発明は、ユーザの笑顔の持続性を客観的に評価することを可能にし、その結果ユーザの笑顔の状態をより正確に評価することができる画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。【解決手段】前記測定手段により測定した前記変化量に基づいて、前記評価手段の笑顔度数値化部により、笑顔の認識度を笑顔度として数値化するステップと、該数値化した笑顔度を前記測定時間内にて前記評価手段の積算部により積算するステップと、該積算部にて積算した積算値に基づいて、前記評価手段の笑顔評価情報生成部により、笑顔の状態の評価に関連する笑顔評価情報を生成するステップと、該笑顔評価情報生成部にて生成した前記笑顔評価情報を出力手段により出力するステップとを備えた。【選択図】図１９
2010186373.tif 000002
【特許請求の範囲】
【請求項１】
画像データから顔画像を検知する顔画像検知手段と、
該顔画像検知手段により検知した顔画像の特徴部位の変化量を測定する測定手段と、
該測定手段の測定結果に基づいて笑顔の状態を評価する評価手段とを備えた画像処理装置であって、
前記測定手段による測定時間を設定する測定時間設定手段と、
出力手段とを備えるとともに、
前記測定手段は、前記測定時間設定手段により設定した測定時間内に、前記変化量を複数回測定し、
前記評価手段は、前記測定手段により測定した前記変化量に基づいて、笑顔の認識度を笑顔度として数値化する笑顔度数値化部と、
該笑顔度数値化部により数値化した笑顔度を前記測定時間内にて積算する積算部と、
該積算部にて積算した積算値に基づいて、笑顔の状態の評価に関連する笑顔評価情報を生成する笑顔評価情報生成部とを備え、
前記出力手段は、前記笑顔評価情報生成部にて生成した前記笑顔評価情報を出力する
画像処理装置。
【請求項２】
前記笑顔度の目標値を入力する入力手段を備え、
前記笑顔評価情報生成部は、前記積算部にて積算した積算値に基づいて、前記笑顔度の平均値を算出しつつ、
前記笑顔評価情報として、前記平均値に関連する平均値情報を生成し、
前記出力手段は、前記入力手段により入力した目標値と、前記笑顔評価情報生成部にて生成した前記平均値情報とを併せて出力する
請求項１記載の画像処理置。
【請求項３】
前記測定時間にわたって算出した前記平均値を、１ユーザにおいて複数件分記憶する平均値記憶手段を備え、
前記笑顔評価情報生成部は、前記複数件分の各平均値を前記平均値記憶手段から読み出しつつ、前記笑顔評価情報として、前記各平均値を時系列に配列した個人履歴情報を生成し、
前記出力手段は、前記個人履歴情報を出力する
請求項２記載の画像処理装置。
【請求項４】
前記積算部にて積算した笑顔度の積算値を、複数のユーザ分記憶する積算値記憶手段を備え、
前記笑顔評価情報生成部は、前記積算値記憶手段に記憶したユーザの積算値を読み出して、該積算値の大小に基づくランク付け処理を実行しつつ、
前記笑顔評価情報として、前記ランク付け処理結果に関連するランキング情報を生成し、
前記出力手段は、前記ランク付けに関連する情報を出力する
請求項１記載の画像処理装置。
【請求項５】
前記積算部は、前記顔画像検知手段により複数のユーザの顔画像を検知した状態において各ユーザ毎に笑顔度を同時に積算するものであり、
前記笑顔評価情報生成部は、前記複数のユーザの積算値の総和を算出するとともに、
該積算値の総和に対する、各ユーザの前記積算値の比率を算出し、
前記笑顔評価情報として、前記比率に関連する比率情報を生成し、
前記出力手段は、前記比率情報を出力する
請求項１記載の画像処理装置。
【請求項６】
前記画像データから顔画像を含む領域を抽出して該顔画像を表示手段に表示させる制御を実行する表示制御手段を備え、
該表示制御手段は、前記顔画像検知手段により検知した前記顔画像を含む顔画像表示領域を、前記画像データから選択し、抽出する顔画像抽出部を備えるとともに、
前記画像データと、前記顔画像表示領域の全画像データ内における位置とに基づいて、前記顔画像表示領域を除いた領域の中から、最も広範囲な領域を検索し、該検索結果に基づいて、該領域を背景画像表示領域として選択し、抽出する背景画像抽出部を備え、
該表示制御手段は、前記表示手段に対し、前記顔画像抽出部により抽出した顔画像を含む顔画像表示領域と、前記背景画像抽出部により抽出した前記背景画像表示領域とを並列に表示させる制御を実行する
請求項５記載の画像処理装置。
【請求項７】
前記笑顔度に応じて予め設定したアドバイス情報を記憶するアドバイス情報記憶手段を備え、
前記出力手段は、前記笑顔度に応じて前記アドバイス情報記憶手段から読み出したアドバイス情報を、前記測定時間内に出力する
請求項１から６のいずれか１つに記載の画像処理装置。
【請求項８】
前記測定時間内において最高の笑顔度を示した時の最高笑顔度画像データを検索する検索手段と、
該検索手段の検索結果に基づいて前記最高笑顔度画像データを記憶する画像データ記憶手段とを備えた
請求項１から７のいずれか１つに記載の画像処理装置。
【請求項９】
画像データから顔画像検知手段により顔画像を検知するステップと。
該顔画像検知手段により検知した顔画像の特徴部位の変化量を、測定手段により測定するステップと、
該測定手段の測定結果に基づいて笑顔の状態を評価手段により評価するステップとを備えた画像処理方法であって、
前記測定手段による測定時間を測定時間設定手段により設定するステップと、
該測定時間設定手段により設定した測定時間内に、前記測定手段により前記変化量を複数回測定するステップと、
前記測定手段により測定した前記変化量に基づいて、前記評価手段の笑顔度数値化部により、笑顔の認識度を笑顔度として数値化するステップと、
該数値化した笑顔度を前記測定時間内にて前記評価手段の積算部により積算するステップと、
該積算部にて積算した積算値に基づいて、前記評価手段の笑顔評価情報生成部により、笑顔の状態の評価に関連する笑顔評価情報を生成するステップと、
該笑顔評価情報生成部にて生成した前記笑顔評価情報を出力手段により出力するステップとを備えた
画像処理方法。
【請求項１０】
コンピュータに、
画像データから顔画像検知手段により顔画像を検知するステップと。
該顔画像検知手段により検知した顔画像の特徴部位の変化量を、測定手段により測定するステップと、
該測定手段の測定結果に基づいて笑顔の状態を評価手段により評価するステップとを実行させる画像処理プログラムであって、
前記測定手段による測定時間を測定時間設定手段により設定するステップと、
該測定時間設定手段により設定した測定時間内に、前記測定手段により前記変化量を複数回測定するステップと、
前記測定手段により測定した前記変化量に基づいて、前記評価手段の笑顔度数値化部により、笑顔の認識度を笑顔度として数値化するステップと、
該数値化した笑顔度を前記測定時間内にて前記評価手段の積算部により積算するステップと、
該積算部にて積算した積算値に基づいて、前記評価手段の笑顔評価情報生成部により、笑顔の状態の評価に関連する笑顔評価情報を生成するステップと、
該笑顔評価情報生成部にて生成した前記笑顔評価情報を出力手段により出力するステップとを実行させる
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データから検知した顔画像の特徴部位の変化量の測定結果に基づいて笑顔の状態を評価する画像処理方法、画像処理装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、他人とのコミュニケーションを円滑に図ることを目的として、先ずは、自身の喜怒哀楽の状態おける表情の豊かさを客観的に評価したいという要求が高まっている。
【０００３】
そこで、下記特許文献１では、カメラによって抽出したユーザの顔の特徴部分の変化を測定し、その測定結果に基づいて表情の豊かさに関連する表情力を数値化することにより、ユーザの表情を客観的に評価することを可能にしたものが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６４３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、友人、知人等とのプライベートな付き合いの場や、接客業の接客業務においては、自身（従業員）の笑顔により他人や顧客に与える印象をより良いものにすることができ、友人、知人や、顧客との関係をより深めることができる。
【０００６】
そこで、前記特許文献１に開示されている技術を用いて、自身の笑顔の豊かさ、つまりは笑顔の度合い（笑顔度という）を客観的に評価し、その評価結果に基づいて笑顔度をより向上させるためのトレーニングを行うようにすることも考えられる。
【０００７】
しかしながら、前記特許文献１に開示されているものは、あくまでもユーザの瞬間的な表情の変化を捉え、その瞬間的な変化に基づいて評価をしているに過ぎない。
【０００８】
人間の喜怒哀楽のうち、特に「喜」、「楽」に関連する笑顔については、それが瞬間的でなく、持続的である時に、初めて他人により笑顔の状態であると認識（評価）されると考えられる。従って、前記特許文献１に開示されているものでは、笑顔の持続性を客観的に評価することができず、笑顔の状態についてより正確な評価を得るには不十分であった。
【０００９】
この発明は、ユーザの笑顔の持続性を客観的に評価することを可能にし、その結果ユーザの笑顔の状態をより正確に評価することができる画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明は、画像データから顔画像検知手段により顔画像を検知するステップと、該顔画像検知手段により検知した顔画像の特徴部位の変化量を、測定手段により測定するステップと、該測定手段の測定結果に基づいて笑顔の状態を評価手段により評価するステップとを備え、前記測定手段による測定時間を測定時間設定手段により設定するステップと、該測定時間設定手段により設定した測定時間内に、前記測定手段により前記変化量を複数回測定するステップと、前記測定手段により測定した前記変化量に基づいて、前記評価手段の笑顔度数値化部により、笑顔の認識度を笑顔度として数値化するステップと、該数値化した笑顔度を前記測定時間内にて前記評価手段の積算部により積算するステップと、該積算部にて積算した積算値に基づいて、前記評価手段の笑顔評価情報生成部により、笑顔の状態の評価に関連する笑顔評価情報を生成するステップと、該笑顔評価情報生成部にて生成した前記笑顔評価情報を出力手段により出力するステップとを備えた画像処理方法、及びこの方法を実行する画像処理装置、及び画像処理プログラムであることを特徴とする。
【００１１】
出力手段は、液晶ディスプレイや、ＣＲＴディスプレイ等、文字、図形等で表された笑顔評価情報を画面表示する表示装置や、笑顔評価情報を音声案内出力するスピーカ等の音声出力装置で構成することができる。
【００１２】
この発明により、瞬間的な笑顔のみならず、測定時間内における自身の笑顔の持続性を客観的に評価することができ、その結果、ユーザの笑顔の状態をより正確に評価することができる。
【００１３】
この発明の態様として、前記笑顔度の目標値を入力する入力手段を備え、前記笑顔評価情報生成部は、前記積算部にて積算した積算値に基づいて、前記笑顔度の平均値を算出しつつ、前記笑顔評価情報として、前記平均値に関連する平均値情報を生成し、前記出力手段は、前記入力手段により入力した目標値と、前記笑顔評価情報生成部にて生成した前記平均値情報とを併せて出力する構成とすることができる。  
これにより、測定時間内における笑顔の持続性の度合いと、目標との差を容易に認識することができる。そして、ユーザが今後笑顔作りのトレーニングを続けるにあたり、前記差分を、トレーニングのスケジュールやトレーニングメニュー等を設定する際の目安とすることができる。
【００１４】
この発明の態様として、前記測定時間にわたって算出した前記平均値を、１ユーザにおいて複数件分記憶する平均値記憶手段を備え、前記笑顔評価情報生成部は、前記複数件分の各平均値を前記平均値記憶手段から読み出しつつ、前記笑顔評価情報として、前記各平均値を時系列に配列した個人履歴情報を生成し、前記出力手段は、前記個人履歴情報を出力する構成とすることができる。  
これにより、ユーザは、自身の笑顔の持続性がどの程度向上しているかといったトレーニングの成果をより長期的にウォッチングすることができる。従って、今後のトレーニングのスケジュールやトレーニングメニュー等の設定をより容易なものとすることができる。
【００１５】
この発明の態様として、前記積算部にて積算した笑顔度の積算値を、複数のユーザ分記憶する積算値記憶手段を備え、前記笑顔評価情報生成部は、前記積算値記憶手段に記憶したユーザの積算値を読み出して、該積算値の大小に基づくランク付け処理を実行しつつ、前記笑顔評価情報として、前記ランク付け処理結果に関連するランキング情報を生成し、前記出力手段は、前記ランク付けに関連する情報を出力する構成とすることができる。  
これにより、自身の笑顔の持続性と他ユーザの笑顔の持続性とを相対的に評価することができる。このため、複数のユーザ同士で競争意識を高揚させることができ、その結果、笑顔の持続性向上をより促進させることができる。
【００１６】
この発明の態様として、前記積算部は、前記顔画像検知手段により複数のユーザの顔画像を検知した状態において各ユーザ毎に笑顔度を同時に積算するものであり、前記笑顔評価情報生成部は、前記複数のユーザの積算値の総和を算出するとともに、該積算値の総和に対する、各ユーザの前記積算値の比率を算出し、前記笑顔評価情報として、前記比率に関連する比率情報を生成し、前記出力手段は、前記比率情報を出力する構成とすることができる。  
これにより、笑顔作りをゲーム感覚で楽しむことができ、ユーザは、持続的な笑顔を自然に身に付けることが可能になる。
【００１７】
この発明の態様として、前記画像データから顔画像を含む領域を抽出して該顔画像を表示手段に表示させる制御を実行する表示制御手段を備え、該表示制御手段は、前記顔画像検知手段により検知した前記顔画像を含む顔画像表示領域を、前記画像データから選択し、抽出する顔画像抽出部を備えるとともに、前記画像データと、前記顔画像表示領域の全画像データ内における位置とに基づいて、前記顔画像表示領域を除いた領域の中から、最も広範囲な領域を検索し、該検索結果に基づいて、該領域を背景画像表示領域として選択し、抽出する背景画像抽出部を備え、該表示制御手段は、前記表示手段に対し、前記顔画像抽出部により抽出した顔画像を含む顔画像表示領域と、前記背景画像抽出部により抽出した前記背景画像表示領域とを並列に表示させる制御を実行する構成とすることができる。  
これにより、装置の操作を行ったユーザ以外の他ユーザが、前記顔画像と並列に表示された背景画像表示領域に基づいて、自身の顔画像が検知されるための位置を容易に特定することができる。
【００１８】
この発明の態様として、前記笑顔度に応じて予め設定したアドバイス情報を記憶するアドバイス情報記憶手段を備え、前記出力手段は、前記笑顔度に応じて前記アドバイス情報記憶手段から読み出したアドバイス情報を、前記測定時間内に出力する構成とすることができる。  
これにより、測定中のユーザに対し、リアルタイムで的確なアドバイスを送ることができ、その結果、笑顔の持続性のさらなる向上を図ることができる。
【００１９】
この発明の態様として、前記測定時間内において最高の笑顔度を示した時の最高笑顔度画像データを検索する検索手段と、該検索手段の検索結果に基づいて前記最高笑顔度画像データを記憶する画像データ記憶手段とを備えた構成とすることができる。  
これにより、測定を行ったユーザ自身、または他ユーザが笑顔作りのためのトレーニングを行うにあたり、最高笑顔度を示した顔画像データを参考材料として使用することができる。
【発明の効果】
【００２０】
この発明により、ユーザの笑顔の持続性を客観的に評価することを可能にし、その結果ユーザの笑顔の状態をより正確に評価することができる。
【図面の簡単な説明】
【００２１】
【図１】この発明の実施形態に係る画像処理装置の使用状態を示す図。
【図２】画像処理装置を示すブロック図。
【図３】制御装置によるユーザの顔形状特定方法を説明するための図。
【図４】笑顔の状態における顔の特徴部位の変化を説明するための図。
【図５】笑顔度算出マップを示す図。
【図６】初期画面を示す図。
【図７】トレーニングモードにおける、（ａ）ログイン画面を示す図、（ｂ）トレーニング画面を示す図。
【図８】トレーニング結果表示画面を示す図。
【図９】設定画面のうち、ユーザ管理タブの表示画面を示す図。
【図１０】設定画面のうち、個人設定タブの表示画面を示す図。
【図１１】設定画面のうち、全体設定タブの表示画面を示す図。
【図１２】アドバイスメッセージの表示処理を説明するための図。
【図１３】ランキングモードにおけるランキング測定画面を示す図。
【図１４】ランキングモードにおける積算値算出処理を説明するための図。
【図１５】ランキング結果表示画面を示す図。
【図１６】（ａ）カメラの撮影画像示す図、（ｂ）対戦モードにおける対戦画面を示す図。
【図１７】対戦モードにおける対戦画面を示す図であって、対戦中の状態を示す図。
【図１８】対戦モードにおける比率算出処理を説明するための図。
【図１９】画像処理装置のトレーニングモードにおける動作を示すフローチャート。
【図２０】笑顔度算出サブルーチンの動作を示すフローチャート。
【図２１】画像処理装置のランキングモードにおける動作を示すフローチャート。
【図２２】画像処理装置の対戦モードにおける動作を示すフローチャート。
【図２３】（ａ）適性検査モードにおける適正検査画面を示す図、（ｂ）評価ランクテーブルを示す図。
【図２４】適性検査モードにおける適正検査結果表示画面を示す図。
【発明を実施するための形態】
【００２２】
以下、図面に基づいて本発明の実施形態を詳述する。  
図１は、本発明の実施形態に係る画像処理装置１の使用状態を示す図である。画像処理装置１は、図１に示すように、主に、笑顔の状態を評価するための諸演算を実行するコンピュータ１ａと、表示装置としてのディスプレイ装置１０、及び入力装置２０を構成するキーボード２１、マウス２２を備えたパーソナルコンピュータ１ｂ（以下コンピュータ１ｂと略記する。）とからなり、両コンピュータ１ａ、１ｂは、ＬＡＮケーブル２により接続されている。
【００２３】
また、図１では、ユーザＵを撮影するカメラ３が専用のケーブル４を介してコンピュータ１ａに接続されている。このような接続により、カメラ３により撮影されたユーザＵの画像データは、コンピュータ１ａを介してコンピュータ１ｂに送信され、そのディスプレイ装置１０に表示されるようになっている。なお、図１では、コンピュータ１ｂとしてノート型のパーソナルコンピュータを使用しているが、表示装置及び入力装置を備えているものであればこれに限定されるものではない。また、本実施形態では、２つのコンピュータ１ａ、１ｂにより画像処理装置１を構成しているが、コンピュータ１ａをコンピュータ１ｂ内に集約させた構成としてもよい。
【００２４】
図２は、画像処理装置１を示すブロック図である。画像処理装置１は、図２に示すように、制御装置３０にディスプレイ装置１０、入力装置２０、記憶装置４０及びタイマ装置５０が接続されることにより構成される。
【００２５】
制御装置３０は、例えばＣＰＵにより構成されており、記憶装置４０内に記憶されたプログラムに基づいて制御動作を実行するものである。なお、図２では、説明の便宜上、２つのコンピュータ１ａ、１ｂに搭載された制御装置や記憶装置を一体化して示している。
【００２６】
ディスプレイ装置１０は、カメラ３（図１参照）により撮影されたユーザＵの顔画像を制御装置３０で演算処理し、その結果生成された画像データを表示するものである。入力装置２０は、例えば、ユーザＵの適宜の入力操作によりその操作に関連する命令やデータを入力するためのものである。
【００２７】
記憶装置４０は、例えばＲＯＭ、ＲＡＭや、ハードディスク等により構成され、この記憶装置４０には、主に制御装置３０が制御動作を実行するためのプログラムの他、後述する三次元顔モデルデータ、笑顔度算出マップ、測定時間、ユーザの登録情報、笑顔度の目標値、アドバイスメッセージ情報、出力件数等が記憶されている。
【００２８】
タイマ装置５０は、記憶装置４０に記憶された測定時間を設定するためのものである。
【００２９】
図３は、制御装置３０によるユーザＵの顔形状特定方法を説明するための図である。本実施形態では、ユーザＵの顔形状を特定すべく、図３（ａ）に示すような三次元顔モデルＭのデータが、図２に示す記憶装置４０内に記憶されている。この三次元顔モデルＭは、数千人分の顔画像のサンプルに基づき作成されたものであり、顔の表面や、目、鼻、口等の顔の特徴部位を線で結んだものとなっている。
【００３０】
本実施形態に係る制御装置３０は、先ずカメラ３により撮影された画像からユーザＵの顔画像を検知し、その画像データを抽出する。そして、図３（ｂ）に示すように、二次元の顔画像データに対して上述した三次元顔モデルＭを適合させる（フィッティングという）。これにより、ユーザＵの顔表面の凹凸や、特徴部位の位置を特定し、ユーザＵの顔形状を特定する。
【００３１】
さらに、本実施形態では、上述した方法により特定したユーザＵの顔形状から、笑顔の状態、つまりは他人による笑顔の認識度を笑顔度として数値化することを可能としている。例えば、ユーザＵが笑顔の状態となった時には、図４に示すように、しわの数（図中丸印で囲んだ部位Ｐ１）が増える、口の開き幅（図中矢印部位Ｐ２）が大きくなる、口角（図中丸印で囲んだ部位Ｐ３）が上がる、目尻（図中丸印で囲んだ部位Ｐ４）が下がる、目の開き幅（図中の矢印部位Ｐ２で示す）が小さくなるといった変化が現れる。そこで、制御装置３０では、これら各特徴部位Ｐ１〜Ｐ５における変化量の測定に基づいて前記笑顔度を算出している。
【００３２】
具体的には、各特徴部位Ｐ１〜Ｐ５毎に、その変化量と、笑顔度に関連する度数との関係を示す、図５（ａ）〜（ｅ）のような笑顔度算出マップを予め作成している。そして、特徴部位Ｐ１〜Ｐ５の変化量の測定結果に基づいて、それに対応する度数を求めることにより、笑顔度を算出することを可能にしている。
【００３３】
ここで、図５に示す笑顔度算出マップは、千人以上の顔サンプルをもとに作成されている。具体的には、この顔サンプルを評価者（モニター）に見せ、それぞれの表情が笑顔の状態であるか否かを評価させる。そして、大多数の評価者が笑顔であると評価した半数の顔サンプルと、大多数の評価者が笑顔でないと評価した半数の顔サンプルとに分ける。
【００３４】
さらに、笑顔と評価されなかった顔サンプルにおける、特徴部位Ｐ１〜Ｐ５の変化量について平均値「ｘ１」、「ｘ３」、「ｘ５」、「ｘ７」、「ｘ９」（図５参照）を算出する。そして、前記部位Ｐ１〜Ｐ５の各測定値が前記平均値「ｘ１」、「ｘ３」、「ｘ５」、「ｘ７」、「ｘ９」以下の時をそれぞれ度数「０」と定義している。
【００３５】
一方、笑顔と評価された顔サンプルにおける各特徴部位Ｐ１〜Ｐ５の変化量の各平均値「ｘ２」、「ｘ４」、「ｘ６」、「ｘ８」、「ｘ１０」（図５参照）を算出する。そして、前記部位Ｐ１〜Ｐ５の各測定値が前記平均値「ｘ２」、「ｘ４」、「ｘ６」、「ｘ８」、「ｘ１０」以上の時をそれぞれ度数「１００」と定義している。
【００３６】
前記笑顔度算出マップでは、このような度数の定義に基づき、直線グラフが作成され、特徴部位Ｐ１〜Ｐ５毎に、その変化量と度数との関係を定義している。この笑顔度算出マップでは、例えば、ユーザＵのしわの数が（ｘ２−ｘ１）／２（本）であった時、度数は５０とされる。
【００３７】
ここで、制御装置３０が、前記笑顔度算出マップに基づき、各特徴部位Ｐ１〜Ｐ５毎に度数を求め、さらにその度数の平均値を算出することで、ユーザＵの笑顔度が数値化される（この平均値の算出による笑顔度算出の方法は統合推論と呼ばれる。）。
【００３８】
この数値化された笑顔度は、換言すれば、他人により笑顔の状態であると認識される認識度であり、この認識度を笑顔度という形で数値化することにより、笑顔の状態を客観的に示す際の目安とすることができる。
【００３９】
但し、他人に笑顔の状態であると評価（認識）されるにあたっては、特徴部位Ｐ１〜Ｐ５毎にその寄与率が異なる。このため、実際、度数の平均値を求める際には、前記寄与率が高いと思われる特徴部位について、その度数に重み付けがなされる。
【００４０】
次に、図６〜図１８を参照して、本実施形態に係る画像処理装置１の使用例を説明する。先ず、画像処理装置１を起動させると、制御装置３０は、ディスプレイ装置１０に、図６に示すような初期画面１１を表示させる。
【００４１】
初期画面１１では、トレーニングモード選択ボタン１１ａ、ランキングモード選択ボタン１１ｂ、及び対戦モード選択ボタン１１ｃが表示され、ユーザＵが入力装置２０の操作によって、各ボタン１１ａ〜１１ｃのいずれを押下操作することにより、動作モードが選択されるようになっている。
【００４２】
先ず、図７、図８を参照して、トレーニングモードにおける使用例を説明する。図６に示す初期画面１１Ａにおいてトレーニングモード選択ボタン１１ａを押すと、制御装置３０は、いわゆるトレーニングモードを開始し、ディスプレイ装置１０に対し、図７（ａ）に示すようなログイン画面１２Ａを表示させる。ログイン画面１２Ａでは、パスワード入力部１２ａと、パスワード入力用の文字を選択するための文字一覧表示部１２ｂとが表示される。ここで、ユーザＵ１（図７（ｂ）参照）は、入力装置２０を用いて、文字一覧表示部１２ｂに表示された文字を押下操作することにより、文字を選択できるようになっている。
【００４３】
この時、制御装置３０は、入力されたパスワードと予め登録されたパスワードとの照合を実行し、前記入力されたパスワードが正しい時には、図７（ｂ）に示すようなトレーニング画面１２Ｂをディスプレイ装置１０に表示させる。このトレーニング画面１２Ｂでは、ユーザＵ１の顔がカメラ３（図１参照）の撮影範囲に入っていた時には、顔画像が表示され、制御装置３０は、ユーザＵ１の顔の位置の検知により、ユーザＵ１の顔画像を囲む枠部１２ｃを表示させる。
【００４４】
そして、制御装置３０は、トレーニング画面１２Ｂに表示されたユーザＵ１の顔の各特徴部位Ｐ１〜Ｐ５（図４参照）を検知し、図３〜図５を参照して説明した前記方法に基づいて笑顔度の算出を開始する。この笑顔度の算出開始により、笑顔作りのためのトレーニングが開始される。
【００４５】
トレーニング画面１２Ｂでは、算出した笑顔度が枠部１２ｃの表示部１２ｄにて数字で示されるとともに（図では「１７」）、三角形状をなす表示部１２ｅの大小によって図形の形で表示される。表示部１２ｅでは、笑顔度が増すほど三角形部分が拡大するようになっている。
【００４６】
また、本実施形態では、トレーニングモードにおいて笑顔度の算出を開始すると、タイマ装置５０（図２参照）が作動し、予め設定した測定時間で、前記特徴部位Ｐ１〜Ｐ５の変化量の測定を行い、かつ笑顔度の算出を行うようになっている。トレーニング画面１２Ｂでは、測定開始からの経過時間を示す表示部１２ｆが表示されるとともに（図では７秒）、予め設定した測定（設定）時間（図では３０秒）が表示部１２ｇに表示されている。
【００４７】
また、本実施形態では、制御装置３０が、所定時間（例えば０．５秒）毎にユーザＵ１の顔画像データを抽出し、これを記憶装置４０に記憶させつつ、新たに抽出された顔画像データに対して都度笑顔度を算出するようになっている。トレーニング画面１２Ｂでは、表示部１２ｄ、１２ｅにて笑顔度をリアルタイムで更新表示するようになっている。
【００４８】
また、トレーニング画面１２Ｂでは、算出した笑顔度に対応したアドバイスメッセージが表示部１２ｈに表示されるようになっている。これにより、ユーザＵ１に対し、笑顔度を増すために必要な事柄等をメッセージの形で伝えることができるようになっている。
【００４９】
また、トレーニング画面１２Ｂでは、予め設定された、笑顔度の目標値となる笑顔らしさ指数が表示部１２ｉに表示されている（図では「８０」）。これにより、ユーザＵ１は、現在の笑顔度と目標値との比較によって笑顔作りの達成度を知ることができるようになっている。
【００５０】
また、トレーニングモードでは、制御装置３０が、このように時々刻々と更新される笑顔度を積算している。そして、この積算値と画像データの抽出回数とに基づいて都度平均値を算出しており、トレーニング画面１２Ｂの表示部１２ｊに平均値情報としての平均笑顔度を表示するようになっている（図では「２５」）。
【００５１】
そして、測定時間が経過すると、ディスプレイ装置１０には、図８に示すようなトレーニング結果表示画面１２Ｃが表示される。トレーニング結果表示画面１２Ｃでは、表示部１２ｋに、最終の総合平均笑顔度の算出結果（図では「２５」）が表示される。
【００５２】
また、制御装置３０は、測定時間中における笑顔度の最大値、つまりは最高笑顔度を記憶装置４０に記憶させるようになっている。トレーニング結果表示画面１２Ｃでは、設定時間内に記憶装置４０に記憶された最高笑顔度が、最高笑顔度表示部１２ｍにおいてＭＡＸ笑顔度として表示される（図では「６１」）。また、トレーニング結果表示画面１２Ｃでは、その下部に最大笑顔度履歴グラフ１２ｎが表示され、ユーザＵ１の過去の測定結果も踏まえて生成された最大笑顔度履歴（後述）がグラフ化された形で表示されている。
【００５３】
ところで、画像処理装置１では、入力装置２０を用いたユーザＵ１等の適宜の操作により、図９〜図１１に示すような、各種設定を行うための設定画面１３を表示可能としている。図９では、設定画面１３において、ユーザ管理タブ１３Ａが表示選択された状態を示しており、画像処理装置１を利用するユーザＵ１等がログインする際に必要となる個人情報等の各種管理情報が表示されている。
【００５４】
ユーザ管理タブ１３Ａでは、アカウント欄１３ａ、パスワード欄１３ｂ、個人名称欄１３ｃ、目標笑顔度欄１３ｄ、権限欄１３ｅが表示されている。
【００５５】
アカウント欄１３ａでは、画像処理装置１を利用可能とされるユーザに割り当てられたアカウントが示されている。パスワード欄１３ｂでは、各ユーザが自ら設定したパスワードが示されている。個人名称欄１３ｃでは、各ユーザの実名やニックネーム等の個人名称が示されている。
【００５６】
目標笑顔度欄１３ｄでは、上述したトレーニングモードにおいて各ユーザ毎に設定された目標笑顔度が示されている。権限欄１３ｅ欄では、管理情報を変更できる権限者を示しており、ここで管理者とは、例えば、画像処理装置１の所有者、または、管理責任者とされる。
【００５７】
ここで、既に画像処理装置１のユーザとして登録された各種管理情報を変更する場合や、新たにユーザ登録する場合には、ユーザ管理タブ１３Ａの表示画面にて入力装置２０を用いて所定の入力操作を行った後、設定・登録ボタン１３ｆを押すことにより、その入力された情報が記憶装置４０に記憶されるようになっている。
【００５８】
図１０では、設定画面１３において、個人設定タブ１３Ｂが表示選択された状態を示しており、トレーニングモードで測定を行ったユーザ毎の各種情報が表示されている。
【００５９】
個人設定タブ１３Ｂでは、過去にトレーニングモードで測定を行った際の測定結果に関する個人履歴情報を示しており、「トレーニングモード個人履歴」一覧において、履歴日時欄１３ｇ、最大笑顔度欄１３ｈ、平均笑顔度欄１３ｉが表示されている。なお、これら個人履歴情報は、記憶装置４０内に記憶され、ユーザの適宜の操作により制御装置３０が記憶装置４０内のデータを読み出して個人設定タブ１３Ｂの表示画面に表示するようになっている。
【００６０】
そして、本実施形態では、過去にトレーニングモードで測定を行った際の測定結果のうち、最大笑顔度及び平均笑顔度を時系列に配列してグラフ化し、このグラフを目標笑顔度と併せて個人履歴情報として表示部１３ｊにて表示するようになっている。該当するユーザは、最新の測定結果から遡ってグラフ化を希望する件数（前記設定時間にわたって測定を行った回数）を設定部１３ｋにて設定できるようになっている。
【００６１】
図１０では、設定部１３ｋの設定により、最新のものから１０件分をグラフ化する設定となっている。この設定に基づき、図８に示すトレーニング結果表示画面１２Ｃの最大笑顔度履歴グラフ１２ｎでは、最新の結果も含めた過去１０件分の最大笑顔度の推移が表示される。
【００６２】
また、本実施形態では、トレーニングモードにおいて算出された平均笑顔度や最高笑顔度等の個人履歴情報の他にも、最高笑顔度を示したユーザＵ１の顔画像データを記憶装置４０に記憶できるようになっている。
【００６３】
ここで、設定部１３ｍでは、ユーザ自身が、最大笑顔度における顔画像データ（写真）を保存するか、または、トレーニングモードにおけるユーザの個人履歴情報を保存するか、またはその両方を保存するかを指定できるようになっており、この選択結果に基づいて、制御装置３０は、記憶装置４０に記憶するデータを選択する。
【００６４】
また、個人設定タブ１３Ｂでは、設定部１３ｎにて、トレーニングモードにおける目標笑顔度（トレーニング画面１２Ｂにおける「笑顔らしさ」）を設定できるようになっている。
【００６５】
ここで、個人設定タブ１３Ｂの設定部１３ｋ、１３ｍ、１３ｎにて設定値の新規設定操作、または変更操作がなされた場合には、設定・登録ボタン１３ｐを押すことにより、その設定、変更された情報が記憶装置４０に記憶されるようになっている。
【００６６】
図１１では、設定画面１３において、全体設定タブ１３Ｃが表示選択された状態を示しており、上述したトレーニングモードの他、後述するランキングモード、対戦モードに関連する各種情報が表示されている。
【００６７】
全体設定タブ１３Ｃでは、表示部１２ｈ（図７参照）に表示されるメッセージパターンが表示されており、「笑顔度とアドバイスメッセージ」一覧において、笑顔度欄１３ｑ、アドバイスメッセージ欄１３ｒが表示されている。
【００６８】
記憶装置４０では、笑顔度に応じて異なる文言が設定されたアドバイスメッセージパターンが記憶されており、そのパターン一覧が「笑顔度とアドバイスメッセージ」一覧に示されている。
【００６９】
ここで、前記アドバイスメッセージは、制御装置３０の制御によって、図１２に示すように、顔画像データの複数抽出回毎に（図では６抽出回毎であって、つまりは３秒毎）に更新されるようになっている。図１２では、ハッチングを施した抽出回での笑顔度に基づき、次の顔画像データ抽出時にアドバイスメッセージを更新表示するようになっている。例えば、図１２において、抽出回数が１２回目の時には、笑顔度が「１６」であるため、抽出回数が１３回目の時には、図１１の前記一覧に基づいて、笑顔度「１６」に対応する「精一杯の笑顔を！」とのアドバイスメッセージが表示される。
【００７０】
なお、現在の笑顔度に限らず、測定開始からの平均笑顔度に基づいて、前記一覧からアドバイスメッセージを選択するようにしてもよい。また、６抽出回分（３秒間）の平均笑顔度に基づいて、前記一覧からアドバイスメッセージを選択するようにしてもよい。
【００７１】
また、制御装置３０におけるアドバイスメッセージの更新は、各抽出回毎に実行するものの、ユーザＵ１がメッセージ内容を把握するのに要する時間を考慮して、抽出回数が所定回（例えば、６抽出回）に達するまで表示状態を維持するように制御してもよい。
【００７２】
また、図１１に示す全体設定タブ１３Ｃでは、設定部１３ｓにて、トレーニングモードにおける測定時間、設定部１３ｔにて、ランキングモードにおけるランキング時間（測定時間）、設定部１３ｕにて、ランキング維持笑顔度（後述）、設定部１３ｖにて、対戦モード時における対戦時間（測定時間）を設定できるようになっている。
【００７３】
また、設定部１３ｗでは、全ユーザについて、最大笑顔度における顔画像データ（写真）を保存するか、または、トレーニングモードにおけるユーザの個人履歴情報を保存するか、またはその両方を保存するかを指定できるようになっている。そして、最新の測定結果から遡って記憶する件数を設定部１３ｘにて設定できるようになっている。制御装置３０は、この設定部１３ｘでの選択結果に基づいて記憶装置４０に記憶するデータを選択する。
【００７４】
ここで、全体設定タブ１３Ｃの設定部１３ｓ〜１３ｘにて設定値の新規設定操作、または変更操作がなされた場合には、設定・登録ボタン１３ｙを押すことにより、その設定、変更された情報が記憶装置４０に記憶されるようになっている。
【００７５】
次に、図１３〜図１５を参照して、ランキングモードにおける使用例を説明する。図６に示す初期画面１１Ａにおいてランキングモード選択ボタン１１ｂを押すと、制御装置３０は、いわゆるランキングモードを開始させ、ディスプレイ装置１０に対し、図７（ａ）のログイン画面１２Ａと同様の画面を表示させる。そして、ランキングモードを使用するユーザＵ２（図１３参照）に対し、パスワードの入力を求める。
【００７６】
ここで、制御装置３０では、入力されたパスワードが正しい時には、図１３に示すようなランキング測定画面１４Ａをディスプレイ装置１０に表示させる。このランキング測定画面１４Ａでは、トレーニングモードの場合と同様、ユーザＵ２の顔画像を囲む枠部１４ａを表示させつつ、笑顔度を算出し、該算出値を表示部１４ｂ、１４ｃに表示させる。この笑顔度の算出開始により、後述する他ユーザと笑顔度を競うための測定が開始される。
【００７７】
ランキング測定画面１４Ａでは、算出した笑顔度が、トレーニング画面１２Ｂ（図６参照）と同様、枠部１４ａの表示部１４ｂにて数字で示されるとともに（図では２６）、表示部１４ｃによって図形の形で表示される。
【００７８】
また、ランキングモードにおいても、タイマ装置５０の作動により、全体設定タブ１３Ｃ（図１１参照）の設定部１３ｔにて予め設定されたランキング時間（測定時間）で測定を行うようになっている。ランキング測定画面１４Ａでは、測定開始からの経過時間（図では５秒）、及びランキング時間（図では３０秒）が、それぞれ表示部１４ｄ、表示部１４ｅに表示されている。
【００７９】
また、ランキング測定画面１４Ａでは、既にランキングモードにおける測定を行った他ユーザの測定結果が表示部１４ｆに表示されている。
【００８０】
ここで、記憶装置４０では、ランキングモードで測定を行った結果に関する情報が、そのユーザの個人情報と併せて複数ユーザ分記憶されており、制御装置３０が記憶装置４０の前記情報を読み出すことにより、表示部１４ｆでの表示が可能となっている。
【００８１】
表示部１４ｆでは、ユーザ管理タブ１３Ａの表示画面で表示される個人名称、及びユーザ毎の積算ポイント数が表示され、積算ポイント数の多いユーザ（ここでは「８００」ポイントを獲得した「Ａ山Ｂ男」）から、各ユーザの結果を下方に向けて順番に並べたいわゆるランキング情報が示されている。
【００８２】
ところで、ランキング測定画面１４Ａでは、全体設定をタブ１３Ｃ（図１１参照）の表示画面で予め設定された目標値としての維持笑顔度が表示部１４ｇに表示されている（図では「９０」）。
【００８３】
また、ランキング測定画面１４Ａにおいても、図１３に示すように、笑顔度に対応したアドバイスメッセージが表示部１４ｈに表示されるようになっている。
【００８４】
ここで、ランキングモードでは、制御装置３０が、算出した笑顔度と、維持笑顔度とを都度比較しており、笑顔度が維持笑顔度以上となった時、その時の笑顔度を獲得ポイントとして積算ポイントに加算し、記憶装置４０に記憶するようになっている。
【００８５】
例えば、図１４では、抽出回数が１０回目の時、笑顔度が「９２」となっていることから、制御装置３０は、これまでの積算ポイントに「９２」ポイントを加算する。そして、同図では、積算ポイント数が「３５１」となった時、次に笑顔度が維持笑顔度以上となった抽出回数１５回目で、再びこれまでの積算ポイント数「３５１」に「９８」ポイントを加算し、積算ポイントを「４４９」とする。このようにして、ユーザＵ２の笑顔度が維持笑顔度「９０」以上となった抽出回数のみ、その時点での笑顔度を積算ポイントにさらに加算するようになっている。
【００８６】
ここで、測定時間が経過すると、ディスプレイ装置１０は、図１５に示すようなランキング結果表示画面１４Ｂを表示する。ランキング結果表示画面１４Ｂでは、表示部１４ｉに、既に測定を終えた他ユーザの積算ポイント測定結果を含めたランキング情報を更新表示するようになっている。図示の場合、ユーザＵ２（アカウント「１１１」の「Ｃ川Ｄ子」）の積算ポイント数は「６７４」であり、アカウント「１１」の「Ａ山Ｂ男」（積算ポイント「８００」）と、アカウント「１２」の「Ｅ野Ｆ美」（積算ポイント「３３２」）の間の２位にランクインしたことを示している。
【００８７】
なお、このランキング結果表示画面１４Ｂでは、アカウントを表示することに必ずしも限定されるものではなく、個人名称を表示してもよいし、個人名称とアカウントを併記した形で表示してもよい。
【００８８】
次に、図１６〜図１８を参照して、対戦モードにおける使用例を説明する。図に示す初期画面１１Ａにおいて対戦モード選択ボタン１１ｃを押すと、制御装置３０は、いわゆる対戦モードを開始させる。
【００８９】
そして、制御装置３０は、図１６に示すように、カメラ３（図１参照）の撮影画像データから、初期画面１１の操作を行ったユーザＵ３の顔画像が含まれる領域Ａｒ１と、該領域Ａｒ１を除いた背景画像の領域Ａｒ２とを抽出し、図１６（ｂ）に示すように、両領域Ａｒ１、Ａｒ２を並列に表示した対戦画面１５を表示させる。
【００９０】
ここで、対戦モードでは、図１７に示すように、２人のユーザＵ３、Ｕ４の笑顔度を同時に算出、積算し、その積算値を競うものとなっている。図１６、図１７では、ユーザＵ３が先ず画像処理装置１の操作を行い、その後該装置１の操作を行っていないユーザＵ４を対戦モードでの対戦相手として誘った場合を示している。
【００９１】
この場合、仮にユーザＵ３の領域Ａｒ１の画像のみをディスプレイ装置１０に表示していると、ユーザＵ４がユーザＵ３に誘われた時、ユーザＵ４は、どこに位置すればカメラ３の撮影範囲内に入るのかが分からないという問題がある。
【００９２】
そこで、対戦モードでは、上述したように、ユーザＵ３の顔画像を含む領域Ａｒ１を除いた背景画像の領域Ａｒ２を表示することとし、この領域Ａｒ２の画像に基づいて、ユーザＵ４自身の顔がカメラ３の撮影範囲に入るための位置、つまりは、自身の顔画像が制御装置３０により検知されるための位置を容易に特定できるようにしている。
【００９３】
具体的には、制御装置３０は、先ずカメラ３の全撮影画像データの中から、既に検知した顔画像を中心とした領域Ａｒ１を選択し、抽出する。そして、カメラ３の全撮影画像において、領域Ａｒ１の位置に基づいて、該領域Ａｒ１を除いた残りの領域の中から、領域Ａｒ２のために最も広い範囲を確保することができる位置（領域）を自動的に選択する。つまり、ここでは、制御装置３０は、領域Ａｒ１以外で最も横方向、縦方向を最も広く確保することができる領域を選択して、抽出し、該領域を、背景画像表示のための領域Ａｒ２としてディスプレイ装置１０に表示させ、２人目のユーザＵ４を待つ。
【００９４】
図１６に示す例では、ユーザＵ３の背景に、絵画αが飾られており、背景画像の領域Ａｒ２には、額縁Ｆの左下の角部Ｆ１が映し出されている。ユーザＵ３に誘われたユーザＵ４は、図１６（ｂ）に表示された画像を見ながら、額縁Ｆの角部Ｆ１の位置を頼りに、自身の顔がカメラ３の撮影範囲に入るための位置を容易に特定することができる。
【００９５】
対戦するユーザＵ３、Ｕ４の顔画像がディスプレイ装置１０に表示されると、制御装置３０は、２人の顔画像を検知し、両者の笑顔度の算出を同時に開始する。そして、上述した各モードと同様、笑顔度を、枠部１５ａ、１５ｂの表示部１５ｃ、１５ｄにて数字で示すとともに（図ではユーザＵ３の笑顔度「８８」、ユーザＵ４の笑顔度「５０」）、表示部１５ｅ、１５ｆによって図形の形で表示させる。
【００９６】
また、対戦モードにおいても、タイマ装置５０の動作により、全体設定タブ１３Ｃ（図１１参照）の設定部１３ｖにて予め設定された対戦時間（測定時間）で測定を行うようになっており、対戦画面１５では、対戦開始からの経過時間が表示部１５ｇ（図では４秒）に表示されている。
【００９７】
ここで、対戦モードでは、制御装置３０が、両者の笑顔度を算出するとともに、その笑顔度を積算し、その結果を記憶装置４０に記憶するようになっている。
【００９８】
また、対戦画面１５では、比率情報表示部としての対戦バー１５ｈが表示されており、上述した両ユーザＵ３、Ｕ４の笑顔度の積算値の比がバー１５ｈ１、１５ｈ２の長さの比率によって図形の形で示されるようになっている。
【００９９】
例えば、図１８では、抽出回数が４１回目の時、ユーザＵ３の笑顔度が「５０」であり、前回までの積算値が「２００」であることから、制御装置３０は、これまでの積算値「２００」に、新たに算出した笑顔度「５０」を加算する（図中の（１））。また、この時、ユーザＵ４の笑顔度が「８０」であり、前回の積算値が「２４０」であることから、制御装置３０は、これまでの積算値「２４０」に、新たに算出した笑顔度「８０」を加算する（図の（２））。
【０１００】
そして、制御装置３０は、両ユーザＵ３、Ｕ４の積算値の総和を算出し（図中の（１）＋（２））、該総和に対するユーザＵ３の積算値の比率（図の（１）／（１）＋（２））、及びユーザＵ４の積算値の比率（図の（２）／（１）＋（２））を算出する。
【０１０１】
対戦バー１５ｈでは、図１７に示すように、ユーザＵ３、Ｕ４の位置に対応して異なる色のバー１５ｈ１、１５ｈ２が表示される。そして、この対戦バー１５ｈでは、算出されたユーザＵ３の積算値の比率、及びユーザＵ４の積算値の比率に基づいて、その比率を、対戦画面１５のバー１５ｈ１、１５ｈ２の画面横方向における長さの比によって表現している。
【０１０２】
ここで、対戦時間が経過すると、ディスプレイ装置１０は、最終的に前記比率が高かった側（ここではユーザＵ３）に、勝利者であることを示す「Ｗｉｎ！」の文字１５ｉを表示させ、この表示をもって対戦結果の表示とする。
【０１０３】
なお、この対戦モードでは、終了間際の所定時間において、加算する笑顔度に重み付けをし、終盤での逆転の可能性を持たせるようにしてもよい。これにより、ゲーム性を高めることができ、ユーザに対し、笑顔作りの楽しさをより強く認識させることができる。
【０１０４】
また、対戦モードにおいては、上述したトレーニングモード及びランキングモードとは異なり、対戦画面１５にアドバイスメッセージを表示しないこととしたが、対戦モードにおいてもアドバイスメッセージを表示するようにしてもよい。
【０１０５】
次に、図１９、図２０に示すフローチャートとともに、本実施形態に係る画像処理装置１のトレーニングモードにおける動作について説明する。  
制御装置３０は、トレーニングモード選択ボタン１１ａ（図６参照）を押す所定の操作がユーザによってなされたか否かを監視している（ステップＳ１）。制御装置３０が、前記所定の操作ありと判定し（ステップＳ１：ＹＥＳ）、ユーザＵ１のログイン操作（パスワード入力等）がなされると（ステップＳ２）、制御装置３０は、ユーザＵ１の顔画像検知処理を実行する（ステップＳ３）。一方、前記所定の操作がなされていないと判定した場合には（ステップＳ１：ＮＯ）、ステップＳ１の処理を継続する。
【０１０６】
ステップＳ３においてユーザＵ１の顔画像を検知すると、制御装置３０は、顔画像データを抽出して、ディスプレイ装置１０に表示させるとともに、顔画像データを記憶装置４０に記憶させる（ステップＳ４）。そして、抽出した顔画像データに対し、笑顔度算出サブルーチンを実行する（ステップＳ５）。
【０１０７】
笑顔度算出サブルーチンでは、図２０に示すように、先ず、三次元顔モデルＭ（図３参照）をユーザＵ１の顔画像データに適合させるフィッティングを行い（ステップＳ５１）、ユーザＵ１の顔形状を特定する（ステップＳ５２）。
【０１０８】
次に、制御装置３０は、顔の特徴部位Ｐ１〜Ｐ５の変化を測定し（ステップＳ５３）、特徴部位Ｐ１〜Ｐ５の変化に対応する各度数を求める。そして、これら各度数の平均値の算出による統合推論を実行することにより（ステップＳ５４）、笑顔度を求め、笑顔度算出サブルーチンを終了する。
【０１０９】
図１９に戻り、制御装置３０は、算出した笑顔度の積算値、及び平均笑顔度を算出しつつ、ディスプレイ装置１０に対し、笑顔度と併せて平均笑顔度を表示させる。そして、この時、同時に笑顔度を記憶装置４０に記憶させる（ステップＳ６）。
【０１１０】
また、制御装置３０は、アドバイスメッセージの更新タイミングであるか否かを判定し（ステップＳ７）、該更新タイミングであると判定すると（ステップＳ７：ＹＥＳ）、記憶装置４０から、笑顔度に対応するアドバイスメッセージを読み出してこれを表示し（ステップＳ８）、ステップＳ９に移行する。一方、更新タイミングでないと判定した時には（ステップＳ７：ＮＯ）、制御装置３０は、アドバイスメッセージを更新することなくステップＳ９に移行する。
【０１１１】
ステップＳ９では、制御装置３０が、測定時間が所定の設定時間に達したか否かを判定する。ここで、所定の測定時間が経過した場合には（ステップＳ９：ＹＥＳ）、制御装置３０は、ステップＳ１０に移行し、前記測定時間が経過していない場合には（ステップＳ９：ＮＯ）、ステップＳ３に戻り、ステップＳ３以降の処理を繰り返す。
【０１１２】
制御装置３０は、ステップＳ１０において記憶装置４０に記憶した笑顔度のデータから測定時間内における最高笑顔度を検索し、該最高笑顔度を、最終の総合平均笑顔度とともに、ディスプレイ装置１０のトレーニング結果表示画面１２Ｃに表示させる（ステップＳ１１）。
【０１１３】
次に、設定画面１３にて、最高笑顔度を示した顔画像データの保存が指定されている場合（ステップＳ１２：ＹＥＳ）、制御装置３０は、最高笑顔度を示した顔画像データを記憶装置４０に記憶させて（ステップＳ１３）、ステップＳ１４に移行する一方、顔画像データの保存が指定されていない場合（ステップＳ１２：ＮＯ）、制御装置３０は、顔画像データの記憶処理を実行することなく、ステップＳ１４に移行する。
【０１１４】
ここで、最高笑顔度を示した顔画像データ以外の画像データや、最高笑顔度を示した顔画像データの保存が指定されていない場合の画像データは、記憶装置４０の容量を確保するために、適宜のタイミングで削除するのが好ましい。
【０１１５】
次に、設定画面１３にて、ユーザＵ１の個人履歴情報の保存が指定されている場合（ステップＳ１４：ＹＥＳ）、制御装置３０は、平均値及び最高笑顔度のデータを記憶装置４０に記憶させて、過去のユーザＵ１の測定結果に、今回測定した平均値及び最高笑顔度の結果を加えて個人履歴情報を更新する（ステップＳ１５）。そして、制御装置３０は、個人履歴情報に関連するグラフを作成し（ステップＳ１６）、そのうち、最高笑顔度のグラフをトレーニング結果表示画面１２Ｃに表示させて（ステップＳ１７）、一連の処理を終了する。
【０１１６】
一方、ユーザＵ１の個人履歴情報の保存が指定されていない場合（ステップＳ１４：ＮＯ）、制御装置３０は、ユーザＵ１の個人履歴情報のデータを記憶装置４０に記憶させることなく、一連の処理を終了する。
【０１１７】
次に、図２１に示すフローチャートとともに、本実施形態に係る画像処理装置１のランキングモードにおける動作について説明する。  
制御装置３０は、トレーニングモード選択ボタン１１ｂ（図６参照）を押す所定の操作がユーザによってなされたか否かを監視している（ステップＳ１０１）。制御装置３０が、前記所定の操作ありと判定し（ステップＳ１０１：ＹＥＳ）、ユーザＵ２のログイン操作がなされると（ステップＳ１０２）、図１９のステップＳ３〜Ｓ５に対応するステップＳ１０３〜Ｓ１０５の処理を実行する。そして、ステップＳ１０６において、ディスプレイ装置１０に対し、笑顔度を表示させつつ、この笑顔度を記憶装置４０に記憶させる。一方、前記所定の操作がなされていないと判定した場合には（ステップＳ１０１：ＮＯ）、ステップＳ１０１の処理を継続する。
【０１１８】
ステップＳ１０７では、制御装置３０が、算出した笑顔度が維持笑顔度（目標値）以上であるか否かを判定し、笑顔度が維持笑顔度以上であると判定すると（ステップＳ１０７：ＹＥＳ）、笑顔度の積算を実行して（ステップ１０８）、ステップＳ１０９に移行する一方、笑顔度が維持笑顔度以上でなければ（ステップＳ１０７：ＮＯ）、笑顔度の積算を実行することなくステップＳ１０９に移行する。
【０１１９】
ステップＳ１０９、Ｓ１１０では、図１９におけるステップＳＳ７、Ｓ８と同様の処理がなされ、ステップＳ１１０において、所定の測定時間が経過した場合（ステップＳ１１１：ＹＥＳ）、制御装置３０は、ステップＳ１１２に移行し、前記測定時間が経過していない場合には（ステップＳ１１１：ＮＯ）、ステップＳ１０３に戻り、ステップＳ１０３以降の処理を繰り返す。
【０１２０】
ステップＳ１１２では、笑顔度の積算値データをランキング表示するための登録処理がなされる（ステップＳ１１２）。そして、ステップＳ１１３では、既に他ユーザの積算値が登録されているか否かを判定する。ここで、既に登録がある場合には（ステップＳ１１３：ＹＥＳ）、ステップＳ１１２で登録された積算値データを踏まえて、制御装置３０がランキングの並べ替えを実行する（ステップＳ１１４）。そして、最新のランキング情報を表示し（ステップＳ１１５）、ステップＳ１１６に移行する。一方、他ユーザの積算値登録がない場合には（ステップＳ１１２：ＮＯ）、ランキングの並べ替え等を実行することなくステップＳ１１６に移行する。
【０１２１】
ステップＳ１１６では、制御装置３０が、図１９のステップＳ１２に対応する処理を実行する。ここで、最高笑顔度を示した顔画像データの保存が指定されている場合（ステップＳ１１６：ＹＥＳ）、制御装置３０は、最高笑顔度を検索し（ステップＳ１１７）、該最高笑顔度を示した顔画像データを記憶装置４０に記憶させて（ステップＳ１１８）、一連の処理を終了する。一方、顔画像データの保存が指定されていない場合（ステップＳ１１６：ＮＯ）、制御装置３０は、最高笑顔度の検索処理や、顔画像データの記憶処理を実行することなく、一連の処理を終了する。
【０１２２】
次に、図２２に示すフローチャートとともに、本実施形態に係る画像処理装置１の対戦モードにおける動作について説明する。  
制御装置３０は、トレーニングモード選択ボタン１１ｃ（図６参照）を押す所定の操作がユーザによってなされたか否かを監視している（ステップＳ２０１）。制御装置３０が、前記所定の操作ありと判定すると（ステップＳ２０１：ＹＥＳ）、図１９のステップＳ３、Ｓ４に対応するステップＳ２０２、Ｓ２０３の処理を実行する。ここで、制御装置３０は、ステップＳ２０３において、カメラ３の全撮影画像データの中から、既に検知した顔画像を中心とした領域Ａｒ１（図１６、図１７参照）を選択して、抽出し、ディスプレイ装置１０に領域Ａｒ１を表示させる。
【０１２３】
一方、前記所定の操作がなされていないと判定した場合には（ステップＳ２０１：ＮＯ）、ステップＳ２０１の処理を継続する。
【０１２４】
ステップＳ２０４では、制御装置３０が、背景画像表示のための領域Ａｒ２の検索を行う。具体的には、カメラ３の全撮影画像データと、領域Ａｒ１の全画像データ内における位置とに基づいて領域Ａｒ１を除いた領域の中から、最も広範囲な領域Ａｒ２を検索する。
【０１２５】
そして、ステップＳ２０５では、ステップＳ２０４の検索結果に基づいて、制御装置３０が、領域Ａｒ２を背景画像表示領域として選択して、抽出し、ディスプレイ装置１０に領域Ａｒ２を表示させる。
【０１２６】
次に、制御装置３０は、第２のユーザＵ４の顔画像を検知すると（ステップＳ２０６）、２人のユーザＵ３、Ｕ４の顔画像を同時に抽出してディスプレイ装置１０に表示させつつ、顔画像データを記憶装置４０に記憶させる（ステップＳ２０７）。
【０１２７】
ここで、制御装置３０は、図１９におけるステップＳ５に対応するステップＳ２０８を実行する。そして、ステップＳ２０９では、制御装置３０が、ディスプレイ装置１０に対し、各ユーザＵ３、Ｕ４の笑顔度を表示させ、この笑顔度を記憶装置４０に記憶させると同時に、ユーザＵ３、Ｕ４の笑顔度の各積算値、及び該積算値の比率を算出する。そして、ステップＳ２０９における算出結果に基づき、制御装置３０は、対戦画面１５における対戦バーの表示を更新する（ステップＳ２１０）。
【０１２８】
次に、ステップＳ２１１では、図１９におけるステップＳ９に対応する処理がなされ、ステップＳ２１０において、所定の測定時間が経過した場合には（ステップＳ２１１：ＹＥＳ）、制御装置３０は、ステップＳ２１２に移行し、前記測定時間が経過していない場合には（ステップＳ２１１：ＮＯ）、ステップＳ２０６に戻り、ステップＳ２０６以降の処理を繰り返す。
【０１２９】
ステップＳ２１２では、制御装置３０が、最終の積算値の比率に基づき、勝敗結果を判定し、そして、ステップＳ２１３では、ステップＳ２１２の判定に基づく対戦結果を表示する。
【０１３０】
ステップＳ２１４〜Ｓ２１６では、制御装置３０が、図２１のステップＳ１１６〜Ｓ１１８に対応する処理を実行し、その後一連の処理を終了する。
【０１３１】
このように、本実施形態に係る画像処理装置１では、いずれのモードにおいても、測定時間内において、制御装置３０が笑顔度を積算し、その積算値に基づいて、トレーニングモードにおける平均値情報（総合平均笑顔度）、ランキングモードにおけるランキング情報、及び対戦モードにおける比率情報を生成し、ディスプレイ装置１０にて各種情報を表示させるようになっている。
【０１３２】
この測定時間内における笑顔度の積算により、ユーザＵ１〜Ｕ４は、瞬間的な笑顔のみならず、測定時間内における自身の笑顔の持続性を客観的に評価することができ、その結果、ユーザの笑顔の状態をより正確に評価することができる。
【０１３３】
また、特に、トレーニングモードのトレーニング画面１２Ｂにおいて、積算値に基づいた平均笑顔度と、笑顔度の目標値（笑顔らしさ）とを併せて表示することにより、測定時間内における笑顔の持続性の度合いと、目標との差を容易に認識することができる。そして、ユーザＵ１が今後笑顔作りのトレーニングを続けるにあたり、前記差分を、トレーニングのスケジュールやトレーニングメニュー等を設定する際の目安とすることができる。
【０１３４】
また、図１０のグラフ１３ｊのように、１人のユーザＵ１に対し、複数件分の平均笑顔度の推移を個人履歴情報として表示することにより、ユーザＵ１は、自身の笑顔の持続性がどの程度向上しているかといったトレーニングの成果をより長期的にウォッチングすることができる。従って、今後のトレーニングのスケジュールやトレーニングメニュー等の設定をより容易なものとすることができる。
【０１３５】
このトレーニングモードは、例えば、接客業において、始業前の従業員が笑顔作りのウォーミングアップを行う場合、または新人の従業員が、笑顔の持続性向上を図る場合に好適である。また、個人の場合であっても、友人、知人に対する印象度を向上させたい場合に好適である。
【０１３６】
また、特に、ランキングモードにおいて、他ユーザの積算値の結果をランキング情報として表示することにより、自身の笑顔の持続性と他ユーザの笑顔の持続性とを相対的に評価することができる。このため、画像処理装置１を使用する複数のユーザ同士で競争意識を高揚させることができ、その結果、笑顔の持続性向上をより促進させることができる。
【０１３７】
このランキングモードは、例えば、接客業において、全従業員の笑顔の持続性向上を図る場合に好適であり、各従業員の競争意識高揚により、店舗内において顧客に与える印象度を向上させることができる。
【０１３８】
また、特に、対戦モードにおいて、複数（図１７、図２２では２人）のユーザの笑顔度の積算値を同時に算出し、該積算値の比率情報を表示するようにしたことで、笑顔作りをゲーム感覚で楽しむことができ、ユーザは、持続的な笑顔を自然に身に付けることが可能になる。
【０１３９】
また、トレーニング画面１２Ｂやランキング測定画面１４Ａにおいて、測定時間内に笑顔度に応じたアドバイスメッセージを表示させることにより、測定中のユーザＵ１に対し、リアルタイムで的確なアドバイスを送ることができ、その結果、笑顔の持続性のさらなる向上を図ることができる。
【０１４０】
また、測定時間内における最高笑顔度を検索し、その時の顔画像データを記憶装置４０に記憶するようにしたことで、測定を行ったユーザ自身、または他ユーザが笑顔作りのためのトレーニングを行うにあたり、最高笑顔度を示した顔画像データを参考材料として使用することができる。
【０１４１】
ところで、上述したトレーニングモードでは、算出した平均値に基づき平均値情報としての総合平均笑顔度を表示することとしたが、新たに適正検査モードなるものを設け、前記総合平均笑顔度を絶対的に評価する評価基準を予め設定し、前記総合平均笑顔度の結果をランク付けした評価ランク情報を表示するようにしてもよい。
【０１４２】
図２３（ａ）は、適性検査モードにおける適正検査画面１１２を示している。図２３（ａ）は、例えば、宿泊施設等の受付業務を担当する従業員としての適正を検査すべく、受験者Ｕ５の笑顔度を測定している場合を示している。
【０１４３】
適正検査画面１１２Ａでは、枠部１２ｃ（図６参照）と同様、笑顔度が、枠部１１２ａの表示部１１２ｂ、及び表示部１１２ｃによって図形の形で表示される（図では「７０」）。
【０１４４】
また、適正試験モードにおいても、タイマ装置５０の動作により、予め設定された設定時間（測定時間）で測定を行うようになっている。適性検査画面１１２Ａでは、測定開始からの経過時間が表示部１１２ｄ（図では１分）で表示される。また、適正検査画面１１２Ａでは、平均笑顔度（図では「７２」）が表示部１１２ｅ、測定時間が表示部１１２ｆに表示されている。
【０１４５】
ところで、適性検査モードを実行するにあたっては、図２３（ｂ）に示すような、測定時間内における総合平均笑顔度を４つの評価ランク「Ａ」〜「Ｄ」に振り分けるための評価ランクテーブルＴが記憶装置４０に記憶される。
【０１４６】
そして、所定の測定時間が経過し、総合平均笑顔度が算出されると、ディスプレイ装置１０には、図２４に示すような検査結果表示画面１１２Ｂが表示される。この検査結果表示画面１１２Ｂでは、平均値情報として、受験者Ｕ５の総合平均笑顔度を示す平均笑顔度（図では「７３」）が表示部１１２ｇに表示される。そして、表示部１１２ｈにおいて、図２３（ｂ）の評価ランクテーブルＴに基づく、評価ランク（図では「Ｂ」ランク）が併せて表示される。
【０１４７】
このように、総合平均笑顔度をランク付けする評価ランク情報を表示することにより、接客業における適性検査において、受験者Ｕ５の適正を客観的に評価することができ、公平な検査結果を得ることができる。そして、このような適性検査に笑顔評価装置１を使用することにより、該装置１の汎用性を高めることができる。
【０１４８】
なお、笑顔評価装置１では、千人以上の顔のサンプルに基づいて笑顔度を算出することとしたが、必ずしもこれに限定されるものではない。例えば、各ユーザ毎に顔画像データを取得し、無表情の時と笑顔の状態の時の対比に基づいてユーザ個々の笑顔度算出マップを作成するようにしてもよい。これにより各ユーザの顔形状の特徴や個性等に基づいた評価が行え、より正確な笑顔度の算出を実現できる。
【０１４９】
また、画像処理装置１では、主に、笑顔度の積算値に関連する各種情報の出力をディスプレイ装置１０の画面表示により行うこととしたが、必ずしもこれに限定されるものではなく、例えば音声案内出力としてもよい。
【０１５０】
この発明の構成と、上述の実施形態との対応において、
この発明の、顔画像検知手段は、ステップＳ３、Ｓ１０３、Ｓ２０２を実行する制御装置３０に対応し、
以下同様に、
測定手段は、ステップＳ５３を実行する制御装置３０に対応し、
評価手段は、ステップＳ５、Ｓ６、Ｓ１６、Ｓ１０５、Ｓ１０８、Ｓ１１４、Ｓ２０７、Ｓ２０８、Ｓ２１２を実行する制御装置３０に対応し、
測定時間設定手段は、タイマ装置５０に対応し、
出力手段は、ディスプレイ装置１０に対応し、
笑顔度数値化部は、ステップＳ５、Ｓ１０５、Ｓ２０８を実行する制御装置３０に対応し、
積算部は、ステップＳ６、Ｓ１０８、Ｓ２０９を実行する制御装置３０に対応し、
笑顔評価情報生成部は、ステップＳ６、Ｓ１６、Ｓ１０８、Ｓ１１４、Ｓ２１２を実行する制御装置３０に対応し、
平均値記憶手段、積算値記憶手段、アドバイス情報記憶手段、画像データ記憶手段は、記憶装置４０に対応し、
表示制御手段は、ステップＳ４、Ｓ１０４、Ｓ２０３、Ｓ２０５、Ｓ２０７を実行する制御装置３０に対応し、
顔画像表示領域は、領域Ａｒ１に対応し、
顔画像抽出部は、ステップＳ４、Ｓ１０４、Ｓ２０３、Ｓ２０７を実行する制御装置３０に対応し、
背景画像表示領域は、領域Ａｒ２に対応し、
背景画像抽出部は、ステップＳ２０４、Ｓ２０５を実行する制御装置３０に対応し、
検索手段は、ステップＳ１０、Ｓ１１７、Ｓ２１５を実行する制御装置３０に対応するも、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
【符号の説明】
【０１５１】
１…画像処理装置
１０…ディスプレイ装置
２０…入力装置
３０…制御装置
４０…記憶措置
５０…タイマ装置
【図１】
2010186373.tif 000003
【図２】
2010186373.tif 000004
【図３】
2010186373.tif 000005
【図４】
2010186373.tif 000006
【図５】
2010186373.tif 000007
【図６】
2010186373.tif 000008
【図７】
2010186373.tif 000009
【図８】
2010186373.tif 000010
【図９】
2010186373.tif 000011
【図１０】
2010186373.tif 000012
【図１１】
2010186373.tif 000013
【図１２】
2010186373.tif 000014
【図１３】
2010186373.tif 000015
【図１４】
2010186373.tif 000016
【図１５】
2010186373.tif 000017
【図１６】
2010186373.tif 000018
【図１７】
2010186373.tif 000019
【図１８】
2010186373.tif 000020
【図１９】
2010186373.tif 000021
【図２０】
2010186373.tif 000022
【図２１】
2010186373.tif 000023
【図２２】
2010186373.tif 000024
【図２３】
2010186373.tif 000025
【図２４】
2010186373.tif 000026