(57)【要約】【課題】センサ装置によりユーザに関する情報を取得し、取得された情報を解析して特定の結論を導き出してユーザに提供する。【解決手段】センサ装置例えば例えばカメラ装置で取得された画像データをユーザＩＤと共にサーバに送信し、サーバ側では、送信された画像データに対して１次解析処理を施す。１次解析処理では、例えば画像データに対して所定の処理を施し、基準となる参照情報と比較する。１次解析処理の結果に対して閾値判断を行い、閾値を超えたと判断されれば、画像データまたは１次解析結果に対してさらに２次解析処理を行う。２次解析処理は、例えば１次解析処理の結果が閾値を超えた原因を解析するような処理である。２次解析処理の結果は、例えば対応する画像データと共にユーザなどに通知される。【選択図】図５
2008257381.tif 000002
【特許請求の範囲】
【請求項１】
画像データを解析した結果に応じた情報を出力する情報解析装置において、
画像データからユーザの身体に関連する画像を検出する画像検出部と、
上記画像検出部で検出された上記ユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析部と、
上記第１の解析部による解析結果と閾値とを比較する比較部と、
上記画像検出部で検出された上記ユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析部と
を有し、
上記比較部による比較結果に基づき、上記第２の解析部による上記第２の所定の解析処理を行うか否かを決定する
ことを特徴とする情報解析装置。
【請求項２】
請求項１に記載の情報解析装置において、
上記画像検出部は、
上記画像データからユーザの顔部分の画像を検出する
ことを特徴とする情報解析装置。
【請求項３】
請求項１に記載の情報解析装置において、
上記画像検出部は、
上記画像データからユーザの身体の全体的な画像を検出する
ことを特徴とする情報解析装置。
【請求項４】
請求項１に記載の情報解析装置において、
上記第１の解析部による上記第１の所定の解析処理は、
上記ユーザの身体に関連する画像に対応する参照画像に基づく値と、該ユーザの身体に関連する画像に基づく値との差分に基づき行われる
ことを特徴とする情報解析装置。
【請求項５】
請求項１に記載の情報解析装置において、
上記第１の解析部による上記第１の所定の解析処理は、
上記ユーザの身体に関連する画像の時間的な変化に基づき行われる
ことを特徴とする情報解析装置。
【請求項６】
請求項１に記載の情報解析装置において、
上記第１の解析部による上記第１の所定の解析処理は、
上記ユーザの身体に関連する画像内の所定位置を所定に計測した値に基づく
ことを特徴とする情報解析装置。
【請求項７】
請求項６に記載の情報解析装置において、
上記第１の解析部による上記第１の所定の解析処理は、
上記ユーザの身体に関連する画像内の所定位置の色に基づく
ことを特徴とする情報解析装置。
【請求項８】
請求項６に記載の情報解析装置において、
上記第１の解析部による上記第１の所定の解析処理は、
上記ユーザの身体に関連する画像内の所定位置の動きに基づく
ことを特徴とする情報解析装置。
【請求項９】
請求項１に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理は、
上記第１の解析部による上記第１の所定の解析処理結果に基づき行われる
ことを特徴とする情報解析装置。
【請求項１０】
請求項９に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理は、
上記比較部による比較結果に基づき、上記第１の解析部による上記解析処理が上記閾値を超えた原因を解析するような処理である
ことを特徴とする情報解析装置。
【請求項１１】
請求項１に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理は、
上記上記第１の解析部により上記ユーザの身体に関連する画像に上記第１の解析処理が行われたデータに対して行われる
ことを特徴とする情報解析装置。
【請求項１２】
請求項１に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理は、
上記画像検出部により上記画像データから検出された上記ユーザの身体に関連する画像に対して行われる
ことを特徴とする情報解析装置。
【請求項１３】
請求項１に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理は、
上記ユーザの身体に関連する画像内の所定位置を所定に計測した値に基づく
ことを特徴とする情報解析装置。
【請求項１４】
請求項１３に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理は、
上記ユーザの身体に関連する画像内の所定位置の色に基づく
ことを特徴とする情報解析装置。
【請求項１５】
請求項１３に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理は、
上記ユーザの身体に関連する画像内の所定位置の動きに基づく
ことを特徴とする情報解析装置。
【請求項１６】
請求項１に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理の結果に基づく通知を作成する通知作成部をさらに有する
ことを特徴とする情報解析装置。
【請求項１７】
請求項１６に記載の情報解析装置において、
上記通知作成部により作成される上記通知は、
上記第２の所定の解析処理結果に基づくメッセージを含む
ことを特徴とする情報解析装置。
【請求項１８】
請求項１６に記載の情報解析装置において、
上記通知作成部により作成される上記通知は、
上記画像データのうち上記第２の所定の解析処理結果に対応する画像データを含む
ことを特徴とする情報解析装置。
【請求項１９】
請求項１６に記載の情報解析装置において、
上記通知作成部により作成される上記通知は、
上記第２の所定の解析処理結果に基づく広告情報を含む
ことを特徴とする情報解析装置。
【請求項２０】
請求項１６に記載の情報解析装置において、
上記通知作成部により作成される上記通知は、
上記第２の所定の解析処理結果に基づくメッセージと、上記画像データのうち上記第２の所定の解析処理結果に対応する画像データとを含む
ことを特徴とする情報解析装置。
【請求項２１】
請求項２０に記載の情報解析装置において、
上記通知作成部により作成される上記通知は、
上記第２の所定の解析処理結果に基づく広告情報をさらに含む
ことを特徴とする情報解析装置。
【請求項２２】
請求項１に記載の情報解析装置において、
音声データからユーザの発声する音声を検出する音声検出部をさらに有し、
上記第１および／または上記第２の解析部は、上記音声検出部で検出された上記ユーザの発生する音声をさらに用いて、上記第１および／または上記第２の解析処理を行う
ことを特徴とする情報解析装置。
【請求項２３】
請求項２２に記載の情報解析装置において、
上記第１および／または上記第２の解析部は、上記音声検出部で検出された上記ユーザの発声する音声に基づき発声のリズムを解析する
ことを特徴とする情報解析装置。
【請求項２４】
請求項２２に記載の情報解析装置において、
上記第１および／または上記第２の解析部は、上記音声検出部で検出された上記ユーザの発声する音声に基づき発音部分毎の発声のピッチを解析する
ことを特徴とする情報解析装置。
【請求項２５】
請求項２２に記載の情報解析装置において、
上記第１および／または上記第２の解析部は、上記音声検出部で検出された上記ユーザの発声する音声に基づき発音部分毎の発声の音量を解析する
ことを特徴とする情報解析装置。
【請求項２６】
請求項１に記載の情報解析装置において、
ネットワークを介して外部の機器と通信を行う通信部をさらに有し、
上記画像データは、外部の撮像装置で撮影され上記ネットワークを介して供給される
ことを特徴とする情報解析装置。
【請求項２７】
請求項１に記載の情報解析装置において、
ネットワークを介して外部の機器と通信を行う通信部をさらに有し、
上記第１の解析部による上記第１の所定の解析処理は、上記ユーザの身体に関連する画像に対応する参照画像に基づく値と、該ユーザの身体に関連する画像に基づく値との差分に基づき行われるようにされ、
上記参照画像は、上記ネットワークを介して供給される
ことを特徴とする情報解析装置。
【請求項２８】
請求項１に記載の情報解析装置において、
上記第２の解析部による上記第２の所定の解析処理の結果に基づく通知を作成する通知作成部と、
上記通知作成部で作成された上記通知を、インターネットに向けて送信する通知送信部と
をさらに有することを特徴とする情報解析装置。
【請求項２９】
請求項２８に記載の情報解析装置において、
上記通知送信部は、
上記インターネット上のウェブサイトを介して上記通知を送信する
ことを特徴とする情報解析装置。
【請求項３０】
請求項２８に記載の情報解析装置において、
上記ユーザと、該ユーザに関連する他のユーザの情報とを対応付けて管理する関連情報管理部をさらに有し、
上記通知送信部は、上記通知を、上記関連情報管理部により管理される上記他のユーザに対して送信する
ことを特徴とする情報解析装置。
【請求項３１】
画像データを解析した結果に応じた情報を出力する情報解析方法において、
画像データからユーザの身体に関連する画像を検出する画像検出のステップと、
上記画像検出のステップにより検出された上記ユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析のステップと、
上記第１の解析のステップによる解析結果と閾値とを比較する比較のステップと、
上記画像検出のステップにより検出された上記ユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析のステップと
を有し、
上記比較のステップによる比較結果に基づき、上記第２の解析のステップによる上記第２の所定の解析処理を行うか否かを決定する
ことを特徴とする情報解析方法。
【請求項３２】
画像データを解析した結果に応じた情報を出力する情報解析方法をコンピュータに実行させる情報解析プログラムにおいて、
上記情報解析方法は、
画像データからユーザの身体に関連する画像を検出する画像検出のステップと、
上記画像検出のステップにより検出された上記ユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析のステップと、
上記第１の解析のステップによる解析結果と閾値とを比較する比較のステップと、
上記画像検出のステップにより検出された上記ユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析のステップと
を有し、
上記比較のステップによる比較結果に基づき、上記第２の解析のステップによる上記第２の所定の解析処理を行うか否かを決定する
ことを特徴とする情報解析プログラム。
【請求項３３】
画像データを解析した結果に応じた情報を出力する情報解析方法をコンピュータに実行させる情報解析プログラムが記録されるコンピュータに読み取り可能な記録媒体において、
画像データからユーザの身体に関連する画像を検出する画像検出のステップと、
上記画像検出のステップにより検出された上記ユーザの身体に関連する画像と、上記ユーザの身体に関連する画像に対応する参照画像に基づく値との差分に基づき第１の所定の解析処理を行う第１の解析のステップと、
上記第１の解析のステップによる解析結果と閾値とを比較する比較のステップと、
上記画像検出のステップにより検出された上記ユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析のステップと
を有し、
上記比較のステップによる比較結果に基づき、上記第２の解析のステップによる上記第２の所定の解析処理を行うか否かを決定する
ようにした情報解析方法をコンピュータに実行させる情報解析プログラムと、
上記参照画像および／または上記参照画像に基づく値と
が記録される
ことを特徴とするコンピュータに読み取り可能な記録媒体。
【請求項３４】
画像データを解析した結果に応じた情報を出力する情報解析システムにおいて、
被写体を撮像して画像データを出力する撮像装置と、
画像データからユーザの身体に関連する画像を検出する画像検出部と、
上記画像検出部で検出された上記ユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析部と、
上記第１の解析部による解析結果と閾値とを比較する比較部と、
上記画像検出部で検出された上記ユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析部と
を有し、
上記比較部による比較結果に基づき、上記第２の解析部による上記第２の所定の解析処理を行うか否かを決定するようにした情報解析装置と
を備え、
上記撮像装置から出力された上記画像データは、ネットワークを介して上記情報解析装置に対して送信され、上記画像検出部は、該ネットワークを介して送信された該画像データから上記ユーザの身体に関連する画像を検出するようにした
ことを特徴とする情報解析システム。
【請求項３５】
請求項３４に記載の情報解析システムにおいて、
上記第１の解析部による上記第１の所定の解析処理は、上記ユーザの身体に関連する画像に対応する参照画像に基づく値と、該ユーザの身体に関連する画像に基づく値との差分に基づき行われるようにされ、
上記参照画像は、上記ネットワークを介して上記情報解析装置に対して供給される
ことを特徴とする情報解析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ユーザに関して取得された情報を解析した結果に基づき、当該ユーザに対して情報を配信する情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体に関する。
【背景技術】
【０００２】
ユーザは自分の位置情報や時刻情報を記憶するようにされた利用者メディアを持ち歩き、所定のエリアや施設内にットワーク接続された撮影装置を複数台設置して常時撮影を行うようにしたシステムが本発明の出願人により提案され、特許文献１に記載されている。この特許文献１によるシステムでは、ユーザは、自分が撮影されている写真や映像の提供を受けたいと考えたときに、利用者メディアに記憶されている情報をシステムに読み取らせる。システム側では、利用者メディアから読み取った位置および時刻情報に基づき当該ユーザが撮影されている写真や映像を抽出し、例えばディスク、メモリカードといった可搬性の記録媒体に記録したり、ネットワークによる通信を利用してユーザに提供する。
【特許文献１】特開２００４−３３６０８９
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この特許文献１に記載されるようなシステムにおいて、撮影装置により撮影された写真や映像を解析し、解析結果をユーザに提供できるシステムが望まれている。特に、解析結果に基づき特定の結論を導くことができ、その結論をユーザに提供できるようなシステムが望まれている。
【０００４】
したがって、この発明の目的は、センサ装置によりユーザに関する情報を取得し、取得された情報を解析して特定の結論を導き出してユーザに提供できるようにした情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体を提供することにある。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、第１の発明は、画像データを解析した結果に応じた情報を出力する情報解析装置において、画像データからユーザの身体に関連する画像を検出する画像検出部と、画像検出部で検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析部と、第１の解析部による解析結果と閾値とを比較する比較部と、画像検出部で検出されたユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析部とを有し、比較部による比較結果に基づき、第２の解析部による第２の所定の解析処理を行うか否かを決定することを特徴とする情報解析装置である。
【０００６】
また、第２の発明は、画像データを解析した結果に応じた情報を出力する情報解析方法において、画像データからユーザの身体に関連する画像を検出する画像検出のステップと、画像検出のステップにより検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析のステップと、第１の解析のステップによる解析結果と閾値とを比較する比較のステップと、画像検出のステップにより検出されたユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析のステップとを有し、比較のステップによる比較結果に基づき、第２の解析のステップによる第２の所定の解析処理を行うか否かを決定することを特徴とする情報解析方法である。
【０００７】
また、第３の発明は、画像データを解析した結果に応じた情報を出力する情報解析方法をコンピュータに実行させる情報解析プログラムにおいて、情報解析方法は、画像データからユーザの身体に関連する画像を検出する画像検出のステップと、画像検出のステップにより検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析のステップと、第１の解析のステップによる解析結果と閾値とを比較する比較のステップと、画像検出のステップにより検出されたユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析のステップとを有し、比較のステップによる比較結果に基づき、第２の解析のステップによる第２の所定の解析処理を行うか否かを決定することを特徴とする情報解析プログラムである。
【０００８】
また、第４の発明は、画像データを解析した結果に応じた情報を出力する情報解析方法をコンピュータに実行させる情報解析プログラムが記録されるコンピュータに読み取り可能な記録媒体において、画像データからユーザの身体に関連する画像を検出する画像検出のステップと、画像検出のステップにより検出されたユーザの身体に関連する画像と、ユーザの身体に関連する画像に対応する参照画像に基づく値との差分に基づき第１の所定の解析処理を行う第１の解析のステップと、第１の解析のステップによる解析結果と閾値とを比較する比較のステップと、画像検出のステップにより検出されたユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析のステップとを有し、比較のステップによる比較結果に基づき、第２の解析のステップによる第２の所定の解析処理を行うか否かを決定するようにした情報解析方法をコンピュータに実行させる情報解析プログラムと、参照画像および／または参照画像に基づく値とが記録されることを特徴とするコンピュータに読み取り可能な記録媒体である。
【０００９】
また、第５の発明は、画像データを解析した結果に応じた情報を出力する情報解析システムにおいて、被写体を撮像して画像データを出力する撮像装置と、画像データからユーザの身体に関連する画像を検出する画像検出部と、画像検出部で検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行う第１の解析部と、第１の解析部による解析結果と閾値とを比較する比較部と、画像検出部で検出されたユーザの身体に関連する画像に基づき第２の所定の解析処理を行う第２の解析部とを有し、比較部による比較結果に基づき、第２の解析部による第２の所定の解析処理を行うか否かを決定するようにした情報解析装置とを備え、撮像装置から出力された画像データは、ネットワークを介して情報解析装置に対して送信され、画像検出部は、ネットワークを介して送信された画像データからユーザの身体に関連する画像を検出するようにしたことを特徴とする情報解析システムである。
【００１０】
上述したように、第１、第２および第３の発明は、画像データからユーザの身体に関連する画像を検出し、検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行い、第１の解析処理結果と閾値とを比較した結果に基づき、ユーザの身体に関連する画像に基づく第２の所定の解析処理を行うか否かを決定するようにしているため、画像データからユーザに身体に関する特定の結論を導き出すことができる。
【００１１】
また、第４の発明による記録媒体は、画像データからユーザの身体に関連する画像を検出し、検出されたユーザの身体に関連する画像と、ユーザの身体に関連する画像に対応する参照画像に基づく値との差分に基づき第１の所定の解析処理を行い、第１の解析処理による解析結果と閾値とを比較した結果に基づき、ユーザの身体に関連する画像に基づく第２の所定の解析処理を行うか否かを決定する情報解析プログラムと、参照画像および／または参照画像に基づく値とが記録されるため、記録媒体に記録された情報解析プログラムと、参照画像および／または参照画像に基づく値とをコンピュータで読み出してプログラムを実行させることで、ユーザに身体に関連する、参照画像と画像データを対比させた場合の特定の結論を導き出すことができる。
【００１２】
また、第５の発明は、被写体を撮像して画像データを出力する撮像装置と、画像データからユーザの身体に関連する画像を検出し、検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行い、第１の解析処理結果と閾値とを比較した結果に基づき、ユーザの身体に関連する画像に基づく第２の所定の解析処理を行うか否かを決定するようにした情報解析装置とを備え、情報化伊勢装置は、撮像装置から出力されネットワークを介して送信された画像データに基づきユーザの身体に関連する画像を検出するようにしているため、ユーザは、情報解析装置とネットワークを介して接続される撮像装置が設置された場所であれば何処からでも、情報解析装置に対し、撮像装置で撮影された画像データからユーザに身体に関する特定の結論を導き出させることができる。
【発明の効果】
【００１３】
第１、第２および第３の発明は、上述したように、画像データからユーザの身体に関連する画像を検出し、検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行い、第１の解析処理結果と閾値とを比較した結果に基づき、ユーザの身体に関連する画像に基づく第２の所定の解析処理を行うか否かを決定するようにしているため、画像データからユーザに身体に関する特定の結論を導き出すことができる効果がある。
【００１４】
また、第４の発明は、上述したように、画像データからユーザの身体に関連する画像を検出し、検出されたユーザの身体に関連する画像と、ユーザの身体に関連する画像に対応する参照画像に基づく値との差分に基づき第１の所定の解析処理を行い、第１の解析処理による解析結果と閾値とを比較した結果に基づき、ユーザの身体に関連する画像に基づく第２の所定の解析処理を行うか否かを決定する情報解析プログラムと、参照画像および／または参照画像に基づく値とが記録されるため、記録媒体に記録された情報解析プログラムと、参照画像および／または参照画像に基づく値とをコンピュータで読み出してプログラムを実行させることで、ユーザに身体に関連する、参照画像と画像データを対比させた場合の特定の結論を導き出すことができる効果がある。
【００１５】
また、第５の発明は、上述したように、被写体を撮像して画像データを出力する撮像装置と、画像データからユーザの身体に関連する画像を検出し、検出されたユーザの身体に関連する画像に基づき第１の所定の解析処理を行い、第１の解析処理結果と閾値とを比較した結果に基づき、ユーザの身体に関連する画像に基づく第２の所定の解析処理を行うか否かを決定するようにした情報解析装置とを備え、情報化伊勢装置は、撮像装置から出力されネットワークを介して送信された画像データに基づきユーザの身体に関連する画像を検出するようにしているため、ユーザは、情報解析装置とネットワークを介して接続される撮像装置が設置された場所であれば何処からでも、情報解析装置に対し、撮像装置で撮影された画像データからユーザに身体に関する特定の結論を導き出させることができる効果がある。
【発明を実施するための最良の形態】
【００１６】
以下、この発明の実施の形態について、下記の順序に従って説明する。
１．発明の概念
２．発明の実施の第１の形態
２−１−１．システムについて
２−１−２．実施の第１の形態による概略的な処理の流れについて
２−１−３．補足
２−２．実施の第１の形態の第１の応用例について
２−２−１．システムの概要
２−２−２．第１の応用例に適用可能なシステムについて
２−２−３．第１の応用例による解析処理の例について
２−２−４．補足
２−３．実施の第１の形態の第２の応用例について
２−３−１．システムの概要
２−３−２．第２の応用例に適用可能なシステムについて
２−３−３．第２の応用例による解析処理の例について
２−３−４．補足
２−４．実施の第１の形態の第３の応用例について
２−４−１．システムの概要
２−４−２．第３の応用例に適用可能なシステムについて
２−４−３．第３の応用例による解析処理の例について
３．発明の実施の第１の形態の第１の変形例
３−１−１．システムについて
３−１−２．ユーザの識別方法の例について
３−１−３．概略的な処理の流れについて
３−２．実施の第１の形態の第１の変形例に対する応用例について
３−３−１．応用例に適用可能なシステムについて
３−３−２．概略的な処理の流れについて
３−３−３．実施の第１の形態の第２および第３の応用例に対する適用について
４．実施の第１の形態の第２の変形例について
４−１−１．システムについて
４−１−２．履歴情報に基づくデータの特定について
４−１−３．概略的な処理の流れについて
４−２．実施の第１の形態の第２の変形例に対する応用例について
４−２−１．応用例に適用可能なシステムについて
４−２−２．概略的な処理の流れについて
４−２−３．実施の第１の形態の第２および第３の応用例に対する適用について
５．発明の実施の第２の形態
５−１．システムの概要
５−２．概略的な処理の流れについて
５−３．実施の第２の形態の適用例
５−３−１．第１の適用例（化粧サポートシステムに適用した例）
５−３−２．第２の適用例（スポーツ向けのラーニングシステムに適用した例）
５−３−３．第３の適用例（外国語会話のラーニングシステムに適用した例）
６．発明の実施の第３の形態
６−１．概略
６−２．適用可能なシステムについて
６−３．概略的な処理の流れについて
【００１７】
なお、以下の記載は、この発明を実施可能な程度に開示するものであり、この発明は、下記の各実施形態および各応用例に限定されるものではなく、この発明の主旨を逸脱しない限り、様々な変形、応用が可能である。
【００１８】
１．発明の概念
先ず、この発明の概念について説明する。この発明では、所定に配置されたセンサ装置により対象ユーザの情報を取得し、取得された情報を解析（以下、１次解析と呼ぶ）する。解析結果に基づき閾値判断を行い、判断結果に応じて当該情報に対して２次的な解析（以下、２次解析と呼ぶ）をさらに行うか否かを決定する。２次解析を行うと決定された場合、２次解析結果に基づく通知が登録された通知先に送信される。センサ装置により情報を取得された時点における当該ユーザの状態に応じて２次解析処理を行うことが可能とされ、ユーザは、２次解析処理の結果を自動的に受け取ることができる。
【００１９】
２．発明の実施の第１の形態
２−１−１．システムについて
この発明の実施の第１の形態について説明する。図１は、この発明の第１の形態による一例のシステム構成を概略的に示す。このシステムによりサービスの対象となる、例えば所定の施設１０Ａ、１０Ｂ、１０Ｃ、・・・に対して、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・がそれぞれ配置される。同様に、これらセンサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・にそれぞれ対応してリーダ１２Ａ、１２Ｂ、１２Ｃ、・・・が配置される。これらセンサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・、ならびに、リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・は、ネットワーク１３にそれぞれ接続される。ネットワーク１３に対して、サーバシステム１４がさらに接続される。
【００２０】
センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・は、例えば、撮像素子を有し静止画および／または動画を撮影するようにされたカメラ装置である。センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・は、被写体を撮影して得られた静止画データおよび／または動画データを、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・をそれぞれ識別するための識別情報であるセンサＩＤと、画像データが撮影された時刻を示す時刻情報とに対応付けて出力する。センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・から出力された静止画データおよび／または動画データ、ならびに、センサＩＤは、ネットワーク１３を介してサーバシステム１４に対して送信される。
【００２１】
なお、以下では、静止画データと動画データとを特に区別する必要がある場合を除き、これらを適宜、画像データとして統一的に記述する。
【００２２】
リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・は、所定の記憶媒体からなるユーザ媒体１５に記憶された、ユーザを識別するための識別情報であるユーザＩＤを読み出す。読み出されたユーザＩＤは、ネットワーク１３を介してサーバシステム１４に対して送信される。
【００２３】
ネットワーク１３は、このシステムで閉じたネットワークとしてもよいし、インターネットのようなオープンなネットワークであってもよい。ネットワーク１３としてオープンなネットワークを用いる場合には、各センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・、各リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・、ならびに、サーバシステム１４との間でやりとりされるデータは、所定の暗号化方式で以て暗号化することが望ましい。
【００２４】
サーバシステム１４は、例えば、サーバ部２０、解析システム部２１、センサ情報データベース２２およびユーザ情報データベース２３を有する。サーバ部２０は、このシステムの全体の制御や管理を行う。例えばサーバ部２０は、ネットワーク１３を介して各センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・や各リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・と通信を行い、各センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・や、各リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・から送信されたデータを受信する。受信されたデータは、センサ情報データベース２２やユーザ情報データベース２３に所定に格納される。例えば、詳細は後述するが、受信されたデータのうち画像データは、所定の識別情報に関連付けられてセンサ情報データベース２２に格納される。
【００２５】
解析システム部２１は、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・で取得されセンサ情報データベース２２に格納された画像データに対して、所定の解析処理（１次解析）を行い、１次解析結果に基づき必要であると判断されれば、当該画像データに対してさらに２次解析処理を行う。
【００２６】
サーバシステム１４は、サーバ部２０によりインターネット３０に接続される。インターネット３０には、例えば登録ユーザのユーザ端末３１Ａ、３１Ｂ、３１Ｃ、・・・が接続される。ユーザ端末３１Ａ、３１Ｂ、３１Ｃ、・・・は、インターネット３０による通信が可能であれば特に種類を問わないが、例えばパーソナルコンピュータや、電波を用いてインターネット３０との通信が可能とされた携帯端末装置などであって、電子メールの送受信を行うメーラや、ウェブサイトのウェブページを閲覧するためのブラウザなどの、インターネット３０を利用するために必要なソフトウェアが搭載されている。サーバ部２０は、インターネット３０に接続される、登録ユーザのユーザ端末３１Ａ、３１Ｂ、３１Ｃ、・・・のそれぞれと、インターネット３０を介して通信を行うことができる。
【００２７】
サーバシステム１４が有するセンサ情報データベース２２およびユーザ情報データベース２３について、概略的に説明する。センサ情報データベース２２は、各センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・からの画像データを、所定の識別情報と対応付けて格納する。図２は、センサ情報データベース２２に格納されるセンサ情報テーブルの一例の構成を示す。この図２の例は、各センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・毎に、センサ情報テーブルが設けられる例である。各センサ情報テーブルは、各センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・にそれぞれ対応するセンサＩＤにより識別される。
【００２８】
センサ情報テーブルにおいて、画像データは、例えばユニークなデータＩＤにより識別され、時刻情報およびユーザＩＤと対応付けられて蓄積的に登録される。画像データは、例えば、実際にはサーバ部２０が有する所定のストレージ装置（図示しない）に格納され、センサ情報テーブルには、画像データの格納場所を示すポインタが登録される。時刻情報は、例えば画像データがセンサ装置（例えばセンサ装置１１Ａ）で撮影された時刻を示す。また、ユーザＩＤは、例えば、当該センサ装置に対応するリーダ（例えばリーダ１２Ａ）によりユーザ媒体１５から読み取られ、サーバシステム１４に送信される。
【００２９】
画像データと、時刻情報およびユーザＩＤとを対応付ける一例の方法として、互いに対応するセンサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・とリーダ１２Ａ、１２Ｂ、１２Ｃ、・・・とを連動させる方法が考えられる。すなわち、例えば互いに対応するセンサ装置１１Ａおよびリーダ１２Ａにおいて、リーダ１２Ａによりユーザ媒体１５から読み出されたユーザＩＤを所定に保持する。そして、センサ装置１１Ａから画像データが出力される際に、保持されているユーザＩＤを当該画像データに対して対応付けて、サーバシステム１４に対して送信する。
【００３０】
これに限らず、各センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・において、画像データの撮影を行った時刻を示す時刻情報を画像データに対応付けて送信すると共に、リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・においても、ユーザ媒体１５から読み出したユーザＩＤを送信する際に、ユーザ媒体１５からの読み出しを行った時刻を示す時刻情報を、当該ユーザＩＤに対応付けて送信することも考えられる。サーバシステム１４において、サーバ部２０は、これらの時刻情報に基づき画像データとユーザＩＤとを対応付けることができる。
【００３１】
ユーザ情報データベース２３は、例えばユーザ情報テーブルおよび参照情報テーブルを有し、登録されたユーザに関する情報が格納される。図３は、ユーザ情報テーブルの一例の構成を示す。ユーザ情報テーブルにおいて、ユーザＩＤに対して、当該ユーザの属性情報が関連付けられる。属性情報は、例えば当該ユーザの名前、連絡先などからなる。ユーザの連絡先を示す連絡先情報は、このシステムがインターネットを介してデータを配信するようにされている場合、電子メールアドレスが含まれる。それぞれのユーザ情報は、ユーザＩＤによって互いに識別可能とされる。ユーザ情報テーブルの情報は、例えばユーザのシステムへの登録などの際に、予め登録される。
【００３２】
図４は、参照情報テーブルの一例の構成を示す。参照情報テーブルは、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・により取得されサーバシステム１４に送信された画像データに対して２次解析処理を行うか否かを判断するための基準となる参照情報が、登録ユーザのそれぞれについて、ユーザＩＤに対応付けられて登録される。詳細は後述するが、１次解析処理において、参照情報は、画像データが解析システム部２１で所定に処理された処理結果と比較されるので、この処理結果と同じ形式のデータとして形成される。参照情報テーブルの情報は、例えばユーザのシステムへの登録などの際に予め登録される。これに限らず、システムの目的や構成によっては、所定のタイミングで参照情報テーブルに登録するようにもできる。
【００３３】
参照情報としてどのような種類の情報を用いるかは、システムの目的などに応じて異なる。センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・がカメラ装置であって、撮影された静止画および／または動画データが処理対象とされるこの例では、ユーザＩＤに対応するユーザにおけるある特定の状態の顔を撮影した画像データに基づく情報を参照情報として用いることができる。すなわち、ユーザのある特定の状態の顔を撮影した画像データから顔部分を検出し、検出された顔画像の特徴情報を抽出して数値化する。この顔の特徴情報が数値化された値を、参照情報として用いることができる。
【００３４】
２−１−２．実施の第１の形態による概略的な処理の流れについて
図５は、上述のようなシステムによる、この実施の第１の形態による一例の処理を示すフローチャートである。なお、ユーザ情報データベース２３内のユーザ情報テーブルおよび参照情報テーブルに対するデータの登録は、この図５のフローチャートの処理に先立って予めなされており、ユーザは、ユーザＩＤの記憶されたユーザ媒体１５を予め保有しているものとする。
【００３５】
最初のステップＳ１０で、例えば施設１０Ａにおいて、ユーザによりユーザ媒体１５に記憶されたユーザＩＤをリーダ１２Ａに読み出させる処理がなされ、また、センサ装置１１Ａによりユーザを被写体として撮影が行われる。撮影により得られた画像データに対して撮影時刻を示す時刻情報と、センサ装置１１Ａに対応するセンサＩＤとが付加されて、リーダ１２Ａにより読み込まれたユーザＩＤと共に、ネットワーク１３を介してサーバシステム１４に受信される。なお、ここでは、センサ装置１１Ａが出力する画像データは、静止画像データであるものとする。
【００３６】
サーバシステム１４は、受信されたユーザＩＤ、画像データおよび時刻情報をセンサ情報データベース２２に所定に格納し、画像データについて、解析システム部２１に供給して所定の処理を行う（ステップＳ１１）。そして、次のステップＳ１２において、この画像データが所定に処理された結果に基づく１次解析が行われる。例えば、受信されたユーザＩＤに基づきユーザ情報データベース２３内の参照情報テーブルから対応する参照情報が抽出され、抽出された参照情報と、ステップＳ１１による処理結果とが比較される。
【００３７】
ステップＳ１２による比較の結果に基づき、ステップＳ１３で閾値判断がなされる。例えば、ステップＳ１２において、参照情報とステップＳ１１による処理結果との差分が所定に算出され、この差分が閾値を超えたか否かがステップＳ１３で判断される。
【００３８】
若し、ステップＳ１３で差分が閾値を超えたと判断されれば、処理はステップＳ１４に移行される。すなわち、差分が閾値を超えた場合、現在のユーザにおける所定の状態が参照情報で示される状態に対して大きく異なると考えることができ、ステップＳ１４以降で対応する処理がなされる。
【００３９】
ステップＳ１４では、解析システム部２１によりさらに解析処理（２次解析処理）が施される。例えば、ステップＳ１４では、現在のユーザにおける所定の状態と参照情報で示される状態とが大きく異なる原因や要因を抽出可能なような解析が、２次解析として行われる。一例として、２次解析として、ステップＳ１１で行った解析をさらに詳細に行うことが考えられる。また、２次解析として、ステップＳ１１で行った解析の解析結果に基づき、他の解析方法を選択することも考えられる。
【００４０】
次のステップＳ１５では、ステップＳ１４の２次解析処理の結果に基づく通知が、対応するユーザなどに送信される。すなわち、サーバシステム１４において、受信されたユーザＩＤに基づきユーザ情報データベース２３内のユーザ情報テーブルが参照され、当該ユーザＩＤの属性情報から連絡先情報が抽出され、この連絡先情報に示される連絡先に、通知が送信される。連絡先が電子メールアドレスであれば、当該ユーザＩＤに対応するユーザは、例えばユーザ端末３１Ａを用いてこの通知にアクセスすることができる。
【００４１】
なお、ステップＳ１５でユーザに対して送信される通知の内容は、システムの目的や構成により異なる。例えば、現在のユーザにおける所定の状態と参照情報で示される状態とが大きく異なる原因や要因を示す情報の通知や、当該原因や要因を修正するための情報の通知、警告通知などが考えられる。
【００４２】
一方、ステップＳ１３で、差分が閾値を超えていないと判断されれば、処理はステップＳ１６に移行される。この場合には、現在のユーザにおける所定の状態と参照情報で示される状態とが、問題になるほど大きく異ならないと考えることができる。そのため、ステップＳ１６では、特に何も処理を行わないことが考えられる。ステップＳ１６で、対応するユーザなどに対して問題が無い旨を通知することも考えられる。
【００４３】
なお、ユーザ情報データベース２３内において、ユーザＩＤに対して他のユーザのユーザＩＤを関連付けることで、ステップＳ１５やステップＳ１６による通知を対象とされるユーザに送信するのみならず、当該対象ユーザのユーザＩＤに関連付けられた他のユーザＩＤに対応するユーザにも送信するようにできる。
【００４４】
２−１−３．補足
上述では、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・が静止画データおよび／または動画データを出力するカメラ装置であるとして説明したが、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・は、ユーザの所定の状態を検出可能な情報が取得できれば、様々な種類の装置を適用することができる。例えば、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・としてカメラ装置を適用した場合であっても、可視光領域の光を撮影対象とするものに限られず、赤外線領域や紫外線領域、Ｘ線領域の光を撮影対象とするような装置でもよい。
【００４５】
センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・は、カメラ装置やビデオカメラ装置のような画像を出力する装置に限られない。例えば、マイクロフォンを用いて収音された音声を出力するようなオーディオ装置をセンサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・として用いることも可能である。
【００４６】
さらに例えば、所定のコードを含むディジタル信号が変調された電波を受信して復調するようにした受信装置を、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・として用いることも考えられる。この場合、サービスを受けるユーザに対して、ユーザ毎にユニークなコードを変調して送信する送信機を所持させるようにする。
【００４７】
ユーザ媒体１５として適用可能な記憶媒体は、様々に考えられる。例えば、合成樹脂製のカード内にＩＣ(Integrated Circuit)チップ、不揮発性メモリおよびアンテナを内蔵させ、リーダ１４から発せられる電波により自己発電を行い作動するようにされたカード型記憶媒体を、ユーザ媒体１５として適用することができる。また、ユーザが所持する携帯およびデータの送受信が可能な情報機器を、ユーザ媒体１５として適用することができる。このような情報機器としては、データの送受信が可能とされた携帯電話端末やＰＤＡ(Personal Digital Assistant)などが考えられる。
【００４８】
さらに、近年では、携帯電話端末に対して、電話通信機能とは別途にＩＣチップやアンテナ機構、不揮発性メモリを内蔵させ、カード型記憶媒体と同等の機能を持たせた製品も出現している。このような携帯電話端末の、カード型記憶媒体対応機能部分をユーザ媒体１５として用いることも可能である。
【００４９】
さらに、リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・とユーザ媒体１５との間のデータ通信は、無線によるものに限られず、有線、例えばコネクタを介した電気的接触を用いて行うようにしてもよい。この場合、ユーザ媒体１５は、不揮発性メモリとインターフェイスとで構成することができ、所謂ＵＳＢ(Universal Serial Bus)メモリ、コンパクトフラッシュメモリ（コンパクトフラッシュは登録商標）、スマートメディアなどを適用することができる。
【００５０】
さらにまた、ユーザ媒体１５は、磁気ディスクや磁気カード、光磁気ディスク、光ディスクといった、書き換え可能な記録媒体としてもよい。この場合、リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・は、対応するドライブ装置を備える。
【００５１】
さらに、ユーザ媒体１５は、物理的な変形を以てデータを記録するようなものでもよい。例えば、紙やプラスチック板などに穴を穿ち、データを記録することが考えられる。ユーザＩＤや日時の情報を記録するのみであれば、このような記録方法でも十分対応可能である。この場合、リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・は、光学的手法や、電気的な接触を以てデータの読み取りを行う。
【００５２】
また、ユーザ媒体１５として、印刷媒体を用いることができる。例えば、データをバーコードやＱＲコード(Quick Response Code)といった所定のコードに変換し、紙やその他の所定の印刷媒体に印刷することで、データの記録を行う。リーダ１２Ａ、１２Ｂ、１２Ｃ、・・・は、例えば印刷された情報を光を用いて読み取る読み取り装置を備える。
【００５３】
２−２．実施の第１の形態の第１の応用例について
次に、この発明の実施の第１の形態の第１の応用例について説明する。第１の応用例は、この実施の第１の形態を、化粧方法をアドバイスするような化粧サポートシステムに適用する例である。
【００５４】
２−２−１．システムの概要
この化粧サポートシステムについて概略的に説明する。図６は、この化粧サポートシステムの概要を説明するための一例の流れを示すフローチャートである。先ず、ユーザに対して、メイクアップアーティストなどの手により最適と考えられるメイクアップ（理想メイクと呼ぶ）を施す（ステップＳ２０）。そして、この理想メイクが施された顔を所定に撮影し、撮影により得られた画像データをサーバシステムに送信する（ステップＳ２１）。サーバシステム側では、送信されたこの理想メイクによる画像データに基づき、化粧の状態を判断するのに適切な特徴に特化させて顔の特徴情報を抽出し、抽出された顔の特徴情報を、ユーザの参照情報としてユーザ情報データベースに登録する（ステップＳ２２）。このとき、理想メイクを施すのに用いた化粧品を示す情報を、当該参照情報に対応付けて所定にデータベースに登録するとよい。
【００５５】
一方、ユーザは、後に、例えば自宅において自分でメイクアップ（自己メイクと呼ぶ）を施し（ステップＳ２３）、自己メイクが施された顔を撮影する。そして、撮影により得られたこの自己メイクによる画像データをサーバシステムに送信する（ステップＳ２４）。サーバシステム側では、ユーザから送信された画像データに所定の処理を施して、顔の、化粧の状態を示す特徴に特化した特徴情報を抽出し、この抽出されたこの特徴情報に対する１次解析処理を行う。１次解析処理は、例えば、当該ユーザの参照情報として登録されている特徴情報とを比較することで行う（ステップＳ２５）。１次解析による比較の結果、両者の差が所定以上であるとされれば（ステップＳ２６）、ユーザの化粧方法に何らかの問題があると考えることができる。そこで、サーバシステム側では、ユーザから送信された画像データおよび／または当該画像データを解析した解析結果に対して、問題部分を抽出可能なように２次解析処理を施す（ステップＳ２７）。
【００５６】
サーバシステム側は、２次解析処理の結果に基づき、化粧方法に対してアドバイスを行うアドバイス情報を作成する。作成されたアドバイス情報は、当該ユーザに対して送信される（ステップＳ２８）。このとき、アドバイス情報に対応して、お勧めの化粧品などを示す情報を当該アドバイス情報に付加して送信することができる。ユーザは、自宅に居ながらにして、自己のメイクアップを理想メイクに近付ける方法を取得することができると共に、必要な化粧品などの情報を得ることができる。
【００５７】
なお、ステップＳ２６で、差が所定未満であるとされた場合には、サーバシステム側からユーザに対して、現在のメイクアップ方法に問題が無い旨を示す通知が送信される（ステップＳ２９）。このとき、参照情報に対応付けられて所定にデータベースに登録された、理想メイクを施す際に用いた化粧品の購入情報などを、当該通知に付加して送信することが考えられる。
【００５８】
２−２−２．第１の応用例に適用可能なシステムについて
図７は、この実施の第１の形態の第１の応用例に適用可能な一例のシステムを概略的に示す。図７に例示する第１の応用例に適用可能なシステムは、基本的には、図１を用いて上述した、実施の第１の形態に適用可能なシステムと同様な構成を有する。カメラ装置１０１Ａおよびリーダ１０２Ａが施設１００Ａに配置され、ネットワーク１０３に接続される。施設１００Ａは、例えばデパートの化粧品コーナや化粧品メーカなどが主催するメイクアップ教室といった、メイクアップアーティストといったメイクアップのプロフェッショナルがユーザに対してメイクアップを施すようにされた場所である。同様に、カメラ装置１０１Ｂおよびリーダ１０２Ｂが、例えばユーザの自宅１００Ｂに配置され、ネットワーク１０３に接続される。
【００５９】
カメラ装置１０１Ａおよびカメラ装置１０１Ｂは、被写体を撮影し、静止画像データを出力する。また、カメラ装置１０１Ａおよび１０１Ｂは、静止画像データと共に、当該静止画像データを撮影した時刻を示す時刻情報と、カメラ装置１０１Ａおよび１０１Ｂのそれぞれを識別するためのセンサＩＤとを、当該静止画像データに対応付けて出力する。なお、施設１００Ａに対して、動画像データを出力するビデオカメラ装置をさらに設けるとよい。カメラ装置１０１Ａにおいて動画像データ出力し、この動画像データから静止画像データを所定に取り出しても良い。
【００６０】
リーダ１０２Ａおよび１０２Ｂは、図示されないユーザ媒体１５に記憶されたユーザＩＤを読み出す。ユーザ媒体１５は、既に述べたように様々な種類のものを適用可能であるが、この第１の応用例では、ユーザ媒体１５は、上述した、合成樹脂製のカード内に不揮発性メモリ、送受信部および発電部を有するカード型記憶媒体であるものとする。ユーザ媒体１５は、予めユーザＩＤが記憶され対応するユーザに渡されているものとする。
【００６１】
ここでは、カメラ装置１０１Ａから出力される画像データと、リーダ１０２Ａで読み出されたユーザＩＤとが所定に対応付けられて、ネットワーク１０３に対して送信されるものとする。例えば、ユーザ媒体１５から読み出されたユーザＩＤを、次にリーダ１０２Ａにユーザ媒体１５が読み込まれるか、リーダ１０２Ａに対して保持されるユーザＩＤの消去操作がなされるまで、リーダ１０２Ａに保持することが考えられる。カメラ装置１０１Ａから出力される画像データに対して、リーダ１０２Ａに保持されるユーザＩＤを所定に対応付ける。これは、カメラ装置１０１Ｂおよびリーダ１０２Ｂについても同様とする。
【００６２】
なお、この第１の応用例において、ユーザＩＤは、ユーザ媒体１５からリーダ１０２Ａにより読み出されるのに限らない。例えば、リーダ１０２Ａをキーボードなど所定の入力手段を設けた入力装置とし、ユーザがマニュアルでユーザＩＤを入力するようにしてもよい。
【００６３】
ネットワーク１０３は、このシステムで閉じたネットワークとしてもよいし、インターネットのようなオープンなネットワークであってもよい。ネットワーク１０３としてオープンなネットワークを用いる場合には、各カメラ装置１０１Ａおよび１０１Ｂ、各リーダ１０２Ａおよび１０２Ｂ、ならびに、サーバシステム１０４との間でやりとりされるデータは、所定の暗号化方式で以て暗号化することが望ましい。
【００６４】
なお、図７では、ネットワーク１０３に対して接続されるカメラ装置およびリーダが配置される施設などが、施設１００Ａおよびユーザの自宅１００Ｂのみとなっているが、実際には、さらに多数の施設等に設けられたカメラ装置やリーダが、ネットワーク１０３に対して識別可能に接続される。
【００６５】
サーバシステム１０４は、図１を用いて説明したサーバシステム１４に対応するもので、例えばサーバ部１１０、解析システム部１１１、センサ情報データベース１１２およびユーザ情報データベース１１３を有し、この第１の応用例では、さらに、化粧品データベース１１４を有する。サーバ部１１０は、このシステムの全体の制御や管理を行う。例えば、サーバ部１１０は、ネットワーク１０３を介してカメラ装置１０１Ａおよびリーダ１０２Ａと通信を行い、カメラ装置１０１Ａおよびリーダ１０２Ａから互いに対応付けられて送信された画像データおよびユーザＩＤを受信し、センサ情報データベース１１２に所定に格納する。カメラ装置１０１Ｂおよびリーダ１０２Ｂから出力されるデータに関しても、同様である。
【００６６】
解析システム部１１１は、カメラ装置１０１Ａおよび１０１Ｂで取得されセンサ情報データベース１１２に格納された画像データに対して、一例を後述するような１次解析処理を行う。さらに、１次解析の解析結果に基づき閾値判断を行い、判断結果に応じて一例を後述するような２次解析を行う。
【００６７】
サーバシステム１０４は、サーバ部１１０によりインターネット１３０に接続される。インターネット１３０には、例えばユーザが自宅１００Ｂなどで利用可能な、パーソナルコンピュータなどによるユーザ端末１３１が接続される。なお、この図７では、インターネット１３０に接続されるユーザ端末がユーザ端末１３１のみとなっているが、実際には、さらに多数のユーザ端末の接続が可能である。
【００６８】
インターネット１３０には、さらに、インターネット１３０に向けてウェブページ公開などウェブサービスを提供するサーバであるウェブサーバ１３２が接続される。サーバシステム１０４は、インターネット１３０を介してウェブサーバ１３２と通信を行い、ウェブサーバ１３２に対してファイルのアップロードなどを行うことができる。
【００６９】
なお、上述では、ユーザの自宅１００Ｂに配置されるカメラ装置１０１Ｂがネットワーク１０３に接続されているように説明したが、これはこの例に限定されない。例えば、カメラ装置１０１Ｂがパーソナルコンピュータであるユーザ端末１３１に接続されるものとし、カメラ装置１０１Ｂによる撮影の制御をユーザ端末１３１にて行い、カメラ装置１０１Ｂから出力されたビデオデータをユーザ端末１３１からインターネット１３０を介してサーバシステム１０４に送信するようにしてもよい。
【００７０】
センサ情報データベース１１２およびユーザ情報データベース１１３の構成について、概略的に説明する。センサ情報データベース１１２の構成は、基本的には、図２を用いて説明したセンサ情報データベース２２と同一である。なお、施設１００Ａにおいてビデオカメラ装置が設けられ、動画像を撮影するようにしている場合、ビデオカメラ装置は、動画像データを所定に圧縮符号化してネットワーク１０３に対して送信し、サーバ部１１０は、圧縮符号化され供給されたこのビデオデータを所定に格納する。そして、データを識別するデータＩＤと、圧縮符号化されたビデオデータの実データの格納場所を示す情報とを対応付けて、センサ情報データベース１１２内のセンサ情報テーブルに登録する。
【００７１】
ユーザ情報データベース１１３は、ユーザ情報が登録されるユーザ情報テーブルと、参照情報テーブルとを有する。図８は、ユーザ情報データベース１１３内のユーザ情報テーブルの一例の構成を示す。ユーザ情報テーブルは、ユーザを識別するユーザＩＤ毎に、ユーザＩＤが対応するユーザの属性情報と、当該ユーザの化粧に関する情報とが登録される。ユーザの属性情報は、例えば、そのユーザの名前、年齢、連絡先（電子メールアドレス）といった、ユーザを表す情報からなる。化粧情報は、そのユーザの化粧に関連する情報であって、肌のタイプ（乾燥肌か脂性か、きめが細かいか粗いか、地肌の色など）、化粧の好み（全体的に白っぽく、全体的に浅黒く、など）、普段使用している化粧品の品番などの情報からなる。これらの情報は、例えば、ユーザがこのシステムの利用を開始する際に設定される。参照情報テーブルの構成については、後述する。
【００７２】
このような構成のシステムにおいて、図６を用いて説明した流れに従い、先ずユーザは、施設１００Ａでメイクアップアーティストなどに、最適と思われるメイクアップ（理想メイク）を施してもらう（ステップＳ２０）。また、ユーザは、リーダ１０２Ａにユーザ媒体１５に記憶されるユーザＩＤを読み取らせると共に、理想メイクが施された顔をカメラ装置１０１Ａにより撮影させる。顔の撮影は、例えば、立体画像を構成可能なように、顔の正面、側面、上方といったように、複数の方向からなされる。メイクアップの様子をビデオカメラで撮影し、動画像データとして出力することもできる。また、後に画像補正が可能なように、色、濃淡、明るさなどの基準となる被写体が、ユーザの顔と同一の画像データ中に含まれるように撮影される。撮影で得られた複数の画像データは、それぞれ撮影された時刻を示す時刻情報と、カメラ装置１０１Ａを識別するセンサＩＤと、ユーザＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４に送信される（ステップＳ２１）。
【００７３】
サーバシステム１０４は、これら画像データと、当該画像データに付加された時刻情報、センサＩＤおよびユーザＩＤとをサーバ部１１０に供給する。サーバ部１１０は、センサ情報データベース１１２のセンサＩＤが対応するセンサ情報テーブルに対し、画像データ、時刻情報およびユーザＩＤを所定に対応付けて格納する。センサ情報データベース１１２に格納された画像データは、ユーザＩＤなどに基づきサーバ部２０に読み出され、解析システム部１１１に供給される。解析システム部１１１は、供給された画像データに対して所定の処理を施し、処理結果に基づき当該画像データに対応する参照情報を生成する。参照情報は、参照情報を識別するための参照情報ＩＤを付加され、関連する他の情報と対応付けられて、ユーザ情報データベース１１３内の参照情報テーブルに所定に登録される（ステップＳ２２）。
【００７４】
ユーザは、後に、例えばユーザの自宅１００Ｂで、理想メイクに倣って自分でメイクアップ（自己メイク）を行う（ステップＳ２３）。また、ユーザは、リーダ１０２Ｂにユーザ媒体１５に記憶されるユーザＩＤを読み出させる。そして、ユーザは、自己メイクが施された顔をカメラ装置１０１Ｂで撮影する。ユーザ側では、立体画像を構成可能に撮影を行う必要はなく、例えば顔の正面からのみの撮影が行われる。このときにも、後に画像補正が可能なように、色、濃淡、明るさなどの基準となる被写体が、ユーザの顔と同一の画像データ中に含まれるように撮影される。撮影で得られた複数の画像データは、それぞれ撮影された時刻を示す時刻情報と、カメラ装置１０１Ａを識別するセンサＩＤと、ユーザＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４に送信される（ステップＳ２４）。
【００７５】
サーバシステム１０４は、これら自己メイクによる画像データと、当該画像データに付加された時刻情報、センサＩＤおよびユーザＩＤとをサーバ部１１０に供給する。サーバ部１１０は、センサ情報データベース１１２のセンサＩＤが対応するセンサ情報テーブルに対し、画像データ、時刻情報およびユーザＩＤを所定に対応付けて格納する。センサ情報データベース１１２に格納された画像データは、ユーザＩＤなどに基づきサーバ部２０に読み出され、解析システム部１１１に供給される。解析システム部１１１は、供給された画像データに対して所定の処理を施す。サーバ部１１０は、供給されたユーザＩＤに基づきユーザ情報データベース１１３内の参照情報テーブルから対応する参照情報を抽出し、参照情報と、自己メイクによる画像データに基づく処理結果とを比較し、１次解析を行う（ステップＳ２５）。
【００７６】
１次解析の結果、参照情報と自己メイクによる画像データに基づく処理結果との差が所定以上あれば（ステップＳ２６）、サーバ部１１０は、自己メイクによる画像データに基づき２次解析処理を行う（ステップＳ２７）。そして、２次解析結果に基づきアドバイス情報を作成し、ユーザに対して送信する。例えば、サーバ部１１０は、ユーザＩＤに基づきユーザ情報データベース１１３内のユーザ情報テーブルを検索し、当該ユーザＩＤに対応付けられた電子メールアドレスを取得し、取得された電子メールアドレスに対して、アドバイス情報が記述または添付された電子メールを送信する。
【００７７】
ユーザは、サーバ部１１０から送信された、アドバイス情報が添付された電子メールを、例えばユーザの自宅１００Ｂにおいてユーザ端末１３１を用いて受信することで、アドバイス情報に基づきより理想メイクに近い自己メイクを行うことが可能となる。
【００７８】
ここで、アドバイス情報と共に、当該ユーザの参照情報に対応する画像データをユーザに対して送信することが考えられる。すなわち、アドバイス情報と当該画像データとを一纏めにパッケージングし、このパッケージデータを電子メールに添付して送信する。ユーザは、この電子メールをユーザ端末１３１で受信して、画像データを表示させながらアドバイス情報を参照することで、理想メイクによる画像を見ながらアドバイス情報に従いメイクアップを行うことができ、より容易に、理想メイクに近い自己メイクを行うことができる。
【００７９】
さらに、サーバ部１１０は、アドバイス情報に応じた広告を、アドバイス情報および理想メイクによる画像データとパッケージングしてユーザに送信することができる。例えば、サーバ部１１０は、２次解析結果に基づき、１次解析の結果として得られる差分を所定以下とすると思われる化粧品を、化粧品データベース１１４から検索することが考えられる。これに限らず、ステップＳ２０による理想メイク時に用いた化粧品の情報を化粧品データベース１１４から検索してもよい。サーバ部１１０は、化粧品データベース１１４から検索された化粧品の情報に基づく広告と、アドバイス情報と、理想メイクによる画像データとを一纏めにしてパッケージングし、パッケージデータとしてユーザに送信する。これによれば、ユーザは、自分に合った化粧品の情報を即座に入手することができる。
【００８０】
図９は、パッケージデータの一例の構成を示す。パッケージデータ１４０は、例えば、互いに対応するメタデータ１４１、個別データ１４２、１４２、・・・および付加情報１４３が一纏めにされたもので、一例として、これらのデータそれぞれをファイルとして構成し、アーカイブして１のファイルとすることが考えられる。１のフォルダ内にこれらのファイルを纏めて格納し、フォルダ自体をパッケージデータ１４０と見做すことも考えられる。
【００８１】
メタデータ１４１は、パッケージングされたパッケージデータ１４０自体の属性であって、パッケージされたデータの内容を統括的に示す情報からなる。例えば、ユーザが理想メイクを行った施設１００Ａなどを識別するためのＩＤ情報をメタデータ１４１として格納することが考えられる。個別データ１４２、１４２、・・・は、例えば、参照情報に対応する画像データ、アドバイス情報、広告情報がそれぞれ格納される。付加情報１４３は、所定の付加情報を格納することができ、例えばユーザが理想メイクを行った日時、メイクアップを担当したメイクアップアーティスト名、メイクアップを行った施設１００Ａの名前などを付加情報１４３として格納することが考えられる。
【００８２】
上述では、パッケージデータ１４０に対してアドバイス情報、理想メイクによる画像データおよび広告情報を格納したが、これはこの例に限定されない。施設１００Ａにおいてメイクアップの様子を動画像データとして撮影している場合には、この動画像データをさらにパッケージデータ１４０に格納することができる。サーバ部１１０は、センサ情報データベース１１２から所定に動画像データを取り出して、パッケージデータ１４０に個別データとしてパッケージングして格納する。
【００８３】
なお、パッケージデータ１４０に個別データとして含まれる動画像データは、所謂ストリーミング配信を行うと、配信先における閲覧時の負担が減り、好ましい。ストリーミング配信は、圧縮された動画像データおよび音声データを所定単位毎に配信し、受信側でバッファに溜め込み伸長しながら続きのデータを受信してバッファに蓄えるようにして、動画像データや音声データなどのストリームデータをダウンロードしながら再生できるようにしたものである。
【００８４】
２−２−３．第１の応用例による解析処理の例について
次に、この実施の第１の形態の第１の応用例に適用可能な１次解析処理および２次解析処理の例について説明する。先ず、１次解析処理の例について説明する。１次解析処理は、例えば、顔における複数の所定ポイントを計測ポイントとして設定し、理想メイクを施した顔と自己メイクを施した顔とに対し、各々の計測ポイントで所定の計測を行い、理想メイクを施した顔について計測された値と、自己メイクを施した顔について計測された値とを比較し、差分を計算する。そして、この差分を、所定の閾値と比較することが考えられる。
【００８５】
図１０を用いて、計測ポイントの例について説明する。例えば、サーバシステム１０４は、ユーザが施設１００Ａにおいて理想メイクを施された際に撮影された画像データに基づき、計測ポイントを設定する。先ず、顔１５０を正面から撮影した画像データに基づき、顔の輪郭１５２を特定すると共に、頭髪の輪郭１５１を特定する。特定された顔の輪郭１５２に基づき、顔１５０の内部の計測ポイントの位置を特定する。
【００８６】
顔１５０の内部の計測ポイントとして、左右の眉１５３Ａおよび１５３Ｂ、左右の目１５４Ａおよび１５４Ｂ、ならびに、口唇１５５が考えられる。これら眉１５３Ａおよび１５３Ｂ、目１５４Ａおよび１５４Ｂ、ならびに、口唇１５５について、位置および形状が計測される。口唇１５５の形状に関しては、色を計測し色の変化に基づき判断することが考えられる。立体画像に基づき口唇１５５の形状を判断することもできる。眉１５３Ａおよび１５３Ｂについては、色も計測される。目１５４Ａおよび１５４Ｂについては、さらに詳細に、アイライン、睫などの色および形状が計測される。
【００８７】
顔１５０の内部の計測ポイントとして、さらに、化粧の際に注目される所定の位置１５６Ａ〜１５６Ｊを特定することが考えられる。一例として、額の中央の位置１５６Ａ、鼻筋に相当する位置１５６Ｄおよび位置１５６Ｇ、左右の瞼の位置１５６Ｂおよび１５６Ｃ、左右の頬骨の位置１５６Ｅおよび１５６Ｆ、左右の頬の位置１５６Ｈおよび１５６Ｉ、ならびに、顎の位置１５６Ｊが考えられる。これらの位置１５６Ａ〜１５６Ｊについて、位置および色が計測される。
【００８８】
なお、これら位置１５６Ａ〜１５６Ｊのうち、特に頬骨の位置１５６Ｅおよび１５６Ｆや、鼻の頂点の位置１５６Ｇ、顎の位置１５６Ｊなどは、理想メイク後に複数の方向から撮影された画像データに基づき構成される、顔の立体画像を用いることで特定できると考えられる。
【００８９】
また、図示しないが、顔１５０の内部の計測ポイントとして、例えば所定の２点を結ぶ線を特定することが考えられる。この所定の２点を結ぶ線により、色のグラデーションが計測される。この後羅デーションを計測するための所定の２点は、例えば目の近辺や、頬骨や頬の近辺に設定することが考えられる。
【００９０】
理想メイクによる画像データについて、これらの計測ポイントの計測値に基づきそれぞれ評価値を求める。眉、目、口唇などの形状データに関しては、これら眉、目、口唇に関して様々な形状が数値化されて登録された形状辞書を用意し、顔から計測された計測値と形状辞書に登録された値とを比較して差分を求め、差分に基づき評価値を求めることが考えられる。色に関しては、画像データから得られる３原色の値そのものを評価値として用いることが考えられる。これに限らず、３原色の値をＣＩＥ(commission internationale de l'eclairage)により規定される色度座標（ｘ，ｙ，Ｙ）などに変換して、評価値として用いることも考えられる。グラデーションに関しては、所定の２点を結ぶ線上の複数点の色を計測することが考えられる。
【００９１】
このようにして、理想メイクによる画像データから求められた各計測ポイントの位置情報と、評価値とが参照情報として、参照情報テーブルに登録される。図１１は、参照情報テーブルの構成例を示す。ここでは、図１１Ａ〜図１１Ｄに例示されるように、参照情報テーブルを複数のテーブルから構成している。参照情報テーブルの構成はこれに限らず、複数のテーブルを１つに纏めてもよいし、さらに分割することも考えられる。
【００９２】
図１１Ａは、各計測ポイントを定義する定義テーブルの一例の構成を示す。この定義テーブルは、例えば参照情報毎に設けられ、計測ポイントを識別する識別情報ＰｏＩＤに対して、位置情報と計測ポイントの種類が対応付けられて格納される。計測ポイントが複数の位置情報を用いて定義される場合、当該複数の位置情報を列挙することが考えられる。種類は、色、形状など、当該計測ポイントで計測されるデータの種類を示す。
【００９３】
図１１Ｂは、各計測ポイントにおける評価値が、参照情報毎に格納される評価値テーブルの一例の構成を示す。評価値の代わりに各計測ポイントにおける計測値を格納してもよい。評価値は、解析処理の際に計測値から求めるようにする。
【００９４】
図１１Ｃは、各参照情報における画像データが格納される画像データテーブルの一例の構成を示す。各参照情報毎に、ユーザを複数の方向から撮影した画像のそれぞれと、これら複数の画像から形成された立体画像とが格納される。なお、実際には、画像データそのものは、サーバ部１１０が有する所定のストレージ装置（図示しない）に格納され、画像データテーブルに対してこれらの画像データの格納場所を示すポインタが登録される。
【００９５】
図１１Ｄは、参照情報毎に、属性情報が格納される属性情報テーブルの一例の構成を示す。例えば、参照情報毎に、対応するユーザＩＤ、取得された日付、任意の説明、施設１００Ａの名称や施設１００Ａにおけるユーザの担当者などを登録することが考えられる。
【００９６】
１次解析は、一例として次のようにして行うことが考えられる。自己メイクによる画像データに対して、参照情報に基づき各計測ポイントの位置を求め、求められた各計測ポイントの位置において、参照情報を求める際に行ったのと同様の計測を行い、各計測結果に基づき評価値を求める。そして、参照情報について求められた各評価値と、自己メイクによる画像データに基づき求められた各評価値とに対し、計測ポイント毎に、計測ポイントに応じた重み付けをそれぞれ所定に行い、重み付けされた評価値に関し、対応する評価値の組それぞれについて差分の絶対値を計算する。評価値の組それぞれについて計算された差分の絶対値を加算して、加算結果を所定の閾値と比較する。加算結果が閾値よりも大きいと判断されれば（図６のステップＳ２６）、２次解析を行う。
【００９７】
２次解析は、一例として次のようにして行うことが考えられる。先ず、１次解析の際に計算された、各評価値の組毎の差分について、計測ポイント単位で所定にソートし、差分が所定以上の計測ポイントについて、差分が大きい順に、差分の内容を解析する。解析は、計測ポイントの種類および計測内容に応じてなされる。例えば、形状の計測値、すなわち眉、目（睫、アイライン）、口唇（口紅の境界）などの場合は、理想メイクと自己メイクとで輪郭の位置になどにずれが生じていると考えられるので、ずれの大きさや方向が解析される。色の計測値、すなわち口唇や、顔１５０の内部の所定位置１５６Ａ〜１５６Ｊ、２点間のグラデーションなどの場合は、色差の解析や、色度座標上でどの方向にずれているかなどが解析される。
【００９８】
２次解析結果に基づき、ユーザに対して化粧のアドバイスを行うアドバイス情報を生成し、ユーザに提示するとよい。サーバシステム１０４において、例えば２次解析を行った計測ポイント毎、評価値の差分情報の予測される解析結果毎に、アドバイス用のテキストデータを予め用意する。そして、実際の２次解析の結果に基づき、このアドバイス用のテキストデータを所定に組み合わせて１のテキストデータとし、これを、ユーザに対する全体的な化粧のアドバイス情報として提示する。アドバイス情報は、例えばパッケージデータ１４０に含めてユーザに提供される。
【００９９】
上述では、アドバイス情報などを電子メールに添付して送信するように説明したが、これはこの例に限定されない。例えば、アドバイス情報、理想メイクによる画像データおよび広告情報を、ウェブサイト上のウェブページとして、インターネット１３０上で閲覧可能としてユーザに提示することが考えられる。
【０１００】
一例として、サーバ部１１０に対し、インターネット１３０上のＵＲＬ(Uniform Resource Locator)を定義可能なストレージ装置を設け、アドバイス情報、理想メイクによる画像データおよび広告情報を一纏めにしたパッケージデータ１４０をこのストレージ装置に格納する。この場合には、パッケージデータ１４０は、例えばアドバイス情報、理想メイクによる画像データが格納されるフォルダである。パッケージデータ１４０に格納される画像データには、所定のＵＲＬが定義される。
【０１０１】
サーバ部１１０は、ＨＴＭＬ(Hyper Text Markup Language)やＸＭＬ(Extensible Markup Language)など、インターネット１３０上のウェブページとして提示可能な書式を用いて、ストレージ装置に保持されたパッケージデータ１４０に含まれる画像データのリンク情報やレイアウト情報、アドバイス情報に基づくテキストデータ、広告情報に基づくリンク情報などを記述したファイル（以降、ウェブファイルと呼ぶ）を作成する。広告情報に基づくリンク情報は、例えば広告情報に示される化粧品を販売するウェブページへのリンク情報である。このウェブファイルを、インターネット１３０上のウェブサーバ１３２に転送する。
【０１０２】
ウェブサーバ１３２は、このウェブファイルに対してＵＲＬを定義し、インターネット１３０上で閲覧可能とする。ユーザは、インターネット１３０に接続されたユーザ端末１３１を用いて当該ＵＲＬにアクセスすることで、パッケージデータ１４０に含まれる画像データや、アドバイス情報、広告情報を閲覧可能とされる。
【０１０３】
一例として、サーバ部１１０は、ウェブサーバ１３２に対してウェブファイルを転送すると共に、ユーザに対して、当該ウェブファイルがインターネット１３０に対して閲覧可能とされていることを通知する。より具体的には、サーバ部１１０は、ユーザ情報データベース１１３内のユーザ情報テーブルを検索し、ユーザの電子メールアドレスを取得する。そして、サーバ部１１０は、当該ウェブファイルのＵＲＬを所定に記述した電子メールを作成し、取得された電子メールアドレスに宛てて送信する。この電子メールを受信したユーザは、電子メールの記述に基づき当該ＵＲＬにアクセスする。
【０１０４】
図１２は、パッケージデータ１４０に含まれる画像データ、アドバイス情報、広告情報を閲覧させるウェブページの一例の画面構成を示す。ウェブページは、一般的には、ユーザ端末１３１に搭載されるブラウザと呼ばれるソフトウェアで表示などがなされる。ブラウザは、例えば入力されたＵＲＬに従いインターネット１３０の上のファイルにアクセスする。アクセスしたファイルが例えばＨＴＭＬ形式といった所定の形式で記述されていれば、ファイルの記述に従い、テキストデータの表示、画像データへのリンクや、各表示のレイアウトなどを行う。また、ブラウザは、読み込んだファイルに指定された手段で、ウェブサーバ１３２に対してデータを送信することができる。
【０１０５】
このようなブラウザソフトウェアは、パーソナルコンピュータなどの他に、インターネット接続が可能な携帯電話端末や家庭用ゲーム機器などにも搭載されるのが一般的となってきている。以下では、ブラウザがパーソナルコンピュータに搭載されているものとして説明する。ブラウザの各機能は、マウスといったポインティングデバイスと、キーボードなどのキャラクタ入力デバイスとにより制御するできるようにされている。
【０１０６】
図１２を参照し、ブラウザ画面３００において、ブラウザ自身のコントロールやＯＳ(Operating System)によるコントロールを行うための表示部３０１の下部に、ウェブページの表示を行うためのウェブページ表示部３０２が設けられる。ウェブページ表示部３０２に対し、パッケージデータ１４０に含まれる、理想メイクによる画像データ、アドバイス情報であるテキストデータおよび広告情報が所定に配置され表示される。図１２の例では、ウェブページ表示部３０２内の表示領域３１０に理想メイクによる画像データが表示され、表示領域３１１にテキストデータが表示され、表示領域３１２に広告情報が表示されている。また、表示領域３１１および３１２には、それぞれ右端にスクロールバーが設けられ、領域内にデータが表示しきれない場合に、このスクロールバーを所定に操作することで、領域３１１や領域３１２において隠れていたデータを、当該領域内に表示させることができる。
【０１０７】
図１３は、ウェブページによる表示の別の例を示す。この図１３の例では、ブラウザ画面３２０において、理想メイクによる画像データが表示される領域３３０内に、図中に点線で例示されるように、各計測ポイントに応じてそれぞれ所定に範囲３４０Ａ〜３４０Ｇが設定される。例えば、このブラウザ画面３２０が表示されているユーザ端末１３１において、マウスといったポインティングデバイスを所定に操作し、画面上のカーソル３４１を範囲３４０Ａ〜３４０Ｇのうち所望の範囲に位置させることで、領域３３１に対し、当該範囲に対応するアドバイス情報が選択的に表示される。また、当該範囲に対応する化粧品の広告情報が領域３３２に選択的に表示される。
【０１０８】
さらに、この実施の第１の形態の第１の応用例では、２次解析の結果に基づき、ユーザに対して化粧品の紹介を行うことができるようにされている。例えば、２次解析で解析対象となった計測ポイントについて、位置および計測種類に応じて化粧品データベース１１４を参照し、２次解析の結果に基づき適当と判断される化粧品を選択する。この化粧品の情報をパッケージデータ１４０に含め、ユーザに対して提供する。化粧品データベース１１４は、例えば、化粧品を種類や主に用いられる顔内の部位で分類し、色情報、価格情報、化粧品の品番などを登録することが考えられる。
【０１０９】
図１４は、化粧品データベース１１４の一例の構成を示す。種類は、例えば化粧品を用途に応じて大まかに分類したもので、それぞれ顔内の部位と対応付けられる。対応部位は、図１４では具体名となっているが、実際的には、計測ポイントで示す方が好ましいと考えられ、例えば、図１１Ａを用いて説明した計測ポイントの識別情報ＰｏＩＤを用いることができる。各種類または対応部位毎に色別、品番別にデータが登録され、それぞれ価格情報が対応付けられる。この図１４の例では、色情報が化粧品メーカによる命名法に基づき格納されている。この場合、別途、化粧品メーカの命名法に基づく色名と、色度図上の座標とを対応付けるテーブルを用意すると、好ましい。シリーズは、例えば化粧品メーカによる商品の分類である。
【０１１０】
化粧品情報の検索方法の一例として、２次解析結果に基づき、自己メイクによる口唇（図１０の例では、口唇１５５）の色が理想メイクによる色に比べて濃すぎると判定されたとする。なお、「色がある色に対して濃い」という場合、実際には、例えば色度図上の方向を示す必要がある。ここでは、繁雑さを避けるため、単に「濃い、薄い」と表現する。
【０１１１】
このような場合、例えば、化粧品データベース１１４を参照して、部位が対応する化粧品（この場合は口紅）の中から、参照情報における口唇１５５の色に対応するの化粧品を抽出し、この化粧品の情報をパッケージデータ１４０に含ませてユーザに提供することが考えられる。このとき、この化粧品の購入方法を示す情報も、化粧品情報と共にユーザに提供すると、より好ましい。例えば、この化粧品をインターネット１３０を介して購入可能なウェブサイトのＵＲＬを、化粧品情報と共にユーザに提供する。ユーザは、２次解析結果を受け取ったその場で化粧品の注文を行うことができる。
【０１１２】
なお、上述では、図６のフローチャートにおけるステップＳ２６で自己メイクによる特徴情報と理想メイクによる特徴情報との差が所定以上の場合に、化粧品の紹介を行うように説明したが、これはこの例に限定されない。すなわち、ステップＳ２６においてこれらの差が所定未満であるとされた場合にも、化粧品の紹介を行うようにできる。この場合は、例えば、ユーザ情報データベース１１３内のユーザ情報テーブルにおける使用化粧品情報に基づき、ユーザが使用している化粧品と同等以上の効果を持つ他の化粧品や、同等の効果を持ちより低価格の化粧品を紹介することが考えられる。
【０１１３】
２−２−４．補足
なお、化粧では、微妙な色合いを用いることが多いため、１次解析や２次解析において正確な解析を行うためには、理想メイクによる顔を撮影した画像データと、自己メイクによる顔を撮影した画像データとで、色の見え方が等しくなるようにする必要がある。それと共に、画像データを計測して得られた色情報と、例えば化粧品データベース１１４に登録される各化粧品の色情報とを共通の表示系で比較可能とする必要がある。
【０１１４】
一例として、既に説明したように、理想メイクによる顔の撮影時および自己メイクによる顔の撮影時に、色、濃淡、明るさなどの基準となる被写体を、ユーザの顔と同一の画像データ中に含まれるように撮影を行う。この基準となる被写体は、例えば、ホワイトバランスに基づく補正を行うための白色の部分と、各色毎に色補正を行うための色見本部分とで構成する。この基準となる被写体を、画面内の所定位置に配置して、撮影を行う。
【０１１５】
画像データに基づき１次解析を行う際や、カメラ装置１０１Ａおよび１０１Ｂで撮影され得られた画像データがセンサ情報データベース１１２に格納される際などに、先ず、画像データによる画面内の所定位置に配置される、上述した基準となる被写体を所定に計測し、計測結果に基づき、白色部分の色情報と色見本部分の色情報とを取得する。そして、これらの色情報と、基準となる被写体の標準光源下における色情報とに基づき、カメラ装置１０１Ａおよび１０１Ｂから得られた画像データを正規化することが考えられる。
【０１１６】
また、顔の立体形状における凹凸と、撮影時の光源の方向により、画像データ中の顔の所定部分に影部が生じることがあり、この影部は、色の計測に影響する。この影響は、例えば、参照情報として登録される顔の立体画像に対して光源のシミュレートを行い、影部の発生を予測することで、回避可能であると考えられる。例えば、自己メイクによる画像データに対して、鼻周辺など影部の発生が予測される部分について計測を行って影らしき部分を抽出し、この抽出された影部分情報に基づき光源シミュレートを行い、光源の方向を予測する。この予測された光源方向に基づき、他の影部の発生を予測する。
【０１１７】
このように、この実施の第１の形態の第１の応用例によれば、ユーザは、自宅にいながらにして理想メイクにより近いメイクアップを簡単に行うことができ、また、必要な化粧品の情報の入手や購入も、その場で行うことができる。
【０１１８】
２−３．実施の第１の形態の第２の応用例について
次に、この発明の実施の第１の形態の第２の応用例について説明する。第２の応用例は、実施の第１の形態を、スポーツなどの身体フォームに対するアドバイスを行うスポーツ向けのラーニングシステムに適用する例である。
【０１１９】
２−３−１．システムの概要
この第２の応用例によるスポーツ向けラーニングシステムについて概略的に説明する。図１５は、このスポーツ向けラーニングシステムの概要を説明するための一例の流れを示すフローチャートである。先ず、ユーザにとって理想的なフォームの撮影がなされる（ステップＳ３０）。例えば、トレーナやインストラクタ（以下、指導員）によりユーザに対して正しいフォームで動作するように指示がなされ、ユーザがこの指示に従い動作する様子を、動画として撮影する。ここで撮影されたフォームを、理想フォームと呼ぶ。理想フォーム撮影の際のユーザの動作は、実際のフォームに基づく動作に対して遅い動きであってもよいものとする。
【０１２０】
理想フォームが撮影されたビデオデータは、サーバシステムに送信される（ステップＳ３１）。サーバシステム側では、送信されたこのビデオデータに基づきフォームの特徴を示す特徴情報を抽出し、抽出されたフォームの特徴情報を、ユーザの参照情報としてユーザ情報データベースに登録する（ステップＳ３２）。
【０１２１】
一方、ユーザは、後に、トレーニング施設や自宅などでフォームの再現動作を行い、その様子を動画として撮影する（ステップＳ３３）。ここで撮影されたフォームを、自己フォームと呼ぶ。そして、自己フォームを撮影したビデオデータをサーバシステムに送信する（ステップＳ３４）。サーバシステム側では、ユーザから送信されたビデオデータを解析して、フォームの特徴を示す特徴情報を抽出し、抽出されたこの特徴情報と、当該ユーザの参照情報として登録されている特徴情報とを比較する（ステップＳ３５）。比較の結果、両者の差が所定以上であるとされれば（ステップＳ３６）、ユーザのフォームに何らかの問題があると考えることができる。そこで、サーバシステム側では、ユーザから送信されたビデオデータおよび／または当該ビデオデータを解析した解析結果に対して、問題部分を抽出可能なように２次解析処理を施す（ステップＳ３７）。
【０１２２】
サーバシステム側は、２次解析処理の結果に基づき、ユーザに対してフォームのアドバイスを行うアドバイス情報を作成する。作成されたアドバイス情報は、当該ユーザに対して送信される（ステップＳ３８）。このとき、アドバイス情報に対応して、お勧めのスポーツウェアやスポーツ用品を示す情報を当該アドバイス情報に付加して送信することができる。ユーザは、自己トレーニングや自己レッスンにより自己のフォームを理想フォームに近付けることができると共に、必要などの情報を得ることができる。
【０１２３】
なお、ステップＳ３６で、差が所定未満であるとされた場合には、サーバシステム側からユーザに対して、現在のフォームで問題が無い旨を示す通知が送信される（ステップＳ３９）。このとき、ユーザ情報データベースに登録された当該ユーザの情報などに基づき、関連商品の購入情報などを、当該通知に付加して送信することが考えられる。
【０１２４】
２−３−２．第２の応用例に適用可能なシステムについて
図１６は、この実施の第１の形態の第２の応用例に適用可能な一例のシステムを概略的に示す。なお、以下では、この第２の応用例を、実施の第１の形態をゴルフのスウィングのフォームをユーザに対してアドバイスする、ゴルフ教習システムに適用したものとして説明する。
【０１２５】
図１６に例示する第２の応用例に適用可能なシステムは、基本的には、図１を用いて上述した実施の第１の形態に適用可能なシステムや、図７を用いて上述した実施の第１の形態の第１の応用例に適用可能なシステムと同様の構成を有する。なお、図１６において、上述した図７と共通する部分には同一の符号を付し、詳細な説明を省略する。
【０１２６】
施設１６０は、例えば指導員がユーザに対してフォームの指導などを行うようにされた場所である。この図１６の例では、２台のビデオカメラ装置１６１Ａおよび１６２Ａ、ならびに、リーダ１６３Ａが施設１６０に配置され、それぞれオープンまたはこのシステムでクローズされたネットワーク１０３に接続される。２台のビデオカメラ装置１６１Ａおよび１６２Ａのうち一方（ビデオカメラ装置１６１Ａとする）は、ユーザのスウィングの様子を全体的に撮影するためのもので、他方（ビデオカメラ装置１６２Ａ）は、ゴルフクラブのヘッドにおけるインパクトの様子を撮影するためのものである。リーダ１６３Ａは、図示されないユーザ媒体１５から例えばユーザＩＤを読み取る。
【０１２７】
一方、ユーザの自宅１６４や図示されないゴルフ練習場のレーンといった、ユーザが自分自身でフォームのトレーニングを行うような場所に、２台のビデオカメラ装置１６１Ｂおよび１６２Ｂ、ならびに、リーダ１６３Ｂが配置され、それぞれネットワーク１０３に接続される。この場合も、施設１６０と同様に、２台のビデオカメラ装置１６１Ｂおよび１６２Ｂは、それぞれスウィング全体およびインパクトの様子を撮影するためのものである。
【０１２８】
ビデオカメラ装置１６１Ａ、１６２Ａ、１６１Ｂおよび１６２Ｂは、それぞれ被写体を撮影し、得られたビデオデータを所定に圧縮符号化して出力すると共に、ビデオデータを撮影した時刻を示す時刻情報と、ビデオカメラ装置１６１Ａ、１６２Ａ、１６１Ｂおよび１６２Ｂそれぞれを識別するセンサＩＤとを、当該ビデオデータに対応付けて出力する。時刻情報は、ビデオカメラ装置１６１Ａ、１６２Ａ、１６１Ｂおよび１６２Ｂのそれぞれにおいて発生され、フレーム単位で時刻指定が可能とされたタイムコードを用いることができる。
【０１２９】
なお、ビデオカメラ装置１６１Ａ、１６２Ａ、１６１Ｂおよび１６２Ｂは、高速な動きを撮影する必要があるので、通常のビデオカメラと比べてフレームレートがより高速なものであると好ましい。さらに、ビデオカメラ装置１６１Ａ、１６２Ａ、１６２Ａおよび１６２Ｂは、フラッシュライトシステムと連動したものであると、より好ましい。システムの構成などによっては、インパクトの様子を撮影するビデオカメラ装置１６２Ａおよび１６２Ｂは、省略可能である。
【０１３０】
リーダ１６３Ａおよび１６３Ｂは、図示されないユーザ媒体１５に記憶されたユーザＩＤを読み出す。ユーザ媒体１５は、既に述べたように様々な種類のものを適用可能であるが、この第２の応用例では、ユーザ媒体１５は、上述した、合成樹脂製のカード内に不揮発性メモリ、送受信部および発電部を有するカード型記憶媒体であるものとする。ユーザ媒体１５は、予めユーザＩＤが記憶され対応するユーザに渡されているものとする。
【０１３１】
上述の第１の応用例と同様に、ビデオカメラ装置１６１Ａおよび１６２Ａから出力されるビデオデータと、リーダ１６３Ａで読み出されたユーザＩＤとが所定に対応付けられて、ネットワーク１０３に対して送信されるものとする。これは、ビデオカメラ装置１６１Ｂおよび１６２Ｂ、ならびに、リーダ１６３Ｂについても同様とする。また、この第２の応用例においても上述の第１の応用例と同様に、ユーザＩＤは、ユーザ媒体１５からリーダ１６３Ａにより読み出されるのに限らない。例えば、リーダ１６３Ａをキーボードなど所定の入力手段を設けた入力装置とし、ユーザがマニュアルでユーザＩＤを入力するようにしてもよい。
【０１３２】
なお、図１６では、ネットワーク１０３に対して接続されるビデオカメラ装置およびリーダが配置される施設などが、施設１６０およびユーザの自宅１６４のみとなっているが、実際には、さらに多数の施設等に設けられた  ビデオカメラ装置やリーダが、ネットワーク１０３に対して識別可能に接続される。
【０１３３】
サーバシステム１０４’は、図７を用いて説明したサーバシステム１０４に対応するもので、例えばサーバ部１１０’、解析システム部１１１’、センサ情報データベース１１２’、ユーザ情報データベース１１３’およびゴルフ情報データベース１６６を有する。ゴルフ情報データベース１６６は、ゴルフ用品の情報や、ゴルフ練習場の情報など、ゴルフに関する情報が登録される。サーバ部１１０’は、このシステムの全体の制御や管理を行い、ビデオカメラ装置１６１Ａ、１６２Ａ、１６１Ｂおよび１６２Ｂから送信されたビデオデータ、ユーザＩＤおよび時刻情報を、センサ情報データベース１１２’に所定に格納する。
【０１３４】
解析システム部１１１’は、ビデオカメラ装置１６１Ａ、１６２Ａ、１６１Ｂおよび１６２Ｂで取得されセンサ情報データベース１１２’に格納されたビデオデータに対して、一例を後述するような１次解析処理を行う。さらに、１次解析の解析結果に基づき閾値判断を行い、判断結果に応じて一例を後述するような２次解析を行う。
【０１３５】
サーバシステム１０４’は、サーバ部１１０’によりインターネット１３０に接続される。インターネット１３０には、例えばユーザが自宅１６４などで利用可能な、パーソナルコンピュータなどによるユーザ端末１６５が接続される。なお、図１６の例では、インターネット１３０に接続されるユーザ端末がユーザ端末１６５のみとなっているが、実際には、さらに多数のユーザ端末の接続が可能である。また、インターネット１３０には、インターネット１３０に向けてウェブページ公開などウェブサービスを提供するサーバであるウェブサーバ１３２が接続される。
【０１３６】
なお、上述では、ユーザの自宅１６４に配置されるビデオカメラ装置１６１Ｂおよび１６２Ｂがネットワーク１０３に接続されているように説明したが、これはこの例に限定されない。例えば、ビデオカメラ装置１６１Ｂおよび１６２Ｂがパーソナルコンピュータであるユーザ端末１６５に接続されるものとし、ビデオカメラ装置１６１Ｂおよび１６２Ｂによる撮影の制御をユーザ端末１６５にて行い、ビデオカメラ装置１６１Ｂおよび１６２Ｂから出力されたビデオデータをユーザ端末１６５からインターネット１３０を介してサーバシステム１０４’に送信するようにしてもよい。
【０１３７】
センサ情報データベース１１２’およびユーザ情報データベース１１３’の構成について、概略的に説明する。センサ情報データベース１１２’の構成は、図２を用いて説明したセンサ情報データベース１１２と同様とされ、ビデオデータを識別するデータＩＤに対し、当該ビデオデータの格納場所を示すポインタ情報と、ユーザＩＤと、時刻情報とが対応付けられて、センサ情報テーブルに登録される。この場合、時刻情報は、例えば当該ビデオデータの撮影が開始された時刻とされる。
【０１３８】
ユーザ情報データベース１１３’は、ユーザ情報が登録されるユーザ情報テーブルと、参照情報テーブルとを有する。図１７は、ユーザ情報データベース１１３’内のユーザ情報テーブルの一例の構成を示す。ユーザ情報テーブルは、ユーザを識別するユーザＩＤ毎に、ユーザＩＤが対応するユーザの属性情報と、当該ユーザのゴルフに関する情報とが登録される。ユーザの属性情報は、例えば、そのユーザの名前、連絡先（電子メールアドレス）といったユーザを識別する情報と、年齢、身長、体重といったユーザの身体的特徴を示す情報とからなる。ゴルフ関連情報は、そのユーザのゴルフに関連する情報であって、例えば、ハンデ、ドライバでの飛距離といったユーザのゴルフの技術に関する情報や、ユーザが使用しているゴルフクラブなど、ゴルフ用品に関する情報からなる。これらの情報は、例えば、ユーザがこのシステムの利用を開始する際に設定される。参照情報テーブルの構成については、後述する。
【０１３９】
このような構成のシステムにおいて、図１５を用いて説明した流れに従い、先ずユーザは、施設１６０で指導員の指導の下、理想フォームによるスウィング動作を行い、例えばビデオカメラ装置１６１Ａを用いてそのフォームを撮影する（ステップＳ３０）。また、ユーザは、リーダ１６３Ａにユーザ媒体１５に記憶されるユーザＩＤを読み取らせる。フォームが撮影されたビデオデータは、撮影された時刻を示す時刻情報と、ビデオカメラ装置１６１Ａを識別するセンサＩＤと、ユーザＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４’に送信される（ステップＳ３１）。
【０１４０】
サーバシステム１０４’は、これらビデオデータと、当該ビデオデータに付加された時刻情報、センサＩＤ、ユーザＩＤとをサーバ部１１０’に供給する。ビデオデータは、例えばサーバ部１１０’が有するストレージ装置に所定に格納される。サーバ部１１０’は、センサ情報データベース１１２’のセンサＩＤが対応するセンサ情報テーブルに対し、ビデオデータの格納場所を示すポインタ情報、時刻情報およびユーザＩＤを所定に対応付けて格納する。
【０１４１】
ビデオデータは、ポインタ情報やユーザＩＤなどに基づきサーバ部１１０’に読み出され、解析システム部１１１’に供給される。解析システム部１１１’は、供給されたビデオデータに対して所定の処理を施し、当該ビデオデータに対する参照情報を生成する。参照情報は、参照情報を識別するための参照情報ＩＤを付加され、関連する他の情報と対応付けられて、ユーザ情報データベース１１３’内の参照情報テーブルに所定に登録される（ステップＳ３２）。
【０１４２】
ユーザは、後に、例えばユーザの自宅１６４で、自分自身でスウィング動作を行い、ビデオカメラ装置１６１Ｂを用いてフォームを撮影する（ステップＳ３３）。また、ユーザは、リーダ１６３Ｂにユーザ媒体１５に記憶されるユーザＩＤを読み出させる。自己フォームが撮影されたビデオデータは、撮影された時刻を示す時刻情報と、ビデオカメラ装置１６１Ｂを識別するセンサＩＤと、ユーザＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４’に送信される（ステップＳ３４）。
【０１４３】
サーバシステム１０４’は、これら自己フォームによるビデオデータと、当該ビデオデータに付加された時刻情報、センサＩＤおよびユーザＩＤとをサーバ部１１０’に供給する。ビデオデータは、例えばサーバ部１１０’が有するストレージ装置に所定に格納される。ビデオデータは、ポインタ情報やユーザＩＤなどに基づきサーバ部１１０’に読み出され、解析システム部１１１’に供給される。解析システム部１１１’は、供給されたビデオデータに対して所定の処理を施す。そして、サーバ部１１０’は、供給されたユーザＩＤに基づきユーザ情報データベース１１３’内の参照情報テーブルから対応する参照情報を抽出し、参照情報と、自己フォームによるビデオデータに基づく処理結果とを比較し、１次解析を行う（ステップＳ３５）。
【０１４４】
１次解析による比較の結果、参照情報と自己フォームによるビデオデータに基づく処理結果の差分が所定以上あれば（ステップＳ３６）、サーバ部１１０’は、自己フォームによるビデオデータ、或いは、自己フォームによるビデオデータに基づく処理結果に対して、２次解析処理を行う（ステップＳ３７）。そして、２次解析結果に基づきアドバイス情報を生成し、例えば電子メールなどを用いてユーザに対して送信する。
【０１４５】
ユーザは、サーバ部１１０’から送信された、アドバイス情報が添付された電子メールを、例えばユーザの自宅１６４においてユーザ端末１６５を用いて受信することで、アドバイス情報に基づきより理想フォームに近いフォームのスウィングを学習することが可能となる。
【０１４６】
ここで、アドバイス情報と共に、当該ユーザの参照情報に対応するビデオデータをユーザに対して送信することが考えられる。すなわち、アドバイス情報と当該ビデオデータとを一纏めにパッケージングし、このパッケージデータを電子メールに添付して送信する。パッケージデータの構成は、図９を用いて説明したのと同様であるので、ここでの説明は省略する。ユーザは、この電子メールをユーザ端末１６５で受信して、ビデオデータを再生させながらアドバイス情報を参照することで、より効果的にスウィングの学習を行うことができる。
【０１４７】
なお、ビデオデータは、ストリーム配信の形態でアドバイス情報とパッケージングすることが好ましい。一例として、サーバ部１１０’においてビデオデータに対して所定にＵＲＬを与え、当該ＵＲＬへのアクセスに対してストリーミング配信可能なように送信制御を行う。ユーザ側では、ビデオデータの全長分の受信を待たずに、当該ビデオデータを再生することができる。また、理想フォームおよび／または自己フォームの時系列方向での分解画像をアドバイス情報と共にパッケージングすることも考えられる。例えば、サーバ部１１０’は、理想フォームおよび／または自己フォームによるビデオデータのフレーム画像を、所定時間間隔毎に抽出し、アドバイス情報などと共にパッケージングする。
【０１４８】
さらに、この第２の応用例においても、アドバイス情報などを電子メールに添付して送信するのに限られない。すなわち、上述した第１の応用例と同様に、アドバイス情報、理想フォームおよび／または自己フォームによよるビデオデータや当該ビデオデータの時系列方向での分解画像を、ウェブサイト上のウェブページとして、インターネット１３０上で閲覧可能としてユーザに提示することが考えられる。所定のタイミングの分解画像に対して対応するアドバイス情報を関連付けて表示することも考えられる。
【０１４９】
２−３−３．第２の応用例による解析処理の例について
次に、この実施の第１の形態の第２の応用例に適用可能な１次解析処理および２次解析処理の例について説明する。先ず、１次解析処理の例について説明する。１次解析処理は、例えば、ユーザの身体における複数の所定ポイントを計測ポイントとして設定し、理想フォームおよび自己フォームのそれぞれについて各々の計測ポイントの位置を測定し、理想フォームについて計測された値と、自己フォームについて計測された値とを比較して差分を計算する。そして、この差分を、所定の閾値と比較することが考えられる。
【０１５０】
図１８を用いて、計測ポイントの例について説明する。なお、図１８は、理想フォームによるスウィング開始時の様子を捉えたフレーム画像であるものとする。身体の動きを解析する場合、身体の主要な関節を計測ポイントとして観測することが考えられる。図１８の例では、ユーザの身体４００における左右それぞれについて、肩部４０１Ａおよび４０１Ｂ、肘部４０１Ｃおよび４０１Ｄ、手首部４０１Ｅおよび４０１Ｆ、股関節部４０１Ｇおよび４０１Ｈ、膝部４０１Ｉおよび４０１Ｊ、ならびに、足首部４０１Ｋおよび４０１Ｌを計測ポイントとし、さらに、頭頂部４０２を計測ポイントに加えている。なお、これらの計測ポイントは一例であって、この例に限定されるものではない。
【０１５１】
なお、図１８において太線で例示されるように、身体４００は、各計測ポイント４０１Ａ〜４０１Ｌ、４０２を所定に結んだ直線と、胴体の中心線４０３とで表現することができると考えられる。このように、身体４００の構造を簡略化して表現することで、後述する１次解析処理や２次解析処理が容易になることが期待される。
【０１５２】
理想フォームや自己フォームによるスウィングの様子を撮影したビデオデータから所定のフレームを複数枚、抽出し、抽出された複数枚のフレーム画像のそれぞれについて、これら計測ポイント４０１Ａ〜４０１Ｌおよび計測ポイント４０２の位置を測定する。例えば、スウィングの様子を撮影したビデオデータの各フレームを解析し、スウィングの開始点、クラブのヘッドにボールが当たる瞬間、ならびに、スウィングの終了点が撮影されたフレームを抽出する。これらのフレームに基づきさらに時系列的な経過点のフレームを抽出することも考えられる。
【０１５３】
ここで、各フレーム画像から、各計測ポイント４０１Ａ〜４０１Ｌ、４０２を抽出する必要がある。一例として、予め解析システム部１１１’にパターン情報が登録されているマークを、フォームの撮影時にユーザの身体４００の各計測ポイント４０１Ａ〜４０１Ｌ、４０２に取り付ける方法が考えられる。マークは、外見上の特徴抽出が容易でユーザの動きに対する影響が少ないものであれば、特に限定されない。例えば、所定の形状を有したり、所定のパターンが表示された物体や、ＬＥＤ(Light Emitting Diode)などによる発光体をマークとして用いることが考えられる。解析システム部１１１’は、解析時に、フレーム画像からこのマークを検出し、各計測ポイント４０１Ａ〜４０１Ｌ、４０２を特定する。
【０１５４】
これに限らず、フレーム画像から直接的に各計測ポイント４０１Ａ〜４０１Ｌ、４０２を抽出してもよい。例えば、各フレーム画像を時系列的に解析し、関節部分など抽出することが考えられる。
【０１５５】
このようにして、理想フォームによるビデオデータから求められた各計測ポイントの位置情報は、参照情報として参照情報テーブルに登録される。図１９は、ユーザ情報データベース１１３’内の参照テーブルの構成例を示す。ここでは、図１９Ａおよび図１９Ｂに例示されるように、参照情報テーブルを複数のテーブルから構成している。参照情報テーブルの構成はこれに限らず、複数のテーブルを１つに纏めてもよいし、さらに分割することも考えられる。なお、参照情報テーブルにおいて、各計測ポイント４０１Ａ〜４０１Ｌ、４０２は、それぞれ固有の識別情報ＰｏＩＤにより表される。
【０１５６】
図１９Ａは、１の参照情報が登録される一例のテーブルである。参照情報自体は、参照情報ＩＤを用いて他の参照情報と識別される。参照情報は、例えば１のビデオデータから抽出された複数フレームの情報からなり、複数フレームのそれぞれについて、各計測ポイント４０１Ａ〜４０１Ｌ、４０２の位置を示す位置情報が登録される。フレームのそれぞれは、例えばタイムコードを用いてフレーム単位で表される。テーブルには、上述した、スウィングの開始点が撮影されたフレーム、クラブのヘッドにボールが当たる瞬間が撮影されたフレーム、ならびに、スウィングの終了点が撮影されたフレームの３フレームのみを登録することが考えられる。
【０１５７】
これに限らず、理想フォームを撮影したビデオデータのフレームを全て登録してもよい。全てのフレームを登録する場合には、上述の３フレームが識別可能なようにされる。また、全てのフレームを登録する場合、上述の３フレームのみについてのみ計測ポイントを抽出し、他のフレームについては計測ポイントの抽出を省略することも考えられる。
【０１５８】
図１９Ｂは、参照情報のそれぞれについて、属性情報が格納される属性情報テーブルの一例の構成を示す。例えば、参照情報毎に、対応するユーザＩＤ、取得された日付、参照情報に対応するビデオデータの識別情報が対応付けられると共に、所定の属性情報が対応付けられる。所定の属性情報は、例えば、任意の説明、施設１６０の名称や、施設１６０におけるユーザの担当者などを登録することが考えられる。
【０１５９】
１次解析は、一例として次のようにして行うことが考えられる。先ず、自己フォームを撮影したビデオデータの所定フレーム（例えばスウィング開始時のフレームとする）について、各計測ポイント４０１Ａ〜４０１Ｌ、４０２の位置を求める。これら自己フォームによるビデオデータの所定フレームにおける各計測ポイント４０１Ａ〜４０１Ｌ、４０２の位置を示す位置情報と、参照情報テーブルに登録された対応するフレームから抽出された各計測ポイント４０１Ａ〜４０１Ｌ、４０２の位置を示す位置情報とに対し、計測ポイント毎に、計測ポイントに応じた重み付けをそれぞれ所定に行い、重み付けされた位置情報に関し、対応する計測ポイントの組それぞれについて位置情報の差分の絶対値を計算する。差分は、例えばベクトルの大きさとして求めることが考えられる。そして、計測ポイントの組それぞれについて計算された差分の絶対値を加算し、加算結果を所定の閾値と比較する。比較の結果、加算結果が閾値より大きいと判断されれば（図１３のステップＳ３６）、２次解析を行う。
【０１６０】
２次解析は、一例として次のようにして行うことが考えられる。１次解析の際に用いた、参照情報に基づく各計測ポイント４０１Ａ〜４０１Ｌ、４０２の位置を示す位置情報と、自己フォームに基づく各計測ポイント４０１Ａ〜４０１Ｌ、４０２の位置を示す位置情報とに関し、位置が対応する計測ポイントの組について位置情報の差分をベクトル情報として求める。そして、各計測ポイント４０１Ａ〜４０１Ｌ、４０２それぞれの差分情報を総合的に解析する。解析内容としては、身体４００の捻れや、腕の振り、重心の移動などが考えられる。
【０１６１】
なお、例えば上述のように、スウィングの開始点が撮影されたフレーム、クラブのヘッドにボールが当たる瞬間が撮影されたフレーム、ならびに、スウィングの終了点が撮影されたフレームといった複数フレームが解析対象となっている場合、１次解析の結果に基づく判断は、解析対象のフレーム毎に行ってもよいし、解析対象の複数フレーム全ての解析結果を用いて行ってもよい。フレーム毎に１次解析の結果に基づく判断を行った場合には、２次解析も、対応するフレーム毎に行うことが考えられる。
【０１６２】
２次解析結果に基づき、ユーザに対してスウィングに関するアドバイスを行うアドバイス情報を生成し、ユーザに提示するとよい。サーバシステム１０４’において、例えば予測される２次解析の結果に応じたアドバイス用のテキストデータを予め用意する。そして、実際の２次解析の結果に基づきアドバイス用のテキストデータを所定に選択したり、必要に応じてアドバイス用のテキストデータを複数、組み合わせて１のテキストデータとし、これを、ユーザに対するスウィングのアドバイス情報として提示する。アドバイス情報は、例えばパッケージデータ１４０に含めてユーザに提供される。
【０１６３】
この実施の第１の形態の第２の応用例でも、上述した第１の応用例と同様に、２次解析の結果に応じてユーザに対して商品を紹介することができるようにされている。第２の応用例がゴルフ教習システムに適用されたこの例では、２次解析結果に応じてゴルフ用品の紹介を行うことが考えられる。例えば、２次解析結果に基づきゴルフ情報データベース１６６を参照し、適当と思われるゴルフ用品を選択する。一例として、ゴルフ情報データベース１６６に対し、ゴルフクラブにの情報を、長さ、重さなどのゴルフクラブの特性を示す情報と対応付けて登録しておき、２次解析の結果に基づき、ユーザのフォームをより理想フォームに近付けるのに適当なゴルフクラブを検索し、検索の結果得られた商品の情報をユーザに提示する。
【０１６４】
このとき、検索結果で示された商品をインターネット１３０を介して購入可能なウェブサイトのＵＲＬを、商品情報と共にユーザに提供する、ユーザは、２次解析結果を受け取ったその場で、商品の注文を行うことができる。
【０１６５】
なお、上述では、図１３のフローチャートにおけるステップＳ３６で、１次解析による比較結果に基づく差分が所定以上の場合に、商品の紹介を行うように説明したが、これはこの例に限定されない。すなわち、上述の第１の応用例の場合と同様に、ステップＳ３６においてこれらの差が所定未満であるとされた場合にも、商品などの紹介を行うようにできる。
【０１６６】
また、上述では、理想フォームの撮影を、指導員などの指導の下にユーザ自らがスウィング動作をすることで行っていたが、これはこの例に限定されない。例えば、指導員による理想フォームに基づくスウィング動作を撮影し、得られたビデオデータに基づき、ユーザの参照情報を作成することも考えられる。この場合、ユーザと指導員との間に体格差があると、１次解析において的確な判断が行えない可能性がある。そのため、指導員とユーザの体格差に基づき、指導員の各計測ポイント４０１Ａ〜４０１Ｌ、４０２の位置を示す位置情報を、ユーザの体格に応じて正規化することが考えられる。
【０１６７】
これに限らず、１次解析において判断を行う際の閾値を適当に設定することで、指導員の理想フォームを正規化を行わずにそのまま、参照情報として用いるようにできる。
【０１６８】
２−３−４．補足
上述では、この実施の第１の形態の第２の応用例をゴルフ教習システムに適用させた場合について説明したが、これはこの例に限定されない。すなわち、この第２の応用例は、ユーザのフォームを理想フォームと比較して判定を行うようなものであれば、他のスポーツにも適用可能なものである。例えば野球のピッチング、バッティングの教習システム、各種陸上競技のトレーニングシステム、各種格闘技のトレーニングシステムなどに、この第２の応用例を適用することができる。
【０１６９】
さらに、参照情報は、必ずしも理想フォームである必要はない。例えば、ユーザのベストの状態でのフォームを参照情報として用いてもよいことは、勿論である。
【０１７０】
さらにまた、この第２の応用例は、スポーツ向けのラーニングシステムに適用するのに限られない。例えば、毛筆習字やペン習字といった習字のラーニングシステムにこの第２の応用例を適用することができる。この場合、書かれた文字を静止画にて撮影し、手本の文字と比較することが考えられる。
【０１７１】
このように、この実施の第１の形態の第２の応用例によれば、ユーザは、自宅にいながらにして理想フォームにより近いフォームを習得することが容易に行え、また、必要な用具や情報の入手や購入も、その場で行うことができる。
【０１７２】
２−４．実施の第１の形態の第３の応用例について
次に、この発明の実施の第１の形態の第３の応用例について説明する。第３の応用例は、この実施の第１の形態を、外国語による会話を指導する外国語会話教室で用いる外国語会話ラーニングシステムに適用する例である。この第３の応用例では、画像情報と共に音声情報を用いて、１次解析および２次解析を行う。
【０１７３】
２−４−１．システムの概要
この第３の応用例による外国語会話ラーニングシステムについて概略的に説明する。図２０は、この外国語会話ラーニングシステムの概要を説明するための一例の流れを示す。ここで説明する外国語会話ラーニングシステムは、特定の教室において講師がテキストに基づき生徒（ユーザ）に対して外国語会話のレッスンを行う。それと共に、ユーザは、教室外、例えばユーザの自宅などでテキストおよび教室でのレッスンの記録に基づき会話練習を行う。このとき、ユーザは、インターネットに接続されたパソコンなどのユーザ端末を用いて、会話練習をインターネットを介した通信を利用して行うことができるようにされている。
【０１７４】
先ず、教室などにおいて、講師がテキストに基づき発音を行っている様子を動画として撮影すると共に、発音された音声を録音する（ステップＳ４０）。なお、発音に伴う講師の口および顔の動きまたは様子を理想発音フォームと呼び、対応する音声を理想発音音声と呼ぶことにする。理想発音フォームを撮影したビデオデータおよび理想発音音声を録音したオーディオデータは、サーバシステムに送信される（ステップＳ４１）。サーバシステム側では、送信されたビデオデータおよびオーディオデータに基づき、理想発音フォームおよび理想発音音声の特徴を示す特徴情報をそれぞれ抽出し、抽出された理想発音フォームの特徴情報と、理想発音音声の特徴情報とを、ユーザの参照情報としてユーザ情報データベースに登録する（ステップＳ４２）。
【０１７５】
一方、ユーザは、後に、教室外、例えば自宅などでテキストに基づき発音の復習を行い、その様子を撮影すると共に発音された音声を録音する（ステップＳ４３）。ここで撮影された、発音に伴うユーザの口の動きおよび顔の動きまたは様子を自己発音フォームと呼び、対応する音声を自己発音音声と呼ぶことにする。これら自己発音フォームを撮影したビデオデータと、自己発音音声を録音したオーディオデータとをサーバシステムに送信する（ステップＳ４４）。
【０１７６】
サーバシステム側では、ユーザから送信されたビデオデータおよびオーディオデータをそれぞれ解析して、自己発音フォームおよび自己発音音声の特徴を示す特徴情報をそれぞれ抽出し、抽出されたこれらの特徴情報と、当該ユーザの参照情報として登録されている特徴情報とを比較し、１次解析を行う（ステップＳ４５）。１次解析の結果、両者の差が所定以上であるとされれば（ステップＳ４６）、ユーザによる当該外国語の発音などに何らかの問題があると考えることができる。そこで、サーバシステム側では、ユーザから送信されたビデオデータおよびオーディオデータや、当該ビデオデータおよびオーディオデータを解析した解析結果に対して、問題部分を抽出可能なように２次解析処理を施す（ステップＳ３７）。
【０１７７】
サーバシステム側は、２次解析処理の結果に基づき、ユーザに対してアドバイスを行うアドバイス情報を作成する。作成されたアドバイス情報は、当該ユーザに対して送信される（ステップＳ４８）。このとき、適当な広告情報を当該アドバイス情報に付加して送信することができる。外国語会話ラーニングシステムの場合、広告情報としては、例えば他のコースの紹介などが考えられる。
【０１７８】
なお、ステップＳ４６で、差が所定未満であるとされた場合は、サーバシステム側からユーザに対して、例えば現在の発音などで問題が無い旨を示す通知が送信される。
【０１７９】
２−４−２．第３の応用例に適用可能なシステムについて
図２１は、この実施の第１の形態の第３の応用例に適用可能な一例のシステムを概略的に示す。図２１に例示する第３の応用例に適用可能なシステムは、基本的には、図１、図７および図１６を用いて説明した各システムと同様の構成を有する。なお、図２１において、上述した１６と共通する部分には同一の符号を付し、詳細な説明を省略する。
【０１８０】
図２１に例示されるシステムでは、ユーザは、特定の教室１７０に赴き講師の下で外国語会話のレッスンを受ける。また、ユーザは、教室１７０外、例えばユーザの自宅１７４などで、インターネット１３０に接続された例えばパーソナルコンピュータといったユーザ端末１７５を用いて、教室１７０で受けたレッスンに基づく会話練習などを、インターネット１３０を介した通信を利用して行うことができる。
【０１８１】
教室１７０は、講師がユーザに対して外国語会話のレッスンを行うようにされた場所である。この図２１の例では、ビデオカメラ装置１７１Ａ、マイクロフォン（ＭＩＣ）１７２Ａおよびリーダ１７３Ａが教室１７０に配置され、それぞれオープンまたはこのシステムでクローズされたネットワーク１０３に接続される。ビデオカメラ装置１７１Ａは、例えば講師の発音の様子が撮影可能なように配置される。同様に、マイクロフォン１７２Ａは、例えば講師の発声を明瞭に収音可能なように配置される。
【０１８２】
なお、マイクロフォン１７２Ａは、実際には、音声を収音するマイクロフォン部と、マイクロフォン部から出力された音声信号に対して増幅処理など所定の信号処理を施し、さらにディジタル音声信号に変換して出力する信号処理部を有する。
【０１８３】
一方、教室１７０外、例えばユーザの自宅１７４に対してビデオカメラ装置１７１Ｂ、マイクロフォン１７２Ｂおよびリーダ１７３Ｂが配置され、それぞれネットワーク１０３に接続される。ビデオカメラ装置１７１Ｂおよびマイクロフォン１７２Ｂは、ユーザの発音の様子を収録可能に配置される。
【０１８４】
ビデオカメラ装置１７１Ａおよび１７１Ｂは、それぞれ被写体を撮影して得られたビデオデータを、所定に圧縮符号化して出力すると共に、ビデオデータを撮影した時刻を示す時刻情報と、ビデオカメラ装置１７１Ａおよび１７１Ｂをそれぞれ識別するセンサＩＤとを、当該ビデオデータに対応付けて出力する。マイクロフォン１７２Ａおよび１７２Ｂにおいても同様に、それぞれ収音され得られたオーディオデータを、所定に圧縮符号化して出力すると共に、オーディオデータを収音した時刻を示す時刻情報と、マイクロフォン１７２Ａおよび１７２Ｂをそれぞれ識別するセンサＩＤとを、当該オーディオデータに対応付けて出力する。ここで、ビデオデータおよびオーディオデータは、同期的に出力することが好ましい。
【０１８５】
リーダ１７３Ａおよび１７３Ｂは、図示されないユーザ媒体１５からユーザＩＤなどを読み取る。ユーザ媒体１５は、既に述べたように様々な種類のものを適用可能であるが、この第３の応用例では、ユーザ媒体１５は、上述した、合成樹脂製のカード内に不揮発性メモリ、送受信部および発電部を有するカード型記憶媒体であるものとする。ユーザ媒体１５は、予めユーザＩＤが記憶され対応するユーザに渡されているものとする。
【０１８６】
上述の第１および第２の応用例と同様に、ビデオカメラ装置１７１Ａから出力されるビデオデータ、時刻情報およびセンサＩＤ、マイクロフォン１７２Ａから出力されるオーディオデータ、時刻情報およびセンサＩＤ、ならびに、リーダ１７３Ａで読み出されたユーザＩＤとが所定に対応付けられて、ネットワーク１０３を介して後述するサーバシステム１０４”に送信される。同様に、ビデオカメラ装置１７１Ｂから出力される各データ、マイクロフォン１７２Ｂから出力される各データ、ならびに、リーダ１７３Ｂで読み出されたユーザＩＤとが所定に対応付けられて、ネットワーク１０３を介してサーバシステム１０４’に送信される。
【０１８７】
また、この第３の応用例においても上述の第１および第２の応用例と同様に、ユーザＩＤは、ユーザ媒体１５からリーダ１７３Ａやリーダ１７３Ｂにより読み出されのに限られない。例えば、リーダ１７３Ａやリーダ１７３Ｂをキーボードなど所定の入力手段を設けた入力装置とし、ユーザがマニュアルでユーザＩＤを入力するようにしてもよい。
【０１８８】
なお、図２１では、ネットワーク１０３に接続されるビデオカメラ装置、マイクロフォンおよびリーダが配置される施設などが、教室１７０およびユーザの自宅１７４のみとなっているが、実際には、さらに多数の教室やユーザ自宅などに設けられたビデオカメラ装置、マイクロフォンおよびリーダがネットワーク１０３に対して識別可能に接続される。
【０１８９】
サーバシステム１０４”は、図７のサーバシステム１０４や図１６のサーバシステム１０４’に対応するもので、例えばサーバ部１１０”、解析システム部１１１”、センサ情報データベース１１２”およびユーザ情報データベース１１３”を有する。サーバ部１１０”は、このシステム全体の制御や管理を行い、ビデオカメラ装置１７１Ａ、マイクロフォン１７２Ａおよびリーダ１７３Ａや、ビデオカメラ装置１７１Ｂ、マイクロフォン１７２Ｂおよびリーダ１７３Ｂから送信されたビデオデータ、オーディオデータ、ユーザＩＤおよび時刻情報を、センサ情報データベース１１２”に所定に格納する。
【０１９０】
解析システム部１１１”は、ビデオカメラ装置１７１Ａおよび１７１Ｂで取得されセンサ情報データベース１１２”に格納されたビデオデータや、マイクロフォン１７２Ａおよび１７２Ｂで取得されセンサ情報データベース１１２”に格納されたオーディオデータに対して、一例を後述するような１次解析処理を行う。さらに、１次解析の解析結果に基づき閾値判断を行い、判断結果に応じて一例を後述するような２次解析を行う。なお、１次解析および／または２次解析は、ビデオデータおよびオーディオデータそれぞれ単独に用いて行ってもよいし、ビデオデータおよびオーディオデータを互いに関連させて行うこともできる。
【０１９１】
サーバシステム１０４”は、サーバ部１１０”によりインターネット１３０に接続される。インターネット１３０には、例えばユーザが自宅１７４などで利用可能な、パーソナルコンピュータなどによるユーザ端末１７５が接続される。なお、図２１の例では、インターネット１３０に接続されるユーザ端末がユーザ端末１７５のみとなっているが、実際には、さらに多数のユーザ端末の接続が可能である。また、インターネット１３０には、インターネット１３０に向けてウェブページ公開などウェブサービスを提供するサーバであるウェブサーバ１３２が接続される。
【０１９２】
なお、上述では、ユーザの自宅１７４に配置されるビデオカメラ装置１７１Ｂ、マイクロフォン１７２Ｂおよびリーダ１７３Ｂがネットワーク１０３に接続されているように説明したが、これはこの例に限定されない。例えば、ビデオカメラ装置１７１Ｂ、マイクロフォン１７２Ｂおよびリーダ１７３Ｂがパーソナルコンピュータであるユーザ端末１７５に接続されるものとし、ビデオカメラ装置１７１Ｂによる撮影の制御やマイクロフォン１７２Ｂによる収音などの制御、リーダ１７３Ｂによるデータの読み出しの制御をユーザ端末１７５にて行い、ビデオカメラ装置１７１Ｂ、マイクロフォン１７２Ｂおよびリーダ１７３Ｂから出力されたビデオデータをユーザ端末１７５からインターネット１３０を介してサーバシステム１０４”に送信するようにしてもよい。
【０１９３】
センサ情報データベース１１２”およびユーザ情報データベース１１３”の構成について、概略的に説明する。先ず、図２２を用いて、センサ情報データベース１１２”の一例の構成について説明する。ビデオカメラ装置から出力されるビデオデータと、マイクロフォンから出力されるオーディオデータとは、例えば図２２Ａに例示されるようなテーブルにより互いに対応付けられて管理される。この図２２Ａの例では、ビデオデータおよびオーディオデータはそれぞれファイルとして管理され、時刻情報により互いに対応付けられる。
【０１９４】
図２２Ｂは、ビデオデータファイル内のビデオデータと、オーディオデータファイル内のオーディオデータとを同期的に対応付けて管理する一例のテーブルを示す。この図２２Ｂの例では、ビデオデータの各フレームに対して、オーディオデータがサンプル単位で対応付けられて管理される。一例として、フレーム周波数が３０Ｈｚ、オーディオデータのサンプリング周波数が４８０００Ｈｚである場合、１フレーム毎にモノラルオーディオデータの１６００サンプルが対応付けられる。
【０１９５】
ユーザ情報データベース１１３”は、例えばユーザ情報テーブルおよび参照情報テーブルを有し、登録されたユーザに関する情報が格納される。この第３の応用例においては、ユーザ情報テーブルの構成は、図３を用いて説明した構成と同様の構成を適用できるため、詳細な説明を省略する。例えば、ユーザ情報テーブルにおいてユーザを識別するユーザＩＤに対して、当該ユーザの属性情報が対応付けられる。ユーザの属性情報としては、ユーザの名前、連絡先（電子メールアドレスなど）、ユーザが受講しているコースを示す情報、ユーザの担当講師名などが考えられる。参照情報テーブルの構成については、後述する。
【０１９６】
このような構成のシステムにおいて、図２０を用いて説明した流れに従い、先ず、ユーザは、教室１７０において、ユーザ媒体１５に記憶されるユーザＩＤをリーダ１７３Ａに読み出させる。そして、所定のテキストに基づき、講師の指導の下に外国語会話のレッスンを受ける。教室１７０に配置されたビデオカメラ装置１７１Ａおよびマイクロフォン１７２Ａにより、講師による理想発音フォームの撮影と、理想発音音声の収音が行われる（ステップＳ４０）。ビデオカメラ装置１７１Ａおよびマイクロフォン１７２Ａからビデオデータおよびオーディオデータがそれぞれ出力される、ビデオデータおよびオーディオデータは、ビデオカメラ装置１７１Ａやマイクロフォン１７２Ａを識別するセンサＩＤ、撮影および／または収音が開始された時刻を示す時刻情報、ユーザＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４”に送信される（ステップＳ４１）。
【０１９７】
サーバシステム１０４”は、これらビデオデータ、オーディオデータ、当該ビデオデータおよびオーディオデータに付加された時刻情報、センサＩＤおよびユーザＩＤとをサーバ部１１０”に供給する。ビデオデータおよびオーディオデータは、サーバ部１１０”が有するストレージ装置にそれぞれファイルとして所定に格納される。サーバ部１１０”は、センサ情報データベース１１２”に対して、ビデオデータファイル、ビデオカメラ装置１７１ＡのセンサＩＤ、オーディオデータファイル、マイクロフォン１７２ＡのセンサＩＤ、時刻情報とを所定に対応付けてセンサ情報テーブルに格納すると共に、ビデオデータおよびオーディオデータを、例えばオーディオデータのサンプル単位でビデオデータのフレームに対応付けて、センサ情報テーブルに格納する。
【０１９８】
ビデオデータファイルおよびオーディオデータファイルは、ユーザＩＤなどに基づきセンサ情報データベース１１２”から読み出され、解析システム部１１１”に供給される。解析システム部１１１”は、供給されたビデオデータファイルに格納されるビデオデータおよび／またはオーディオデータファイルに格納されるオーディオデータに対して所定の処理を施し、当該ビデオデータおよび／またはオーディオデータに対する参照情報を生成する。参照情報は、参照情報を識別するための参照情報ＩＤを付加され、関連する他の情報と対応付けられて、ユーザ情報データベース１１３”内の参照情報テーブルに所定に登録される（ステップＳ４２）。
【０１９９】
ユーザは、後に、例えばユーザの自宅１７４で、教室１７０で用いたテキストに従いレッスンの復習を行う。この復習による自己発音フォームをビデオカメラ装置１７１Ｂで撮影すると共に、自己発音音声をマイクロフォン１７２Ｂで収音する。また、ユーザは、リーダ１７３Ｂにユーザ媒体１５に記憶されるユーザＩＤを読み出させる。これら自己発音フォームが撮影されたビデオデータおよび自己発音音声が収音されたオーディオデータは、撮影および／または収音が開始された時刻を示す時刻情報と、ビデオカメラ装置１７１Ｂおよびマイクロフォン１７２Ｂをそれぞれ識別するセンサＩＤと、ユーザＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４”に送信される（ステップＳ４４）。
【０２００】
サーバシステム１０４”は、これら自己発音フォームによるビデオデータおよび自己発音音声によるオーディオデータと、これらのデータに付加された時刻情報、センサＩＤおよびユーザＩＤとをサーバ部１１０”に供給する。ビデオデータおよびオーディオデータは、サーバ部１１０”が有するストレージ装置に、それぞれファイルとして所定に格納される。ビデオデータおよびオーディオデータは、ユーザＩＤなどに基づきサーバ部１１０”に読み出され、解析システム部１１１”に供給される。解析システム部１１１”は、供給されたビデオデータおよびオーディオデータに対して所定の処理を施す。そして、サーバ部１１０”は、供給されたユーザＩＤに基づきユーザ情報データベース１１３”内の参照情報テーブルから対応する参照情報を抽出し、参照情報と、自己発音フォームによるビデオデータおよび自己発音音声によるオーディオデータに基づく処理結果とを比較し、１次解析を行う（ステップＳ４５）。
【０２０１】
１次解析の結果、参照情報と自己発音フォームによるビデオデータおよび自己発音音声によるオーディオデータに基づく差分が所定以上あれば（ステップＳ４６）、サーバ部１１０”は、自己発音フォームによるビデオデータおよび自己発音音声によるオーディオデーに基づきさらに２次解析処理を行う（ステップＳ４７）。そして、２次解析結果に基づきアドバイス情報を生成し、例えば電子メールなどを用いてユーザに対して送信する。
【０２０２】
ユーザは、サーバ部１１０”から送信された、アドバイス情報が添付された電子メールを、例えばユーザの自宅１７４においてユーザ端末１７５を用いて受信することで、アドバイス情報にもとづきより理想発音フォームおよび理想発音音声に近い発音などを学習することが可能となる。
【０２０３】
この第３の応用例においても、上述した第１および第２の応用例と同様に、アドバイス情報と共に、当該ユーザの参照情報に対応するビデオデータおよびオーディオデータをユーザに対して送信することが考えられる。すなわち、アドバイス情報と当該ビデオデータおよびオーディオデータとを一纏めにパッケージングし、このパッケージデータを電子メールに添付して送信する。ビデオデータおよびオーディオデータは、それぞれストリーム配信可能とすると、より好ましい。ユーザは、この電子メールをユーザ端末１７５で受信し、ビデオデータおよびオーディオデータを再生させながらアドバイス情報を参照することで、より効果的に外国語会話の学習を行うことができる。
【０２０４】
勿論、この第３の応用例においても、アドバイス情報などは、電子メールに添付して送信するのに限られず、アドバイス情報、理想発音フォームおよび理想発音音声によるビデオデータおよびオーディオデータなどを、ウェブサイト上のウェブページとして、インターネット１３０で閲覧可能としてユーザに提示することが考えられる。
【０２０５】
２−４−３．第３の応用例による解析処理の例について
次に、この実施の第１の形態の第３の応用例に適用可能な１次解析処理および２次解析処理の例について説明する。先ず、この第３の応用例に適用可能な参照情報の例について説明する。理想発音フォームによるビデオデータと、理想発音音声によるオーディオデータとを所定に解析して、参照方法を得る。
【０２０６】
参照情報を得る一例の方法を、以下に示す。先ず、オーディオデータに基づき発音内容を所定に分析し、発音された内容がテキストのどの部分であるかを解析する。なお、発音音声をテキストに変換する技術は、既知である。そして、テキストの部分と対応付けられたオーディオデータの部分に対応するビデオデータの部分を、センサ情報データベース１１２”のテーブルの登録内容に基づき抽出する。これにより、テキストの所定部分に対して、ビデオデータとオーディオデータとを対応付けることができる。
【０２０７】
次に、ビデオデータに対して顔検出を行い、検出された顔領域内の唇輪郭を特定し、唇輪郭の時系列的な変化を、オーディオデータに対応付けて求めることで、発音と口唇の動きとを対応付けることができる。さらに、各発音に対応する口唇の形状を数値化する。口唇の形状は、例えば、唇輪郭の幅および唇輪郭の高さに基づき１または複数の数値を用いて数値化し、評価値とすることが考えられる。
【０２０８】
一方、オーディオデータについては、例えば図２３に一例が示されるように、信号レベルの時間軸方向の変化からなるエンベロープを求め、エンベロープに基づき各発音の時間間隔ｔ2−ｔ1、時間間隔ｔ3−ｔ2、時間間隔ｔ4−ｔ3を計測する。これにより、所定のテキストを発音した際の、発音のリズムが求められる。各発音の時間間隔を相対的に求めて数値化し、評価値とすることが考えられる。また、エンベロープに基づき発音がなされている部分を解析し、音のピッチや音量を発音部分毎に求める。この発音部分毎の音のピッチや音量などに基づきイントネーションの情報を知ることができる。各発音のピッチやレベルを相対的に求めて数値化し、評価値とすることが考えられる。
【０２０９】
理想発音フォームのビデオデータおよび理想発音音声のオーディオデータに基づき、上述のようにして解析された各評価値を、参照情報として用いることができる。図２４は、このようにして得られた参照情報を登録する、ユーザ情報データベース１１３”内の参照情報テーブルの一例の構成を示す。この図２４の例では、ユーザＩＤに関連付けられたビデオデータファイルおよびオーディオデータファイルにおいて、参照情報を構成するテキスト「This is a pen」に対応する部分が特定され、特定された部分について求められた各評価値が登録されている。
【０２１０】
この図２４の例では、参照情報として、オーディオデータのエンベロープに対する解析結果に基づき、テキストにおける各発音について、発音タイミング、時間間隔およびピッチの評価値がそれぞれ登録されている。また、それと共に、参照情報として、オーディオデータおよびビデオデータに対する解析結果に基づき口唇形状の評価値が登録されている。
【０２１１】
１次解析は、一例として次のようにして行うことができる。自己発声音声によるオーディオデータに基づき、参照情報テーブルに登録されたテキスト部分を当該オーディオデータおよび自己発声フォームによるビデオデータに対して特定する。テキスト部分として特定された部分について、参照情報を求める際に行ったのと同様の解析を行い、各解析結果に基づき評価値を求める。そして、参照情報について求められた各評価値と、自己発声フォームおよび自己発声音声に基づき求められた各評価値とに対し、対応する評価値毎に所定に重み付けを行う。そして、重み付けされた評価値に関し、参照情報と自己発声フォームおよび自己発声音声とで対応する評価値の組それぞれについて差分の絶対値を計算し、加算結果を所定の閾値と比較する。加算結果が閾値よりも大きいと判断されれば（図２０のステップＳ４６）、２次解析を行う。
【０２１２】
２次解析は、一例として次のようにして行うことが考えられる。先ず、１次解析の際に計算された、各評価値の組毎の差分について所定にソートし、発音タイミング、口唇形状、時間間隔およびピッチのうち成績が悪い項目を抽出する。そして、抽出された項目について、参照情報について求められた各評価値と、自己発声フォームおよび自己発声音声に基づき求められた各評価値とをより詳細に解析する。これに限らず、発音タイミング、口唇形状、時間間隔およびピッチを総合的に解析することも考えられる。例えば、発音タイミング、口唇形状、時間間隔およびピッチの各評価値の様々なパターンの組み合わせに対し、傾向、原因、改善方法などを予めテーブルとしてそれぞれ登録しておき、実際の評価値と比較することも考えられる。
【０２１３】
２次解析結果に基づき、ユーザに対して発声などのアドバイスを行うアドバイス情報を生成し、ユーザに提示するとよい。一例として、サーバシステム１０４”において、２次解析による予測される解析結果毎に、アドバイス用のテキストデータを予め用意する。そして、実際の２次解析の結果に基づき、このアドバイス用のテキストデータを所定に組み合わせて１のテキストデータとし、これをユーザに対するアドバイス情報として提示する。アドバイス情報は、例えばパッケージデータ１４０に含めてユーザに提供される。
【０２１４】
この実施の第１の形態の第３の応用例でも、上述した第１および第２の応用例と同様に、２次解析の結果に応じてユーザに対して商品を紹介することができるようにされている。第３の応用例が外国語会話のラーニングシステムに適用されたこの例では、２次解析結果に応じて、例えば当該会話教室の他のコースの紹介を行うことが考えられる。このとき、紹介されたコースへの変更を、インターネット１３０を介して申し込み可能とすると、より好ましい。
【０２１５】
３．発明の実施の第１の形態の第１の変形例
次に、この発明の実施の第１の形態の第１の変形例について説明する。図２５は、この実施の第１の形態の第１の変形例による一例のシステム構成を概略的に示す。なお、図２５において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。この図２５に例示される実施の第１の形態の第１の変形例は、上述の図１と比較して明らかなように、図１の構成からユーザ媒体１５のデータを読み取るためのリーダ装置を省略したものである。すなわち、この実施の第１の形態の第１の変形例では、ユーザの識別を、センサ装置１１Ａ、１１Ｂ、・・の出力データのみに基づき行うようにしている。
【０２１６】
３−１−１．システムについて
図２５において、このシステムによるサービスの対象となる、例えば所定の施設１０Ａ、１０Ｂ、・・・に、センサ装置１１Ａ、１１Ｂ、・・・がそれぞれ配置される。センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・は、例えば、撮像素子を有し静止画および／または動画を撮影するようにされたカメラ装置であって、被写体を撮影して得られた静止画データおよび／または動画データを、センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・をそれぞれ識別するための識別情報であるセンサＩＤと、撮影された時刻を示す時刻情報とに対応付けて出力する。これらセンサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・は、ネットワーク１３にそれぞれ接続される。ネットワーク１３に対して、サーバシステム１４Ａがさらに接続される。センサ装置１１Ａ、１１Ｂ、１１Ｃ、・・・から出力された静止画データおよび／または動画データ、ならびに、センサＩＤは、ネットワーク１３を介してサーバシステム１４Ａに対して送信される。
【０２１７】
なお、以下では、繁雑さを避けるため、静止画データおよび／または動画データを、特に必要が無い限り、「画像データ」として統一的に記述する。
【０２１８】
サーバシステム１４Ａは、概略的には、上述の実施の第１の形態と同様に、サーバ部２０、解析システム部２１、ユーザ情報データベース２２Ａおよびセンサ情報データベース２３を有する。センサ情報データベース２３は、センサ装置１１Ａ、１１Ｂ、・・・から送信された画像データを、センサＩＤおよび時刻情報と関連付けて蓄積的に格納するセンサ情報テーブルを有する。センサ情報テーブルは、図２を用いて既に説明した、実施の第１の形態によるセンサ情報テーブルと同一の構成が適用できるので、ここでの詳細な説明を省略する。
【０２１９】
ユーザ情報データベース２２Ａは、図３を用いて既に説明した、ユーザＩＤと属性情報を対応付けて管理するユーザ情報テーブルと、センサ装置１１Ａ、１１Ｂ、・・・から送信された画像データに基づきユーザ本人を識別するための本人識別情報をユーザＩＤと対応付けて管理する本人識別情報テーブルとを有する。
【０２２０】
本人識別情報テーブルについて説明する。この実施の第１の形態の第１の変形例においては、サーバ部２０は、センサ装置１１Ａ、１１Ｂ、・・・から送信された画像データに対して所定に顔検出を行い、検出された顔画像に基づきユーザの識別を行う。例えば、予めユーザの顔を撮影し、得られた画像データに対して顔検出を行い、検出された顔画像から顔の特徴を抽出する。本人識別情報テーブルは、抽出された顔の特徴を数値化した顔の特徴値を顔情報として、当該ユーザのＩＤと対応付けて管理する。図２６は、このような、顔情報とユーザＩＤとを対応付けて管理する本人識別情報テーブルの一例の構成を示す。なお、図２６においては、顔情報として図形が記載されているが、実際には、この部分には顔の特徴値を示す所定の数値が格納される。
【０２２１】
３−１−２．ユーザの識別方法の例について
この実施の第１の形態の第１の変形例によるユーザの一例の識別方法について、図２７のフローチャートを用いて説明する。例えば、ユーザの顔をセンサ装置（センサ装置１１Ａとする）で撮影し、得られた画像データをネットワーク１０３を介してサーバシステム１４Ａに送信する（ステップＳ１００）。画像データは、サーバ部２０に供給され、ユーザを識別するための処理が行われる（ステップＳ１０１）。
【０２２２】
ステップＳ１０１のユーザ識別処理において、先ずステップＳ１１０で、サーバ部２０は、センサ装置１１Ａから送信された画像データに対して顔検出を行い、検出された顔画像から顔の特徴情報を抽出する。
【０２２３】
画像データから顔部分を特定し、特定された顔部分の特徴を抽出する技術は、様々に提案されされており、また、既に実用化されている技術も多い。例えば、非特許文献「K.C.Yow and R.Cipolla,"Feature-based human face detection,"Image and Vision Computing,Vol.15,No.9, pp 713-735(1997)」には、目、鼻、口を検出してその位置から顔を検出する手法が記載されている。目、鼻、口の検出は、一例として、画像データに対して所定のフィルタ処理を施して輪郭線を抽出し、瞳や唇、鼻孔の輪郭モデルと比較してそれぞれの位置を特定する方法が考えられる。
【０２２４】
また、顔情報の数値化は、例えば、様々な顔パターンを登録した顔情報辞書を予め用意し、この顔情報辞書に登録された顔パターンと、ユーザが顔を撮影した顔画像データから目、鼻、口の位置情報とを比較して行うことが考えられる。一例として、顔情報辞書に登録された顔パターンと、ユーザの顔画像データから抽出された目、鼻、口の位置情報とを比較して類似度を求め、顔情報辞書に登録される顔パターンのうち最も類似度の大きい顔パターンを抽出し、当該顔パターンを示す情報と類似度情報とを、当該ユーザの顔の特徴データとして用いる。類似度は、例えば顔情報辞書に基づく情報とユーザの顔画像データに基づく情報との差分を用いることができる。
【０２２５】
送信された画像データから顔の特徴情報が抽出されると、次のステップＳ１１１で本人識別情報テーブルが参照され、ステップＳ１１０で抽出された顔の特徴情報が対応する顔情報が検索され、検索された顔情報に対応付けられたユーザＩＤが特定される。
【０２２６】
３−１−３．概略的な処理の流れについて
この実施の第１の形態の第１の変形例では、上述したユーザの識別処理以外の処理、すなわち、１次解析、１次解析の結果に基づく閾値判断による２次解析を行うか否かの判断、２次解析および２次解析結果に基づく通知は、上述した実施の第１の形態による方法をそのまま適用することができる。例えば、図５のフローチャートを参照し、処理に先立ち予めユーザの顔情報を本人識別情報テーブルに登録しておき、最初のステップＳ１０において、センサ装置１１Ａで撮影された画像データをサーバシステム１４Ａに送信する。ユーザ媒体からのユーザＩＤの読み出し処理は、省略される。サーバシステム１４Ａ側では、図２７のステップＳ１０１で説明したようにして、送信された画像データに基づきユーザＩＤを特定する。
【０２２７】
ユーザＩＤが特定された以降の処理、すなわち、図５におけるステップＳ１１以降の処理は、上述した実施の第１の形態と同一の処理を適用することができる。すなわち、図５を参照し、サーバシステム１４Ａは、特定されたユーザＩＤを付された画像データおよび時刻情報と対応付けてセンサ情報データベース２２に所定に格納し、画像データを解析システム部２１で所定に処理する（ステップＳ１１）。次のステップＳ１２では、特定されたユーザＩＤに基づきユーザ情報データベース２２Ａ内の参照情報テーブルから対応する参照情報が抽出され、抽出された参照情報と、ステップＳ１１による処理結果に基づき１次解析処理が行われ、例えば参照情報とステップＳ１１による処理結果との差分が求められる。１次解析結果に基づき閾値判断がなされ（ステップＳ１３）、閾値を超えたと判断されれば、さらに２次解析が行われ（ステップＳ１４）、２次解析結果に基づく通知が対応するユーザに送信される（ステップＳ１５）。通知の送信先は、上述のようにして画像データから特定されたユーザＩＤに基づき、ユーザ情報データベース２２Ａ内のユーザ情報テーブルを参照して取得される連絡先情報を用いる。
【０２２８】
３−２．実施の第１の形態の第１の変形例に対する応用例について
上述した実施の第１の形態の第１、第２および第３の応用例を、この実施の第１の形態の第１の変形例に適用することができる。これら実施の第１の形態の第１、第２および第３の応用例の場合も、上述と同様に、ユーザＩＤの特定以外の処理は、そのまま、この実施の第１の形態の第１の変形例に適用することができる。以下、この実施の第１の形態の第１の変形例に対し、上述した実施の第１の形態の第１の応用例、すなわち化粧サポートシステムを適用した例について、説明する。
【０２２９】
図２８は、この実施の第１の形態の第１の変形例に、実施の第１の形態の第１の応用例である化粧サポートシステムを適用した一例のシステム構成を概略的に示す。なお、この図２８において、上述の図７と共通する部分には同一の符号を付し、詳細な説明を省略する。この実施の第１の形態の第１の変形例における応用例によるシステムは、上述の図７と比較して明らかなように、図７の構成からユーザ媒体１５のデータを読み取るためのリーダ装置を省略したものとなっている。すなわち、実施の第１の形態の第１の変形例における応用例では、ユーザの識別を、カメラ装置１０１Ａおよび１０１Ｂの出力データのみに基づき、行うようにしている。
【０２３０】
３−３−１．応用例に適用可能なシステムについて
図２８において、このシステムのサービスの対象となる、例えばデパートの化粧品コーナやメイクアップスタジオといった施設１００Ａに対し、カメラ装置１０１Ａが配置される。カメラ装置１０１Ａは、ネットワーク１０３を介してサーバシステム１０４Ａに接続される。同様に、ユーザの自宅１００Ｂなどに、カメラ装置１０１Ｂが配置され、ネットワーク１０３を介してサーバシステム１０４Ａに接続される。サーバシステム１０４Ａは、上述の実施の第１の形態の第１の応用例と同様に、サーバ部１１０および解析システム部１１１を有すると共に、ユーザ情報データベース１１２Ａ、センサ情報データベース１１３および化粧品データベース１１４を有する。ここで、ユーザ情報データベース１１２Ａは、ユーザ情報テーブルと共に、図２６を用いて説明した本人識別情報テーブルを含む。
【０２３１】
３−３−２．概略的な処理の流れについて
図２９は、この実施の第１の形態の第１の変形例における応用例による化粧サポートシステムの一例の処理の流れを示すフローチャートである。なお、図２９のフローチャートにおいて、上述した図６のフローチャートと共通する処理には同一の符号を付し、詳細な説明を省略する。この図２９によるフローチャートは、上述した図６のフローチャートに対して、画像データに基づくユーザ識別を行う処理（ステップＳ１０１ＡおよびステップＳ１０１Ｂ）が追加されている。
【０２３２】
このフローチャートの処理に先んじて、ユーザの顔が所定に撮影され、得られた画像データに対して顔検出がなされ、顔の特徴情報が抽出されているものとする。そして、この顔の特徴情報とユーザを識別するユーザＩＤとが対応付けられて、ユーザ情報データベース１１２Ａ内の本人識別情報テーブルに登録されているものとする。
【０２３３】
ユーザは、施設１００Ａで理想メイクを施してもらい（ステップＳ２０）、理想メイクが施された顔をカメラ装置１０１Ａで所定に撮影する。撮影して得られた画像データは、撮影が行われた時刻を示す時刻情報およびカメラ装置１０１Ａを識別するセンサＩＤと共に、ネットワーク１０３を介してサーバシステム１０４Ａに送信される（ステップＳ２１）。
【０２３４】
サーバシステム１０４Ａは、カメラ装置１０１Ａから送信された画像データと、当該画像データに付加された時刻情報およびセンサＩＤとをサーバ部１１０に供給する。サーバ部１１０は、供給された画像データに基づき、ユーザ識別処理を行う（ステップＳ１０１Ａ）。すなわち、図２７を用いて説明したように、サーバ部１１０において、供給された画像データに対して顔検出処理を行い、検出された顔画像から顔の特徴情報を抽出する（図２７のステップＳ１１０）。そして、本人識別情報テーブルを参照し、抽出された顔の特徴情報に対応するユーザＩＤを特定する（図２７のステップＳ１１１）。
【０２３５】
ユーザＩＤが特定されると、サーバ部１１０は、センサ情報データベース１１２のセンサＩＤが対応するセンサ情報テーブルに対し、画像データ、時刻情報およびユーザＩＤを所定に対応付けて格納する。サーバ部１１０は、センサ情報データベース１１２に格納された画像データをユーザＩＤなどに基づき読み出して解析システム部１１１に供給し、解析システム部１１１は、供給された画像データに対して所定の処理を施し、解析結果に基づき当該画像データに対応する参照情報を生成する。参照情報を生成するための処理は、上述した実施の第１の形態の第１の応用例における処理を、そのまま適用できる。生成された参照情報は、参照情報ＩＤを付加され、関連する他の情報と対応付けられて、ユーザ情報データベース１１３Ａ内の参照情報テーブルに所定に登録される（ステップＳ２２）。
【０２３６】
ユーザは、後に、例えばユーザの自宅１００Ｂで、自己メイクを行い（ステップＳ２３）、自己メイクが施された顔をカメラ装置１０１Ｂで所定に撮影する。撮影で得られた画像データは、撮影された時刻を示す時刻情報とカメラ装置１０１Ａを識別するセンサＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４に送信され（ステップＳ２４）、それぞれサーバ部１１０に供給される。サーバ部１１０は、供給された画像データに基づき、上述のステップＳ１０１Ａと同様にしてユーザ識別処理を行い（ステップＳ１０１Ｂ）、対応するユーザＩＤを特定する。
【０２３７】
自己メイクによる画像データに対応するユーザＩＤが特定されると、サーバ部１１０は、自己メイクによる画像データと、当該画像データに付加された時刻情報およびセンサＩＤと、特定されたユーザＩＤとをセンサ情報データベース１１２のセンサＩＤが対応するセンサ情報テーブルに対し、画像データ、時刻情報およびユーザＩＤを所定に対応付けて格納する。
【０２３８】
センサ情報データベース１１２に格納された画像データは、ユーザＩＤなどに基づきサーバ部１１０に読み出されて解析システム部１１１に供給され、所定の処理が施される。サーバ部１１０は、特定されたユーザＩＤに基づきユーザ情報データベース１１３内の参照情報テーブルから対応する参照情報を抽出し、参照情報と、自己メイクによる画像データに基づく処理結果とを比較し、１次解析を行う（ステップＳ２５）。
【０２３９】
以降の処理は、図６を用いて説明したステップＳ２５以降の処理と同一である。すなわち、ステップＳ２５による１次解析の結果、参照情報と自己メイクによる画像データに基づく差分が所定以上あれば（ステップＳ２６）、サーバ部１１０は、自己メイクによる画像データに基づきさらに２次解析処理を行う（ステップＳ２７）。２次解析処理は、上述した実施の第１の形態の第１の応用例における２次解析処理を、そのまま適用できる。２次解析結果に基づきアドバイス情報を作成し、ユーザに対して送信する。
【０２４０】
アドバイス情報のユーザに対する送信や、ウェブサイトを利用してのユーザへの提示などは、上述した実施の第１の形態の第１の応用例と同様に行うことができるので、ここでの詳細な説明は、省略する。
【０２４１】
この実施の第１の形態の第１の変形例における応用例においても、上述した実施の第１の形態の第１の応用例と同様に、ユーザは、サーバ部１１０から送信されたアドバイス情報に基づき、自宅にいながらにしてより理想メイクに近い自己メイクを行うことが可能となる。
【０２４２】
上述では、ユーザの本人識別情報を予めユーザ情報データベース１１２Ａに登録するようにしているが、これはこの例に限定されない。例えば、ステップＳ２１で理想メイクによる画像データをサーバに送信した後、ステップＳ１０１Ａを介さずに処理をステップＳ２２に移行させ、ステップＳ２２で画像データに基づき得られた特徴情報を本人識別情報テーブルに登録する。この登録時に、ユーザＩＤを特徴情報と対応付けて本人識別情報テーブルに登録するようにもできる。この場合、システム側においてユーザＩＤを所定に発生させることが考えられる。所定の入力手段を用いてユーザＩＤを入力するようにしてもよい。
【０２４３】
３−３−３．実施の第１の形態の第２および第３の応用例に対する適用について
なお、図２９のフローチャートを用いた説明でも明らかなように、この実施の第１の形態の第１の変形例と、上述した実施の第１の形態とでは、ユーザの識別方法が異なるのみで、この発明の主題に関わる他の処理、すなわち、ユーザを撮影した画像データに基づく１次解析、１次解析の結果に基づく閾値判断による２次解析を行うか否かの判断、ならびに、２次解析および２次解析結果に基づく通知については、共通である。したがって、実施の第１の形態の第１の変形例による応用例と同様にして、上述の実施の第１の形態の第２および第３の応用例をこの実施の第１の形態の第１の変形例に適用することができる。
【０２４４】
例えば、実施の第１の形態の第２の応用例をこの実施の第１の形態の第１の変形例に適用した場合には、図１６のシステム構成においてリーダ１６３Ａおよび１６３Ｂがそれぞれ省略されると共に、図１５のフローチャートにおいて、ステップＳ３１およびステップＳ３４によるビデオデータのサーバへの送信処理の後に、図２７のフローチャートを用いて説明した、ステップＳ１０１によるユーザの識別処理が行われる。同様に、実施の第１の形態の第３の応用例をこの実施の第１の形態の第１の変形例に適用した場合には、図２１のシステム構成においてリーダ１７３Ａおよび１７３Ｂがそれぞれ省略されると共に、図２０のフローチャートにおいて、ステップＳ４１およびステップＳ４４による、オーディオデータおよびビデオデータのサーバへの送信処理の後に、図２７のフローチャートを用いて説明した、ステップＳ１０１によるユーザの識別処理が行われる。
【０２４５】
４．発明の実施の第１の形態の第２の変形例
次に、この発明の実施の第１の形態の第２の変形例について説明する。図３０は、この実施の第１の形態の第２の変形例による一例のシステム構成を示す。なお、図３０において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。この図３０に例示される実施の第１の形態の第２の変形例によるシステムは、上述の図１と比較して明らかなように、図１の構成から各施設１０Ａ、１０Ｂ、・・・においてユーザ媒体１５のデータを読み取るためのリーダを省略すると共に、ユーザ媒体１５’にデータを書き込むためのライタ１６Ａ、１６Ｂ、・・・と、当該記憶媒体に履歴として記憶されたデータを読み出すためのリーダ装置１７とが追加されたものとなっている。
【０２４６】
ライタ装置１６Ａ、１６Ｂ、・・・は、ユーザが保持する記憶媒体であるユーザ媒体１５’に対して、システムの利用履歴を書き込む。このとき、ライタ装置１６Ａ、１６Ｂ、・・・は、例えば対応するセンサ１１Ａ、１１Ｂ、・・・を識別するためのセンサＩＤと、当該施設の利用日時を示す情報とを書き込むだけでよいので、サーバシステム１４Ｂと接続する必要が無く、独立的な装置として構成可能である。
【０２４７】
４−１−１．システムについて
図３０において、このシステムによるサービスの対象となる、例えば所定の施設１０Ａ、１０Ｂ、・・・に、センサ装置１１Ａ、１１Ｂ、・・・がそれぞれ配置される。センサ装置１１Ａ、１１Ｂ、・・・は、例えば、撮像素子を有し静止画および／または動画を撮影するようにされたカメラ装置であって、被写体を撮影して得られた静止画データおよび／または動画データを、センサ装置１１Ａ、１１Ｂ、・・・をそれぞれ識別するための識別情報であるセンサＩＤと対応付けて出力する。これらセンサ装置１１Ａ、１１Ｂ、・・・は、ネットワーク１３にそれぞれ接続される。
【０２４８】
ネットワーク１３に対して、サーバシステム１４Ｂがさらに接続される。センサ装置１１Ａ、１１Ｂ、・・・から出力された静止画データおよび／または動画データ（以下、特に必要のない限り「画像データ」として記述）、ならびに、センサＩＤは、ネットワーク１３を介してサーバシステム１４Ａに対して送信される。また、ネットワーク１０３に対して接続されるリーダ装置１７は、ユーザ媒体１５’に記憶された履歴情報を読み出し、ネットワーク１０３を介してサーバシステム１０４”に送信する。
【０２４９】
サーバシステム１４Ｂは、概略的には、上述の実施の第１の形態と同様に、サーバ部２０、解析システム部２１”、ユーザ情報データベース２２およびセンサ情報データベース２３を有する。ユーザ情報データベース２２は、図３を用いて既に説明した、ユーザＩＤと属性情報を対応付けて管理するユーザ情報テーブルを有する。また、センサ情報データベース２３は、センサ装置１１Ａ、１１Ｂ、・・・から送信された画像データを、図２を用いて説明した、センサＩＤおよび時刻情報と関連付けて蓄積的に格納するセンサ情報テーブルを有する。
【０２５０】
図３１は、ユーザ媒体１５’に記憶される履歴情報の一例の構成を示す。履歴情報は、センサ装置１１Ａ、１１Ｂ、・・・を識別するためのセンサＩＤと、センサＩＤで示されるセンサ装置に対応するライタ装置によりユーザ媒体１５’に対するデータの書き込みが行われる時刻を示す時刻情報とが対応付けられて記憶される。この図３１の例では、時刻情報は日付情報を含む。
【０２５１】
４−１−２．履歴情報に基づくデータの特定について
この実施の第１の形態の第２の変形例では、ユーザ媒体１５’に記憶された履歴情報に基づきセンサ情報データベース２３に格納されたデータから、ユーザに対応するデータを特定する。図３２は、この履歴情報に基づくデータ特定の一例の方法を示すフローチャートである。なお、このフローチャートの処理に先んじて、ユーザ媒体１５’には、予めユーザを識別するためのユーザＩＤが書き込まれているものとする。
【０２５２】
ユーザは、例えば施設１０Ａを利用し、センサ装置１１Ａによるユーザのデータ取得がなされる際に、ライタ１６Ａにより、ユーザ媒体１５’に対してセンサ装置１１Ａを識別するセンサＩＤと、現在の時刻を示す時刻情報とを互いに対応付けて書き込む（ステップＳ２００）。ユーザは、例えばセンサ装置１１Ａ、１１Ｂ、・・・によるユーザのデータ取得が行われる毎に、ライタ１６Ａによるユーザ媒体１５’に対するデータの書き込みを行うようにし、ユーザ媒体１５’には、これら時刻情報とセンサＩＤとが対応付けられて履歴情報として蓄積的に書き込まれる。
【０２５３】
センサ装置１１Ａで取得されたデータは、当該センサ装置１１Ａに対応するセンサＩＤと現在時刻を示す時刻情報とが付加されて、ネットワーク１０３を介してサーバシステム１０４”に送信される（ステップＳ２０１）。送信されたデータ、センサＩＤおよび時刻情報は、サーバ部２０に供給され、センサ情報データベース２３に蓄積的に格納される。送信されたデータをサーバ部２０が有する所定のストレージに格納し、格納場所を示すポインタ情報を、センサ情報データベース２３に格納してもよい。
【０２５４】
次のステップＳ２０２で、ユーザ媒体１５’に書き込まれた履歴情報およびユーザＩＤに基づき、センサ情報データベース２３に格納されたデータの特定が行われる。より詳細には、ユーザにより、ユーザ媒体１５’に記憶された履歴情報のリーダ１７による読み出し操作が行われる（ステップＳ２１０）。ユーザ媒体１５’からリーダ１７に読み出された履歴情報は、ネットワーク１０３を介してサーバシステム１０４”に送信され、サーバ部２０に供給される。サーバ部２０は、供給された履歴情報に基づきセンサ情報データベース２３内のセンサ情報テーブルを参照し、センサＩＤおよび時刻情報が対応するデータを特定する（ステップＳ２１１）。
【０２５５】
４−１−３．概略的な処理の流れについて
この実施の第１の形態の第２の変形例では、この発明の主題である、１次解析、１次解析の結果に基づく閾値判断による２次解析を行うか否かの判断、ならびに、２次解析および２次解析結果に基づく通知は、上述した実施の第１の形態による方法をそのまま適用することができる。例えば、図５のフローチャートを参照し、処理に先立ち予めユーザの顔情報を本人識別情報テーブルに登録しておき、最初のステップＳ１０において、例えばセンサ装置１１Ａで撮影された画像データを、撮影に用いられたセンサ装置１１Ａを識別するセンサＩＤと、撮影が行われた時刻を示す時刻情報と共にサーバシステム１４Ｂに送信する。このとき、例えばユーザにより、センサ１１Ａに対応するセンサＩＤと現在の時刻を示す時刻情報とを、履歴情報としてライタ１６Ａによりユーザ媒体１５’に対して書き込む処理が行われる（図３２のステップＳ２００）。
【０２５６】
サーバシステム１４Ｂは、センサ１１Ａから送信されたデータに対して所定の処理を行う（ステップＳ１１）。このとき、例えばユーザにより、ユーザ媒体１５’に記憶されている履歴情報およびユーザＩＤをリーダ１７により読み出す処理が行われる（ステップＳ２１０）。ユーザ媒体１５’からリーダ１７により読み出された履歴情報およびユーザＩＤは、ネットワーク１０３を介してサーバシステム１４Ｂに送信される。サーバシステム１４Ｂ側では、履歴情報に基づきセンサ情報データベース２３を参照し、対応するデータを特定し、特定されたデータに対してユーザＩＤを対応付ける（ステップＳ２１１）。ステップＳ１１による所定の処理は、この特定されユーザＩＤが対応付けられたデータを用いて行われる。
【０２５７】
以降の処理は、図５のステップＳ１２以降の処理と同様である。すなわち、ステップＳ１２では、ユーザ媒体１５’から読み出されたユーザＩＤに基づきユーザ情報データベース２２内の参照情報テーブルから対応する参照情報が抽出され、抽出された参照情報とステップＳ１１による所定の処理の結果とが比較され、１次解析が行われる。そして、１次解析の結果に基づき閾値判断がなされ（ステップＳ１３）、閾値を超えたと判断されれば、さらに２次解析が行われ（ステップＳ１４）、２次解析結果に基づく通知が対応するユーザに送信される（ステップＳ１５）。通知の送信先は、上述のようにして画像データから特定されたユーザＩＤに基づき、ユーザ情報データベース２２内のユーザ情報テーブルを参照して取得される連絡先情報を用いる。
【０２５８】
４−２．実施の第１の形態の第２の変形例に対する応用例について
上述した実施の第１の形態の第１、第２および第３の応用例を、この実施の第１の形態の第２の変形例に適用することができる。これら実施の第１の形態の第１、第２および第３の応用例の場合も、上述と同様に、データの特定以外の処理は、そのまま、この実施の第１の形態の第２の変形例に適用することができる。以下、この実施の第１の形態の第２の変形例に対し、上述した実施の第１の形態の第１の応用例、すなわち化粧サポートシステムを適用した例について、説明する。
【０２５９】
４−２−１．応用例に適用可能なシステムについて
図３３は、この実施の第１の形態の第２の変形例に、実施の第１の形態の第１の応用例である化粧サポートシステムを適用した一例のシステム構成を概略的に示す。なお、この図３３において、上述の図７と共通する部分には同一の符号を付し、詳細な説明を省略する。この実施の第１の形態の第２の変形例における応用例によるシステムは、上述の図７と比較して明らかなように、図７の構成からユーザ媒体１５’のデータを読み取るためのリーダ装置を省略すると共に、ユーザ媒体１５’に対して時刻情報およびセンサＩＤを書き込むためのライタ１４０Ａおよび１４０Ｂと、ユーザ媒体１５’に書き込まれた情報を読み出すためのリーダ１４１とが追加されている。
【０２６０】
図３３において、このシステムのサービスの対象となる、例えばデパートの化粧品コーナやメイクアップスタジオといった施設１００Ａに対し、カメラ装置１０１Ａが配置される。カメラ装置１０１Ａは、ネットワーク１０３を介してサーバシステム１０４Ａに接続される。同様に、ユーザの自宅１００Ｂなどに、カメラ装置１０１Ｂが配置され、ネットワーク１０３を介してサーバシステム１０４Ｂに接続される。また、施設１００Ａおよびユーザ自宅１００Ｂに、ライタ１４０Ａおよび１４０Ｂがそれぞれ配置される。これらライタ１４０Ａおよび１４０Ｂは、ネットワーク１０３に接続されない独立した装置として構成することができる。
【０２６１】
さらに、ユーザ媒体１５’からデータを読み出すためのリーダ１４１が所定に設けられる。リーダは、例えばユーザ自宅１００Ｂに設けられ、ネットワーク１０３に接続される。ユーザ媒体１５’に記憶されたデータは、例えばユーザによりリーダ１４１を用いて読み出され、ネットワーク１０３を介してサーバシステム１０４Ｂに送信される。
【０２６２】
サーバシステム１０４Ｂは、上述の実施の第１の形態の第１の応用例と同様に、サーバ部１１０および解析システム部１１１を有すると共に、ユーザ情報データベース１１２、センサ情報データベース１１３および化粧品データベース１１４を有する。これらデータベース１１２、１１３および１１４に含まれる各テーブルは、上述の実施の第１の形態やその第１の応用例で、図２、図８および図１１などを用いて説明した各テーブルと同一の構成を適用できるので、ここでの詳細な説明を省略する。
【０２６３】
サーバシステム１０４Ｂは、リーダ１４１によりユーザ媒体１５’から読み出されネットワーク１０３を介して送信されたたユーザＩＤおよび履歴情報に基づき、カメラ装置１０１Ａやカメラ装置１０１Ｂで撮影され、ネットワーク１０３を介して送信された画像データのうち所定のユーザに対応するデータや、所定の状況に対応するデータを特定することができる。
【０２６４】
４−２−２．概略的な処理の流れについて
図３４は、この実施の第１の形態の第２の変形例における化粧サポートシステムの一例の処理の流れを示すフローチャートである。なお、図３４のフローチャートにおいて、上述した図６のフローチャートと共通する処理には同一の符号を付し、詳細な説明を省略する。この図３４によるフローチャートは、上述した図６のフローチャートに対して、ユーザ媒体１５’から読み出された履歴情報およびユーザＩＤに基づくデータ特定処理が追加され、それに伴い、若干の変更が加えられている。
【０２６５】
ユーザは、施設１００Ａで理想メイクを施してもらい（ステップＳ２０）、理想メイクが施された顔をカメラ装置１０１Ａで所定に撮影する。撮影して得られた画像データは、撮影が行われた時刻を示す時刻情報およびカメラ装置１０１Ａを識別するセンサＩＤと共に、ネットワーク１０３を介してサーバシステム１０４Ｂに送信される（ステップＳ２１）。またこのとき、例えばユーザは、ユーザ媒体１５’に対して、現在の時刻を示す時刻情報と、カメラ装置１０１Ａに対応するセンサＩＤとを履歴情報として、ライタ１４０Ａにより書き込む。
【０２６６】
ユーザは、後に、例えばユーザの自宅１００Ｂで、自己メイクを行い（ステップＳ２３）、自己メイクが施された顔をカメラ装置１０１Ｂで所定に撮影する。撮影で得られた画像データは、撮影された時刻を示す時刻情報とカメラ装置１０１Ａを識別するセンサＩＤとが付加されて、ネットワーク１０３を介してサーバシステム１０４に送信され（ステップＳ２４）、それぞれサーバ部１１０に供給される。またこのとき、例えばユーザは、ユーザ媒体１５’に対して、現在の時刻を示す時刻情報と、カメラ装置１０１Ｂに対応するセンサＩＤとを履歴情報として、ライタ１４０Ｂにより書き込む。
【０２６７】
サーバシステム１０４Ｂは、送信された画像データをサーバ部１１０に供給し、サーバ部１１０は、センサＩＤおよび時刻情報に基づきセンサ情報データベース１１３に所定に格納する。
【０２６８】
次に、ユーザ媒体１５’に記憶された履歴情報およびユーザＩＤに基づき、センサ情報データベース１１３に格納されたデータに対し、ユーザＩＤに対応するデータの特定処理が行われる（ステップＳ２０２）。すなわち、例えばユーザにより、ユーザ媒体１５’に記憶された履歴情報およびユーザＩＤを、リーダ１４１に読み出させる処理が行われる（図３２のステップＳ２１０）。リーダ１４１に読み出された履歴情報およびユーザＩＤは、ネットワーク１０３を介してサーバシステム１０４Ｂに対して送信される。サーバシステム１０４Ｂは、この履歴情報およびユーザＩＤをサーバ部１１０に供給する。サーバ部１１０は、供給された履歴情報およびユーザＩＤに基づき、センサ情報データベース１１３に格納されているデータから、ユーザＩＤに対応するデータを特定する（図３２のステップＳ２１１）。
【０２６９】
より詳細には、ユーザにより、ユーザ媒体１５’に記憶された履歴情報のリーダ１４１による読み出し操作が行われる（ステップＳ２１０）。ユーザ媒体１５’からリーダ１４１に読み出された履歴情報は、ネットワーク１０３を介してサーバシステム１０４Ｂに送信され、サーバ部１１０に供給される。サーバ部１１０は、供給された履歴情報に基づきセンサ情報データベース１１３内のセンサ情報テーブルを参照し、センサＩＤおよび時刻情報が対応するデータを特定する（ステップＳ２１１）。
【０２７０】
なお、この図３４におけるステップＳ２０２によるデータ特定処理では、理想メイクによる画像データと、自己メイクによる画像データとがそれぞれ特定される。理想メイクによる画像データと自己メイクによる画像データとの区別は、例えばセンサＩＤに基づき判別することができる。
【０２７１】
ステップＳ２０２Ａで理想メイクによる画像データと、自己メイクによる画像データとがそれぞれ特定されると、処理はステップＳ２５１に移行される。ステップＳ２５１では、ステップＳ２０２Ａで特定された理想メイクによる画像データに対して顔検出が行われ、検出された顔画像に対して、化粧の状態を判断するのに適切な特徴に特化させて特徴抽出を行って参照情報が生成される。生成された参照情報は、ユーザＩＤと対応付けられて参照情報テーブルに登録される。また、自己メイクによる画像データに対して顔検出を行い、化粧の状態を判断するのに適切な特徴に特化させて特徴抽出を行う。そして、抽出された特徴情報と、対応する参照情報とを比較して１次解析を行う。
【０２７２】
以降の処理は、図６を用いて説明したステップＳ２５以降の処理と同一である。すなわち、ステップＳ２５による１次解析の結果、参照情報と自己メイクによる画像データに基づく差分が所定以上あれば（ステップＳ２６）、サーバ部１１０は、自己メイクによる画像データに基づきさらに２次解析処理を行う（ステップＳ２７）。２次解析処理は、上述した実施の第１の形態の第１の応用例における２次解析処理を、そのまま適用できる。２次解析結果に基づきアドバイス情報を作成し、ユーザに対して送信する。
【０２７３】
アドバイス情報のユーザに対する送信や、ウェブサイトを利用してのユーザへの提示などは、上述した実施の第１の形態の第１の応用例と同様に行うことができるので、ここでの詳細な説明は、省略する。
【０２７４】
この実施の第１の形態の第１の変形例における応用例においても、上述した実施の第１の形態の第１の応用例と同様に、ユーザは、サーバ部１１０から送信されたアドバイス情報に基づき、自宅にいながらにしてより理想メイクに近い自己メイクを行うことが可能となる。
【０２７５】
上述では、ユーザ媒体１５’に対してユーザＩＤが予め記憶されているように説明したが、これはこの例に限定されず、例えばユーザ媒体１５’をリーダ１４１に読み出させる際に、所定の入力手段を用いてユーザＩＤを入力するようにしてもよい。また、上述では、リーダ１４１によるユーザ媒体１５’からのデータの読み出しを、１次解析処理の段階で行うようにしているが、これはこの例に限定されない。例えば、カメラ装置１０１Ａおよび１０１Ｂの撮影毎に、リーダ１４１によるユーザ媒体１５’からのデータの読み出しを行うようにもできる。
【０２７６】
４−２−３．実施の第１の形態の第２および第３の応用例に対する適用について
なお、図３４のフローチャートを用いた説明でも明らかなように、この実施の第１の形態の第２の変形例と、上述した実施の第１の形態とでは、データの特定に関わる処理が異なるのみで、この発明の主題に関わる他の処理、すなわち、ユーザを撮影した画像データに基づく１次解析、１次解析の結果に基づく閾値判断による２次解析を行うか否かの判断、ならびに、２次解析および２次解析結果に基づく通知については、共通である。したがって、この実施の第１の形態の第２の形態による応用例と同様にして、上述の実施の第１の形態の第２および第３の応用例と、この実施の第１の形態の第２の変形例に適用することができる。
【０２７７】
例えば、実施の第１の形態の第２の応用例をこの実施の第１の形態の第１の変形例に適用した場合には、図１６のシステム構成においてリーダ１６３Ａおよび１６３Ｂがそれぞれ省略されると共に、ライタが施設１６０および１６４にそれぞれ追加される。また、ユーザ媒体１５’から履歴情報およびユーザＩＤを読み出すリーダが所定に設けられ、ネットワーク１０３に接続される。図１５のフローチャートにおいて、ステップＳ３２およびステップＳ３５の処理が省略されると共に、ステップＳ３４の後に、ステップＳ３１およびステップＳ３４で撮影された理想フォームおよび自己フォームによるビデオデータに対し、図３２のフローチャートを用いて説明したステップＳ２０２によるデータの特定処理が行われる。
【０２７８】
同様に、実施の第１の形態の第３の応用例をこの実施の第１の形態の第２の変形例に適用した場合には、図２１のシステム構成においてリーダ１７３Ａおよび１７３Ｂがそれぞれ省略されると共に、ライタが施設１７０およびユーザの自宅１７４にそれぞれ追加される。また、ユーザ媒体１５’から履歴情報およびユーザＩＤを読み出すリーダが所定に設けられ、ネットワーク１０３に接続される。図２０のフローチャートにおいて、ステップＳ４２およびステップＳ４５の処理が省略されると共に、ステップＳ４４の後に、ステップＳ４１およびステップＳ４４で撮影された理想発声フォームおよび自己発声フォームによるビデオデータに対し、図３２のフローチャートを用いて説明したステップＳ２０２によるデータの特定処理が行われる。
【０２７９】
５．発明の実施の第２の形態
次に、この発明の実施の第２の形態について、図面を参照しながら説明する。この実施の第２の形態は、図３５に例示されるように、ネットワークに依存せず独立的に動作可能な、例えばパーソナルコンピュータといった１台のコンピュータ装置（ＰＣ）２００上で、この発明によるシステムを実現するものである。
【０２８０】
５−１．システムの概要
サービス提供側は、例えばカメラ装置２０１で撮影された画像データに基づき所定に参照情報を作成し、記録媒体２０３に記録してユーザに提供する。記録媒体２０３には、ユーザ側で参照情報に対応するデータを作成するためのプログラムと、所定の１次解析および２次解析を行うプログラムと、２次解析の結果に応じたメッセージを表示させるためのプログラムとを含むソフトウェア２０２を、参照情報と共に記録する。ソフトウェア２０２には、これら以外にも、カメラ制御プログラムや、データ管理プログラムなど、サービスに必要な他のプログラムを含むことができる。なお、参照情報とソフトウェア２０２とを異なる記録媒体２０３に記録してユーザに提供してもよい。
【０２８１】
記録媒体２０３は、コンピュータ装置２００に読み取り可能であればその種類を問わない。例えば、読み出し専用タイプのＤＶＤ(Digital Versatile Disc)、ＣＤ(Compact Disc)や、記録可能なタイプのＤＶＤ、ＣＤを、記録媒体２０３として用いることができる。フラッシュメモリといったコンピュータ装置２００に対して着脱可能で不揮発性の半導体メモリを記録媒体２０３として用いてもよいし、コンピュータ装置２００に対して着脱可能なタイプのハードディスクを記録媒体２０３として用いることもできる。以下では、記録媒体２０３を、ＤＶＤやＣＤといったディスク状記録媒体とする。
【０２８２】
ユーザ側では、記録媒体２０３をコンピュータ装置２００に所定に装填し、ソフトウェア２０２を起動させる。そして、コンピュータ装置２００に接続されるカメラ装置２０４で以て例えば自分自身を撮影する。撮影され得られた画像データは、コンピュータ装置２００に供給される。
【０２８３】
コンピュータ装置２００では、カメラ装置２０４から供給された画像データに対してソフトウェア２０２に含まれる画像データ処理プログラムにより所定の処理を施し、参照情報に対応するデータを作成する。この作成されたデータと、記録媒体２０３より読み出された参照情報とを用いて、１次解析プログラムにより１次解析処理を行う。そして、１次解析処理の結果を閾値判断し、閾値を超えたと判断されれば２次解析を行い解析結果に基づくメッセージの表示を行う。１次解析処理の結果が閾値を超えていないと判断されれば、その旨示すメッセージが表示される。
【０２８４】
図３６は、コンピュータ装置２００の一例の構成を示す。この図３６に例示されるように、コンピュータ装置２００は、一般的な構成を適用でき、バス２１０に対して、ＣＰＵ(Central Processing Unit)２１１、ＲＡＭ(Random Access Memory)２１２、ＲＯＭ(Read Only Memory)２１３、表示制御部２１４および通信Ｉ／Ｆ（インターフェイス）２１６がそれぞれ接続されると共に、バス２１０に対し、ハードディスク（ＨＤ）２１７、ドライブ装置２１８、入力デバイスＩ／Ｆ２１９およびストリーム入力Ｉ／Ｆ２２０がそれぞれ接続される。
【０２８５】
ＣＰＵ２１１は、例えば、ＲＡＭ２１２をワークメモリとして用い、ＲＯＭ２１３に予め記憶されたプログラムや、ハードディスク２１７に格納されたプログラムなどに従い、このコンピュータ装置２００の各部を所定に制御する。表示制御部２１４は、ＣＰＵ２１１で生成された表示制御信号をディスプレイ２１５に表示可能な形式の信号に変換し、ディスプレイ２１５に供給する。通信Ｉ／Ｆ２１６は、例えば通信プロトコルとしてＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)などを実装し、ＣＰＵ２１１の命令に従いインターネットとの通信を制御する。
【０２８６】
ドライブ装置２１８は、脱着可能な記録媒体２０３を所定に装填し、ＣＰＵ２１１の命令に従い、記録媒体２０３に対するデータの書き込みや、記録媒体２０３からのデータの読み出しを行う。入力デバイスＩ／Ｆ２１９は、例えばマウス２１９Ａやキーボード２１９Ｂといった入力デバイスが接続され、これら入力デバイスから出力された信号を所定にＣＰＵ２１１に供給する。ストリーム入力Ｉ／Ｆ２２０は、例えばマイクロフォン２２１やカメラ装置２０４が接続され、マイクロフォン２２１の出力に基づくオーディオデータや、カメラ装置２０４から出力された画像データを所定にＣＰＵ２１１に供給する。
【０２８７】
なお、入力デバイスＩ／Ｆ２１９や、ストリーム入力Ｉ／Ｆ２２０は、例えばＵＳＢ(Universal Serial Bus)インターフェイスにより構成することができる。ストリーム入力Ｉ／Ｆとしては、さらに、ＩＥＥＥ１３９４(Institute Electrical and Electronics Engineers 1394)の規定に準拠したインターフェイスなども用いることができる。勿論、入力デバイスＩ／Ｆ２１９やストリーム入力Ｉ／Ｆ２２０として、他の規格のインターフェイスを用いてもよい。
【０２８８】
ハードディスク２１７は、各種のデータやＣＰＵ２１１上で動作するプログラムなどが所定に格納される。プログラムは、例えば記録媒体２０３に記録されて提供され、ドライブ装置２１８に装填された当該記録媒体２０３から読み出されたプログラムがハードディスク２１７に所定に格納され、実行可能にインストールされる。これに限らず、プログラムは、記録媒体２０３から実行させることも可能である。また、マイクロフォン２２１の出力に基づくオーディオデータや、カメラ装置２０４から出力された画像データは、一旦ハードディスク２１７に格納される。
【０２８９】
なお、カメラ装置２０４は、例えば、ＣＰＵ２１１の制御に従い、動画像を撮像しビデオデータを出力可能とされたビデオカメラを適用することができる。これに限らず、カメラ装置２０４として静止画像を出力するスチルカメラを用いてもよい。また、マイクロフォン２２１は、収音された音声をディジタルオーディオデータとして出力することができるようにされている。これに限らず、マイクロフォン２２１からアナログオーディオ信号を出力し、図示されないＡ／Ｄ変換器でディジタルオーディオデータに変換して、ストリーム入力Ｉ／Ｆ２２０に供給してもよい。
【０２９０】
また、カメラ装置２０４は、コンピュータ装置２００とは独立し、単独で動作可能なディジタルビデオカメラであってもよい。この場合には、画像データは、所定の記録媒体を介してコンピュータ装置２００に供給され、ハードディスク２１７に所定に格納される。
【０２９１】
５−２．概略的な処理の流れについて
図３７は、この実施の第２の形態による一例の処理を示すフローチャートである。このフローチャートの処理に先立って、参照情報とソフトウェア２０２とが予め記録媒体２０３に記録され、この記録媒体２０３がコンピュータ装置２００のドライブ装置２１８に装填されているものとする。さらに、ドライブ装置２１８により記録媒体２０３からソフトウェア２０２が読み出され、ハードディスク２１７に対して実行可能に格納されインストールされているものとする。
【０２９２】
ステップＳ５０で、例えばユーザのコンピュータ装置２００に対する操作に応じて、ソフトウェア２０２が起動される。以下の処理は、このソフトウェア２０２の制御に基づき実行される。次のステップＳ５１で、記録媒体２０３に記録された参照情報がソフトウェア２０２により読み出される。読み出された参照情報は、例えばハードディスク２１７に一旦格納される。
【０２９３】
次に、ステップＳ５２で、ユーザデータの取り込みが行われる。例えば、カメラ装置２０４により、ユーザを被写体として参照情報と対応するように撮影がなされ、撮影によりカメラ装置２０４から出力された画像データがコンピュータ装置２００に供給され、ハードディスク２１７に所定に格納される。ユーザデータが取り込まれると、ステップＳ５３で、取り込まれたユーザデータに対して所定の処理が行われ、参照情報に対応するデータが求められる。
【０２９４】
次のステップＳ５４で、ステップＳ５３で求められたデータに対する１次解析処理が行われる。例えば、ステップＳ５１で記録媒体２０３から読み出された参照情報と、ステップＳ５３で求められたデータとが比較され１次解析処理が行われる。この１次解析処理結果に基づきステップＳ５５で閾値判断がなされる。例えば、ステップＳ５４において、参照情報とステップＳ５３で求められたデータとの差分が所定に算出され、この差分が閾値を超えたか否かがステップＳ５５で判断される。
【０２９５】
若し、ステップＳ５５で差分が閾値を超えたと判断されれば、処理はステップＳ５６に移行され、さらに２次解析処理が行われる。この２次解析処理は、例えばステップＳ５３で求められたデータに対してさらに解析処理を行うものでもよいし、当該データの元データに対して解析処理を行うようにしてもよい。
【０２９６】
ステップＳ５７で、ステップＳ５６の２次解析の結果に基づく所定のメッセージがディスプレイ２１５に表示される。例えば、ＣＰＵ２１１は、２次解析の結果に応じて所定にメッセージデータを作成し、このメッセージデータをディスプレイ２１５に表示させるための表示制御信号を生成する。この表示制御信号が表示制御部２１４に供給され、ディスプレイ２１５で表示可能な形式の信号に変換されてディスプレイ２１５に供給される。
【０２９７】
一方、ステップＳ５５で、差分が閾値を超えていないと判断されれば、処理はステップＳ５８に移行される。ステップＳ５８では、例えば取り込んだユーザデータに問題ない旨を示すメッセージがディスプレイ２１５に表示される。
【０２９８】
なお、上述では、ステップＳ５２によるユーザデータの取り込みを、コンピュータ装置２００に接続されたカメラ装置２０４を用いて撮影された画像データをコンピュータ装置２００に供給することで行っているが、これはこの例に限定されない。例えば、コンピュータ装置２００に対して独立的で、それ自身が単体で用いられるようなディジタルカメラ装置やディジタルビデオカメラ装置で撮影した画像データを、コンピュータ装置２００に取り込むようにしてもよい。
【０２９９】
また、図３７のフローチャートにおける各ステップの順序は、上述の順序に限られない。例えば、ステップＳ５２のユーザデータの取り込みは、ステップＳ５３の処理の処理以前であればどのタイミングで行ってもよく、一例としてステップＳ５０のソフトウェア２０２の起動以前に行ってもよい。この場合、取り込んだ画像データを一旦ハードディスク２１７に格納し、ステップＳ５３による所定の処理の際に、ハードディスク２１７から当該画像データを読み出すようにする。同様に、参照情報の記録媒体２０３からの読み出しも、上述の順序に限られない。すなわち、参照情報は、例えばステップＳ５４のユーザデータに対する処理結果と参照情報との比較処理の前に、記録媒体２０３から読み出されていればよい。
【０３００】
さらに、上述では、記録媒体２０３に対して、予め所定の処理が施された参照情報が記録されているように説明したが、これはこの例に限定されない。例えば、記録媒体２０３には参照情報を求める元のデータを記録しておき、コンピュータ装置２００においてソフトウェア２０２の起動後に、ソフトウェア２０２により当該元のデータに基づき参照情報を作成するようにしてもよい。
【０３０１】
５−３．実施の第２の形態の適用例
５−３−１．第１の適用例（化粧サポートシステムに適用した例）
この実施の第２の形態も、上述した実施の第１の形態と同様に、様々なサービスに適用することができる。第１の適用例として、上述した実施の第１の形態や各変形例における第１の応用例で説明した化粧サポートシステムにこの実施の第２の形態を適用した場合について考える。
【０３０２】
実施の第２の形態を化粧サポートシステムに適用する場合、例えば、デパートの化粧品コーナやメイクアップスタジオなどでユーザに対して理想メイクを施し、理想メイクが施された顔をカメラ装置２０１で撮影する。そして、撮影で得られた理想メイクによる画像データに対して図示されないコンピュータ装置などで所定の処理を施し、当該ユーザに対応する参照情報を作成する。この参照情報と、上述したソフトウェア２０２とをパッケージングして、記録媒体２０３に記録し、ユーザに提供する。
【０３０３】
ここで、ソフトウェア２０２に含まれる、ユーザ側で参照情報に対応するデータを作成するためのプログラムと、所定の１次解析および２次解析を行うプログラムと、２次解析の結果に応じたメッセージを表示させるためのプログラムとによる各プログラムは、上述した実施の第１の形態の第１の応用例で、図１０〜図１３などを用いて説明した各処理と同様の処理を、コンピュータ装置２００上で実行可能としたものとする。
【０３０４】
また、記録媒体２０３には、ソフトウェア２０２および参照情報と共に、例えば化粧品などの広告情報をさらにパッケージングすることも考えられる。さらに、コンピュータ装置２００がインターネットに接続可能とされている場合には、インターネット上の化粧品の販売サイトに対するリンク情報を、これらソフトウェア２０２や参照情報と共にパッケージングすることもできる。
【０３０５】
ユーザは、自己メイクを施した際にこの記録媒体２０３に記録される参照情報とソフトウェア２０２とを用いることで、理想メイクにより近いメイクを、自宅にいながらにして容易に行うことができる。
【０３０６】
５−３−２．第２の適用例（スポーツ向けのラーニングシステムに適用した例）
第２の適用例として、上述した実施の第１の形態や各変形例における第２の応用例で説明したスポーツ向けのラーニングシステムにこの実施の第２の形態を適用した場合について考える。この場合も、上述の第１の適用例と略同様な考え方で、実施の第２の形態を適用することができる。すなわち、ユーザの理想フォームを、ビデオカメラであるカメラ装置２０１で撮影する。そして、撮影され得られたビデオデータに対して図示されないコンピュータ装置などで所定の処理を施し、当該ユーザに対応する参照情報を作成する。この参照情報と、上述したソフトウェア２０２とをパッケージングして、記録媒体２０３に記録し、ユーザに提供する。
【０３０７】
ここで、ソフトウェア２０２に含まれる、ユーザ側で参照情報に対応するデータを作成するためのプログラムと、所定の１次解析および２次解析を行うプログラムと、２次解析の結果に応じたメッセージを表示させるためのプログラムとによる各プログラムは、上述した実施の第１の形態の第２の応用例で説明した各処理と同様の処理を、コンピュータ装置２００上で実行可能としたものとする。
【０３０８】
なお、ユーザではなく、指導員による理想フォームを撮影し、参照情報を作成することも考えられる。この場合、ユーザと指導員との間に体格差があると、１次解析において的確な判断が行えない可能性がある。そのため、指導員とユーザの体格差に基づき、ユーザの体格に応じて指導員の各計測ポイントの位置を示す位置情報を正規化するプログラムを、ソフトウェア２０２に加える。これに限らず、１次解析において判断を行う際の閾値を適当に設定することで、指導員の理想フォームを正規化を行わずにそのまま、参照情報として用いるようにしてもよい。このような、指導員による理想フォームに基づく参照情報と、体格差に応じた正規化処理または閾値の調整を行うプログラムを含むソフトウェア２０２が記録された記録媒体２０３は、対象が特定のユーザに限定されず、汎用的なアプリケーションとすることができる。
【０３０９】
また、記録媒体２０３には、ソフトウェア２０２および参照情報と共に、例えばスポーツ用品などの広告情報をさらにパッケージングすることも考えられる。さらに、コンピュータ装置２００がインターネットに接続可能とされている場合には、インターネット上のスポーツ用品の販売サイトに対するリンク情報を、これらソフトウェア２０２や参照情報と共にパッケージングすることもできる。
【０３１０】
ユーザは、自宅などや個人利用の利用施設などでトレーニング野際にこの記録媒体２０３に記録される参照情報とソフトウェア２０２とを用いることで、理想フォームにより近いフォームを、容易に身につけることができる。
【０３１１】
５−３−３．第３の適用例（外国語会話のラーニングシステムに適用した例）
第３の適用例として、上述した実施の第１の形態の各変形例における第３の応用例で説明した外国語会話のラーニングシステムにこの実施の第２の形態を適用した場合について考える。この場合には、講師による理想発声フォームをビデオカメラであるカメラ装置２０１で撮影してビデオデータを得ると共に、撮影と同期して講師の発音を理想発声発音として図示されないマイクロフォンで収音しオーディオデータを得る。そして、これらビデオデータおよびオーディオデータに対して、図示されないコンピュータ装置などで所定の処理を施し、理想発声フォーム（ビデオデータ）および理想発声発音（オーディオデータ）のそれぞれについて、参照情報を作成する。この参照情報と、上述したソフトウェア２０２とをパッケージングして記録媒体２０３に記録し、ユーザに提供する。
【０３１２】
ここで、ソフトウェア２０２に含まれる、ユーザ側で参照情報に対応するデータを作成するためのプログラムと、所定の１次解析および２次解析を行うプログラムと、２次解析の結果に応じたメッセージを表示させるためのプログラムとによる各プログラムは、上述した実施の第１の形態の第３の応用例で説明した各処理と同様の処理を、コンピュータ装置２００上で実行可能としたものとする。
【０３１３】
また、記録媒体２０３には、ソフトウェア２０２および参照情報と共に、例えば当該外国語会話学校などの他のコース案内などの広告情報をさらにパッケージングすることも考えられる。さらに、コンピュータ装置２００がインターネットに接続可能とされている場合には、インターネット上でコース変更の申し込みなどを行うサイトに対するリンク情報を、これらソフトウェア２０２や参照情報と共にパッケージングすることもできる。
【０３１４】
ユーザは、自宅などでこの記録媒体２０３に記録される参照情報とソフトウェア２０２とを用いて外国語会話の自己レッスンを行うことで、理想発声フォームや理想発声発音を、容易に学習することができる。
【０３１５】
６．発明の実施の第３の形態
６−１．概略
次に、この発明の実施の第３の形態について説明する。この発明の実施の第３の形態は、この発明をセキュリティシステムに適用した例である。図３８〜図４０を用いて、この発明の実施の第３の形態について概略的に説明する。先ず、市街や住宅街などに、街路を隈無く撮影可能なように複数台のカメラ装置Ｃ1、Ｃ2、・・・を設置し、図示されないサーバシステムに有線或いは無線ネットワークを介して接続する。カメラ装置Ｃ1、Ｃ2、・・・は、それぞれ所定の時間間隔で撮影を行い、撮影された画像データを、カメラ装置Ｃ1、Ｃ2、・・・のそれぞれを識別するセンサＩＤと、撮影が行われた時刻を示す時刻情報と共に、サーバシステムに送信する。サーバシステムは、送信された画像データから、例えばパターン検出や顔検出などの技術を用いて対象ユーザの画像を抽出する。
【０３１６】
ここで、セキュリティの対象となるユーザ（以下、対象ユーザと呼ぶ）が、図３８に経路Ａで示す道筋で以て歩行移動しているものとする。対象ユーザが一箇所に留まることなく移動した場合、各カメラ装置Ｃ1、Ｃ2、・・・から出力される画像データには、それぞれ図３９に例示されるような時間範囲で、対象ユーザの画像が含まれると考えられる。すなわち、この図３９の例では、対象ユーザの姿は、最初、カメラ装置Ｃ1により捉えられ（時刻ｔa〜ｔb）、次にカメラ装置Ｃ2に捉えられ（時刻ｔc〜ｔd）、最後にカメラ装置Ｃ5に捉えられている（時刻ｔi〜ｔj）。撮影範囲が重複する部分では、重複して撮影がなされている。また、この例では、カメラ装置Ｃ3およびＣ4でも、短時間、対象ユーザの姿が捉えられている（時刻ｔe〜ｔfおよび時刻ｔg〜ｔh）。
【０３１７】
ここで、例えば図４０に例示されるように、特定のカメラ装置（図４０の例ではカメラ装置Ｃ5）により極めて長時間、対象ユーザの姿が捉えられている場合、対象ユーザに何らかのアクシデントが発生した可能性があると考えることができる。そこで、この発明の実施の第３の形態では、画像データに基づき対象ユーザの行動を解析し（１次解析）、所定時間以上移動がないと判断された場合に、画像データに対して２次解析を行い対象ユーザの状況を分析する。分析の結果、対象ユーザに何らかのアクシデントが発生した可能性が高いと判断されたら、対象ユーザに関連する他のユーザに対してその旨示すメッセージを送信する。
【０３１８】
６−２．適用可能なシステムについて
図４１は、この実施の第３の形態に適用可能な一例のシステムを概略的に示す。市街や住宅街などの、サービス対象地域に対して、複数のカメラ装置２０１Ａ、２０１Ｂ、・・・をそれぞれ所定位置に設置する。カメラ装置２０１Ａ、２０１Ｂ、・・・は、例えばサービス対象地域の街路などを隈無く撮影可能なように、設置場所および向きなどが決められる。また、カメラ装置２０１Ａ、２０１Ｂ、・・・は、可視光領域の光のみならず、赤外線領域の光も撮影可能とされていると、より好ましい。
【０３１９】
カメラ装置２０１Ａ、２０１Ｂ、・・・のそれぞれは、ネットワーク２００に接続される。カメラ装置２０１Ａ、２０１Ｂ、・・・は、それぞれ所定の時間間隔で撮影を行い、撮影で得られた画像データをネットワーク２００を介して、後述するサーバシステム２０２に対して送信する。このとき、カメラ装置２０１Ａ、２０１Ｂ、・・・のそれぞれを識別するためのセンサＩＤと、撮影が行われた時刻を示す時刻情報とを、画像データに対応付けて送信する。
【０３２０】
ネットワーク２００は、上述と同様に、このシステムで閉じたネットワークでもよいし、インターネットのようなオープンなネットワークでもよい。
【０３２１】
ネットワーク２００に対して、さらにサーバシステム２０２が接続される。サーバシステム２０２は、サーバ部２１０および解析システム部２１１を有すると共に、ユーザ情報データベース２１２およびセンサ情報データベース２１３を有する。サーバ部２１０は、このシステムの全体の制御や管理を行う。例えばサーバ部２１０は、カメラ装置２０１Ａ、２０１Ｂ、・・・からネットワーク２００を介して送信されたデータを受信し、センサ情報データベース２１３やユーザ情報データベース２１２に所定に格納する。例えば、カメラ装置２０１Ａ、２０１Ｂ、・・・から出力されネットワーク２００を介して受信された画像データは、サーバ部２１０により、センサＩＤおよび時刻情報と対応付けられて、センサ情報データベース２１３に格納される。
【０３２２】
解析システム部２１１は、センサ情報データベース２１３に格納された画像データに対して所定の解析処理を行い（１次解析処理）、この解析結果に基づき必要であると判断されれば、当該画像データに対してさらに解析処理を行う（２次解析処理）。
【０３２３】
サーバシステム２０２は、サーバ部２１０によりインターネット２０３に接続される。インターネット２０３には、例えば対象ユーザに関連する他のユーザ、例えば対象ユーザの保護者や施設などの担当者、通報機関などにより使用されるユーザ端末２２０Ａ、２２０Ｂ、・・・や、携帯端末２２１Ａ、２２１Ｂ、・・・が接続される。ユーザ端末２２０Ａ、２２０Ｂ、・・・は、インターネット２０３による通信が可能であれば特に種類を問わないが、例えばパーソナルコンピュータからなり、電子メールの送受信を行うメーラや、ウェブサイトのウェブページを閲覧するためのブラウザなどの、インターネット２０３を利用するために必要なソフトウェアが搭載されている。また、携帯端末２２１Ａ、２２１Ｂ、・・・は、例えばインターネット２０３による通信が可能とされた携帯電話端末や、ＰＤＡ(Personal Digital Assistant)であって、ユーザ端末２２０Ａ、２２０Ｂ、・・・と同様に、メーラやブラウザが搭載されている。サーバ部２１０は、これらユーザ端末２２０Ａ、２２０Ｂ、・・・や、携帯端末２２１Ａ、２２１Ｂ、・・・と、インターネット２０３を介して通信を行うことができる。
【０３２４】
ユーザ情報データベース２１２およびセンサ情報データベース２１３について、概略的に説明する。ユーザ情報データベース２１２は、例えば対象ユーザに関する情報が格納されるユーザ情報テーブルと、対象ユーザと他のユーザとの関係を定義するユーザ関連情報テーブルと、画像データに基づき対象ユーザを識別するための情報が格納される本人識別情報テーブルとを有する。
【０３２５】
ユーザ情報テーブルは、図３を用いて既に説明したのと同様に、ユーザを識別するユーザＩＤに対して、ユーザの名前、住所、連絡先（電子メールアドレス）などのユーザの属性が対応付けられる。また、本人識別情報テーブルも、図２６を用いて既に説明したのと同様に、ユーザＩＤに対してユーザの顔の特徴を示す情報を対応付ける。なお、この実施の第３の形態においては、ユーザの顔の特徴が顔の正面のみならず、顔の側面や斜め方向からについても、特徴を抽出するとよい。さらに、対象ユーザの全身について、全体的に特徴を抽出することも考えられる。この実施の第３の形態においては、本人識別情報は、対象ユーザのみの情報が登録されていればよい。
【０３２６】
図４２は、ユーザ関連情報テーブルの一例の構成を示す。この実施の第３の形態においては、１の対象ユーザに対してグループが形成され、ユーザ関連情報テーブルに対し、対象ユーザに関連するユーザの対象ユーザに対する関係が登録されると共に、通知を行うレベルが登録される。図４２の例では、レベル"１"と、より高いレベル"２"が設定されている。対象ユーザに対する関係は、対象ユーザの保護者、対象ユーザが関わる施設などの担当者、通報機関などが考えられる。通報機関は、警察や、地域で児童や老人などの保護を行うための設立された機関などが考えられる。通知を行うレベルに関しては、後述する。
【０３２７】
センサ情報データベース２１３は、センサ情報テーブルを有する。図４３は、センサ情報テーブルの一例の構成を示す。センサ情報テーブルは、各センサＩＤ毎に、画像データがユニークなデータＩＤにより識別され、時刻情報と対応付けられて蓄積的に登録される。画像データは、例えば実際の画像データの格納場所を示すポインタである。以下では、説明のため、画像データ本体がセンサ情報テーブルに対して直接的に画像データが登録されているものとして説明する。
【０３２８】
６−３．概略的な処理の流れについて
次に、図４４〜図４６のフローチャートを用いてこの実施の第３の形態による一例の処理を概略的に示す。これら図４４〜図４６の処理は、それぞれ並列的に実行されるものである。
【０３２９】
図４４は、各カメラ装置２０１Ａ、２０１Ｂ、・・・における一例の処理を示す。このように、各カメラ装置２０１Ａ、２０１Ｂ、・・・は、撮影を行い（ステップＳ３００）、撮影された画像データを、カメラ装置２０１Ａ、２０１Ｂ、・・・それぞれを識別するためのセンサＩＤと、撮影が行われた時刻を示す時刻情報と共に、ネットワーク２００を介してサーバシステム２０２に対して送信する（ステップＳ３０１）。このステップＳ３００およびステップＳ３０１の処理を、所定の時間間隔で以て繰り返し行う。送信されたデータは、サーバシステム２０２により受信されてサーバ部２１０に供給され、センサ情報データベース２１３に所定に格納される。
【０３３０】
図４５は、サーバ部２１０における一例の処理を示す。サーバ部２１０は、センサ情報データベース２１３から順次、画像データを読み出し（ステップＳ３１０）、読み出した各画像データについて、対象ユーザの画像を抽出する（ステップＳ３１１）。例えば、サーバ部２１０は、画像データに対して顔検出を行い、検出された顔画像の特徴を抽出する。そして、画像データから抽出された顔の特徴情報のうち、ユーザ情報データベース２１２内の本人識別情報テーブルに格納される、対象ユーザに対応する顔の特徴情報に対して類似度が所定以上のものを、対象ユーザの画像であるとして特定する。
【０３３１】
画像データから対象ユーザの画像を抽出する方法は、これに限らず、例えば画像データからパターン検出などにより人間の姿を抽出し、対象ユーザの全身の画像に基づく特徴と比較してもよい。顔画像と全身画像とを共に用いて対象ユーザを特定することも考えられる。
【０３３２】
各画像データから対象ユーザの画像が抽出されたら、次のステップＳ３１２で、対象ユーザの画像が抽出された画像データが時刻順に並べられる。
【０３３３】
なお、上述のステップＳ３１０において、サーバ部２１０は、センサ情報データベース２１３から読み出した画像データを、サーバ部２１０が有する所定のストレージ装置（図示しない）に一旦格納する。そして、この所定のストレージ装置に格納されている画像データに対して、ステップＳ３１１の対象ユーザの画像の抽出処理や、ステップＳ３１２の画像データの撮影時刻順の並べ替え処理などが行われる。
【０３３４】
図４６は、解析システム部２１１による一例の処理を示す。最初のステップＳ３２０で、解析システム部２１１は、サーバ部２１０が有する所定のストレージ装置に、図４５のフローチャートにおけるステップＳ３１２の処理により時刻順に並べられた画像データのうち、時間的に連続的な所定枚の画像データについて１次解析を行い、対象ユーザの動きを検出する。
【０３３５】
例えば図４７に例示されるように、カメラ装置Ｃ1による撮影画像である画像ｔ11、ｔ12、ｔ13、・・・、ｔ18、・・・と、カメラ装置Ｃ2による撮像画像である画像ｔ21、ｔ22、ｔ23、・・・、ｔ28、・・・とのうち、画像ｔ11〜ｔ14および画像ｔ24〜ｔ28から対象ユーザの画像が抽出されたものとする（図４６中で斜線を付して示す）。これらの画像を、時刻順に画像ｔ11、ｔ12、ｔ13、ｔ24、ｔ14、ｔ25、ｔ15、ｔ26、ｔ27、ｔ28の如く並べ替え、対象ユーザの移動速度を求める。なお、カメラ装置Ｃ1およびＣ2の設置位置の違いによる画像内の位置補正は、予め行っておくものとする。
【０３３６】
対象ユーザの画像が抽出された画像ｔ11、ｔ12、ｔ13、ｔ24、ｔ14、ｔ25、ｔ15、ｔ26、ｔ27、ｔ28のうち、時間的に連続的な所定の枚数の画像データを解析の対象とする。ここでは、所定の枚数を５枚とし、画像ｔ11、ｔ12、ｔ13、ｔ24、ｔ14を用いて、対象ユーザの移動速度を求めるものとする。移動速度は、例えば各画像間での対象ユーザの移動距離を時間で除し、これを解析対象の全画像に対して行った値の平均値を用いることが考えられる。時間的に先頭および末尾の画像のみを用いて移動速度を求めてもよい。
【０３３７】
対象ユーザの移動速度が求められたら、次のステップＳ３２１で、この移動速度が所定の閾値を超えているか否かが判断される。閾値を超えていると判断されれば、対象ユーザに異常がないとして、処理はステップＳ３２０に戻される。一方、若し、移動速度が所定の閾値を超えていないと判断されれば、処理はステップＳ３２２に移行され、２次解析処理が行われる。すなわち、移動速度が所定の閾値以下である場合、図４０を用いて説明したように、対象ユーザに何らかのアクシデントが発生した可能性があると考えられるからである。
【０３３８】
ステップＳ３２２における２次解析処理としては、様々な処理が考えられる。一例として、対象ユーザの姿勢を解析することが考えられる。すなわち、解析対象のそれぞれの画像に対し、対象ユーザがどのような姿勢を取っているかが解析される。そして、例えば、対象ユーザがうずくまっている、倒れているなどの解析結果が得られた場合、対象ユーザに何らかのアクシデントが発生している可能性が極めて高いということができる。
【０３３９】
別の例として、対象ユーザの色を解析することが考えられる。例えば、解析対象のそれぞれの画像に対し、対象ユーザの各部分について色を検出する。そして、ある時点において赤い色を示す部分が発生した場合、対象ユーザが血を流していると考えることができる。
【０３４０】
さらに別の例として、カメラ装置２０１Ａ、２０１Ｂ、・・・は、それぞれ可視光領域の光だけでなく赤外線領域の光を撮影可能とされている場合、対象ユーザの温度すなわち体温に応じた値を解析することができる。ある時点において例えば体温の低下が検出された場合、対象ユーザに何らかのアクシデントが発生している可能性があると考えることができる。
【０３４１】
ステップＳ３２２の解析の結果、対象ユーザに何らかのアクシデントが発生した可能性があると判断されれば（ステップＳ３２３）、処理はステップＳ３２４に移行される。アクシデントが発生していないと判断されれば、処理はステップＳ３２０に戻される。ステップＳ３２４では、ユーザ関連情報テーブルに対象ユーザに関連付けられて登録される他のユーザに対し、対象ユーザに何らかのアクシデントが発生した旨を示すメッセージが通知される。例えば、ユーザ情報テーブルからこの他のユーザの情報を検索し、連絡先として登録される電子メールアドレスに対してメッセージが記述された電子メールを送信する。
【０３４２】
このとき、メッセージが記述された電子メールに対し、例えば２次解析で対象ユーザに何らかのアクシデントが発生したと判断した根拠となる画像データを添付し、メッセージと画像データとをパッケージングすると、より好ましい。すなわち、この電子メールの受信側では、メッセージに添付された画像データを見ることで、対象ユーザに対して如何なるアクシデントが発生したか、また、アクシデントが本当に発生したか否かを即座に知ることができる。
【０３４３】
上述のステップＳ３２０〜ステップＳ３２４の処理を、例えばサーバ部２１０が有する所定のストレージ装置において、１乃至複数枚の画像データから対象ユーザの画像が抽出され時刻順に並べられる毎に、繰り返す。
【０３４４】
なお、２次解析の結果として、対象ユーザに対してアクシデントが発生したか否かが明確ではない場合も考えられる。このような場合に、例えば通報機関などに一々メッセージが送信されると、通報機関側の負担が無駄に増大してしまう可能性がある。そのため、２次解析の結果に応じてメッセージを送信する相手を選択することができると好ましい。
【０３４５】
例えば、２次解析の結果、対象ユーザにアクシデントが発生している可能性が極めて高いと判断できる場合は、図４２に示すユーザ関連情報テーブルにおいて、より高いレベルに設定されたユーザまで、メッセージなどが送信される。図４２の例では、レベル"１"または"２"に設定された、保護者１および２、担当者および通報機関にメッセージなどが送信される。一方、２次解析の結果、対象ユーザにアクシデントが発生しているか否かが明確に判断できない場合は、ユーザ関連情報テーブルにおいて低いレベルに設定されたユーザにのみ、メッセージなどが送信される。図４２の例では、レベル"１"に設定された保護者１および２にのみ、メッセージの送信がなされる。メッセージを受信した保護者１および２は、メッセージに添付された画像データを確認することで、対象ユーザにアクシデントが発生しているか否かを判断することができる。
【図面の簡単な説明】
【０３４６】
【図１】発明の第１の形態による一例のシステム構成を概略的に示す略線図である。
【図２】センサ情報テーブルの一例の構成を示す略線図である。
【図３】ユーザ情報テーブルの一例の構成を示す略線図である。
【図４】参照情報テーブルの一例の構成を示す略線図である。
【図５】実施の第１の形態による一例の処理を示すフローチャートである。
【図６】化粧サポートシステムの概要を説明するための一例の流れを示すフローチャートである。
【図７】実施の第１の形態の第１の応用例に適用可能な一例のシステムを概略的に示す略線図である。
【図８】ユーザ情報テーブルの一例の構成を示す略線図である。
【図９】パッケージデータの一例の構成を示す略線図である。
【図１０】計測ポイントの例について説明するための略線図である。
【図１１】参照情報テーブルの構成例を示す略線図である。
【図１２】パッケージデータに含まれる画像データ、アドバイス情報、広告情報を閲覧させるウェブページの一例の画面構成を示す略線図である。
【図１３】ウェブページによる表示の別の例を示す略線図である。
【図１４】化粧品データベースの一例の構成を示す略線図である。
【図１５】スポーツ向けラーニングシステムの概要を説明するための一例の流れを示すフローチャートである。
【図１６】実施の第１の形態の第２の応用例に適用可能な一例のシステムを概略的に示す略線図である。
【図１７】ユーザ情報テーブルの一例の構成を示す略線図である。
【図１８】計測ポイントの例について説明するための略線図である。
【図１９】参照テーブルの構成例を示す略線図である。
【図２０】外国語会話ラーニングシステムの概要を説明するための一例の流れを示すフローチャートである。
【図２１】実施の第１の形態の第３の応用例に適用可能な一例のシステムを概略的に示す略線図である。
【図２２】センサ情報データベースの一例の構成について説明するための略線図である。
【図２３】オーディオデータの解析方法の例を示す略線図である。
【図２４】参照情報テーブルの一例の構成を示す略線図である。
【図２５】実施の第１の形態の第１の変形例による一例のシステム構成を概略的に示す略線図である。
【図２６】本人識別情報テーブルの一例の構成を示す略線図である。
【図２７】実施の第１の形態の第１の変形例によるユーザの一例の識別方法を示すフローチャートである。
【図２８】実施の第１の形態の第１の変形例に、実施の第１の形態の第１の応用例である化粧サポートシステムを適用した一例のシステム構成を概略的に示す略線図である。
【図２９】実施の第１の形態の第１の変形例における応用例による化粧サポートシステムの一例の処理の流れを示すフローチャートである。
【図３０】実施の第１の形態の第２の変形例による一例のシステム構成を示す略線図である。
【図３１】ユーザ媒体に記憶される履歴情報の一例の構成を示す略線図である。
【図３２】履歴情報に基づくデータ特定の一例の方法を示すフローチャートである。
【図３３】実施の第１の形態の第２の変形例に、実施の第１の形態の第１の応用例である化粧サポートシステムを適用した一例のシステム構成を概略的に示す略線図である。
【図３４】実施の第１の形態の第２の変形例における化粧サポートシステムの一例の処理の流れを示すフローチャートである。
【図３５】発明の実施の第２の形態を概略的に説明するための略線図である。
【図３６】コンピュータ装置の一例の構成を示すブロック図である。
【図３７】実施の第２の形態による一例の処理を示すフローチャートである。
【図３８】発明の実施の第３の形態について概略的に説明するための略線図である。
【図３９】発明の実施の第３の形態について概略的に説明するための略線図である。
【図４０】発明の実施の第３の形態について概略的に説明するための略線図である。
【図４１】実施の第３の形態に適用可能な一例のシステムを概略的に示す略線図である。
【図４２】ユーザ関連情報テーブルの一例の構成を示す略線図である。
【図４３】センサ情報テーブルの一例の構成を示す略線図である。
【図４４】各カメラ装置における一例の処理を示すフローチャートである。
【図４５】サーバ部における一例の処理を示すフローチャートである。
【図４６】解析システム部による一例の処理を示すフローチャートである。
【図４７】解析システム部による一例の解析方法を説明するための略線図である。
【符号の説明】
【０３４７】
１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ  センサ装置
１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ  リーダ
１３  ネットワーク
１４  サーバシステム
１５  ユーザ媒体
１６Ａ，１６Ｂ，１６Ｃ，１６Ｂ  ライタ
１７  リーダ
２０  サーバ部
２１  解析システム部
２２  ユーザ情報データベース
２３  センサ情報データベース
３０  インターネット
３１Ａ，３１Ｂ，３１Ｃ  ユーザ端末
１００Ａ  施設
１００Ｂ  ユーザ自宅
１０１Ａ，１０１Ｂ  カメラ装置
１０２Ａ，１０２Ｂ  リーダ
１０４  サーバシステム
１１０  サーバ部
１１１  解析システム部
１１２  ユーザ情報データベース
１１３  センサ情報データベース
１１４  化粧品データベース
１３０  インターネット
１３２  ウェブサーバ
１４０  パッケージデータ
１６１Ａ，１６１Ｂ，１６２Ａ，１６２Ｂ  ビデオカメラ
１７２Ａ，１７２Ｂ  マイクロフォン
２００  コンピュータ装置
２０２  ソフトウェア
２０３  記録媒体
【図１】
2008257381.tif 000003
【図２】
2008257381.tif 000004
【図３】
2008257381.tif 000005
【図４】
2008257381.tif 000006
【図５】
2008257381.tif 000007
【図６】
2008257381.tif 000008
【図７】
2008257381.tif 000009
【図８】
2008257381.tif 000010
【図９】
2008257381.tif 000011
【図１０】
2008257381.tif 000012
【図１１】
2008257381.tif 000013
【図１２】
2008257381.tif 000014
【図１３】
2008257381.tif 000015
【図１４】
2008257381.tif 000016
【図１５】
2008257381.tif 000017
【図１６】
2008257381.tif 000018
【図１７】
2008257381.tif 000019
【図１８】
2008257381.tif 000020
【図１９】
2008257381.tif 000021
【図２０】
2008257381.tif 000022
【図２１】
2008257381.tif 000023
【図２２】
2008257381.tif 000024
【図２３】
2008257381.tif 000025
【図２４】
2008257381.tif 000026
【図２５】
2008257381.tif 000027
【図２６】
2008257381.tif 000028
【図２７】
2008257381.tif 000029
【図２８】
2008257381.tif 000030
【図２９】
2008257381.tif 000031
【図３０】
2008257381.tif 000032
【図３１】
2008257381.tif 000033
【図３２】
2008257381.tif 000034
【図３３】
2008257381.tif 000035
【図３４】
2008257381.tif 000036
【図３５】
2008257381.tif 000037
【図３６】
2008257381.tif 000038
【図３７】
2008257381.tif 000039
【図３８】
2008257381.tif 000040
【図３９】
2008257381.tif 000041
【図４０】
2008257381.tif 000042
【図４１】
2008257381.tif 000043
【図４２】
2008257381.tif 000044
【図４３】
2008257381.tif 000045
【図４４】
2008257381.tif 000046
【図４５】
2008257381.tif 000047
【図４６】
2008257381.tif 000048
【図４７】
2008257381.tif 000049