(57)【要約】【課題】対象の動作を当該動作中でなくとも容易に評価すること。【解決手段】本発明に係る撮像装置１は、解析情報取得部５２と、解析評価処理部５３と、を備える。また、解析情報取得部５２は、動作の評価対象となる人物の視線の情報を取得する。さらに、解析評価処理部５３は、解析情報取得部５２により取得された視線の情報に基づいて、前記人物の動作の評価を行う。したがって、撮像装置１においては、対象の動作を当該動作中でなくとも容易に評価することができる。【選択図】図３
2015126812.tif 000002
【特許請求の範囲】
【請求項１】
動作の評価対象となる人物の視線の情報を取得する第１の取得手段と、
前記第１の取得手段により取得された視線の情報に基づいて、前記人物の動作の評価を行う評価手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
複数の画像を取得する画像取得手段を更に備え、
前記第１の取得手段は、前記画像取得手段により取得された複数の画像中の各画像から前記視線の情報を取得し、
前記評価手段は、
前記第１の取得手段により取得された各画像の前記視線の情報同士を比較する比較手段を更に有し、
前記比較手段による比較結果に応じた前記動作の評価を行う、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記人物の顔の向きの情報又は頭の位置の情報を取得する第２の取得手段を更に備え、
前記評価手段は、前記第１の取得手段により取得された視線の情報と、前記第２の取得手段により取得された顔の向きの情報又は頭の位置の情報に基づいて、前記人物の動作の評価を行う、
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記人物の視線の状態として、視線の変化又は特定対象と視線との位置関係を解析する解析手段を更に備え、
前記評価手段は、前記視線の変化が少ない、又は特定対象と視線とが近いほど前記人物の動作を高く評価する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記評価手段は、
前記人物の動作の評価を行う構成要素を評価する要素評価手段と、
前記要素評価手段による構成要素の評価を統合する統合手段を更に有し、
前記統合手段により統合された構成要素の評価から前記人物の動作の評価を行う、
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記評価手段による前記人物の動作の評価に対応したアドバイス情報を生成する生成手段を備える、
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記生成手段により生成された前記アドバイス情報を出力する出力手段を備える、
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記評価手段による前記人物の動作の評価を前記人物に報知する報知手段を備える、
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項９】
前記第１の取得手段は、撮像手段で撮像された画像から前記視線の情報として取得する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項１０】
前記人物の動作は、ゴルフ、ビリヤード又は野球のスポーツにおけるプレーヤの動作である、
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
動作の評価対象となる人物の視線の情報を取得する取得ステップと、
前記取得ステップにおいて取得された視線の情報に基づいて、前記人物の動作の評価を行う評価ステップと、
を含むことを特徴とする情報処理方法。
【請求項１２】
コンピュータを、
動作の評価対象となる人物の視線の情報を取得する取得手段、
前記取得手段により取得された視線の情報に基づいて、前記人物の動作の評価を行う評価手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の動作を評価する情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来の技術として、ゴルフのスイングにおける動作の確認のためにゴルフボールを挟んでユーザに対向するように外部装置を設けることで、ユーザが自身の動作のチェックを行う技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２１７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、外部装置をリアルタイムに利用したときのみにしか動作の状態を確認できないためユーザの動作を評価できる時が当該動作中に限られてしまうという問題があった。
【０００５】
このような状況に鑑みてなされたものであり、対象の動作を当該動作中でなくとも容易に評価できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の情報処理装置は、
動作の評価対象となる人物の視線の情報を取得する第１の取得手段と、
前記第１の取得手段により取得された視線の情報に基づいて、前記人物の動作の評価を行う評価手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、対象の動作を当該動作中でなくとも容易に評価することができる。
【図面の簡単な説明】
【０００８】
【図１】検出装置を用いて対象者の動作の評価を行っている状態を示す模式図である。
【図２】本発明の一実施形態に係る検出装置である撮像装置のハードウェアの構成を示すブロック図である。
【図３】図３は、図２の撮像装置の機能的構成のうち、被写体評価処理を実行するための機能的構成を示す機能ブロック図である。
【図４】出力部に表示される解析評価結果の表示例である。
【図５】出力部に表示される解析評価結果の他の表示例である。
【図６】図３の機能的構成を有する図２の撮像装置が実行する被写体評価処理の流れを説明するフローチャートである。
【図７】出力部に表示される解析評価結果の他の表示例である。
【図８】図３の機能的構成を有する図２の撮像装置が実行する他の変形例における被写体評価処理の流れを説明するフローチャートである。
【図９】検出手法の他の例を示す模式図である。
【図１０】第２の実施形態における被写体の評価を行っている様子を示した模式図である。
【図１１】各種スコアを説明するための図である。
【図１２】図３の機能的構成を有する図２の撮像装置が実行する第２の実施形態における被写体評価処理の流れを説明するフローチャートである。
【図１３】被写体評価処理のうち、安定性評価処理の流れを説明するフローチャートである。
【図１４】被写体の評価の他の例を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
＜第１の実施形態＞
本実施形態においては、対象者の一連の動作を評価する。評価の手法は、動作中の対象者の視線の状態に基づいて行う。即ち、対象者の視線を検出して、好適な視線の状態となっているかを評価することにより行う。
本例では、対象者の一連の動作として、ゴルフのスイング（以下、単に「スイング」という。）を対象とする。ゴルフのスイングにおいては、アドレスからフィニッシュまでの一連のスイングの動作中において視線の変化がないことが好ましいとされる。したがって、視線の変化がないことが好適な視線の状態となるため、視線の変化を解析することにより対象者の一連の動作を評価する。
【００１１】
また、スイングにおいては、視線が所定の方向、即ち、ボールに向いていることも好ましいとされる。したがって、視線がボールの方向に向いていることも好適な視線の状態となる。
【００１２】
更に、スイングにおいては、視線の変化の生じにくい状態や視線がボールに向きやすい状態を作り出すために、顔の向きが動作中に変化しないことや顔がボール方向に向いていることが付加的な要素となる。
【００１３】
そこで、本実施形態においては、スイングを行っている者（以下、「プレーヤ」ともいう。）の視線を検出して、視線の状態を解析することにより、スイングの動作を評価する。
【００１４】
視線の検出については、例えば、角膜の反射像を評価するＩＲＯＧ法や、虹彩の模様を評価するＶＯＧ法等の既存の手法を用いることで検出する。近年においては、専用機を用いずに、高精細・高精度の撮像機能を備えた装置で撮影した画像を解析しても検出することができる。
また、顔の向きの検出についても、例えば、ボールを含むプレーヤの全身や、ボールとプレーヤの位置を加味してプレーヤの顔を含む一部を撮影した画像を解析して検出することができる。
【００１５】
図１は、検出装置を用いて対象者の動作の評価を行っている状態を示す模式図である。
本実施形態では、図１（ａ）の例に示すように、プレーヤ（対象者）Ｈに正対して視線・顔の向き・スイングの動作を検出可能な地面等に検出装置１を配置して、視線・顔の向き・スイングの動作を検出する。
また、スイングにより顔の向きが変化した場合に、検出装置の設置の仕方次第ではすべて視線が検出できなくなる虞があるために、図１（ｂ）に示すように、複数の検出装置１Ａ，１Ｂを用いて多視点から視線と顔の向きを検出するように構成することができる。
【００１６】
図２は、本発明の一実施形態に係る検出装置である撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１７】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１８】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１９】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２０】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００２１】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２２】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２３】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００２４】
センサ部１７は、加速度を検出可能に構成され、ピエゾ抵抗型もしくは静電容量型の検出機構を備えており、当該検出機構を用いて、加速度の３軸（Ｘ，Ｙ，Ｚ）成分を検出し、その検出結果を示すデータを出力する。
【００２５】
入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイ、スピーカ、バイブレータ、ＬＥＤランプ等で構成され、画像、音声、振動、光等を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２６】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２７】
以上のように構成される検出装置である撮像装置１は、例えば、スイングの動作等のプレーヤの動作を評価することができ、当該評価に対してのアドバイスを提供することができる機能を有する。
【００２８】
図３は、このような撮像装置１の機能的構成のうち、被写体評価処理を実行するための機能的構成を示す機能ブロック図である。
被写体評価処理とは、視線等の解析情報を撮像部１６から取得し、取得した解析情報に基づいて、被写体の評価を行い、評価結果を出力するまでの処理をいう。
【００２９】
被写体評価処理は、図３に示すように、ＣＰＵ１１において、撮像制御部５１と、解析情報取得部５２と、解析評価処理部５３と、出力制御部５４と、が機能する。
また、記憶部２０の一領域には、解析情報記憶部７１と、評価情報記憶部７２と、が設定される。
解析情報記憶部７１には、被写体の評価のための解析に必要な情報（以下、「解析情報」という。）が記憶される。解析情報は、例えば、撮像部１６から取得した動画等である。
評価情報記憶部７２には、評価結果及び評価結果を表示する際に必要な情報（以下、「必要情報」という。）が記憶される。必要情報は、例えば、プロの視線情報や顔の向きの情報等の評価対象となった対象者との比較を行うための情報である。
【００３０】
撮像制御部５１は、動画を撮影するように撮像部１６を制御する。撮像部１６により撮影された動画は、解析情報記憶部７１に記憶される。
【００３１】
解析情報取得部５２は、解析情報記憶部７１から解析情報を取得する。
具体的には、解析情報記憶部７１から、解析情報として動画を構成する画像のうち、インパクト近辺に対応する画像を取得する。
【００３２】
解析評価処理部５３は、解析情報取得部５２により取得された解析情報を解析し、当該解析結果に基づいて、被写体の評価を行う。そして、解析評価処理部５３は、評価結果を評価情報記憶部７２に記憶させる。
詳細には、解析評価処理部５３は、解析情報取得部５２により取得されたインパクト近辺に対応する画像を解析して、視線の変化を解析する。各画像における視線の解析は、視線がどの方向を向いているかを画像から解析する。
視線の解析は、例えば、視線の動きを解析したり、角膜の反射像を評価するＩＲＯＧ法や虹彩の模様を評価するＶＯＧ法等の既存の手法を用いたりする。
また、解析評価処理部５３は、解析情報取得部５２により取得されたインパクト近辺に対応する画像を解析して、顔の向きの変化を解析する。
なお、インパクト等のスイングの時点の特定は、例えば、画像から姿勢検出して行う等の既存の技術を用いて行う。
【００３３】
また、解析評価処理部５３は、解析結果に基づいて、被写体の評価を行う。
詳細には、解析評価処理部５３は、解析した視線に基づいて、視線の適否を評価する。視線の適否は、解析された視線とボールとの位置関係で行う。ゴルフにおいて視線は、ボールから離れていないことが良いとされているため、ボールに近いほど高い評価をする。
【００３４】
出力制御部５４は、解析評価結果を表示するように出力部１９を制御する。詳細には、出力制御部５４は、解析評価処理部５３により解析された視線の方向を表示し、更に、評価された視線とボールとの位置関係及び評価に対応するアドバイスを表示するように出力部１９を制御する。
【００３５】
図４は、出力部１９に表示される解析評価結果の表示例である。
解析評価結果は、図４の例に示すように、インパクト時のプレーヤを頭上から見下ろした模式図に、解析結果である視線方向Ｌ１と、視線とボールとの位置関係（「視線がボールから早く離れています。」）及びアドバイス（「もっとボールを良く見ましょう。」）を表示する。
【００３６】
図５は、出力部１９に表示される解析評価結果の他の表示例である。
解析評価結果は、図５の例に示すように、インパクト近辺の視線の変化をグラフで表示してもよい。この際、見本となるプロの視線の変化を同時に表示させるように構成してもよい。
なお、本例では、表示により評価結果を提示したが、音声、振動、光等によって、評価の善し悪しのみを報知するように構成してもよい。これは、プレーヤが動作時に自己の動作の評価を確認する場合に有効である。
【００３７】
図６は、図３の機能的構成を有する図２の撮像装置１が実行する被写体評価処理の流れを説明するフローチャートである。
被写体評価処理は、ユーザによる入力部１８からの所定の操作により開始される。
【００３８】
ステップＳ１１において、ＣＰＵ１１は、入力部１８からの撮影開始操作があったか否かを判定する。
撮影開始操作がない場合には、ステップＳ１１においてＮＯと判定されて、撮影開始操作があるまで待機状態となる。
撮影開始操作があった場合には、ステップＳ１１においてＹＥＳと判定されて、処理はステップＳ１２に進む。
【００３９】
ステップＳ１２において、撮像制御部５１は、スイング撮影を開始するように撮像部１６を制御する。撮影された動画は、解析情報記憶部７１に記憶される。
【００４０】
ステップＳ１３において、ＣＰＵ１１は、入力部１８からの撮影終了操作があったか否かを判定する。
撮影終了操作がない場合には、ステップＳ１３においてＮＯと判定されて、撮影終了操作があるまで待機状態となる。
撮影終了操作があった場合には、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。
【００４１】
ステップＳ１４において、解析情報取得部５２は、解析情報記憶部７１に記憶される動画を構成する画像のうち、インパクト近辺に対応する画像を取得する。
【００４２】
ステップＳ１５において、解析評価処理部５３は、解析情報から視線の変化を解析する。詳細には、解析評価処理部５３は、解析情報取得部５２により取得されたインパクト近辺に対応する画像を解析して、視線の変化を解析する。各画像における視線の解析は、視線がどの方向を向いているかを画像から解析する。
【００４３】
ステップＳ１６において、解析評価処理部５３は、被写体の評価を出力する。詳細には、解析評価処理部５３は、解析した視線に基づいて、視線の適否を評価する。視線の適否は、解析された視線の変化及び視線とボールとの位置関係で行う。ゴルフにおいて視線は、変化が少ないことやボールから離れていないことが良いとされているため、視線に変化が少なく、かつ、ボールに近いほど高い評価をする。
解析評価処理部５３は、被写体の評価結果を評価情報記憶部７２に記憶させる。
【００４４】
ステップＳ１７において、出力制御部５４は、評価情報記憶部７２に記憶される被写体の評価結果に基づいて、解析評価結果を表示するように出力部１９を制御する。詳細には、出力制御部５４は、解析評価結果として、解析評価処理部５３により解析された視線の方向を表示し、更に、評価された視線とボールとの位置関係及び評価に対応する図５や図６等に示すようなアドバイスを表示するように出力部１９を制御する。
その後、被写体評価処理は終了する。
【００４５】
＜変形例＞
上述した第１の実施形態では、インパクト時の視線の変化に基づいて被写体の評価を行っていたが、本変形例では、アドレスからフィニッシュまでのスイングの７つの時点（以下、「７つの時点」という。）における視線と、顔の向きについての評価を行うように構成される。
【００４６】
具体的には、解析情報取得部５２は、解析情報として、解析情報記憶部７１に記憶される動画を構成する画像のうち、７つの時点に対応する画像を取得する。
【００４７】
解析評価処理部５３は、解析情報取得部５２により取得された７つの時点に対応する画像を解析して、視線の変化及び顔の向きを解析する。各画像における視線の解析は、視線がどの方向を向いているかと、顔がどの方向を向いているかを画像から解析する。
【００４８】
解析評価処理部５３は、解析した視線及び顔の向きの適否を評価する。視線及び顔の向きの適否は、評価情報記憶部７２に記憶される手本となるプロの視線及び顔の向きと一致するか否かで評価する。本例では、手本となるプロの視線及び顔の向きの情報についてはプレーヤと同様の手法で取得する。即ち、予めスイングを撮影して７つの時点における視線の変化及び顔の向きを解析して取得する。なお、比較対象となるプロの視線及び顔の向きの情報については、本例では撮影から解析までを撮像装置１で行って取得したが、外部装置から取得するように構成してもよい。
【００４９】
出力制御部５４は、各時点の画像に解析評価処理部５３により解析された視線及び顔の向きを表示し、更に、比較対象となったプロの画像を表示し、視線及び顔の向きが一致するか否かの評価を表示するように出力部１９を制御する。
【００５０】
図７は、出力部１９に表示される解析評価結果の表示例である。
解析評価結果は、図７（ａ）乃至（ｃ）の例に示すように、各時点に対応する画像に視線を模式的に表示し、対比可能にお手本となるプロの画像に視線を模式的に示して表示する。
【００５１】
図８は、図３の機能的構成を有する図２の撮像装置１が実行する他の変形例における被写体評価処理の流れを説明するフローチャートである。
被写体評価処理は、ユーザによる入力部１８への所定の操作により開始される。
【００５２】
ステップＳ３１において、ＣＰＵ１１は、入力部１８からの撮影開始操作があったか否かを判定する。
撮影開始操作がない場合には、ステップＳ３１においてＮＯと判定されて、撮影開始操作があるまで待機状態となる。
撮影開始操作があった場合には、ステップＳ３１においてＹＥＳと判定されて、処理はステップＳ３２に進む。
【００５３】
ステップＳ３２において、撮像制御部５１は、撮影を開始するように撮像部１６を制御する。撮影された動画は、解析情報記憶部７１に記憶される。
【００５４】
ステップＳ３３において、ＣＰＵ１１は、入力部１８からの撮影終了操作があったか否かを判定する。
撮影終了操作がない場合には、ステップＳ３３においてＮＯと判定されて、撮影終了操作があるまで待機状態となる。
撮影終了操作があった場合には、ステップＳ３３においてＹＥＳと判定されて、処理はステップＳ３４に進む。
【００５５】
ステップＳ３４において、解析情報取得部５２は、解析情報を取得する。詳細には、解析情報取得部５２は、解析情報記憶部７１に記憶される動画を構成する画像のうち、７つの時点に対応する画像を取得する。
【００５６】
ステップＳ３５において、解析評価処理部５３は、解析情報取得部５２により取得された７つの時点に対応する画像を解析して、視線の変化及び顔の向きを解析する。各画像における視線の解析は、視線がどの方向を向いているかと、顔がどの方向を向いているかを画像から解析する。
【００５７】
ステップＳ３６において、ＣＰＵ１１は、入力部１８からの比較操作があったか否かを判定する。
比較操作がない場合には、ステップＳ３６においてＮＯと判定されて、比較操作があるまで待機状態となる。
比較操作があった場合には、ステップＳ３６においてＹＥＳと判定されて、処理はステップＳ３７に進む。
【００５８】
ステップＳ３７において、解析評価処理部５３は、視線・顔の向きの比較解析処理を行う。解析評価処理部５３は、視線・顔の向きの比較解析処理として、別途スイングを撮影して７つの時点における視線の変化及び顔の向きを解析したプロのお手本画像との比較を行う処理を行う。お手本画像との比較は、各ポイントについて視線が一致しているか、顔の向きが一致しているかを判断して行う。
【００５９】
ステップＳ３８において、出力制御部５４は、解析評価結果を比較表示するように出力部１９を制御する。比較表示では、例えば、図７（ａ）乃至（ｃ）に示すように、各ポイントでのプレーヤとプロの画像とを比較可能に並列的に表示し、さらに、比較結果（視線・顔の向きの一致不一致）も表示する。
【００６０】
なお、本例では、図１（ａ）に示すように、１台の検出装置である撮像装置１で、７つの時点、並びに各時点での視線及び顔の向きを検出するように構成する。
しかしながら、７つの時点、並びに各時点での視線及び顔の向きの検出はこれに限られない。
【００６１】
図９は、検出手法の他の例を示す模式図である。
図９（ａ）の例に示すように、スイングの時点の検出と顔の向きの検出に用いる検出装置１Ｃと、視線の検出に用いる検出装置１Ｄにより構成してもよい。
また、図９（ｂ）の例に示すように、スイング時点の検出をプレーヤＨに取り付けたモーションを検出可能な検出装置１Ｅで行い、視線及び顔の向きの検出には検出装置１Ｆを用いるように構成してもよい。
【００６２】
＜第２の実施形態＞
上述した実施形態においては、視線の変化や顔の向きからフォームの評価として被写体の評価を行うように構成した。本例においては、視線や頭部の変化から集中を評価して被写体の評価を行う。
【００６３】
本実施形態における被写体の評価は、本実施形態においては、例えば、ビリヤードを行っているものを被写体とする場合には、キューをボールに当てようとしている場面において集中しているか否かを評価することにより行う。集中の評価は、視線と頭部の動きから行う。即ち、集中の評価は、視線の動きの変化が少なく安定していること、頭部の動きの変化が少なく安定していること基準とする。
【００６４】
図１０は、本実施形態における被写体の評価を行っている様子を示した模式図である。
被写体の評価は、図１０に示すように、所定の位置から被写体を撮影し、撮影した動画等から視線の動きを評価し、被写体の頭部に設けたセンサ部１７からセンシングの結果から頭部の動きを評価する。即ち、撮像装置１では、視線の動きを撮像部１６からの出力結果を解析することにより評価し、頭部の動きをセンサ部１７からの出力結果を解析することにより行う。
なお、本実施形態においては、頭部の動きを撮像装置１が備えるセンサ部１７により検出したがこれに限られず、例えば、外部装置から取得してもよく、頭部の動きを撮像部１６からの出力結果から取得するように構成してもよい。
【００６５】
また、本実施形態において、撮像装置１は、例えば、所定の基準を満たないような悪い評価結果の場合等の評価結果を撮像装置１の出力部１９を介して、光や音声や振動等の出力でフィードバックする。
被写体であるビリヤードのプレーヤは、例えば、悪い評価結果には、集中を欠いているとして、プレイの軌道修正等を行う。即ち、プレーヤは、被写体である自己の動作を容易に確認することができる。
また、撮像装置１では、評価結果を保持し、出力部１９で表示出力することで、事後的に、被写体の動作を当該動作中でなくとも容易に確認することができる。
【００６６】
本実施形態における機能ブロックは、第１の実施形態の機能ブロックと同様であるため図示を省略する。また、撮像制御部５１についても機能が同じであるため説明を省略する。即ち、以下、第１の実施形態と異なる部分のみ説明するものとする。
【００６７】
本実施形態の被写体評価処理とは、撮像部１６やセンサ部１７から取得した出力結果に基づいて、被写体の評価を行い、評価結果を出力するまでの処理をいう。
【００６８】
解析情報取得部５２は、撮像部１６から出力される動画から、視線の変化方向の情報（以下、「視線情報」という。）と、センサ部１７から出力される動画のデータに時間的に対応した加速度情報を解析情報として取得する。
【００６９】
解析評価処理部５３は、解析情報記憶部７１に記憶される解析情報に基づいて、被写体の解析及び解析結果の評価を行う。
具体的には、解析評価処理部５３は、解析情報のうち動画を構成する画像から視線の動きを解析する。詳細には、解析評価処理部５３は、動画のうち、解析を行う箇所を構成する画像（例えば、キューでボールを打つ姿勢になった場面等に対応する画像）における視線の動きを解析する。
視線の動きの解析は、本実施形態においては、視線の静止時間を計測し、当該視線の静止時間が所定の時間（以下、「第１の静止時間」という。）に達するまでに要した時間（以下、「第１の所要時間」という。）を導き出すことにより行う。
また、解析評価処理部５３は、解析情報のうち解析を行う箇所を構成する画像に対応する時点での加速度情報から頭部の動きを解析する。
頭部の動きの評価は、本実施形態においては、頭部の静止時間を計測し、当該頭部の静止時間が所定の時間（以下、「第２の静止時間」という。）に達するまでに要した時間（以下、「第２の所要時間」という。）を導き出すことにより行う。
【００７０】
解析評価処理部５３は、視線の動きと頭部の動きの解析結果を各々評価し、当該評価した評価結果を総合的に判断して、被写体の評価を行う。
詳細には、解析評価処理部５３は、視線及び頭部の所要時間を時間帯に分けてスコア分けして、視線及び頭部の集中度スコアを決定する。スコア分けの基準は、例えば、静止してから所定の時間に達するまでに要した時間が短ければ短いほど、集中している蓋然性が高いために、高いスコアになるように構成される。
そして、視線及び頭部の集中度スコアから、総合的な集中度のスコアである安定性評価スコアを決定する。
その後、安定性評価スコアが集中の基準値以上であるか否かを判定することで、被写体の評価を行う。安定性評価スコアが基準値以上となった場合には、集中しているとする被写体の評価し、安定性評価スコアが基準値未満である場合には、集中していないとする被写体の評価をする。
【００７１】
図１１は、各種スコア（集中度スコア及び安定性評価スコア）を示す図である。
本実施形態において、視線及び頭部の各集中度スコアは、図１１（ａ）の例に示すように、予め決定された所要時間と集中度スコアからなるテーブルを参照して決定する。
例えば、集中度スコアは、所要時間が０秒から１秒であった場合には、対応する箇所を参照して１００点となるように決定される。
その結果、図１１（ｃ）に示すように、視線及び頭部の各集中度スコアが決定される。
【００７２】
また、本実施形態において、安全性評価スコアは、図１１（ｂ）の例に示すように、予め決定された視線の集中度スコアと頭部の集中度スコアからなるテーブルを参照して決定する。
その結果、図１１（ｃ）に示すように、安全性評価スコアが決定される。
【００７３】
出力制御部５４は、解析評価処理部５３による被写体の評価結果に基づいて、出力部１９における出力を制御する。
具体的には、出力制御部５４は、安全性評価スコアが基準値以上であった場合には、集中していると被写体の評価がされて、動作の邪魔をしないようにアナウンスは行わずに、出力部１９における出力を行わない。
これに対して、出力制御部５４は、安全性評価スコアが基準値未満であった場合には、集中してないと被写体が評価され、注意喚起を促すように、スピーカからの音声、ＬＥＤランプからの光、バイブレータからの振動等の出力を行うように出力部１９を制御する。
【００７４】
図１２は、図３の機能的構成を有する図２の撮像装置１が実行する第２の実施形態における被写体評価処理の流れを説明するフローチャートである。
被写体評価処理は、ユーザから入力部１８への所定の操作により開始される。
【００７５】
ステップＳ５１において、撮像制御部５１は、撮影を開始するように撮像部１６を制御する。
【００７６】
ステップＳ５２において、解析情報取得部５２は、解析情報として、撮像部１６から出力される動画のデータと、センサ部１７から出力される動画のデータに対応した時間帯の加速度情報を取得する。
【００７７】
ステップＳ５３において、解析評価処理部５３は、安定性評価処理を実行する。安定性評価処理の処理については、後述する。
【００７８】
ステップＳ５４において、解析評価処理部５３は、算出した集中度スコアと基準値とを比較する。
【００７９】
ステップＳ５５において、解析評価処理部５３は、算出した集中度スコアが基準値以上であるか否かを判定する。本ステップにおいて、基準値以上と判定されると、集中しているとして被写体の評価がされ、基準値未満であると判定されると、集中していないとして被写体の評価がされる。
基準値未満である場合には、ステップＳ５５においてＮＯと判定されて、処理はステップＳ５６に進む。
【００８０】
ステップＳ５６において、出力制御部５４は、基準値未満であり、集中していないとして被写体が評価されたために、被写体への注意喚起の意味合いで、出力を行うように出力部１９を制御する。
【００８１】
これに対して、基準値以上である場合には、ステップＳ５５においてＹＥＳと判定されて、ステップＳ５７に進む。
【００８２】
ステップＳ５７において、ＣＰＵ１１は、撮影が終了したか否かを判定する。
撮影が終了していない場合には、ステップＳ５７においてＮＯと判定されて、処理はステップＳ５２に戻る。
撮影が終了している場合には、ステップＳ５７においてＹＥＳと判定されて、被写体評価処理は終了する。
【００８３】
図１３は、被写体評価処理のうち、安定性評価処理の流れを説明するフローチャートである。
【００８４】
ステップＳ７１において、解析評価処理部５３は、解析情報記憶部７１から解析情報のうち視線情報を取得する。具体的には、解析評価処理部５３は、ボールをショットしようとしている期間の視線情報を取得する。
【００８５】
ステップＳ７２において、解析評価処理部５３は、取得した各視線情報を解析して、第１の静止時間を計測する。
【００８６】
ステップＳ７３において、解析評価処理部５３は、第１の静止時間が基準時間に達するまでに要した時間（第１の所要時間）を算出する。
【００８７】
ステップＳ７４において、解析評価処理部５３は、図１１（ａ）に示すようなテーブルに基づいて、算出した第１の静止時間が基準時間に達するまでに要した時間（第１の所要時間）に対応する視線の集中度スコアを決定する。
【００８８】
ステップＳ７５において、解析評価処理部５３は、解析情報記憶部７１から解析情報のうち加速度情報を取得する。具体的には、解析評価処理部５３は、視線情報に対応する時間帯の加速度情報を取得する。
【００８９】
ステップＳ７６において、解析評価処理部５３は、取得した各加速度情報を解析して、第２の静止時間を計測する。
【００９０】
ステップＳ７７において、解析評価処理部５３は、第２の静止時間が基準時間に達するまでに要した時間を算出する。
【００９１】
ステップＳ７８において、解析評価処理部５３は、図１１（ａ）に示すようなテーブルに基づいて、算出した第２の静止時間が基準時間に達するまでに要した時間に対応する頭部の集中度スコアを決定する。
【００９２】
ステップＳ７９において、解析評価処理部５３は、図１１（ｂ）に示すようなテーブルに基づいて、決定された視線の集中度スコアと頭部の集中度スコアから、安定性評価スコアを決定する。
【００９３】
以上のように構成される撮像装置１は、解析情報取得部５２と、解析評価処理部５３と、を備える。
解析情報取得部５２は、動作の評価対象となる人物の視線の情報である解析情報を取得する。
解析評価処理部５３は、解析情報取得部５２により取得された解析情報に基づいて、人物の動作の評価を行う。
これにより、撮像装置１においては、対象者の視線の状態が被写体の動作に影響を与えるため、対象者の動作を評価することができるようになる。
ひいては、撮像装置１においては、対象者の動作を当該動作中でなくとも客観的に容易に確認することができるようになる。
【００９４】
解析情報取得部５２は、複数の画像を取得する。
解析評価処理部５３は、取得した複数の画像中の各画像から視線の情報を取得する。また、解析評価処理部５３は、解析情報取得部５２により取得された各画像の視線の情報同士を比較し、比較結果に応じた動作の評価を行う。
なお、上述した実施形態においては、撮像部１６から、画像を取得するように構成したが、外部装置等から画像を取得するように構成してもよい。
したがって、撮像装置１においては、例えば、お手本となる画像と比較をして評価を行うことができる。
【００９５】
また、解析情報取得部５２は、人物の顔の向きの情報又は頭の位置の情報を解析情報として取得する。
また、解析評価処理部５３は、解析された人物の顔の向きの情報又は頭の情報に基づいて、人物の動作の評価を行う。
これにより、撮像装置１では、更に補強的な要素が加わることで、対象の動作の評価の精度を高めることができる。
【００９６】
また、解析評価処理部５３は、人物の視線の状態として、視線の変化又は特定対象と視線との位置関係を解析する。また、解析評価処理部５３は、視線の変化が少ない、又は特定対象と視線とが近いほど人物の動作を高く評価する。
これにより、撮像装置１では、更に、対象の動作の評価の精度を高めることができる。
【００９７】
また、解析評価処理部５３は、被写体の動作の評価を行う構成要素を評価する。
また、解析評価処理部５３は、構成要素の評価を統合する。
また、解析評価処理部５３は、統合された構成要素の評価から人物の評価を行う。
これにより、撮像装置１においては、各構成要素の評価に基づいて、総合的な評価を行うことができ、質の高い評価を行うことができる。
【００９８】
また、撮像装置１は、解析評価処理部５３による被写体の動作の評価に対応したアドバイス情報を出力制御時に生成する出力制御部５４を備える。
これにより、撮像装置１では、解析して評価した結果に対するアドバイスを提供することができる。
【００９９】
また、撮像装置１は、出力制御部５４により出力制御時に生成されたアドバイス情報を出力する出力部１９を備える。
これにより、撮像装置１では、評価結果に対するアドバイス情報を自機で表示出力することができる。
【０１００】
また、撮像装置１は、解析評価処理部５３による被写体の動作の評価を対象者である本人に音や振動等で報知する出力部１９を備える。
これにより、撮像装置１では、プレーヤがプレイ中である場合にも、例えば、ネガティブな評価がされたときに報知することで、視線を動かすことなくプレイを中断せずに注意喚起することができる。
【０１０１】
また、解析情報取得部５２は、撮像部１６により撮像された画像から解析情報として取得する。
これにより、撮像装置１では、他機器を用いずに、自機で解析情報の取得から評価までを一貫して行うことができる。
【０１０２】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１０３】
上述の実施形態では、被写体の評価をゴルフやビリヤードのプレーヤを対象とした例にしたがこれに限られない。
図１４は、被写体の評価の他の例を示す模式図である。
図１４（ａ）の例に示すような野球のピッチングや図１４（ｂ）に示すようなバッティングにおける被写体の評価に用いることもできる。
具体的には、上述した被写体の動作は、ゴルフ、ビリヤード又は野球のスポーツにおけるプレーヤの動作である。
【０１０４】
また、上述の実施形態では、プレーヤを撮影して被写体となっていることが前提として説明をしたがこれに限られない。視線や顔の向き検出を画像解析に寄らずに行った場合には、検出結果に基づいてプレーヤの評価を行うように構成する。
【０１０５】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、被写体評価処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【０１０６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１０７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１０８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部２０に含まれるハードディスク等で構成される。
【０１０９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１１０】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１１】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
動作の評価対象となる人物の視線の情報を取得する第１の取得手段と、
前記第１の取得手段により取得された視線の情報に基づいて、前記人物の動作の評価を行う評価手段と、
を備えることを特徴とする情報処理装置。
［付記２］
複数の画像を取得する画像取得手段を更に備え、
前記第１の取得手段は、前記画像取得手段により取得された複数の画像中の各画像から前記視線の情報を取得し、
前記評価手段は、
前記第１の取得手段により取得された各画像の前記視線の情報同士を比較する比較手段を更に有し、
前記比較手段による比較結果に応じた前記動作の評価を行う、
ことを特徴とする付記１に記載の情報処理装置。
［付記３］
前記人物の顔の向きの情報又は頭の位置の情報を取得する第２の取得手段を更に備え、
前記評価手段は、前記第１の取得手段により取得された視線の情報と、前記第２の取得手段により取得された顔の向きの情報又は頭の位置の情報に基づいて、前記人物の動作の評価を行う、
ことを特徴とする付記１又は２に記載の情報処理装置。
［付記４］
前記人物の視線の状態として、視線の変化又は特定対象と視線との位置関係を解析する解析手段を更に備え、
前記評価手段は、前記視線の変化が少ない、又は特定対象と視線とが近いほど前記人物の動作を高く評価する、
ことを特徴とする付記１乃至３のいずれか１つに記載の情報処理装置。
［付記５］
前記評価手段は、
前記人物の動作の評価を行う構成要素を評価する要素評価手段と、
前記要素評価手段による構成要素の評価を統合する統合手段を更に有し、
前記統合手段により統合された構成要素の評価から前記人物の動作の評価を行う、
ことを特徴とする付記１乃至４のいずれか１つに記載の情報処理装置。
［付記６］
前記評価手段による前記人物の動作の評価に対応したアドバイス情報を生成する生成手段を備える、
ことを特徴とする付記１乃至５のいずれか１つに記載の情報処理装置。
［付記７］
前記生成手段により生成された前記アドバイス情報を出力する出力手段を備える、
ことを特徴とする付記６に記載の情報処理装置。
［付記８］
前記評価手段による前記人物の動作の評価を前記人物に報知する報知手段を備える、
ことを特徴とする付記１乃至５のいずれか１つに記載の情報処理装置。
［付記９］
前記第１の取得手段は、撮像手段で撮像された画像から前記視線の情報として取得する、
ことを特徴とする付記１乃至６のいずれか１つに記載の情報処理装置。
［付記１０］
前記人物の動作は、ゴルフ、ビリヤード又は野球のスポーツにおけるプレーヤの動作である、
ことを特徴とする付記１乃至９のいずれか１つに記載の情報処理装置。
［付記１１］
動作の評価対象となる人物の視線の情報を取得する取得ステップと、
前記取得ステップにおいて取得された視線の情報に基づいて、前記人物の動作の評価を行う評価ステップと、
を含むことを特徴とする情報処理方法。
［付記１２］
コンピュータを、
動作の評価対象となる人物の視線の情報を取得する取得手段、
前記取得手段により取得された視線の情報に基づいて、前記人物の動作の評価を行う評価手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１１２】
１・・・検出装置（撮像装置），１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・センサ部，１７・・・撮像部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・解析情報取得部，５３・・・解析評価処理部，５４・・・出力制御部，７１・・・解析情報記憶部，７２・・・評価情報記憶部
【図１】
2015126812.tif 000003
【図２】
2015126812.tif 000004
【図３】
2015126812.tif 000005
【図４】
2015126812.tif 000006
【図５】
2015126812.tif 000007
【図６】
2015126812.tif 000008
【図７】
2015126812.tif 000009
【図８】
2015126812.tif 000010
【図９】
2015126812.tif 000011
【図１０】
2015126812.tif 000012
【図１１】
2015126812.tif 000013
【図１２】
2015126812.tif 000014
【図１３】
2015126812.tif 000015
【図１４】
2015126812.tif 000016