(57)【要約】【課題】所望の技芸に係るフィードバックをユーザが自分の動作に活かせ、より容易にその技芸を上達させることができるようなシステム、方法、及びプログラムを提供すること。【解決手段】本発明の一態様によれば、システムであって、ユーザがツールを把持し且つこれを用いて行う技芸の支援向上をするもので、撮像装置と、情報処理装置と、情報提示装置とを備え、前記撮像装置は、その画角における前記ツールの少なくとも一部を撮像可能に構成され、前記情報処理装置は、前記撮像装置と接続され、前記撮像装置によって撮像された画像から前記ツールの少なくとも一部に関する力学的情報を算出し、前記力学的情報から技芸支援情報を算出可能に構成され、前記技芸支援情報とは、前記ツールの現在進行中の動作、前記ツールの現在までの動作履歴、前記ツールの予測される動作、これによってなされる前記技芸の結果、及び前記ツールの理想とされる動作の少なくとも何れかを含む情報であり、前記情報提示装置は、前記情報処理装置と接続され、前記ユーザが１回の技芸を実行している最中にその１回の技芸に関する前記技芸支援情報を前記ユーザに提示可能に構成されるものが提供される。
2020158727.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、ユーザがツールを把持し且つこれを用いて行う技芸の支援向上をするもので、
撮像装置と、情報処理装置と、情報提示装置とを備え、
前記撮像装置は、その画角における前記ツールの少なくとも一部を撮像可能に構成され、
前記情報処理装置は、
前記撮像装置と接続され、前記撮像装置によって撮像された画像から前記ツールの少なくとも一部に関する力学的情報を算出し、
前記力学的情報から技芸支援情報を算出可能に構成され、前記技芸支援情報とは、前記ツールの現在進行中の動作、前記ツールの現在までの動作履歴、前記ツールの予測される動作、これによってなされる前記技芸の結果、及び前記ツールの理想とされる動作の少なくとも何れかを含む情報であり、
前記情報提示装置は、前記情報処理装置と接続され、前記ユーザが１回の技芸を実行している最中にその１回の技芸に関する前記技芸支援情報を前記ユーザに提示可能に構成されるもの。
【請求項２】
請求項１に記載のシステムにおいて、
前記撮像装置のフレームレートは２５０ｆｐｓ以上であり、
前記撮像装置による撮像から前記情報提示装置による前記技芸支援情報の提示までのレイテンシが７０ミリ秒以下であるように実施されるもの。
【請求項３】
請求項１又は請求項２に記載のシステムにおいて、
前記撮像装置は、カメラと、駆動鏡面とをさらに備え、
前記カメラは、前記駆動鏡面による反射を介して外界に視線を向けるように構成され、
前記駆動鏡面は、その向きを変位可能に構成され、
前記情報処理装置は、前記ツールの少なくとも一部が前記カメラの画角における所定の範囲に継続的に入るように、前記駆動鏡面の向きを決定可能に構成されるもの。
【請求項４】
請求項１〜請求項３の何れか１つに記載のシステムにおいて、
前記ツールは、細長形状を有し、
前記技芸では、前記ユーザが前記ツールの近位側を把持して変位させることにより、前記ツールの遠位側が前記近位側よりも高速に変位し、これにより前記遠位側において所定の力学的運動を実行させるもの。
【請求項５】
請求項４に記載のシステムにおいて、
前記力学的情報は、前記ツールの遠位側における計測箇所の座標、速度、加速度、及び姿勢のうちの少なくとも１つを含むもの。
【請求項６】
請求項５に記載のシステムにおいて、
前記技芸支援情報は、前記計測箇所又は特定箇所の進行方向ベクトル、前記計測箇所又は特定箇所の推定軌跡、前記推定軌跡とその理想値とのずれ、前記ツールの通過平面、前記ツールの変位に関するタイミング、前記タイミングとその理想値とのずれ、前記ツールに衝突して変位する物体の推定軌跡、前記物体の推定軌跡とその理想値とのずれのうちの少なくとも１つを含むもの。
【請求項７】
請求項４〜請求項６の何れか１つに記載のシステムにおいて、
前記ツールの遠位側の所定箇所にこの所定箇所を囲むように複数のマーカーが設けられ、
前記撮像装置は、前記複数のマーカーを撮像可能に構成され、
前記情報処理装置は、撮像された前記複数のマーカーに基づいて、前記技芸支援情報を算出するように構成されるもの。
【請求項８】
請求項７に記載のシステムにおいて、
前記複数のマーカーは、Ｍ系列に基づいて前記所定箇所に設けられるもの。
【請求項９】
請求項７又は請求項８に記載のシステムにおいて、
前記所定箇所は球体の形状に構成され、
前記複数のマーカーは、前記球体の外周面又はその近傍に設けられるもの。
【請求項１０】
請求項４〜請求項９の何れか１つに記載のシステムにおいて、
前記技芸はゴルフであり、前記ツールはゴルフクラブであるもの。
【請求項１１】
請求項１〜請求項１０の何れか１つに記載のシステムにおいて、
前記情報提示装置は、前記ユーザが１回の技芸を実行している最中に、その１回の技芸に関する、身体情報及び前記技芸支援情報の少なくとも一方を提示可能に構成され、ここで前記身体情報とは、前記ユーザの身体像の少なくとも一部を含む情報であるもの。
【請求項１２】
請求項１１に記載のシステムにおいて、
前記情報処理装置は、判定部をさらに備え、
前記判定部は、前記力学的情報に基づいて、前記情報提示装置に提示させる情報を判定可能に構成されるもの。
【請求項１３】
請求項１〜請求項１２の何れか１つに記載のシステムにおいて、
前記情報提示装置は、プロジェクタ、ヘッドマウントディスプレイ、スマートグラス、コンタクトレンズ型デバイス、網膜走査型レーザディスプレイ、及び空中像表示装置の少なくとも何れか１つであるもの。
【請求項１４】
方法であって、ユーザがツールを把持し且つこれを用いて行う技芸の支援向上をするもので、
撮像ステップと、情報処理ステップと、情報提示ステップとを備え、
前記撮像ステップでは、前記ツールの少なくとも一部を撮像し、
前記情報処理ステップでは、
前記撮像ステップにおいて撮像された画像から前記ツールの少なくとも一部に関する力学的情報を算出し、
続いて、前記力学的情報から技芸支援情報を算出し、前記技芸支援情報とは、前記ツールの現在進行中の動作、前記ツールの現在までの動作履歴、前記ツールの予測される動作、これによってなされる前記技芸の結果、及び前記ツールの理想とされる動作の少なくとも何れかを含む情報であり、
前記情報提示ステップでは、前記ユーザが１回の技芸を実行している最中にその１回の技芸に関する前記技芸支援情報を前記ユーザに提示する方法。
【請求項１５】
プログラムであって、ユーザがツールを把持し且つこれを用いて行う技芸の支援向上をするもので、
コンピュータに撮像機能と、情報処理機能と、生成機能とを実行させるように構成され、
前記撮像機能では、前記ツールの少なくとも一部が撮像され、
前記情報処理機能では、
撮像された前記ツールの画像から前記ツールの少なくとも一部に関する力学的情報が算出され、
前記力学的情報から技芸支援情報がさらに算出され、前記技芸支援情報とは、前記ツールの現在進行中の動作、前記ツールの現在までの動作履歴、前記ツールの予測される動作、これによってなされる前記技芸の結果、及び前記ツールの理想とされる動作の少なくとも何れかを含む情報であり、
前記情報提示機能では、前記ユーザが１回の技芸を実行している最中にその１回の技芸に関する前記技芸支援情報が前記ユーザに提示されるもの。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、方法、及びプログラムに関する。
【背景技術】
【０００２】
スポーツ等の技芸の中には、人間が自らの身体とともに所定のツールを動かすことによって、規定の行為を実現しようとするものが存在する。そしてこのような技芸では、かかる規定の行為に一定の評価軸が存在し、良い結果と、良くない結果とが往々にして決められている。換言すると、かかる技芸には上手／下手という概念が存在し、技芸を行う者は、自分の有する技芸に係るスキルを向上させたいと考えることとなる。【０００３】
このような技芸を上達させるには、その技芸に熟練した者から指導を受けることはもちろんだが、近年では、技芸の動作を撮影した動画を解析し、これをフィードバックとして授受し自分のスキルを向上させることが行われている。例えば、かかる技芸がゴルフである場合、ゴルフのスイングを撮影した画像を解析する手法が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許５０３２３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された手法では、解析した結果をフィードバックとして授受する時点においては、自身のゴルフスイングを終了しているため、かかるフィードバックを思うように次回以降の自分のゴルフスイングに活かすことができず、その結果、思うようにゴルフの腕を上達させることができないという課題が存在する。より広く述べれば、技芸に係る動作のフィードバックを技芸終了後に事後的に与えられても、技芸を行う者は、思うように上達させることができないという問題点がある。つまり、自分の動作と情報提示の時間差が大きくなればなるほど、動作の体感に基づくユーザの提示情報の理解度が低下すると想定され、技芸に係る動作と同時又は直後に情報を提示することが好ましい。【０００６】
本発明は、かかる事情を鑑みてなされたものであり、所望の技芸に係るフィードバックをユーザが自分の動作に活かせ、より容易にその技芸を上達させることができるようなシステム、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、システムであって、ユーザがツールを把持し且つこれを用いて行う技芸の支援向上をするもので、撮像装置と、情報処理装置と、情報提示装置とを備え、前記撮像装置は、その画角における前記ツールの少なくとも一部を撮像可能に構成され、前記情報処理装置は、前記撮像装置と接続され、前記撮像装置によって撮像された画像から前記ツールの少なくとも一部に関する力学的情報を算出し、前記力学的情報から技芸支援情報を算出可能に構成され、前記技芸支援情報とは、前記ツールの現在進行中の動作、前記ツールの現在までの動作履歴、前記ツールの予測される動作、これによってなされる前記技芸の結果、及び前記ツールの理想とされる動作の少なくとも何れかを含む情報であり、前記情報提示装置は、前記情報処理装置と接続され、前記ユーザが１回の技芸を実行している最中にその１回の技芸に関する前記技芸支援情報を前記ユーザに提示可能に構成されるものが提供される。【０００８】
本発明に係るシステムでは、ユーザが１回の技芸を実行している最中にその１回の技芸に関する技芸支援情報（ツールの現在進行中の動作、ツールの現在までの動作履歴、ツールの予測される動作、これによってなされる技芸の結果、及びツールの理想とされる動作の少なくとも何れかを含む情報）をユーザに提示可能に構成される。かかる構成により、ユーザは技芸の最中に上達のためのフィードバックを得ることができ、従来に比してかかるフィードバックをより自分の動作に活かせるようになる。その結果、より容易に技芸を上達させることができる、という有利な効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るシステムの概要図。
【図２】撮像装置の構成概要を示す機能ブロック図。
【図３】マーカーの一例を示すモノクロ写真。
【図４】情報処理装置の構成概要を示す機能ブロック図。
【図５】システムが取り扱う各種の情報（特に力学的情報及び技芸支援情報を含む）を示す図。
【図６】図５に示される各種の情報を示す概要図であり、［図６Ａ］全体を示す斜視図、［図６Ｂ］地面に提示された技芸支援情報（提示情報）を示す平面図。
【図７】第２の実施形態に係るシステムの概要図。
【図８】第２の実施形態に係る情報処理装置の機能を示す機能ブロック図。
【図９】テイクバック時の提示情報を示す概要図。
【図１０】ダウンスイング時の提示情報を示す概要図。
【図１１】変形例に係るマーカーの一例を示すモノクロ写真。
【発明を実施するための形態】
【００１０】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
【００１１】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【００１２】
また、本明細書において「技芸」とは、［背景技術］等において例示した「スポーツ」（力学的運動を含むもの）に限らず、力学的運動を伴う娯楽道具や、ハンマーを用いた釘の打ち込みといった技能的作業も含みうる概念である。
【００１３】
１．全体構成（第１の実施形態）
図１は、本実施形態に係るシステム１の構成概要を示す図である。本節では、システム１の全体構成について説明する。システム１は、撮像装置２と、情報処理装置３と、情報提示装置４とを備え、これらが電気的に接続されたシステムである。ユーザＵが所定のツールを用いて行う技芸の上達のためにシステム１が用いられる。なお、このような技芸の一例として、本実施形態ではゴルフを用いて説明する。すなわち、ゴルフにおける所定のツールとは、ゴルフクラブ５を指す。もちろん、あくまでも一例であり、この限りではないことに留意されたい。
【００１４】
１．１  撮像装置２
図２は、撮像装置２の構成概要を示す機能ブロック図である。撮像装置２は、カメラ２１と、２軸のガルバノミラー２２ｐ，２２ｔと、瞳転送光学系２３とを有する。以下、各構成要素についてさらに説明する。
【００１５】
（カメラ２１）
カメラ２１は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサである。特にカメラ２１は、いわゆる高速ビジョンと称する撮像レート（フレームレート）が高いものが採用される。フレームレートは、例えば、１００ｆｐｓ以上であり、好ましくは、２５０ｆｐｓ以上であり、さらに好ましくは５００ｆｐｓ又は１０００ｆｐｓである。具体的には例えば、１００、２００、３００、４００、５００、６００、７００、８００、９００、１０００、１１００、１２００、１３００、１４００、１５００、１６００、１７００、１８００、１９００、２０００ｆｐｓであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。このように高いフレームレートをもって撮像された画像ＩＭを用いて、ガルバノミラー２２ｐ，２２ｔの角度を同じく高いレートで制御することにより、カメラ２１の視線２ｇを高速に動作する対象にトラッキングさせることができる。これについては後にさらに詳述する。
【００１６】
（ガルバノミラー２２ｐ，２２ｔ）
ガルバノミラー２２ｐ，２２ｔ（特許請求の範囲における「駆動鏡面」の一例）は、カメラ２１の視線２ｇの方向を制御可能に、カメラ２１の光軸上に配置される。ガルバノミラー２２ｐ，２２ｔは、薄い板上に形成された鏡面が回転駆動可能に構成されるものである。ガルバノミラー２２ｐの角度を制御すると、カメラ２１の視線２ｇの方向が撮像される画像ＩＭの水平方向（パン方向）に制御される。ガルバノミラー２２ｔの角度を制御すると、カメラ２１の視線２ｇが撮像される画像ＩＭの鉛直方向（チルト方向）に制御される。ところで、ガルバノミラー２２ｐ，２２ｔの角度制御に係るイナーシャは、カメラ２１自体の向きを制御する場合に係るイナーシャよりも小さくなることに留意されたい。つまり、カメラ２１を不図示の電動雲台に載せてその視線２ｇの方向を直接制御するのではなく、ガルバノミラー２２ｐ，２２ｔの角度を制御して視線２ｇの方向を制御することによって、カメラ２１の視線２ｇの方向をより高速に（高い制御レートで）制御することができる。
【００１７】
（瞳転送光学系２）
瞳転送光学系２３は、カメラ２１の光軸上であって、カメラ２１とガルバノミラー２２ｐ，２２ｔとの間に位置するように配置される。瞳転送光学系２３は複数のレンズからなる光学系であり、カメラ２１において光線束がみかけ上収束する第１の瞳２１１をガルバノミラー２２ｐ，２２ｔの間に転送することによって、第２の瞳２１２を実現する。ところで、カメラ２１が画像ＩＭとしてとらえる全ての光線束は、外界側からカメラ２１の第１の瞳２１１に向かって錐状に収束していく。仮にカメラ２１に直接ガルバノミラー２２ｐ，２２ｔを近接させて視線２ｇの方向を制御しようとすると、第１の瞳２１１から遠ざかるほど光線束の領域をカバーする必要があり、特にガルバノミラー２２ｐを大きく設計することとなる。その結果、ガルバノミラー２２ｐのイナーシャが増大し、カメラ２１のフレームレートに見合うような高速な視線２ｇの制御を実現することが困難となる。
【００１８】
本実施形態では、瞳転送光学系２３を用いることで、第２の瞳２１２をガルバノミラー２２ｐ，２２ｔの間に実現することで、第２の瞳２１２の周辺を通過する光線束の領域を小さくしている。その結果、ガルバノミラー２２ｐ，２２ｔの鏡面部分の面積を小さくすることができ、ひいてはガルバノミラー２２ｐ，２２ｔの小さなイナーシャを実現している。換言すると、ガルバノミラー２２ｐ，２２ｔと瞳転送光学系２３とを組み合わせたものをカメラ２１に取り付けることで、カメラ２１の視線２ｇの方向を高速に制御可能な撮像装置２を実施することができる。広角なカメラで撮影することによって、高速に動作する対象を画角内に撮影することも考えられるが、カメラ２１の視線２ｇを対象に追従させるような本構成によれば、より高い解像度での対象の撮影が可能となる、という有利な効果を奏する。
【００１９】
ユーザＵがゴルフクラブ５のグリップ５１ｇを把持してスイング動作を行う場合、ゴルフクラブ５の遠位側に位置するヘッド５２は、ゴルフクラブ５の近位側に位置するグリップ５１ｇよりも高速に変位する。本実施形態では、ヘッド５２の近傍のシャフト５１に取り付けられたマーカー５ｍに、カメラ２１の視線２ｇの方向をトラッキングさせることを考える。マーカー５ｍは、特に限定されるものではないが、例えば、図３に示されるように、シャフト５１の周を３６０度囲むように設けられた再帰性反射材からなる複数の第１のマーカー５ｍａ（ドットマーカー）と、その両端に設けられた第２のマーカー５ｍｂとが採用されうる。
【００２０】
１．２  情報処理装置３
図４は、情報処理装置３の構成概要を示す機能ブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
【００２１】
（通信部３１）
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置２におけるカメラ２１とは、所定の高速通信規格において通信可能に構成されることが好ましい。また、前述の撮像装置２におけるガルバノミラー２２ｐ，２２ｔの角度を制御可能に構成され且つガルバノミラー２２ｐ，２２ｔの現在の角度情報ＭＡが取得可能（エンコーダ）に構成されることが好ましい。さらに、後述の情報提示装置４とは、所定の高速通信規格において通信可能に構成されることが好ましい。
【００２２】
（記憶部３２）
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部３２は、撮像装置２におけるカメラ２１によって撮像され、且つ通信部３１が受信した画像ＩＭを記憶する。画像ＩＭは、例えばＲＧＢ各８ビットのピクセル情報を具備する配列情報である。また、記憶部３２は、制御部３３における画像処理部３３１（後述）が画像ＩＭに対して実行する所定の画像処理プログラムと、画像ＩＭに基づいて実行されるマーカー５ｍのトラッキングに係る専用プログラムと、情報演算部３３３（後述）が画像処理結果に基づいて算出する力学的情報ＩＦ１及び当該力学的情報ＩＦ１に基づいて算出する技芸支援情報ＩＦ２とを記憶する。また、記憶部３２は、これ以外にも制御部３３によって実行されるシステム１に係る種々のプログラム等を記憶している。
【００２３】
（制御部３３）
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的には画像ＩＭに対する画像処理、トラッキング機能、力学的情報ＩＦ１及び技芸支援情報ＩＦ２の算出機能等が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、画像処理部３３１、鏡面駆動部３３２、及び情報演算部３３３として実行されうる。なお、図４においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、画像処理部３３１、鏡面駆動部３３２、及び情報演算部３３３についてさらに詳述する。
【００２４】
１．２．１  情報処理装置３の機能
［画像処理部３３１］
画像処理部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。画像処理部３３１は、撮像装置２におけるカメラ２１から送信され且つ通信部３１によって受信した画像ＩＭに対して、所定の画像処理を実行可能に構成される。かかる画像処理によって、マーカー５ｍとマーカー５ｍでない部分とが２値的に区別され、その結果、情報処理装置３がマーカー５ｍを抽出・認識することとなる。なお、画像ＩＭの一部の所定領域ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）に対して画像処理を行うように実施してもよい。特に、マーカー５ｍのトラッキングを高い制御レートにて行うため、マーカー５ｍは、画像ＩＭの決まった位置（例えば画像中心）の近傍にあることとなり、この決まった位置の近傍領域を所定領域ＲＯＩとすることで、画像処理をするピクセル数を削減することができる。これにより、情報処理装置３における画像処理演算の負荷を小さくすることができ、高い制御レートでのトラッキングを実施することができる。
【００２５】
［鏡面駆動部３３２］
鏡面駆動部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。鏡面駆動部３３２は、画像処理部３３１による画像処理によって抽出されたマーカー５ｍがカメラ２１の画角の所定の位置にくるように、ガルバノミラー２２ｐ，２２ｔの角度を制御するための制御信号ＣＳの値を決定する。つまり、ゴルフクラブ５の少なくとも一部がカメラ２１の画角における所定の範囲に継続的に入るように、ガルバノミラー２２ｐ，２２ｔの向きを決定可能に構成される。
【００２６】
具体的には、画像ＩＭの中心にマーカー５ｍの重心が来るように制御信号ＣＳの値が決定されることが好ましい。このような制御信号ＣＳの値は、例えばＰＤ制御、ＰＩ制御、又はＰＩＤ制御等に基づいて決定される。そして、制御信号ＣＳが通信部３１からガルバノミラー２２ｐ，２２ｔに対して送信され、ガルバノミラー２２ｐ，２２ｔが所望の角度に制御されることとなる。制御に係る各係数は、必要に応じて好ましい値を設定すればよい。また制御信号ＣＳの値はアナログ／デジタル制御問わず電圧で規定されるとよい。
【００２７】
より詳細には、システム１全体としては、カメラ２１のフレームレート及び鏡面駆動部３３２の駆動レートの低い方が、トラッキングに係る制御レートとして働く。換言すると、当該フレームレート及び駆動レートを同程度に高くすることで、フィードバック制御のみでマーカー５ｍのトラッキングを実施することができる。
【００２８】
［情報演算部３３３］
情報演算部３３３は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。情報演算部３３３は、カメラ２１によって撮像された画像ＩＭ（詳細には、画像処理部３３１によって抽出されたマーカー５ｍに係る情報）に基づいて、ゴルフクラブ５に関する力学的情報ＩＦ１を算出する。力学的情報ＩＦ１について第２節においてさらに詳述する。
【００２９】
また、情報演算部３３３は、力学的情報ＩＦ１に基づいて、ユーザＵのゴルフスイングに関する技芸支援情報ＩＦ２を算出する。また、技芸支援情報ＩＦ２はユーザＵにとって例えば視覚的に把握可能に提示することができる情報であり、これによってユーザＵは自身のゴルフの腕を向上させることができるように構成されている。もちろん視覚に限らず、技芸支援情報ＩＦ２は聴覚的に又は触覚的に把握可能に構成されてもよい。その後、かかる技芸支援情報ＩＦ２は通信部３１を介して、後述の情報提示装置４に送信される。
【００３０】
１．３  情報提示装置４
情報提示装置４は、情報処理装置３における通信部３１より送信され技芸支援情報ＩＦ２を受信し、且つこれをユーザＵに提示可能に構成される。情報提示装置４の形態は特に限定されるものではなく、例えば、プロジェクタ、ウェアラブル装置（ヘッドマウントディスプレイ、スマートグラス、コンタクトレンズ型デバイス等）、網膜走査型レーザディスプレイ、及び空中像表示装置の少なくとも何れかとして実施することができる。このとき、撮像装置２におけるカメラ２１の撮像から、情報提示装置４によって技芸支援情報ＩＦ２が提示されるまでにかかる時間をｔミリ秒とすると、ｔ≦７０を満たすように実施することが好ましい。具体的には例えば、ｔ＝０、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、４５、４６、４７、４８、４９、５０、５１、５２、５３、５４、５５、５６、５７、５８、５９、６０、６１、６２、６３、６４、６５、６６、６７、６８、６９、７０であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
【００３１】
また、ユーザＵがゴルフスイングをする最中に、当該１回のゴルフスイングに係る技芸支援情報ＩＦ２が情報提示装置４によって提示されることに留意されたい。提示されるタイミングを基準として、好ましくは、技芸支援情報ＩＦ２は、現在進行中の動作、現在までの動作の履歴、及び予測される動作、これよってなされる技芸の結果、及び理想とされる動作の少なくとも何れかに係る情報を含みうる。具体的には、情報提示装置４は、技芸支援情報ＩＦ２における予測される動作を提示するにあたり、ｔ及びｔ’（後述）の値等に留意して適切なタイミングで提示可能に構成されるとよい。例えば、基準となる物理現象発生から近くともｔ’−ｔミリ秒先を予測すればよく、この予測時間に情報提示装置４のレイテンシを加えてもよい。
【００３２】
ここで、ｔ’ミリ秒というのはある物理現象が発生してから人間（ユーザＵ）がその現象を頭で認識するまでの時間であり、その値については諸説ある。例えば、ｔ’≦５００を仮定して、システム１を実施することが好ましい。具体的には例えば、ｔ’＝０、５、１０、１５、２０、２５、３０、３５、４０、４５、５０、５５、６０、６５、７０、７５、８０、８５、９０、９５、１００、１０５、１１０、１１５、１２０、１２５、１３０、１３５、１４０、１４５、１５０、１５５、１６０、１６５、１７０、１７５、１８０、１８５、１９０、１９５、２００、２０５、２１０、２１５、２２０、２２５、２３０、２３５、２４０、２４５、２５０、２５５、２６０、２６５、２７０、２７５、２８０、２８５、２９０、２９５、３００、３０５、３１０、３１５、３２０、３２５、３３０、３３５、３４０、３４５、３５０、３５５、３６０、３６５、３７０、３７５、３８０、３８５、３９０、３９５、４００、４０５、４１０、４１５、４２０、４２５、４３０、４３５、４４０、４４５、４５０、４５５、４６０、４６５、４７０、４７５、４８０、４８５、４９０、４９５、５００であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。例えば、特にユーザＵの個体差を考慮して、適切な値を適宜選択（チューニング）することが好ましい。
【００３３】
このような構成を求められることから、撮像装置２、情報処理装置３、及び情報提示装置４の何れもが高いレートで処理されるとよい。つまり、情報提示装置４としてプロジェクタを使用するならば、リフレッシュレートが高く且つレイテンシの小さい、いわゆる高速プロジェクタを採用することが好ましい。
【００３４】
２．力学的情報ＩＦ１及び技芸支援情報ＩＦ２
本節では、第１．２節（情報処理装置３）において登場した力学的情報ＩＦ１及び技芸支援情報ＩＦ２の一例について、説明する。
【００３５】
２．１  力学的情報ＩＦ１
力学的情報ＩＦ１は、例えばゴルフクラブ５に関するものであり、図５に示されるような情報処理装置３において直接的に計測される計測情報の一部である（ボール位置Ｘｂや情報提示装置４における提示情報平面Ｇも既知のものである計測情報として掲載）。一般的に、力学的情報ＩＦ１としては、計測箇所（ここではマーカー５ｍ）の座標、速度、加速度、及び姿勢のうちの少なくとも１つが該当する。ここで計測情報は、図５に示されるように、ボール位置Ｘｂ、ゴルフクラブ位置Ｘｐ、フェース面ｆｃ、シャフトベクトルｄｃ、進行方向ベクトルｖｃ、スイング軌跡Ｔ、提示情報平面Ｇ等が例示される。
【００３６】
具体的な一例として、ゴルフクラブ５におけるマーカー５ｍの座標系（第１の座標系）を撮像装置２におけるカメラ２１の座標系（第２の座標系）に変換するための変換行列が、ゴルフクラブ５の位置及び姿勢（力学的情報ＩＦ１の一例）として抽出される。まず、第１の座標系におけるマーカー５ｍの座標は、［数１］のように定義される。
【数１】
2020158727.tif 000003
【００３７】
このとき、第２の座標系におけるマーカー５ｍの３次元点をカメラ２１の画像平面上に投影した点（Ｘ＿ｉ，Ｙ＿ｉ）＾Ｔは、同次座標系を用いて［数２］のように表される。
【数２】
2020158727.tif 000004
【００３８】
焦点距離（ｆ＿ｘ，ｆ＿ｙ）、画像中心（ｐ＿ｘ，ｐ＿ｙ）はカメラ２１の内部パラメータと呼ばれ、事前のキャリブレーションにより既知とする。既知であるマーカー５ｍの第１の座標系での３次元位置と、画像処理部３３１による画像処理を経て抽出されたマーカー５ｍの第２の座標系での２次元位置とから、ゴルフクラブ５の位置・姿勢である回転行列Ｒ及び並進ベクトルｔが求められる。これらの情報は、あくまでも視線２ｇの方向が動的に変化するカメラ２１の座標系（第２の座標系）によるものである。一方で、ガルバノミラー２２ｐ，２２ｔの角度の情報を統合すれば、グローバルな座標系における情報も算出することができる。
【００３９】
このようにしてゴルフクラブ５の位置及び姿勢が算出されることで、より具体的な力学的情報ＩＦ１を算出することができる。換言すると、ヘッド５２の進行方向ベクトルｖｃ及びその姿勢（フェース面ｆｃ）、シャフト５１の長手方向のベクトル（シャフトベクトルｄｃ）等といったゴルフクラブ５の状態を解析することができる。また、かかるゴルフクラブ５の状態を解析した情報を時系列で用いることで、さらに、ヘッド５２のスイング軌跡Ｔを算出し、ゴルフクラブ５のスイングを解析することができる。
【００４０】
２．２  技芸支援情報ＩＦ２
技芸支援情報ＩＦ２は、前述の力学的情報ＩＦ１等を用いて推定的に算出される情報であり、図５に示される推定情報（推定算出されたパラメータ）及び提示情報（情報提示装置４によって提示される情報）を含むものである。なお、推定情報と提示情報との切り分けは一例であり、推定情報に記載のパラメータを提示情報として実際に情報提示装置４において提示してもよい。また一般的に、技芸支援情報ＩＦ２としては、計測箇所または特定箇所の進行方向ベクトル、その推定軌跡、当該推定軌跡とその理想値とのずれ、ツール（ゴルフクラブ５）の通過平面、当該ツールの変位に関するタイミング、当該タイミングとその理想値とのずれ、当該ツールに衝突して変位する物体（ボール６）の推定軌跡、当該物体の推定軌跡とその理想値とのずれのうちの少なくとも１つが該当する。なお、技芸支援情報ＩＦ２の提示先は、特定の平面のみに限定される必要はないことにも留意されたい。
【００４１】
図６Ａ及び図６Ｂでは、情報提示装置４がプロジェクタである場合を想定して表現されている。特に、ゴルフをする際にはユーザＵは地面側を視認することが多いので、プロジェクタによって地面に技芸支援情報ＩＦ２を提示可能に構成されることが好ましい。
【００４２】
つまり、情報演算部３３３は、図５に示されるような、各種の技芸支援情報ＩＦ２（推定情報及び提示情報）を算出可能に構成される。また、情報提示装置４は、図６Ａ及び図６Ｂに示されるような技芸支援情報ＩＦ２（提示情報）を提示情報平面Ｇに提示可能に構成される。技芸支援情報ＩＦ２のうちの推定情報は、スイング平面Ｓ、予想スイング軌跡Ｔｅ、予想ボールずれＤｂ、フェース提示面ｆｄ、フェース面位置Ｘａ、予想ボール位置Ｘｄ等が例示される。これらを算出するために基づく各種情報は、図５を参照されたい。また、技芸支援情報ＩＦ２のうちの提示情報は、現在のステータスを表すものとして、スイング直線Ｌ、フェース直線Ｌｆ、ボール位置点Ｐｂが例示され、過去のステータス（履歴）を表すものとして、スイング履歴曲線Ｌｐ、フェース履歴直線Ｌ’ｆ、及びボール位置履歴点Ｐ’ｂ等が例示される。これらを算出するために基づく各種情報は、図５を参照されたい。
【００４３】
一例をとると、情報処理装置３における情報演算部３３３が、前述の通り力学的情報ＩＦ１としてヘッド５２のスイング軌跡Ｔに基づいてヘッド５２の予想スイング軌跡Ｔｅを技芸支援情報ＩＦ２として算出することができる。また、現在のゴルフクラブ位置Ｘｐ、シャフトベクトルｄｃ、進行方向ベクトルｖｃから、当該時刻における推定されるスイング平面Ｓを技芸支援情報ＩＦ２として算出することができる。また、ヘッド５２の進行方向ベクトルｖｃ、シャフトベクトルｄｃ、フェース面ｆｃ、予想スイング軌跡Ｔｅ、ボール位置Ｘｂ、ゴルフクラブ位置Ｘｐ等から理想的なフェースの提示面ｆｄとその位置Ｘａとを技芸支援情報ＩＦ２として算出することができる（図５及び図６Ａ参照）。
【００４４】
このようなシステム１を用いることで、ユーザＵが、ゴルフクラブ５を把持してゴルフスイングを実行すると、提示情報平面Ｇ（例えば地面）に適切な技芸支援情報ＩＦ２が提示される。かかる技芸支援情報ＩＦ２には、自身のスイングに係る未来の情報（現状のまま行う場合問題となる情報や、改善の目安となる理想的な情報）が含まれており、このような情報がユーザＵの１回のゴルフスイングの最中にユーザＵが視認できる表現で提示されることに留意されたい。理想的な情報は、例えば技芸支援情報ＩＦ２のうちの推定情報に基づき、機械学習によって生成されるモデルを用いて提示されてもよい。すなわち、ユーザＵは、ほぼリアルタイムに自身のゴルフスイングに関する情報のフィードバックを授受し、自身のスキルの向上に役立てることができる、という有利な効果を奏する。換言すると、ユーザＵに対してスイング中に即時スイングに係る情報のフィードバック提示が可能となるため、スイング中の軌道修正やスイング後の良し悪しの理解向上につながり、効率的なスイング動作の学習が可能となる。より具体的には、ユーザＵの１回のゴルフスイングによって、アドレスからトップ、ハーフ、インパクト、そしてフィニッシュまでの一連の動作における個々の良し悪しを把握することができるという、有利な効果を奏する。
【００４５】
３．第２の実施形態
本節では、第２の実施形態に係るシステム１について説明する。なお、第１の実施形態に係るシステム１と共通の箇所については、詳細な説明を省略する。
【００４６】
図７に示されるように、第２の実施形態に係るシステム１は、カメラ２１とは異なるカメラ２４をさらに備える。カメラ２４は、ユーザＵが技芸（ゴルフスイング等）を実行するにあたっての身体像を撮影することができる。カメラ２４によって撮影された身体像は、情報処理装置３に送信される。情報処理装置３は、身体情報ＩＦ３を取り扱う。身体情報ＩＦ３は、カメラ２４によって撮影された身体像の少なくとも一部を含む情報である。身体情報ＩＦ３は、カメラ２４によって撮影された身体像そのものでもよいし、これを視認性等を考慮して加工処理したものであってもよい。また、身体情報IF3は、カラーデータでもよく、モノクロデータでもよく、バイナリデータでもよい。特にゴルフであれば、ユーザＵが自身のスイングフォームを確認できるように、身体情報ＩＦ３がユーザＵの全身像を含むことが好ましい。もちろん、全身像だけでなく、技芸に用いるツールや背景等を含んでもよい。
【００４７】
また、図８に示されるように、第２の実施形態では、情報処理装置３における制御部３３が実現しうる機能として、判定部３３４をさらに備える。
【００４８】
判定部３３４は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。判定部３３４は、ユーザＵが１回の技芸を実行している最中に、力学的情報ＩＦ１に基づいて、情報提示装置４に提示させる情報がユーザＵの身体情報ＩＦ３か又は技芸支援情報ＩＦ２かを判定可能に構成される。特にゴルフであれば、ユーザＵがゴルフクラブ５をテイクバックする際には、ユーザＵの身体情報ＩＦ３が情報提示装置４によって提示されていることが好ましい（図９参照）。一方、ユーザＵがゴルフクラブ５をダウンスイングする際には、ヘッド５２の軌道（すなわち技芸支援情報ＩＦ２）が提示されることが好ましい（図１０参照）。
【００４９】
テイクバックかダウンスイングかを判定するにあたって使用する力学的情報ＩＦ１は特に限定されるものではない。例えば、力学的情報ＩＦ１は、シャフトベクトルｄｃと進行方向ベクトルｖｃとである。判定部３３４は、シャフトベクトルｄｃと進行方向ベクトルｖｃとの外積ｃの方向がユーザＵを向く方向か又はその逆方向かを判定することで、情報提示装置４に提示させる情報がユーザＵの身体情報ＩＦ３か又は技芸支援情報ＩＦ２かを判定することができる。
【００５０】
なお、テイクバックとダウンスイングとは連続して行われるものであるため、情報提示装置４によって提示される情報は、ユーザＵから見て切り替わることになる。ここで、身体情報ＩＦ３から技芸支援情報ＩＦ２への切替を瞬間的に行ってもよいし、アルファブレンドを適用して徐々に濃淡を変化させて切り替わるように実施してもよい。あるいは、アルファブレンドされた状態を最後まで維持してもよい。いずれにしても、情報提示装置４は、ユーザＵが１回の技芸を実行している最中に、その１回の技芸に関する、ユーザＵの身体情報ＩＦ３及び技芸支援情報ＩＦ２の少なくとも一方を提示可能に構成されるとよい。
【００５１】
４．変形例
本節では、本実施形態に係る変形例について説明する。すなわち、次のような態様によって、本実施形態に係るシステム１をさらに創意工夫してもよい。
【００５２】
システム１をゴルフ以外の技芸に対して応用してもよい。特に、使用するツールが細長形状であり、ユーザＵがツールの近位側を把持して変位させることにより、当該ツールの遠位側が近位側よりも高速に変位し、これにより遠位側において所定の力学的運動を実行させるような技芸は、システム１にとって好ましい技芸である。具体的には、野球のバッティング、テニス、卓球、バトミントン、ホッケー、フェンシング、フィッシング等のスポーツ、力学的運動を伴う娯楽道具、ハンマーを用いた釘の打ち込みといった技能的作業が想定されうる。
【００５３】
情報提示装置４は、視覚的に情報を提示するものに限定されず、例えば聴覚的に又は触覚的に前述の技芸支援情報ＩＦ２を提示可能に構成されてもよい。具体的には、プロジェクタ、ウェアラブル装置（ヘッドマウントディスプレイ、スマートグラス、コンタクトレンズ型デバイス等）、網膜走査型レーザディスプレイ、空中像表示装置以外にも、スピーカーや触覚ディスプレイを組み合わせた装置として構成されればよい。さらに、視覚、聴覚、触覚等の複数の知覚それぞれ、目や耳等異なる伝達経路を通るため、システム１における好ましい予測時間は異なることも有りうる。これらが合うように同期をとって提示することが好ましい。また、これら複数の知覚間における時間差がｔ’に準ずるものとして、システム１を実施することが好ましい。これにより、ユーザＵは視覚以外の五感を用いてフィードバックを授受し、自身の技芸（ゴルフスイング）の腕の向上に活かすことができる。
【００５４】
マーカー５ｍは前述したものに限定されず、例えば、ゴルフクラブ５における模様等としてマーカー５ｍに相当するマーカーを付与してもよい。あるいは、符号情報を有するようにマーカー５ｍを配置してもよい。これについては、鋭い自己相関性及び発生の容易さなどの特徴により、符号としてはもちろん、擬似雑音、擬似乱数として等各方面に幅広く利用されうるＭ系列を応用するとよい。Ｍ系列に基づいて配置された複数のマーカー５ｍによれば、格子状の行列の部分領域を観測するだけで絶対位置が略一意に定まるため、ゴルフクラブ５の３次元的な姿勢を略一意に推定することが可能となる。ゴルフに関して述べると、例えばバンカーショット等、カメラ２１における撮像に際して遮蔽が起こりうる場面で特に有効である。さらには、マーカー５ｍを設ける所定箇所が、図１１に示されるように、球体５３の形状に構成され、マーカー５ｍが、球体５３の外周面又はその近傍に設けられるように実施してもよい。球体５３は、孔５３１を備え、孔５３１にゴルフクラブ５のシャフト５１が挿通されることで、マーカー５ｍがゴルフクラブ５に装着される。特に、球体５３にマーカー５ｍが配列されることによって、カメラ２１から見て、ゴルフクラブ５の姿勢によらず各マーカー５ｍがどの位置のマーカー５ｍであるかという判別の頑健性が高くなる。もちろん球体５３に代えて、柱体の中央を膨らませた形状を採用しても類似の効果を奏する。
【００５５】
撮像装置２は、ガルバノミラー２２ｐ，２２ｔと、瞳転送光学系２３とを有しなくてもよい。技芸によっては固定されたカメラ２１の画角内であってもツールの変位がおさまることも考えられ、かかる場合は、ガルバノミラー２２ｐ，２２ｔ及び瞳転送光学系２３による視線２ｇの方向の制御が不要となるからである。
【００５６】
撮像装置２は、ガルバノミラー２２ｐ，２２ｔを有し、且つ瞳転送光学系２３を有しなくてもよい。特に、画角の小さな望遠レンズを備えたカメラ２１を採用する場合は、瞳の転送を行わずとも、視線２ｇの方向によらずカメラ２１に進入する光線束の大部分をガルバノミラー２２ｐ，２２ｔが通過するように構成できることも考えられる。
【００５７】
情報処理装置３における記憶部３２が、技芸に関する情報をさらに記憶している又は記憶するように実施してもよい。技芸がゴルフである場合、かかる情報としては例えば、ゴルフクラブ５の型番（シャフト５１の長さ、重心位置、フェース角、ロフト等）や、ゴルフクラブ５におけるマーカー５ｍの位置、ユーザＵよりもゴルフの腕に長けた者（プロゴルファー等）による模範的な動作、過去のユーザＵ自身の練習記録等が想定されうる。かかる情報を力学的情報ＩＦ１及び／又は技芸支援情報ＩＦ２の算出に際してフィードバックさせてもよい。
【００５８】
力学的情報ＩＦ１及び／又は技芸支援情報ＩＦ２を必要に応じて、技芸のカルテとして情報処理装置３における記憶部３３に記憶させてもよい。このような構成によれば、ユーザＵの過去のカルテに基づきゴルフのスキルがどれほど向上したのかをユーザＵにフィードバックすることが可能となる。
【００５９】
前述の実施形態では、カメラ２１によるゴルフクラブ５の撮像によって力学的情報ＩＦ１を取得するように実施しているが、これに加えて、ゴルフクラブ５にセンサを埋め込み、力学的情報ＩＦ１に相当するような内蔵センサ情報を取得するように実施してもよい。かかるセンサとしては、加速度センサやジャイロセンサが例示されうる。
【００６０】
撮像装置２、情報処理装置３、及び情報提示装置４を、システム１としてではなく、これらの機能を有する１つの装置として実現してもよい。
【００６１】
システム１において、撮像装置２と情報提示装置４との座標系が極めて重要であり、これらを補正するための補正用カメラ（不図示）をシステム１が備えるように実施してもよい。
【００６２】
５．結言
以上のように、本実施形態によれば、所望の技芸に係るフィードバックをユーザが自分の動作に活かせ、より容易にその技芸を上達させることができるようなシステム１を実施することができる。
【００６３】
かかるシステム１は、ユーザＵがツール（ゴルフクラブ５）を把持し且つこれを用いて行う技芸（ゴルフスイング）の支援向上をするもので、撮像装置２と、情報処理装置３と、情報提示装置４とを備え、撮像装置２は、その画角におけるツールの少なくとも一部（シャフト５１及びマーカー５ｍ）を撮像可能に構成され、情報処理装置３は、撮像装置２と接続され、撮像装置２によって撮像された画像ＩＭからツール（ゴルフクラブ５）の少なくとも一部に関する力学的情報ＩＦ１を算出し、力学的情報ＩＦ１から技芸支援情報ＩＦ２を算出可能に構成され、技芸支援情報ＩＦ２とは、ツール（ゴルフクラブ５）の現在進行中の動作、ツール（ゴルフクラブ５）の現在までの動作履歴、ツール（ゴルフクラブ５）の予測される動作、これによってなされる技芸（ゴルフスイング）の結果、及びツール（ゴルフクラブ５）の理想とされる動作の少なくとも何れかを含む情報であり、情報提示装置４は、情報処理装置３と接続され、ユーザＵが１回の技芸（ゴルフスイング）を実行している最中にその１回の技芸（ゴルフスイング）に関する技芸支援情報ＩＦ２をユーザＵに提示可能に構成される。
【００６４】
また、かかるシステム１を用いることで、所望の技芸に係るフィードバックをユーザが自分の動作に活かせ、より容易にその技芸を上達させることができるような方法を実施することができる。
【００６５】
かかる方法は、ユーザＵがツール（ゴルフクラブ５）を把持し且つこれを用いて行う技芸（ゴルフスイング）の支援向上をするもので、撮像ステップと、情報処理ステップと、情報提示ステップとを備え、撮像ステップでは、ツールの少なくとも一部（シャフト５１及びマーカー５ｍ）を撮像し、情報処理ステップでは、撮像ステップにおいて撮像された画像ＩＭからツール（ゴルフクラブ５）の少なくとも一部に関する力学的情報ＩＦ１を算出し、続いて、力学的情報ＩＦ１から技芸支援情報ＩＦ２を算出し、技芸支援情報ＩＦ２とは、ツール（ゴルフクラブ５）の現在進行中の動作、ツール（ゴルフクラブ５）の現在までの動作履歴、ツール（ゴルフクラブ５）の予測される動作、これによってなされる技芸（ゴルフスイング）の結果、及びツール（ゴルフクラブ５）の理想とされる動作の少なくとも何れかを含む情報であり、情報提示ステップでは、ユーザＵが１回の技芸（ゴルフスイング）を実行している最中にその１回の技芸（ゴルフスイング）に関する技芸支援情報ＩＦ２をユーザＵに提示する。
【００６６】
また、所望の技芸に係るフィードバックをユーザが自分の動作に活かせ、より容易にその技芸を上達させることができるようなシステム１をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータが読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。
【００６７】
かかるプログラムは、ユーザＵがツール（ゴルフクラブ５）を把持し且つこれを用いて行う技芸（ゴルフスイング）の支援向上をするもので、コンピュータに撮像機能と、情報処理機能と、生成機能とを実行させるように構成され、撮像機能では、ツールの少なくとも一部（シャフト５１及びマーカー５ｍ）が撮像され、情報処理機能では、撮像されたツール（ゴルフクラブ５）の画像ＩＭからツール（ゴルフクラブ５）の少なくとも一部に関する力学的情報ＩＦ１が算出され、力学的情報ＩＦ１から技芸支援情報ＩＦ２がさらに算出され、技芸支援情報ＩＦ２とは、ツール（ゴルフクラブ５）の現在進行中の動作、ツール（ゴルフクラブ５）の現在までの動作履歴、ツール（ゴルフクラブ５）の予測される動作、これによってなされる技芸（ゴルフスイング）の結果、及びツール（ゴルフクラブ５）の理想とされる動作の少なくとも何れかを含む情報であり、情報提示機能では、ユーザＵが１回の技芸（ゴルフスイング）を実行している最中にその１回の技芸（ゴルフスイング）に関する技芸支援情報ＩＦ２がユーザＵに提示される。
【００６８】
次に記載の各態様で提供されてもよい。
前記システムにおいて、前記撮像装置のフレームレートは２５０ｆｐｓ以上であり、前記撮像装置による撮像から前記情報提示装置による前記技芸支援情報の提示までのレイテンシが７０ミリ秒以下であるように実施されるもの。
前記システムにおいて、前記撮像装置は、カメラと、駆動鏡面とをさらに備え、前記カメラは、前記駆動鏡面による反射を介して外界に視線を向けるように構成され、前記駆動鏡面は、その向きを変位可能に構成され、前記情報処理装置は、前記ツールの少なくとも一部が前記カメラの画角における所定の範囲に継続的に入るように、前記駆動鏡面の向きを決定可能に構成されるもの。
前記システムにおいて、前記ツールは、細長形状を有し、前記技芸では、前記ユーザが前記ツールの近位側を把持して変位させることにより、前記ツールの遠位側が前記近位側よりも高速に変位し、これにより前記遠位側において所定の力学的運動を実行させるもの。
前記システムにおいて、前記力学的情報は、前記ツールの遠位側における計測箇所の座標、速度、加速度、及び姿勢のうちの少なくとも１つを含むもの。
前記システムにおいて、前記技芸支援情報は、前記計測箇所又は特定箇所の進行方向ベクトル、前記計測箇所又は特定箇所の推定軌跡、前記推定軌跡とその理想値とのずれ、前記ツールの通過平面、前記ツールの変位に関するタイミング、前記タイミングとその理想値とのずれ、前記ツールに衝突して変位する物体の推定軌跡、前記物体の推定軌跡とその理想値とのずれのうちの少なくとも１つを含むもの。
前記システムにおいて、前記ツールの遠位側の所定箇所にこの所定箇所を囲むように複数のマーカーが設けられ、前記撮像装置は、前記複数のマーカーを撮像可能に構成され、前記情報処理装置は、撮像された前記複数のマーカーに基づいて、前記技芸支援情報を算出するように構成されるもの。
前記システムにおいて、前記複数のマーカーは、Ｍ系列に基づいて前記所定箇所に設けられるもの。
前記システムにおいて、前記所定箇所は球体の形状に構成され、前記複数のマーカーは、前記球体の外周面又はその近傍に設けられるもの。
前記システムにおいて、前記技芸はゴルフであり、前記ツールはゴルフクラブであるもの。
前記システムにおいて、前記情報提示装置は、前記ユーザが１回の技芸を実行している最中に、その１回の技芸に関する、身体情報及び前記技芸支援情報の少なくとも一方を提示可能に構成され、ここで前記身体情報とは、前記ユーザの身体像の少なくとも一部を含む情報であるもの。
前記システムにおいて、前記情報処理装置は、判定部をさらに備え、前記判定部は、前記力学的情報に基づいて、前記情報提示装置に提示させる情報を判定可能に構成されるもの。
前記システムにおいて、前記情報提示装置は、プロジェクタ、ヘッドマウントディスプレイ、スマートグラス、コンタクトレンズ型デバイス、網膜走査型レーザディスプレイ、及び空中像表示装置の少なくとも何れか１つであるもの。
方法であって、ユーザがツールを把持し且つこれを用いて行う技芸の支援向上をするもので、撮像ステップと、情報処理ステップと、情報提示ステップとを備え、前記撮像ステップでは、前記ツールの少なくとも一部を撮像し、前記情報処理ステップでは、前記撮像ステップにおいて撮像された画像から前記ツールの少なくとも一部に関する力学的情報を算出し、続いて、前記力学的情報から技芸支援情報を算出し、前記技芸支援情報とは、前記ツールの現在進行中の動作、前記ツールの現在までの動作履歴、前記ツールの予測される動作、これによってなされる前記技芸の結果、及び前記ツールの理想とされる動作の少なくとも何れかを含む情報であり、前記情報提示ステップでは、前記ユーザが１回の技芸を実行している最中にその１回の技芸に関する前記技芸支援情報を前記ユーザに提示する方法。
プログラムであって、ユーザがツールを把持し且つこれを用いて行う技芸の支援向上をするもので、コンピュータに撮像機能と、情報処理機能と、生成機能とを実行させるように構成され、前記撮像機能では、前記ツールの少なくとも一部が撮像され、前記情報処理機能では、撮像された前記ツールの画像から前記ツールの少なくとも一部に関する力学的情報が算出され、前記力学的情報から技芸支援情報がさらに算出され、前記技芸支援情報とは、前記ツールの現在進行中の動作、前記ツールの現在までの動作履歴、前記ツールの予測される動作、これによってなされる前記技芸の結果、及び前記ツールの理想とされる動作の少なくとも何れかを含む情報であり、前記情報提示機能では、前記ユーザが１回の技芸を実行している最中にその１回の技芸に関する前記技芸支援情報が前記ユーザに提示されるもの。
もちろん、この限りではない。
【００６９】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７０】
１      ：システム
２      ：撮像装置
２ｇ    ：視線
２１    ：カメラ
２１１  ：第１の瞳
２１２  ：第２の瞳
２２ｐ  ：ガルバノミラー
２２ｔ  ：ガルバノミラー
２３    ：瞳転送光学系
２４    ：カメラ
３      ：情報処理装置
３０    ：通信バス
３１    ：通信部
３２    ：記憶部
３３    ：制御部
３３１  ：画像処理部
３３２  ：鏡面駆動部
３３３  ：情報演算部
４      ：情報提示装置
５      ：ゴルフクラブ
５ｍ    ：マーカー
５ｍａ  ：第１のマーカー
５ｍｂ  ：第２のマーカー
５１    ：シャフト
５１ｇ  ：グリップ
５２    ：ヘッド
５３    ：球体
５３１  ：孔
６      ：ボール
ＣＳ    ：制御信号
ＩＦ１  ：力学的情報
ＩＦ２  ：技芸支援情報
ＩＦ３  ：身体情報
ＩＭ    ：画像
【図１】
2020158727.tif 000005
【図２】
2020158727.tif 000006
【図３】
2020158727.tif 000007
【図４】
2020158727.tif 000008
【図５】
2020158727.tif 000009
【図６】
2020158727.tif 000010
【図７】
2020158727.tif 000011
【図８】
2020158727.tif 000012
【図９】
2020158727.tif 000013
【図１０】
2020158727.tif 000014
【図１１】
2020158727.tif 000015
【国際調査報告】
2020158727.tif 000016
2020158727.tif 000017
2020158727.tif 000018
2020158727.tif 000019