(57)【要約】【課題】短時間でのゴルフスイング上達を支援するスイング判定装置を提供する。【解決手段】ユーザのスイングを撮像した動画を入力する入力手段と、入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段と、生成手段によって生成された複数のユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点をそれぞれ含むユーザ画像を特定する特定手段と、特定手段によって特定された所定の注目点を含むユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段と、複数の判定手段による判定結果を出力する出力手段と、を有する。【選択図】図１２８
2019166311.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのスイングを撮像した動画を入力する入力手段と、
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段と、
前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点をそれぞれ含む前記ユーザ画像を特定する特定手段と、
前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段と、
複数の前記判定手段による判定結果を出力する出力手段と、
を有することを特徴とするスイング判定装置。
【請求項２】
前記判定手段は、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定することを特徴とする請求項１に記載のスイング判定装置。
【請求項３】
前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化することを特徴とする請求項２に記載のスイング判定装置。
【請求項４】
前記ニューラルネットワークは、前記教師画像として、悪いフォームの類例である反面教師画像によって学習を行うことを特徴とする請求項３に記載のスイング判定装置。
【請求項５】
前記出力手段は、該当する反面教師に応じたアドバイスを出力することを特徴とする請求項４に記載のスイング判定装置。
【請求項６】
前記ニューラルネットワークは、Ｌｅａｒｎｅｒと複数のＡｃｔｏｒとを有するＲ２Ｄ２アルゴリズムによって動作することを特徴とする請求項２に記載のスイング判定装置。
【請求項７】
お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶する記憶手段と、
前記生成手段によって得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定手段と、
特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整手段と、を有し、
前記判定手段は、前記調整手段によって調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、
ことを特徴とする請求項１に記載のスイング判定装置。
【請求項８】
前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量が所定の閾値以上異なっている場合には、当該注目点については否であると判定し、それ以外の場合には良と判定することを特徴とする請求項７に記載のスイング判定装置。
【請求項９】
前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量の差異に応じてスイングの良否を得点化することを特徴とする請求項８に記載のスイング判定装置。
【請求項１０】
注目点毎に重み係数を有し、各判定手段の判定結果に重み係数を累積加算することで、スイングの得点を算出する算出手段をさらに有し、
前記出力手段は、前記算出手段によって算出された得点についても併せて出力することを特徴とする請求項１乃至９のいずれか１項に記載のスイング判定装置。
【請求項１１】
前記スイングはゴルフのスイングであり、
前記ユーザの動作、スコア、ハンデ、クラブ毎の飛距離、クラブ毎のヘッドスピードの少なくとも１つと相関を有するように前記重み係数を変更する変更手段をさらに有する、
ことを特徴とする請求項１０に記載のスイング判定装置。
【請求項１２】
前記スイングはゴルフのスイングであり、
前記判定手段は、前記ユーザの右サイド空間領域の前記重み係数の値を相対的に大きくすることで、前記ユーザの右サイド空間領域を優先的に評価する、
ことを特徴とする請求項１０または１１に記載のスイング判定装置。
【請求項１３】
前記判定手段による判定結果に基づいて、前記ユーザのスイングの状態を特定する状態特定手段と、
前記状態特定手段によって特定された前記ユーザのスイングの状態に応じたアドバイスを、前記出力手段を介して提示する提示手段と、
をさらに有することを特徴とする請求項１乃至１２のいずれか１項に記載のスイング判定装置。
【請求項１４】
前記アドバイスが複数存在する場合には、前記提示手段によって複数の前記アドバイスを提示する順番を決定する決定手段を有することを特徴とする請求項１３に記載のスイング判定装置。
【請求項１５】
前記決定手段は、強化学習によって前記アドバイスを提示する順番を決定することを特徴とする請求項１４に記載のスイング判定装置。
【請求項１６】
前記決定手段は、前記アドバイスを提示した場合に前記ユーザのスイングの状態が改善した場合には報酬を付与し、報酬に応じてＱ値を更新することで、強化学習を実行することを特徴とする請求項１５に記載のスイング判定装置。
【請求項１７】
前記ユーザが使用するヘッドマウントディスプレイ、スマートグラス、または、少なくとも１つ以上の外部スマートディスプレイを有し、
前記ヘッドマウントディスプレイ、前記スマートグラス、または、前記外部スマートディスプレイに対して、ゴルフ場の風景およびユーザの多方向のスイングを表示するとともに、前記ユーザの動作に応じて、表示する風景を変更する表示手段と、
を有することを特徴とする請求項１１に記載のスイング判定装置。
【請求項１８】
前記ユーザの問い合わせを受信する受信手段と、
問い合わせに対する応答を格納する格納手段と、
前記受信手段を介して受信された問い合わせに対応する応答を前記格納手段から取得し、前記ユーザに提示する提示手段と、
を有することを特徴とする請求項１乃至１７のいずれか１項に記載のスイング判定装置。
【請求項１９】
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成ステップと、
前記生成ステップにおいて生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点をそれぞれ含む前記ユーザ画像を特定する特定ステップと、
前記特定ステップにおいて特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定ステップと、
複数の前記判定ステップにおける判定結果を出力する出力ステップと、
を有することを特徴とするスイング判定方法。
【請求項２０】
コンピュータを、
ユーザのスイングを撮像した動画を入力する入力手段、
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段、
前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点をそれぞれ含む前記ユーザ画像を特定する特定手段、
前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段、
複数の前記判定手段による判定結果を出力する出力手段、
として機能させることを特徴とするコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スイング判定装置、スイング判定方法、および、プログラムに関する。
【背景技術】
【０００２】
ゴルフが楽しいと思えるレベルまでに上達するには、通常、修練や莫大な時間と、お金がかかる。これは、ゴルフを始める人にとっては大きな壁となっている。初心者がゴルフを始めてコースに出ても楽しくプレーできるようになるまでの過程には、練習場に通うことが必要となってくる。
【０００３】
過去には、ゴルフ練習場にゴルフ支援画像撮影システムがあり、それには自分で自分のスイングを解析しなくてはならないという現状があった。また、多少興味があってもゴルフスクールへ行くきっかけや後押しがないというのも事実であった。
【０００４】
また、ゴルフスクールへいっても、レッスンプロが教えるスイング理論はスクールや教師によって教えることがばらばらで、「ボディーターンで」、「頭を残せ」、「クラブを立てろ」、「右脇を締めろ」、「フェースローテーションはするな」、「肩を回して」「手を捻って」、「ためて」とか部分的なことだけのレッスンカリキュラムに終始し、何故そのような動きが必要で、何故そのほうが良いのか、またそれが再現性の高いスイングにどのように結びつくのかという説明は全くない。
【０００５】
これでは、どのような一連のゴルフスイングを目標にして目指せばよいのかわからない。苦労して多大なお金と多大の練習時間の犠牲を払い続けてもゴルフを楽しめるレベルに達せずにいる。さらに現在、年収が下がり若いサラリーマン世代や学生がゴルフを始めるきっかけが少なくなっていることも問題である。  
【０００６】
これに関連して、特許文献１は、３軸方向の加速度、角速度、角度を計測可能なセンサーをゴルフクラブ付近に設け、３つの計測結果からアドレス、トップ、インパクトの時刻指標を図っているスイング解析方法が提案されている。
【０００７】
アドレス、トップ、インパクトの時刻を決定すれば、一歩理想のスイング解析が進む点、ゴルファーが時刻を確認すれば打撃距離が伸びる点等、評価できるが、スタンス等の具体的なスイング姿勢を初心者が素早く見につける方法や、さらに一歩進んだスイング解析技術が欲しい。
【０００８】
また、特許文献２は、ゴルフスイングの所定動作を、音声を用い動作中にリアルタイム教習する音声教習装置が提案されている。
【０００９】
リアルタイム教習は、初心者のスイング上達の手助けとなる点、評価できる。しかし、音声発生時の具体的な内容、指導の記載が欲しい。さらに、異なる場面による具体的な音声発生の場合分けがあればなお良い。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開2017-159087
【特許文献２】特開2017-136308
【発明の概要】
【発明が解決しようとする課題】
【００１１】
そこで、上述した理由でゴルフを止めていくゴルフ愛好者を食い止めたいために、ノンゴルファーやゴルフ経験者に短期間にゴルフスイングの習得を何時でも何処でも上達するよう支援するシステムの提案が必要となる。
【００１２】
そうすれば、アマチュアが目指すべき本質的な、広域的な右サイド空間領域を主体としたシステム化されたゴルフスイングの習得に取り組め、それを安価に短期間に再現性の高い簡単なゴルフスイング及びショット技術をマスターできる。
【００１３】
本発明は、短時間でゴルフスイングを含めたスイングが上達できるように支援する、スイング判定装置、スイング判定方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明にかかるスイング上達支援システムは、ユーザのスイングを撮像した動画を入力する入力手段と、前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段と、前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点をそれぞれ含む前記ユーザ画像を特定する特定手段と、前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、お手本となる教師のスイングの画像としての教師画像と、前記ユーザ画像とを比較してスイングの良否を判定する複数の判定手段と、複数の前記判定手段による判定結果を出力する出力手段と、を有することを特徴とする。
このような構成によれば、短時間でスイングが上達できるように支援することが可能になる。
【００１５】
また、本発明は、前記判定手段は、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定することを特徴とする。
このような構成によれば、ディープラーニングを用いることで、精度よく判定を行うことができる。
【００１６】
また、本発明は、前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化することを特徴とする。
このような構成によれば、スイングの特徴を複数に分類することで、より的確なアドバイスを行うことができる。
【００１７】
また、本発明は、前記ニューラルネットワークは、前記教師画像として、悪いフォームの類例である反面教師画像によって学習を行うことを特徴とする。
このような構成によれば、反面教師画像に基づいて、スイングの悪い特徴を精度良く特定することができる。
【００１８】
また、本発明は、前記出力手段は、該当する反面教師に応じたアドバイスを出力することを特徴とする。
このような構成によれば、反面教師画像に基づいて、スイングの悪い特徴を特定し、適切なアドバイスを行うことができる。
【００１９】
また、本発明は、前記ニューラルネットワークは、Ｌｅａｒｎｅｒと複数のＡｃｔｏｒとを有するＲ２Ｄ２アルゴリズムによって動作することを特徴とする。
このような構成によれば、Ｒ２Ｄ２アルゴリズムによって、スイングの良否をより精度良く判定することができる。
【００２０】
また、本発明は、お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶する記憶手段と、前記生成手段によって得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定手段と、特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出手段と、前記抽出手段によって抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整手段と、を有し、前記判定手段は、前記調整手段によって調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、ことを特徴とする。
このような構成によれば、スイングの良否をより正確に判定することが可能になる。
【００２１】
また、本発明は、前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量が所定の閾値以上異なっている場合には、当該注目点については否であると判定し、それ以外の場合には良と判定することを特徴とする。
このような構成によれば、閾値を基準として、簡易かつ正確にスイングの良否を判定することができる。
【００２２】
また、本発明は、前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量の差異に応じてスイングの良否を得点化することを特徴とする。
このような構成によれば、教師画像との差異に基づいて、スイングの良否を正確に判定することができる。
【００２３】
また、本発明は、注目点毎に重み係数を有し、各判定手段の判定結果に重み係数を累積加算することで、スイングの得点を算出する算出手段をさらに有し、前記出力手段は、前記算出手段によって算出された得点についても併せて出力することを特徴とする。
このような構成によれば、得点を参照することで、スイングの総合的な評価を得ることができる。
【００２４】
また、本発明は、前記スイングはゴルフのスイングであり、前記ユーザの動作、スコア、ハンデ、クラブ毎の飛距離、クラブ毎のヘッドスピードの少なくとも１つと相関を有するように前記重み係数を変更する変更手段をさらに有する、ことを特徴とする。
このような構成によれば、実際のゴルフとの相関性を高めることで、より的確な判定およびアドバイスを得ることができる。
【００２５】
また、本発明は、前記スイングはゴルフのスイングであり、前記判定手段は、前記ユーザの右サイド空間領域の前記重み係数の値を相対的に大きくすることで、前記ユーザの右サイド空間領域を優先的に評価する、ことを特徴とする。
このような構成によれば、初心者に対してもより的確なアドバイスをすることができる。
【００２６】
また、本発明は、前記判定手段による判定結果に基づいて、前記ユーザのスイングの状態を特定する状態特定手段と、前記状態特定手段によって特定された前記ユーザのスイングの状態に応じたアドバイスを、前記出力手段を介して提示する提示手段と、をさらに有することを特徴とする。
このような構成によれば、スイングの状態に応じた適切なアドバイスを提示することができる。
【００２７】
また、本発明は、前記アドバイスが複数存在する場合には、前記提示手段によって複数の前記アドバイスを提示する順番を決定する決定手段を有することを特徴とする。
このような構成によれば、より適正な順序でアドバイスを提示することで、効率よくスイングを改善することができる。
【００２８】
また、本発明は、前記決定手段は、強化学習によって前記アドバイスを提示する順番を決定することを特徴とする。
このような構成によれば、強化学習によって、より適正な順序でアドバイスを提示することができる。
【００２９】
また、本発明は、前記決定手段は、前記アドバイスを提示した場合に前記ユーザのスイングの状態が改善した場合には報酬を付与し、報酬に応じてＱ値を更新することで、強化学習を実行することを特徴とする。
このような構成によれば、より効率よく、強化学習を実行することができる。
【００３０】
また、本発明は、前記ユーザが使用するヘッドマウントディスプレイ、スマートグラス、または、少なくとも１つ以上の外部スマートディスプレイを有し、前記ヘッドマウントディスプレイ、前記スマートグラス、または、前記外部スマートディスプレイに対して、ゴルフ場の風景およびユーザの多方向のスイングを表示するとともに、前記ユーザの動作に応じて、表示する風景を変更する表示手段と、を有することを特徴とする。
このような構成によれば、ゴルフ場またはゴルフ練習場に行くことなく、スイングの練習をすることができる。
【００３１】
また、本発明は、前記ユーザの問い合わせを受信する受信手段と、問い合わせに対する応答を格納する格納手段と、前記受信手段を介して受信された問い合わせに対応する応答を前記格納手段から取得し、前記ユーザに提示する提示手段と、を有することを特徴とする。
このような構成によれば、スイングに関するユーザの疑問を解消することができる。
【００３２】
また、本発明は、前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成ステップと、前記生成ステップにおいて生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点をそれぞれ含む前記ユーザ画像を特定する特定ステップと、前記特定ステップにおいて特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定ステップと、複数の前記判定ステップにおける判定結果を出力する出力ステップと、を有することを特徴とする。
このような方法によれば、短時間でスイングが上達できるように支援することが可能になる。
【００３３】
また、本発明は、コンピュータを、ユーザのスイングを撮像した動画を入力する入力手段、前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段、前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点をそれぞれ含む前記ユーザ画像を特定する特定手段、前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段、複数の前記判定手段による判定結果を出力する出力手段、として機能させることを特徴とする。
このようなプログラムによれば、短時間でスイングが上達できるように支援することが可能になる。
【発明の効果】
【００３４】
本発明は、短時間でゴルフスイング上達を支援するスイング判定装置、スイング判定方法、および、プログラムを提供できる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１実施形態の構成例を示す図である。
【図２】スタンスがクローズドでＯＫと判定される図である。
【図３】スタンスがスクエアかオープンでＮＧと判定される図である。
【図４】構えでの腰、肩のラインがＯＫと判定される図である。
【図５】フックグリップでＯＫと判定される図である。
【図６】オーバーラッピングの握りでＯＫと判定される図である
【図７】テンフィンガーの握りでＯＫと判定される図である。
【図８】スクエアグリップでＮＧと判定される図である。
【図９】ウィークグリップでＮＧと判定される図である。
【図１０】インターロッキングの握りでＮＧと判定される図である
【図１１】体重配分が少し右足寄りでＯＫと判定される図である。
【図１２】体重配分が５：５でＯＫと判定される図である。
【図１３】体重配分が左足寄りでＮＧと判定される図である。
【図１４】スタンス幅が肩幅より少し広くＯＫと判定される図である。
【図１５】スタンス幅が広すぎでＮＧと判定される図である。
【図１６】スタンス幅が狭すぎでＮＧと判定される図である。
【図１７】肩のラインと頭の垂直がＯＫと判定される図である。
【図１８】肩のラインと頭の垂直がＮＧと判定される図である。
【図１９】肩のラインがＮＧと判定される図である。
【図２０】つま先と膝の向きがＯＫと判定される図である。
【図２１】つま先と膝の向きがＮＧと判定される図である。
【図２２】クラブシャフトの傾きＯＫと判定される図である。
【図２３】クラブシャフトの傾きＯＫと判定される図である。
【図２４】クラブシャフトの傾きＮＧと判定される図である。
【図２５】ドライバーヘッドとボールの位置ＯＫと判定される図である。
【図２６】ドライバーヘッドとボールの位置ＮＯと判定される図である。
【図２７】大型ヘッドとボールの位置ＯＫと判定される図である。
【図２８】大型ヘッドとボールの位置ＮＧと判定される図である。
【図２９】両肩の力みがなくＯＫと判定される図である。
【図３０】両肩に力みがありＮＧと判定される図である。
【図３１】左腕を左胸の上に置いていく順番がＯＫと判定される第１の図である。
【図３２】左腕を左胸の上に置いていく順番がＯＫと判定される第２の図である。
【図３３】左腕を左胸の上に置いていく順番がＯＫと判定される第３の図である。
【図３４】左腕を体の横に置いていてＮＧと判定される図である。
【図３５】前傾と背筋のラインがＯＫと判定される図である。
【図３６】前傾と背筋のラインがＮＧと判定される図である。
【図３７】膝の曲げ具合がＯＫと判定される図である。
【図３８】膝の曲げ具合がＮＧと判定される図である。
【図３９】膝の曲げ具合がＮＧと判定される図である。
【図４０】テークバックで９０度開くフェースローテーション流れＯＫと判定される第１の図である。
【図４１】テークバックで９０度開くフェースローテーション流れＯＫと判定される第２の図である。
【図４２】テークバックで９０度開くフェースローテーション流れＯＫと判定される第３の図である。
【図４３】テークバックで９０度開くフェースローテーション流れＯＫと判定される第１の図である。
【図４４】テークバックで９０度開くフェースローテーション流れＯＫと判定される第２の図である。
【図４５】テークバックで９０度開くフェースローテーション流れＯＫと判定される第３の図である。
【図４６】テークバックで９０度開くフェースローテーション流れＯＫと判定される第４の図である。
【図４７】テークバックで９０度開くフェースローテーション流れＯＫと判定される第５の図である。
【図４８】テークバックで９０度開くフェースローテーション流れＯＫと判定される第６の図である。
【図４９】テークバックで９０度開くフェースローテーション流れＯＫと判定される第１の図である。
【図５０】テークバックで９０度開くフェースローテーション流れＯＫと判定される第２の図である。
【図５１】テークバックで９０度開くフェースローテーション流れＯＫと判定される第３の図である。
【図５２】テークバックで９０度開くフェースローテーション流れＯＫと判定される第４の図である。
【図５３】テークバックで９０度開くフェースローテーション流れＯＫと判定される第５の図である。
【図５４】テークバックで９０度開くフェースローテーション流れＯＫと判定される第６の図である。
【図５５】「９０度開いて１８０度戻す」テークバックフェースローテーションのイメージＯＫと判定される第１の図である。
【図５６】「９０度開いて１８０度戻す」テークバックフェースローテーションのイメージＯＫと判定される第２の図である。
【図５７】「９０度開いて１８０度戻す」テークバックフェースローテーションのイメージＯＫと判定される第３の図である。
【図５８】「９０度開いて１８０度戻す」テークバックフェースローテーションのイメージＯＫと判定される第４の図である。
【図５９】「９０度開いて１８０度戻す」ダウンスイングフェースローテーションのイメージＯＫと判定される第１の図である。
【図６０】「９０度開いて１８０度戻す」ダウンスイングフェースロ  ーテーションのイメージＯＫと判定される第２の図である。
【図６１】「９０度開いて１８０度戻す」ダウンスイングフェースローテーションのイメージＯＫと判定される第３の図である。
【図６２】「９０度開いて１８０度戻す」ダウンスイングフェースローテーションのイメージＯＫと判定される第４の図である。
【図６３】左１軸スイング中の頭の移動ＯＫと判定される第１の図である。
【図６４】左１軸スイング中の頭の移動ＯＫと判定される第２の図である。
【図６５】左１軸スイング中の頭の移動ＯＫと判定される第３の図である。
【図６６】トップから切り返し時の右から左へ体重移動ＯＫと判定される図である。
【図６７】トップ時右脇を開けてＯＫと判定される図である。
【図６８】トップ時の胸と腰の見え方がＯＫと判定される図である。トップ時のグリップの位置が右耳と右肩の中間位置でＯＫと判定される図である。
【図６９】トップ時右脇が締まり、胸と腰の見え方がＮＧと判定される図である。
【図７０】ダウンスイング時ヘッド先行での右ひじのリリースＯＫと判定される第１の図である。
【図７１】ダウンスイング時ヘッド先行での右ひじのリリースＯＫと判定される第２の図である。
【図７２】ダウンスイング時ヘッド先行での右ひじのリリースＯＫと判定される第３の図である。
【図７３】手首をコックして固めたグリップ先行の「タメ」のスイングでＮＧと判定される図である。
【図７４】ダウンスイング時大きなプレーンでの右ひじのリリースとリリース方向がＯＫと判定される図である。
【図７５】遠心力が効いた右手首、右ひじのリリースと右手ヒンジングがＯＫと判定される第１の図である。
【図７６】遠心力が効いた右手首、右ひじのリリースと右手ヒンジングがＯＫと判定される第２の図である。
【図７７】遠心力が効いた右手首、右ひじのリリースと右手ヒンジングがＯＫと判定される第３の図である。
【図７８】遠心力が効いた右手首、右ひじのリリースと右手ヒンジングがＯＫと判定される第４の図である。
【図７９】遠心力がほどける現在主流型の「タメる」スイングでＮＧと判定される第１の図である。
【図８０】遠心力がほどける現在主流型の「タメる」スイングでＮＧと判定される第２の図である。
【図８１】遠心力がほどける現在主流型の「タメる」スイングでＮＧと判定される第３の図である。
【図８２】遠心力がほどける現在主流型の「タメる」スイングでＮＧと判定される第４の図である。
【図８３】遠心力がほどける現在主流型の「タメる」スイングでＮＧと判定される第５の図である。
【図８４】遠心力がほどける現在主流型の「タメる」スイングでＮＧと判定される第６の図である。
【図８５】遠心力がほどける現在主流型の「タメる」スイングでＮＧと判定される第７の図である。
【図８６】ダウンスイング時に親指爪側が自分の方向に向く、正しい右手のヒンジングでＯＫと判定される図である。
【図８７】インパクトからフォロー時にかけて親指爪側が左に向き右手を捻った流れでＮＧと判定される第１の図である。
【図８８】インパクトからフォロー時にかけて親指爪側が左に向き右手を捻った流れでＮＧと判定される第２の図である。
【図８９】下半身の体重移動をできるだけ最小限にしたヘッド先行でＯＫと判定される図である。
【図９０】下半身主体でのスイングリードの体重移動でＮＧと判定される図である。
【図９１】ダウンスイング開始時右ひじをやや内側に捻じる「前倒し」ＯＫと判定される図である。
【図９２】右手が左手を追い越す手のツイストがＯＫと判定される第１の図である。
【図９３】右手が左手を追い越す手のツイストがＯＫと判定される第２の図である。
【図９４】右手が左手を追い越す手のツイストがＯＫと判定される第３の図である。
【図９５】手のツイストと右足のツイストがＯＫと判定される図である。
【図９６】手のツイストと腰のツイストがＯＫと判定される図である。
【図９７】手のツイストと縦のツイストで頭の位置と前傾姿勢を変えず左足膝が伸びておりＯＫと判定される図である。
【図９８】ダウンスイング時に右肩の高さを変えない、右肩を前に突っ込まないがＯＫと判定される図である。
【図９９】ダウンスイング時に右腰・右ヒザを前に出さず、右ヒザをボール方向に向けてＯＫと判定される図である。
【図１００】インパクトまで右足カカトを上げていないのでＯＫと判定される図である。
【図１０１】インパクトで右足カカトを上げているのでＮＧと判定される図である。
【図１０２】インパクト時では顔はボール方向に向いていてＯＫと判定される第1の図である。
【図１０３】インパクト後のフォローは勢いで顔も目標に向いていてＯＫと判定される第２の図である。
【図１０４】インパクトからインパクト後のフォローでも無理に顔を残していてＮＧと判定される第１の図である。
【図１０５】インパクトからインパクト後のフォローでも無理に顔を残していてＮＧと判定される第２の図である。
【図１０６】出玉を少し右に出すイメージでＯＫと判定される図である。
【図１０７】背面打ち練習ドリルの第１の図である。
【図１０８】背面打ち練習ドリルの第２の図である。
【図１０９】背面打ち練習ドリルの第３の図である。
【図１１０】背面打ち練習ドリルの第４の図である。
【図１１１】両足クロス練習ドリルの第１の図である。
【図１１２】両足クロス練習ドリルの第２の図である。
【図１１３】両足クロス練習ドリルの第３の図である。
【図１１４】両足クロス練習ドリルの第４の図である。
【図１１５】水平打ち練習ドリルの第１の図である。
【図１１６】水平打ち練習ドリルの第２の図である。
【図１１７】水平打ち練習ドリルの第３の図である。
【図１１８】逆持ち素振り練習ドリルの第１の図である。
【図１１９】逆持ち素振り練習ドリルの第２の図である。
【図１２０】超クローズドスタンス練習ドリルの第１の図である
【図１２１】超クローズドスタンス練習ドリルの第２の図である
【図１２２】超クローズドスタンス練習ドリルの第３の図である
【図１２３】超クローズドスタンス練習ドリルの第４の図である。
【図１２４】スプリッドハンド練習ドリルの第１の図である。
【図１２５】スプリッドハンド練習ドリルの第２の図である。
【図１２６】スプリッドハンド練習ドリルの第３の図である。
【図１２７】スプリッドハンド練習ドリルの第４の図である。
【図１２８】本発明の第２実施形態の構成例を示す図である。
【図１２９】図１２８に示す判定処理部の詳細な構成例を示す図である。
【図１３０】本発明の第２実施形態の動作を説明するための図である。
【図１３１】本発明の第２実施形態の動作を説明するための図である。
【図１３２】本発明の第２実施形態の動作を説明するための図である。
【図１３３】本発明の第２実施形態の動作を説明するための図である。
【図１３４】本発明の第２実施形態の動作を説明するための図である。
【図１３５】本発明の第２実施形態の動作を説明するための図である。
【図１３６】本発明の第２実施形態の動作を説明するためのフローチャートの一例である。
【図１３７】本発明の第２実施形態の動作を説明するためのフローチャートの一例である。
【図１３８】本発明の第３実施形態の構成例を示す図である。
【図１３９】図１３８に示す多層ニューラルネットワークの構成例を示す図である。
【図１４０】本発明の第４実施形態の構成例を示す図である。
【図１４１】本発明の第５実施形態の構成例を示す図である。
【図１４２】本発明の第６実施形態の構成例を示す図である。
【発明を実施するための形態】
【００３６】
以下、本発明の上達支援システムにかかる実施形態を、図面を参照して説明する。
【００３７】
（Ａ）第１実施形態の説明
図１を参照して、本実施形態にかかるスイング上達支援システム１について説明する。図１に示す本実施形態にかかるスイング上達支援システム１は、ユーザ２のスイングを撮影または撮像するスマートホン等の端末（以下、単に端末と記載）２０、端末２０と通信し、画像およびユーザ情報を共有する上達支援システム側ＰＣ１０とを備える。
【００３８】
ＰＣ１０は、ユーザ２の身体部位の外形から導かれる理想のスイング情報が予め記憶されている記憶部１０１と、ユーザ２のスイングを動的画像または静的画像に保存し処理する画像処理部１０２と、端末２０と通信をし合う通信部１０３と、画像処理部１０２で処理した画像を元に画像を解析する解析部１０４と、
ユーザ２のスタンスが許容範囲内にあるか否かを判定する判定する第１の判定部１０６と、
ユーザ２のグリップが許容範囲内にあるか否かを判定する判定する第２の判定部１０７と、
ユーザ２のスタンス幅と体重配分の判定が許容範囲内にあるか否かを判定する判定する第３の判定部１０８と、
ユーザ２の肩と頭のラインの判定が許容範囲内にあるか否かを判定する判定する第４の判定部１０９と、
ユーザ２の両足のつま先と両ひざの向き判定が許容範囲内にあるか否かを判定する判定する第５の判定部１１０と、
ユーザ２のクラブシャフトの傾きの判定が許容範囲内にあるか否かを判定する判定する第６の判定部１１１と、
ユーザ２のドライバーヘッドの置く位置の判定が許容範囲内にあるか否かを判定する判定する第７の判定部１１２と、
ユーザ２のドライバーフェースとボールをセットする位置の判定が許容範囲内にあるか否かを判定する判定する第８の判定部１１３と、
ユーザ２の構えの力みの判定が許容範囲内にあるか否かを判定する判定する第９の判定部１１４と、
ユーザ２の左腕が胸の上に乗っているかの判定が許容範囲内にあるか否かを判定する判定する第１０の判定部１１５と、
ユーザ２の前傾具合と背筋の湾曲と膝の曲げの判定が許容範囲内にあるか否かを判定する判定する第１１の判定部１１６と、
ユーザ２のテークバックから９０度フェースローテーションからトップまでの判定が許容範囲内にあるか否かを判定する判定する第１２の判定部１１７と、
ユーザ２の９０度開いて１８０度戻すフェースローテーションの判定が許容範囲内にあるか否かを判定する判定する第１３の判定部１１８と、
ユーザ２のスイング軸の判定が許容範囲内にあるか否かを判定する判定する第１４の判定部１１９と、
ユーザ２のトップから切り返しでの右脇開きの判定が許容範囲内にあるか否かを判定する判定する第１５の判定部１２０と、
ユーザ２のトップ時の胸と腰の見え方の判定が許容範囲内にあるか否かを判定する判定する第１６の判定部１２１と、
ユーザ２のトップ時のグリップの位置の判定が許容範囲内にあるか否かを判定する判定する第１７の判定部１２２と、
ユーザ２のダウンスイングのリリース方向の判定が許容範囲内にあるか否かを判定する判定する第１８の判定部１２３と、
ユーザ２のダウンスイング時のヒンジング動作の判定が許容範囲内にあるか否かを判定する判定する第１９の判定部１２４と、
ユーザ２のダウンスイングでの腰を回さず、体重移動せずの判定が許容範囲内にあるか否かを判定する判定する第２０の判定部１２５と、
ユーザ２のトップから切り返し時での前倒しの判定が許容範囲内にあるか否かを判定する判定する第２１の判定部１２６と、
ユーザ２のダウンスイング時のツイストの判定が許容範囲内にあるか否かを判定する判定する第２２の判定部１２７と、
ユーザ２の切り返しからダウンスイング時で右肩が落ちる、右腰・右ヒザが前に出ていることの判定が許容範囲内にあるか否かを判定する判定する第２３の判定部１２８と、
ユーザ２のダウンスイングからインパクトまで右足カカトが上らないで、フォローでは勢いで顔が上がってくるかの判定が許容範囲内にあるか否かを判定する判定する第２４の判定部１２９と、
ユーザ２の出玉の方向と球筋の判定が許容範囲内にあるか否かを判定する判定する第２５の判定部１３０とを有する。
【００３９】
記憶部１０１は、ユーザ２の身体部位の外形、すなわち、身長、手の大きさ、胴および足の長さから導かれる理想のスイング情報が予め記憶されている。広域的な右サイド空間領域を主体としたシステム化されたゴルフスイングレッスン情報は、カリキュラムやドリル等を含む文章であっても良いし、画像であっても良いし、レッスン動画、レッスン静止画であっても良い。
【００４０】
画像処理部１０２は、ユーザ２のスイング情報を動画像または静画像情報として保存する。また、画像が判定できない不明確な画像の場合にその画像の修正が必要となるが、ユーザ２の画像が判定できる明確な画像にすべき適切な画像の画質修正処理をする。
【００４１】
通信部１０３は、端末２０と通信するためのものである。動画像または静画像情報のユーザ２のスイング情報をユーザ２の身体および個人情報を端末２０と共有する。通信部１０３は、近距離通信、遠距離通信、無線、有線の通信形式を問わない。
【００４２】
解析部１０４と表示部１０５には、画像処理部１０２で処理した画像を元に画像を解析し表示する連携した通信をする。画像解析によって、画像の画質修正が必要な場合、画像処理部１０２に修正するよう指示を出す。
また、後述する第１から第２５の判定とアドバイス処理部は、それぞれ第１から第２５の判定処理１０６〜１３０自身が個別に処理を行うが、解析部１０４が各個別に判定処理した個人ユーザ及び全ユーザの画像解析を判定処理１０６〜１３０の判定結果に対応した上達支援のアドバイス（音声によるアドバイス＆文章によるアドバイス＆画像によるアドバイス）が、ユーザ自身の頭の中で理解でき、スイングもうまくできたというユーザ感想であればＯＫの判定。逆に、頭の中で理解できていない、スイングもうまくできていないという感想であればＮＯの判定の結果として、その判定結果の各ユーザのデータは全体の総合ビッグデータとしてＡＩ画像解析処理部１５０と連携した双方向通信をして、ＡＩ画像解析処理部１５０でデータの保存をし、ＡＩ画像解析処理部１５０でＡＩによる判定処理解析の一部判定または全部の総合判定処理としてこのＡＩ画像解析処理部１５０で実行しそのデータを解析部１０４にフィードバックして解析部１０４と共有され、広域的な右サイド空間領域を主体とするゴルフスイングを理想としたシステム化されたゴルフスイングレッスンが、この総合されたデータをＡＩ画像解析判定処理により各個別ユーザに適切に蓄積された総合判定、総合判断、総合アドバイス、総合レッスン内容、を基にこのＡＩレッスンＡＩ画像解析判定処理の下で、この本発明のゴルフレッスン支援システム全体が各個別ユーザへのアドバイス精度を自動的に高められていくシステム１で利便性の共有を求めて、ＡＩ画像解析処理を行う。
またシステム構成としての初期では、第１から第２５の判定処理１０６〜１３０とＡＩ画像解析処理部１５０を含めない、全て人間が撮影画像からのデータから判定判断して各個別ユーザにアドバイスをする簡単なＰＣ１０システムから、またそのシステム構成に第１から第２５の判定処理１０６〜１３０をＰＣに含めて、ＰＣ１０と人間が判定判断をして各個別ユーザにアドバイスをするシステムから、またそのシステム構成にＡＩ画像解析処理部１５０を含めて、人間が判定判断をせず、完全にＰＣ１０による第１から第２５の判定処理の最終判定をし、ＡＩ画像解析処理部１５０でＡＩ判定解析の一部判定または全部の総合判定解析としてこのＡＩ画像解析処理部１５０で実行し、ＡＩ画像解析判定処理を同時に使い総合判定を行わせても良いシステムにすることができるものとする。
第１の判定部１０６、第２の判定部１０７、第３の判定部１０８、第４の判定部１０９、第５の判定部１１０、第６の判定部１１１、第７の判定部１１２、第８の判定部１１３、第９の判定部１１４、第１０の判定部１１５、第１１の判定部１１６、第１２の判定部１１７、第１３の判定部１１８、第１４の判定部１１９、第１５の判定部１２０、第１６の判定部１２１、第１７の判定部１２２、第１８の判定部１２３、第１９の判定部１２４、第２０の判定部１２５、第２１の判定部１２６、第２２の判定部１２７、第２３の判定部１２８、第２４の判定部１２９、第２５の判定部１３０、が行うそれぞれの処理の具体的な説明は、後述する。
【００４３】
スマートホン等の端末２０は、ユーザ２のスイングを撮像または撮影する撮影部２０１と、ＰＣ１０と通信を行う通信部２０２と、ＰＣ１０は、ユーザ２の身体情報が入力可能であり、情報を選択して上下左右斜め等の方向にボタン操作が押下げ可能で、ボタン自体の移動も可能な表示部２０３と、ユーザ２に忠告音と音声によるアドバイスと文章によるアドバイスと画像によるアドバイスを発信する発信部２０４と、バイブしてユーザ２に忠告を発信する振動部２０５と新たに機能を追加できるようにする為の予備２０６を有する。
【００４４】
撮影部２０１は、ユーザ２のスイングを画像として取得する。連続した１枚１枚の静的な画像であっても良いし、動画像であっても良い。ユーザ２が自身のスイングを確認するため、もしくは、ゴルフレッスン支援システム側とＰＣ１０が確認するために保存するものである。
【００４５】
通信部２０２は、ＰＣ１０と通信を行い、ユーザ２の情報を共有する。また、撮影部２０１で取得したユーザ２のスイング情報や画像を共有する。通信部２０２は、近距離通信、遠距離通信、無線、有線の通信形式を問わない。
【００４６】
表示部２０３は、ユーザ２の身体情報を入力可能にするとともに情報を表示する。身体情報は、レッスンの会員番号、国籍、名前、性別、身長、胴と足の長さ、足のサイズ、クラブ情報、７Ｉとドライバーの平均飛距離等である。ユーザ２は、表示部２０３に表示された性別、国、使用するクラブ、７Ｉとドライバーの平均飛距離の情報等の項目を選択して上下左右斜め等の方向にボタン操作が押下げ可能とする。身長、胴と足の長さ、足のサイズ、７Ｉとドライバーの平均飛距離等は、数字を入力する。
【００４７】
発信部２０４は、ＰＣ１０の第１から第２５の判定処理部が記憶部１０１に記憶してあるシステム化された広域的な右サイド空間領域を主体とするゴルフスイングの理想のクローズドスタンスの領域範囲からユーザ２のスイングが範囲外にあってＮＯと判定した場合、もしくは、ユーザ２がスイングを１回した後に第１から第２５のいずれかの判定処理部によりスイングが範囲外にあってＮＯと判定された場合、ユーザ２に向けて忠告音＆音声によるアドバイス＆文章によるアドバイス＆画像によるアドバイスを発信部２０４は発信する。
【００４８】
発信部２０４は、ＰＣ１０の第１から第２５の判定処理部がＮＯと判定した場合の各判定部の種類によって、種類が異なる忠告音をユーザ２に向けて発信することが可能である。音の種類は、高音、低音での選択が可能であり、また、ユーザ２が好きなメロディー（曲）にでも選択可能である。
【００４９】
振動部２０５は、発信部２０４が忠告振動音をユーザ２に向けて発信する際、もしくは、単体で振動し、ユーザ２のスイングが正しく無い場合に正しく無い事を認識できるようにしている。後述する説明で、忠告音を発信するとした場合、振動部２０５は、発信部２０４の発信と同時に振動している場合もあり、振動し無い場合もある。ユーザ２やゴルフレッスン支援システム側とＰＣ１０は、それを表示部２０３により選択可能であり、また、あらかじめ設定しておいても良い。
【００５０】
大型モニタ３００は、大型の表示画面を有するものであり、ＰＣ１０の表示部１０５の表示画面をさらに見やすくしている。モニタ３００により、ゴルフレッスン支援システム側は、ユーザのスイングが確認しやすくなる。また、ユーザ２側の端末２０の表示部２０３の表示画面をさらに見やすくするための大型モニタ４００の設置を可能としても良い。ユーザ２は、自分自身のスイングが確認しやすくなる。そのモニタ４００は、練習場に設置されていても良いし、休憩室に設置されていても良い。
【００５１】
次に、第１から第２５の各判定部が行う判定方法を中心として本実施形態にかかるスイング上達支援システムの詳細について説明する。
【００５２】
（スタンス、構え、体重配分判定）
第１の判定部１０６は、スタンス判定処理を中心としてスイング上達支援システムについて説明する。図２は、スタンスがクローズドスタンスでＣ図３は、スタンスがスクエアかオープンスタンスでＮＧを示す図である。図４は、スタンスはクローズドだが肩と腰のラインは飛球線方向に対してスクエアでＯＫを示す図である。
第３の判定部１０８は、図１１は少し右足寄りに体重がかかっている体重配分でＯＫを示す図である。図１２は、体重配分５：５の均等の体重配分でＯＫを示す図である。図１３は左足体重配分でＮＧを示す図である。図１４は、スタンス幅が肩幅より少し広い幅でＯＫを示す図である。図１５はスタンスが広いのでＮＧを示す図である。図１６はスタンス幅が狭くＮＧを示す図である。
【００５３】
図１２に示すように、ユーザ２の重心が左足、右足とも５対５の割合の体重が左右均等か図１１に示すように、若干右足寄りにかけるのが好ましい。
図４に示すように、構えた腰や肩のラインは右に向けずに飛球線方向に対してスクエアにする。
構えた時のグリップの位置は、図１１図１２に示すように、左太ももの内側にセットし、スタンス幅は、図１４に示すように、ドライバー、アイアンとも肩幅よりやや広めにするのが好ましい。第１の判定部１０６は、これらのスタンス、構えではＯＫ判定を出す。ユーザ２がスタンスを取る時に、発信部２０４は、ユーザ２に対し、上述の、クローズドスタンスにするようアドバイスする。
また、発信部２０４は、ユーザ２に対し、第５の判定部１１０は、図２０に示すように、両ひざと両つま先の向きは真正面ではなく、ほんの少し開く感じで外側に向け骨盤が左右に開いて股関節に体重が乗りスイングがスムーズにできるようアドバイスする。
【００５４】
ＰＣ１０の第１の判定部１０６は、端末２０の撮影部２０１が取得した画像により、これらの理想的なスタンスが出来ていないと判定した場合は、端末２０の発信部２０４に忠告音を発信させる。説明した理想的なスタンスは、端末２０やモニタ４００でも、静止画や動画として音声ガイダンスや文書としても確認可能である。これにより、ユーザ２が理想的なスタンスを完成されることが支援される。
【００５５】
（グリップ判定）
図５から図７を用いて、第２の判定部の判定処理を中心とした上達支援システムについて説明する。図５は、グリップがフックグリップでＯＫと判定される図である。図６は、握り方がオーバーラッピングでＯＫと判定される図である。図７は、握り方がテンフィンガーでＯＫと判断される図である。図８は、グリップがスクエアでＮＯと判定される図である。図９はグリップがウィークでＮＯと判定される図である。図１０は、握り方がインターロッキングでＮＧと判定される図である
【００５６】
図５に示すように、ユーザ２の側から見て、左手のナックルが３つ見えているのが好ましい。親指は、長く伸ばすロングサムにすると手首の動きが制限されるので、短くするショートサムにする。図８に示すように、スクエアグリップの場合や、図９に示すようにウィークグリップの場合は、ＮＧである。図８図９に示すようなグリップでは、第２の判定部１０７は、ＮＧ判定を出し、端末２０の発信部２０４は、ユーザ２に対し忠告音を発信させる。第２の判定部１０７でのグリップ判定は、端末２０側から見て取得した画像を元に判定を行っている。発信部２０４は、ユーザ２に対し、図６に示すように、基本の握り方はオーバーラッピンググリップにして右手の感覚を生かせる握り方をするようにアドバイスする。また、スライスが出てしまうユーザは、図７に示すようにテンフィンガーグリップの握り方をするようにアドバイスする。発信部２０４は、ユーザ２に対し、図５に示すように、左手の握り方は左手の甲が上を向くフックグリップで握ります。フックグリップは、まず左手人差し指の付け根から、小指の下側の膨らみにかけて、斜めにグリップを当てます。そこから小指の下の膨らみをグリップの真上に乗せ、人差し指の付け根もグリップの上に置きます。発信部２０４は、ユーザ２に対し、真上からグリップを見た時に、親指と人差し指で出来たラインが右肩の方向をさし、左手のナックル（拳）が３つ見えていれば、正しいフックグリップで握れています。発信部２０４は、ユーザ２に対し、グリップはパーム（手のひら）ではなく、フィンガー（指先）で握ることが大切とアドバイスする。フィンガーで握ると、親指はショートサムのグリップになります。発信部２０４は、ユーザ２に対し、右手の握り方は、右手のひらを左手の平と向きを合わせるように、手のひらを上に向けて、右斜め下からグリップを握ります。人差し指の付け根から、小指の下側の膨らみにかけ、手のひらに対して、斜めにグリップを当てるのは左手と同じです。発信部２０４は、ユーザ２に対し、右手の小指は左手の人差し指の上に軽く乗せたオーバーラッピングで、左手の親指の付け根にある少し出っ張った骨と、右手の平の生命線を合わせるように握り込んでいきます。発信部２０４は、ユーザ２に対し、最後に親指はグリップの真上ではなく、少し左横にズラして置きます。これで正しい右手のグリップは完成です。
発信部２０４は、ユーザ２に対し、この握り方をすると、グリップと手のひらがぴったりと密着せず、適度な隙間ができるはずです。グリップと手のひらを密着させると、手首やひじが固定されてしまいます。隙間があることで、右手の感覚をより生かすことが出来ます。発信部２０４は、ユーザ２に対し、グリップの強さは右１０左０が鉄則で、手首を柔らかく使って、クラブヘッドで円を描くようにしてヘッドを回すことができれば、適度な強さで握れているとアドバイスする。
【００５７】
ＰＣ１０の第２の判定部１０７は、端末２０の撮影部２０１が取得した画像により、これらの理想的なグリップが出来ていないと判定した場合は、端末２０の発信部２０４に忠告音を発信させる。発信部２０４は、ユーザ２に向けて忠告音を発信する。説明した理想的なグリップは、端末２０やモニタ４００でも、静止画や動画として音声ガイダンスや文書としても確認可能である。これにより、ユーザ２が理想的なグリップを完成されることが支援される。
【００５８】
（アドレス）
発信部２０４は、ユーザ２に対し、第１１の判定部１１６は、ユーザ２のアドレスを判定する。アドレスは、図３８に示すような、膝を深くまげ過ぎずに、図３９に示すように膝をピンと伸ばした状態から図３７に示すように、少し膝をゆるめた程度の状態が良く、図３８に示すように、それ以上曲げる必要は無く、また、図３９に示すように、膝をピンと伸ばさないようにアドバイスする。発信部２０４は、ユーザ２に対し、第１０の判定１１５は図３１から図３３に示すように、肩甲骨を開けば可動域は広くなるために、アドレスは左側の肩甲骨の動きを意識しながら、後ろから前に左肩を回して、左腕を上に高く上げます。発信部２０４は、ユーザ２に対し、左腕を地面と垂直になるぐらい高く上げたら、胸の上に左腕を乗せるように真っ直ぐ下します。発信部２０４は、ユーザ２に対し、左の肩甲骨が広がり、左脇もしっかり締まります。この状態でグリップしアドレスをすることをアドバイスする。
【００５９】
発信部２０４は、ユーザ２に対し、第１１の判定１１６は図３５に示すように、アドレスは背中側から見た時、背骨から外側に向かって肩甲骨を広げるような意識を持つと、少し猫背ぎみに背中を丸めて肩甲骨が広がり、肩関節の可動域は大きくなることをアドバイスする。発信部２０４は、ユーザ２に対し、アドレス時の前傾は、クラブを脚の付け根にあてると、股関節から上半身を前傾させる感覚がつかみやすいことをアドバイスする。発信部２０４は、ユーザ２に対し、飛球線後方から見て、上半身と下半身でくの字になるように、股関節から前傾するようにアドバイスする。発信部２０４は、ユーザ２に対し、お尻は高い椅子に腰かけるような感じで、アゴは引かずに前傾するようアドバイスする。
【００６０】
発信部２０４は、ユーザ２に対し、第４の判定部１０９は図１７で示すようにクローズドスタンスで構えたら、右手が下にくるので、上半身の肩のラインは右に少し傾く右足体重で構えます。配分としては、６対４で右足に体重を多く乗せるぐらいの意識でアドレスをすることをアドバイスする。発信部２０４は、ユーザ２に対し、肩のラインは、ゴルフは右手が下にくるので、両肩のラインは少し右肩下がりになって、左肩が高くなるのが自然なので、当然、体全体も少し右に傾きます。右足体重のアドレスで右肩が少し下がっているアドレスになるのが自然だということをアドバイスする。
【００６１】
発信部２０４は、ユーザ２に対し、アドレスでのボールの位置は、７番アイアンからＰＷまではスタンス中央になるようアドバイスする。これを基準にして、クラブが長くなれば中央から左にボールを置き、それより短いＡＷやＳＷになれば中央から右寄りにした位置にボールを置くようにアドバイスする。発信部２０４は、ユーザ２に対し、第７の判定部１１２は図２５に示すように、ドライバーヘッドを構える位置がティーアップしているボールからヘッド１個分ほど離して構えるようにアドバイスする。発信部２０４は、ユーザ２に対し、また、第８の判定部１１３は図２７に示すようにボールの位置はドライバーヘッドのセンターよりややトゥー側のセンターより少し上部分が１番飛ぶフェースポイントであるのでその位置にボールをセットするようにアドバイスする。
【００６２】
ＰＣ１０における第４の判定部１０９は、端末２０の撮影部２０１が取得した画像により、これらの理想的なアドレスが出来ていないと判定した場合は、端末２０の発信部２０４に忠告音を発信させる。発信部２０４は、ユーザ２に向けて忠告音を発信する。説明した理想的なスタンスは、端末２０やモニタ４００でも、静止画、動画としてや音声や文書としても確認可能である。これにより、ほぼ完璧にユーザ２は、理想的なアドレスが完成する。また、第１の判定部１０６および第２の判定部１０７によって判定を行ったスイング画像において、第３の判定部１０８は、ユーザ２の体重配分についての差分、グリップの位置についての差分、スタンス幅についての差分に基づいて、ユーザのアドレスが許容範囲内にあるか否かを判定する。
【００６３】
（テークバック）
第１２の判定部１１７、第１３の判定手段１１８は、図４０から図４２、図４３から図４８、図４９から図５４、に示すように、非常に重要なポイントの部分で、ユーザ２のフェースローテーションが許容できる範囲内にあるか否かを判定する。発信部２０４は、ユーザ２に対し、スイングの始動は、アドレスで左右均等か少し右足寄りに置いた体重配分で、肩のラインは右肩が少し下がっており、右の股関節に向けて体重を移動して乗せるイメージを持つとスイングがし易くなることをアドバイスする。発信部２０４は、ユーザ２に対し、第１２の判定部１１７は図４０から図４２、図４３から図４８、図４９から図５４、に示すように、手先をいっさい使わず、左から右への体重移動を利用して右斜め前方４５度あたりの方向へテークバックのスイングを始動させ、グリップが右ヒザの前を通過したあたりから、右手主体でヒンジングを使って（左手は右手ヒンジングに誘発されて縦のコッキングが入る）クラブを上に引き上げるようアドバイスする。この時の右斜め前方４５度あたりの方向にテークバックする意味は、テークバックをストレートかインサイドに引くイメージだとダウンスイングでアウトサイドインになり易く、右斜め前方４５度あたりの方向にテークバックするとダウンスイングがインサイドから入りやすくなるためである。ほとんどの人がゴルフスイングというのは、テークバックの軌道とダウンスイング軌道は全く同じ軌道を描くのが良いと勘違いしていますが、ゴルフスイングというのは少し８の字を描くのが正解なのだということです。沢山の人がこれに気が付いていない人が大変多いですし、またレッスンプロも敢えてこれを教えていません。これは重要なポイントであることをアドバイスする。発信部２０４は、ユーザ２に対し、地面とクラブが水平ぐらいで９０度開くフェースローテーションが完成して、右サイドを一体化させてバックスイングし、右の股関節の上で体を回転させるイメージをもつことをアドバイスする。
【００６４】
第１２の判定部１１７、第１３の判定手段１１８が、図５５から図５８、図５９から図６２に示すように、「９０度開いて１８０度戻す」のテークバック、ダウンスイングのフェースローテーションが出来ていないと判定した場合、発信部２０４は、ユーザ２に向けて忠告音を発信する。これにより、ユーザ２は、理想的なアドレス、理想的なバックスイング始動、理想的なフェースローテーション「９０度開いて１８０度戻す」が完成する。
【００６５】
ＰＣ１０の第４の判定部１０９、第６の判定部１１１、第７の判定部１１２、第８の判定部１１３、第９の判定部１１４、第１０の判定部１１５、第１１の判定部１１６、第１２の判定部１１７、第１３の判定手段１１８は、端末２０の撮影部２０１が取得した画像により、これらの理想的なアドレス、スイング始動が出来ていないと判定した場合は、端末２０の発信部２０４に忠告音を発信させる。説明した理想的なアドレス、スイング始動は、モニタ４００や端末２０でも、動画としてや文書としても確認可能である。これにより、ほぼ完璧にユーザ２は、理想的なアドレス、テークバックスイングが完成する。
【００６６】
（トップ、切り返し）
発信部２０４は、ユーザ２に対し、第１４の判定部１１９、第１５の判定部１２０は図６３から図６５、図６６、図６７に示し、図４９から図５４に示すように、発信部２０４は、ユーザ２に対し、テークバックでは、手が右ひざの前を通過したあたりで、右肩と腰も一緒に右に回転させるように右手でクラブをできるだけ高くトップまで引き上げることをアドバイスする。図６５に示すように、発信部２０４は、ユーザ２に対し、トップでしっかりと右股関節に体重が乗ると、右サイドを主体に一体化させて、右股関節の上で体を回転させてダウンスイングするイメージが沸いてくる。図６７に示すように、発信部２０４は、ユーザ２に対し、トップから切り返しでは右脇は締めずに開いて、右ひじが浮くフライング・エルボーになるように、アドバイスする。発信部２０４は、ユーザ２に対し、図６６に示すように、切り返しで、クラブをトップの位置に置いたまま、右足小指に乗った体重を、左足親指の付け根に向かって、直線的に移動させるイメージで切り返してくるようにアドバイスする。発信部２０４は、ユーザ２に対し、切り返しで右から左に体重を少し移してやれば、手はそのまま何もしなくても、クラブは自然と下りてくるので、スムーズな切り返しになることをアドバイスする。発信部２０４は、ユーザ２に対し、第１６の判定部１２１、第１７の判定部１２２、は図６８に示すように、トップ時に胸と腰全体の下半身がしっかり見えるように、また、グリップの位置が右耳と右肩の中間位置に上がるように、発信部２０４は、ユーザ２に対し、トップ時に胸と腰全体の下半身がしっかり見え、グリップの位置が右耳と右肩の中間位置に上がるように、テークバック時、右斜め前方に出すテークバックの角度の度合いとクローズドスタンスで右足後ろに引く度合いとで調節することをアドバイスする。
【００６７】
第１４の判定部１１９、第１５の判定部１２０、第１６の判定部１２１、第１７の判定部１２２は、端末２０の撮影部２０１が取得した画像により、トップ、切り返しが許容できる範囲内に無いと判定した場合は、端末２０の発信部２０４に忠告音を発信させる。
【００６８】
（ダウンスイング）
発信部２０４は、ユーザ２に対し、第１８の判定部１２３は、図５９から図６２、図７０から図７２に示すように、ダウンスイングに入ったら、図７３、図７９から図８５に示すように、従来のダウンスイングのタメをつくる動作などは、遠心力がほどけてしまうため一切不要であることをアドバイスする。発信部２０４は、ユーザ２に対し、図７０から図７２に示すように、ダウンスイングに入ったら、釣り竿を投げるように、すぐに右ひじをまっすぐ伸ばしてリリースして、より大きなスイングアークを描くつもりでクラブヘッドを大きく下していきます。発信部２０４は、ユーザ２に対し、第２１の判定部１２６は図９１に示すように、ダウンスイングで右ひじをまっすぐ伸ばしてリリースしてするのと同時に、右ひじを少し内側にねじり、フェースを閉じ始めるきっかけの動作を入れると、フェースローテーションがスムーズに始動します。この一瞬のダウンスイングでこの準備動作「前倒し」を入れないとインパクトでは間に合わなくなるとアドバイスする。ユーザ２は、右サイドを主体として、緩やかな軌道でボールをとらえることができる。発信部２０４は、ユーザ２に対し、図７４に示すように、ダウンスイングでクラブを振り下ろす位置は、右斜め後ろにクラブを下すことで、ヘッドの加速ゾーンを長くとることができることをアドバイスする。
【００６９】
発信部２０４は、ユーザ２に対し、第１９の判定部１２４は、図７５から図７８、図８６で示すように、ダウンスイング時のリリースとヒンジングは、右ひじがリリースしながら右手首が手の甲側から手のひら側にヒンジングしていくことで遠心力が効き、このヒンジング動作により親指の爪側が自分方向に向きながらダウンスイング、インパクト、フォローとスイングしていくことをアドバイスする。発信部２０４は、ユーザ２に対し、ボール１個手前に仮想のボールがあるようなイメージでインパクトを迎えるようにアドバイスする。発信部２０４は、ユーザ２に対し、左手はスイングを邪魔しないように、ただ添えているだけで良いとアドバイスする。発信部２０４は、ユーザ２に対し、ダウンスイングもあくまで右手主体でインパクトするようにアドバイスする。発信部２０４は、ユーザ２に対し、図８７から図８８に示すように、手首のローリング動作で親指爪側が自分の方に向かず、左側に向いてしまうことでチーピンになるので、右手を捻るのだけは絶対しないようにアドバイスする。
【００７０】
発信部２０４は、ユーザ２に対し、右サイド領域主体のスイングの真髄は、体幹を動かさないことで、ダウンスイングからインパクト、フォロースルーまでうごくのは、腕とクラブだけのイメージだとアドバイスする。発信部２０４は、ユーザ２に対し、第２２の判定部１２７は、図９２から図９４に示すように、スイング中に意識するのは右手だけで、左手はクラブに添えているだけです。スイングの「ツイスト」を成功させるためには、「腰は動かさず」「右足を地面に強く踏ん張って右足カカトを上げない」イメージを持って「切り返してダウンスイングに入ったら、すぐ右ひじを伸ばして右斜め後ろにクラブをリリースします」「と同時にダウンスイングで直ぐに右手が左手を追い越すイメージで右手先行のグリップにしてフェースローテーションをしていきます」「右手はインパクト手前で完全に左手を追い越し、さらにクラブヘッドを押し込んで一気にインパクトゾーンを駆け抜けていきます」「追い越された左手は、手首を甲側に折り、同時に左ひじをたためば右手のエネルギーが全てクラブヘッドに伝わる」ことになるのをアドバイスする。発信部２０４は、ユーザ２に対し、腰を動かさないから手だけで振れること、これでツイストは掛かっていて成功していることをアドバイスする。
【００７１】
（インパクト）
発信部２０４は、ユーザ２に対し、第２０の判定部１２５はインパクト時では、図９８にしめすように、右膝、右腰、右肩が一直線になるのが理想で、体の右サイドで押し込んでいくイメージなら、ボールに最大限のパワーを伝えられることをアドバイスする。発信部２０４は、ユーザ２に対し、図８９に示したように、体重移動は意識せず、腰を回さず動かないようにし、胸が後ろを向いた形でインパクトすることがポイントとアドバイスする。発信部２０４は、ユーザ２に対し、図９０に示すように、インパクト時では、下半身主体でのスイングリードの体重移動はしないようにアドバイスする。発信部２０４は、ユーザ２に対し、図１００、図１０１に示すように、インパクトでは右足かかとを上げない意識をもつことでパワーが全開することをアドバイスする。発信部２０４は、ユーザ２に対し、インパクト時では、第２３の判定部１２８は図９８から図９９に示すように、インパクトでは右ヒザを前に出さず、右ヒザをボールの方向に向けるイメージを持つことをアドバイスする。発信部２０４は、ユーザ２に対し、これにより、右サイドに軸ができて、かかとが浮かなくなる。この右ひざの動きに右肩の動きを同調させてあげれば、右サイドを一体化にしたスイングができるとアドバイスする。
【００７２】
第１８の判定部１２３、第１９の判定部１２４、第２０の判定部１２５、第２１の判定部１２６、第２２の判定部１２７、第２３の判定部１２８、は端末２０の撮影部２０１が取得した画像により、これらの理想的なダウンスイング、インパクトのスイングが出来ていないと判定した場合は、端末２０の発信部２０４に忠告音を発信させる。説明した理想的なアドレス、トップ時からインパクト時、ダウンスイング時のスイングは、モニタ４００や端末２０でも、動画としてや文書としても確認可能である。これにより、ほぼ完璧にユーザ２は、理想的なトップから切り返し、ダウンスイング、インパクト、のスイングが完成する。
【００７３】
（フォロー）
発信部２０４は、ユーザ２に対し、フォローというのはダウンスイングからインパクトにかけて加速させてきたクラブヘッドの勢いを、いかに殺さず振り抜くかがポイントであるとアドバイスする。発信部２０４は、ユーザ２に対し、図１０４から図１０５に示すように、従来のスイングのように無理に顔を残そうとしたりするイメージを持つ必要は全くなく、第２４の判定部１２９は図１０２に示すように、頭を残すようなイメージはインパクトの瞬間までで、図１０３に示すように、フォローではインパクトで右サイドの体の押し込みとともに、一緒にヘッドを追うように顔を目標方向に向けて上げるようにとアドバイスする。発信部２０４は、ユーザ２に対し、いわゆるルックアップ打法の方が、フォローではクラブヘッドが減速せずに、ボールにパワーを伝えられるとアドバイスする。
【００７４】
発信部２０４は、ユーザ２に対し、フォローでは、第２５の判定部１３０は図１０６に示すように、体の右半分を目標方向に向けるイメージでクラブと体の動きを同調させて振り抜くこととアドバイスする。フォローで右手のヒンジングの動きが正しく行われていれば、フェースローテーションは自然に行われるとアドバイスする。発信部２０４は、ユーザ２に対し、フォローの時にフェースのトゥーが上を向いて両手親指の爪側が自分の方を向いていればＯＫとアドバイスする、また、いつもこのフォローの形をイメージすることが大切であるとアドバイスする。
【００７５】
（フィニッシュ）
発信部２０４は、ユーザ２に対し、「終わりよければ、すべてよし」で、フィニッシュは、右サイドを一体化させ、目標方向に押し込んでいくイメージでフォローを出していくと、自然と左足に体重が乗り、左足１本でスッと立てるフィッニシュになるとアドバイスする。発信部２０４は、ユーザ２に対し、右の肩が目標方向を指すぐらい、右サイドがグッと出ていくのが理想です。発信部２０４は、ユーザ２に対し、右サイドをしっかり使ったスイングができると、フィニッシュでグリップは低い位置に収まります。目安としては、グリップが左耳のやや横ぐらいの高さにあればＯＫとアドバイスする。もし左耳よりずいぶん高い位置にあれば、左サイドで振る意識が残っている証拠だとアドバイスする。
【００７６】
（ドライバーのスイング）
発信部２０４は、ユーザ２に対し、ドライバーは１４本のクラブの中でもっとも長く、ヘッドも大きいので、アイアンのような感覚で打つと、どうしても振り遅れ易く、インパクトでフェースも開きやすくなるとアドバイスする。発信部２０４は、ユーザ２に対し、スイングアークを大きくすることで、フェースをスクエアに戻すための助走距離が長くなるのと同時に、ボールに対するヘッドの入射角も緩やかになり、低くて長いインパクトゾーンを作ることによって、芯でとらえる確率が高くなり、無駄なバックスピンも減らす事が出来ることをアドバイスする。
【００７７】
発信部２０４は、ユーザ２に対し、クラブの長さがあるドライバーでは、アイアンよりもボールから少し離れて構えます。またスイングプレーンはフラットになり、ヘッド軌道はゆるやかになります。発信部２０４は、ユーザ２に対し、クラブヘッドをボールから１５センチ離して、シャフトと左腕が真っすぐになるように構えることをアドバイスする。発信部２０４は、ユーザ２に対し、ドライバーでは体の中心より左にボールの位置がくるので、ヘッドをボールに合わせて構えると右肩が前に出たアドレスになりやすいため、ヘッドをボールから１５センチ離してシャフトと左腕が真っ直ぐになるような感じで構えることで、アドレスもスクエアになり、最下点以降にインパクトするイメージが沸きやすくなることをアドバイスする。
【００７８】
発信部２０４は、ユーザ２に対し、飛距離を稼ぎたいドライバーと、方向性重視のアイアンでは、トップでのグリッププレッシャーに違いがあることをアドバイスする。発信部２０４は、ユーザ２に対し、いかにヘッドを走らせるかが重要なドライバーであれば、アイアンよりもさらにグリッププレッシャーをゆるめる必要があるとアドバイスする。発信部２０４は、ユーザ２に対し、特に左手プレッシャーが右手より強くなると、左手主体のスイングになりやすいので注意が必要になることをアドバイスする。発信部２０４は、ユーザ２に対し、左手の小指から中指までの３本は、トップでクラブが手のひらの中で遊んでしまうくらいゆるく握ることをアドバイスする。発信部２０４は、ユーザ２に対し、トップでは右手のひらにクラブが乗っていることを感じ、左手は極力緩く握って意識を消す。これが右サイド主体のスイングをするためのコツとアドバイスする。
【００７９】
発信部２０４は、ユーザ２に対し、ドライバーは、実際のボールの１５センチ手前に仮想ボールをイメージし、そのボールを打つ意識でスイングすることをアドバイスする。発信部２０４は、ユーザ２に対し、このイメージを持つことで、ヘッドがより低い位置から下りてきて、フェースが開いて当たるミスを防ぐことができることをアドバイスする。発信部２０４は、ユーザ２に対し、ヘッドが最下点をすぎて、上昇し始めたところでインパクトを迎えられるので、高打ち出しと低スピンの飛ぶ弾道になるとアドバイスする。
【００８０】
発信部２０４は、ユーザ２に対し、「フォローまで頭を残せ」は、スイング理論の常識として、昔からずっとそういわれてきました。しかし、この言葉がアマチュアの上達を妨げてきた大きな原因だとアドバイスする。発信部２０４は、ユーザ２に対し、インパクト以降も無理に頭を残そうとすれば、体の自然な動きにブレーキがかかってしまい、手先でボールにヘッドをぶつけて終わりのスイングにしかならないことをアドバイスする。発信部２０４は、ユーザ２に対し、インパクト以降は、体の回転に逆らわず、顔を一気に目標方向に向けて上げます。頭が一緒に回転することで、ヘッドはさらに加速し、フィニッシュまで一気に振り抜くことができることをアドバイスする。発信部２０４は、ユーザ２に対し、フォローではヘッドを目で追いかけるイメージを持つと、スムーズにヘッドが振り抜けることをアドバイスする。
【００８１】
（練習ドリル）
発信部２０４は、ユーザ２に対し、片手打ちのドリルで、７番アイアンを右手１本で持ち、体の中心から右半分だけを使ってクラブを振る意識で、まずは素振りをするようにアドバイスする。発信部２０４は、ユーザ２に対し、練習場ならゴムティー、芝の上ならティを刺して、それを打つというのも効果的な練習法だとアドバイスする。発信部２０４は、ユーザ２に対し、右手１本で上手くティを叩けるようになったら、実際にボールを置いて打ってみることをアドバイスする。発信部２０４は、ユーザ２に対し、この７Ｉの右手１本ドリルで意識すべきポイントは、右サイドを一体にして動かすこと、ダウンスイングで体や手だけが先行してしまうと、片手でボールを正確にとらえることができないことをアドバイスする。発信部２０４は、ユーザ２に対し、手先だけでボールを打とうとせず、右サイド全体を同調させて動かすイメージだとアドバイスする。発信部２０４は、ユーザ２に対し、実際に両手でクラブを持って打つ時もこの右手１本で打つ感覚を変えないようにすることをアドバイスする。
【００８２】
発信部２０４は、ユーザ２に対し、図１０７から図１１０に示すように、背面打ちのドリルは、左ひじのたたみ方を覚えるのと、右サイドを上手く使えるようにするドリルだとアドバイスする。発信部２０４は、ユーザ２に対し、まず目標方向に対して、完全に背中を向けるように立ち、この状態で背中の方向に向かってボールを打つドリルとアドバイスする。発信部２０４は、ユーザ２に対し、このドリルを行なう第一の目的は、左ひじの使い方を覚えることにあります。左ひじを使うといっても、左サイド主体に振れという意味ではなく、右手の動きを邪魔しないために、左ひじの使い方を覚えるドリルだということをアドバイスする。発信部２０４は、ユーザ２に対し、実際に背面打ちしてみると、左ひじがつっかえ棒のように邪魔をして、目標方向にクラブを振り出しにくいはずとアドバイスする。発信部２０４は、ユーザ２に対し、右サイドを主体にしたスイングで目標方向にヘッドを振っていくには、邪魔な左ひじをたたむ動きが必要になることをアドバイスする。発信部２０４は、ユーザ２に対し、この背面打ちをやると、左ひじのたたみ方を自然に覚えることができ、この状態で頭を残さず、顔を左に向けて振り切り、ボールを目標方向に真っすぐ打ち出すことができれば、右サイドを上手く使えるようになった証拠だとアドバイスする。
【００８３】
発信部２０４は、ユーザ２に対し、図１１１から図１１４に示すように、右足と左足を交差させた状態で打つドリルは、右サイドを主体に使う感覚がつかめるはずとアドバイスする。発信部２０４は、ユーザ２に対し、ボールの位置は左側に置きます。もちろんフルショットはできないので、ハーフショットか肩から肩のスリークォーターショットで構わないとアドバイスする。発信部２０４は、ユーザ２に対し、まずはなにも意識せずに、この足をクロスした状態でボールを打ってみることをアドバイスする。発信部２０４は、ユーザ２に対し、もしフォローでバランスを崩してしまったら、それは左サイド主体でスイングしている証拠だとアドバイスする。発信部２０４は、ユーザ２に対し、足を交差させると、左に体を回転させにくくなるので、左サイド主体で振ると、バランスが崩れてしまうことをアドバイスする。発信部２０４は、ユーザ２に対し、左サイドを主体に回転させるのではなく、手先で振らずに体の正面を目標に向けるイメージで、右サイドを目標方向に出していくようにしていくと、右股関節の上にスイング軸を感じながら、右サイドを一体化させてバランスが崩れることなく、フォローまで振り切れることができることをアドバイスする。
【００８４】
発信部２０４は、ユーザ２に対し、図１１５から図１１７に示すように、ドライバーでの水平素振りのドリルは、通常通りにドライバーを持ち、ちょうど胸の高さくらいをヘッドが通るように、地面と水平にスイングするようにとアドバイスする。発信部２０４は、ユーザ２に対し、このとき胸の高さの位置に置いたヘッドカバーをヘッドで叩いて見る。おそらくほとんどの人はヘッドカバーに当たらず下を通過してしまうはずだとアドバイスする。発信部２０４は、ユーザ２に対し、左手を主体に使ったスイングだと、右手が左手より下にくることが多くなるので、自分が振ろうとしている位置よりヘッドが下がってしまうことをアドバイスする。発信部２０４は、ユーザ２に対し、これが実際のスイングで起これば、当然ボールの手前を打つダフリになることをアドバイスする。発信部２０４は、ユーザ２に対し、スイング中、常に右手が左手より上にある意識を持つと右肩が下がらず、ヘッドが落ちずにカバーを叩くことができることをアドバイスする。発信部２０４は、ユーザ２に対し、このドリルで右手を使ったスイングを覚えれば、ヘッドを通す高さを自在にコントロールできるようになることをアドバイスする。
【００８５】
発信部２０４は、ユーザ２に対し、図１１８から図１１９に示すように、逆持ち素振りドリルは、クラブを逆に持ってスイングするドリルです。両手でなく右手１本で持って行うドリルだとアドバイスする。発信部２０４は、ユーザ２に対し、なぜ右手１本かというと、このドリルはヒンジングの動きを覚えるためのドリルだからだとアドバイスする。発信部２０４は、ユーザ２に対し、左手は縦に動かすコッキング、右手は手の甲やひら側に折るように動くヒンジングが、両手の正しい役割であり使い方であることをアドバイスする。発信部２０４は、ユーザ２に対し、バックスイングで右手のひらを上に向けて上げると、トップで正しい位置にクラブを収めることができないのが理解できることをアドバイスする。発信部２０４は、ユーザ２に対し、右手のヒンジングを使えば、トップで手のひらがクラブに乗り、ヘッドが目標方向を真っすぐ指す正しい位置にスッと収まることをアドバイスする。発信部２０４は、ユーザ２に対し、切り返しからダウンスイングでは右ひじ、右手首の順でリリースしていきますが、このときインパクト前後でビュンと音が鳴るように振るドリルだということをアドバイスする。発信部２０４は、ユーザ２に対し、もしフォローで鳴るようだと、右手のリリースが遅れている証拠なので注意することとアドバイスする。
【００８６】
発信部２０４は、ユーザ２に対し、図１２０から図１２３に示すように、超クローズドスタンスドリルは、両肩のラインはスクエアで、通常のクローズドスタンスから、右足を少なくとも足１足分以上、右足を後ろに引くようにアドバイスする。発信部２０４は、ユーザ２に対し、この体勢でボールを打つが、ボールの位置は左足のつま先の前か、それより左に置きます。まず、クローズドスタンスにしたことで体の左サイドがブロックされ、左へ体が流れにくくなることをアドバイスする。発信部２０４は、ユーザ２に対し、この状態で左足つま先よりさらに左側の外側にある、遠いボールを打とうすると、右サイドが勝手に動いてくることをアドバイスする。発信部２０４は、ユーザ２に対し、つまり目標方向に体の右サイドを押し込んで動かさないとボールを打つことができないので、正しい動きを自然と覚えることができるとアドバイスする。
【００８７】
発信部２０４は、ユーザ２に対し、図１２４から図１２７に示すように、スプリットハンド（両手を離して握る）ドリルは、左手をグリップエンドぎりぎりに握ったら、右手はグリップとシャフトの境目あたりを持ち、両手を離してグリップすることをアドバイスする。発信部２０４は、ユーザ２に対し、この状態で右肩から左肩の高さ位までのスリークォーターショットでフェースの向きを意識しながら、実際にボールを打つようアドバイスする。発信部２０４は、ユーザ２に対し、両手のグリップを離して、体の正面でヘッドが手元を追い越すイメージでスイングすると、通常の両手をつけた時と違い、左手はほとんど動かないほうが上手く打てるはずとアドバイスする。発信部２０４は、ユーザ２に対し、そして右手をしっかり使ってあげないと、インパクトでフェースをスクエアに戻せないことがわかるはずとアドバイスする。発信部２０４は、ユーザ２に対し、スイング中に右手をどんなイメージで使えば良いのか、ボールを打っているうちに自然と覚えられるドリルだとアドバイスする。
【００８８】
（サンドウエッジ）
発信部２０４は、ユーザ２に対し、右手で寄せのアプローチをしていくのに、サンドウエッジ１本で寄せていくのが一番合理的であるとアドバイスする。発信部２０４は、ユーザ２に対し、ピッチエンドランやロブショットやランニングもサンドウエッジ１本でやるのが合理的であるとアドバイスする。発信部２０４は、ユーザ２に対し、８番から９番、サンドウエッジまでを全部使って寄せるほうがミスが少ないという従来レッスンのアドバイスは、アマチュア向きではないとアドバイスする。発信部２０４は、ユーザ２に対し、寄せは、ＳＷ１本で縦の距離感と方向性とボールの打ち出しスピードを自分でイメージできるようにすることをアドバイスする。
【００８９】
発信部２０４は、ユーザ２に対し、サンドウエッジの第一の特徴は、アドレスはハンドファーストでないという点をアドバイスする。  発信部２０４は、ユーザ２に対し、ＳＷはクラブシャフトが地面から垂直に近い形の構えのアドレスになることをアドバイスする。発信部２０４は、ユーザ２に対し、ＳＷはつまり、ボールをつぶして打つというイメージではないということをアドバイスする。発信部２０４は、ユーザ２に対し、第二の特徴は、サンドウエッジのわりにダウンスイング時で「タメ」をつくって打たないということで、７番アイアンのスイングと同じ振り方でＳＷでも振るということをアドバイスする。発信部２０４は、ユーザ２に対し、第三の特徴は、フォローで「サンドウエッジのトゥー」を立てることで、ＳＷのフェースを開閉することがスクエアな動きになることをアドバイスする。
【００９０】
発信部２０４は、ユーザ２に対し、ＳＷは正確な飛距離と方向性が求められるクラブですので、サンドウエッジのスタンスの幅は７番アイアンの半分くらいまで狭めることをアドバイスする。発信部２０４は、ユーザ２に対し、スタンスの向きはオープンにせず、目標に対してスタンスはスクエアにすることをアドバイスする。このほうが右サイドを主体にしたスイングがしやすいからとアドバイスする。発信部２０４は、ユーザ２に対し、体の中心から左サイドの意識を消し、右サイド全体でバックスイングを上げるイメージは、手が右肩にの高さにきたらそこがＳＷのトップだとアドバイスする。
【００９１】
発信部２０４は、ユーザ２に対し、左サイド主体に上から打ち込むのではなく、体の右サイド領域を使いゆるやかな軌道で打つようにアドバイスする。オープンスタンに構えるとスイング軌道は、アウトサイドインになるとアドバイスする。発信部２０４は、ユーザ２に対し、オープンスタンスで構えると、スイングはアウトサイドインになり、入射角も上からはいるため、ロフトの大きいＳＷはインパクトで少しズレただけでも、スピンのかかり方が変わり、縦距離がバラつきやすくなるとアドバイスする。
【００９２】
発信部２０４は、ユーザ２に対し、サンドウエッジのスイングにおいて、右手主体のスイングではダフリやザックリのミスがでないことをアドバイスする。発信部２０４は、ユーザ２に対し、つまり右サイド空間領域を主体に意識した右手主体のスイングは常に右手が左手より上にくるので、ヘッドが下がる事がない。そのため、低く長いインパクトゾーンをイメージできて、ヘッドのソールを滑らせるイメージのスイングができ、これによりボールの手前をダフる事がないことをアドバイスする。発信部２０４は、ユーザ２に対し、ダウンスイングと同時にヒンジングを始め、インパクト前後に右手のヒンジングを正しく使い、フォローではフェースのトゥが上を向くように立てるように右手のヒンジングでヘッドがしっかりフェースターンすることをアドバイスする。発信部２０４は、ユーザ２に対し、これにより、ボールを捕まえることができ、ヘッドスピードがない人でもバックスピンをかけることができるとアドバイスする。発信部２０４は、ユーザ２に対し、つまり、右手主体のスイングだからこそ、ＳＷが持つ機能をフルに発揮することができるとアドバイスする。
【００９３】
発信部２０４は、ユーザ２に対し、正確な飛距離と方向性が重視されるＳＷの場合、スイング中のフェースの向きの管理がとても大切であることをアドバイスする。発信部２０４は、ユーザ２に対し、手首は左手がコッキング、右手がヒンジングと左右で別々の使い方をすることをアドバイスする。発信部２０４は、ユーザ２に対し、従来のレッスンでは、バックスイング、トップでは左手首が甲側に折れず、真っすぐになっているのが正しいと教えていますが、それは間違いだとアドバイスする。発信部２０４は、ユーザ２に対し、少し折れた状態になることをアドバイスする。発信部２０４は、ユーザ２に対し、アドレスした段階ですでに左手首は甲側に少し折れている。その状態から縦にコッキングが入るのですから、トップでもその状態がキープされているのが正解だとアドバイスする。発信部２０４は、ユーザ２に対し、ゴルフスイングにおいて、正しい手首のコッキングができているかということはとても重要です。正しくコッキングができていれば、クラブは自然にオンプレーンに乗ってくれることをアドバイスする。
【００９４】
発信部２０４は、ユーザ２に対し、ＳＷの扱い方を覚えるには、キャリー３０ヤードのショットをマスターすることをアドバイスする。発信部２０４は、ユーザ２に対し、縦の飛距離には個人差が出るので一概には言えないが、大体フルショットの２分の１程度の振り幅になることをアドバイスする。発信部２０４は、ユーザ２に対し、基本は両手を使いますが、右手１本で３０ヤードを打つ練習ドリルをするのも効果的であるとアドバイスする。発信部２０４は、ユーザ２に対し、この時の注意として、決して上から鋭角にボールを打ちこまず、ダウンブローのイメージでは無いことをアドバイスする。発信部２０４は、ユーザ２に対し、インパクトゾーンでは、ヘッドを低く長く動かすイメージを持つようにアドバイスする。
【００９５】
発信部２０４は、ユーザ２がキャリー２０ヤードと１０ヤードのショットを簡単に打ち分けるようにアドバイスする。発信部２０４は、ユーザ２に対し、２０ヤード以下の短い距離では、殆んど手首のコッキングは使わないようにアドバイスする。発信部２０４は、ユーザ２に対し、バックスイングのときもアドレスの手首の角度を変えないように意識して、左から右への小さい体重移動と右サイド全体でクラブを上げていくようアドバイスする。発信部２０４は、ユーザ２に対し、従来のレッスンのように、キャリー２０ヤードと１０ヤードのショット打ち分けをクラブの振り幅で調節するというのは間違いだとアドバイスする。発信部２０４は、ユーザ２に対し、利き腕である右手のスイングなら、簡単に距離の打ち分けも自然にできるようになるとアドバイスする。発信部２０４は、ユーザ２に対し、２０ヤードになると、シャフトは地面とほぼ水平になるが、手首のコッキングは使わないことをアドバイスする。発信部２０４は、ユーザ２に対し、１０ヤードは、シャフトが地面に対して約４５度になるのが、１０ヤードを打つ時のふり幅の目安であることをアドバイスする。発信部２０４は、ユーザ２に対し、２０ヤードと１０ヤードの打ち方でコックを使ったり、大きくバックスイングしてインパクトで緩んだりするスイングは縦距離がバラツいてしまうのでしないことをアドバイスする。発信部２０４は、ユーザ２に対し、利き腕である右手主体のスイングをすることをアドバイスする。そうすると、持って生まれた距離感で距離の打ち分けも自然とできるようになる。
【００９６】
発信部２０４は、ユーザ２に対し、１０ヤード以下を打ち分けるショットをマスターすることをアドバイスする。発信部２０４は、ユーザ２に対し、１０ヤード以下は、手首のコッキングは使わないことをアドバイスする。発信部２０４は、ユーザ２に対し、１０ヤード以下の短いアプローチはグリップを強く握る、つまりグリッププレッシャーを通常よりも強めにして握るようにして、手首の無駄な動きを抑えるようにアドバイスする。発信部２０４は、ユーザ２に対し、従来のレッスンでは、短いアプローチではグリップを短く持つというのが常識ですが、短く持つとクラブのバランスが変わってしまい、ヘッドの重みを感じにくくなって、ヘッドが軽くなると手が前に出やすくなるので注意が必要とアドバイスする。発信部２０４は、ユーザ２に対し、スタンスはスクエアに構えて、クラブのバランスが変わるので、グリップは短く持たないようにアドバイスする。発信部２０４は、ユーザ２に対し、グリップを強めに握り手首を固定して、手首のコッキングは使わず、パターストロークをイメージして振るのがコツであるとアドバイスする。発信部２０４は、ユーザ２に対し、１ヤードショットは、手が白くなるぐらいさらに強く握り締めることをアドバイスする。発信部２０４は、ユーザ２に対し、グリッププレッシャーをフォローの終わりまで緩めないように、早く短く振るのがコツであるとアドバイスする。
【００９７】
発信部２０４は、ユーザ２に対し、グリーン周りのアプローチにおいて、深いラフで５０ヤード打つショットのアドバイスをする。発信部２０４は、ユーザ２に対し、ラフでは、長い芝の中にボールが潜ってしまい、この状況では、左手主体で上から直接ヘッドをボールに入れようとすれば、芝がフェースにからまり、余計に抵抗が強くなってヘッドが抜け無いとアドバイスする。発信部２０４は、ユーザ２に対し、右手主体のスイングはこういう状況でも、芝の抵抗に負けないスイングできるかが大切とアドバイスする。発信部２０４は、ユーザ２に対し、それにはまずグリップを緩めに握ることで、緩めに握れば、手首が柔らかく使えるようになり、ヘッドをビュンと走らせることができるとアドバイスする。発信部２０４は、ユーザ２に対し、右サイド主体に、大きくゆったりとしたスイングでヘッドを低く長く動かし、ボール前後の芝ごと払うイメージで打てば、ラフからでも距離は出せるとアドバイスする。発信部２０４は、ユーザ２に対し、グリップはフルスイングと同じように持って、短く持ちません、そして手首のコッキングを使って、しっかりバックスイングすることをアドバイスする。発信部２０４は、ユーザ２に対し、ヘッドが手元を追い越すように、ヘッドを走らせるようにすることをアドバイスする。発信部２０４は、ユーザ２に対し、スイングは緩めずにフィニッシュまで振り切るようにすることをアドバイスする。
【００９８】
発信部２０４は、ユーザ２に対し、グリーン周りのアプローチで１０ヤード以内のラフからは右サイド主体のロブショットで寄せることをアドバイスする。発信部２０４は、ユーザ２に対し、右サイド主体で打つコツは、まずボールから離れて立ち、ハンドダウンにし、そしてハンドレイトにして構えるようアドバイスをする。発信部２０４は、ユーザ２に対しロブショットを打つためには、大きく振って、インパクト前にヘッドが手を追い越し、ボールの下にフェースを滑り込ませる必要があるので、グリップは極力緩く握り、手首を柔らかく使うようアドバイスする。こうすると、ヘッドをボールの下の隙間にシャローに走らせることが出来るようになる。発信部２０４は、ユーザ２に対し、スイング中は、ゆったりと大きくフィッニシュまで振り抜くようアドバイスする。これにより、簡単にロブショットが打てるようになる。
【００９９】
発信部２０４は、ユーザ２に対し、ＳＷのアプローチでザックリをやらない、右手とソールの使い方をアドバイスする。発信部２０４は、ユーザ２に対し、ＳＷのアプローチでミスを減らすには、ＳＷのバンスを上手に利用することが大事だとアドバイスする。発信部２０４は、ユーザ２に対し、バンスとはＳＷのソールにある膨らみのことで、バンスはフェースのリーディングエッジよりも下に出っ張っており、ヘッドを地面にセットすると最初にバンスが地面に接地して、リーディングエッジが浮くようになっている構造だということをアドバイスする。発信部２０４は、ユーザ２に対し、アマチュアは、左腕とシャフトを一直線にハンドファーストにして、ヘッドを上から打ち込むので、リーディングエッジが地面に刺さってザックリをするミスが出ることをアドバイスする。発信部２０４は、ユーザ２に対し、右サイド主体に振ることで、ボールの手前からＳＷのバンスを滑らせてあげれば、地面に刺さらず、ボールもフェースにしっかり乗ることをアドバイスする。発信部２０４は、ユーザ２に対し、ＳＷはフェースが少し開いた状態がスクエアの状態だという事をアドバイスする。
【０１００】
発信部２０４は、ユーザ２に対し、グリーン周りのアプローチにおいて、ＳＷで足の長いボールで寄せるためには、ＳＷ１本で色々な球筋を使って寄せた方が、シンプルでミスの確立も減らせるとアドバイスする。発信部２０４は、ユーザ２に対し、ＳＷで足の長いランを出して打つ方法は、ボールをスタンスの中央より少し右足寄りに置き、右サイドを主体にしたスイングで、フェースを閉じ気味に少しインサイドに引く意識を持ってテークバックし、フォローではフェースを目標より右に出す感じで、インサイドアウトにボールを包むような感じで打つと、ボールに、軽いフック系の回転がかかり、落ちてからランが出て転がしのアプローチができることをアドバイスする。
【０１０１】
発信部２０４は、ユーザ２に対し、バンカーショットこそ、右サイド主体に右手で打つスイングが重要だとアドバイスする。発信部２０４は、ユーザ２に対し、ロブショットの同様に、スタンスは、オープンには構えず、目標に対してスクエア、足は砂に埋めない、アドレスの体重配分は左右均等か、若干右足に多く掛け、ボールから離れてハンドレイト、ハンドダウンに構えてコンパクトに振るようアドバイスする。発信部２０４は、ユーザ２に対し、あとはグリップを緩く握ってヘッドを走らせ、ボール前後の砂を一緒に飛ばすように、大きくゆったりしたスイングで、打ち込んで終わりはＮＧで、フィニッシュまで振り抜いていくことをようアドバイスする。
【０１０２】
発信部２０４は、ユーザ２に対し、ただしバンカーショットでの手首の使い方をアドバイスする。発信部２０４は、ユーザ２に対し、ただ脱出するだけではなく、ピンにしっかり寄せていくためには手首の使い方にコツがあるとアドバイスする。発信部２０４は、ユーザ２に対し、バンカーショットは、グリップを緩く握ってヘッドを走らせるが、この時にフォローでフェースのトウを起こすような使い方をするとリーディイングエッジが砂に刺さり易くなることをアドバイスする。発信部２０４は、ユーザ２に対し、バンスはヘッドが砂に潜ってしまうのを防ぐためにあるので、バンスを活かして右手のヒンジングを使って、右手首を手のひら側に折るようにして、フォローでフェース面が自分の顔の方に向くようにして振り抜くようにアドバイスする。発信部２０４は、ユーザ２に対し、こうするとバンスが効いて、リーディイングエッジが砂に潜り込みにくくなります。また、砂の取れる量が一定になり、距離感が合うようになるのでピンに寄せることができることをアドバイスする。発信部２０４は、ユーザ２に対しこれはロブショットでも共通するポイントで、バンカーショットでは、通常のショットのようなフェースターンではないことを理解することをアドバイスする。
【０１０３】
発信部２０４は、ユーザ２に対し、目玉のバンカーショットでは、右サイド主体のスイングでは、このときだけスタンスは、ほんの少しオープンに構え、フェースは閉じずに若干開きます。ボール位置は通常のバンカーショットと同じで、左足カカト線上にセットし、あとは通常のバンカーショットと同じように打つだけとアドバイスする。発信部２０４は、ユーザ２に対しフェースは閉じずに開いて打てば、目標に真っすぐ飛ばすことができます。発信部２０４は、ユーザ２に対し、目玉のバンカーショットでは、通常のバンカーショットよりは上から打ち込むイメージだが、右サイド主体で打っていくようにアドバイスする。
【０１０４】
発信部２０４は、ユーザ２に対し、フェースを大きく開いたＳＷの練習ドリルをアドバイスする。発信部２０４は、ユーザ２に対し、まずボールを置いて、通常のスクエアのアドレスをとったら、フェースを大きく開いて構え、通常と同じバックスイングするようにアドバイスする。発信部２０４は、ユーザ２に対し、しっかり右サイドを使ってスイングし、インパクトでフェースをスクエアに戻すようアドバイスする。発信部２０４は、ユーザ２に対し、この時、ボールが右に飛び出さず、目標方向に真っすぐ飛べば、右サイドを一体化させ、正しくリストを使って振るのに効果的な練習ドリルだとアドバイスする。
【０１０５】
（７番フェアウエイウッド）
発信部２０４は、ユーザ２に対し、従来の手のひらを返すように、腕や手首のローリングを使ってフェースターンさせるような左サイド主体のスイングでは、７Ｗの持つメリットが活かすことができないことをアドバイスする。発信部２０４はユーザ２に対し、正しいグリップで正しい手首の使い方をし、右サイド主体にスイングしてやれば、ヘッドは低い位置に入り、低く長くに抜けていくゆるやかなスイングにするようアドバイスする。発信部２０４は、ユーザ２に対し、左手のコッキングと右手のヒンジングでターンさせれば左へのチーピンのミスは怖く無いことをアドバイスする。
【０１０６】
発信部２０４は、ユーザ２に対し、７Ｗなどのショートウッドはグリーンを直接狙ったり、次打が打ちやすいところにレイアップしたりとスコアメイクの武器になる応用範囲が広いクラブだという事をアドバイスする。発信部２０４は、ユーザ２に対し、グリップの余りで、距離を打ち分けることをアドバイスする。７Ｗで通常１８０ヤード飛ぶ人なら、グリップの真ん中くらいで短く持てば、１０ヤード落ち、グリップのシャフト近くを持てば、２０ヤード落ちて１６０ヤードになることをアドバイスする。発信部２０４は、ユーザ２に対し、右サイド主体のスイングなら、ヘッドの入射角が一定になり、インパクトが点ではなくゾーンでボールを捉えることができ、スイングを変えなくても、グリップを持つ位置を変えれば飛距離をコントロールできることをアドバイスする。発信部２０４は、ユーザ２に対し、右サイド右手主体だと７Ｗで飛距離を出したい時はグリップを長く持つと、打ち出しの弾道は高くなる。飛距離を抑えたい、弾道を抑えたい時はグリップを短く持つ、どのくらい落ちるのかは練習で試すことをアドバイスする。
【０１０７】
発信部２０４は、ユーザ２に対し、７Ｗで高低を打ち分けることができるようになれば、スコアメイクに役に立つことをアドバイスする。発信部２０４は、ユーザ２に対し、高低の打ち分け方法は、アドレスの構えを変えるだけであるとアドバイスする。発信部２０４は、ユーザ２に対し、ポイントは、肩のラインの向きで、ボールを高く上げたいときは、アドレスで左肩を上げて右肩を下げて構え、目線を高くするようアドバイスする。発信部２０４は、ユーザ２に対し、逆にボールを低く打ちたいときは、アドレスで左肩を下げて右肩を上げて構え、目線を低くするようアドバイスする。ただし、左肩を下げても右手は下にあるので、肩のラインは地面と平行に近づくだけとアドバイスする。
【０１０８】
発信部２０４は、ユーザ２に対し、右サイド主体のスイングなら短くてロフトのある７Ｗで、傾斜地からもやさしく打てるのが大きなメリットということをアドバイスする。発信部２０４は、ユーザ２に対し、７Ｗの傾斜地からのショットは、アドレスが重要になることをアドバイスする。発信部２０４は、ユーザ２に対し、左足上がりのライのアドレスは斜面に対して平行にしません、肩のラインは若干斜面に逆らうように地球に対して垂直に立ってアドレスするようにアドバイスする。発信部２０４は、ユーザ２に対し、ウエイトは左右５分５分に掛けますが、意識としては左足に少しウエイトが掛かる感じとアドバイスする。発信部２０４は、ユーザ２に対し、ボールの位置は、通常のボールの位置は真ん中にボールを置いて、スタンスはクローズドスタンスにし、また、クローズドスタンスは傾斜地においては基本条件だとアドバイスする。発信部２０４は、ユーザ２に対し、左足上がりの傾斜だと若干バックスイングがインサイドに入って、アウトサイドに出るので、ボールはフック系のボールになるため、それを計算して少しだけ右を狙って打つようにアドバイスする。発信部２０４は、ユーザ２に対し、傾斜がきつくなった時、ダウンスイングの時に右肩が落ちやすくなるため肩を落とさ無いように斜面に強く逆らって立つようにアドバイスする。発信部２０４は、ユーザ２に対し、全てのスイングに共通だが、右肩は平らなところでもアドレスで構えた高さよりもダウンスイングで肩を落とさないようにし、同じ肩の高さで右手を振っていくようにようアドバイスする。発信部２０４は、ユーザ２に対し、この左足上がりのライではボールが簡単に上がるので飛ぶ距離が短くなるので、クラブは１番手か２番手上げたクラブで打つようアドバイスする。
【０１０９】
発信部２０４は、ユーザ２に対し、７Ｗの左足下がりのライの打ち方は、まず、クローズスタンスにするようアドバイスする。通常であれば左足土踏まずラインに右足つま先がくる位置にあるクローズドスタンスにするようアドバイスする。傾斜がもっときつければ靴１足分かそれ以上右足を引くようアドバイスする。発信部２０４は、ユーザ２に対し、アドレスは斜面に対して平行に構えます。ウエイトは、左足に体重が乗り、発信部２０４は、ユーザ２に対し、右サイド主体に斜面に沿ってヘッドを振り抜き、左足の内側に軸があると思って軸回転させてスイングするようにアドバイスする。
【０１１０】
発信部２０４は、ユーザ２に対し、７Ｗのつま先上がりのライの打ち方は、グリップの位置よりも高い位置にボールがあるので、アドレスはクローズドスタンスでつま先立ちをしてアドレスするようにアドバイスする。発信部２０４は、ユーザ２に対し、グリップの位置よりも高い位置にボールがあるので、まずグリップを短く持って、素振りをしてみます。下の芝を擦らずに空振りしたらグリップを短く持ち過ぎという事なので、下の芝を擦るくらいの適正なグリップの位置を最初に確認して見つけることをアドバイスする。発信部２０４は、ユーザ２に対し、両足の親指付け根に体重を掛け、ウエイトは左右５分５分にし、ボールの位置はいつもの位置より少し右側にすることをアドバイスする。発信部２０４は、ユーザ２に対し、目標よりも少しだけ右を狙うようにして、あとは右サイド主体に振っていくだけとアドバイスする。
【０１１１】
発信部２０４は、ユーザ２に対し、７Ｗのつま先下がりのライの打ち方は、スタンスはクローズドスタンスで、ただし、このライはトップのミスが出やすいので、アドレスで膝の角度を曲げて調節していくことで、ボールとの距離が遠くなりすぎないようにすることをアドバイスする。発信部２０４は、ユーザ２に対し、グリップはいつものフルショットと同じくらい長く持ち、ボールの位置は真ん中よりやや内側で、トップは高く上げないようにして、７割〜８割のスリークォーターショットで打つようにアドバイスする。
【０１１２】
発信部２０４は、ユーザ２に対し、７Ｗのフェアウエイバンカーでのショットは、グリップを１フィンガーか２フィンガー短く握って持つようアドバイスする。発信部２０４は、ユーザ２に対し、１番手か２番手大きいクラブを短く持ってダフリにくくして、大振りせずコンパクトに振るようアドバイスする。発信部２０４は、ユーザ２に対し、ボールの位置は左かかと線上にセットし、足は砂に埋めないで、トップは若干コンパクトにし、打ち方は、右サイド主体にボールを横から払うイメージで打ち、フィニッシュまでしっかり体を回しきって打つようアドバイスする。
【０１１３】
（パター）
パターにおけるパッティングで重要なのは、方向性と距離感である。距離感を持っているのは、右利きの人は右手である。発信部２０４は、ユーザ２に対し、発信部２０４は、ユーザ２に対し、パターは、スイングやショットとは真逆で、飛ばす必要は全く無いとアドバイスする。飛ばさないようにして打つのがパターのコツであるアドバイスする。
【０１１４】
スイングやショットでは飛ばすために支点を１点にしてヘッドに遠心力を掛けてヘッドを走らせて飛ばすようにアドバイスしたが、パターの場合は、逆にヘッドが走らないように支点のグリップとヘッドを同時に動かして飛ばないように平行スライドさせることを発信部２０４は、ユーザ２に対し、アドバイスする。発信部２０４は、ユーザ２に対し、グリッププレッシャーも飛ばさないように打つので強めにして手首を固定するようアドバイスする。そしてパッティンググリップは、左右とも手のひらに対してグリップが斜めになるように全体で包むようにして、親指はグリップの上に軽くのせて両ひじが斜め後ろを指した感じで軽く脇が閉まる感じで構えるよう発信部２０４は、ユーザ２に対し、アドバイスする。発信部２０４は、ユーザ２に対し、握りは、逆オーバーラッピンググリップで握り、パッティングはグリップとヘッドを平行にスライドさせ大きく左右に動いて手のひら全部で打つような感じで打つようアドバイスする。発信部２０４は、ユーザ２に対し、また通常のショットのグリップ同様に親指が人差足より下に出ないショートサムで握るようアドバイスする。発信部２０４は、ユーザ２に対し、左手は軽く添える程度で、右手１本で打つ意識がポイントであることをアドバイスする。
【０１１５】
発信部２０４は、ユーザ２に対し、パッティングは、ゆっくりテークバックしてゆっくり押し出すようアドバイスする。距離感は、振り幅ではなくて手を左右に動かすスピードである。発信部２０４は、ユーザ２に対し、パターだけは、絶対ヘッドアップしないようにアドバイスする。発信部２０４は、ユーザ２に対し、スタンスは飛ばす必要がないので、ＳＷのスタンスと同じくらいかやや狭めで、ボールの位置はヘッドがスタンスの真ん中で、シャフトが地面と垂直になるように構えるアドバイスをする。発信部２０４は、ユーザ２に対し、ボールは、必然的に真ん中より少し左側にくる。ボールとの距離で目の真下よりボール２〜３個分外側に置くことが重要であるとアドバイスする。これにより、右サイド主体のストロークがし易くなり、軌道も安定する。
【０１１６】
正しいパッティングは、支点が一つの振り子運動では決して無い。右手を主体にしてグリップとヘッドが同時に平行に動かすイメージで、フォローでもシャフトは地面と垂直に動くようアドバイスする。Ｕの字を描くような上下軌道ではなく、ヘッドは地面スレスレを低く長く動く平行にストロークすることが大切であると発信部２０４は、ユーザ２に対し、アドバイスする。そうすれば距離感は合う。フェースターンの開閉はパッティングでは不必要なことなので、それがこのストロークでは起こりにくいため、フェースの芯でボールをとらえられるため安定する。パターは、２〜４度ロフトがついているので、ヘッドを低く長く動く平行ストロークすることで転がりが一定になる。肩の回転を意識した振り子式のストロークは、フォローで右肩が前に出やすく、フェースの向きが変わり易いため間違いであること認識するよう発信部２０４は、ユーザ２に対し、アドバイスする。
【０１１７】
この両ひじから先を使った動きのパターの平行ストロークは、右手を主体にしてグリップとヘッドが同時に平行に動かし易くストロークが安定すると発信部２０４は、ユーザ２に対し、アドバイスする。構えた両ひじは、斜め後ろの方向を指す。ショートパットでは、ボールとカップが両方見える位置の目線で構えたスタンスで打つよう発信部２０４は、ユーザ２に対し、アドバイスする。ロングパットは、カップを見ながら、ラインとは別に、カップまでの距離を３等分して、まず１/３の距離を素振りするよう発信部２０４は、ユーザ２に対し、アドバイスする。次に２/３の距離を素振りして、最後にカップまでの距離を素振りするようアドバイスする。３回素振りしてからパッティングにはいることで距離感のイメージを作るように準備する。いつも同じ手順を踏むことで、リズムよくストロークできるようになる。また、パターはヘッドの形で打ち方が変わり、パターを手のひらに乗せてみると、Ｌ字型のパターのようにヘッドのトウが下に下がるタイプのＬ字型パターは、ショットの感覚に近く、ヘッドの開閉を少し使う必要性が出てくる。
【０１１８】
またパターを手のひらに乗せてみて、フェースが上を向くフェースバランスのパターなら、フェースの向きを変えずにストレートに平行に動かすストロークが合うパターになり、右手主体のパッティングでは、フェースの向きを変えずにヘッドを低く長く動かすストロークをする打ち方をすることから、ネオマレット型に代表されるフェースが上を向くフェースバランスのパターが最も適合すると言える。発信部２０４は、ユーザ２に対し、スライスラインを打つ時はいつもよりボールを左に寄せてハンドレイトに少しするようアドバイスする。これにより、目標の左に打ち出し易くなる。発信部２０４は、ユーザ２に対し、フックラインは、ボールをスタンス中央寄りにするようアドバイスする。これにより、軽いハンドファーストになりフックラインに乗せ易くなる。発信部２０４は、ユーザ２に対し、グリーンのラインを読むときには足裏の感覚を研ぎ澄ますようアドバイスする。発信部２０４は、ユーザ２に対し、グリーン上で両ひざの高さの感覚が平面に立った平行時の膝の高さの両膝感覚と、グリーン傾斜に立った時にどの位、左右の両膝の高低差があるか、足裏と両膝の感触で何％の傾斜かを感覚的に掴むようにできるようにすることで、具体的に自分の目安でグリーン周りの高低差を読むようアドバイスする。
【０１１９】
発信部２０４は、ユーザ２に対し、パターの練習で重要なのは方向性と距離感で、グリップは強めに握り手首を固定します。グリップとヘッドは同時に一緒に、地面と平行に動かす意識でスライドさせてストロークするよう心がけることをアドバイスする。距離感はふり幅ではなくて右手のスピードです。ラウンド前に練習グリーンでやると効果的で、練習で右手１本でも意外にタッチが合うことに気が付くはずである。発信部２０４は、ユーザ２に対し、右手１本と両手打ちを交互にすると良いとアドバイスする。また自分が打った後にボールがどう転がってどう止まるのかをしっかりと見ておくよう発信部２０４は、ユーザ２に対し、アドバイスする。そうすると、打つ前のイメージをより明確にできる。パッティングのストロークを安定させるには、右手手首の角度がポイントになる。この角度がアドレスから変わらないように固定してストロークすることで、ヘッドの軌道は安定する。発信部２０４は、ユーザ２に対し、右手１本で打つ練習をするときも、この右手手首の角度が変わらないようにするようようアドバイスする。
【０１２０】
ＰＣ１０の各第１から第２５の判定部は、端末２０の撮影部２０１が取得した画像により、これらの理想的なスイングが出来ていないと判定した場合は、端末２０の発信部２０４はユーザ２に忠告音＆音声ガイダンスによるアドバイス＆文章によるアドバイス＆画像によるアドバイスを発信部２０４から発信させる。説明した理想的なスイングは、モニタ４００や端末２０でも、忠告音＆音声によるアドバイス＆文章によるアドバイス＆画像によるアドバイスとして確認可能である。これにより、ほぼ完璧にユーザ２は、理想的なスイングの習得が完成する。
【０１２１】
次に、従来の問題点を含ませ、それを解決している本実施形態のスイング上達支援システムが成し得る効果について説明する。
【０１２２】
本実施形態で説明したように、ユーザにゴルフスイングを早く習得させるために、システム化された広域的な右サイド空間領域を主体とするゴルフスイング上達支援は、スタンスは、クローズドスタンスを標準スタンスにしており、また、グリップはフックグリップを標準グリップとしている。握り方はオーバーラッピングかテンフィンガーを標準の握り方としている。リードする手、腕は、現在の主流は左手、左腕を基本と言われているが、本システム化したゴルフスイング上達支援でのリードする手、腕は、右手、右腕を標準としている。
【０１２３】
現在主流となっているゴルフレッスンは、身体の回転を意識したもので、肩を９０度、腰を４５度回し。ダウンスイングでは、右ひじは右脇腹に素早くつけて、タメを作り、シャフトを立てて、ヘッドアップをしないで打ち終わってフォローまでボールのあったところを見続ける。そしてアイアンではダウンブローに打ち、胸と腕で作る三角形を崩さないなどなど現在主流となっているようなゴルフレッスンではクラブヘッドをいかに活かし動かすかということには全く関心がなく、身体を動かすことだけを主にしているため、この現在主流の左サイドを主体としたスイングはアマチュア向きではないということをユーザに対し提唱することができる。
【０１２４】
また、ゴルフスイングで飛ばすために必要なことというのは、右サイド、右手主体でクラブヘッドに遠心力を掛けてやってスイングする。遠心力を掛けるには、なるべく支点つまり身体を動かさないで、クラブヘッドを丸く振ると遠心力が掛かる。だから自分が動いてしまうと、つまり身体が移動してしまうと遠心力は、逆に減速してしまいます。遠心力を強く掛けるためには、自分は、なるべく動かないで、支点を逆方向に動かす位でないとヘッドの遠心力は掛からない。だから左手で持って肩を回してクラブを振るというのでは逆効果で、身体を早く回そうとすればするほど遠心力は掛かってこない。従って現在主流のゴルフは、当然、筋力をつける必要があったり、腕力が必要であったり、握力が必要であったりする訳で、右手主体のスイングでは、全く筋力も腕力も握力も特別に必要無い。
【０１２５】
さらに、上手く遠心力をクラブに掛けることができさえすれば、どんな方でも、どんな年齢の方でも、どんな体格の方でも、簡単にボールが飛んでいきます。昔から右手を使うのはダメだと言われ続けていますが、それは間違いです。逆に左手は添えているだけで良く。正しい右手の使い方というのは、フェースローテーションを９０度開いたものを１８０度閉じるだけで良く。本実施形態にかかるスイング上達支援システムによれば、少なくとも、判定、忠告、アドバイス（音声ガイダンス・文章アドバイス・画像提供）により、これらを無意識にユーザがスイングできるようになるまで支援するとともに早くスイング技術が上達することを可能としている。
【０１２６】
以上、本発明について実施例を用いて説明したが，本発明の技術的特許請求の範囲は上記実施例に記載の範囲には限定されない。上記実施例の他に、現在主流の左手左サイド主体のゴルフスイングや他のゴルフスイング、または多種多様な他のスポーツ種目の画像解析処理による上達支援システム技術に応用又は変更又は改良を加えることが可能であることは当事業者に明らかであり。その様な応用又は変更又は改良を加えた形態も本発明の技術的特許請求の範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２７】
端末２０およびＰＣ１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）プログラムを展開、上記するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置などを備えている。本発明の目的は、上述した機能を実現するソフトウェアである端末２０およびＰＣ１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録したものを、端末２０およびＰＣ１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１２８】
例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いられる。
【０１２９】
また、端末２０およびＰＣ１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１３０】
（Ｂ）第２実施形態の構成の説明
つぎに、本発明の第２実施形態について説明する。図１２８は、本発明の第２実施形態の構成例を示す図である。なお、図１２８において、図１と対応する部分には同一の符号を付してその説明を省略する。図１２８では、図１と比較すると、端末２０の予備部２０６が入力部２０６に置換されている。また、図１２８では、ＰＣ１０がＰＣ５０に置換され、ネットワーク３０を介して端末２０と接続されている。
【０１３１】
ここで、端末２０の入力部２０６は、例えば、表示部２０３に重畳されたタッチパネル等によって構成され、ユーザ２の操作に応じた情報を生成して出力する。
【０１３２】
ネットワーク３０は、例えば、インターネット等によって構成され、通信部２０２と通信部５０２の間で情報の授受を可能とする。なお、端末２０は、例えば、図示しない基地局等を介してネットワーク３０に接続される。
【０１３３】
ＰＣ５０は、記憶部５０１、通信部５０２、画像記憶部５０３、特徴点特定部５０４、判定処理部５０５、判定結果出力部５０６、フィードバック処理部５０７、および、大型モニタ３００を有している。なお、大型モニタ３００は、除外される構成としてもよい。
【０１３４】
記憶部５０１は、各ユーザ２の属性情報（氏名、性別、ユーザＩＤ、身長、体重、ゴルフのスコア、ユーザのクラブ番手ごとの飛距離等）、教師のデータ、強化学習のパラメータ、ユーザ２に対するアドバイス等を記憶している。また、記憶部５０１は、判定処理部５０５、判定結果出力部５０６、および、フィードバック処理部５０７と接続され、これらとの間で情報の授受が可能とされている。
【０１３５】
通信部５０２は、ネットワーク３０を介して端末２０の通信部２０２との間で所定のプロトコルに基づいて情報を授受する。また、通信部５０２は、画像記憶部５０３、判定処理部５０５、判定結果出力部５０６、および、フィードバック処理部５０７と接続され、これらとの間で情報を授受可能とされている。
【０１３６】
画像記憶部５０３は、通信部５０２を介して端末２０から受信したユーザの画像（動画）を記憶する。特徴点特定部５０４は、画像記憶部５０３に記憶されている画像に写っているユーザ２の特徴点（身体の特定の部分、ゴルフクラブ、ボール等）を特定する。
【０１３７】
判定処理部５０５は、ユーザ２の画像と、教師の画像とを比較し、ユーザ２のフォームの良否を判定する。
【０１３８】
判定結果出力部５０６は、判定処理部５０５による判定結果を出力する。フィードバック処理部５０７は、判定結果出力部５０６から出力される判定結果に基づいて、ユーザ２に対して、フォームの得点およびフォームの改善点に関するアドバイス等をフィードバックする機能を有する。
【０１３９】
大型モニタ３００は、フィードバック処理部５０７から出力されるフォームの得点およびフォームの改善点に関するアドバイス等を表示と画像記憶部５０３のユーザ画像等を表示する。
【０１４０】
図１２９は、図１２８に示す判定処理部５０５の詳細な構成例を示している。図１２９の例では、判定処理部５０５は、関連フレーム抽出部６１−１〜６１−２５、画像調整部６２−１〜６２−２５、および、判定部６３−１〜６３−２５を有している。なお、記憶部５０１は、図１２８に示す記憶部５０１と同じものである。
【０１４１】
ここで、関連フレーム抽出部６１−１〜６１−２５は、ユーザ２の動画に含まれる複数のフレームから、判定の対象となるフレームをそれぞれ特定して抽出する。
【０１４２】
画像調整部６２−１〜６２−２５は、フレームに写っているユーザ２の画像と教師の画像とが比較可能になるようにユーザ２の画像の大きさおよび角度等を調整（規格化）する処理をそれぞれ実行する。
【０１４３】
判定部６３−１〜６３−２５は、ユーザ２の画像と、教師の画像とを比較し、所定の判定基準に基づいて、ユーザ２のスイングのフォームの良否をそれぞれ判定し、判定結果をそれぞれ出力する。なお、判定部６３−１〜６３−２５は、図１に示す、第１の判定部〜第２５の判定部に対応し、これらと同様の項目を判定する。
【０１４４】
（Ｃ）第２実施形態の動作の説明
つぎに、本発明の第２実施形態の動作について説明する。ユーザ２が端末２０を操作して、ＰＣ５０のＵＲＬ（Uniform Resource Locator）を指定してアクセスしたとすると、端末２０とＰＣ５０の間で、認証処理が開始され、ＰＣ５０の記憶部５０１に記憶されている属性情報によってユーザ２の正当性が確認された場合には、端末２０とＰＣ５０の間でセッションが張られて情報の授受が可能となる。なお、ＵＲＬを指定してアクセスするのではなく、後述する処理を実行するソフトウェアを、アプリケーションソフトウェアとして端末２０に登録しておき、当該アプリケーションソフトが起動された場合には、自動的にＰＣ５０にアクセスし、認証処理が実行されるようにしてもよい。
【０１４５】
つぎに、ユーザ２は、評価を受けようとするスイングの種類等を指定する。例えば、ユーザ２は、ドライバーによるスイングの評価を受けることを、入力部２０６を操作して指示する。ユーザ２によって入力されたこのような情報は、通信部２０２およびネットワーク３０を介してＰＣ５０に送信される。
【０１４６】
ＰＣ５０では、通信部５０２がネットワーク３０を介して伝送された情報を受信し、判定処理部５０５に供給する。判定処理部５０５は、このような情報を受信し、ユーザ２がドライバーのスイングの評価を受けようとしていることを認識する。そして、関連フレーム抽出部６１−１〜６１−２５、画像調整部６２−１〜６２−２５、および、判定部６３−１〜６３−２５のうち、ユーザ２から指示された内容に対応する部分が動作可能な状態となる。
【０１４７】
つぎに、ユーザ２は、端末２０の撮影部２０１による撮像を可能な状態として、自身のスイングを撮像する。この結果、撮像された動画は、通信部２０２によってネットワーク３０を介してＰＣ５０に送信される。
【０１４８】
ＰＣ５０では、通信部５０２がネットワーク３０を経由して送信された動画を受信し、画像記憶部５０３に記憶する。
【０１４９】
図１３０は、画像記憶部５０３に記憶される動画の一例を示している。図１３０の例では、ユーザ２のスイングを撮像した動画は、複数のフレームｕ１〜ｕｎ（ｎ＞１）によって構成されている。なお、フレームは、例えば、図１２８に示す端末２０の撮影部２０１のフレームレート（例えば、２０ｆｐｓ（Frame per Second））に応じた枚数の画像から構成される。例えば、フレームレートが２０ｆｐｓの１０秒間の動画であれば、２０×１０＝２００フレームの画像を含んでいる。
【０１５０】
特徴点特定部５０４は、画像記憶部５０３に記憶されたユーザ２のスイングを撮像した動画を取得して、フレームに分解するとともに、それぞれのフレームに写っているユーザ２の特徴点を特定する。例えば、図１３０の例では、フレームｕ１〜ｕｎのそれぞれに写っているユーザ２の画像の特徴点（左右の側頭部、左右の肩、左右の肘、左右腕、左右の手、クラブの元、クラブの先端、左右の腰、左右の膝、および、左右のつま先等）を特定する。なお、特徴点を特定する方法としては、深層学習を利用した技術（例えば、「Open Pose」等）を利用することができる。もちろん、これ以外の技術を使用してもよいことはいうまでもない。また、特徴点として頭部、左右の側頭部、左右の肩、胸、左右の胸、背筋のライン、左右の腕、左右の肘、左右の手首、左右の手の甲、左右の手のひら、左右の指、グリップ、シャフト、クラブのフェース面、ヘッドのリーディングエッジ、ヘッドのトップ、クラブのネック、クラブヘッド、左右の腰、左右の膝、および、左右のつま先、左右の踵、ボールの出玉の軌跡等を特定するようにしてもよい。
【０１５１】
図１３１は、フレームｕ１に写ったユーザ２の特徴点を抽出した例を示している。図１３１の例では、ユーザ２の画像の左右の側頭部、左右の肩、左右の肘、左右の手、クラブの元、クラブの先端、左右の腰、左右の膝、および、左右のつま先が特徴点として特定されるとともに、これらの特徴点を結ぶ線分が表示されている。なお、図１３１に示す特徴点は一例であって、これら以外の特徴点を特定するようにしてもよい。例えば、前述したように、頭部、左右の側頭部、左右の肩、胸、左右の胸、背筋のライン、左右の腕、左右の肘、左右の手首、左右の手の甲、左右の手のひら、左右の指、グリップ、シャフト、クラブのフェース面、ヘッドのリーディングエッジ、ヘッドのトップ、クラブのネック、クラブヘッド、左右の腰、左右の膝、および、左右のつま先、左右の踵、ボールの出玉の軌跡等を特定するようにしてもよい。
【０１５２】
つぎに、判定部６３−１〜６３−２５のうち、ユーザ２の指示に対応する部分は、記憶部５０１から教師の模範とする画像（以下「教師画像」と称する）を取得する。例えば、いまの例では、ユーザ２は、ドライバーのスイングの評価を求めているので、判定部６３−１〜６３−２５のうち、ドライバーのスイングに関連する部分は、記憶部５０１からドライバーのスイングに関する教師画像を取得する。
【０１５３】
図１３２は、教師画像の一例を示している。図１３２の例では、教師画像には、教師の画像と、教師の特徴点とが示されている。なお、図１３２の例では、教師の左右の側頭部、左右の肩、左右の肘、左右の手、クラブの元、クラブの先端、左右の腰、左右の膝、および、左右のつま先が特徴点として示されるとともに、これらの特徴点を結ぶ線分が示されている。なお、前述したように、頭部、左右の側頭部、左右の肩、胸、左右の胸、背筋のライン、左右の腕、左右の肘、左右の手首、左右の手の甲、左右の手のひら、左右の指、グリップ、シャフト、クラブのフェース面、ヘッドのリーディングエッジ、ヘッドのトップ、クラブのネック、クラブヘッド、左右の腰、左右の膝、および、左右のつま先、左右の踵、ボールの出玉の軌跡等を特定するようにしてもよい。
【０１５４】
つぎに、関連フレーム抽出部６１−１〜６１−２５は、ユーザ２の動画に含まれる複数のフレームから、判定の対象となるフレームを特定して抽出する。なお、対象となるフレームを特定する方法としては、例えば、教師画像の特徴点と、各フレームの特徴点とを比較し、各特徴点間の位置の差分値の絶対値を求め、絶対値の総和が小さいものを対象となるフレームとして特定することができる。この結果、例えば、スタンス幅について判定する場合には、教師画像と同じ特徴点を有し、スタンスが写っているフレームを選択して抽出する。なお、関連フレームの抽出処理は、後述する画像調整処理と、合わせて実行するようにしてもよい。また、関連するフレームを特定する方法としては、例えば、ニューラルネットワークを目的となる教師画像を用いて学習（例えば、深層学習）させ、当該教師画像に類似するフレームをニューラルネットワークによって特定するようにしてもよい。
【０１５５】
画像調整部６２−１〜６２−２５は、フレームに写っているユーザ２の画像と教師の画像とが比較可能になるようにユーザ２の画像の大きさおよび角度等を調整（規格化）する処理を実行する。より詳細には、教師画像の特徴点と、ユーザ２の画像の特徴点とを比較し、各特徴点間の位置の差分値の絶対値を求め、絶対値の総和が最も小さくなるように、ユーザ２の画像を調整する。なお、調整には、画像サイズの変更だけでなく、画像の縦横比の変更、画像の回転、画像の切り抜き、画像のコントラストの変更、画像のエッジ強調（高い空間周波数成分の強調）上下左右にずらす、上下左右を反転、拡大縮小、斜めにゆがめる等も含むものとする。
【０１５６】
図１３３および図１３４は、画像調整部６２−１〜６２−２５の処理の一例を示す図である。画像調整部６２−１〜６２−２５は、図１３３および図１３４に示すように、教師のフレームｔ１と、ユーザ２のフレームｕ１とを比較可能となるようにユーザ２の画像の大きさおよび角度等を調整（規格化）する処理を実行する。その結果として、図１３４のような調整後のユーザ２のフレームｕ１を得ることができる。
【０１５７】
判定部６３−１〜６３−２５は、ユーザ２の画像と、教師の画像とを比較し、所定の判定基準に基づいて、ユーザ２のスイングの良否を判定し、判定結果を出力する。なお、関連フレーム抽出部６１−１〜６１−２５によって抽出するフレームの種類や、画像調整部６２−１〜６２−２５による画像の調整の程度／内容によって、判定結果が異なることも想定されるので、判定結果については、関連フレーム抽出部６１−１〜６１−２５および画像調整部６２−１〜６２−２５にフィードバックし、最適な結果を出力するようにする。
【０１５８】
例えば、スタンスの良否を判定する判定部６３−１は、クローズドスタンスである教師画像と、ユーザ２の画像を比較し、これらの左右の膝、左右のつま先の位置関係から、ユーザ２と教師画像のスタンスが異なっている場合（例えば、ユーザ２がスクエアスタンスまたはオープンスタンスである場合）には、否であると判定する。また、判定部６３−３は、教師画像と、ユーザ２の画像を比較し、ユーザ２のスタンス幅と体重配分が許容範囲内にあるか否かを判定する。より詳細には、スタンス幅に関しては、教師画像の左右のつま先位置と、ユーザ２の画像の左右のつま先位置を比較し、これらの差分値が所定の閾値以下である場合には、良であると判定する。また、体重配分については、教師画像とユーザ２の画像の頭、両肩、腰の位置から重心位置をそれぞれ計算し、重心位置の差分値が所定の閾値以下である場合には良であると判定することができる。もちろん、これ以外の方法で判定してもよい。
【０１５９】
なお、判定部６３−２，６３−４〜６３−２５についても、前述の場合と同様に、教師画像とユーザ２の画像を比較することで、ユーザ２のスイングの良否を判定する。
【０１６０】
具体的な判定方法としては、例えば、特徴点同士の面積（例えば、教師画像とユーザ２の画像の左手の甲の面積）を比較する方法、特徴点同士を結ぶ線分の角度（例えば、左右の肩を結ぶ線分の角度）を比較する方法、手の指の位置関係を比較する方法、特徴点の位置関係から体重配分を推定して比較する方法、ボールと特徴点との位置関係を比較する方法、線分が囲んだ面積比、軸を設定することで特徴量の左右上下に分けたベクトルの方向性と大きさ等、に特徴量の重さを設定する方法等がある。もちろん、前述した以外の方法で判定するようにしてもよい。
【０１６１】
つぎに、判定部６３−１〜６３−２５は、関連フレーム抽出部６１−１〜６１−２５に対して、対象となるフレームを意図的に前後するように指示するとともに、画像調整部６２−１〜６２−２５に対して画像を再度調整するようにそれぞれ指示する。判定部６３−１〜６３−２５は、その結果として得られるユーザ２の画像に対して、判定処理を再度実行する。判定部６３−１〜６３−２５は、再度の判定処理の結果が、前回の結果よりも良好である場合には、良好である方をそれぞれ採用し、良好でない場合には前回の結果をそれぞれ採用する。このように、抽出するフレームを変更したり、画像の調整を変更したりして、判定処理を繰り返すのは、適切でないフレームが選択されたり、適切でない調整がされた画像に基づいて誤判定がされることを防止するためである。
【０１６２】
判定部６３−１〜６３−２５は、前述のような処理を何度か繰り返した後、判定結果をそれぞれ出力する。判定部６３−１〜６３−２５から出力された判定結果は、判定結果出力部５０６を介して、フィードバック処理部５０７に供給される。
【０１６３】
フィードバック処理部５０７は、判定結果出力部５０６を介して判定部６３−１〜６３−２５を取得する。
【０１６４】
フィードバック処理部５０７は、以下の処理によってスイングの得点を採点する。また、フィードバック処理部５０７は、以下の処理によって、アドバイスを表示するとともに、強化学習によって最適なアドバイスの表示手順等を学習する。
【０１６５】
まず、スイングの得点Ｓｃの計算については、例えば、フィードバック処理部５０７は、判定部６３−１〜６３−２５から出力される判定結果Ｄｉ（ｉ＝１〜２５）（例えば、結果が良である場合は“１”で表され、否である場合には“０”で表される）に対して重み係数Ｗｉを乗算して総和を計算することで得ることができる。もちろん、これ以外の方法で算出するようにしてもよい。なお、重み係数Ｗｉについては、例えば、それぞれのユーザのベストスコアやハンデとの相関関係を有するように、例えば、重回帰分析等を用いて設定することができる。また、ユーザの右サイド空間領域の重み係数の値を相対的に大きくすることで、ユーザの右サイド空間領域を優先的に評価するようにしてもよい。
【０１６６】
【数１】
2019166311.tif 000003
・・・（１）
【０１６７】
また、強化学習としては、例えば、以下の式（２）で示すＱラーニングを利用することができる。
【０１６８】
Ｑ（Ｓｔ，ａ）←（１−α）Ｑ（Ｓｔ，ａ）＋α（ｒ＋γｍａｘＱ）・・・（２）
【０１６９】
なお、式（２）において、Ｑ（Ｓｔ，ａ）は、状態行動価値を示し、Ｓｔはユーザ２の状態を示し、ａは行動（ここではアドバイス）を示し、ｒは報酬を示し、αおよびγは予め設定する定数を示し、ｍａｘＱは、アドバイスによって遷移した先の状態で最も大きなＱ値を示している。
【０１７０】
Ｑラーニングに関する詳細な動作について説明する。まず、フィードバック処理部５０７は、判定部６３−１〜６３−２５から取得した判定結果を、ユーザ２の状態Ｓｔとして設定する。ここで、Ｓｔは、例えば、２５ビットの情報であり、判定部６３−１〜６３−２５から出力される判定結果がそれぞれのビットに割り当てられる。例えば、判定部６３−１の出力は、結果が良である場合は“１”で表され、否である場合には“０”で表される。仮に、良である場合には、Ｓｔの第１ビット（ＬＳＢ（Least Significant Bit））は、“１”に設定される。第２〜第２５ビットは、同様にして、判定部６３−２〜６３−２５のそれぞれの結果に応じてビットの状態が設定される。
【０１７１】
つぎに、フィードバック処理部５０７は、状態Ｓｔに対応するアドバイスのうち、Ｑ値が最も高いアドバイスを記憶部５０１から選択する。Ｑ値とは、前述したように、強化学習であるＱラーニングにおける、状態行動価値を示す。すなわち、状態Ｓｔを構成する複数のビットが“０”（否）である場合、ユーザ２のフォームの複数の箇所が適切でないと判断されるが、その場合に該当する箇所を修正するためのアドバイスを全て提示すると、ユーザ２は、これらのアドバイスの全てに同時に対応することは困難である。
【０１７２】
このため、例えば、スタンスに関するビットである第１ビット（クローズドスタンス）と第３ビット（スタンス幅および体重配分）がともに“０”（否）である場合には、まず、クローズドスタンスを修正するためにアドバイス「右足を少し下げてクローズドスタンスにしてください。」を選択し、つぎに、「スタンス幅をもう少し確保してください。」を選択し、「右足への体重配分を少し増加させてください。」を選択することで、ユーザ２に確実にフォームを修正させることができる。なお、アドバイスが提示される順序は、Ｑラーニングによって学習され、最適な提示の順序が決定される。すなわち、前述したアドバイスの提示例は、一例であって、これ以外の順序でアドバイスを選択したり、異なる内容のアドバイスであったりしてもよい。
【０１７３】
フィードバック処理部５０７は、前述した式（１）によって求めたスイングの採点結果を、通信部５０２を介して端末２０に送信する。また、フィードバック処理部５０７は、記憶部５０１から選択したアドバイスを、通信部５０２を介して、端末２０に送信する。この結果、端末２０の表示部２０３には、フィードバック処理部５０７によって選択されたアドバイスと、採点結果が表示される。
【０１７４】
図１３５は、表示部２０３に表示される画面の一例を示している。図１３５の例では、画面にはユーザ２の動画の１フレームが表示されている。また、画面の上部にはユーザ２の動画を再生する際に操作される確認再生ボタンと、教師の動画を再生する際に操作される教師動画再生ボタンが表示されている。また、画面の右下にはスイングの得点として「得点＝８７」と、アドバイスとして「右足を少し下げてクローズドスタンスにしてください。」が表示される。このようなアドバイスを端末２０から音声として出力するようにしてもよい。なお、確認再生ボタンが操作された場合には、画像記憶部５０３に記憶されているユーザ２の動画が通信部５０２を介して端末２０に送信されて再生される。また、教師動画再生ボタンが操作された場合には、記憶部５０１に記憶されている教師動画が通信部５０２を介して端末２０に送信されて再生される。
【０１７５】
つぎに、フィードバック処理部５０７は、提示されたアドバイスに基づいてユーザ２がフォームを改善した後、再度、端末２０によって動画を撮像して送信した場合には、前述の場合と同様の処理が再度実行される。判定処理部５０５は、改善後の動画に対する判定結果を出力し、フィードバック処理部５０７に供給する。フィードバック処理部５０７は、供給された判定結果に基づいて、ユーザ２の状態Ｓｔを特定する。
【０１７６】
つぎに、フィードバック処理部５０７は、ユーザ２の状態Ｓｔに基づいて、報酬ｒを計算する。例えば、フィードバック処理部５０７は、アドバイスによって、ユーザ２の状態Ｓｔに含まれる“０”（否）の数が減少している場合には、報酬ｒ＝１とし、それ以外の場合には報酬ｒ＝０とする。例えば、状態Ｓｔの３ビットが“１”である場合に、改善によって状態Ｓｔの４ビットが“１”になった場合には、“１”が増加したとして報酬ｒ＝１とする。
【０１７７】
フィードバック処理部５０７は、以上の結果に基づいて、式（２）に示すＱ値を計算する。
【０１７８】
以上の処理は、ユーザ２のフォームが改善されるまで、繰り返し実行されるので、強化学習によって、フォームの状態に応じた適切なアドバイスの提示順序が学習される。このようにして学習されたシステムを用いることで、ユーザは、スイングのフォームを効率よくかつ迅速に改善することができる。また、複数のユーザに対して、強化学習処理を実行することで、より普遍性の高い学習結果を得ることができる。
【０１７９】
つぎに、図１３６および図１３７を参照して、第２実施形態において実行される処理の一例について説明する。
【０１８０】
図１３６は、ＰＣ５０において実行される処理の一例を説明するためのフローチャートである。図１３６に示すフローチャートの処理が開始されると、以下のステップが実行される。
【０１８１】
ステップＳ１０では、通信部５０２は、ネットワーク３０を介して端末２０からユーザ２の動画を取得する。例えば、通信部５０２は、ネットワーク３０を介して、ユーザ２のドライバーによるスイングを撮像した動画を取得し、画像記憶部５０３に記憶させる。
【０１８２】
ステップＳ１１では、特徴点特定部５０４は、ステップＳ１０で取得され、画像記憶部５０３に記憶されている動画をフレームに分解する。この結果、例えば、２０ｆｐｓの１０秒間の動画は、２００枚のフレームに分解される。
【０１８３】
ステップＳ１２では、特徴点特定部５０４は、ステップＳ１１で得られた各フレームの特徴点を特定する。例えば、特徴点特定部５０４は、深層学習を利用した技術（例えば、「Open Pose」等）を利用することで、各フレームに写っているユーザ２の特徴点を抽出する。
【０１８４】
ステップＳ１３では、関連フレーム抽出部６１−１〜６１−２５のそれぞれは、判定する内容に関連するフレームを特定する。例えば、スタンスの良否を判定する関連フレーム抽出部６１−１は、スタンスが写った教師画像と同じ位置関係の特徴点を有するフレームを特定する。
【０１８５】
ステップＳ１４では、関連フレーム抽出部６１−１〜６１−２５のそれぞれは、ステップＳ１３で特定したフレームをそれぞれ抽出する。例えば、スタンスの良否を判定する関連フレーム抽出部６１−１は、ステップＳ１３で特定された教師画像と同様のスタンスが写っているフレームを抽出する。
【０１８６】
ステップＳ１５では、画像調整部６２−１〜６２−２５は、ステップＳ１４で抽出された関連するフレームを、教師画像に応じて調整する処理を実行する。例えば、画像調整部６２−１〜６２−２５は、図１３３および図１３４に示すように、ユーザ２のフレームを、教師画像に応じて調整する。
【０１８７】
ステップＳ１６では、判定部６３−１〜６３−２５のそれぞれは、判定対象となる内容に関連する教師画像を記憶部５０１から取得し、取得した教師画像から特徴点を特定する。
【０１８８】
ステップＳ１７では、判定部６３−１〜６３−２５のそれぞれは、ステップＳ１６で特定したユーザ２の特徴点と、ステップＳ１６で特定した教師画像の特徴点とを比較する。
【０１８９】
ステップＳ１８では、判定部６３−１〜６３−２５は、関連フレーム抽出部６１−１〜６１−２５によって抽出するフレームを調整するとともに、画像調整部６２−１〜６２−２５によるフレームの調整を調整する処理である調整処理を継続するか否かを判定し、調整処理を継続すると判定した場合（ステップＳ１８：Ｙ）にはステップＳ１３に戻って前述の場合と同様の処理を繰り返し、それ以外の場合（ステップＳ１８：Ｎ）にはステップＳ１９に進む。
【０１９０】
ステップＳ１９では、判定部６３−１〜６３−２５は、調整処理の繰り返しにおいて最もよい判定結果を出力する。なお、判定部６３−１〜６３−２５から出力された判定結果は、判定結果出力部５０６を介してフィードバック処理部５０７に供給される。
【０１９１】
ステップＳ２０では、判定部６３−１〜６３−２５は、処理を繰り返すか否かを判定し、処理を繰り返すと判定した場合（ステップＳ２０：Ｙ）にはステップＳ１０に戻って前述の場合と同様の処理を繰り返し、それ以外の場合（ステップＳ２０：Ｎ）には処理を終了する。
【０１９２】
つぎに、図１３７を参照して、図１２８に示すフィードバック処理部５０７において実行される処理について説明する。図１３７に示すフローチャートの処理が開始されると、以下のステップが実行される。
【０１９３】
ステップＳ３０では、フィードバック処理部５０７は、図１３６のステップＳ１９で出力された判定結果を取得する。この結果、判定部６３−１〜６３−２５による判定結果が取得される。
【０１９４】
ステップＳ３１では、フィードバック処理部５０７は、ステップＳ３０で取得した判定結果を、前述した式（１）に適用して、得点Ｓｃを計算する。
【０１９５】
ステップＳ３２では、フィードバック処理部５０７は、ステップＳ３１で計算した得点Ｓｃを、通信部５０２を介して端末２０に送信し、端末２０の表示部２０３に表示させる。この結果、表示部２０３には、例えば、「得点＝８７」が表示される。
【０１９６】
ステップＳ３３では、フィードバック処理部５０７は、ステップＳ３０で取得したユーザ２のスイングのフォームの判定結果に基づいてユーザ２の状態Ｓｔを特定する。より詳細には、例えば、判定部６３−１〜６３−２５の判定結果が良である場合には、２５ビットから構成されるＳｔの対応するビットを“１”とし、判定結果が否である場合には対応するビットを“０”とする。
【０１９７】
ステップＳ３４では、フィードバック処理部５０７は、ステップＳ３３で特定したユーザ２の状態Ｓｔから対応するアドバイスの有無を特定する。例えば、状態Ｓｔに対応するアドバイスが存在するか否かを特定する。
【０１９８】
ステップＳ３５では、フィードバック処理部５０７は、ステップＳ３３においてユーザ２の状態Ｓｔに対応するアドバイスの存在が特定された場合（ステップＳ３５：Ｙ）にはステップＳ３６に進み、それ以外の場合（ステップＳ３５：Ｎ）にはステップＳ３９に進む。
【０１９９】
ステップＳ３６では、フィードバック処理部５０７は、ステップＳ３４で特定されたアドバイスを、通信部５０２を介して端末２０に送信し、端末２０の表示部２０３に表示させる。この結果、表示部２０３には、例えば、アドバイス「右足を少し下げてクローズドスタンスにしてください。」が表示される。
【０２００】
ステップＳ３７では、フィードバック処理部５０７は、アドバイスを提示した後の判定結果を判定結果出力部５０６から取得する。より詳細には、アドバイスを提示した後に、ユーザ２がアドバイスに応じてフォームを改善し、再度、動画を撮像して送信したとする。その場合、端末２０から送信された動画は通信部５０２によって受信され、画像記憶部５０３に記憶される。判定処理部５０５は、特徴点特定部５０４によって特定されたユーザ２の画像の特徴点と、記憶部５０１に記憶されている教師画像の特徴点を比較し、判定結果を出力する。
【０２０１】
ステップＳ３８では、フィードバック処理部５０７は、ユーザ２の状態Ｓｔを特定する。より詳細には、例えば、判定部６３−１〜６３−２５の判定結果が良である場合には、２５ビットから構成される状態Ｓｔの対応するビットを“１”とし、判定結果が否である場合には対応するビットを“０”とする。
【０２０２】
ステップＳ３９では、フィードバック処理部５０７は、前述した式（２）の報酬ｒを計算する。より詳細には、フィードバック処理部５０７は、状態Ｓｔを構成するビットの“１”（良）が増加した場合には、報酬ｒを“１”とし、それ以外の場合には“０”とする。例えば、３ビットが“１”である状態から、４ビットが“１”である状態に変化した場合には報酬ｒを“１”とし、それ以外の場合には報酬ｒを“０”とする。
【０２０３】
ステップＳ４０では、フィードバック処理部５０７は、Ｑ値を計算する。より詳細には、フィードバック処理部５０７は、以上の結果に基づいて、式（２）に示すＱ値を計算する。
【０２０４】
ステップＳ４１では、フィードバック処理部５０７は、処理を繰り返すか否かを判定し、処理を繰り返すと判定した場合（ステップＳ４１：Ｙ）にはステップＳ３０に戻って前述の場合と同様の処理を繰り返し、それ以外の場合（ステップＳ４１：Ｎ）には処理を終了する。
【０２０５】
以上の処理によれば、前述した動作を実現することができる。
【０２０６】
（Ｄ）第３実施形態の構成の説明
つぎに、図１３８を参照して、本発明の第３実施形態の構成例について説明する。なお、図１３８において、図１２８と対応する部分には同一の符号を付しているのでその説明は省略する。図１３８では、図１２８と比較すると、ＰＣ５０がＰＣ７０に置換されている。また、大型モニタ４０がスマートディスプレイ４０−１〜４０−３に置換されている。
【０２０７】
ＰＣ７０は、通信部５０２、画像記憶部５０３、フレーム分解部７１、フレーム分類用多層ニューラルネットワーク７２、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５、および、得点計算部７５、アドバイス提示部７４、および、大型モニタ３００を有している。
【０２０８】
ここで、フレーム分解部７１は、端末２０から送られてきた動画をフレームに分解して出力する。
【０２０９】
フレーム分類用多層ニューラルネットワーク７２は、多層ニューラルネットワークによって構成され、フレームに写っているユーザ２のフォームの部位（例えば、アドレス、テークバック、バックスイング、トップオブスイング、ダウンスイング、インパクト、フォロースルー、フィニッシュ等）に応じてフレームを分類し、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５に供給する。
【０２１０】
第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５は、前述した第１の判定部１０６〜第２５の判定部１３０に対応する注目点に基づいてユーザ２のスイングのフォームの良否を判定するとともに、得点を出力する。
【０２１１】
得点計算部７５は、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５から出力される得点を総合し、フォームの総合点を計算する。
【０２１２】
アドバイス提示部７４は、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５から出力される判定結果に基づいて、ユーザ２のフォームの評価および改善点に関する情報を提示する。また、ユーザ２の問い合わせに対応するアドバイス提示部７４から取得して例えば、ＡＩチャットボットのＦＡＱでユーザ２に提示するようにしてもよい。
【０２１３】
図１３９は、フレーム分類用多層ニューラルネットワーク７２および第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５の構成の一例を示す図である。図１３９に示す例は、入力層、中間層、および、出力層の７層からなるニューラルネットワークである。各層は、複数のユニットを有している。各ユニットは、複数の入力ｘ１，ｘ２，・・・，ｘｎに対して、以下の式（３）および式（４）に基づいて出力ｚを計算する。なお、ｗ１，ｗ２，ｗ３，・・・，ｗｎは、重み係数であり、ｂはバイアスであり、ｆ（）は、活性化関数である。
【０２１４】
【数３】
2019166311.tif 000004
・・・（３）
【０２１５】
【数４】
2019166311.tif 000005
・・・（４）
【０２１６】
なお、図１３９は一例であって、これ以外の多層ニューラルネットワークを用いるようにしてもよい。例えば、中間層が５層以外であってもよい。また、各層のユニット数は、図１３９に示す以外の個数であってもよい。さらに、ユニット間の結合の態様は、図１３９以外であってもよい。
【０２１７】
図１３８に戻って、スマートディスプレイ４０−１〜４０−３は、ユーザ２が頭部に眼鏡と同様の態様で装着し、通信部２０２から、例えば、電波によって送信される映像情報を、スマートグラスやヘッドマウントディスプレイのゴーグル内に内蔵されるディスプレイに表示する。また外部ディスプレイとして単独か複数のスマートディスプレイにスイング映像やスイング情報、ゴルフ場の風景等を表示する。
【０２１８】
（Ｅ）第３実施形態の動作の説明
つぎに、第３実施形態の動作について説明する。ユーザ２が自身のスイングのフォームを端末２０で動画として撮影し、ネットワーク３０を介してＰＣ７０に送信すると、動画はネットワーク３０を介してＰＣ７０に受信される。ＰＣ７０では、通信部５０２が動画を受信して、画像記憶部５０３に記憶させる。
【０２１９】
画像記憶部５０３に記憶された動画は、フレーム分解部７１に供給される。フレーム分解部７１は、動画をフレームに分解し、フレーム分類用多層ニューラルネットワーク７２に供給する。
【０２２０】
フレーム分類用多層ニューラルネットワーク７２は、例えば、７層のニューラルネットワークによって構成され、入力されたフレームに写っているユーザ２のフォームの部位によってフレームを分類し、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５のいずれか１つまたは複数に供給する。
【０２２１】
より詳細には、フレーム分類用多層ニューラルネットワーク７２は、例えば、ＣＮＮ（Convolutional Neural Network）によって構成される。ＣＮＮは、入力層、Convolution層、Pooling層、Convolution層、Pooling層、全結合層、および、出力層を有している。
【０２２２】
入力層は、フレームの画像が入力される。Convolution層は、入力されるデータに対して畳み込み演算を行い、特徴量を算出する。Pooling層は、特徴量に対して圧縮処理を施し出力する。全結合層は、算出した特徴量に対して、重み付き和を算出する。出力層は、例えば、以下の式（５）に示すSoftMax関数によって、特徴量を分類して出力する。
【０２２３】
2019166311.tif 000006
・・・（５）
【０２２４】
ここで、下付のｋはｋ番目のユニットを示し、上付きの（Ｌ）はＬ番目の層を示している。また、出力層ｌ＝Ｌの各ユニットｋ（＝１，・・・，Ｋ）の総入力は、１つ下の層のｌ＝Ｌ−１の出力を元にして、以下の式（６）によって与えられる。これを元にして、出力層のｋ番目のユニットの出力を前述した式（５）によって表すことができる。SoftMax関数では、ｙ１，・・・，ｙＫの総数が１になることを特徴とする。
【０２２５】
2019166311.tif 000007
・・・（６）
【０２２６】
以上のように構成される多層ニューラルネットワークに対して、例えば、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５のそれぞれによる判断の対象となる注目点を含む教師画像（理想的なフォームの画像）を用いて学習処理を実行する。この結果、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５のそれぞれによる判断の対象となる注目点を含むフレームが入力されたときに、対応するユニットの出力の値が他のユニットに比較して大きくなる。例えば、第１判定用多層ニューラルネットは、ユーザ２のスタンスの良否を判定するので、ユーザ２のスタンスが写っているフレームがフレーム分類用多層ニューラルネットワーク７２に入力された場合には、第１判定用多層ニューラルネットワーク７３−１に対応するユニットであるｙ１の出力が“１”または“１”に近い値となり、それ以外が“０”または“０”に近い値となる。
【０２２７】
フレーム分解部７１から供給されるフレームは、フレーム分類用多層ニューラルネットワーク７２による分類結果に基づいて、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５のいずれかまたはこれらの複数に供給される。
【０２２８】
第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５は、フレーム分類用多層ニューラルネットワーク７２によって分類されたフレームを入力し、教師画像による学習結果に基づいて、フォームの評価を行い、評価結果を、例えば、０〜１の間の数値として出力する。
【０２２９】
より詳細には、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５は、例えば、前述のように、入力層、Convolution層、Pooling層、Convolution層、Pooling層、全結合層、および、出力層を有するＣＮＮによって構成される。
【０２３０】
第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５は、一例として、理想的なフォームである１または複数の教師画像によって学習処理がされるとともに、悪いフォームの類例である１または複数の画像（以下「反面教師画像」と称する）によって学習処理がされている。例えば、複数の理想的な教師画像によって学習処理が施され、ユーザ２のフォームが理想的な教師画像に類似している場合には、例えば、出力ｙ１が“１”となり、他の出力が“０”となる。また、ユーザ２のフォームが第１反面教師のフォーム（例えば、スタンス幅が十分でない）に類似している場合には、出力ｙ２が“１”となり、他の出力が“０”となる。さらに、ユーザ２のフォームが第２反面教師のフォーム（例えば、クローズドスタンスになっていない）に類似している場合には、出力ｙ３が“１”となり、他の出力が“０”となる。もちろん、以上は一例であって、前述した以外の構成としてもよい。
【０２３１】
得点計算部７５は、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５から出力される判定結果に対して重み係数を乗算し、ユーザ２のスイングのフォームに対して得点を付与する。なお、重み係数は、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５の判定内容の重要度に応じてその値を調整することが望ましい。図１３８に示す実施形態では、判定部は２５個存在するので、１００点満点の場合、単純計算では、各判定部の持ち点は４点であるが、重要度が高い判定部については４点よりも大きい点数を割り当て、重要度が低い判定部には４点よりも小さい点数を割り当てることができる。この結果、得点計算部７５からは、一例として、「８７点」が得点として出力される。
【０２３２】
アドバイス提示部７４は、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５の判定結果に基づいて、アドバイスを選択して出力する。例えば、第１判定用多層ニューラルネットワーク７３−１によって、ユーザ２のフォームが第２反面教師のフォーム（例えば、クローズドスタンスになっていない）に類似している場合には、出力ｙ３が“１”となるので、例えば、「右足を少し下げてクローズドスタンスにしてください。」がアドバイスとして選択され、出力される。
【０２３３】
得点計算部７５から出力された得点およびアドバイス提示部７４から出力されたアドバイスは、通信部５０２を介して端末２０に送信される。端末２０では、例えば、図１３５に示すような情報が表示部２０３または大型モニタ４０に表示される。このような情報を参照することで、ユーザ２は、自身のスイングのフォームを改善することができる。
【０２３４】
なお、以上では、学習済みの多層ニューラルネットワークを使用する場合を例に挙げて説明したが、必要に応じて多層ニューラルネットワークの再学習を行うようにしてもよい。例えば、所定のユーザ２に対して、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５による判定が十分に機能しない場合（例えば、複数の出力が“１”に近い値となる場合）、これらに対応するアドバイスを順次提示し、フォームの改善があった出力が正しい判定結果とする。そして、フォームの改善があった出力が“１”になるように、当該ユーザ２のフォームに基づいて、再学習を行うことができる。なお、フォームの改善があったことを基準とするのではなく、ユーザ２からのフィードバックに基づいて再学習を行うようにしてもよい。
【０２３５】
また、判定が十分機能しない場合だけでなく、機能する場合にも再学習をするようにしてもよい。例えば、ユーザ２のフォームが第１反面教師のフォーム（例えば、スタンス幅が十分でない）に類似していると判定され、出力ｙ２が“１”となった場合には、当該ユーザ２のフォームを反面教師画像として再学習を行うようにしてもよい。
【０２３６】
このように、再学習を行うことで、システムを熟練レッスンプロになっていくように「成長」させることができる。
【０２３７】
なお、図１３８に示す実施形態では、アドバイスをそのまま表示するようにしたが、図１２８に示す実施形態のように、強化学習によって選択したアドバイスを表示するようにしてもよい。より詳細には、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５による判定結果を、図１２８に示す、フィードバック処理部５０７に供給し、フィードバック処理部５０７が、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５による判定結果に基づいて、前述した式（２）で示すＱラーニングを利用して適切なアドバイスを学習するようにしてもよい。なお、多層ニューラルネットワークを用いて、強化学習を実現するようにしてもよい。
【０２３８】
（（Ｆ）第４実施形態の構成の説明
図１４０は、本発明の第４実施形態の構成例を示す図である。図１４０において、図１２８と対応する部分には同一の符号を付してあるので、その説明を省略する。図１４０では、図１２８と比較すると、端末２０が端末８０に置換されている。端末８０には、ウエアラブルデバイスとしてのＳＧ＋ＷＰ（Smart Glass and Wireless Phone）９０、ヘッドマウントディスプレイ、スマートディスプレイ４０−１〜４０−３等、３Ｄレーザスキャナ９１、ＩｏＴ（Internet of Things）センサ９２、ＩｏＴカメラ９３、および、スマートディスプレイ４０−１〜４０−３が接続されている。また、端末８０は、通信部２０２、振動部２０５、予備部２０７、画像処理部８０１、入力部８０２、および、情報処理部８０３を有している。
【０２３９】
ここで、通信部２０２、振動部２０５、および、予備部２０７については、図１２８と同様である。画像処理部８０１は、例えば、通信部２０２を介してＰＣ５０から受信した情報を処理し、スマートグラス９０、ヘッドマウントディスプレイ、スマートディスプレイ４０−１〜４０−３等に供給して映像として表示させる。
【０２４０】
入力部８０２は、３Ｄレーザスキャナ９１によって得られたユーザ２の３Ｄ情報を入力する。情報処理部８０３は、入力部８０２から入力された３Ｄ情報を処理し、ユーザ２の体の状態を取得し、規格化した後に動画を生成して出力する。
【０２４１】
ウエアラブルデバイスとしてのスマートグラス９０、ヘッドマウントディスプレイは、眼鏡と同様の態様によってユーザ２が装着し、レンズを介して周辺の状況を視認するとともに、画像処理部８０１から供給され、レンズに投影された画像を視聴することができる。
【０２４２】
３Ｄレーザスキャナ９１は、ユーザ２の体の各部に対してレーザ光を照射し、反射光を受信し、レーザ光の往復に要する時間から体の各部までの距離を測定する。ＩｏＴセンサ９２は、例えば、ヘッドスピード測定センサおよび距離センサ等を有している。ＩｏＴカメラ９３は、ユーザ２を様々な方向から撮像して得られる動画を入力部８０２に供給する。ＳＧ＋ＷＰ９０、ヘッドマウントディスプレイ、外部スマートディスプレイは、ユーザ２によって装着され、接続線無しに映像および音声をユーザ２に提供する。
【０２４３】
（Ｇ）第４実施形態の動作の説明
つぎに、本発明の第４実施形態の動作について説明する。ユーザ２が端末８０を自身の周辺に配置し、撮像を開始する操作を行うと、３Ｄレーザスキャナ９１は、レーザ光をユーザ２に向けて照射する。
【０２４４】
ユーザ２の体の各部によって反射されたレーザ光は、３Ｄレーザスキャナ９１によって受光される。３Ｄレーザスキャナ９１は、レーザ光が往復に要する時間を参照して、体の各部までの距離を測定し、測定結果に関する情報を出力する。
【０２４５】
入力部８０２は、３Ｄレーザスキャナ９１から出力される情報を入力し、情報処理部８０３に供給する。情報処理部８０３は、３Ｄレーザスキャナ９１から出力される情報に基づいて、例えば、ゴルフスイングの動きの類例を記憶するデータベースから似ている類例を取得して手、足、胴体等の位置を推測したり、あるいは、人体のモデルを３Ｄレーザスキャナ９１から出力される情報にフィッティングすることで手、足、胴体等の位置を推測したりすることにより、ユーザ２の体の状態を検出する。つぎに、情報処理部８０３は、３Ｄレーザスキャナ９１とユーザ２との位置関係に拘わらず、ＰＣ５０が有する教師画像との対応関係が付けやすい規格化された動画に変換する。すなわち、３Ｄレーザスキャナ９１とユーザ２の位置関係、画角、ユーザの身長等によって、動画中のユーザの向き、大きさ等が変化するが、例えば、判定処理部５０５が有する教師画像と比較が容易になるように、動画に写ったユーザ２の向き、大きさ等を変換（規格化）する。
【０２４６】
このようにして得られた規格化された動画は、通信部２０２からネットワーク３０を介してＰＣ５０に供給する。
【０２４７】
ＰＣ５０は、前述した場合と同様の動作によって、ユーザ２の動画と、教師画像とを比較し、ユーザ２のスイングのフォームの良否を判定し、判定結果を示す得点と、改善点を示すアドバイスを提示する。
【０２４８】
以上に説明したように、本発明の第４実施形態によれば、３Ｄレーザスキャナ９１を用いてユーザ２のスイングのフォームを検出するようにしたので、高速かつ正確にユーザ２のフォームを検出することができる。
【０２４９】
また、３Ｄレーザスキャナ９１によって検出されたフォームに基づいて、規格化した動画を生成するようにしたので、ＰＣ５０による処理の負荷を低減することができる。
【０２５０】
なお、３Ｄデータをそのまま使用するのではなく、例えば、３Ｄデータを規格化し（例えば、ユーザ２の向き、大きさ等が所望の向き、大きさになるように規格化し）、規格化後の３Ｄデータを２Ｄデータに投影処理し、投影処理によって得られた２Ｄデータを用いて、処理を行うようにしてもよい。
【０２５１】
（Ｈ）第５実施形態の構成の説明
つぎに、本発明の第５実施形態について説明する。図１４１は、本発明の第５実施形態の構成例を示す図である。なお、図１４１に示す第５実施形態は、図１３８に示すＰＣ７０と、図１４０に示す端末８０を組み合わせて構成されている。なお、ＰＣ７０と端末８０の構成は、図１３８および図１４０と同様であるので、それぞれの詳細な説明は省略する。
【０２５２】
（Ｉ）第５実施形態の動作の説明
つぎに、本発明の第５実施形態の動作を説明する。端末８０では、３Ｄレーザスキャナ９１によってユーザ２の体の各部が高速にスキャンされ、データベースとの照合およびフィッティング処理等によって、ユーザ２の体の状態が検出される。このようにして検出されたユーザ２の体の状態は、前述したように、規格化された動画に変換され、通信部２０２およびネットワーク３０を介してＰＣ７０に送信される。
【０２５３】
ＰＣ７０では、前述した場合と同様の動作により、フレーム分解部７１によって動画がフレームに分解され、フレーム分類用多層ニューラルネットワーク７２によって注目点に応じてフレームが分類され、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５に供給される。第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５のそれぞれは、フレームと教師画像または反面教師画像とを比較することで、ユーザ２のスイングのフォームの得点を算出し、得点計算部７５に供給するとともに、アドバイス提示部７４に供給する。
【０２５４】
得点計算部７５は、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５から供給される得点を合計して総合点を出力する。また、アドバイス提示部７４は、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５から供給される判定結果に基づいて、対応するアドバイスを生成して出力する。
【０２５５】
このようにして生成された得点と、アドバイスは、ネットワークを介して端末８０に供給され、スマートグラス９０、ヘッドマウントディスプレイ、外部スマートディスプレイに、例えば、図１３５と類似の対応にて表示される。
【０２５６】
以上に説明しように、本発明の第５実施形態によれば、３Ｄレーザスキャナ９１で高速スキャンされて生成された動画を、多層ニューラルネットワークを用いて判定するようにしたので、判定の精度を高めることができる。
【０２５７】
（Ｊ）第６実施形態の構成の説明
つぎに、図１４２を参照して本発明の第６実施形態について説明する。なお、図１４２において、図１４１と対応する部分には同一の符号を付してその説明を省略する。より詳細には、図１４２では、フレーム分類用多層ニューラルネットワーク７２がフレーム分類用Ｒ２Ｄ２１７２に置換され、第１判定用多層ニューラルネットワーク７３−１〜第２５判定用多層ニューラルネットワーク７３−２５が第１判定用多層Ｒ２Ｄ２１７３−１〜第２５判定用Ｒ２Ｄ２１７３−２５に置換されている。
【０２５８】
ここで、Ｒ２Ｄ２（Recurrent Replay Distributed DQN）は、Ｌｅａｒｎｅｒと、複数のＡｃｔｏｒを有している。Ｌｅａｒｎｅｒは、Ａｃｔｏｒに対してそれぞれ処理を実行させ、その結果に基づいてＬｅａｒｎｅｒが効率の良い処理を学習する。これにより、様々な処理の中から理想的な処理を学習することができる。Ａｃｔｏｒは、処理結果を記録し、ＬｅａｒｎｅｒはＡｃｔｏｒの記録が一定量蓄積されると学習を行い、Ａｃｔｏｒに対して良い処理の仕方を教える。以上のような処理を繰り返すことで、Ａｃｔｏｒは少しずつ処理の効率が向上する。
【０２５９】
（Ｋ）第６実施形態の動作の説明
つぎに、本発明の第６実施形態の動作について説明する。なお、端末８０で撮像されてネットワーク３０を介して送信され、フレーム分解部７１によって動画がフレームに分解されるまでの動作は、第５実施形態等と同様であるので、その詳細な説明は省略する。
【０２６０】
フレーム分解部７１から出力されるユーザ２の動画を構成するフレームは、フレーム分類用Ｒ２Ｄ２１７２に供給される。フレーム分類用Ｒ２Ｄ２１７２は、第１判定用のＬｅａｒｎｅｒと、複数のＡｃｔｏｒとを有している。複数のＡｃｔｏｒは、それぞれの方法によって、第１判定に関連性が高いフレームを抽出して出力する。ＬｅａｒｎｅｒはＡｃｔｏｒの処理が一定回数実行されると学習処理を実行する。学習処理では、第１判定用Ｒ２Ｄ２１７３−１による判定結果を参照し、フレームの抽出精度が高いＡｃｔｏｒを特定し、当該Ａｃｔｏｒの処理を他のＡｃｔｏｒにも伝達し、Ａｃｔｏｒの処理の精度を向上させる。なお、フレーム分類用Ｒ２Ｄ２１７２は、第２判定用〜第２５判定用のＬｅａｒｎｅｒと、複数のＡｃｔｏｒとをそれぞれ有し、これらのＬｅａｒｎｅｒと、複数のＡｃｔｏｒも、前述の場合と同様の動作によって、抽出精度を高めるように学習を行う。
【０２６１】
フレーム分類用Ｒ２Ｄ２１７２によって分類されたフレームは、第１判定用Ｒ２Ｄ２１７３−１〜第２５判定用Ｒ２Ｄ２１７３−２５にそれぞれ供給される。第１判定用Ｒ２Ｄ２１７３−１では、第１判定用のＬｅａｒｎｅｒと、複数のＡｃｔｏｒとを有している。複数のＡｃｔｏｒは、それぞれの方法によって、第１判定に基づいてユーザ２のフォームの良否を判定して出力する。ＬｅａｒｎｅｒはＡｃｔｏｒの処理が一定回数実行されると学習処理を実行する。学習処理では、例えば、ユーザ２のフォームの改善の進捗状況に基づいて、判定精度が高いＡｃｔｏｒを特定し、当該Ａｃｔｏｒの処理を他のＡｃｔｏｒにも伝達し、Ａｃｔｏｒの処理の精度を向上させる。なお、第２判定用Ｒ２Ｄ２１７３−２〜第２５判定用Ｒ２Ｄ２１７３−２５は、第２判定用Ｒ２Ｄ２１７３−１と同様に、Ｌｅａｒｎｅｒと、複数のＡｃｔｏｒとをそれぞれ有し、これらのＬｅａｒｎｅｒと、複数のＡｃｔｏｒも、前述の場合と同様の動作によって、抽出精度を高めるように学習を行う。
【０２６２】
以上に説明したように、本発明の第６実施形態によれば、Ｒ２Ｄ２処理を用いることで、判定精度を効率よく高めることができる。
【０２６３】
（Ｌ）変形実施形態の説明
以上の各実施形態は一例であって、本発明が上述した場合のみに限定されるものでないことはいうまでもない。例えば、以上の各実施形態では、ゴルフのスイングを例に挙げて説明したが、例えば、テニス、野球、バドミントン、卓球等のスイングを判定することも可能である。
【０２６４】
また、以上の第２実施形態では、Ｑラーニングを用いるようにしたが、例えば、ニューラルネットワークによる深層学習を用いた強化学習としてのＤｅｅｐ  Ｑ  Ｎｅｔｗｏｒｋを用いるようにしてもよい。
【０２６５】
また、以上の第２実施形態では、ユーザ２のスイングのフォームの得点を計算する方法としては、式（１）に基づいて計算するようにしたが、例えば、重回帰分析を用いて計算したり、あるいは、ニューラルネットワークを用いた学習処理によって計算したりするようにしてもよい。
【０２６６】
また、図１３６に示すフローチャートでは、調整処理を繰り返し実行するようにしたが、調整処理は１回だけ実行するようにしたり、あるいは、調整処理を省略したりするようにしてもよい。
【０２６７】
また、図１２８に示す端末２０は、１つの撮影部２０１を有するようにしたが、２つの撮像部が水平方向に所定の距離だけ離間して配置され、ステレオ画像を撮像できる撮像部を有するようにしてもよい。このようなステレオ画像を用いることで、三角法を用いてユーザ２の特徴点をより正確に検出するとともに、各特徴点の画像の奥行き方向の位置を検出することが可能になる。また、全天球カメラ・３６０度カメラを有するようにしてもよい。
【０２６８】
また、図１２８に示す第２実施形態では、ＰＣ５０をクラウドコンピュータとして動作させるようにしたが、ＰＣ５０の機能を端末２０に移植して、端末２０がＰＣ５０の機能も全て実現するようにしてもよい。
また、クラウドやサーバーではなくて、末端のデバイス上で例えばＩｏｔカメラ９３やＩｏｔセンサ９２のハードウエア製品がＤＮＮモデルによる画像認識等のディープラーニングの推論技術を搭載して実行してもよい。ディープラーニングに係る処理をクラウド上で実行すると通信コストが高くなるので、エッジデバイスでディープラーニングに係る処理を実現すると通信コストは安価にできる。また、認識は画像だけではなく、例えば音や加速度といった情報は、Ｉｏｔカメラ９３やＩｏｔセンサ９２から入ってきた情報をクラウドに供給するだけではなく、エッジ側でディープラーニングに係る処理を実現するようにしてもよい。
【０２６９】
また、図１２８に示す第２実施形態では、端末２０は、ＧＰＳ（Global Positioning System）の機能を有していないが、ＧＰＳ機能を搭載し、ＧＰＳによって得られる位置情報を参照して、例えば、ユーザの飛距離とコースの残距離を測定したり、使用するクラブの番手を選択したり、コースの高低差を検出してユーザ２に通知したりするようにしてもよい。
【０２７０】
また、以上の第２実施形態では、Ｑラーニングの報酬ｒは、フォームが改善されたときに“１”となるようにしたが、例えば、ボールの飛距離が伸びたときに“１”となるようにしたり、あるいは、スコアが改善したときに“１”となるようにしたりしてもよい。
【０２７１】
また、以上の第２実施形態では、各改善点に関しては、１つのアドバイスを準備する場合を例に挙げて説明したが、例えば、複数のアドバイスを準備し、これら複数のアドバイスを、例えば、アトランダムに表示し、Ａ／Ｂテストによって適切なアドバイスを選択するようにしてもよい。例えば、グローズドスタンスに関しては、「右足を少し下げてクローズドスタンスにしてください。」と、「ボールに対して右側の体側がボールから離れるように斜めに立つクローズドスタンスにしてください。」と、「右足を少し下げてクローズドスタンスにしてください。」と、「左足が前に出て右足を引くクローズドスタンスにしてください。」の３つを準備し、状態Ｓｔを参照して、ユーザ２の改善がはやいアドバイスを選択するようにしてもよい。
【０２７２】
また、以上の第２実施形態では、撮影が完了した動画をＰＣ５０に送信するようにしたが、撮影部２０１から出力されるストリーム動画を、通信部２０２を介してリアルタイムでＰＣ５０に送信し、ＰＣ５０において受信したストリーム動画を逐次処理するようにしてもよい。そのような構成によれば、迅速に結果を得ることができる。
【０２７３】
また、以上の実施形態では、ゴルフ場またはゴルフ練習場において、スイングを撮影する場合を例に挙げて説明したが、例えば、画像処理部８０１において、ゴルフ場またはゴルフ練習場の画像を合成してスマートディスプレイまたはスマートグラス、ヘッドマウントディスプレイ等のデバイスに表示するとともに、ユーザ２のスイングの動き・ヘッドスピードを加速度センサで検出して、検出した加速度に応じた画像を表示することで、ユーザ２があたかもゴルフ場またはゴルフ練習場で練習しているように感じさせる、いわゆる仮想現実によって、自宅にいながらスイングの練習をできるようにしてもよい。また、自宅で練習する場合には、スマートグラス、ヘッドマウントディスプレイに加えて、単数または複数のスマートディスプレイを用いるようにしてもよい。
【０２７４】
また、以上の各実施形態では、ＰＣ５０によって送信されるアドバイスをユーザ２に一方的に提示するようにしたが、例えば、ユーザ２の疑問に対応する応答をＰＣ５０の記憶部５０１等に記憶しておき、ユーザ２の問い合わせに対応するアドバイスを記憶部５０１から取得して、例えば、ＡＩチャットボットのＦＡＱでユーザ２に提示するようにしてもよい。
【０２７５】
なお、以上の実施形態では、第１の判定部〜第２５の判定部を有するようにしたが、第１の判定部〜第２７の判定部を有するようにしてもよい。なお、判定の内容としては、以下のようにすることができる。
【０２７６】
（１）第１の判定部（スタンスの判定）
（１−１−１）内容
スタンス＝クローズドスタンス
（１−２−１）反面教師
スクエアスタンス、オープンスタンス
（１−１−２）内容
肩のラインと腰のライン＝目標方向線に対してスクエアで、左肩よりも右肩が絶対前に出ないこと
（１−２−２）反面教師
肩のラインと腰のラインが目標方向に対して目標よりも左に向くオープン、逆に目標よりも右に向くクローズ
（１−３）画像検出の特徴量と判定
左足つま先の位置と右足つま先の位置の差の長さを画像検出して判定
【０２７７】
（２）第２の判定部（グリップの判定）
（２−１−１）内容
グリップ＝フックグリップ
（２−２−１）反面教師
スクエアグリップ、ウィークグリップ
（２−１−２）内容
握り方＝オーバーラッピング、テンフィンガー
（２−２−２）反面教師
インターロッキング
（２−３）画像検出の特徴量と判定
グリップ＝左手甲の面積を画像検出して判定、握り方＝オーバーラッピングは右手小指を左手人さし指の上に乗せているか、また、テンフィンガーは１０本すべての指を使ってグリップを握っているか画像検出して判定
【０２７８】
（３）第３の判定部（アドレス時のボール位置とスタンス幅と体重配分の判定）
（３−１−１）内容
７番ＩからＰＷまでのボール位置はスタンスの中央で、スタンス幅は肩幅くらい。それより短いＡＷやＳＷのボール位置は中央より少し右寄りにした位置で、スタンス幅は７番Ｉの半分くらい
（３−１−２）内容
６番Ｉから上、ユーティリティ、フェアーウエイウッドのボール位置は中央より左寄りにした位置で、スタンス幅は肩幅より少し広く
（３−１−３）内容
体重配分＝少し右足寄りの体重配分、７番Ｉから下は５：５の均等の体重配分
（３−２−３）反面教師
左足寄りの体重配分、顔がボールに近づいている
（３−１−４）内容
体重配分＝顔がボールに近づかない、アゴを引かない、少しだけつま先寄りを意識する
（３−３）画像検出の特徴量と判定
スタンス幅＝肩幅の長さよりやや広めの長さを画像検出して判定、体重配分＝重回帰分析で、例えば目的変数を「体重移動」としたら説明変数は、身体の中心線で線引きした左右の「頭の面積or体積」「首の面積or体積」「胸の面積or体積」「腹の面積or体積」「腰の面積or体積」「右脚の面積or体積」「左足の面積or体積」「右腕の面積or体積」「左腕の面積or体積」画像など複数の実測値から、テークバック時の左→右、ダウンスイング時の右→左に体重移動をする変化の予測値をＡＩで検討させる。
【０２７９】
（４）第４の判定部（アドレス時の肩のラインと頭のラインの判定）
（４−１−１）内容
左右の肩のライン＝アドレスでグリップは右手が下にくるので、両肩のラインは自然と少し右肩下がりになり、左肩が少し高くなる
（４−２−１）反面教師
左右の肩が平行、両肩のラインが左肩下がり、極端に右肩が下がる
（４−１−２）内容
頭のライン＝頭を垂直にする
（４−２−２）反面教師
頭が右に傾向いている
（４−３）画像検出の特徴量と判定
"左右肩のラインと左右腰のラインと飛球線ラインのベクトル方向を画像検出して判定、左右の肩のラインは右肩は下がり左肩が少し高い肩のライン角度量、頭のラインは地面と垂直のライン角度を画像検出で線引きして判定。
【０２８０】
（５）第５の判定部（アドレス時の両足のつま先と両膝の向きの判定）
（５−１）内容
両ひざと両つま先の向き＝ひざ・つま先の向きは真正面ではなく、ほんの少し外側に開く
（５−２）反面教師
両ひざと両つま先の向きが真正面、内側に向いている
（５−３）画像検出の特徴量と判定
つま先と膝の向きが外側のベクトル方向か画像検出して判定
【０２８１】
（６）第６の判定部（アドレス時のクラブシャフトの傾きの判定）
（６−１−１）内容
ウッド系のクラブの場合は、ハンドレイト＝ヘッドファーストのクラブシャフトの傾き
（６−２−１）反面教師
ウッド系のクラブの場合に、ハンドファーストのクラブシャフトの傾き
（６−１−２）内容
アイアン系はクラブヘッドとネックの構造上、垂直か少しハンドファーストのクラブシャフトの傾き
（６−３）画像検出の特徴量と判定
クラブシャフトの傾きが垂直か若干ハンドレイトの角度か画像検出して判定
【０２８２】
（７）第７の判定部（ドライバーヘッドを置くアドレスの位置）
（７−１）内容
ドライバーを使う時は、ボールがティーアップされているので、ドライバーのヘッドを置く位置はティーアップされたボールからヘッド１個分手前＝１５センチほど離して置いてアドレスする
（７−２）反面教師
ティーアップされているボール近くにドラーイバーヘッドを置いて構えるとアドレスで右肩が前に出てくる
（７−３）画像検出の特徴量と判定
ドライバーヘッドのセット位置とティーアップしているボールトの位置がヘッド１個分の長さ離れてセットされているか画像検出して判定
【０２８３】
（８）第８の判定部（ドライバーフェースとボールをセットする位置の判定）
（８−１）内容
最近の大型メタルヘッドでは、フェースセンターのややトゥー寄りのセンター少し上部分が１番飛ぶポイントですので、センタートゥー寄りにヘッドを置いてセットする
（８−２）反面教師
ボール位置をドライバーヘッドのセンターにセットする
（８−３）画像検出の特徴量と判定
ボールの位置がドライバーヘッドのセンタートゥー寄りにセットされているかを画像検出して判定  
【０２８４】
（９）第９の判定部（アドレス時の構えの力みの判定）
（９−１）内容
両肩を前に出し、胸を閉じるようにして、左右の肩甲骨を外側に開いたアドレス、両ひざはピンと伸ばした状態から軽く緩めた程度のアドレス
（９−２）反面教師
胸を張って、背筋を伸ばして、肩甲骨が閉じたアドレス、両膝がピンと伸びていたり深く曲げていたり
（９−３）画像検出の特徴量と判定
背筋のカーブと両ひざの曲げ角度を画像検出して判定
【０２８５】
（１０）第１０の判定部（アドレス時の左腕が胸の上に乗っているかの判定）
（１０−１）内容
左側の肩甲骨を意識しながら左肩を前に回して左腕を後ろから胸の前に左腕が左胸の上に乗せるようにし、左脇もしっかりと脇が締まる状態にしてからグリップをしてアドレスする
（１０−２）反面教師
左腕をただ体の横においての状態のままグリップをしてアドレスする
（１０−３）画像検出の特徴量と判定
左脇がしっかりと締まり、左腕が左胸の上に乗せているかを画像検出して判定
【０２８６】
（１１）第１１の判定部（アドレス時の前傾具合と背筋の湾曲と膝の曲げ具合の判定）
（１１−１）内容
アゴは引かずに構え、背中のラインが上半身と下半身でくの字になるように股関節から前傾させた前傾姿勢で、背中と背筋はピンと伸ばさずに猫背で軽く湾曲させた構えのアドレス
（１１−２）反面教師
アゴを引いて、胸を張り、背筋をピンと伸ばした前傾姿勢のアドレス
（１１−３）画像検出の特徴量と判定
股関節から前傾しているか画像検出で確認して判定、背筋ラインが湾曲しているか画像検出で確認して判定
【０２８７】
（１２）第１２の判定部
テークバック時に左膝を曲げながら右膝を伸ばしていくと、自然と体が真後ろ方向に回転していき、胸が上を向きながら腰が後ろに向くまで左膝を曲げてテークバックしているかの判定
（１２−１）内容
テークバック時に後ろから見て胸と腰全体の下半身がしっかり見えるように左膝を曲げることで簡単に体が後ろを向く
（１２−２）反面教師
左肩をあごの下まで回す体の捻転意識であげるため、しっかり体が後ろを向かず、胸と腰が後ろを向かない
（１２−３）画像検出の特徴量と判定
テークバックで左足の膝を意識的に曲げることで、自然に胸と腰全体が後ろに向くので胸と腰全体の面積量を画像検出で確認して判定
【０２８８】
（１３）第１３の判定部（テークバック時にクラブヘッドを左から右への体重移動を利用して右斜め前方４５度方向へクラブヘッドをテークバックしているかの判定）
（１３−１）内容
インサイドアウトのスイング軌道にするため、左から右への体重移動でテークバックを開始し、左手は縦のコック、右手は横のヒンジングをすると、クラブヘッドが右斜め前方４５度の方向へ自然とテークバックする
（１３−２）反面教師
テークバック時にクラブヘッドを真っすぐ方向やクラブヘッドをインサイド方向にテークバックするとアウトサイドインの軌道になり易い、またテークバックの時に胸と両腕で三角形を作って崩さずに上げる
（１３−３）画像検出の特徴量と判定
テークバック時に、後ろから見てボールの真後ろラインから外側にクラッブヘッドがきているか、あるいは内側にクラッブヘッドがきているかを画像検出で確認して判定
【０２８９】
（１４）第１４の判定部（テークバック時の９０度開くフェースローテーションの判定）
（１４−１）内容
右手は横のヒンジング、左手は縦のコッキングでテークバックすると、正面から見て、ヘッドが右斜め前方４５度に右手は少し開きながら、左手は右手に誘発されて甲を上に向けるようにコックし始め、グリップが右腰の高さにくるとシャフトが地面と平行になるところで、９０度のフェースローテーションが完成する。
（１４−２）反面教師
テークバックでフェースをボールに向けたまま上げるフェースローテーションをしないテークバック
（１４−３）画像検出の特徴量と判定
テークバックでクラブヘッドが正面から見て外側、右斜め前４５度の方向にクラブヘッドがテークバックしているかを角度の量を画像検出で確認して判定、スイングプレーンは８の字を描くようになるクラブのリーディングエッジとフェースが地面に対して垂直の角度になっているか画像検出で確認して判定、テークバックの初動で右手を少しずつ開きながら、左手の甲も上に向けるように、ヒンジングが始まり、左手のコッキングも誘発され、グリップが右腰の高さで、シャフトが地面と平行となり、９０度のフェースローテーションが完成する。その流れを画像検出で確認して判定
【０２９０】
（１５）第１５の判定部（ダウンスイング時に９０度開いて１８０度戻すフェースローテーションの判定）
（１５−１）内容
ダウンスイング時でフェースを閉じる時のフェースローテーションは、ダウンスイングと同時に閉じ始めたフェースをインパクト前に頭の中では１８０度戻すイメージでないと実際のスイングでは振り遅れるため、ダウンスイングで「９０度開いて１８０度戻す」のイメージを強くもってインパクトしている
（１５−２）反面教師
テークバックでフェースをボールに向けたまま上げるフェースローテーションをしないテークバック
（１５−３）画像検出の特徴量と判定
インパクト時に右手が左手を追い越す、右手が左手の上になっているヒンジングでのフェースローテーションの動きか画像検出で確認して判定
【０２９１】
（１６）第１６の判定部（スイング軸の判定）
（１６−１）内容
右サイド主体のスイング軸というのは従来の左股関節上の縦の左１軸ではなく、体の真ん中の１軸になる。つまり右手と右サイドを使うということは軸が左でなければならないということである。
（１６−２）反面教師
左脚に体重を掛けたままスイングする、  右脚に体重を掛けたままスイングする
（１６−３）画像検出の特徴量と判定
体重移動は意識せず、ダウンスイングでは体重を右足に残して、そのまま体を動かさず右サイドを軸にして、体を中心にヘッドを動かす意識を持つスイングかを画像検出で確認して判定
【０２９２】
（１７）第１７の判定部（トップ時の右脇の開きの判定）
（１７−１）内容
右脇は閉じずに、開けた状態で、トップはできるだけ高い位置に上げることだけを心がける
（１７−２）反面教師
トップやダウンで右脇を締める
（１７−３）画像検出の特徴量と判定
トップ時に右脇が開いた、フライングエルボになっているかを画像検出で確認して判定
【０２９３】
（１８）第１８の判定部（トップ時のグリップの位置の判定）
（１８−１）内容
トップ時にグリップの位置が右耳と右肩の中間の位置にくるように、
（１８−２）反面教師
トップ時のグリップの位置が右肩の外側で体の中側から外れる
（１８−３）画像検出の特徴量と判定
テークバックで９０度のフェースローテーションが完成したら、このまま手首の角度をキープしたまま、右脇を開いてグリップをできるだけ高い位置にあげてトップとなり、その時グリップの位置が右耳と右肩の中間の位置にあるか画像検出で確認して判定
【０２９４】
（１９）第１９の判定部（トップから切り返し時の前倒しの判定）
（１９−１）内容
ダウンスイング時に右ひじを真っすぐ伸ばしてリリースすると同時に、右ひじをやや左側にねじってフェースを閉じ始めるきっかけ作りをする「前倒し」という動作をいれてフェースローテーションを始動し易くする
（１９−２）反面教師
ダウンスイング時に右脇を締めてフェースを開く
（１９−３）画像検出の特徴量と判定
切り返しからダウンスイングに入る時に、クラブヘッドが左に回ってくるかを画像検出で確認して判定
【０２９５】
（２０）第２０の判定部（切り返しからダウンスイング時に胸と腰が後ろから見える後ろ向きのままの状態でダウンスイングに入っているかの判定）
（２０−１）内容
切り返しからダウンスイング時に胸と腰が後ろから見える後ろ向きのままの状態でダウンスイングに入っている。ダウンスイングでは体を動かない方がクラブヘッドの遠心力がほどけない
（２０−２）反面教師
切り返しからダウンスイング時に胸と腰が回ってしまうと体が開くためにクラブヘッドの遠心力がでないので飛距離がでない。
（２０−３）画像検出の特徴量と判定
切り返しからダウンスイングに入る時に、胸と腰が後ろから見える後ろ向きのままの状態でダウンスイングのリリースに入っているかを画像検出で確認して判定
【０２９６】
（２１）第２１の判定部（ダウンスイング時の右ひじと右手首のリリースする方向の判定）
（２１−１）内容
ダウンスイング時でクラブを振り下ろす位置は右斜め後ろにクラブを下すことで、加速ゾーンが長くとれ遠心力が大きくなり飛距離がアップする「ヘッド軌道」
（２１−２）反面教師
ダウンスインで、右ひじは右脇腹に素早くつけて、手首をコックしてためてくる「グリップ軌道」
（２１−３）画像検出の特徴量と判定
ダウンスイングに入る時、振り下ろす方向として自分の右後ろの杭をハンマーで打ち付ける感じのイメージで振り下ろし、右肘右手首が伸びてクラブをリリースする画像検出で確認して判定
【０２９７】
（２２）第２２の判定部（ダウンスイング時の手首のヒンジング動作の判定）
（２２−１）内容
リストワークを柔らかくして、正しく親指の爪側が自分の方向に向く右手首の横のヒンジング動作をして、フェースを閉じながらクラブヘッドを大きな軌道に乗せてインパクトをする。右手のヒンジングリリース動作では思いっきりリリースしてインパクトしてもチーピンと言われるような引っ掛けボールにはなりません
（２２−２）反面教師
ボールを掴まえるため手首を捻ったローリングをしてインパクトするためチーピンが出る
（２２−３）画像検出の特徴量と判定
ダウンスイングに入る時の右手の正しい横のヒンジング動作は、親指爪側がフェースローテーション中、自分の方向を向いた右手のヒンジング動作になっているか画像検出で確認して判定
【０２９８】
（２３）第２３の判定部（ダウンスイング時の腰の回転、体重移動の判定）
（２３−１）内容
右サイド主体のダウンスイングは「体重移動を意識しません」。トップの切り返しで左に乗ってきた時点の体重移動は意識せずに、「腰を回さずそのまま胸が後ろを向いた状態でインパクトまで体重移動を意識せず動かないようにします」。ですから右サイド主体のスイングが機能してツイストが自然と使えて飛距離がアップします。
（２３−２）反面教師
ダウンスインで、右ひじは右脇腹に素早くつけて、タメを作って、腰を切る
（２３−３）画像検出の特徴量と判定
ダウンスイングは体重移動を意識せず、トップの切り返しから左に乗ってきた体重の移動を意識せずに、「そのまま胸が後ろを向いたまま腰は回さない状態でダウンスイングしてくるかを画像検出で確認して判定
【０２９９】
（２４）第２４の判定部（ダウンスイング時のツイストの判定）
（２４−１）内容
ダウンスイング時「腰を回さずそのまま胸が後ろを向いた状態でインパクトまで体重移動を意識せず体を動かないようにします」。すると右サイド主体のスイングが機能してツイストが自然と使えて飛距離がアップします。また、トップからダウンスイング時の同時に右手が左手を追い越すつもりのイメージで振るフェースローテーションの動きが大変重要で右手が左手より上で先行していれば、インパクトゾーンでヘッドが手より先行するため、従来の左サイド主体のようなグリップが先行するようなミスは出ないので、必ず必要な手のツイストの動きになる
（２４−２）反面教師
ダウンスインで、右ひじは右脇腹に素早くつけて、タメを作って、腰を切る
（２４−３）画像検出の特徴量と判定
第一にダウンスイングと同時に右手が左手を追い越すフェースローテーションの手のツイストをしているか画像検出で確認して判定、第二にダウンスイングからインパクトまで右足つま先を外側に向けて強く踏ん張り身体の回転の動きにブレーキを掛けて、クラブヘッドがインパクト時、強烈な加速に繋がる右足のツイストをしているか画像検出で確認して判定、第三が手のツイストを使いながらインパクトで頭の位置と前傾姿勢を変えずに左足膝が伸びてブレーキを掛ける縦のツイストをしているかを画像検出で確認して判定
【０３００】
（２５）第２５の判定部（ダウンスイング時に右肩が下がってこないか、右腰・右膝が前方に出てこないかの判定）
（２５−１）内容
トップから切り返しで右足の小指付け根に乗った体重を左足の親指の付け根に向かって、直線的に移動する切り返しとダウンスイング時で、右肩の高さを変えない意識をもつことが重要、また右肩を前に突っ込まない意識をもつことも重要なポイントになります。またダウンスイング時には下半身の右腰・右ヒザを前に出さない意識も重要となる
（２５−２）反面教師
ダウンスイング時右肩が下がってダフル、ダウンスイング時右膝が前に出てチーピンになる、  右腰が前に出てスライスする
（２５−３）画像検出の特徴量と判定
トップ時の右肩の高さが、ダウンスイング時に下がらないかを画像検出で確認して判定、右腰・右膝がダウンスイング時、左腰・左膝より前にでてこないかを画像検出で確認して判定
【０３０１】
（２６）第２６の判定部（ダウンスイングからインパクトまで右足カカトが浮いてこないか、フォローで顔が自然な感じで上がっているかの判定）
（２６−１）内容
トップで体重を右足股関節に乗せたら、そのまま右サイドを軸にして、体を中心にヘッドだけを動かす意識をもつので、両足は母指球でしっかりアドレスからインパクトまで地面を踏み続けます。ポイントはアドレスからインパクトまで右足カカトを上げずに踏ん張り続けるイメージがポイントになります。ただし、インパクトの後はヘッドの勢いに引っ張られますから、自然に体が左に回転すれば、意識をしなくても、自然にその動きに合わせて顔も右足のかかとも上がって目標に向いていきます。
（２６−２）反面教師
ダウンスイングからインパクト・フォローとボールを見続けていると、リバースピボット（ギッタンバッコン）になりトップでは体重が左足に残り、ダウンスイングでは右足に残って、ギッタンバッコンのスイングになります。フォローするーでは、体が不自然な逆Ｃ型になり、距離は出ないし腰を痛める
（２６−３）画像検出の特徴量と判定
ダウンスイングからインパクトまで右足カカトが浮いてこないかを画像検出で確認して判定、フォローで顔が自然な感じで上がっているかを画像検出で確認して判定
【０３０２】
（２７）第２７の判定部（出玉の方向と球筋の判定）
（２７−１）内容
出玉はわずかに少し右に出る感じで、球筋はストレートボールかストレートに近い軽いドローボールになる。
（２７−２）反面教師
大きく曲がっていくドローボールになる
（２７−３）画像検出の特徴量と判定
インパクト後のボールの出玉が少し右側にでているかボールの方向を画像検出で確認して判定
【符号の説明】
【０３０３】
１  ゴルフスイング上達支援システム
２  ユーザ    
１０    ＰＣ
２０    端末
１０１    記憶部
１０２    画像処理部
１０３    通信部
１０４    解析部
１０５    表示部（ＰＣ側）
１０６    第１の判定部
１０７    第２の判定部
１０８    第３の判定部
１０９    第４の判定部
１１０    第５の判定部
１１１    第６の判定部
１１２    第７の判定部
１１３    第８の判定部
１１４    第９の判定部
１１５    第１０の判定部
１１６    第１１の判定部
１１７    第１２の判定部
１１８    第１３の判定部
１１９    第１４の判定部
１２０    第１５の判定部
１２１    第１６の判定部
１２２    第１７の判定部
１２３    第１８の判定部
１２４    第１９の判定部
１２５    第２０の判定部
１２６    第２１の判定部
１２７    第２２の判定部
１２８    第２３の判定部
１２９    第２４の判定部
１３０    第２５の判定部
１５０    ＡＩ画像解析処理部
２０１    撮影部
２０２    通信部
２０３    表示部（ユーザ側）
２０４    発信部
２０５    振動部
２０６    予備部
３００    大型モニタ（ＰＣ側）
４００    大型モニタ（ユーザ側）
【図１】
2019166311.tif 000008
【図２】
2019166311.tif 000009
【図３】
2019166311.tif 000010
【図４】
2019166311.tif 000011
【図５】
2019166311.tif 000012
【図６】
2019166311.tif 000013
【図７】
2019166311.tif 000014
【図８】
2019166311.tif 000015
【図９】
2019166311.tif 000016
【図１０】
2019166311.tif 000017
【図１１】
2019166311.tif 000018
【図１２】
2019166311.tif 000019
【図１３】
2019166311.tif 000020
【図１４】
2019166311.tif 000021
【図１５】
2019166311.tif 000022
【図１６】
2019166311.tif 000023
【図１７】
2019166311.tif 000024
【図１８】
2019166311.tif 000025
【図１９】
2019166311.tif 000026
【図２０】
2019166311.tif 000027
【図２１】
2019166311.tif 000028
【図２２】
2019166311.tif 000029
【図２３】
2019166311.tif 000030
【図２４】
2019166311.tif 000031
【図２５】
2019166311.tif 000032
【図２６】
2019166311.tif 000033
【図２７】
2019166311.tif 000034
【図２８】
2019166311.tif 000035
【図２９】
2019166311.tif 000036
【図３０】
2019166311.tif 000037
【図３１】
2019166311.tif 000038
【図３２】
2019166311.tif 000039
【図３３】
2019166311.tif 000040
【図３４】
2019166311.tif 000041
【図３５】
2019166311.tif 000042
【図３６】
2019166311.tif 000043
【図３７】
2019166311.tif 000044
【図３８】
2019166311.tif 000045
【図３９】
2019166311.tif 000046
【図４０】
2019166311.tif 000047
【図４１】
2019166311.tif 000048
【図４２】
2019166311.tif 000049
【図４３】
2019166311.tif 000050
【図４４】
2019166311.tif 000051
【図４５】
2019166311.tif 000052
【図４６】
2019166311.tif 000053
【図４７】
2019166311.tif 000054
【図４８】
2019166311.tif 000055
【図４９】
2019166311.tif 000056
【図５０】
2019166311.tif 000057
【図５１】
2019166311.tif 000058
【図５２】
2019166311.tif 000059
【図５３】
2019166311.tif 000060
【図５４】
2019166311.tif 000061
【図５５】
2019166311.tif 000062
【図５６】
2019166311.tif 000063
【図５７】
2019166311.tif 000064
【図５８】
2019166311.tif 000065
【図５９】
2019166311.tif 000066
【図６０】
2019166311.tif 000067
【図６１】
2019166311.tif 000068
【図６２】
2019166311.tif 000069
【図６３】
2019166311.tif 000070
【図６４】
2019166311.tif 000071
【図６５】
2019166311.tif 000072
【図６６】
2019166311.tif 000073
【図６７】
2019166311.tif 000074
【図６８】
2019166311.tif 000075
【図６９】
2019166311.tif 000076
【図７０】
2019166311.tif 000077
【図７１】
2019166311.tif 000078
【図７２】
2019166311.tif 000079
【図７３】
2019166311.tif 000080
【図７４】
2019166311.tif 000081
【図７５】
2019166311.tif 000082
【図７６】
2019166311.tif 000083
【図７７】
2019166311.tif 000084
【図７８】
2019166311.tif 000085
【図７９】
2019166311.tif 000086
【図８０】
2019166311.tif 000087
【図８１】
2019166311.tif 000088
【図８２】
2019166311.tif 000089
【図８３】
2019166311.tif 000090
【図８４】
2019166311.tif 000091
【図８５】
2019166311.tif 000092
【図８６】
2019166311.tif 000093
【図８７】
2019166311.tif 000094
【図８８】
2019166311.tif 000095
【図８９】
2019166311.tif 000096
【図９０】
2019166311.tif 000097
【図９１】
2019166311.tif 000098
【図９２】
2019166311.tif 000099
【図９３】
2019166311.tif 000100
【図９４】
2019166311.tif 000101
【図９５】
2019166311.tif 000102
【図９６】
2019166311.tif 000103
【図９７】
2019166311.tif 000104
【図９８】
2019166311.tif 000105
【図９９】
2019166311.tif 000106
【図１００】
2019166311.tif 000107
【図１０１】
2019166311.tif 000108
【図１０２】
2019166311.tif 000109
【図１０３】
2019166311.tif 000110
【図１０４】
2019166311.tif 000111
【図１０５】
2019166311.tif 000112
【図１０６】
2019166311.tif 000113
【図１０７】
2019166311.tif 000114
【図１０８】
2019166311.tif 000115
【図１０９】
2019166311.tif 000116
【図１１０】
2019166311.tif 000117
【図１１１】
2019166311.tif 000118
【図１１２】
2019166311.tif 000119
【図１１３】
2019166311.tif 000120
【図１１４】
2019166311.tif 000121
【図１１５】
2019166311.tif 000122
【図１１６】
2019166311.tif 000123
【図１１７】
2019166311.tif 000124
【図１１８】
2019166311.tif 000125
【図１１９】
2019166311.tif 000126
【図１２０】
2019166311.tif 000127
【図１２１】
2019166311.tif 000128
【図１２２】
2019166311.tif 000129
【図１２３】
2019166311.tif 000130
【図１２４】
2019166311.tif 000131
【図１２５】
2019166311.tif 000132
【図１２６】
2019166311.tif 000133
【図１２７】
2019166311.tif 000134
【図１２８】
2019166311.tif 000135
【図１２９】
2019166311.tif 000136
【図１３０】
2019166311.tif 000137
【図１３１】
2019166311.tif 000138
【図１３２】
2019166311.tif 000139
【図１３３】
2019166311.tif 000140
【図１３４】
2019166311.tif 000141
【図１３５】
2019166311.tif 000142
【図１３６】
2019166311.tif 000143
【図１３７】
2019166311.tif 000144
【図１３８】
2019166311.tif 000145
【図１３９】
2019166311.tif 000146
【図１４０】
2019166311.tif 000147
【図１４１】
2019166311.tif 000148
【図１４２】
2019166311.tif 000149
【手続補正書】
【提出日】令和1年5月11日(2019.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザのスイングを撮像した動画を入力する入力手段と、
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段と、
前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定手段と、
前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段と、
複数の前記判定手段による判定結果を出力する出力手段と、を有し、
前記判定手段は、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定し、
前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化する、
を有することを特徴とするスイング判定装置。
【請求項２】
前記ニューラルネットワークは、前記教師画像として、悪いフォームの類例である反面教師画像によって学習を行うことを特徴とする請求項１に記載のスイング判定装置。
【請求項３】
前記出力手段は、該当する反面教師に応じたアドバイスを出力することを特徴とする請求項２に記載のスイング判定装置。
【請求項４】
前記ニューラルネットワークは、Ｌｅａｒｎｅｒと複数のＡｃｔｏｒとを有するＲ２Ｄ２アルゴリズムによって動作することを特徴とする請求項１に記載のスイング判定装置。
【請求項５】
ユーザのスイングを撮像した動画を入力する入力手段と、
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段と、
前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定手段と、
前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段と、
複数の前記判定手段による判定結果を出力する出力手段と、
お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶する記憶手段と、
前記生成手段によって得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定手段と、
特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整手段と、を有し、
前記判定手段は、前記調整手段によって調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、
ことを特徴とするスイング判定装置。
【請求項６】
前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量が所定の閾値以上異なっている場合には、当該注目点については否であると判定し、それ以外の場合には良と判定することを特徴とする請求項５に記載のスイング判定装置。
【請求項７】
前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量の差異に応じてスイングの良否を得点化することを特徴とする請求項６に記載のスイング判定装置。
【請求項８】
注目点毎に重み係数を有し、各判定手段の判定結果に重み係数を累積加算することで、スイングの得点を算出する算出手段をさらに有し、
前記出力手段は、前記算出手段によって算出された得点についても併せて出力することを特徴とする請求項１乃至７のいずれか１項に記載のスイング判定装置。
【請求項９】
前記スイングはゴルフのスイングであり、
前記ユーザの動作、スコア、ハンデ、クラブ毎の飛距離、クラブ毎のヘッドスピードの少なくとも１つと相関を有するように前記重み係数を変更する変更手段をさらに有する、
ことを特徴とする請求項８に記載のスイング判定装置。
【請求項１０】
前記スイングはゴルフのスイングであり、
前記判定手段は、前記ユーザの右サイド空間領域の前記重み係数の値を相対的に大きくすることで、前記ユーザの右サイド空間領域を優先的に評価する、
ことを特徴とする請求項８または９に記載のスイング判定装置。
【請求項１１】
前記判定手段による判定結果に基づいて、前記ユーザのスイングの状態を特定する状態特定手段と、
前記状態特定手段によって特定された前記ユーザのスイングの状態に応じたアドバイスを、前記出力手段を介して提示する提示手段と、
をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載のスイング判定装置。
【請求項１２】
前記アドバイスが複数存在する場合には、前記提示手段によって複数の前記アドバイスを提示する順番を決定する決定手段を有することを特徴とする請求項１１に記載のスイング判定装置。
【請求項１３】
前記決定手段は、強化学習によって前記アドバイスを提示する順番を決定することを特徴とする請求項１２に記載のスイング判定装置。
【請求項１４】
前記決定手段は、前記アドバイスを提示した場合に前記ユーザのスイングの状態が改善した場合には報酬を付与し、報酬に応じてＱ値を更新することで、強化学習を実行することを特徴とする請求項１３に記載のスイング判定装置。
【請求項１５】
前記ユーザが使用するヘッドマウントディスプレイ、スマートグラス、または、少なくとも１つ以上の外部スマートディスプレイを有し、
前記ヘッドマウントディスプレイ、前記スマートグラス、または、前記外部スマートディスプレイに対して、ゴルフ場の風景およびユーザの多方向のスイングを表示するとともに、前記ユーザの動作に応じて、表示する風景を変更する表示手段と、
を有することを特徴とする請求項９に記載のスイング判定装置。
【請求項１６】
前記ユーザの問い合わせを受信する受信手段と、
問い合わせに対する応答を格納する格納手段と、
前記受信手段を介して受信された問い合わせに対応する応答を前記格納手段から取得し、前記ユーザに提示する提示手段と、
を有することを特徴とする請求項１乃至１５のいずれか１項に記載のスイング判定装置。
【請求項１７】
コンピュータを、
ユーザのスイングを撮像した動画を入力する入力ステップ、
前記入力ステップから入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成ステップ、
前記生成ステップにおいて生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定ステップ、
前記特定ステップにおいて特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定ステップ、
複数の前記判定ステップにおける判定結果を出力する出力ステップ、として機能させ、
前記判定ステップは、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定し、
前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化する、
ことを特徴とするスイング判定方法。
【請求項１８】
コンピュータを、
ユーザのスイングを撮像した動画を入力する入力手段、
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段、
前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定手段、
前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段、
複数の前記判定手段による判定結果を出力する出力手段、として機能させ、
前記判定手段は、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定し、
前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化する、
ことを特徴とするコンピュータ読み取り可能なプログラム。
【請求項１９】
コンピュータを、
ユーザのスイングを撮像した動画を入力する入力ステップ、
前記入力ステップから入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成ステップ、
前記生成ステップにおいて生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定ステップ、
前記特定ステップにおいて特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定ステップ、
複数の前記判定ステップにおける判定結果を出力する出力ステップ、
お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶部に記憶させる記憶ステップ、
前記生成ステップにおいて得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定ステップ、
特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出ステップ、
前記抽出ステップにおいて抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整ステップ、として機能させ、
前記判定ステップは、前記調整ステップにおいて調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、
ことを特徴とするスイング判定方法。
【請求項２０】
コンピュータを、
ユーザのスイングを撮像した動画を入力する入力手段、
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段、
前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定手段、
前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段、
複数の前記判定手段による判定結果を出力する出力手段、
お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶する記憶手段、
前記生成手段によって得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定手段、
特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出手段、
前記抽出手段によって抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整手段、として機能させ、
前記判定手段は、前記調整手段によって調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明に係るスイング判定装置は、ユーザのスイングを撮像した動画を入力する入力手段と、前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段と、前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定手段と、前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段と、複数の前記判定手段による判定結果を出力する出力手段と、を有し、前記判定手段は、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定し、前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化する、を有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明は、前記ニューラルネットワークは、前記教師画像として、悪いフォームの類例である反面教師画像によって学習を行うことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明は、前記ニューラルネットワークは、前記教師画像として、悪いフォームの類例である反面教師画像によって学習を行うことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明は、前記出力手段は、該当する反面教師に応じたアドバイスを出力することを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明は、前記ニューラルネットワークは、Ｌｅａｒｎｅｒと複数のＡｃｔｏｒとを有するＲ２Ｄ２アルゴリズムによって動作することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明は、ユーザのスイングを撮像した動画を入力する入力手段と、
前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段と、前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定手段と、前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段と、複数の前記判定手段による判定結果を出力する出力手段と、お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶する記憶手段と、前記生成手段によって得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定手段と、特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出手段と、前記抽出手段によって抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整手段と、を有し、前記判定手段は、前記調整手段によって調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、ことを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、本発明は、前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量が所定の閾値以上異なっている場合には、当該注目点については否であると判定し、それ以外の場合には良と判定することを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、本発明は、前記判定手段は、前記ユーザ画像と前記教師画像の前記注目点における特徴量の差異に応じてスイングの良否を得点化することを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、本発明は、注目点毎に重み係数を有し、各判定手段の判定結果に重み係数を累積加算することで、スイングの得点を算出する算出手段をさらに有し、前記出力手段は、前記算出手段によって算出された得点についても併せて出力することを特徴とする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明は、前記スイングはゴルフのスイングであり、前記ユーザの動作、スコア、ハンデ、クラブ毎の飛距離、クラブ毎のヘッドスピードの少なくとも１つと相関を有するように前記重み係数を変更する変更手段をさらに有する、ことを特徴とする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、本発明は、前記スイングはゴルフのスイングであり、前記判定手段は、前記ユーザの右サイド空間領域の前記重み係数の値を相対的に大きくすることで、前記ユーザの右サイド空間領域を優先的に評価する、ことを特徴とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、本発明は、前記判定手段による判定結果に基づいて、前記ユーザのスイングの状態を特定する状態特定手段と、前記状態特定手段によって特定された前記ユーザのスイングの状態に応じたアドバイスを、前記出力手段を介して提示する提示手段と、をさらに有することを特徴とする。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、本発明は、前記アドバイスが複数存在する場合には、前記提示手段によって複数の前記アドバイスを提示する順番を決定する決定手段を有することを特徴とする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、本発明は、前記決定手段は、強化学習によって前記アドバイスを提示する順番を決定することを特徴とする。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、本発明は、前記決定手段は、前記アドバイスを提示した場合に前記ユーザのスイングの状態が改善した場合には報酬を付与し、報酬に応じてＱ値を更新することで、強化学習を実行することを特徴とする。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、本発明は、前記ユーザが使用するヘッドマウントディスプレイ、スマートグラス、または、少なくとも１つ以上の外部スマートディスプレイを有し、前記ヘッドマウントディスプレイ、前記スマートグラス、または、前記外部スマートディスプレイに対して、ゴルフ場の風景およびユーザの多方向のスイングを表示するとともに、前記ユーザの動作に応じて、表示する風景を変更する表示手段と、を有することを特徴とする。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、本発明は、前記ユーザの問い合わせを受信する受信手段と、問い合わせに対する応答を格納する格納手段と、前記受信手段を介して受信された問い合わせに対応する応答を前記格納手段から取得し、前記ユーザに提示する提示手段と、を有することを特徴とする。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
また、本発明は、コンピュータを、ユーザのスイングを撮像した動画を入力する入力ステップ、前記入力ステップから入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成ステップ、前記生成ステップにおいて生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定ステップ、前記特定ステップにおいて特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定ステップ、複数の前記判定ステップにおける判定結果を出力する出力ステップ、として機能させ、前記判定ステップは、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定し、前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化する、ことを特徴とする。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
また、本発明は、コンピュータを、ユーザのスイングを撮像した動画を入力する入力ステップ、前記入力ステップから入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成ステップ、前記生成ステップにおいて生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定ステップ、前記特定ステップにおいて特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定ステップ、複数の前記判定ステップにおける判定結果を出力する出力ステップ、として機能させ、前記判定ステップは、ニューラルネットワークを有し、当該ニューラルネットワークに対して、所定の注目点を含む前記教師画像を用いてディープラーニングによって学習処理を施すことでスイングの良否を判定し、前記ニューラルネットワークは、多クラス分類によって所定の注目点に関してスイングの良否を得点化する、ことを特徴とする。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、本発明は、コンピュータを、ユーザのスイングを撮像した動画を入力する入力ステップ、前記入力ステップから入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成ステップ、前記生成ステップにおいて生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定ステップ、前記特定ステップにおいて特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定ステップ、複数の前記判定ステップにおける判定結果を出力する出力ステップ、お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶部に記憶させる記憶ステップ、前記生成ステップにおいて得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定ステップ、特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出ステップ、前記抽出ステップにおいて抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整ステップ、として機能させ、前記判定ステップは、前記調整ステップにおいて調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、ことを特徴とする。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
また、本発明は、コンピュータを、ユーザのスイングを撮像した動画を入力する入力手段、前記入力手段から入力された動画をフレームに分解して静止画としてのユーザ画像を生成する生成手段、前記生成手段によって生成された複数の前記ユーザ画像の中から、スイングの良否を判定する際に注目するべき点である複数の注目点のそれぞれを含む前記ユーザ画像を特定する特定手段、前記特定手段によって特定された所定の注目点を含む前記ユーザ画像と、比較対象となる教師のスイングの画像としての教師画像とを比較してスイングの良否を判定する複数の判定手段、複数の前記判定手段による判定結果を出力する出力手段、お手本となる教師のスイングの画像としての教師画像であって、前記教師の身体の特徴点が特定された教師画像と、前記教師画像におけるスイングの注目点に関する情報と、を記憶する記憶手段、前記生成手段によって得られた前記ユーザ画像に写っている前記ユーザの身体の特徴点を特定する特定手段、特徴点が特定された複数の前記ユーザ画像の中から、前記教師画像に対応する前記ユーザ画像を抽出する抽出手段、前記抽出手段によって抽出された前記ユーザ画像を、前記特徴点を参照して、前記教師画像と比較可能となるように調整する調整手段、として機能させ、前記判定手段は、前記調整手段によって調整がされた前記ユーザ画像と、前記教師画像との前記注目点を比較し、ユーザのスイングの良否を判定する、ことを特徴とする。