(57)【要約】  本発明は、所定のカメラ装置によって具現されるイメージ取得手段を介して取得された運動するボールに対する連続的なイメージから、ボール自体に表示されている商標やロゴなどの特徴部を抽出し、それから、運動するボールが回転するスピン軸及びスピン量を算出できるようにすることによって、少ない計算量で簡単に、そして、迅速且つ正確にボールのスピン算出が可能であるので、比較的低性能のシステムにおいても迅速且つ安定的にボールのスピン算出が行われ得るようにする、運動するボールに対するセンシング装置及びセンシング方法を提供するためのものであって、そのために、本発明に係る運動するボールに対するセンシング装置は、連続的なイメージを取得するイメージ取得手段と、取得されたイメージから特徴部を抽出するイメージ処理手段と、抽出された特徴部を用いてスピンを算出するスピン算出手段とを含む。
2016503893.tif 000002
【特許請求の範囲】
【請求項１】
運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、
前記イメージ取得手段により連続的に取得されたイメージのそれぞれに対して、ボール部分上の特徴部の部分を抽出するように構成されるイメージ処理手段と、
運動するボールに対して連続して取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報に対して任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報と、前記連続して取得された２つのイメージのうち後に取得された第２イメージ上のボール部分の特徴部をなす各ピクセルの位置情報とを比較分析することによって、前記第１イメージから前記第２イメージへのボールの運動によるスピン軸及びスピン量を算出するように構成されるスピン算出手段と
を含む、運動するボールに対するセンシング装置。
【請求項２】
前記イメージ取得手段は、
同じボールを眺める互いに異なる位置に設置された複数個のカメラによってステレオ方式で構成されるステレオカメラまたは３Ｄカメラによって具現される請求項１に記載の運動するボールに対するセンシング装置。
【請求項３】
前記イメージ処理手段は、
前記イメージ取得手段により取得されたイメージ上のボール部分を探して所定の大きさのイメージとして抽出してボールイメージを用意するように構成されるボールイメージ抽出手段と、
前記ボールイメージから前記特徴部の部分を抽出してボール特徴部イメージを用意するように構成されるボール特徴部抽出手段と
を含む請求項１に記載の運動するボールに対するセンシング装置。
【請求項４】
前記ボールイメージ抽出手段によって、前記第１イメージ及び前記第２イメージに対する第１ボールイメージ及び第２ボールイメージがそれぞれ抽出され、前記ボール特徴部抽出手段によって、前記第１ボールイメージ及び前記第２ボールイメージに対する第１特徴部イメージ及び第２特徴部イメージがそれぞれ抽出された状態で、
前記スピン算出手段は、前記第１特徴部イメージから前記第２特徴部イメージに変化するようにするスピン軸及びスピン量を見つけるように構成される請求項３に記載の運動するボールに対するセンシング装置。
【請求項５】
前記スピン算出手段は、
前記第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報を３次元位置情報に変換して任意のスピン軸及びスピン量に対する情報を適用し、再び２次元位置情報に変換して任意のスピン特徴部情報を算出するように構成される任意スピン適用手段と、
前記任意のスピン特徴部と前記第２イメージ上のボール部分の特徴部とを互いに比較して類似度を算出し、前記類似度が予め設定された値を超えるか、またはそれ以上である場合、当該スピン軸及びスピン量情報を最終のスピン軸及びスピン量情報として決定するように構成されるスピン決定手段と
を含む請求項２に記載の運動するボールに対するセンシング装置。
【請求項６】
前記スピン算出手段は、
前記第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報を３次元位置情報に変換して任意のスピン軸及びスピン量に対する情報を適用し、再び２次元位置情報に変換して任意のスピン特徴部情報を算出するように構成される任意スピン適用手段と、
前記任意のスピン特徴部情報と前記第２イメージ上のボール部分の特徴部をなす各ピクセルの位置情報とを互いに比較して互いに一致するピクセルの数を算出し、前記一致するピクセルの数が予め設定された数を超えるか、またはそれ以上である場合、当該スピン軸及びスピン量情報を最終のスピン軸及びスピン量情報として決定するように構成されるスピン決定手段と
を含む請求項２に記載の運動するボールに対するセンシング装置。
【請求項７】
前記スピン算出手段は、
連続的に取得されたそれぞれのイメージにおいて、カメラがボールに対して相対的に同一の位置及び方向から眺めたように前記カメラの位置及び方向に対する情報を補正するための位置補正情報を算出し、前記各特徴部イメージ上の特徴部をなす各ピクセルの位置情報に対して適用するように構成される位置補正手段をさらに含む請求項５又は６に記載の運動するボールに対するセンシング装置。
【請求項８】
前記任意スピン適用手段は、
ボールの運動特性及び前記カメラのフレーム速度を考慮して予め設定された制限条件に応じて、任意のスピン軸及び任意のスピン量を選択して適用するように構成される請求項５又は６に記載の運動するボールに対するセンシング装置。
【請求項９】
運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、
前記イメージ取得手段により連続的に取得されたイメージのそれぞれに対してボール部分を抽出し、それからそれぞれ特徴部の部分を抽出して、それぞれの連続したイメージに対する特徴部イメージを用意するように構成されるイメージ処理手段と、
連続する２つの特徴部イメージのうち先に取得されたイメージに対する特徴部イメージから後に取得されたイメージに対する特徴部イメージに変化するようにする３次元空間上のスピン軸及びスピン量を見つけるように構成されるスピン算出手段と
を含む、運動するボールに対するセンシング装置。
【請求項１０】
運動するボールに対するイメージを取得して分析することによって前記運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法であって、
表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、
前記連続的に取得されたイメージのそれぞれに対して、ボール部分の一側に表示された前記特徴部を抽出するステップと、
前記運動するボールに対して連続して取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報に対して任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報を算出するステップと、
前記連続して取得された２つのイメージのうち後に取得された第２イメージ上のボール部分の特徴部をなす各ピクセルの位置情報を、前記任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報と比較分析することによって、前記第１イメージから前記第２イメージへのボールの運動によるスピン軸及びスピン量を算出するステップと
を含む、運動するボールに対するセンシング方法。
【請求項１１】
前記特徴部を抽出するステップで抽出された各特徴部に対して、
前記各特徴部をなすピクセルの位置情報を３次元位置情報に変換するステップと、
連続的に取得されたそれぞれのイメージにおいて、カメラがボールに対して相対的に同一の位置及び方向から眺めたように前記カメラの位置及び方向に対する情報を補正するための位置補正情報を算出するステップと
を含み、
前記変換された３次元位置情報に対して前記位置補正情報を適用して前記任意のスピン情報の適用及びスピン情報の算出が行われるようにした請求項１０に記載の運動するボールに対するセンシング方法。
【請求項１２】
前記任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報を算出するステップは、
前記第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報を３次元位置情報に変換するステップと、
任意のスピン軸及びスピン量情報を抽出して、前記変換された３次元位置情報に対して適用するステップと、
前記任意のスピン軸及びスピン量が適用された３次元位置情報を２次元位置情報に変換して任意のスピン特徴部情報を算出するステップと
を含む請求項１０又は１１に記載の運動するボールに対するセンシング方法。
【請求項１３】
前記第１イメージから前記第２イメージへのボールの運動によるスピン軸及びスピン量を算出するステップは、
前記任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報と、前記第２イメージ上のボール部分の特徴部をなす各ピクセルの位置情報とを互いに比較し、類似度または互いに一致するピクセルの数を算出するステップと、
前記算出された類似度が予め設定された値を超える又はそれ以上である場合、または、前記一致するピクセルの数が予め設定された数を超える又はそれ以上である場合、当該スピン軸及びスピン量情報を最終のスピン軸及びスピン量情報として決定するステップと
を含む請求項１０又は１１に記載の運動するボールに対するセンシング方法。
【請求項１４】
前記変換された３次元位置情報に対して適用する任意のスピン軸情報は、
物体の回転に対するロール（ｒｏｌｌ）方向、ピッチ（ｐｉｔｃｈ）方向及びヨー（ｙａｗ）方向のうちの２つの要素による範囲内で任意に選択されたスピン軸情報を含む請求項１２に記載の運動するボールに対するセンシング方法。
【請求項１５】
前記変換された３次元位置情報に対して適用する任意のスピン量情報は、
人の打撃によって回転できる最大のスピンの限界、及びイメージを取得するカメラのフレーム速度に応じて予め設定された範囲内で任意に選択されたスピン量情報を含む請求項１２に記載の運動するボールに対するセンシング方法。
【請求項１６】
運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法であって、
表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、
前記連続的に取得されたイメージのそれぞれに対してボール部分上の特徴部の部分を抽出して特徴部イメージをそれぞれ用意するステップと、
連続する２つの特徴部イメージのうち先に取得されたイメージに対する特徴部イメージから後に取得されたイメージに対する特徴部イメージに変化するようにする３次元空間上のスピン軸及びスピン量を見つけるステップと
を含む、運動するボールに対するセンシング方法。
【請求項１７】
前記スピン軸及びスピン量を見つけるステップは、
連続的に取得されたそれぞれのイメージにおいて、カメラがボールに対して相対的に同一の位置及び方向から眺めたように前記カメラの位置及び方向に対する情報を補正するための位置補正情報を算出して、前記各特徴部イメージ上の特徴部をなす各ピクセルの位置情報に対して適用するステップを含む請求項１６に記載の運動するボールに対するセンシング方法。
【請求項１８】
前記スピン軸及びスピン量を見つけるステップは、
連続する２つのイメージのうち先に取得されたイメージに対する特徴部イメージ上の特徴部をなす各ピクセルの位置情報に対して、任意のスピン軸及びスピン量に対する任意のスピン情報を適用するステップと、
前記任意のスピン情報が適用されたピクセルの位置情報と、前記連続する２つのイメージのうち後に取得されたイメージに対する特徴部イメージ上の特徴部をなす各ピクセルの位置情報とを比較するステップと、
前記任意のスピン情報が適用されたピクセルの位置情報と、前記第２特徴部イメージ上の特徴部をなす各ピクセルの位置情報とが、予め設定された水準で類似であると判断される場合、前記任意のスピン情報のスピン軸及びスピン量を最終のスピン軸及びスピン量として決定するステップと
を含む請求項１６に記載の運動するボールに対するセンシング方法。
【請求項１９】
前記スピン軸及びスピン量を見つけるステップは、
連続する２つのイメージのうち先に取得されたイメージと後に取得されたイメージとを一対のイメージとして、複数対に対してそれぞれ前記任意のスピン情報を適用するステップ、位置情報を比較するステップ、及び最終のスピン軸及びスピン量として決定するステップを実行させて算出された複数個のスピン情報を、予め設定された関数によって組み合わせて、運動するボールに対するスピン情報を算出するステップをさらに含む請求項１８に記載の運動するボールに対するセンシング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運動するボールに対するイメージを取得し、これを所定の処理を行って分析することによってボールのスピンを算出するようにするための、運動するボールに対するセンシング装置及びセンシング方法に関する。
【背景技術】
【０００２】
ボールを用いるスポーツ競技、特にゴルフの場合、ゴルファーによって打撃されて運動するボールの物理的特性を正確にセンシングし、そのセンシングされた値を用いて打球の分析を行うか、または、これを映像として具現して、いわゆるスクリーンゴルフのようなシミュレーションゴルフ分野に適用する試みは常に行われてきた。
【０００３】
特に、打撃によって飛んで行くボールのスピン（Ｓｐｉｎ）は、３次元空間上の軸を中心に非常に高速で回転するので、これを測定することは非常に難しく、また、正確な測定のためには、非常に高価な装備が必要であり、代表的には、レーダセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）を用いる方式がある。
【０００４】
しかし、このような高価のセンシング装置は、ユーザがゴルフスイングによって打撃したボールをセンシングしてボールの軌跡を算出し、それから仮想のゴルフコースでのゴルフシミュレーションが行われるようにする、いわゆるスクリーンゴルフやゴルフ練習場での打球分析などに汎用されるセンシング装置としては適当ではなく、比較的安価で、低性能のシステムにおいても迅速且つ正確にボールのスピンをセンシングできるようにする技術の開発が必要とされているのが実情である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、所定のカメラ装置によって具現されるイメージ取得手段を介して取得された運動するボールに対する連続的なイメージから、ボール自体に表示されている商標やロゴなどの特徴部を抽出し、それから、運動するボールが回転するスピン軸及びスピン量を算出できるようにすることによって、少ない計算量で簡単に、そして、迅速且つ正確にボールのスピン算出が可能であるので、比較的低性能のシステムにおいても迅速且つ安定的にボールのスピンを算出できるようにする、運動するボールに対するセンシング装置及びセンシング方法を提供するためのものである。
【課題を解決するための手段】
【０００６】
本発明の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、前記イメージ取得手段により連続的に取得されたイメージのそれぞれに対して、ボール部分上の特徴部の部分を抽出するように構成されるイメージ処理手段と、運動するボールに対して連続して取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報に対して任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報と、前記連続して取得された２つのイメージのうち後に取得された第２イメージ上のボール部分の特徴部をなす各ピクセルの位置情報とを比較分析することによって、前記第１イメージから第２イメージへのボールの運動によるスピン軸及びスピン量を算出するように構成されるスピン算出手段とを含む。
【０００７】
一方、本発明の他の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、前記イメージ取得手段により連続的に取得されたイメージのそれぞれに対してボール部分を抽出し、それからそれぞれ特徴部の部分を抽出して、それぞれの連続したイメージに対する特徴部イメージを用意するように構成されるイメージ処理手段と、連続する２つの特徴部イメージのうち先に取得されたイメージに対する特徴部イメージから後に取得されたイメージに対する特徴部イメージに変化するようにするスピン軸及びスピン量を見つけるように構成されるスピン算出手段とを含む。
【０００８】
一方、本発明の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、前記連続的に取得されたイメージのそれぞれに対して、ボール部分の一側に表示された前記特徴部を抽出するステップと、運動するボールに対して連続して取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報に対して任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報を算出するステップと、前記連続して取得された２つのイメージのうち後に取得された第２イメージ上のボール部分の特徴部をなす各ピクセルの位置情報を、前記任意のスピン軸及びスピン量を適用した結果による特徴部の各ピクセルの位置情報と比較分析することによって、前記第１イメージから第２イメージへのボールの運動によるスピン軸及びスピン量を算出するステップとを含む。
【０００９】
一方、本発明の他の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、前記連続的に取得されたイメージのそれぞれに対してボール部分上の特徴部の部分を抽出して特徴部イメージを用意するステップと、連続する２つの特徴部イメージのうち先に取得されたイメージに対する特徴部イメージから後に取得されたイメージに対する特徴部イメージに変化するようにするスピン軸及びスピン量を見つけるステップとを含む。
【発明の効果】
【００１０】
本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、所定のカメラ装置によって具現されるイメージ取得手段を介して取得された運動するボールに対する連続的なイメージから、ボール自体に表示されている商標やロゴなどの特徴部を抽出し、それから、運動するボールが回転するスピン軸及びスピン量を算出できるようにすることによって、少ない計算量で簡単に、そして、迅速且つ正確にボールのスピン算出が可能であるので、比較的低性能のシステムにおいても迅速且つ安定的にボールのスピンを算出できるようにする効果がある。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例に係る運動するボールに対するセンシング装置の構成を簡略に示すブロック図である。
【図２】図１に示された構成を用いて、イメージ取得からボールのスピン算出に至るまでの各構成要素別の機能を説明するための図である。
【図３】本発明に係るイメージ取得手段として、ステレオで構成された２台のカメラ、及び運動するボールに対して示す図である。
【図４】（ａ）から（ｃ）は、連続して取得されたイメージに対するソースイメージをそれぞれ示す図である。
【図５】（ａ）から（ｃ）は、図４の（ａ）から（ｃ）に示した各ソースイメージからボール部分を抽出する過程を説明するための図である。
【図６】図５に示したようなボール部分の抽出において好ましい抽出方法を説明するための図である。
【図７】（ａ）から（ｃ）は、図５の（ａ）から（ｃ）に示したようにそれぞれ抽出されたボールイメージに対して正規化されたイメージをそれぞれ示す図である。
【図８】（ａ）及び（ｂ）は、それぞれ、連続する２つのソースイメージから抽出されたボールイメージが正規化されたイメージを示し、（ｃ）及び（ｄ）は、（ａ）及び（ｂ）に示したイメージからそれぞれ特徴部を抽出した特徴部イメージを示す図である。
【図９】運動するボールのスピン算出を説明するために示す図である。
【図１０−１１】ボールのスピン算出のためにカメラの位置及び方向に対する補正が行われる原理について説明するための図である。
【図１２】本発明の一実施例に係る運動するボールに対するセンシング方法について説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
本発明に係る運動するボールに対するセンシング装置及びセンシング方法に関する具体的な内容を、図面を参照して説明する。
【００１３】
本発明は、基本的に、ユーザがゴルフクラブでゴルフボール（以下、"ボール"という）を打撃することを所定のカメラで撮影し、その撮影されたイメージを分析することによって打撃されたボールのスピンを算出するようにしたもので、前記カメラは、複数個のカメラによりステレオ方式で構成されるステレオカメラまたは３Ｄカメラであって、ボールに対する２次元イメージ上の座標を３次元座標に変換したり、その反対の変換が可能なようにする構成であることが好ましい。
【００１４】
そして、本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、ユーザのゴルフスイングによるボールの打球分析や仮想現実ベースのシミュレーションを用いた仮想ゴルフなどの様々な分野に適用することができる。
【００１５】
まず、図１及び図２を参照して、本発明の一実施例に係る運動するボールに対するセンシング装置について説明する。
【００１６】
図１及び図２に示すように、本発明の一実施例に係る運動するボールに対するセンシング装置は、イメージ取得手段１００、イメージ処理手段２００及びスピン算出手段３００を含んで構成される。
【００１７】
イメージ取得手段１００は、カメラ装置であって、上述したように、ステレオ方式のカメラ装置であるか、または３Ｄカメラ装置として具現することができる。図１では、第１カメラ１１０及び第２カメラ１２０によってステレオ方式のカメラ装置としてイメージ取得手段１００が具現された場合を示している。
【００１８】
イメージ処理手段２００は、イメージ取得手段１００によって取得された各イメージからボール部分に対するイメージであるボールイメージを抽出し、前記ボールイメージ上のディンプル部分及び各種ノイズ部分を除去することによって、前記ボールイメージ上の特徴部、すなわち、ボールに表示された商標やロゴ、傷などの不特定の表示を抽出するようにする構成要素である。
【００１９】
イメージ処理手段２００は、ボールイメージ抽出手段２１０及びボール特徴部抽出手段２３０を含んで構成されることが好ましい。
【００２０】
ボールイメージ抽出手段２１０は、イメージ取得手段１００によって取得されたイメージであるソースイメージからボール部分に対するイメージであるボールイメージを抽出し、そのボール部分に対する中心座標を抽出するように構成される。これについての具体的な事項は後述する。
【００２１】
ボール特徴部抽出手段２３０は、ボールイメージ抽出手段２１０により抽出されたボールイメージに対して、それぞれのボールイメージの大きさ及び明るさなどに対する正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）などが行われるようにし、イメージ上に示されたボールの特徴部（ボールに表示された商標やロゴ、傷などの不特定の表示）の部分を抽出する構成要素である。これについての具体的な事項は後述する。
【００２２】
一方、スピン算出手段３００は、任意の連続する２つのボールイメージ上でそれぞれ抽出された特徴部の位置変化を分析することによって、すなわち、先に取得されたイメージ上の特徴部が、どのような３次元空間上のスピン軸及びスピン量によって、後に取得されたイメージ上の特徴部に変化したかを分析することによって、最終的なボールのスピン軸及びスピン量に対する情報を見つけるようにする構成要素であって、図１及び図２に示すように、位置補正手段３１０、任意スピン適用手段３２０及びスピン決定手段３３０を含んで構成されることが好ましい。
【００２３】
位置補正手段３１０は、ボールのスピン算出のために、連続する２つのイメージ上のボールが、互いに同じ相対座標系において同じ角度でボールを眺めた状態でスピン算出が行われるようにして、正確なスピン算出が可能なようにするためのもので、これについての具体的な事項は後述する。
【００２４】
一方、本発明は、基本的に、連続的に撮影された運動するボールに対するイメージのうち、２つのイメージずつ分析し、先に取得されたイメージを第１イメージとし、後に取得されたイメージを第２イメージとするとき、第１イメージが取得される時のボール状態から第２イメージが取得される時のボール状態になるスピンを算出する。第１イメージ上の特徴部が第２イメージ上の特徴部の位置に変化するためのスピン軸及びスピン量を見つける方式でスピンを算出するものである。
【００２５】
任意スピン適用手段３２０は、上述したように、第１イメージ上の特徴部が第２イメージ上の特徴部に位置変化するためのスピン軸及びスピン量を見つけるために、任意のスピン軸及びスピン量情報を抽出してこれを適用するようにするためのもので、このように、任意スピン適用手段３２０によって適用された任意のスピン軸及びスピン量情報が、見つけようとするスピン軸及びスピン量情報に近接するか否かをスピン決定手段３３０が判断して決定することによって、最終的なスピン情報を算出できるようになるものである。
【００２６】
すなわち、任意スピン適用手段３２０は、最終的なスピン情報算出が行われる前までは、毎回新しい任意のスピン軸及びスピン量情報を抽出して適用し、その適用された結果をスピン決定手段３３０がチェックして、最も適した任意のスピン情報を最終のスピン情報として決定するものである。これについての具体的な事項は後述する。
【００２７】
図３に示すように、地面Ｇに対するｉ，ｊ，ｋ座標系を基準にして第１カメラ１１０及び第２カメラ１２０のそれぞれが取得したボールに対するイメージから、ボール１０が運動することによる、それぞれのイメージが取得された位置での位置情報を知ることができる。
【００２８】
すなわち、第１カメラ１１０及び第２カメラ１２０は、ステレオ方式（Ｓｔｅｒｅｏｓｃｏｐｉｃ）の構成を有するイメージ取得装置であるので、２つのカメラが同一の被写体に対して取得したイメージから被写体の３次元座標情報を抽出することができ、図３では、ボール１０が第１位置から第２位置に運動するに伴って、第１位置の座標情報（ｘ，ｙ，ｚ）及び第２位置の座標情報（ｘ'，ｙ'，ｚ'）をそれぞれ抽出することができる。このとき、第１カメラ１１０及び第２カメラ１２０は固定されている。したがって、第１カメラ１１０及び第２カメラ１２０の位置座標を知ることができ、これは常に固定されている。
【００２９】
このような状態で、ある１つのカメラによって運動するボールに対して連続的に取得されたイメージのうちの一部を、図４の（ａ）から（ｃ）を通じて確認することができる。
【００３０】
すなわち、図４の（ａ）から（ｃ）は、固定されたカメラによって、その画角内の運動するボールに対するイメージを所定の時間間隔で取得したイメージに対して、差映像などを通じて背景部分などを除去し、ボール部分２１，２２，２３のみが残っている状態のイメージを示したものである。
【００３１】
図４の（ａ）、（ｂ）及び（ｃ）から、ボールが左側対角線方向に飛んで行く状態であることがわかり、ボールがカメラに近接する時には、図４の（ａ）のようにボール２１が大きく見え、カメラから次第に遠ざかるほど、図４の（ｂ）及び（ｃ）のようにボール２２，２３がだんだん小さく見えるようになることがわかる。
【００３２】
ここで、図４の（ａ）、（ｂ）及び（ｃ）に示したイメージ、すなわち、最初に取得されたイメージから背景部分及び各種ノイズ部分を差映像などを通じて除去し、動く部分であるボール部分のみが残った状態のイメージをソースイメージという。
【００３３】
それぞれのソースイメージ上でボール部分２１，２２，２３を見ると、ボール自体の表面に表示された特徴部Ｆ１，Ｆ２，Ｆ３が、ボールの回転に伴ってその位置が変わっていることがわかる。
【００３４】
ここで、関心対象は、ボール上の特徴部Ｆ１，Ｆ２，Ｆ３の部分であり、これを正確に抽出してその位置変化を分析することによって、ボールのスピンを算出することができる。
【００３５】
そのために、まず、図４に示したようなソースイメージからボール部分２１，２２，２３に対するイメージ、すなわち、ボールイメージのみを効果的に抽出することが必要である。
【００３６】
図５の（ａ）から（ｃ）では、それぞれのソースイメージからボール部分のみを抽出する過程を示しており、まず、ソースイメージにおいてボール部分２１，２２，２３を探し、図６に示したように、ボール部分２１の中心点Ｃが、抽出するイメージ２１１の中心点となり、ボール部分２１の外郭線が、抽出するイメージ２１１の外郭線と実質的に接するようにして正確に抽出するようにすることが好ましい。
【００３７】
このような方法で、各ソースイメージからボール部分２１，２２，２３のみを抽出したイメージ、すなわち、ボールイメージ２１１，２１２，２１３は、それぞれのソースイメージ上でのボールの大きさに対応する大きさであるので、互いに異なる大きさを有し、各ソースイメージ上に示されたボール部分２１，２２，２３は、カメラとの距離に応じて照明の影響が異なるので、明るさもボールイメージ毎に異なる。
【００３８】
正確なボール特徴部の抽出のためには、それぞれのボールイメージ２１１，２１２，２１３の大きさを同一にし、明るさを正規化することが必要である。
【００３９】
図７の（ａ）から（ｃ）は、図５の（ａ）から（ｃ）にそれぞれ対応するボールイメージに対する大きさ及び明るさの正規化（Ｎｏｍａｌｉｚａｔｉｏｎ）が行われたイメージを示したものである。
【００４０】
すなわち、それぞれのボールイメージ２１１，２１２，２１３に対して、予め設定された大きさに合せて拡大又は縮小するか、または、ボールイメージ２１１，２１２，２１３のいずれか１つを基準として、それに合わせて他のボールイメージを拡大又は縮小することによって、すなわち、各ボールイメージに対してノーマライズ処理を行うことによって、ボールイメージの大きさが互いに同一になるようにする。
【００４１】
そして、それぞれのボールイメージに対して、ボール部分をなす全てのピクセルの平均値を用いてノーマライズ処理を行うことによって、各ボールイメージの全体的な明るさが互いに同一になるようにする。
【００４２】
一方、上述したように、ボールイメージに対する正規化が完了した後には、それぞれの正規化されたボールイメージに対して、図８に示したように、ボール特徴部抽出手段によるボール特徴部の抽出が行われる。
【００４３】
すなわち、図８の（ａ）に示されたボールイメージを第１ボールイメージとし、（ｂ）に示されたボールイメージを第２ボールイメージとするとき、第１ボールイメージは、連続して取得された２つのイメージのうち先に取得されたイメージであり、第２ボールイメージは、後に取得されたイメージであり、図８の（ｃ）は、第１ボールイメージ上の特徴部Ｆ１に対する抽出が完了した特徴部ＦＣ１を有する第１特徴部イメージであり、図８の（ｄ）は、第２ボールイメージ上の特徴部Ｆ２に対する抽出が完了した特徴部ＦＣ２を有する第２特徴部イメージである。
【００４４】
ここで、特徴部の抽出は、差映像技法などの様々なイメージ処理技法により行われてもよい。
【００４５】
上述したように、抽出された特徴部ＦＣ１，ＦＣ２を有する特徴部イメージが用意されると、これを用いて、スピン算出手段による、運動するボールのスピン情報を算出する過程が行われる。
【００４６】
ここで、ボールのスピンは、図９に示すように、ｉ軸、ｊ軸及びｋ軸座標系による３次元空間上のスピン軸に対する座標情報、及び前記スピン軸を中心に回転した角度、すなわち、スピン量に対する情報を算出することによって求めることができる。
【００４７】
図９に示したように、３次元空間上での回転運動は、ピッチ、ヨー、ロール（ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ）成分をそれぞれ含むことができ（例えば、スピン軸がｋ軸と一致する場合には、ボールはサイドスピン（Ｓｉｄｅ  Ｓｐｉｎ）のみを有するようになり、スピン軸がｉ軸と一致する場合には、ボールはバックスピン（Ｂａｃｋ  Ｓｐｉｎ）またはフォワードスピン（Ｆｏｒｗａｒｄ  Ｓｐｉｎ）のみを有するようになる）、ｉ軸方向の回転成分をθ、ｊ軸方向の回転成分をλ、そしてｋ軸方向の回転成分をρとすると、求めようとするスピンのベクトル（ω）は、下記の［数式１］のように示すことができる。
【００４８】
［数式１］
2016503893.tif 000003
【００４９】
スピンベクトル（ω）から、下記の［数式２］のようにスピン軸情報及び［数式３］のようにスピン量情報をそれぞれ算出することができる。ここで、αは、スピン量情報を示す。
【００５０】
［数式２］
2016503893.tif 000004
【００５１】
［数式３］
2016503893.tif 000005
【００５２】
したがって、運動するボールのスピンに対するｙａｗ回転成分であるθ、ｒｏｌｌ回転成分であるλ、そして、ｐｉｔｃｈ回転成分であるρ値を見つけることによって、スピン軸及びスピン量情報を求めることができる。
【００５３】
このようなスピン軸及びスピン量情報を見つけることは、図７に示したように、ボールイメージから抽出された特徴部から行われ得る。
【００５４】
すなわち、図８に示したように、連続する２つのボールイメージに対する特徴部イメージ（図８の（ｃ）及び（ｄ））を用いて、スピン軸及びスピン量を抽出することができる。
【００５５】
そのためには、まず、前記特徴部をなす各ピクセルの位置情報に対する補正が必要である。
【００５６】
すなわち、カメラによって取得されたイメージ上のボールの位置は、カメラが眺める方向に応じてスピン軸及びスピン量が異なって観察されるので、正確に基準を立て、その基準に合わせて絶対的なスピン軸及びスピン量を算出できるようにすることが必要であり、そのためには、連続的に取得されるそれぞれのイメージ毎に、ボールに対して、相対的にカメラが同一の位置及び方向にボールを眺めたようにカメラの位置及び方向情報を補正することによって、ボールの正確なスピン情報を算出できるようになる。
【００５７】
図１０及び図１１は、前記の位置補正に対する原理を説明するための図である。
【００５８】
本発明に係るセンシング装置及びセンシング方法は、連続する２つのイメージを用いて、特徴部の位置変化からスピン情報を算出するようにするものであり、正確なスピン情報の算出のためには、分析するそれぞれの連続する一対のイメージが、それぞれ同一の位置及び方向からボールを眺めた状態でなければならない。すなわち、連続して取得されるイメージのそれぞれに対して（常に固定されたカメラが、通り過ぎるボールを眺めて撮影したものである）、カメラがボールと共に動きながら、常にボールに対して相対的に同一の位置及び方向から眺めたようにそれぞれのイメージを補正することが必要である。
【００５９】
このようなカメラの位置及び方向の基準を定立するための一例として、図１０に示すように、ボール１０がｄ方向に沿って運動するとき、ボールが進行する方向のベクトル成分Ｂｊに対して垂直な平面ｐに含まれながら地面Ｇと平行なベクトル成分であるＢｉ方向からボール１０を眺める方向を基準とすることができる。
【００６０】
すなわち、図１１に示すように、ボールがｄ方向に沿って進行しながらカメラ１１０によって撮影されるそれぞれの位置毎に、ボール１０が進行する方向ベクトルＢｊに対して垂直をなしながら地面Ｇに平行な方向ベクトルＢｉの方向にカメラがボールを眺めたようにカメラ１１０の位置及び方向を補正するための位置補正情報を生成し、これをスピン算出に適用する必要がある。
【００６１】
このような位置補正は、既に知っている固定されたカメラの座標情報及びボールの中心座標情報を用いて、カメラがボールを眺める角度を補正することによって行われ得、実際にイメージをそのように補正するものではなく、抽出された各特徴部のピクセルの位置座標にその補正される部分に対する情報を適用することによって解決することができる。
【００６２】
一方、第１特徴部ＦＣ１（図８参照）をなす各ピクセルの位置情報を３次元位置情報に変換し、上述したような位置補正情報を適用して任意のスピン軸及びスピン量情報を適用した後、これを再び２次元位置情報に変換する。
【００６３】
このように変換された２次元位置情報を、第２特徴部をなすピクセルの位置情報と比較し、互いに一致する場合、前記適用された任意のスピン軸及びスピン量情報が、求めようとする正確なスピン軸及びスピン量情報となる。
【００６４】
したがって、本発明に係るセンシング装置及びセンシング方法は、上述したように、任意のスピン軸及びスピン量情報を繰り返して適用して導出された位置情報と、第２特徴部のピクセルの位置情報とがある程度の水準以上に一致するスピン軸及びスピン量情報を見つけることによって、最終的なスピン情報を算出するようにしたものである。
【００６５】
これを数式で表すと、次の通りである。
【００６６】
まず、下記の［数式４］及び［数式５］のように、第１特徴部及び第２特徴部のそれぞれをなすピクセルの位置情報を３次元位置情報に変換して示すことができる。
【００６７】
［数式４］
ＰＣ１ｓｅｔ_３Ｄ＝Ｃ１＊Ｐ１ｓｅｔ_３Ｄ
【００６８】
［数式５］
ＰＣ２ｓｅｔ_３Ｄ＝Ｃ２＊Ｐ２ｓｅｔ_３Ｄ
【００６９】
ここで、Ｐ１ｓｅｔ_３Ｄは、第１特徴部ＦＣ１（図８参照）上の各ピクセルの座標（２次元座標）に対する行列をＰ１ｓｅｔとするとき、当該Ｐ１ｓｅｔを３次元座標情報に変換した行列である。
【００７０】
Ｐ２ｓｅｔ_３Ｄは、第２特徴部ＦＣ２（図８参照）上の各ピクセルの座標（２次元座標）に対する行列をＰ２ｓｅｔとするとき、当該Ｐ２ｓｅｔを３次元座標情報に変換した行列である。
【００７１】
Ｃ１及びＣ２は、上記の図１０及び図１１に示したような原理による位置補正情報を回転行列として算出したものであって、Ｃ１は、第１特徴部のピクセルの位置座標の補正のためのものであり、Ｃ２は、第２特徴部のピクセルの位置座標の補正のためのものである。
【００７２】
ＰＣ１ｓｅｔ_３Ｄは、第１特徴部上のピクセルの３次元座標に対して位置補正された行列であり、ＰＣ２ｓｅｔ_３Ｄは、第２特徴部上のピクセルの３次元座標に対して位置補正された行列である。
【００７３】
一方、見つけようとする最終的なスピン情報として、スピン軸ベクトルをωとし、スピン量をαとするとき、これを用いて回転行列Ｒ（ω，α）を算出することができ、これは、前記各特徴部のピクセルの３次元変換された位置情報であるＰＣ１ｓｅｔ_３Ｄ及びＰＣ２ｓｅｔ_３Ｄと次の［数式６］のような関係が成立する。
【００７４】
［数式６］
Ｒ（ω，α）＊ＰＣ１ｓｅｔ_３Ｄ＝ＰＣ２ｓｅｔ_３Ｄ
【００７５】
［数式６］に［数式４］及び［数式５］を代入すると、次の［数式７］のような関係式が成立する。
【００７６】
［数式７］
ＰＣ２ｓｅｔ_３Ｄ＝Ｃ２Ｔ＊Ｒ（ω，α）＊Ｃ１＊Ｐ１ｓｅｔ_３Ｄ
【００７７】
ここで、Ｃ２Ｔは、行列Ｃ２の転置行列（Ｔｒａｎｓｐｏｓｅｄ  Ｍａｔｒｉｘ）である。
【００７８】
［数式７］を通じて第１特徴部のピクセルの位置情報を３次元位置情報に変換し、これに位置補正情報を適用した後、任意のスピン情報を適用した結果を算出することができ、すなわち、［数式７］において求めようとする最終のスピン情報であるＲ（ω，α）の代わりに任意のスピン情報を代入すればよい。
【００７９】
任意のスピン情報として、任意のスピン軸ベクトルω'及び任意のスピン量α'を用いて算出された回転行列Ｒ（ω'，α'）を［数式７］に代入した結果をＴｓｅｔ_３Ｄとすると、次の［数式８］のような関係式が成立する。
【００８０】
［数式８］
Ｔｓｅｔ_３Ｄ＝Ｃ２Ｔ＊Ｒ（ω'，α'）＊Ｃ１＊Ｐ１ｓｅｔ_３Ｄ
【００８１】
［数式８］によって求められたＴｓｅｔ_３Ｄを、再び２次元座標に変換することができ、これをＴｓｅｔとする場合、当該Ｔｓｅｔと上記Ｐ２ｓｅｔとが互いに一致すれば、Ｒ（ω'，α'）とＲ（ω，α）は互いに同じ値を有するようになるので、前記任意のスピン情報であるＲ（ω'，α'）を最終のスピン情報として決定することができる。
【００８２】
すなわち、互いに異なる任意のスピン情報をそれぞれ適用した多数のＴｓｅｔのうち、Ｐ２ｓｅｔと最も一致する、すなわち、類似度が最も高いＴｓｅｔに適用された任意のスピン情報を最終のスピン情報として決定するようになる。
【００８３】
これは、ＴｓｅｔとＰ２ｓｅｔとを比較して位置座標が互いに一致するピクセルの数を算出し、その一致するピクセルの数が一定水準を超える又はそれ以上である場合、または、ＴｓｅｔのピクセルとＰ２ｓｅｔのピクセルに対する所定の関数式による類似度を算出して、一定水準を超える又はそれ以上である場合、当該Ｔｓｅｔに適用された任意のスピン情報が最終のスピン情報となる。
【００８４】
ここで、類似度は、例えば、ピクセル全体の数に対する互いに一致するピクセルの数の比率を算出し、その比率を用いて判断することができる。
【００８５】
一方、上述したような運動するボールに対するスピン算出過程を、図１２に示したフローチャートを通じて再び説明する。
【００８６】
まず、運動するボールに対する連続的なイメージの取得が行われ（Ｓ１０）、それぞれの取得されたイメージに対して背景の除去などを経てソースイメージをそれぞれ抽出する（Ｓ１２）。
【００８７】
そして、各ソースイメージからボール部分を探してボールイメージを抽出し（Ｓ２０）、それぞれのボールイメージからボール特徴部を抽出して、それぞれ特徴部イメージを用意する（Ｓ３０）。
【００８８】
連続する特徴部イメージのうち、２つのイメージにおいて時間的に前のイメージを第１特徴部イメージとし、後のイメージを第２特徴部イメージとするとき、第１特徴部イメージ上の第１特徴部をなすピクセルの位置情報及び第２特徴部イメージ上の第２特徴部をなすピクセルの位置情報を用いてスピン算出が行われる。
【００８９】
すなわち、第１特徴部をなすピクセルの位置情報を３次元位置情報に変換し（Ｓ４２）、これに位置補正情報を適用する（Ｓ４４）。
【００９０】
そして、任意のスピン軸及びスピン量を抽出して前記３次元位置情報に適用し（Ｓ５２）、これを再び２次元位置情報に変換する（Ｓ５４）。
【００９１】
Ｓ５４過程で変換された２次元位置情報を、第２特徴部をなすピクセルの位置情報と比較して（Ｓ６２）、位置座標が互いに一致するピクセルの数を求め、その数が予め設定された数を超えるか、またはそれ以上である場合には（Ｓ６４）、前記適用された任意のスピン軸及びスピン量を最終のスピン軸及びスピン量として決定する（Ｓ７２）。
【００９２】
もし、前記求められた'互いに一致するピクセルの数'が設定数に満たない場合には、再び他の任意のスピン軸及びスピン量が適用され、Ｓ５２、Ｓ５４、Ｓ６２及びＳ６４などの過程を繰り返して、上記の'互いに一致するピクセルの数'が最も多い場合の任意のスピン軸及びスピン量を最終のスピン情報として決定する。
【００９３】
ここで、図１２のフローチャートでは、'互いに一致するピクセルの数'が設定数を超えるか、またはそれ以上である場合に最終的に選択されるものと説明したが、必ずしもこれに限定されるものではなく、例えば、'互いに一致するピクセルの数'に対して予め設定しておいた値は無く、互いに異なる任意のスピン情報を反復的に適用し、その中で、'互いに一致するピクセルの数'が最も多い場合が最終的に選択されるようにすることも可能である。
【００９４】
また、必ずしもピクセルの数を通じて最終のスピン情報として選択されるものではなく、所定の関数式による類似度を算出することによって、当該類似度を通じて最終のスピン情報の選択が行われるようにすることも可能である。
【００９５】
一方、任意のスピン軸を適用する際に、図９に示したように、ｐｉｔｃｈ回転成分、ｙａｗ回転成分及びｒｏｌｌ回転成分を全て考慮することは、任意のスピン軸及びスピン量の抽出にかなり多い場合の数を考慮しなければならないことを意味するので、これに対する制限範囲を非常に合理的に設定することが可能であり、任意のスピン量を適用する際にも、このような合理的な制限範囲の設定が可能であり、そのように制限された範囲内で主に任意のスピン軸及びスピン量情報を抽出するようになり、これによって場合の数を大幅に減少させて、計算量をかなり減少させることができるので、迅速なスピン算出が可能なようにすることができる。
【００９６】
すなわち、ボールの運動特性及びカメラのフレーム速度を考慮して、任意のスピン軸及びスピン量の抽出に対する制限条件を設定できるので、迅速なスピン算出が可能となる。
【００９７】
ゴルフボールに対してゴルフクラブで打撃をする場合、図９に示したようなスピンの３つの回転成分のうち、主にピッチ（ｐｉｔｃｈ）回転成分及びヨー（ｙａｗ）回転成分が強く現れ、相対的にロール（ｒｏｌｌ）回転成分は無い又はほぼ無視できる水準である。
【００９８】
すなわち、ゴルフボールを打撃すると、ほとんど左右サイドスピン及び前後スピンが発現し、ボールの進行方向を基準にしてローリング（ｒｏｌｌｉｎｇ）する回転成分は無い又はほぼ無視できる程度である。
【００９９】
したがって、任意のスピン軸として選択できる場合は、ロール（ｒｏｌｌ）回転成分をある程度無視し、ピッチ（ｐｉｔｃｈ）回転成分及びヨー（ｙａｗ）回転成分のみを考慮して選択できるので、任意のスピン軸に対する場合の数をかなり減少させることができる。
【０１００】
一方、ゴルフボールに対してゴルフクラブで打撃をする場合、一つのフレームに撮影されたイメージ上のボール状態から、その後のフレームに撮影されたイメージ上のボール状態への回転程度には限界がある。
【０１０１】
すなわち、人の打撃により回転できる最大のスピンに限界が存在し、イメージを取得するカメラのフレーム速度にも限界があるので、これらを通じて、任意のスピン量に対する場合の数を大幅に限定することができる。
【０１０２】
したがって、上述したように任意のスピン軸及びスピン量に対する制限範囲を予め設定することによって計算量を減少させ、迅速なスピン算出が可能となる。
【０１０３】
一方、上記では、連続して取得されたイメージのうち、２つのイメージに対してのみスピン情報を算出する過程を説明したが、カメラに応じて１秒当たり数十フレーム、多くは１秒当たり数千フレームを取得することができ、これら取得された多数の連続的なイメージの全てに対して、上述したようなスピン算出過程を行ってもよく、そのうちの一部に対してのみ行ってもよい。
【０１０４】
すなわち、連続する２つのイメージのうち先に取得されたイメージと後に取得されたイメージとを一対のイメージとし、多数対に対して、それぞれ上述したようなスピン算出過程を経て算出された多数個のスピン情報は少しずつ異なり得るが、これを、予め設定された関数（例えば、平均値を取るか、または、類似度が高かったいくつかのスピン情報に対してのみ平均を出した値を取るなど）によって組み合わせて最終的なスピン情報を算出することもでき、前記算出された多数個のスピン情報のうち、最も類似度が高かったスピン情報を最終的なスピン情報として選択することもできる。
【産業上の利用可能性】
【０１０５】
本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、ゴルフスイングによる打球分析などが行われるゴルフ練習と関連する産業分野、及び仮想現実ベースのゴルフシミュレーションが行われるようにすることで、ユーザが仮想のゴルフ競技を楽しめるようにする、いわゆるスクリーンゴルフ産業分野などに利用可能である。
【図１】
2016503893.tif 000006
【図２】
2016503893.tif 000007
【図３】
2016503893.tif 000008
【図４（ａ）】
2016503893.tif 000009
【図４（ｂ）】
2016503893.tif 000010
【図４（ｃ）】
2016503893.tif 000011
【図５（ａ）】
2016503893.tif 000012
【図５（ｂ）】
2016503893.tif 000013
【図５（ｃ）】
2016503893.tif 000014
【図６】
2016503893.tif 000015
【図７（ａ）】
2016503893.tif 000016
【図７（ｂ）】
2016503893.tif 000017
【図７（ｃ）】
2016503893.tif 000018
【図８】
2016503893.tif 000019
【図９】
2016503893.tif 000020
【図１０】
2016503893.tif 000021
【図１１】
2016503893.tif 000022
【図１２】
2016503893.tif 000023
【国際調査報告】
2016503893.tif 000024
2016503893.tif 000025
2016503893.tif 000026
2016503893.tif 000027