(57)【特許請求の範囲】
【請求項１】
所定の照明下で運動するボールに対するイメージを取得して分析するセンシング処理装置において、
前記取得されたイメージにおいてボールイメージを抽出して、前記抽出されたボールイメージの最も輝度値の高い点を抽出して前記最も輝度値の高い点をもとに前記運動するボールに対する照明の方向を推定する照明方向推定手段と、
前記推定された照明方向に沿って前記ボールイメージの照明を受ける側を基準としてボールの形状にフィッティングすることにより、前記ボールイメージ上の最も輝度値の高い点の反対側のシェード領域が前記フィッティングに含まれるようにして前記フィッティングされたイメージの中心点の座標を抽出するイメージ処理手段と、を含む、センシング処理装置。
【請求項２】
前記照明方向推定手段は、
前記ボールイメージ上の全てのピクセルのうち、輝度値が最も高い地点である第１ポイントを抽出する輝度分析手段と、
前記第１ポイントを中心に前記ボールイメージの外郭まで最短距離をなす地点である第２ポイントを抽出するスキャン手段と、を含み、
前記第１ポイントと前記第２ポイントを連結したラインが前記照明方向の軸として設定されるように構成されることを特徴とする、請求項１に記載のセンシング処理装置。
【請求項３】
前記取得されたイメージから背景及びノイズを除去するように前処理を行い、前処理の程度によって第１処理イメージと前記第１処理イメージよりさらに高い水準の前処理が行われた第２処理イメージをそれぞれ生成するように構成される前処理手段をさらに含み、
前記照明方向推定手段は、
前記第２処理イメージ上の全てのピクセルのうち、輝度値が最も高い地点である第１ポイントを抽出する輝度分析手段、及び前記第１処理イメージ上で前記第１ポイントに該当する位置を中心に前記第１処理イメージの外郭まで最も短い距離をスキャンして、該当の距離上の外郭地点である第２ポイントを抽出するスキャン手段を含み、
前記第１ポイントと前記第２ポイントを連結したラインが前記照明方向の軸として設定されるように構成されることを特徴とする、請求項１または２に記載のセンシング処理装置。
【請求項４】
前記ボールイメージの特定の位置に、予め設定されたまたは前記ボールイメージを通じて測定された直径の半円カーブを形成させ、前記半円カーブに対する反対側の半円を前記直径に基づいてフィッティングする半円フィッティング手段と、
前記半円フィッティングされたボールイメージの中心点の座標を抽出する座標抽出手段と、を含むことを特徴とする、請求項１に記載のセンシング処理装置。
【請求項５】
前記半円フィッティング手段は、
前記ボールイメージの最大明点側の外郭に前記半円カーブを形成させ、反対側の半円をフィッティングすることにより、前記ボールイメージ上のシェード領域を含んでフィッティングするように構成されることを特徴とする、請求項４に記載のセンシング処理装置。
【請求項６】
所定の照明下で運動するボールに対するイメージを取得して分析するセンシング処理方法において、
前記取得されたイメージにおいてボールイメージを抽出して、前記抽出されたボールイメージの最も輝度値の高い点を抽出して前記最も輝度値の高い点をもとに前記運動するボールに対する照明の方向を推定するステップと、
前記推定された照明方向に沿って前記ボールイメージの照明を受ける側を基準としてボールの形状にフィッティングすることにより、前記ボールイメージ上の最も輝度値の高い点の反対側のシェード 領域が前記フィッティングに含まれるようにするステップと、
前記フィッティングされたイメージの中心点の座標を抽出するステップと、を含む、センシング処理方法。
【請求項７】
前記照明の方向を推定するステップは、
前記ボールイメージ上の全てのピクセルのうち、輝度値が最も高い地点である第１ポイントを抽出するステップと、
前記第１ポイントを中心に前記ボールイメージの外郭まで最短距離をなす地点である第２ポイントを抽出するステップと、
前記第１ポイントと前記第２ポイントを連結したラインが前記ボールイメージに対する照明方向の軸として設定されるステップと、を含むことを特徴とする、請求項６に記載のセンシング処理方法。
【請求項８】
前記第１ポイントを抽出するステップは、
前記ボールイメージ上の全てのピクセルのうち、輝度値が最も高いピクセルをチェックするステップと、
前記チェックされた少なくとも一つのピクセルに対する重心を計算することにより、前記第１ポイントを算出するステップと、を含むことを特徴とする、請求項７に記載のセンシング処理方法。
【請求項９】
前記第２ポイントを抽出するステップは、
前記ボールイメージに対して前記第１ポイントを中心に３６０゜ラインスキャンを行うステップと、
前記第１ポイントと前記ボールイメージの外郭を連結する最も短い距離に該当する地点を前記第２ポイントとして抽出するステップと、を含むことを特徴とする、請求項７または８に記載のセンシング処理方法。
【請求項１０】
前記フィッティングするステップは、
前記推定された照明方向を基準に前記ボールイメージの特定の位置に、予め設定されたまたは前記ボールイメージを通じて測定された直径の半円カーブを形成させるステップと、
前記半円カーブに対する反対側の半円を前記直径に基づいてフィッティングするステップとを含むことを特徴とする、請求項６から９の何れか１項に記載のセンシング処理方法。
【請求項１１】
前記半円カーブを形成させるステップは、
前記推定された照明方向に基づく照明方向の軸を抽出するステップと、
前記照明方向の軸が垂直になるように前記ボールイメージを回転させるステップと、
前記半円カーブを前記照明方向の軸に沿って前記ボールイメージに移動させながら、前記半円カーブ上のピクセル値の和をチェックするステップと、
前記チェックされるピクセル値の和が設定値以上に変化する位置に前記半円カーブを位置させるステップとを含むことを特徴とする、請求項１０に記載のセンシング処理方法。
【請求項１２】
前記半円カーブを形成させるステップは、
前記ボールイメージを分析して前記ボールイメージの直径を測定するステップ、及び前記測定された直径に基づく半円カーブを形成させるステップを含み、
前記フィッティングするステップは、
前記測定された直径に基づいて前記形成された半円カーブの反対側の半円をフィッティングすることを特徴とする、請求項１０に記載のセンシング処理方法。
【請求項１３】
前記ボールイメージの直径を測定するステップは、
前記推定された照明方向に基づく照明方向の軸を抽出するステップと、
前記照明方向の軸が垂直になるように前記ボールイメージを回転させるステップと、
前記垂直に回転した照明方向の軸に沿って、前記ボールイメージに対して水平ラインスキャンを行うステップと、
前記水平ラインのうち、前記ボールイメージの外郭と会う二つの地点を連結する長さが最も長い時の前記二つの地点間の長さを、前記ボールイメージの直径として推定するステップとを含むことを特徴とする、請求項１２に記載のセンシング処理方法。
【請求項１４】
ゴルファーにより打撃されて運動するゴルフボールに対する多重露出イメージを取得するカメラ装置及びストロボ照明装置を含むセンサ部と、
前記取得されたイメージからゴルフボールのイメージを抽出して、前記抽出されたボールイメージの最も輝度値の高い点を抽出して前記最も輝度値の高い点をもとに前記ゴルフボールに対する前記ストロボ照明装置の方向を推定する照明方向推定手段、及び前記推定された照明方向に沿って前記ゴルフボールイメージの照明を受ける側を基準としてゴルフボールの形状にフィッティングすることにより、前記ボールイメージ上の最も輝度値の高い点の反対側のシェード領域が前記フィッティングに含まれるようにして前記フィッティングされたイメージの中心点の座標を抽出するイメージ処理手段を含むセンシング処理部と、
前記中心点の座標の変化を計算することにより、運動するゴルフボールに対する物理情報を算出してゴルフボールの軌跡をシミュレーションするシミュレータと、を含む、仮想ゴルフシミュレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運動するボールに対するセンシング処理装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置に係り、より詳細には、ゴルフボールなどのような運動するボールのイメージを取得してこれを分析することにより、その物理的情報を算出できるようにする運動するボールに対するセンシング処理装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置に関する。
【背景技術】
【０００２】
最近、野球、サッカー、バスケットボール、そしてゴルフなどのような人気スポーツ競技を、室内や特定の場所でシミュレーションを通じてインタラクティブスポーツゲーム（Ｉｎｔｅｒａｃｔｉｖｅ  Ｓｐｏｒｔｓ  Ｇａｍｅ）の形態で楽しめるようにする様々な装置に関する開発が活発になされている。
【０００３】
このようなインタラクティブスポーツゲームにおいて、野球ボール、サッカーボール、バスケットボール及びゴルフボールなどのボールを利用するスポーツに対するシミュレーションがなされるようにするために、運動するボール、すなわち、ボールの動きに対する物理的情報を正確にセンシングするための各種センシングシステムに関する研究開発が非常に活発に進んでいる実情である。
【０００４】
例えば、赤外線センサを用いたセンシングシステム、レーザーセンサを用いたセンシングシステム、音響センサを用いたセンシングシステム、そしてカメラセンサを用いたセンシングシステムなどの様々なセンシングシステムが登場している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、運動するボールに対するイメージを低い解像度の低速カメラ装置とストロボ装置により取得するにもかかわらず、その取得されたイメージ上のボールイメージに対する中心点の座標をサブピクセル水準で正確に求めることができるようにすることで、低コストで、高いセンシング処理能力及びセンシングの正確性を実現できるようにする、運動するボールに対するセンシング処理装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置を提供するためのものである。
【課題を解決するための手段】
【０００６】
本発明の一実施例に係るセンシング処理装置は、所定の照明下で運動するボールに対するイメージを取得して分析するセンシング処理装置において、前記取得されたイメージにおいてボールイメージを抽出して、前記抽出されたボールイメージの最も輝度値の高い点を抽出して前記最も輝度値の高い点をもとに前記運動するボールに対する照明の方向を推定する照明方向推定手段と；前記推定された照明方向に沿って前記ボールイメージの照明を受ける側を基準としてボールの形状にフィッティングすることにより、前記ボールイメージ上の最も輝度値の高い点の反対側のシェード領域が前記フィッティングに含まれるようにして前記フィッティングされたイメージの中心点の座標を抽出するイメージ処理手段と；を含む。
【０００７】
本発明の他の一実施例に係るセンシング処理装置は、所定の照明下で運動するボールに対するイメージを取得して分析するセンシング処理装置において、前記ボールイメージの特定の位置に、予め設定されたまたは前記ボールイメージを通じて測定された直径の半円カーブを形成させ、前記半円カーブに対する反対側の半円を前記直径に基づいてフィッティングする半円フィッティング手段と；前記半円フィッティングされたボールイメージの中心点の座標を抽出する座標抽出手段と；を含む。
【０００８】
一方、本発明の一実施例に係るセンシング処理方法は、所定の照明下で運動するボールに対するイメージを取得して分析するセンシング処理方法において、前記取得されたイメージにおいてボールイメージを抽出して、前記抽出されたボールイメージの最も輝度値の高い点を抽出して前記最も輝度値の高い点をもとに前記運動するボールに対する照明の方向を推定するステップと；前記推定された照明方向に沿って前記ボールイメージの照明を受ける側を基準としてボールの形状にフィッティングすることにより、前記ボールイメージ上の最も輝度値の高い点の反対側のシェード 領域が前記フィッティングに含まれるようにするステップと；前記フィッティングされたイメージの中心点の座標を抽出するステップと；を含む。
【０００９】
一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、ゴルファーにより打撃されて運動するゴルフボールに対する多重露出イメージを取得するカメラ装置及びストロボ装置を含むセンサ部と；前記取得されたイメージからゴルフボールのイメージを抽出して、前記抽出されたボールイメージの最も輝度値の高い点を抽出して前記最も輝度値の高い点をもとに前記ゴルフボールに対する前記ストロボ照明の方向を推定する照明方向推定手段と、前記推定された照明方向に沿って前記ゴルフボールイメージの照明を受ける側を基準としてゴルフボールの形状にフィッティングすることにより、前記ボールイメージ上の最も輝度値の高い点の反対側のシェード領域が前記フィッティングに含まれるようにして前記フィッティングされたイメージの中心点の座標を抽出するイメージ処理手段とを含むセンシング処理部と；前記中心点の座標の変化を計算することにより、運動するゴルフボールに対する物理情報を算出してゴルフボールの軌跡をシミュレーションするシミュレータと；を含む。
【発明の効果】
【００１０】
本発明に係る運動するボールに対するセンシング処理装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置は、運動するボールに対するイメージを低い解像度の低速カメラ装置及びストロボ装置により取得するにもかかわらず、その取得されたイメージ上のボールイメージに対する中心点の座標をサブピクセル水準で正確に求めることができるようにすることで、低コストで、高いセンシング処理能力及びセンシングの正確性を実現できるようにする効果がある。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例に係るセンシング処理装置または仮想ゴルフシミュレーション装置を示すブロック図である。
【図２】図１に示されたセンシング処理装置または仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図である。
【図３】本発明の一実施例に係るセンシング処理装置で処理するイメージを取得するカメラ装置及びストロボ装置の作動信号体系を示す図である。
【図４】（ａ）及び（ｂ）は図２に示されたシステムによって取得したボールのイメージパターンをそれぞれ示す図である。
【図５】図５（ａ）は、図４（ａ）に示されたパターンのイメージの実際に取得されたイメージの一例を示す図で、図５（ｂ）は、図５（ａ）に示されたイメージに対する前処理されたイメージを示す図である。
【図６】図５（ｂ）に示されたイメージを拡大して複数のフレームを重ねて示したもので、ボールイメージを抽出する過程を示す図である。
【図７】ボールイメージのフィッティングの原理を説明する図で、図７（ａ）は、ボールイメージを示し、図７（ｂ）は、ボールイメージに対する誤ったフィッティングの例を示し、図７（ｃ）は、本発明のフィッティング手段によるボールイメージのフィッティングの例を示す図である。
【図８】図８（ａ）は、背景が除去された状態のイメージで、図８（ｂ）は、図８（ａ）のＡ領域を拡大して示すイメージである。
【図９】図９（ａ）は、図８（ａ）に示されたイメージに対して低い水準のイメージ処理を行って取得されたイメージで、図９（ｂ）は、図９（ａ）のＢ領域を拡大して示すイメージである。
【図１０】図１０（ａ）は、図８（ａ）に示されたイメージに対して高い水準のイメージ処理を行って取得されたイメージで、図９（ｂ）は、図９（ａ）のＣ領域を拡大して示すイメージである。
【図１１】図１１（ａ）は、図１０（ｂ）に示されたイメージを用いて最大明点を抽出した状態のイメージで、図１１（ｂ）は、図９（ａ）に示されたイメージに前記最大明点を適用した状態のイメージである。
【図１２】図１２（ａ）は、ボールイメージに対する最大明点を中心にラインスキャンを行う過程を示す図で、図１２（ｂ）は、ラインスキャンの結果を示すイメージで、図１２（ｃ）は、図１２（ｂ）に示したラインスキャンの結果に対して、平均化フィルタ（ａｖｅｒａｇｅ  ｆｉｌｔｅｒ）を適用したイメージである。
【図１３】ボールイメージに対する照明方向の推定について説明するための図である。
【図１４】本発明に係るセンシング処理装置の照明方向推定手段により推定された照明方向の軸をボールイメージ上に示す図である。
【図１５】図９（ｂ）に示されたボールイメージに対する直径を測定する過程について示す図である。
【図１６】推定された照明方向を考慮してボールイメージに対するフィッティング過程を示す図である。
【図１７】（ａ）及び（ｂ）は推定された照明方向を考慮してボールイメージに対するフィッティング過程を示す図である。
【図１８】図１７（ａ）及び図１７（ｂ）に示されたフィッティング過程によってフィッティングされたボールイメージに対する中心点が抽出された状態のイメージである。
【図１９】本発明に係るセンシング処理方法に関するそれぞれの実施例を示すフローチャートである。
【図２０】本発明に係るセンシング処理方法に関するそれぞれの実施例を示すフローチャートである。
【図２１】図１９及び図２０に示されたボールイメージのフィッティング過程をより具体的に示すフローチャートである。
【発明を実施するための形態】
【００１２】
本発明による運動するボールに対するセンシング処理装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置に関する実施例を、図面を参照してより具体的に説明する。
【００１３】
本発明による運動するボールに対するセンシング処理装置は、ゴルフのようなボールを利用するスポーツなどにおいて、運動するボールの運動状態に関するイメージを取得してこれを分析することによってセンシングが行われる全てのシステムに適用可能であり、その一例として、仮想ゴルフシミュレーション装置が適用される、いわゆるスクリーンゴルフシステムなどに適用可能である。
【００１４】
図１及び図２では、このような本発明に係る運動するボールに対するセンシング処理装置及びそれを用いた仮想ゴルフシミュレーション装置の概略的な構成について示している。
【００１５】
まず、図１及び図２を参照して、本発明の一実施例に係る運動するボールに対するセンシング処理装置、及びそれを用いる仮想ゴルフシミュレーション装置について説明する。
【００１６】
図１に示すように、本発明は、カメラ装置３１０，３２０、ストロボ装置３３０及び信号発生部２１０などを含むセンサ部で取得されたイメージを処理することにより、運動するボールに対するイメージを処理して、中心点の座標を抽出するセンシング処理装置２２０に関するもので、本発明の一実施例に係るセンシング処理装置２２０は、前処理手段２３０、イメージ抽出手段２４０、照明方向推定手段２５０及びイメージ処理手段２６０などを含んで構成されることが好ましい。
【００１７】
まず、前記センサ部について説明すると、前記カメラ装置３１０，３２０は、ボールの初期位置からボールが運動方向に沿って運動する状態に関して複数個のフレームのイメージを取得するように備えられる。
【００１８】
図１では、２台のカメラ装置３１０，３２０を備える場合について示しているが、これに限定されず、１台またはそれ以上のカメラ装置を備える全ての場合を含むことができる。
【００１９】
前記ストロボ装置３３０は、ＬＥＤなどを用いた照明装置であって、前記カメラ装置の撮影用光源として用いられ、所定の時間間隔でストロボ照明（所定の時間間隔で複数回の照明フラッシュが作動される方式である）が発生して、前記カメラ装置３１０，３２０によって多重露出イメージが取得されるようにする。
【００２０】
すなわち、カメラ装置により撮影される一つのフレームのイメージに、前記ストロボ装置３３０によるフラッシュの回数だけボールが撮影されて現れる多重露出イメージを取得するようになる。
【００２１】
カメラ装置３１０，３２０及びストロボ装置３３０の作動に関する具体的な事項については後述する。
【００２２】
一方、前記カメラ装置３１０，３２０及びストロボ装置３３０の作動のためのトリガ（ｔｒｉｇｇｅｒ）信号は、信号発生部２１０によって発生し、前記カメラ装置３１０，３２０及びストロボ装置３３０による多重露出イメージは、本発明によるセンシング処理装置２２０で処理されて、シミュレータ１００に伝達される。
【００２３】
本発明の一実施例によるセンシング処理装置２２０の照明方向推定手段２５０は、ボールのイメージの最大明点を抽出して、前記最大明点を通る前記ストロボ照明の照明方向を推定するように具現される。前記照明方向推定手段２５０は、輝度分析手段（図示せず）及びスキャン手段（図示せず）などを含んで構成され、これについての具体的な説明は後述する。
【００２４】
一方、前記イメージ処理手段２６０は、前記照明方向推定手段２５０により推定された照明方向に沿ってボールイメージの照明を受ける側の外郭を基準として、ボールイメージをボールの形状にフィッティングすることにより、フィッティングされたイメージの中心点の座標を抽出するように具現される。
【００２５】
すなわち、前記イメージ処理手段２６０は、ボールイメージの特定の位置に、予め設定されたまたは前記ボールイメージを通じて測定された直径の半円カーブを形成させ、前記半円カーブに対する反対側の半円を前記直径に基づいてフィッティングする半円フィッティング手段２７０と、前記半円フィッティングされたボールイメージの中心点の座標を抽出する座標抽出手段２８０とを含んで構成されることが好ましい。これについての具体的な事項は後述する。
【００２６】
ここで、前記半円カーブの直径として、ボールイメージを通じて測定した値を使用する場合、前記センシング処理装置は、ボールイメージの直径を測定するための直径測定手段をさらに備えることが好ましい。
【００２７】
一方、前記前処理手段２３０は、前記センサ部によって取得される多重露出イメージから、イメージ以外の背景イメージやノイズなどを所定のプロセスを通じて除去するなどの処理を行うように具現される。
【００２８】
前記イメージ抽出手段２４０は、前記前処理手段２３０によって前処理されたイメージからボールイメージを抽出するように具現され（より具体的には、ボールとして推定されるイメージ、すなわち、ボールイメージ候補を抽出するように具現される）、前記イメージ抽出手段２４０によって抽出されたボールイメージに対して、上記した照明方向推定手段２５０によるボールイメージ上の照明方向の推定、及び上記したイメージ処理手段２６０によるボールイメージに対するフィッティングなどが行われる。
【００２９】
一方、前記シミュレータ１００は、制御部Ｍ、データベース１１０、映像処理部１２０及び映像出力部１３０などを含んで構成されることが好ましい。
【００３０】
前記制御部Ｍは、前記センシング処理装置２２０でイメージ処理して獲得された運動するボールの座標情報の伝達を受け、これを３次元座標情報に変換し、３次元空間上で前記運動するボールの座標の変化を計算することにより、ボールの運動軌跡シミュレーションのための所定の物理的情報を算出して、映像処理部１２０に伝達する。
【００３１】
このとき、ボールの運動軌跡のシミュレーションのための所定のデータは、データベース１１０から抽出して用い、前記映像処理部１２０でのボールの運動軌跡に関するシミュレーション映像処理は、前記データベース１１０に格納された映像データが抽出されることによってなされ得る。
【００３２】
ここで、前記センシング処理装置２２０から伝達された運動するボールの座標情報を３次元座標情報に変換する変換（ｃｏｎｖｅｒｔｉｎｇ）手段を、前記制御部Ｍとは別途に備えることも可能である。
【００３３】
そして、前記前処理手段２３０、イメージ抽出手段２４０、照明方向推定手段２５０及びイメージ処理手段２６０などは、ハードウェアの面において、前記各手段の機能を行うように設けられる一つのコントローラとして具現してもよく、前記各手段別にそれぞれ別途のコントローラにより該当の機能が具現されるようにしてもよい。また、ソフトウェアの面において、前記各手段の機能を行う一つのプログラムとして具現してもよく、前記各手段別にそれぞれ別途のプログラムにより該当の機能が具現されるようにしてもよい。
【００３４】
上記したような装置構成を有するセンシング処理装置、または仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例について、図２で示している。
【００３５】
図２に示すように、ゴルフブースＢの一側にゴルフボール１０が置かれるゴルフティーと、グラウンド（フェアウェイマット、ラフマット及びバンカーマットのうち少なくとも一つを含むようにすることが好ましい）が備えられる打撃マット３０と、ゴルファーがゴルフスイングをするように備えられるスイングプレート２０とが備えられる。
【００３６】
ゴルフブースＢの前方には、映像出力部１３０により実現される仮想ゴルフシミュレーション映像が表示されるスクリーン４０が備えられ、天井には、カメラ装置３１０，３２０とストロボ装置３３０がそれぞれ備えられる。
【００３７】
図２では、前記カメラ装置３１０，３２０を、それぞれ天井と壁に備える場合について示しているが、これに限定されず、ゴルフボール１０の運動状態に関するイメージを効果的に取得できながら、ゴルファーによるスイングに妨害されずに、ゴルファーにより打撃されたゴルフボールにより衝突するおそれのない予め設定された位置であれば、どの位置でも設置が可能である。
【００３８】
また、図２では、ストロボ装置３３０が天井に取り付けられ、打撃地点に対して実質的に垂直方向にストロボ照明を提供するように設置されている場合について示しているが、これに限定されず、効果的なストロボ照明を提供できる位置であれば、どの位置でも可能である。
【００３９】
上記したようなシステムにおいて、ゴルファーが、スイングプレート２０で打撃マット３０上のゴルフボール１０をスクリーン４０に向かって打撃すると、図２に示すように、打撃がなされる所定の領域を撮影しているカメラ装置３１０，３２０が、それぞれ複数のフレームのイメージを取得し、このとき、ストロボ装置３３０は、１フレーム当たり複数回のフラッシュを焚いて、運動するゴルフボールに対する多重露出イメージを取得する。
【００４０】
図３では、信号発生部２１０（図１参照）によるカメラ装置及びストロボ装置のトリガ信号発生体系について示している。
【００４１】
図３に示すように、カメラ装置に対するトリガ信号は、ｔｃ時間間隔でなされる。すなわち、１フレーム当たりｔｃ時間間隔でトリガ信号が発生する。このとき、１フレーム当たり露出される時間は、ｔｅ時間であり（このとき、ｔｃ＞ｔｅとなるようにすることが好ましい）、ｔｃ−ｔｅ時間の間に取得されたイメージに対するデータがセンシング処理装置２２０（図１参照）に伝送されるようにすることが好ましい。
【００４２】
すなわち、図３に示すように、カメラ装置の１フレーム当たりトリガ信号発生時間間隔の間にカメラ装置の露出がなされ、取得された多重露出イメージに対するデータがセンシング処理装置に伝送される。
【００４３】
そして、カメラ装置の露出時間（ｔｅ時間）の間にストロボ装置によるストロボ照明は複数回発生し、図３では、ストロボ照明のトリガ信号がｔｓ１の時間間隔で３回発生する場合について示している。
【００４４】
すなわち、カメラ装置の露出時間（ｔｅ時間）の間にストロボ照明は等時間間隔であるｔｓ１時間間隔で３回発生する。このとき、信号発生部２１０（図１参照）により、カメラ装置とストロボ装置は、最初のトリガ信号が同時に発生するように同期化されることが好ましい。
【００４５】
また、図３に示すように、３回のストロボ照明のうち、最後のストロボ照明のトリガ信号から次のフレームの１番目のストロボ照明のトリガ信号までの時間は、ｔｓ２時間間隔になるようにすることが好ましい。前記ｔｓ１とｔｓ２時間間隔が互いに同一になるように設定してもよいが、図３に示すように、ｔｓ１時間とｔｓ２時間が互いに異なるように設定することが好ましく、ｔｓ２時間がｔｓ１時間より長くなるように設定することも可能である。
【００４６】
上記したように、カメラ装置とストロボ装置のそれぞれのトリガ信号の間隔が一定になるように固定されているので、取得される多重露出イメージ上のボールイメージの間隔も一定にならざるを得ない。
【００４７】
したがって、センシング処理装置で多重露出イメージを処理する際に、前記多重露出イメージ上に存在するボールイメージ及び様々なノイズから、正確なボールイメージを、上記したトリガ信号の一定に固定された間隔に関する特徴に基づいて効果的に分離することができる。
【００４８】
また、カメラ装置の各フレーム当たりストロボ照明の間隔が一定に固定されているので、多重露出イメージにおいて、ボールの運動速度によって様々なパターンのイメージが発生し得る。
【００４９】
図４は、ゴルフクラブによりボール（ゴルフボール）を打撃することによって運動するボールのイメージを取得する場合であって、図３に示された信号発生体系によるカメラ装置及びストロボ装置により取得される多重露出イメージの２つのパターンを（ａ）及び（ｂ）でそれぞれ示している。
【００５０】
図４（ａ）に示されたイメージ（Ｉ１）では、ゴルフクラブイメージＣ１，Ｃ２，Ｃ３とボールイメージ１１ａ，１１ｂ，１１ｃが多重露出により取得された場合で、ボールイメージ１１ａ，１１ｂ，１１ｃが互いに所定の間隔で分離されて示された場合である。
【００５１】
また、図４（ｂ）に示されたイメージ１２は、ボールが互いに重畳して所定の大きさのイメージ領域１２として示される場合について示している。
【００５２】
すなわち、図４の（ａ）に示されたイメージは、ボールが高速で運動するので、それぞれのストロボ照明がトリガされる時に、所定の距離だけ離れた状態でイメージが形成された場合であり、図４の（ｂ）に示されたイメージは、ボールが低速で運動するので、ボールが遠く進む前にストロボ照明がそれぞれトリガされて互いに重畳して示される場合である。
【００５３】
本発明によるセンシング処理装置及びセンシング処理方法は、図４の（ａ）に示されたように、ボールが、ストロボ照明の固定された周期による所定速度以上の高速で運動することにより、多重露出イメージ上にボールが互いに分離された状態で示される場合に、これに対する各ボールの中心点の座標を正確に取得するためのもので、本発明に係るセンシング処理方法によれば、図４の（ｂ）に示されたように、ボールが重畳して示される場合には、これを除外させる。
【００５４】
また、上記したように、除外された重畳されたボールに関するイメージは、別途のプロセスにより処理され、これは、本発明の範囲を逸脱するので、これについての具体的な説明は省略する。
【００５５】
以下、図５から図１８を参照して、本発明に係る運動するボールに対するセンシング処理装置による、上記図４の（ａ）に示されたような互いに分離されたボールイメージの処理について説明する。
【００５６】
図５の（ａ）は、互いに分離されたボールに関するイメージを含む多重露出イメージの原本を示しており、３２０Ｘ２４０の低い解像度の７５ｆｐｓの低速で動作するカメラ装置及び３３０Ｈｚのストロボ装置を用いて取得したイメージである。
【００５７】
図５の（ａ）に示したような原本イメージに対して、前処理手段２３０（図１参照）は、引き算（Ｓｕｂｔｒａｃｔｉｏｎ）などを通じて停止しているイメージ、すなわち、背景イメージなどを除去し、ガウスぼかし（Ｇａｕｓｓｉａｎ  Ｂｌｕｒ）などの所定の前処理過程を行う。前処理過程を経たイメージについて図５の（ｂ）で示している。
【００５８】
このように、前処理手段により多重露出イメージ上の背景とノイズが適切に除去された状態で、ボールイメージを抽出することがより容易になる。図６で、これについて示している。
【００５９】
図６に示されたイメージは、カメラ装置により撮影された複数のフレームのイメージを、一枚のイメージに重ねて示したもので、３回のストロボ照明により現れる３個のボールイメージが、一つのイメージセットを構成するとする時、Ｓ０イメージセットは０番目のフレームに対するイメージで、Ｓ１イメージセットは１番目のフレームに対するイメージであり、Ｓ２イメージセットは２番目のフレームに対するイメージを示したものである。
【００６０】
ここで、イメージ抽出手段２４０（図１参照）は、ボールのイメージとして推定されるイメージを、輪郭チェックやチェックウィンドウなどを通じて抽出することができ、ボールではないものと推定されるイメージを除外しながら、最終的にボールとして推定されるイメージのみを残す方式で処理可能である。
【００６１】
すなわち、ボールは、一定の直径を有しているので、これを考慮して多重露出イメージ上のそれぞれのイメージに対する輪郭をチェックし、そのチェックされた輪郭がボールであると見なすには大きすぎたり、小さすぎる場合には、これを除外させることができる。
【００６２】
そして、図６に示されたように、多重露出イメージ上のそれぞれのイメージ１１の大きさに合わせて該当のイメージ１１が含まれるようにチェックウィンドウＷを形成し、チェックウィンドウＷの横方向の長さと縦方向の長さの比率（ａｓｐｅｃｔ  ｒａｔｉｏ）をチェックする。
【００６３】
ボールは円形であるので、これに対する縦横比（ａｓｐｅｃｔ  ｒａｔｉｏ）はほぼ一定でなければならない。そのため、多重露出イメージ上の各イメージ１１に対するチェックウィンドウＷの縦横比が大きすぎて、広い幅を有したり、または小さすぎて、幅が狭すぎる場合には、これをボールではないものと見なし除外させることができる。
【００６４】
上記したように例示された方法により、多重露出イメージ上でボールとして推定されるイメージ１１を抽出することができる。
【００６５】
一方、上記したように、ボールイメージとして抽出されたイメージ１１は、図７に示したように、それぞれボールの形状にフィッティング（Ｆｉｔｔｉｎｇ）されることで、その中心点の座標を抽出することができる。
【００６６】
図７の（ａ）は、ストロボ照明下で取得されるボールイメージの一例を示し、図７の（ｂ）は、ボールに対する誤ったフィッティング結果を示し、図７の（ｃ）は、本発明に係るイメージ処理手段の半円フィッティング手段２７０（図１参照）によりボールが正しくフィッティングされた結果を示す。
【００６７】
図７の（ａ）に示したように、ボールのイメージ１１は、ストロボ照明を受ける状態で撮影されるので、ボールイメージ１１の一側には、照明を受ける領域Ｒ１が明確に示され、前記照明を受ける領域Ｒ１の反対側にはシェード（Ｓｈａｄｅ）が発生して、ボールイメージ１１の一部分を遮るシェード領域Ｒ２が存在するようになる。
【００６８】
このようなシェード現象は、照明の角度によって少し現れることもあり、ボールイメージの半分以上がシェード現象によって遮られる場合もあり得る。
【００６９】
ストロボ照明下で取得されるボールイメージがシェードされる場合、図７の（ｂ）に示したように、ボールの形状でボールイメージをフィッティング（Ｆｉｔｔｉｎｇ）すると、その中心点が歪曲して示されるため、中心点の座標の情報に大きな誤りが発生し、結局、ボールに対する運動シミュレーションの正確性が非常に低下するという問題点が発生する。
【００７０】
したがって、ストロボ照明下で取得されるボールイメージに対するフィッティングは、ボールイメージに現れるシェード領域を考慮して行うことが好ましい。
【００７１】
ボールイメージに対するシェード領域を考慮したフィッティングの一例として、ボールに対するストロボ照明の方向を推定して、その照明方向を基準にしてフィッティングが行われるようにすることにより、シェード領域が、フィッティングされたカーブに含まれるようにすることが可能である。
【００７２】
図７の（ｃ）では、このように照明方向を考慮してボールイメージをフィッティングすることについて示している。図７の（ｃ）に示したように、ボールイメージ１１の照明を受ける領域Ｒ１にフィッティングカーブＦＣを形成させることにより、シェード領域Ｒ２がフィッティングカーブＦＣに含まれるようにフィッティングが行われたことを確認できる。
【００７３】
上記のような方式でボールイメージをフィッティングすることで、その中心点ＣＰを正確に抽出することができる。
【００７４】
上記したようなボールイメージに対する正確な中心点を抽出するためには、最初に取得された多重露出イメージから背景及びノイズを適切に除去して、可能なかぎりボールのイメージのみが残るように前処理（Ｐｒｅｌｉｍｉｎａｒｙ  ｐｒｏｃｅｓｓｉｎｇ）を行う必要がある。照明方向推定とボールイメージのフィッティング（ｆｉｔｔｉｎｇ）のためには、イメージに対する適切なガウスぼかし（Ｇａｕｓｉａｎ  Ｂｌｕｒ）、特定ピクセル値に対する閾値（Ｔｈｒｅｓｈｏｌｄ）処理、及びイメージのピクセル値に対するノーマライゼーション（Ｎｏｒｍａｌｉｚａｔｉｏｎ）などの前処理過程が必要である。
【００７５】
また、イメージから特定の情報を抽出するための前処理のため、ボールイメージが損傷する状況が生じ得る。そのため、イメージを複数のステップ別に生成して、それぞれのステップによるイメージから特定の情報を抽出するようにすることが好ましい。
【００７６】
図８から図１０にそれぞれ示したイメージは、前処理手段２３０（図１参照）によるイメージの前処理過程によってイメージを複数のステップ別に生成する場合について示している。
【００７７】
図８の（ａ）は、最初に取得される多重露出イメージに対して引き算など通じて背景を除去した状態のイメージを示している。また、図８の（ｂ）は、図８の（ａ）に示すＡ領域を拡大して示したもので、オリジナルボールイメージ１１−０に対して示すイメージである。
【００７８】
図８の（ｂ）に示したように、ボールに多数のディンプル（Ｄｉｍｐｌｅ）が形成されているため、照明による影響が不規則的である。そのため、オリジナルボールイメージ１１−０のピクセル値の分布が非常に不規則的である。また、周辺に一つまたはそれ以上の小さなピクセル単位で不規則的なピクセル値を有する、いわゆる'Ｓａｌｔ  ａｎｄ  Ｐｅｐｐｅｒ  ｎｏｉｓｅ'が非常に多く存在していることがわかる。
【００７９】
このような状態のイメージでは、正確な中心点の抽出のための各種情報の抽出が非常に難しく、抽出された情報に誤りが発生する可能性が高い。
【００８０】
したがって、周辺のノイズを全て除去し、オリジナルボールイメージ１１−０の不規則的なピクセル値の分布を適切に調節する必要がある。
【００８１】
図９の（ａ）では、図８の（ａ）に示されたイメージに対して、オリジナルボールイメージの形状を大きく損傷しない程度の適切な水準のガウスぼかし処理及び閾値（Ｔｈｒｅｓｈｏｌｄ）処理を行うことで、周辺の様々なノイズがほとんど除去された状態のイメージを示しており、図９の（ｂ）は、図９の（ａ）に示すＢ領域を拡大して示したもので、第１処理イメージ１１−１に対して示している。
【００８２】
図１０の（ａ）では、図８の（ａ）に示されたイメージに対して、前記第１処理イメージ１１−１よりも高い水準のガウスぼかし処理及び閾値（Ｔｈｒｅｓｈｏｌｄ）処理を行い、ボールイメージ上のピクセル値に対するノーマライゼーション（Ｎｏｒｍａｌｉｚａｔｉｏｎ）処理を行った状態のイメージを示しており、図１０の（ｂ）は、図１０の（ａ）に示すＣ領域を拡大して示したもので、第２処理イメージ１１−２を示している。
【００８３】
前記第２処理イメージ１１−２は、オリジナルボールイメージ１１−０の形状が大きく損傷しているが、ボールのディンプルによる不規則的なピクセル値の分布による影響が除去され、照明を受ける部分が明確に区分されていることがわかる。
【００８４】
したがって、上記した図１０に示されたイメージ、すなわち、第２処理イメージ１１−２を用いて、図１１に示したように照明方向を推定するようにすることが好ましい。
【００８５】
前記第２処理イメージ１１−２は、ピクセル値が適切に分布して、ピクセル値の高低が明確に区分されているので、ピクセル値が高い領域を見つけることにより、照明方向を容易に推定できるようにしている。ここで、イメージがグレースケールであるので、ピクセル値は輝度値の情報を有している。
【００８６】
すなわち、図１１の（ａ）に示した第２処理イメージ１１−２において、相対的に輝度が高いＲ３領域に照明が集中していることがわかり、前記Ｒ３領域の中心を照明方向の中心点と見なすことができる。すなわち、最も輝度値の高い点（Ｂｒｉｇｈｔｅｓｔ  Ｐｏｉｎｔ）が、照明方向の軸が通る地点になる。図１１の（ａ）において、Ｒ３領域の中心点である最も輝度値が高い点、すなわち、最大明点Ｐ１に対して表示している。
【００８７】
仮に、第２処理イメージのボールイメージ１１−２上の全てのピクセルのうち、輝度値の最も高い所が一つのピクセルであれば、そのピクセルを最大明点Ｐ１と指定できる。しかし、輝度値の最も高い所が、複数のピクセルからなる不規則的な形状の領域であれば、該当の領域の重心（Ｃｅｎｔｅｒ  ｏｆ  ｍａｓｓ）を所定のプロセスから抽出して、該当の地点を最大明点Ｐ１と指定できる。
【００８８】
一方、照明方向の推定は、ボールイメージ上の最大明点Ｐ１を第１ポイントとし、他の一つの点を第２ポイントと選択して、前記第１ポイントと第２ポイントを連結するラインを形成し、そのラインを照明方向の軸として設定することによってなされ得る。前記第１ポイントは、照明方向推定手段２５０（図１参照）の輝度分析手段により抽出され、前記第２ポイントは、照明方向推定手段２５０（図１参照）のスキャン手段により抽出されてもよい。
【００８９】
前記輝度分析手段は、図１１の（ａ）に示されたボールイメージ上のＲ３領域の中心点、すなわち、最大明点Ｐ１を見つけることにより、上記した第１ポイントを抽出することができる。
【００９０】
また、スキャン手段は、図１１の（ｂ）、図１２の（ａ）及び（ｂ）にそれぞれ示されたような過程を通じて前記第２ポイントを抽出できる。まず、図１１の（ｂ）に示したように、第１処理イメージのボールイメージ１１−１に、図１１の（ａ）で示した最大明点Ｐ１を適用する。
【００９１】
これは、第２処理イメージのボールイメージ１１−２上の最大明点Ｐ１の座標値を第１処理イメージのボールイメージ１１−１に適用したり、第２処理イメージのボールイメージ１１−２を第１処理イメージのボールイメージ１１−１に重ねることにより、第１処理イメージのボールイメージ１１−１上に最大明点Ｐ１が表示されるようにすることができる。
【００９２】
上述したように、第１処理イメージのボールイメージ１１−１上の最大明点Ｐ１を中心に、図１２の（ａ）に示されたように３６０゜ラインスキャンが行われる。
【００９３】
図１２の（ｂ）で、図１２の（ａ）に示されたように、ボールイメージに対するラインスキャンの結果が示されている。
【００９４】
図１２の（ｂ）に示したように、第１処理イメージのボールイメージ１１−１に対するラインスキャンによる外郭線Ｌ１は、非常に不規則的な形状を有する。
【００９５】
したがって、図１２の（ｃ）に示したように、平均化フィルタ（ａｖｅｒａｇｅ  ｆｉｌｔｅｒ）を用いて、外郭線を、フィッティング（ｆｉｔｔｉｎｇ）された外郭線Ｌ２となるように調整することが好ましい。
【００９６】
図１２の（ｃ）に示したように、ボールイメージに対するラインスキャンの結果から、最も短い距離Ｄｍｉｎをなす点と、最も長い距離Ｄｍａｘをなす点が明確に示されることがわかる。
【００９７】
ここで、前記ラインスキャンの結果において、最も短い距離Ｄｍｉｎをなす点Ｐ２を第２ポイントとして選択することが好ましい。その理由については、図１３を参照して説明する。
【００９８】
図１３に示したように、運動するボールがストロボ照明を受けて撮影されて示されるボール１１には、照明の光を受けて撮られる部分１１−１と、シェードされて現れない部分Ｒ２が存在し、イメージ上に撮られる部分１１−１でも、照明の影響でもう少し明るく現れる部分Ｒ１があり、照明により明るく現れる部分Ｒ１の中でも、ピクセルの輝度値が最も高い部分Ｒ３が存在する。
【００９９】
ストロボ照明の方向は、ボールイメージ上の最も明るく光る部分、すなわち、輝度値の最も高い最大明点Ｐ１が照明方向の軸ＡＸの中心になることがわかる。
【０１００】
また、図１３に示されたように、照明方向の軸ＡＸは、前記最大明点Ｐ１からボールイメージ１１−１の外郭まで最も短い距離をなす外郭線上の点、すなわち、第２ポイントＰ２を必ず通ると推定することができる。
【０１０１】
したがって、ボールイメージ１１−１の外郭線上の点のうち、最大明点Ｐ１との距離が最も近い点を第２ポイントＰ２と指定することができる。
【０１０２】
前記第２ポイントＰ２は、図１２の（ａ）から（ｃ）に示されたラインスキャン過程により最も短い距離Ｄｍｉｎをなす時の外郭線上の点Ｐ２として決定することができる。
【０１０３】
したがって、最大明点である第１ポイントＰ１と、上述した方法により求めた第２ポイントＰ２とを連結するラインを照明方向の軸ＡＸとして設定することができる。
【０１０４】
図１４は、図１２の（ｂ）に示されたような状態で、ボールイメージ１１−１上に第１ポイントＰ１と第２ポイントＰ２を求め、２つのポイントを連結する照明方向の軸ＡＸを抽出した状態を示すイメージである。
【０１０５】
一方、図１４に示されたように、ボールイメージ上の照明方向の軸ＡＸを抽出した後には、イメージ処理手段２６０（図１参照）により、図１５から図１７に示したように、ボールイメージに対するフィッティング（Ｆｉｔｔｉｎｇ）及び中心点の座標の抽出を行う。
【０１０６】
ここで、ボールイメージに対するフィッティングの正確度を向上させるために、第２処理イメージ１１−２を用いてフィッティングすることよりは、第１処理イメージ１１−１を用いてフィッティングすることが好ましい。
【０１０７】
第１処理イメージ１１−１は、ボールイメージの形状が大きく損傷していないので、フィッティング時により正確な中心点の抽出が可能であるためである。
【０１０８】
一方、ボールイメージに対するフィッティング（Ｆｉｔｔｉｎｇ）のために、本発明の一実施例に係るセンシング処理装置は、直径測定手段を備え、ボールイメージに対する直径を測定するようにしている。
【０１０９】
ボールイメージのフィッティングのための直径（Ｄｉａｍｅｔｅｒ）の値は、ボールの直径の値に対して予め設定された値を用いてもよく、ボールイメージでボールの直径の値を測定し、前記測定された直径の値によってフィッティングを行ってもよい。
【０１１０】
しかし、ボールイメージは、最初に取得されるイメージに対するシェードされた部分の影響、解像度の限界、及び複数の段階の前処理過程を経ることにより、ボールの形状がある程度損傷し得るため、ボールに対する予め設定された直径の値を用いてフィッティングすることよりは、ボールイメージで直径の値を測定してフィッティングに用いることがより正確な中心点の抽出のために好ましい。
【０１１１】
図１５では、前記直径測定手段によってボールイメージ１１−１において直径の値を測定する過程について示している。
【０１１２】
まず、直径の測定を容易に行うために、図１５に示されたように、照明方向の軸ＡＸが垂直になるようにして、ボールイメージ上の照明を受ける領域が上側に、シェード領域が下側になるようにすることが好ましい。
【０１１３】
ここで、図１５に示したように、水平ラインＬを通じて照明方向の軸ＡＸに沿ってラインスキャンを行うことで、ピクセル値の変化が設定値以上に変化する区間のうち最も長い区間を直径Ｄｅとして抽出することができる。
【０１１４】
上述したように、直径測定手段によって直径の測定が完了すると、半円フィッティング手段２７０（図１参照）によってボールイメージのフィッティング（Ｆｉｔｔｉｎｇ）が行われ、図１６、図１７の（ａ）及び（ｂ）に示したような過程によりフィッティングが行われる。
【０１１５】
前記半円フィッティング手段は、照明を受けることによりボールイメージ上にシェード領域が存在する時、そのシェード領域が含まれるようにフィッティングを行って、中心点の座標を正確に抽出することができる。
【０１１６】
前記半円フィッティング手段は、より具体的に、ボールイメージにおいて照明方向として推定された方向に沿ってピクセル値をチェックするピクセルチェック手段と、前記チェックされたピクセル値が、予め設定された設定値以上に変化する位置に前記半円カーブを形成させ、反対側の半円をフィッティングするフィッティング処理手段とを含んで構成されることが好ましい。
【０１１７】
ここで、図１４に示されたように、推定された照明方向に基づく照明方向の軸ＡＸが、任意の角度で傾斜して形成された場合には、半円フィッティングをより容易に行うために、図１６に示されたように、照明方向の軸ＡＸが垂直状態になるようにイメージ全体を回転させることが好ましい。
【０１１８】
半円フィッティングのためには、まず、前記直径測定手段により測定された直径Ｄｅに基づいて、図１６に示されたように、半円カーブＦＣ−１を準備する。
【０１１９】
そして、前記半円カーブＦＣ−１を、図１６に示されたように、垂直にした状態の照明方向の軸ＡＸに沿ってボールイメージ１１に向かって移動させる。
【０１２０】
このとき、前記ピクセルチェック手段は、半円カーブＦＣ−１上のイメージのピクセル値（すなわち、輝度値）をチェックする。より好ましくは、照明方向の軸ＡＸに沿って半円カーブＦＣ−１上のイメージの輝度値の和を計算して、その変化を感知するようにする。
【０１２１】
半円カーブＦＣ−１が照明方向の軸ＡＸに沿って移動しながら、輝度値または半円カーブ上のイメージの輝度値の和が計算され、ボールイメージの上端の外郭側に到達する時に、輝度値または半円カーブ上の輝度値の和は急激に高まる。
【０１２２】
このように、照明方向の軸ＡＸに沿ってチェックされる輝度値、または半円カーブ上の輝度値の和が急激に変化し始める位置をボールイメージ１１の外郭と判断することができ、前記フィッティング処理手段は、その位置に前記半円カーブＦＣ−１を配置させる。
【０１２３】
すなわち、図１７の（ａ）に示したように、半円カーブＦＣ−１をボールイメージ１１の照明を受ける領域Ｒ１の外郭に被せる。
【０１２４】
そして、前記フィッティング処理手段は、図１７の（ｂ）に示したように、反対側の半円ＦＣ−２を前記測定された直径Ｄｅによってフィッティングすることで、ボールイメージ１１のシェード領域Ｒ２を含む正確なフィッティングを行うことができる。
【０１２５】
上述したような過程を通じてイメージのフィッティングが行われると、座標抽出手段２８０（図１参照）は、図１８に示したように、それぞれのボールイメージ１１に対するフィッティングカーブＦＣを通じてボールイメージ１１の中心点ＣＰの座標を正確に抽出することができる。
【０１２６】
したがって、低い解像度の低速カメラ装置及びストロボ装置により取得された低い品質のイメージを利用するにもかかわらず、ボールに対する中心点の座標を正確に抽出することができる。
【０１２７】
このように抽出されたそれぞれのボールの中心点の座標は、変換（ｃｏｎｖｅｒｔｉｎｇ）手段により３次元座標に変換され、これに基づいて、シミュレーションされるボールの運動軌跡の物理的情報が算出される。
【０１２８】
一方、図１９及び図２０を参照して、本発明に係る運動するボールに対するセンシング処理方法のそれぞれの実施例について説明する。
【０１２９】
図１９に示したように、まず、信号発生部によってトリガ信号が印加されて、カメラ装置及びストロボ装置がそれぞれ所定の周期でボールの運動状態に関して多重露出イメージを取得する（Ｓ１０）。
【０１３０】
取得された多重露出イメージから背景イメージ及び各種ノイズを除去するための様々なイメージ前処理ステップが進行する（Ｓ２０）。
【０１３１】
前処理されたイメージからボールイメージを抽出し（Ｓ３０）（ボールイメージを抽出したが、ノイズが共に抽出される場合があり得るので、さらに厳密にいうと、ボールイメージ候補を抽出すると見なすべきである）、抽出されたボールイメージのピクセル値、すなわち、輝度値をチェックして（Ｓ４０）、輝度値が最も高い第１ポイントを抽出する（Ｓ５０）。
【０１３２】
抽出された第１ポイントを中心にイメージに対して３６０゜ラインスキャンを行い（Ｓ６０）、抽出されたラインスキャンの結果において、ボールイメージの外郭線に対する平均化フィルタ（ａｖｅｒａｇｅ  ｆｉｌｔｅｒ）を適用して、外郭線が滑らかになるようにする（Ｓ７０）。
【０１３３】
前記第１ポイントとボールイメージの外郭線とを連結するラインのうち、最短距離をなすラインの外郭線と会う点を第２ポイントとして抽出する（Ｓ８０）。
【０１３４】
第１ポイントと第２ポイントを通るラインを形成させることにより、該当のラインを照明方向の軸として設定できるようになる（Ｓ９０）。
【０１３５】
ところが、上述したような方式により設定された照明方向の軸が垂直線となす角度、または水平線となす角度が設定範囲を逸脱する場合があり得る。
【０１３６】
すなわち、上記で、第２ポイントを抽出するために、照明方向の軸は最大明点と外郭線との間の最短距離をなす地点を通過すると仮定したが、照明方向の角度が垂直線となす角度が一定範囲以上に大きくなると、上記したような仮定が満足されないことがある。
【０１３７】
このような場合には、所定のプロセスを通じて照明方向の軸の角度を調整するステップが必要になる。
【０１３８】
したがって、照明方向の軸がなす角度が設定範囲に含まれるか否かを判断して（Ｓ１００）、設定範囲に含まれると、該当の照明方向の軸が好ましい軸になり、そうでないと、Ｓ６０からＳ８０の過程により推定された照明方向に対して補正が行われ、補正された軸を照明方向の軸として設定する（Ｓ１１０）。
【０１３９】
このように、照明方向の軸が最終的に確定されると、上記したように推定された照明方向を考慮してボールイメージをフィッティングし（Ｓ１２０）、フィッティングされたイメージの中心点を抽出する（Ｓ１３０）。
【０１４０】
一方、図２０に示した実施例に係るセンシング処理方法によるフローチャートは、図８から図１１で説明した前処理のステップ別にそれぞれ生成されたイメージをそれぞれ別々に用いて、ボールの中心点を抽出する過程について示している。
【０１４１】
本実施例に係るセンシング処理方法は、基本的に、図１９に示された実施例によるフローチャートと同一であり、イメージの前処理ステップ別に別々にイメージを生成して、これから照明方向推定などのステップが進行する点において差があるので、重複する部分に関する説明は省略し、差がある部分に関して集中的に説明する。
【０１４２】
取得された多重露出イメージに対する前処理過程が進行し（Ｓ２０）、イメージの前処理の水準によって第１処理イメージと第２処理イメージをそれぞれ生成する（Ｓ２１，Ｓ２２）。
【０１４３】
ここで、第１処理イメージに関する事項は図９で、第２処理イメージに関する事項は図１０でそれぞれ示している。
【０１４４】
第２処理イメージからボールイメージを抽出し（Ｓ３０）、抽出されたボールイメージのピクセル値、すなわち、輝度値をチェックして（Ｓ４０）、輝度値が最も高い第１ポイントを抽出する（Ｓ５０）。
【０１４５】
一方、前記抽出された第１ポイントを第１処理イメージに適用して、前記第１ポイントを中心に第１処理イメージのボールイメージに対して３６０゜ラインスキャンを行い（Ｓ６０）、抽出されたラインスキャンの結果において、ボールイメージの外郭線に対する平均化フィルタ（ａｖｅｒａｇｅ  ｆｉｌｔｅｒ）を適用し（Ｓ７０）、前記第１ポイントとボールイメージの外郭線とを連結するラインのうち、最短距離をなすラインの外郭線と会う点を第２ポイントとして抽出して（Ｓ８０）、２つのポイントをつなぐ照明方向の軸として設定できるようになる（Ｓ９０）。
【０１４６】
その後のフローに関しては、図１９に示されたものと同一であるので、具体的な説明を省略する。
【０１４７】
一方、図２１は、図１９及び図２０に示されたステップＳ１２０、すなわち、照明方向を考慮してボールイメージをフィッティングするステップをより具体的に示すフローチャートであって、図２１に示したように、フィッティングのために、まず、ボールイメージの直径を測定するようにすることが好ましい（Ｓ１２３）。
【０１４８】
ここで、ボールイメージの直径の測定は、照明方向の軸が垂直方向になるようにボールイメージを回転させた状態で、図１２に例示したような方式で行うことができる。
【０１４９】
一方、測定された直径に基づいて半円カーブを生成して（Ｓ１２４）、照明方向の軸に沿ってピクセル値（輝度値）をチェックし、半円カーブをボールイメージの照明を受ける部分の外郭に位置させる（Ｓ１２５）。
【０１５０】
前記半円カーブの反対側に、残りの半円を、前記測定された直径に基づいて形成させることにより、ボールイメージをフィッティングし（Ｓ１２６）、上記したような方式によりフィッティングされたボールイメージのそれぞれの中心点の座標を抽出する（Ｓ１３０）。
【０１５１】
前記抽出されたボールイメージの中心点の座標の変化を計算することにより、運動するボールの物理的特性情報を抽出できるようになる。
［項目２］
前記照明方向推定手段は、前記ボールのイメージの最大明点を抽出することにより、前記運動するボールに対する照明の方向を推定するように構成され、
前記イメージ処理手段は、前記ボールイメージ上で前記最大明点の反対側のシェード領域を含んでフィッティングするように構成されることを特徴とする、  項目１に記載のセンシング処理装置。
［項目４］
前記輝度分析手段は、
前記ボールイメージ上の全てのピクセルのうち、輝度値が最も高いピクセルをチェックし、チェックされた少なくとも一つのピクセルに対する重心を計算することにより、前記第１ポイントを算出するように構成されることを特徴とする、  項目３に記載のセンシング処理装置。
［項目５］
前記スキャン手段は、
前記ボールイメージの前記第１ポイントを中心に３６０゜ラインスキャンを行うことにより、前記第２ポイントを抽出するように構成されることを特徴とする、  項目３に記載のセンシング処理装置。
［項目７］
前記イメージ処理手段は、
前記照明方向推定手段により推定された照明方向を基準に前記ボールイメージの特定の位置に、予め設定された直径の半円カーブを形成させ、前記半円カーブに対する反対側の半円を前記直径に基づいてフィッティングする半円フィッティング手段を含むことを特徴とする、  項目１に記載のセンシング処理装置。
［項目１０］
前記ボールイメージを分析して前記ボールイメージの直径を測定する直径測定手段をさらに含み、
前記半円フィッティング手段は、前記測定された直径に基づいて半円フィッティングが行われるように構成されることを特徴とする、  項目８に記載のセンシング処理装置。
［項目１１］
前記半円フィッティング手段は、
前記ボールイメージにおいて、前記運動するボールが受ける照明の方向として推定された方向に沿ってピクセル値をチェックするピクセルチェック手段と、
前記チェックされたピクセル値が、予め設定された設定値以上に変化する位置に前記半円カーブを形成させ、反対側の半円をフィッティングするフィッティング処理手段と、を含むことを特徴とする、  項目８に記載のセンシング処理装置。
［項目１６］
前記照明の方向を推定するステップは、
前記推定された照明方向の軸がなす角度が、設定された角度範囲を逸脱するか否かを判断するステップと、
前記設定された角度範囲を逸脱する場合、前記推定された照明方向を補正するステップとを含むことを特徴とする、  項目１３に記載のセンシング処理方法。
［項目１８］
前記半円カーブを形成させるステップは、
前記ボールイメージを分析して、照明により発生するボールイメージ上のシェード領域を抽出するステップと、
前記ボールイメージ上で前記シェード領域の反対側に前記半円カーブを形成させるステップとを含むことを特徴とする、  項目１７に記載のセンシング処理方法。
［項目２２］
前記ボールイメージの直径を測定するステップは、
前記ボールイメージの直径を推定するステップにおいて直径として推定された長さと、予め設定されたボールの直径の誤差が設定範囲に含まれるか否かを判断するステップと、
前記誤差が設定範囲に含まれる場合、前記推定された長さを測定された直径として設定するステップを含むことを特徴とする、  項目２１に記載のセンシング処理方法。
［項目２３］
前記ボールイメージの直径を測定するステップは、
前記ボールイメージにおいて前記照明によるシェードの程度を分析して、前記ボールイメージの直径を推定するステップで直径として推定された長さを、前記シェードの程度に対する分析結果によって補正するステップを含むことを特徴とする、  項目２１に記載のセンシング処理方法。
【図１】
0005626939.tif 000002
【図２】
0005626939.tif 000003
【図３】
0005626939.tif 000004
【図４（ａ）】
0005626939.tif 000005
【図４（ｂ）】
0005626939.tif 000006
【図５（ａ）】
0005626939.tif 000007
【図５（ｂ）】
0005626939.tif 000008
【図６】
0005626939.tif 000009
【図８（ａ）】
0005626939.tif 000010
【図８（ｂ）】
0005626939.tif 000011
【図９（ａ）】
0005626939.tif 000012
【図９（ｂ）】
0005626939.tif 000013
【図１０（ａ）】
0005626939.tif 000014
【図１０（ｂ）】
0005626939.tif 000015
【図１１（ａ）】
0005626939.tif 000016
【図１１（ｂ）】
0005626939.tif 000017
【図１２（ａ）】
0005626939.tif 000018
【図１２（ｂ）】
0005626939.tif 000019
【図１２（ｃ）】
0005626939.tif 000020
【図１３】
0005626939.tif 000021
【図１４】
0005626939.tif 000022
【図１５】
0005626939.tif 000023
【図１６】
0005626939.tif 000024
【図１７（ａ）】
0005626939.tif 000025
【図１７（ｂ）】
0005626939.tif 000026
【図１８】
0005626939.tif 000027
【図１９】
0005626939.tif 000028
【図２０】
0005626939.tif 000029
【図２１】
0005626939.tif 000030
【図７】
0005626939.tif 000031