(57)【要約】【課題】背景の変化に影響されず、屋外で撮影されたスウィング画像を用いてスウィングの計測を可能とする。【解決手段】ゴルフクラブを把持してスウィングするゴルファーを撮影した少なくとも１枚のカラー画像を取り込む演算処理手段を備え、前記演算処理手段は、前記ゴルファーのスウィング画像からゴルファーのスウィング時の姿勢を特定できる複数の特徴点を抽出し、該特徴点の位置座標を取得し、該抽出した複数の特徴点の位置座標間を結んで各身体部位の形状に応じた初期輪郭線を形成し、該初期輪郭線を最適化処理して最適形状に収束して、ゴルファーのスウィング姿勢の所要部位のシルエットを抽出する画像処理機能を備えていることを特徴とする。【選択図】図２
2009095631.tif 000002
【特許請求の範囲】
【請求項１】
ゴルフクラブを把持してスウィングするゴルファーを撮影した少なくとも１枚のカラー画像を取り込む演算処理手段を備え、
前記演算処理手段は、
前記ゴルファーのスウィング画像からゴルファーのスウィング時の姿勢を特定できる複数の特徴点を抽出し、該特徴点の位置座標を取得し、該抽出した複数の特徴点の位置座標間を結んで各身体部位の形状に応じた初期輪郭線を形成し、該初期輪郭線を最適化処理して最適形状に収束して、ゴルファーのスウィング姿勢の所要部位のシルエットを抽出する画像処理機能を備えていることを特徴とするゴルフスウィング計測システム。
【請求項２】
前記演算処理手段に取り込んだカラー画像からスウィング画像と背景画像を取得し、
前記スウィング画像と背景画像を差分した差分値と、スウィング画像から濃淡画像を取得し、該濃淡画像を基にソーベル法によりエッジ画像を取得し、
前記差分画像とエッジ画像を用いて評価値を作成し、該評価値が最小となるように前記特徴点間を結ぶ線はベジェ曲線からなる近似曲線より変化させている請求項１に記載のゴルフスウィング計測システム。
【請求項３】
前記エッジ画像上の各ピクセルの濃淡度をエッジ強度とし、前記評価値は、前記差分値とエッジ強度とを用いて設定している請求項２に記載のゴルフスウィング計測システム。
【請求項４】
前記スウィング時のゴルファーのカラー画像は、アナログ式またはデジタル式の専用カメラ、または携帯電話機を含む電子機器に付設されたカメラにより撮影され、
屋内または屋外におけるスウィング時のアドレスからフィニシュまで連続した動画像から取得した少なくとも１枚の静止画像、またはアドレスからフィニシュまでの間の少なくとも１枚の静止画像からなる請求項１乃至請求項３のいずれか１項に記載のゴルフスウィング計測システム。
【請求項５】
前記カラー画像から抽出する特徴点の位置は、後首、ウエスト位置の背面側と前面側の両端位置、靴のつま先位置と踵位置、および膝下位置を含む請求項１乃至請求項４のいずれか１項に記載のゴルフスウィング計測システム。
【請求項６】
前記後首、ウエスト位置の背面側と前面側の両端位置の各特徴点の抽出は、前記各特徴点を備える身体部周辺のスウィング画像と背景画像を差分した差分値およびゴルファーの服色領域から取得した色情報とスウィング画像を差分した差分値を取得し、取得した２つの差分値の情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から前記特徴点を特定して抽出している請求項５に記載のゴルフスウィング計測システム。
【請求項７】
前記靴のつま先位置と踵位置の特徴点の抽出は、特徴点を備える靴周辺のスウィング画像と背景画像とを差分した差分値を取得し、取得した情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から前記特徴点を特定して抽出している請求項５に記載のゴルフスウィング計測システム。
【請求項８】
前記膝下位置の特徴点の抽出は、特徴点を備える身体部位周辺のスウィング画像と背景画像との差分値と、前記エッジ強度とからなる評価値を求め、該評価値が最大となる箇所を特定して抽出している請求項５に記載のゴルフスウィング計測システム。
【請求項９】
前記初期輪郭線の形成は、前記特徴点間を結ぶ線の周辺について、スウィング画像と背景画像とを差分して差分値と前記エッジ強度とからなる評価値を求め、
前記特徴点間に存在する複数点を制御点とし、
前記評価値が最小となるように前記制御点を動かすことによって生成された近似曲線で形成している請求項３乃至請求項８のいずれか１項に記載のゴルフスウィング計測システム。
【請求項１０】
前記初期輪郭線の最適化処理は、前記初期輪郭線の前記スウィング画像と背景画像との差分値と前記エッジ強度から構成される評価値を求め、該評価値が最小となる曲線を準ニュートン法を用いて最適形状に収束している請求項３乃至請求項９のいずれか１項に記載のゴルフスウィング計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、ゴルフスウィング計測システムに関し、特に、ゴルフスウィング計測装置が設置されていない屋外等において撮影されたゴルファーのスウィング時のカラー画像から、スウィング時の一連の動作の中から、アドレス位置、インパクト位置、フィニッシュ位置等の任意の位置におけるゴルファーのシルエットを効率良く演算制御手段で抽出できるようにするものである。
【背景技術】
【０００２】  従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。これら装置によりゴルファーは自己の飛球の良し悪しを検討することが可能となるが、肝心のフォームを改善するための有用な情報を提供することはあまりできていない。よって、ゴルファーのフォーム、即ち、スウィング姿勢を正確に計測し、これに基づいてフォームを改善できるようにすることが求められている。【０００３】  前記ゴルファーのスウィング姿勢を計測してスウィング診断を行えるものとして、特許第２７９４０１８号公報（特許文献１）で動作診断装置が提供されており、ゴルフクラブヘッドおよび被診断者の体に複数の動作ポイントを設け、スウィング動画像中の動作ポイントの座標を取得してスウィング診断を行っている。
しかしながら、前記装置では被診断者の体にマーク等の動作ポイントを取り付けなければ画像上での体の動きを把握することができず、被診断者であるユーザには診断を受ける準備作業に煩わしさを与えてしまう欠点がある。また、スウィング動画像の全コマについて多数の動作ポイントの座標を抽出する計算を行わねばならず、計算量が膨大になると共に動作ポイントの位置座標の誤認率も増大する問題がある。【０００４】  前記問題に対して、本出願人は、特開２００５−２７０４８０号公報（特許文献２）において、ゴルファーの打撃時のスウィングを撮影し、取得したカラー画像よりゴルファーの肌色領域を背景画像と差分してゴルファーのシルエットを抽出し、抽出されたシルエットを肌色領域よりゴルファーの体の注目点、即ち、スウィング診断に必要な関節部位を抽出して、その位置座標を取得し、取得した位置座標よりアドレス時、インパクト時、フィニッシュ時の関節位置を分析して、スウィング診断をしている。【０００５】  前記特許文献２のスウィング計測システムを用いると、特許文献１で必要とされたマークをゴルファーに予め取り付けておく必要がない利点を有する。
また、特許文献２の背景画像よりスウィング画像を差分してゴルファーのシルエットを抽出する方法は、ゴルファーが撮影されている背景は変化しないことが前提となっているが、屋内等のスウィング診断装置に付設したカメラの前でスウィングしてカラー画像を取得する場合は、背景が殆ど変化しないため、特許文献２のシステムでスウィング計測を正確に行うことができる。【０００６】  しかしながら、ゴルフ練習場等の屋外で撮影されたカラー画像の場合、天候変化により背景が変化すると、ゴルファーのシルエットが正確に抽出できない問題がある。
また、スウィング診断装置の設置場所を移動した場合には、背景が相違するため、背景からシルエットを抽出するための閾値を専用のオペレータが変化させる必要があり、運用上で非常に手間がかかる問題がある。【０００７】  前記した問題より、スウィング診断は、スウィング診断装置が設置された屋内の特定場所で行う必要があり、ゴルフ練習場等の屋外でのスウィング画像をゴルファーが所持するカメラで撮影して、該スウィング画像を特許文献２の計測システムのコンピュータに取り込んでも、計測精度が悪くなる問題がある。【０００８】
【特許文献１】特許第２７９４０１８号公報
【特許文献２】特開２００５−２７０４８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】  本発明は、前記特許文献２の背景画像に影響を受けるゴルフスウィング計測システムを改良し、背景が変化する屋外で撮影されたカラー画像を用いても、画像上における注目すべき特徴点の抽出を行え、該特徴点からスウィング時の任意の位置のゴルファーのシルエットを精度よく抽出できるゴルフスウィング計測システムを提供することを課題としている。
【課題を解決するための手段】
【００１０】  前記課題を解決するため、本発明は、ゴルフクラブを把持してスウィングするゴルファーを撮影した少なくとも１枚のカラー画像を取り込む演算処理手段を備え、
前記演算処理手段は、
前記ゴルファーのスウィング画像からゴルファーのスウィング時の姿勢を特定できる複数の特徴点を抽出し、該特徴点の位置座標を取得し、該抽出した複数の特徴点の位置座標間を結んで各身体部位の形状に応じた初期輪郭線を形成し、該初期輪郭線を最適化処理して最適形状に収束して、ゴルファーのスウィング姿勢の所要部位のシルエットを抽出する画像処理機能を備えていることを特徴とするゴルフスウィング計測システムを提供している。【００１１】  詳しくは、前記演算処理手段に取り込んだカラー画像からスウィング画像と背景画像を取得し、前記スウィング画像と背景画像を差分した差分値と、スウィング画像から濃淡画像を取得し、該濃淡画像を基にソーベル法によりエッジ画像を取得し、前記差分画像とエッジ画像を用いて評価値を作成し、該評価値が最小となるように前記特徴点間を結ぶ線をベジェ曲線からなる近似曲線を変化させている。【００１２】  前記のように、スウィング画像と背景画像とを差分した差分画像のみを用いてシルエット（即ち、スウィング時のゴルファーの姿勢の輪郭線）の抽出を行うと、背景が変化するとシルエットの抽出の精度が悪くなるが、本発明では前記差分画像とエッジ画像とを併用し、この２つの画像に基づいて評価式を構築し、この評価式が最小となるように近似曲線を最適化アルゴリズムにより変化させることで、ゴルファーのシルエットにフィットするシルエット抽出を行うことができる。その結果、撮影環境が変化して、背景が変化しても精度のよいシルエットの抽出でき、撮影環境の変化に強いゴルフスウィング計測システムとすることができる。よって、スウィング診断装置をゴルフ練習場等の屋外に設置できると共に、屋内で設置位置を移動させることもでき、かつ、シルエット抽出のための閾値を変化させる必要もないため、専用のオペレータを不要とできる。【００１３】  前記スウィング時のゴルファーのカラー画像は、アナログ式またはデジタル式の専用カメラ、または携帯電話機を含む電子機器に付設されたカメラにより撮影されいずれでもよい。
即ち、演算処理手段に取り込むことができるカラー画像であればよく、例えば、携帯電話機のカメラで撮影されたスウィング画像が転送されてきたものでもよい。さらには、携帯電話機に演算処理手段のソフトを格納しておくと、撮影された画像を演算処理して携帯電話で画面で前記シルエット画像を表示することも可能である。
このように、背景の変化に強いゴルフスウィング計測システムとすることで、非常に使い勝手の良いものとすることができる。【００１４】  また、演算処理手段に取り込むカラー画像は、屋内または屋外におけるスウィング時のアドレスからフィニシュまで連続した動画像から取得した少なくとも１枚の静止画像、またはアドレスからフィニシュまでの間の少なくとも１枚の静止画像からなる。
例えば、スウィング時おけるインパクト位置でのフォームのみを知りたい場合には、インパクト位置の１枚のカラー画像のみを取り込んで、インパクト時のシルエットを抽出を行うことができる。
スウィング時の一連の動作を撮影した動画像を取り込んだ場合には、所要位置の複数の静止画像として、各静止画像を基にシルエットの抽出を行うことで、例えば、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュの各位置におけるシルエットを抽出することができ、スウィング時の各位置でのフォームのチェックを行うことができる。【００１５】  前記エッジ画像は、前記スウィング画像を取得し、取得した情報から濃淡画像を取得し、該濃淡画像を基にソーベル法によりエッジ画像を取得している。
前記エッジ強度は、エッジ画像上の各ピクセルの濃淡度からなり、前記した評価値は、前記差分値とエッジ強度とを用いて設定している  該エッジ強度を前記特徴点の抽出、前記初期輪郭線の形成及び前記最適化処理に用いている。【００１６】  前記カラー画像から抽出する特徴点の位置は、後首、ウエスト位置の背面側と前面側の両端位置、靴のつま先位置と踵位置、および膝下位置とすることが好ましい。
前記した６箇所の位置を特徴点と定めることにより、前記した初期輪郭線を作成し、該初期輪郭線を更に最適化処理することで、精度のよいシルエット抽出を行うことができる。  なお、特徴点を前記以外の位置にも設定してもよいが、特徴点を増加すると演算処理時間がかかるため、前記６箇所の位置を特定することで、シルエット抽出を行えるようにしている。【００１７】  前記各特徴点を備える身体部周辺のスウィング画像と背景画像を差分した差分値およびゴルファーの服色領域から取得した色情報とスウィング画像を差分した差分値を取得し、取得した２つの差分値の情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から前記特徴点を特定して抽出している。【００１８】  前記後首の特徴点を抽出する場合、該後首点が存在すると予測される前記身体部周辺の探索範囲、具体的には頭部と首部分を探索範囲として設定し、この探索範囲内で服色抽出を行っている。
前記特許文献２では、ゴルファーの顔や首の抽出は肌色抽出を利用しているが、肌色抽出では髪型の影響に顔領域が極端に小さくなるため、本発明では服色領域を抽出することで、頭部領域を抽出している。
また、本発明では探索範囲を設定しているため、ゴルファーの服色と近似した色が静止画像中に含まれていても、これを排除して誤認識を防止することができると共に計算時間も短縮化することができる。
前記服色領域の抽出で取得したゴルファー頭部の濃淡画像を形成し、該濃淡画像を二値化処理し、この二値化画像を必要に応じて収縮処理し、その後、膨張処理して、前記頭部の最下端点を求めて後首の特徴点を抽出し、該最下端位置の画像のピクセルを後首の特徴点の位置座標として特定している。【００１９】  前記ウエスト位置の背面側と前面該の両端位置の特徴点の抽出は、前記後首の特徴点の抽出と同様な手法により行っており、ウエスト位置の周辺を探索範囲として設定している。  ゴルファーは、通常、ウエスト位置にはベルトを付けているため、ベルトの色領域から取得した色情報とスウィング画像を差分した差分値を取得し、取得した２つの差分値の情報から濃淡画像を取得し、該濃淡画像を二値化処理して二値化処理画像を取得し、該二値化画像を収縮処理し、その後、膨張処理して最右点、最左点を求め、ベルト部分の前後両端点を抽出し、該前後両端点のピクセルを前記特徴点の位置座標として特定している。
なお、照明条件や、腕の位置によってベルトの両端位置、特に、腹側の前端位置が抽出できない場合には、ベルト端点抽出フィルタ処理を行っている。【００２０】  前記靴のつま先位置と踵位置の特徴点の抽出は、特徴点を備える靴周辺のスウィング画像と背景画像とを差分した差分値を取得し、取得した情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から前記特徴点を特定して抽出している。【００２１】  靴の形状はスウィング画像と背景画像とを差分した差分画像から取得できるため、ゴルファーの服色領域を取得する必要はなく、前記靴の形状とした部分を囲む探索領域を設定し、該探索領域の前記差分画像より濃淡画像を取得し、該濃淡画像を二値化処理した二値化画像を取得し、該二値化画像を収縮処理し、その後、膨張処理して、その最右下点を靴のつま先位置、最左下点を踵位置として特徴点を抽出し、該特徴点の位置座標を特定している。【００２２】  前記膝下位置の特徴点の抽出は、特徴点を備える身体部位周辺のスウィング画像と背景画像との差分値と、前記エッジ強度とからなる評価値を求め、該評価値が最大となる箇所を特定して抽出している。【００２３】  前記膝下位置の特徴点は、前記つま先と踵の特徴点と組み合わせることで下肢のシルエットの抽出に用いている。
まず、膝下点周縁の探索領域を設定し、該探索領域のスウィング画像と背景画像との差分値と、エッジ強度とからなる評価値を求め、該評価値が最大となる評価式より求めて特定し、この特定した位置を膝下の特徴点として抽出し、該特徴点の位置座標を特定している。【００２４】  前記初期輪郭線の形成は、前記特徴点間を結ぶ線の周辺について、スウィング画像と背景画像とを差分して差分値と前記エッジ強度とからなる評価値を求め、
前記特徴点間に存在する複数点を制御点とし、
前記評価値が最小となるように前記制御点を動かすことによって生成された近似曲線で形成している。【００２５】  前記特徴点間を結ぶ背中の初期輪郭線は、まず、後首の特徴点とウエストの背面側特徴点とを直線で結び、該直線間に例えば２つの制御点を設け、該制御点の座標位置のピクセルを前記評価値が最小となるように移動させ、後首の特徴点、前記制御点と、ウエストの背面側特徴点からベジェ曲線で形成して前記近似曲線を形成している。
なお、前記ベジェ曲線は、後首点とウエスト背面側特徴点の間のシルエット形状が複雑である場合、高次のベジェ曲線を用いて形成した近似曲線を初期輪郭線とすることが好ましい。【００２６】  評価値とは、前記のように、差分画像とエッジ画像を用いて最適なシルエットを示す値である。詳しくは、評価値の特徴量を、前記エッジ画像から取得する輪郭線上のエッジ強度の平均値と、前記差分画像から取得する輪郭線内側の領域における背景差分値平均値および輪郭線外側の輪郭における背景差分平均値とし、これらの特徴量にそれぞれ重み係数を付して合計し、該合計値に−１００００で掛けた式を評価式とし、該評価式より取得した値を評価値としている。該評価値が最小となる前記制御点の位置座標を移動させ、該制御点と前記特徴点から前記ベジェ曲線を形成して、初期輪郭線として決定している。【００２７】  前記初期輪郭線の最適化処理は、前記初期輪郭線の前記スウィング画像と背景画像との差分値と前記エッジ強度から構成される評価値を求め、該評価値が最小となる曲線を準ニュートン法を用いて最適形状に収束している。
即ち、前記のように形成した初期輪郭線をゴルファーのシルエットにより近似させてフィットするように、準ニュートン法を用いて最適化処理を行っている。【００２８】  前記最適化処理して取得したシルエット画像は、演算処理手段がコンピュータであれば、該コンピュータに付設のディスプレイで画像表示したり、プリンタで印刷表示して、ゴルファーに提供している。さらに、携帯電話機器の画面で表示することも可能である。
【発明の効果】
【００２９】  前記したように、本発明のゴルフスウィング計測システムでは、背景が変化しても、その影響を除去してゴルファーの特徴点を抽出し、この特徴点からゴルファーの輪郭線を求め、該輪郭線を最適形状に収束しているため、ゴルファーのスウィング時のシルエットを精度良く抽出することができる。
また、スウィング画像と背景画像とを差分した差分画像と、前記したエッジ画像とを併用しシルエットの抽出を行うと、背景の変化を除去してゴルファーのシルエット画像を抽出することができる。よって、日照等の環境条件が変化するゴルフコース等の屋外でスウィングを撮影したカラーを用いた時や、ゴルフスウィング計測装置の設置位置を移動させた時等の背景が変化する場合であっても、背景の変化に影響を受けずにスウィング時のシルエットを精度良く抽出することができる。【００３０】  また、本発明のゴルフスウィング計測システムでは、ゴルファーの特徴点を認識するためのマーク等が複数付されてなくても、画像上におけるゴルファーの特徴点の位置座標を導き出すことができる。したがって、スウィング計測を行うゴルファーは計測用器具等の装着を簡易にすることができ、さらに、前記のように、撮影箇所は屋外、屋内を問わず任意の位置で撮影できるため、利便性が向上する。【００３１】  さらに、前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢のシルエット画像を取得することができる。【００３２】  さらにまた、ゴルフスウィング診断に有用な静止画像、例えば、アドレス、インパクト、フィニッシュを選択的に抽出した上で、ゴルファーの特徴点の位置座標を取得する手順とすれば、撮影されたスウィング動画像の全コマ（静止画像）についてゴルファーの特徴点の位置座標を取得する必要が無くなり計算コストを低減できる。また、計算対象とする静止画像を必要な画像だけに絞ることで、特徴点の誤認率を低減することができる。
【発明を実施するための最良の形態】
【００３３】  本発明の実施形態を図面を参照して説明する。
図１はゴルフスウィング計測システムの概略図を示し、演算処理手段となるコンピュータ１６と、該コンピュータ１６に接続された表示手段であるモニター１７と、コンピュータ１６に接続された入力手段であるキーボード１８およびマウス１９と、コンピュータ１６に接続されゴルファー１１の正面位置に設置されたカラーＣＣＤカメラ１４（以下、カメラ１４と称す）を備えている。【００３４】  本実施形態ではゴルファー１１のスウィングをゴルフコースやゴルフ練習場所等の屋外でカメラ１４で撮影するものとし、該カメラ１４で撮影されたカラー画像をハードディスクのメモリに格納し、離れた屋内に設置したコンピュータ１６にメモリを取り込むものとしている。あるいは、ゴルファーが所持するコンピュータから前記コンピュータ１６に電子送信してもよい。
なお、カメラ１４はゴルファーが所持するカメラでもよく、さらには、携帯電話のカメラでもよい。かつ、ゴルファーの側面側にカメラ１５を配置し、さらには、背面側にも配置し、スウィング時に同時にまたは異なるスウィング時に撮影してもよい。
また、屋内の所定のゴルフスウィング計測場所で計測する場合には、カメラ１４とカメラ１５とをコンピュータ１６とオンライン接続している。【００３５】  スウィングを計測されるゴルファー１１（右利きとする）は上着Ｕ、ズボンＤ、靴Ｓ、ベルトＢを締め、ゴルフクラブ１３を把持している。
ゴルファー１１は計測用の必ずしも専用服を着用する必要はないが、専用服を着用して撮影するとコンピュータでの計算量を低減できる、かつ、服や皮膚にマーク等も付す必要はないが、特徴点の抽出時間の短縮化から箇所にマークを付しても良い。また、ゴルファーが服と同色のベルトを締めている場合には、異色の計測用のベルトを着用することが好ましい。
スウィング時には、計測の観点からマット１２の上でスウィングすることが好ましい。
ゴルファー１１が撮影される背面２０は屋外であるため日照条件によって変化する場合もある。【００３６】  コンピュータ１６は、取り込んだスウィング時のカラー画像からゴルファーのシルエットを抽出するプログラムを内蔵し、プログラムの工程に従って画像処理を行い、抽出したシルエットを必要に応じて付設のモニター１７での画像表示やプリンタで印刷表示を行っている。また、取得したシルエットをゴルファーのコンピュータに電信送信してもよい。【００３７】  コンピュータ１６に内蔵したプログラムは、ゴルファー１１のスウィング画像からゴルファーのスウィング時の姿勢を特定できる後述する特徴点Ｍ１〜Ｍ６を抽出し、これら特徴点Ｍ１〜Ｍ６の位置座標を取得し、該抽出した複数の特徴点の位置座標間を結んで各身体部位の形状に応じた初期輪郭線を形成し、該初期輪郭線を最適化処理して最適形状に収束して、ゴルファーのスウィング姿勢の所要部位のシルエットを抽出する画像処理機能を備えている。【００３８】  具体的には、コンピュータ１６に内蔵したプログラムは、
コンピュータ１６に取り込んだカラー画像からスウィング計測に必要な静止画像を選択的に抽出する処理部、
選択したカラー画像からスウィング画像と背景画像とを差分した差分画像を取得する処理部と、
前記スウィング画像と背景画像との差分値情報と、ゴルファーの服色情報とスウィング画像との差分値情報から濃淡画像を取得する処理部と、
前記濃淡画像を二値化処理する処理部と、
前記特徴点を抽出する処理部と、
前記差分画像とスウィング画像を基にソーベル法によりエッジ画像を取得する処理部と、  前記差分画像と前記エッジ画像を用いて評価値を作成し、該評価値が最小となるように前記特徴点間を結ぶ線をベジェ曲線からなる近似曲線を変化させる輪郭線形成用の処理部と、
取得したシルエットを出力する処理部等を備えている。
前記評価値は、エッジ画像上の各ピクセルの濃淡度をエッジ強度とし、前記差分値とエッジ強度とを用いて設定している。【００３９】  前記処理部５４で抽出する特徴点は、図２に示すように、人体の輪郭線上で抽出しやすい点として、首点Ｍ１、ウエスト位置の背面側と前面側の両端点（ゴルファーの前面から撮影した画像ではベルトの最左端点Ｍ２、最右端点Ｍ３）、靴の踵点Ｍ４とつま先点Ｍ５、および膝下点Ｍ６の６カ所としている。【００４０】  前記後首点Ｍ１、ベルトの最左端点Ｍ２、最右端点Ｍ３の抽出は、首下部分から頭部を探索領域として設定し、該探索領域のスウィング画像と背景画像を差分した差分値およびゴルファーの服色領域から取得した色情報とスイング画像を差分した差分値を取得し、取得した２つの差分値の情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から前記各特徴点のＭ１、Ｍ２、Ｍ３を特定して抽出し、画像上で位置座標を設定している。【００４１】  前記靴のつま先点Ｍ５と踵点Ｍ４の抽出は、靴周辺を探索範囲として設定し、該探索範囲のスウィング画像と背景画像とを差分した差分値を取得し、取得した情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から前記特徴点のＭ４、Ｍ５を特定して抽出し、画像上で位置座標を設定している。【００４２】  前記膝下点Ｍ６の抽出は、下肢部を探索領域として設定し、該探索領域のスウィング画像と背景画像との差分値と、前記エッジ強度とからなる評価値を求め、該評価値が最大となる箇所を特定してＭ６の位置を抽出し、画像上で位置座標を設定している。【００４３】  前記特徴点となるＭ１〜Ｍ６を抽出して位置座標を特定した後に初期輪郭線を形成している。該初期輪郭線の形成は、Ｍ１〜Ｍ６を結ぶ線の周辺について、スウィング画像と背景画像とを差分して差分値と前記エッジ強度とからなる評価値を求め、
前記特徴点間に存在する複数点を制御点を定め、
前記評価値が最小となるように前記制御点のピクセルを動かすことによって生成された近似曲線で形成している。【００４４】  前記初期輪郭線を形成した後に、輪郭線の精度を高めるために最適化処理を行っており前記初期輪郭線のスウィング画像と背景画像との差分値と前記エッジ強度から構成される評価値を求め、該評価値が最小となる曲線を準ニュートン法を用いて最適形状に収束している。【００４５】  以下に、特徴点のＭ１〜Ｍ６の抽出、初期輪郭線の形成、最適化処理の方法について説明する。該説明では、カラー画像から取り込んで選択した静止画像はゴルフスウィングのアドレス時の画像としている。【００４６】  まず、輪郭線を形成する節点（端点）となる前記特徴点のＭ１〜Ｍ６の抽出について説明する。【００４７】  後首Ｍ１の特徴点の抽出について、以下に詳述する。
後首Ｍ１は、前記したように、首下部分から頭部を探索領域として設定し、該探索領域のスウィング画像と背景画像を差分した差分値およびゴルファーの服色領域から取得した色情報とスイング画像を差分した差分値を取得し、取得した２つの差分値の情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から特徴点Ｍ１を抽出し、画像上で位置座標を設定している。【００４８】  初めに、図３に示すように、右肩点Ａ１を抽出し、探索範囲を決定する。該探索範囲は背景色領域Ｈ１および服色領域Ｈ２とからなる。
なお、右肩点を明確にするために、右肩にマークを付してもよい。この場合は、抽出した右肩マークの座標位置を中心として所要範囲をピクセルを探索範囲としている。
該背景色領域Ｈ１は、画像の横方向をｘ、縦方向をｙとして、抽出した右肩点の座標を（ｘ、ｙ）とすると、（ｘ−１０、ｙ＋１０）、（ｘ−１０、ｙ−７０）、（ｘ＋７０、ｙ−７０）（ｘ＋７０、ｙ＋１０）の８０ピクセル×８０ピクセルの範囲としている。また、服色領域Ｈ２を、（ｘ−１０、ｙ＋１０）（ｘ−１０、ｙ＋３０）（ｘ−３０、ｙ＋３０）（ｘ−３０、ｙ＋１０）の２０ピクセル×２０ピクセルの範囲としている。【００４９】  服色画像とスウィング画像とのノルムを計算する。
前記服色領域Ｈ２の各ピクセルの色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）を円柱モデルを用いて数式１〜３より計算する。
【数１】
2009095631.tif 000003
【数２】
2009095631.tif 000004
【数３】
2009095631.tif 000005
ここで、０≦Ｒ、Ｇ、Ｂ≦２５５、Ｓ、Ｖともに値の範囲０〜１になる。【００５０】  さらに、ＳとＶをＬｏｇで変換すると数式４となる。
【数４】
2009095631.tif 000006
このように、ＳおよびＶをＬｏｇ化することによりＳ、Ｖが小さいときに値の変化が大きくなるようになる。なお、Ｓ、Ｖともに値の範囲は０〜ｌｏｇ１０１０１となる。【００５１】  次に、ＨＳＶを３次元空間座標に変換する。ここで、ベクトルの長さをＳ、Ｘ軸となす角度をＨとする。
【数５】
2009095631.tif 000007
【００５２】  前記服色領域Ｈ２の２０ピクセル×２０ピクセル範囲のＸ、Ｙ、Ｚを計算して平均値Ｘａｖｅ、Ｙａｖｅ、Ｚａｖｅを求める。服色の平均値を用いて、Ｈ１領域中のスイング画像を用いて各ピクセルｘ、ｙ、ｚを計算しノルムを計算する。ただし、ＸＹＺ空間の最大長さで正規化している。従って、ノルムの範囲は０〜１となる。
【数６】
2009095631.tif 000008
【００５３】  次に、背景色画像とスウィング画像とのノルムを計算する。
まず、背景画像について背景色領域Ｈ１の８０ピクセル×８０ピクセルの範囲について、数式１〜５からピクセル毎に、Ｘｈａｉｋｅｉ、Ｙｈａｉｋｅｉ、Ｚｈａｉｋｅｉとする。スイング画像についてピクセル毎にｘ、ｙ、ｚを求め、背景色ノルムを求める。
【数７】
2009095631.tif 000009
【００５４】  次に、数式６および数式７において、各ピクセルに服色ノルムおよび背景色ノルムどちらかの最小値を選択する。この選択した値が濃淡画像の値となり、図４に示す濃淡画像が得られる。ただし、顎下のマーク領域（３０＜Ｈ＜８０、Ｓ＞＝０．１５、Ｖ＞＝１００）と探索範囲決定時に抽出した赤色マークの「右肩」を除いて、濃淡画像を取得している。
濃淡画像を取得後、図５（Ａ）に示すように、頭部２１を抽出して二値化処理する。なお、二値化処理で用いる閾値は、Ｐタイル法により、頭部２１がＨ１に対して３０％になるように決定する。さらに、図５（Ｂ）に示すように、二値化した１の領域を頭部２１の収縮、膨張の順に２回ずつ繰り返す。その後、図５（Ｃ）に示すように、頭部２１の重心から頭部２１の最下点に引いた直線ｄ１と直角をなす直交線ｄ２を引く。そして、該直交線ｄ２と後頭部の１の領域の端部との交点Ｍ１を後首の特徴点Ｍ１とする。【００５５】  次に、ベルトの最左端点Ｍ２と最右端点Ｍ３の抽出について詳述する。
ベルト色領域の探索範囲はほぼ画像全体から探索している。このときゴルファーは画像のほぼ中心に撮影されている。ベルト色領域Ｈ３は、図６に示すように、赤色の帯となっている。ベルト色領域Ｈ３において、図７に示すように、最左端点Ｍ２および最右端点Ｍ３を抽出している。【００５６】  前記Ｍ２、Ｍ３の抽出は、ｘ＝１５０〜４９０、ｙ＝１６０〜３２０を探索範囲（映像の大きさはｘを６４０、ｙを４８０）とする。また、ベルト領域Ｈ３の赤色情報は、Ｈ＝３３０〜３６０、０〜３０、Ｓ＝０．２以上、Ｖ＝１５〜１５０とする。
ベルト領域Ｈ３も、後首と同様に、背景色画像および服色画像から濃淡画像を取得し、該濃淡画像を二値化し、ベルト領域Ｈ３の最左端点Ｍ２および最右端点Ｍ３を取得する。【００５７】  しかし、照明条件によってはベルト領域Ｈ３の端部を抽出できない場合がある。この場合は以下の方法でベルト領域Ｈ３の最左端点Ｍ２および最右端点Ｍ３を抽出する。
図８（Ｂ）に示すように、ベルト領域Ｈ３端部をプラスの重みを与える領域Ｃ１とする一方、プラス領域Ｃ１を囲むように円領域Ｃをマイナスの重みを与える領域Ｃ２とし、プラス領域Ｃ１とマイナス領域Ｃ２から円領域Ｃを形成している。
プラスの重みを与える領域Ｃ１のベルト領域Ｈ３の幅は縦方向に５ピクセルとすると共に、プラス領域の横方向の最大は６ピクセルとする。一方、マイナスの重みを与える領域Ｃ２の円の大きさは直径１１ピクセルとし、プラスの重みは１．０とし、マイナスの重みは−１．０としている。【００５８】  次に、ベルト色類似度の計算を行う。
ベルト領域Ｈ３の赤色を（Ｈ、Ｓ、Ｖ）＝（０．０、０．６、０．３３）と仮定し、ＸＹＺ空間に変換する。各ピクセルの色情報（ＸＹＺ変換後）と、ベルト領域Ｈ３の赤色との差分をとる。
【数８】
2009095631.tif 000010
なお、各ピクセルの色情報Ｈｉｊ、Ｓｉｊ、Ｖｉｊ（ｌｏｇへの変換）は数式１〜４と同様に求める。ただし、Ｓｉｊは２つの色情報の差を大きくするために、１．０に固定してもよい。
色類似度を求める範囲は、後首領域と同様、ｘ＝１５０〜４９０、ｙ＝１６０〜３２０とする。【００５９】  背景領域は、色類似度が０になるように背景差分値を考慮し、赤に近いほうの値が大きくなるようにするために、ノルムを１から引く。
従って、ベルト色類似度は次式となる。
【数９】
2009095631.tif 000011
ｄｉｊは数式７の背景色ノルムと同じとする。【００６０】  ベルト領域端部の探索領域Ｈ４、Ｈ５は、ベルトＢの最左端点Ｍ２および最右端点Ｍ３から２５ピクセル四方の領域とする。
次式に示すように、色抽出した領域から主軸Ｌ１の傾き角度θを求める。
【数１０】
2009095631.tif 000012
ここで、（ｘｇ、ｙｇ）は領域重心、Ｓは領域面積とし、ｍ２０は重心を原点にした場合のＹ軸についての二次モーメント、ｍ０２は重心を原点にした場合のＸ軸についての二次モーメンある。【００６１】  ついで、プラス領域Ｃ１およびマイナス領域Ｃ２を形成する円領域Ｃを数式１０で求めた主軸方向Ｌ１の角度θに合うように回転させる。回転させた後に、探索領域Ｈ４、Ｈ５を左上から右下へ畳み込んでいく。探索領域Ｈ４、Ｈ５内の特定のピクセルにおける評価値結果は、次式のようになる。
【数１１】
2009095631.tif 000013
ここで、Ｆｉｊは円領域Ｃの重み、Ｒはベルト色類似度とする。
数式１１で求めた評価値が最大となるところを特徴点とする。【００６２】  次に、踵点Ｍ４およびつま先点Ｍ５の特徴点の抽出について説明する。
前記したように、踵点Ｍ４およびつま先点Ｍ５の抽出は、靴周辺を探索範囲として設定し、該探索範囲のスウィング画像と背景画像とを差分した差分値を取得し、取得した情報から濃淡画像を取得し、該濃淡画像を二値化処理した二値化処理画像から前記特徴点のＭ４、Ｍ５を特定して抽出している。【００６３】  以下に詳述すると、踵点Ｍ４およびつま先点Ｍ５は、背景画像からのみ濃淡画像を求めている。
まず、図９に示すように、正面右足先座標から射影変換した靴２３上の点Ｐを抽出し、該点Ｐを基準（ｘ、ｙ）にして点Ｐを基準に足全体を囲むように探索範囲を設定する。該探索範囲は、（ｘ＋４０、ｙ−２５）、（ｘ＋４０、ｙ＋２５）（ｘ−８０、ｙ＋２５）（Ｘ−８０、ｙ−２５）とする。
ついで、後首領域と同様に、図１０（Ａ）〜（Ｃ）に示すように、差分処理をして濃淡画像を取得し、二値化したあと、収縮、その後膨張を行い、靴の最左下点を踵点Ｍ４、最右下点をつま先点Ｍ５として取得する。
なお、二値化については、領域面積に対して足面積が一定の割合であると仮定している。具体的には、Ｐタイル法から領域面積１２０×５０に対して足が２０％の１２００となる閾値を決定することで二値化を行っている。【００６４】  次に、足・マットの交差点となる膝下点Ｍ６の抽出について詳述する。
図１１に示すように、探索範囲Ｈ６は、マット端のラインＬ２を基準として、１０ピクセル×４０ピクセル四方としている。
（１）エッジ強度、（２）内側背景差分値（赤領域）、（３）外側背景差分値（青領域）とし、（１）×１．０＋（２）×１．０＋（３）×（−１）を踵とつま先の中心線Ｌ３からつま先に向けて１ピクセルずつ計算していき、図３３の表に示すように、最大値となった点を足・マットの交差点Ｍ６としている（図１２参照）。
なお、エッジ強度Ｄは次式で表される。
【数１２】
2009095631.tif 000014
なお、Ｄｘはカラー画像もしくは濃淡画像におけるＸ方向のソーベル強度であり、Ｄｙはカラー画像もしくは濃淡画像におけるＹ方向のソーベル強度である。【００６５】  前記のように特徴となるＭ１〜Ｍ６を抽出した後に、これらの特徴点Ｍ１〜Ｍ６を節点とする初期輪郭線を形成する。
以下に、初期輪郭線の形成方法について詳述する。
背中輪郭の線については、まず、図１３に示すように、後首点Ｍ１とベルト最左端点Ｍ２との間の等分割した点を、背中輪郭の制御点Ｑ１、Ｑ２とする。
アドレス画像の場合、図１３（Ａ）に示すように、後首点Ｍ１とベルト最左端点Ｍ２を結んだ直線Ａを三等分した各点を制御点Ｑ１、Ｑ２とする。
なお、インパクト画像の場合は、図１３（Ｂ）に示すように、Ｍ１とＭ２を結んだ直線Ａを四等分した各点を制御点Ｑ１、Ｑ２、Ｑ３とする。
なお、後首点Ｍ１と後ベルト点となるＭ２を低次のベジェ曲線で結び、制御点を定めてもよい。【００６６】  後脚輪郭の線の形成では、まず、図１４に示すように、後脚輪郭の制御点Ｐ１、Ｐ２、Ｐ３を求める。これら制御点Ｐ１〜Ｐ３の求め方は、踵点Ｍ４とベルトの最左端点Ｍ２を結んだ直線Ｂの長さをＬ１とし、Ｍ２の背中輪郭から得る接線Ｃ上であって、Ｍ２から足方向にＬ１／３の距離延長した点を制御点Ｐ１とする。また、踵点Ｍ４と前記Ｍ２を結んだ直線Ｂの中点Ｐａを求め、接線Ｃと平行であり該中点Ｐａを通る直線を直線Ｄとする。中点Ｐａから直線Ｄ上に上方向にＬ１／５の距離延長した点を制御点Ｐ２とし、制御点Ｐ２と踵点Ｍ４との中点を制御点Ｐ３とする。【００６７】  前記背中初期輪郭線は特徴点のＭ１、制御点Ｐ１、Ｐ２、特徴点Ｍ２から形成しており、以下、アドレス時を例にして詳述する。
図１５に示すように、後首点Ｍ１とベルト背面側の最左端点Ｍ２を結んだ直線Ａの長さをＬ２とすると、後首点Ｍ１とベルトの最左端点Ｍを結んだ直線Ａに垂直方向であって、背中輪郭側に、各制御点Ｑ１、Ｑ２を１ピクセルずつ（Ｌ２）／３の距離まで動かし、評価値が最小となる輪郭形状を求めている。
制御点は最小Ｌ２／３ピクセル移動させているので、評価値はＬ２／３通り存在する。該Ｌ２／３通りの評価値から、評価値が最小となる曲線を初期輪郭線として決定する。【００６８】  評価値は、スイング画像と背景画像との差分値（輪郭線の外側と内側）と、輪郭線上のエッジ強度から求められ、数式１３で表される。
【数１３】
2009095631.tif 000015
【００６９】  数式１３において、Ｖｅｄｇｅは、図１６（Ａ）に示すモデル曲線上のエッジ強度平均であり、Ｖｅｄｇｅ＝（輪郭モデル画素におけるエッジ強度の合計）／（輪郭モデル画素数）で求められる。
Ｖｉｎは、図１６（Ｂ）に示す輪郭モデル内側の領域における背景差分値平均であり、Ｖｉｎ＝（輪郭モデル内側領域における背景差分値の合計）／（内側評価領域面積）で求められる。
Ｖｏｕｔは、図１６（Ｂ）に示す輪郭モデル外側の領域における背景差分値平均であり、Ｖｉｎ＝（輪郭モデル外側領域における背景差分値の合計）／（外側評価領域面積）で求められる。
本実施形態では、図１６（Ｂ）に示すように、Ｖｉｎ及びＶｏｕｔにおいて領域面積を求める場合の幅を２０ピクセルと想定している。【００７０】  ここで、Ｗｉｎ，Ｗｏｕｔ、Ｗｅｄｇｅは重み係数である。
アドレス時の背中輪郭抽出では、Ｗｉｎ＝１，Ｗｏｕｔ＝−１、Ｗｅｄｇｅ＝１としている。
アドレス時、トップ時の後脚輪郭抽出、前脚輪郭抽出では、Ｗｉｎ＝１，Ｗｏｕｔ＝−１、Ｗｅｄｇｅ＝０．２５としており、インパクト時の背中輪郭抽出では、Ｗｉｎ＝１，Ｗｏｕｔ＝−１、Ｗｅｄｇｅ＝０．２としている。インパクト時の前脚輪郭抽出では、Ｗｉｎ＝１，Ｗｏｕｔ＝−１、Ｗｅｄｇｅ＝１としている。なお、Ｗｉｎ，Ｗｏｕｔ、Ｗｅｄｇｅの値は必ずしも前記値ではなく、ズボンの色等により調整している。【００７１】  曲線が正しくゴルファーのシルエットを抽出している場合は、Ｖｉｎは背景とスイングを差分すると差分画像は存在するので大きくなる。Ｖｏｕｔは背景とスイングを差分すると差分画像は存在しないので「０」になる。この部分の重み係数Ｗｏｕｔをマイナスにするのは、曲線がシルエット上に正しく抽出していない時（人側に存在するとき）に、評価値を大きくするためである。また、曲線が正しくゴルファーのシルエットを抽出している場合、Ｖｅｄｇｅは最も値が大きくなる。【００７２】  Ｖｅｄｇｅを求める際に使用するエッジ強度について以下に説明する。
スウィング画像から、濃淡画像を求め、ソーベル法によりエッジ画像を取得している。エッジ画像はＲＧＢ画像ではなく、濃淡画像から取得しているので、図１７に基づき、数式１４で求められる。
なお、スイング画像から濃淡画像への変換は、濃淡画像＝０．３×Ｒ＋０．５９×Ｂ＋０．１１×Ｂで求めている。
【数１４】
2009095631.tif 000016
【００７３】  次に、後脚初期輪郭線の形成について説明する。
まず、前記のように設定した制御点Ｐ１，Ｐ２，Ｐ３を夫々移動させて評価値を求め、評価値が最小となる曲線を評価値として決定する。
例えば、図１８に示すように、制御点Ｐ１を前後左右斜め方向に所定ピクセルずつ（上下左右に１０ピクセルずつ）離れた位置に移動させ、各位置での評価値を計９通り求める。同様に、制御点Ｐ２、Ｐ３も後左右斜め方向に移動させて各位置での評価値を求める。合計で９×９×９通りの評価値を得て評価値が最小となる制御点Ｐ１，Ｐ２、Ｐ３の組み合わせを得、曲線を初期輪郭線として決定する。【００７４】  次に、前脚初期輪郭線の形成について説明する。
前脚初期輪郭線は後脚輪郭の収束結果、即ち後脚輪郭の最適形状とした制御点座標と端点を用い、図１９に示すように、後脚輪郭の端点と制御点座標を回転移動、スケール変換することにより求める。端点とは、後脚ではベルト後端の最左端点Ｍ２と踵点Ｍ４であり、前脚はベルト前端の最右端点Ｍ３と膝下点Ｍ６である。
図２０に示すように、スケール変換の倍率は、ベルト後端のＭ２と踵点Ｍ４をつないだ直線Ｅの長さとベルト前端のＭ４と膝下点Ｍ６とを繋いだ直線Ｆの長さとの比とし、後脚曲線を直線Ｅの向きの方向に圧縮する。また、回転移動は、２本直線Ｅ，Ｆの傾きの差を求め、直線Ｆの傾きに合うように、後脚曲線を回転させている。【００７５】  次に、トップ時の後脚初期輪郭線の形成について、図２１，図２２を用いて説明する。
トップ時の後脚初期輪郭線を求めるには、まず、図２１のように、後述する最適化処理によりアドレス時の後脚輪郭線を収束させた収束結果を用い、該端点と制御点座標を前述したような回転移動、スケール変換することでテイク８時の後脚初期輪郭線を求める。該テイク８時の後脚初期輪郭線より、図２２に示すように、収束結果を求める。
次に、テイク８時の収束結果より端点と制御点座標を回転移動、スケール変換して腕水平時の後脚初期輪郭線を求める。該後脚初期輪郭線より腕水平時の収束結果を求める。
次に、該収束結果より端点と制御点座標を回転移動、スケール変換してトップ時の後脚初期輪郭線を求める。
このように、アドレス時からテイク腕水平時まで輪郭線を順次追跡変形し、トップ時の後脚初期輪郭線を求める。なお、テイク８時、腕水平時だけでなく、他のスウィング姿勢における初期輪郭線を求めても良い。
また、他の画像の輪郭を用いない場合は、アドレス時と同様の方法で初期輪郭を求めてもよい。【００７６】  前記した初期輪郭線を形成した後、該輪郭線を最適処理化して最適形状へ収束させる処理を行っている。該最適化処理は準ニュートン法を行い、輪郭線評価値が最小となる制御点座標を求めている。【００７７】  まず、準ニュートン法の原理について説明する。
最初に、関数ｆ（ｘ）の最小化問題を考える。
Ｘ＝Ｘｋの近傍においてｆ（ｘ）をテイラー展開（２次まで）により近似した２次モデルは、数式１５となる。【００７８】
【数１５】
2009095631.tif 000017
【００７９】  数式１５中において、Ｈ（ｘｋ）はヘッセ行列（ｆを２回微分した行列）であり、正定値対称行列（ｎ×ｎ行列Ａがｘ＝０でない全てのｎ次元ベクトルｘに対して、不等式ｘＴＡｘ＞＝０を満たす行列）であるとき、関数ｆは下に凸な関数になる。つまり、ｆ’＝０は最小になる。
ｆ（ｘ）を微分すると、数式１６となる。
【数１６】
2009095631.tif 000018
数式１６は、図２３の直線Ｇを表している。
ｆ（ｘ）は２次式なのでｆ’（ｘ）＝０のときｘが最小になる。即ち、数式１７で表される。
【数１７】
2009095631.tif 000019
上式を解いて求めたｘをｘｋ＋１として更新していくと、数式１８に示すようにｆ’＝０に収束していく。
【数１８】
2009095631.tif 000020
【００８０】  数式１８は最適化したい関数が２次のものであればヘッセ行列の逆行列の前は１である。しかし、実際問題に応用して用いる場合には，αを逐次探索して最も良い結果を返す方が効率的である。従って、数式１９を用いて、ｘをｘｋ＋１として更新してｆ（ｘ）の最小値に収束させる。
このとき、ヘッセ逆行列（ｘｋ＋１）−１は数式２０となる。
【数１９】
2009095631.tif 000021
【数２０】
2009095631.tif 000022
【００８１】  本実施形態においては、図２４に示すように、ｆ（ｘ）のＸは制御点Ｐのベクトル値であり、例えば２つの制御点Ｐ１、Ｐ２が存在する場合、ｘ＝（ｘ１，ｙ１，ｘ２，ｙ２）である。
前述したように制御点Ｐ１、Ｐ２をある範囲で動かしてそれぞれの評価値を求め、評価値が最小の場合のｘをｘｋ＋１とする。具体的には、数式１９のαを変化させｘｋ＋１を求め、ｘｋ＋１毎にベジェ曲線を作成し、ベジェ曲線毎に評価値を求める。評価値が最小となるｘｋ＋１を選択し、再び、数式１９のｘにｘｋ＋１を代入する。このように、数式１９の計算を繰り返して評価値が高いｘを求める。【００８２】  最適化処理の計算は、以下の（１）〜（３）のいずれかの場合に終了する。
（１）計算回数が５００回を超えた場合
（２）一度前の計算での評価値が今回の計算での評価値とほとんど変わらない場合（評価値変化の絶対値が引数ｅｐｓ＝０．００１以下）
（３）評価関数の微分値（傾き）がｅｐｓ以下のとき（関数形状がほぼ平坦のとき）
該最適化処理の計算が終了したときのｘが、評価値が最小の制御点Ｐ１，Ｐ２の座標位置となる。【００８３】  図２５は準ニュートン法により、評価値が最小となる制御点の座標位置を求めるフローチャートである。
ステップＳ１では、制御点の初期値をｘ（０）、評価値をｆ（ｘ（０））としている。
ｋ＝０、Ｈ（Ｘ０）−１＝Ｉ（単位行列）とする。
ステップＳ２では、ｆ‘（ｘ（ｋ））を計算し、｜ｆ‘（ｘ（ｋ））｜＜εであるかを判断している。もしくは、ｋ＞５００であるか、｜ｆ（ｘ（ｋ））−ｆ（ｘ（ｋ−１））｜＜ε（ｋ＞０）であるかを判断している。該条件式を満たす場合には、フローチャートを終了する。
ステップＳ３では、数式１９を計算している。αは０〜１まで０．０１刻みであり、１０１通りのｘ（ｋ＋１）が得られる。１０１通りのベジェ曲線を作成し、該ベジェ曲線毎に評価値を１０１通り求める。
ステップＳ４では、１０１通りのｘ（ｋ＋１）からｆ（ｘ（ｋ＋１））が最小になるｘ（ｋ＋１）を決定している。即ち、評価値が最小になるαを決定し、数式１９から次にステップＳ３に戻ったときに用いるｘ（ｋ＋１）を決定する。
ステップＳ５では、ｆ‘（ｘ（ｋ＋１））を計算している。ｆ‘（ｘ（ｋ＋１））は数式２１で求められ、関数ｆ（ｘ）の微分ベクトルである。なお、ｆ（ｘ）はスカラーであるが、ｆ‘（ｘ）はベクトルである。
ステップＳ６では、数式２０のヘッセ逆行列を計算している。
ステップＳ７ではｋ＝ｋ＋１とし、ステップＳ２へ戻っている。
図２５のフローチャートをステップＳ２で最適化処理の計算が終了するまで繰り返し、終了した時点でのＸが制御点Ｐ１，Ｐ２の座標位置となる。【００８４】
【数２１】
2009095631.tif 000023
【００８５】  なお、ステップＳ３のベジェ曲線は、制御点と特徴点の座標位置から求めることができる。ｘ（ｋ＋１）は制御点Ｐ１，Ｐ２の座標位置を示しており、図２６の例では、制御点Ｐ１，Ｐ２の座標位置と、特徴点である後首点Ｍ１とベルト最左端点Ｍ２の座標位置の４点から３次のベジェ曲線Ｇを得て、最適な輪郭線としている。
３次のベジェ曲線は数式２２として表すことができる。画像上にベジェ曲線をプロットする場合は、ｔの値を０．０１刻みで変化させて、その小数点以下を四捨五入して曲線上のピクセル情報を決めている。なお数式２１のＢ０は後首点Ｍ１の座標位置を示し、Ｂ３はベルト最左端点Ｍ２の座標位置を示し、Ｂ１及びＢ２は制御点Ｐ１，Ｐ２の座標位置を示している。
【数２２】
2009095631.tif 000024
【００８６】  図２７（Ａ）〜（Ｄ）および図２８に第１実施例を示す。
第１実施例ではアドレス時の背中輪郭線の抽出している。
図２７（Ａ）に示すゴルファーが撮影されたがアドレス時の静止画像をコンピュータに格納し、コンピュータに内蔵したプログラムにより、図２７（Ｂ）に示す差分画像と、図２７（Ｃ）に示すエッジ画像を形成している。前述した特徴点Ｍ１、Ｍ２の抽出を用いて、初期輪郭線の形成し、取得した初期輪郭線を最適化処理して、図２７（Ｄ）に示す最適化処理された輪郭線１０１（図中、赤線で示す）を有するゴルファーのシルエットを取得している。
図２８は、前記初期輪郭線の形成時及び、該初期輪郭線の形成後の最適化処理する時に、評価値Ｖを最小とするために５回の輪郭線を作成して収束した経過を示している。【００８７】  図２９および図３０に第２実施例を示す。
第２実施例では、図２９に示すアドレス画像の後脚と、図３０に示す前脚の輪郭線の抽出を行っている。
図２９（Ａ）は最適化処理した後脚輪郭線１０２を備え、図２９（Ｂ）に示すように、評価値Ｖが最小となるように５回の輪郭線を作成して収束した経過を示している。
図３０（Ａ）は最適化処理した前脚輪郭線１０３を備え、図３０（Ｂ）に示すように、評価値Ｖが最小となるように６回の輪郭線を作成して収束した経過を示している。【００８８】  図３１および図３２に第３実施例を示す。
第３実施例では、トップ画像の後脚輪郭線１０４の抽出を行っている。
図３１（Ａ）に示すゴルファーが撮影されたがトップ時の静止画像をコンピュータに格納し、コンピュータに内蔵したプログラムにより、図３１（Ｂ）に示す差分画像と、図３１（Ｃ）に示すエッジ画像を形成している。前述した特徴点Ｍ１、Ｍ２の抽出を用いて初期輪郭線を形成し、取得した初期輪郭線を最適化処理して、図３１（Ｄ）に示す最適化処理された輪郭線１０４を有するゴルファーのシルエットを取得している。
図３２は、前記初期輪郭線の形成時及び、該初期輪郭線の形成後の最適化処理する時に、評価値Ｖを最小とするために６回の輪郭線を作成して収束した経過を示している。
なお、このときの初期値はテイク腕水平での収束結果を利用している。【００８９】  前記のように、本発明のゴルフスウィング計測システムでは、屋外や屋内等の任意の場所でデジタルカメラ、アナログカメラ、さらには携帯電話のカメラでカラー撮影されたスウィング画像のデータを、シルエット抽出機能を有する画像処理用のプログラムを格納したコンピュータに取り込むと、任意に選択したアドレス、トップ、インパクト、フィニッシュ等から選択した静止画面に基づいて、ゴルファーのシルエットにフィットしたシルエットの抽出を行うことができる。【００９０】  かつ、前述したエッジ画像を利用して最適化したシルエットを作成していることにより、ゴルファーの背景が日照条件等によって変化しても、該変化に影響されることなく、ゴルファーのシルエットの抽出を精度よく行うことができる。
このように、背景画像とスウィング画像との差分画像だけでなく、エッジ画像を併用していることで、背景が多少変化してもシルエットの抽出が行え、その結果、ゴルフスウィング計測装置を設置した専用の場所でなくとも、さらには、屋外で撮影したスウィング画像を用いてスウィング計測を行うことができる。
【図面の簡単な説明】
【００９１】
【図１】  は本発明のゴルフスウィング計測システムの構成を示す概略図である。
【図２】  はゴルフスウィング計測時に抽出する特徴点を示す図面である。
【図３】  後首の特徴点を求めるための探索範囲および探索範囲の基準点を示す図面である。
【図４】  図３から得た濃淡画像を示す図面である。
【図５】  （Ａ）は図４の画像を二値化した画像を示す図面、（Ｂ）は（Ａ）を収縮、その後膨張させた図面、（Ｃ）は後首の特徴点を示す説明図である。
【図６】  ベルト領域周辺の図面である。
【図７】  ベルト領域の特徴点を示す図面である。
【図８】  （Ａ）はベルト領域端部の探索領域を説明する図面、（Ｂ）はベルト領域端部のマイナス領域とプラス領域を示す概念図である。
【図９】  踵点およびつま先点を説明する図面である。
【図１０】  （Ａ）は二値化した画像を示す図面、（Ｂ）は（Ａ）を収縮、その後膨張させた画像を示す図面、（Ｃ）は（Ｂ）からは踵点および爪先点を求める画像を説明する図面である。
【図１１】  足・マットの交差点を求めるための探索範囲および基準のラインを説明する図面である。
【図１２】  足・マットの交差点を説明する図面である。
【図１３】  背中輪郭の線の形成の説明図であり、（Ａ）はアドレス画像、（Ｂ）はインパクト画像の場合である。
【図１４】  後脚輪郭の線の形成の説明図である。
【図１５】  背中初期輪郭線の形成の説明図である。
【図１６】  （Ａ）はモデル曲線上のエッジ強度平均の説明図、（Ｂ）は輪郭モデル内側の領域における背景差分値平均及び輪郭モデル外側の領域における背景差分値平均の説明図である。
【図１７】  エッジ強度を求める説明図である。
【図１８】  制御点の動かし方の説明図である。
【図１９】  前脚初期輪郭線の形成のスケール変換、回転移動の説明図である。
【図２０】  前脚初期輪郭線の形成の説明図である。
【図２１】  トップ時の後脚初期輪郭線の説明図である。
【図２２】  トップ時の後脚初期輪郭線の説明図である。
【図２３】  最適化処理の説明図である。
【図２４】  制御点の説明図である。
【図２５】  最適化処理を示すフローチャートである。
【図２６】  ベジェ曲線の説明図である。
【図２７】  第１実施例のアドレス時の背中輪郭線の形成工程を示し、（Ａ）〜（Ｃ）は各工程の画像を示す写真、（Ｄ）はシルエットの結果を元のスイング画像に重ねた写真である。
【図２８】  第１実施例の評価値に対して最小となるように輪郭線を形成した経過を示す表である。
【図２９】  （Ａ）は第２実施例のアドレス時の後脚輪郭線を元のスイング画像に重ねた写真、（Ｂ）は評価値に対して最小となるように輪郭線を形成した経過を示す表である。
【図３０】  （Ａ）は第２実施例のアドレス時の前脚輪郭線を元のスイング画像に重ねた写真、（Ｂ）は評価値に対して最小となるように輪郭線を形成した経過を示す表である。
【図３１】  第３実施例のトップ時の後脚輪郭線の形成工程を示し、（Ａ）〜（Ｃ）は各工程の画像を示す写真、（Ｄ）はシルエットの結果を元のスイング画像に重ねた写真である。
【図３２】  第３実施例の評価値に対して最小となるように輪郭線を形成した経過を示す表である。
【図３３】  図１１および図１２における膝下点の抽出を示す表である。
【符号の説明】
【００９２】  １１  ゴルファー
１４  カメラ
１６  コンピュータ
Ｍ１〜Ｍ６  特徴点
１００〜１０４  最適化処理で収束された輪郭線
【図１】
2009095631.tif 000025
【図２】
2009095631.tif 000026
【図３】
2009095631.tif 000027
【図４】
2009095631.tif 000028
【図５】
2009095631.tif 000029
【図６】
2009095631.tif 000030
【図７】
2009095631.tif 000031
【図８】
2009095631.tif 000032
【図９】
2009095631.tif 000033
【図１０】
2009095631.tif 000034
【図１１】
2009095631.tif 000035
【図１２】
2009095631.tif 000036
【図１３】
2009095631.tif 000037
【図１４】
2009095631.tif 000038
【図１５】
2009095631.tif 000039
【図１６】
2009095631.tif 000040
【図１７】
2009095631.tif 000041
【図１８】
2009095631.tif 000042
【図１９】
2009095631.tif 000043
【図２０】
2009095631.tif 000044
【図２１】
2009095631.tif 000045
【図２２】
2009095631.tif 000046
【図２３】
2009095631.tif 000047
【図２４】
2009095631.tif 000048
【図２５】
2009095631.tif 000049
【図２６】
2009095631.tif 000050
【図２７】
2009095631.tif 000051
【図２８】
2009095631.tif 000052
【図２９】
2009095631.tif 000053
【図３０】
2009095631.tif 000054
【図３１】
2009095631.tif 000055
【図３２】
2009095631.tif 000056
【図３３】
2009095631.tif 000057