(57)【特許請求の範囲】
【請求項１】
ゴルフクラブを持ってスイング動作を行う人物を背景とともに撮影した動画から、ピクセルの集合体であるフレームを抽出し、該抽出されたフレームの各ピクセルを前記人物又は前記背景のいずれかに特定して前記人物のシルエットを抽出する方法であって、
それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成するステップと、
前記全フレーム集合について、頻度がフレーム数であり、階級が色情報であるヒストグラムを作成するステップと、
前記動画から前記人物のアドレス状態が撮像されたアドレスフレームを抽出するステップと、
前記アドレスフレームを画像処理し、前記人物及び前記ゴルフクラブについて予め定められた複数箇所の特徴点を抽出する特徴点抽出ステップと、
前記特徴点に基づいて、前記人物及びゴルフクラブを包含しつつその周囲の背景を一部に含んだ領域であるマスク領域を設定するステップと、
前記特徴点に基づいて、前記マスク領域に含まれるピクセルの中から前記人物のシルエットを構成する確率が高い領域である人体ゾーンを設定するステップと、
前記人体ゾーンのピクセルのヒストグラムと、前記アドレスフレームの前記人体ゾーンのピクセルの色情報とに基づいて、前記ヒストグラムの中で人体を表す階級である人体区間を決定する人体区間決定ステップと、
決定された前記人体区間に基づいて、前記人体ゾーンの外側のピクセルのヒストグラムに人体区間を決定する人体区間伝播ステップと、
前記マスク領域の外側である非マスク領域のピクセルのヒストグラムと、前記アドレスフレームの前記非マスク領域のピクセルの色情報とに基づいて、前記ヒストグラムの中で背景を表す階級である背景区間を決定する背景区間決定ステップと、
決定された前記背景区間に基づいて、前記マスク領域内のピクセルのヒストグラムに背景区間を決定する背景区間伝播ステップとを含むことを特徴とするシルエット抽出方法。
【請求項２】
前記ヒストグラムは、全てのピクセルを対象としかつ階級を輝度とした第１ヒストグラム、有彩色のピクセルを対象として階級を色相とした第２ヒストグラム、及び、無彩色のピクセルを対象として階級が輝度である第３ヒストグラムを含む請求項１記載のシルエット抽出方法。
【請求項３】
前記特徴点は、アドレス状態の人体の頭頂部、おでこ、背中、腰、膝裏、踵、つま先、太股、手元、ゴルフクラブのヘッド及び肩の各部を代表する位置を含む請求項１又は２記載のシルエット抽出方法。
【請求項４】
前記マスク領域を設定するステップは、前記特徴点を繋いで初期マスク領域を設定するステップと、
前記初期マスク領域を予め定められた厚さに膨張させて前記マスク領域を設定する請求項１乃至３のいずれかに記載のシルエット抽出方法。
【請求項５】
前記人体ゾーンを設定するステップは、前記特徴点に基づいて、前記初期マスク領域の内側かつ明らかに人体である位置に基準点を設定するステップと、
前記基準点を用いて前記人体ゾーンを決定する請求項４記載のシルエット抽出方法。
【請求項６】
前記フレームのピクセルのうち、ゴルフ練習場の支柱を表示するピクセルを特定するステップと、
該支柱を表示するピクセルと、そのヒストグラムとに基づいて、支柱を表示している階級である支柱区間を決定するステップとを含み、
前記背景区間伝播ステップは、前記支柱区間をスキップする請求項１乃至５のいずれかに記載のシルエット抽出方法。
【請求項７】
前記背景区間及び前記人体区間が決定された後、これらの整合性を判定するステップをさらに含む請求項１乃至６のいずれかに記載のシルエット抽出方法。
【請求項８】
ゴルフクラブを持ってスイング動作を行う人物を背景とともに撮影した動画から、ピクセルの集合体であるフレームを抽出し、該抽出されたフレームの各ピクセルを前記人物又は前記背景のいずれかに特定して前記人物のシルエットを抽出するシステムであって、
前記動画を撮影するカメラ、撮影された動画を記憶するメモリ、及び演算部を具え、
前記演算部は、
それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する集合作成部と、
前記全フレーム集合について、頻度がフレーム数であり、階級が色情報であるヒストグラムを作成するヒストグラム作成部とを含むとともに、
前記動画から前記人物のアドレス状態が撮像されたアドレスフレームを抽出するアドレスフレーム抽出部、
前記アドレスフレームを画像処理し、前記人物及び前記ゴルフクラブについて予め定められた複数箇所の特徴点を抽出する特徴点抽出部、
前記特徴点に基づいて、前記人物及びゴルフクラブを包含しつつその周囲の背景を小範囲で含んだ領域であるマスク領域を設定するマスク領域設定部、
前記特徴点に基づいて、前記マスク領域に含まれるピクセルの中から前記人物のシルエットを構成する確率が高い領域である人体ゾーンを設定する人体ゾーン設定部、
前記人体ゾーンのピクセルのヒストグラムと、前記アドレスフレームの前記人体ゾーンのピクセルの色情報とに基づいて、前記ヒストグラムの中で人体を表す階級である人体区間を決定する人体区間決定部、
決定された前記人体区間に基づいて、前記人体ゾーンの外側のピクセルのヒストグラムに人体区間を決定する人体区間伝播部、
前記マスク領域の外側である非マスク領域のピクセルのヒストグラムと、前記アドレスフレームの前記非マスク領域のピクセルの色情報とに基づいて、前記ヒストグラムの中で背景を表す階級である背景区間を決定する背景区間決定部、及び
決定された前記背景区間に基づいて、前記マスク領域内のピクセルのヒストグラムに背景区間を決定する背景区間伝播部を含む判定部を有することを特徴とするシルエット抽出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゴルフクラブを持ってスイング動作を行う人物を背景とともに撮影した動画から抽出されたフレームの各ピクセルを、人物又は背景のいずれかに切り分けて人物のシルエットを抽出することができるシルエット抽出方法及びシルエット抽出システムに関する。
【背景技術】
【０００２】
ゴルフの技量向上のためには、適切なゴルフスイングの習得が重要である。このような目的のために、ゴルフスイングの動画を撮影し、この動画を元にスイング診断がなされている。古典的なスイング診断では、ティーチングプロ等が動画に基づいてスイング中の問題点を指摘する。一方、前記動画を画像処理することでスイングを診断しようとの試みもなされている。
【０００３】
画像処理による場合、人物が撮影されたピクセルと背景が撮影されたピクセルとが区別され、人物のシルエットが抽出されうる。このような処理を精度良く行うものとして、本件出願人は、すでに下記特許文献１を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−７８０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献では、それなりの精度が確保されてはいるが、いくつかの問題点が指摘されている。即ち、上記特許文献のものでは、人物と背景とが似たような色合いである場合、両者を上手く区別することができないという問題があった。
【０００６】
本発明は、以上のような問題点に鑑み案出されたもので、人物と背景とが似たような色合いであっても、両者を上手く区別することができるシルエット抽出方法及びシルエット抽出システムを提供することを主たる目的としている。
【課題を解決するための手段】
【０００７】
本発明のうち請求項１記載の発明は、ゴルフクラブを持ってスイング動作を行う人物を背景とともに撮影した動画から、ピクセルの集合体であるフレームを抽出し、該抽出されたフレームの各ピクセルを前記人物又は前記背景のいずれかに特定して前記人物のシルエットを抽出する方法であって、それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成するステップと、前記全フレーム集合について、頻度がフレーム数であり、階級が色情報であるヒストグラムを作成するステップと、前記動画から前記人物のアドレス状態が撮像されたアドレスフレームを抽出するステップと、前記アドレスフレームを画像処理し、前記人物及び前記ゴルフクラブについて予め定められた複数箇所の特徴点を抽出する特徴点抽出ステップと、前記特徴点に基づいて、前記人物及びゴルフクラブを包含しつつその周囲の背景を一部に含んだ領域であるマスク領域を設定するステップと、前記特徴点に基づいて、前記マスク領域に含まれるピクセルの中から前記人物のシルエットを構成する確率が高い領域である人体ゾーンを設定するステップと、前記人体ゾーンのピクセルのヒストグラムと、前記アドレスフレームの前記人体ゾーンのピクセルの色情報とに基づいて、前記ヒストグラムの中で人体を表す階級である人体区間を決定する人体区間決定ステップと、決定された前記人体区間に基づいて、前記人体ゾーンの外側のピクセルのヒストグラムに人体区間を決定する人体区間伝播ステップと、前記マスク領域の外側である非マスク領域のピクセルのヒストグラムと、前記アドレスフレームの前記非マスク領域のピクセルの色情報とに基づいて、前記ヒストグラムの中で背景を表す階級である背景区間を決定する背景区間決定ステップと、決定された前記背景区間に基づいて、前記マスク領域内のピクセルのヒストグラムに背景区間を決定する背景区間伝播ステップとを含むことを特徴とする。
【０００８】
また請求項２記載の発明は、前記ヒストグラムは、全てのピクセルを対象としかつ階級を輝度とした第１ヒストグラム、有彩色のピクセルを対象として階級を色相とした第２ヒストグラム、及び、無彩色のピクセルを対象として階級が輝度である第３ヒストグラムを含むことを特徴とする。
【０００９】
また請求項３記載の発明は、前記特徴点は、アドレス状態の人体の頭頂部、おでこ、背中、腰、膝裏、踵、つま先、太股、手元、ゴルフクラブのヘッド及び肩の各部を代表する位置を含むことを特徴とする。
【００１０】
また請求項４記載の発明は、前記マスク領域を設定するステップは、前記特徴点を繋いで初期マスク領域を設定するステップと、前記初期マスク領域を予め定められた厚さに膨張させて前記マスク領域を設定することを特徴とする。
【００１１】
また請求項５記載の発明は、前記人体ゾーンを設定するステップは、前記特徴点に基づいて、前記初期マスク領域の内側かつ明らかに人体である位置に基準点を設定するステップと、前記基準点を用いて前記人体ゾーンを決定することを特徴とする。
【００１２】
また請求項６記載の発明は、前記フレームのピクセルのうち、ゴルフ練習場の支柱を表示するピクセルを特定するステップと、該支柱を表示するピクセルと、そのヒストグラムとに基づいて、支柱を表示している階級である支柱区間を決定するステップとを含み、前記背景区間伝播ステップは、前記支柱区間をスキップすることを特徴とする。
【００１３】
また請求項７記載の発明は、前記背景区間及び前記人体区間が決定された後、これらの整合性を判定するステップをさらに含むことを特徴とする。
【００１４】
また請求項８記載の発明は、ゴルフクラブを持ってスイング動作を行う人物を背景とともに撮影した動画から、ピクセルの集合体であるフレームを抽出し、該抽出されたフレームの各ピクセルを前記人物又は前記背景のいずれかに特定して前記人物のシルエットを抽出するシステムであって、前記動画を撮影するカメラ、撮影された動画を記憶するメモリ、及び演算部を具え、前記演算部は、それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する集合作成部と、前記全フレーム集合について、頻度がフレーム数であり、階級が色情報であるヒストグラムを作成するヒストグラム作成部とを含むとともに、前記動画から前記人物のアドレス状態が撮像されたアドレスフレームを抽出するアドレスフレーム抽出部、前記アドレスフレームを画像処理し、前記人物及び前記ゴルフクラブについて予め定められた複数箇所の特徴点を抽出する特徴点抽出部、前記特徴点に基づいて、前記人体及びゴルフクラブを包含しつつその周囲の背景を小範囲で含んだ領域であるマスク領域を設定するマスク領域設定部、前記特徴点に基づいて、前記マスク領域に含まれるピクセルの中から前記人物のシルエットを構成する確率が高い領域である人体ゾーンを設定する人体ゾーン設定部、前記人体ゾーンのピクセルのヒストグラムと、前記アドレスフレームの前記人体ゾーンのピクセルの色情報とに基づいて、前記ヒストグラムの中で人体を表す階級である人体区間を決定する人体区間決定部、決定された前記人体区間に基づいて、前記人体ゾーンの外側のピクセルのヒストグラムに人体区間を決定する人体区間伝播部、前記マスク領域の外側である非マスク領域のピクセルのヒストグラムと、前記アドレスフレームの前記非マスク領域のピクセルの色情報とに基づいて、前記ヒストグラムの中で背景を表す階級である背景区間を決定する背景区間決定部、及び決定された前記背景区間に基づいて、前記マスク領域内のピクセルのヒストグラムに背景区間を決定する背景区間伝播部を含む判定部を有することを特徴とする。
【発明の効果】
【００１５】
本発明は、スイング動作中のアドレス状態に着目されてなされた。即ち、アドレス状態は、スイング動作の他の状態に比べて個人差が小さく、人物は、皆、ほぼ同様の姿勢になる。本発明では、このような経験則に基づき、アドレス状態のフレームであるアドレスフレームを画像処理し、人物及びゴルフクラブについて予め定められた複数箇所の特徴点が抽出される。この特徴点に基づいて、人物のシルエットを包含するマスク領域及び該マスク領域の中でさらに人体を構成する確率が高い領域である人体ゾーンが設定される。そして、人体ゾーンのピクセルのヒストグラムと、アドレスフレームの前記人体ゾーンのピクセルの色情報とに基づいて、ヒストグラムの中で人体を表す階級である人体区間が決定され、これに基づいて、人体ゾーンの外側のピクセルのヒストグラムに人体区間を決定するいわゆる人体区間の伝播が行われる。
【００１６】
また、アドレスフレームにおいて、マスク領域の外側である非マスク領域のピクセルは、背景を構成する確率が高い。そこで、本発明では、非マスク領域のピクセルのヒストグラムと、前記アドレスフレームの前記非マスク領域のピクセルの色情報とに基づいて、前記ヒストグラムの中で背景を表す階級である背景区間が決定され、これに基づいて、前記マスク領域内のピクセルのヒストグラムに背景区間を決定するいわゆる背景区間の伝播が行われる。
【００１７】
このような２つの伝播処理を含む本発明の方法によれば、人物と背景とが似たような色合いであっても、両者を上手く区別することができる。従って、精度の高いシルエット抽出が可能になる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態のシルエット抽出システムの概念図である。
【図２】図１のシステムの演算部の詳細が示された概念図である。
【図３】本実施形態のシルエット抽出方法のフローチャートである。
【図４】カメラアングルが示された説明図である。
【図５】（ａ）乃至（ｃ）はピクセルについての輝度ヒストグラムである。
【図６】（ａ）乃至（ｃ）はピクセルについての色ヒストグラムである。
【図７】判定処理のフローチャートである。
【図８】人物の特徴点を説明する概念図である。
【図９】アドレスフレームとトップフレームとの差分画像である。
【図１０】踵及びつま先の特徴点を説明する画像である。
【図１１】太股の特徴点を説明する画像である。
【図１２】頭頂の特徴点を説明する画像である。
【図１３】おでこの特徴点を説明する画像である。
【図１４】腰の特徴点を説明する画像である。
【図１５】膝裏の特徴点を説明する画像である。
【図１６】背中及び肩付近の特徴点を説明する画像である。
【図１７】マスク領域を説明する画像である。
【図１８】人体ゾーンを説明する画像である。
【図１９】人体区間決定ステップの一例を示すフローチャートである。
【図２０】ヒストグラムの各位置を説明するグラフである。
【図２１】人体区間伝播ステップの一例を示すフローチャートである。
【図２２】距離画像を説明するピクセル配列図である。
【図２３】ヒストグラムの各位置を説明するグラフである。
【図２４】本発明の概念を説明する線図である。
【図２５】整合性チエックステップの一例を示すフローチャートである。
【図２６】ヒストグラムを用いた説明図である。
【図２７】本実施形態によって得られたアドレス状態の人物のシルエットである。
【図２８】本実施形態によって得られたトップ状態の人物のシルエットである。
【図２９】本実施形態によって得られたフィニッシュ状態の人物のシルエットである。
【図３０】支柱が撮影されたアドレスフレームである。
【図３１】背景区間伝播ステップの処理方法を説明するピクセルの拡大配列図である。
【図３２】実施例１及び比較例１の処理結果を示すシルエット画像である。
【図３３】実施例２及び比較例２の処理結果を示すシルエット画像である。
【図３４】実施例３及び比較例３の処理結果を示すシルエット画像である。
【図３５】実施例４及び比較例４の処理結果を示すシルエット画像である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の一形態が図面に基づき説明される。
図１には、本発明を実施するためのシルエット抽出システム１の構成図が示される。本実施形態のシステムは、携帯電話機２と、該携帯電話機２と通信手段を介して接続されたサーバー３とを含む。なお、通信手段には、無線のみならず、途中に有線の通信手段を含ませても良い。
【００２０】
前記携帯電話機２は、カメラ４、メモリ５及び送受信部６とを含む。前記カメラ４は、動画を撮影することができる。前記メモリ５には、例えばＲＡＭ、ＳＤカード（ミニＳＤ、マイクロＳＤ等を含む）及びその他の記憶媒体が挙げられる。
【００２１】
前記サーバー３は、演算部７、メモリ８及び送受信部９を含む。
【００２２】
前記演算部７には、例えばＣＰＵが用いられ、図２に示されるように、フレーム抽出部７ａ、第１集合作成部７ｂ、第２集合作成部７ｃ、輝度ヒストグラム作成部７ｄ、色ヒストグラム作成部７ｅ及び判定部７ｆを含む。
【００２３】
図３には、本実施形態のシステム１によって行われるシルエット抽出方法の処理手順が記載される。本実施形態では、先ず、ゴルフスイングがカメラ４で撮影される（ステップＳ１）。
【００２４】
ゴルフスイングは、ゴルフクラブを持った人物によって行われる一連の動きである。本明細書において、ゴルフスイングは、静止して構えた状態であるアドレス状態、ゴルフクラブを徐々に振り上げるテイクバック、最もゴルフクラブを振り上げられた状態であるトップ、トップからゴルフクラブが振り下ろされるダウンスイング、ゴルフクラブのヘッドがゴルフボールと衝突するインパクト、及び、インパクト後、ゴルフクラブを前方から上方へと振り抜いて静止するフィニッシュまでを含む。
【００２５】
図４には、携帯電話機２のカメラ４で撮影を開始する際の画面が示されている。この画面は、携帯電話機２のモニタ（図示省略）に表示される。この画面は、人物１１がゴルフクラブ１０を構えて静止したアドレス状態で、人物１１の後方から撮影されている。
【００２６】
好ましい実施形態として、携帯電話機２には、第１ガイド枠１２及び第２ガイド枠１３が示される。これらの枠１２、１３は、携帯電話機２の演算部（図示省略）上で実行されるソフトウエアによって表示される。撮影者は、第１ガイド枠１２にゴルフクラブ１０のグリップ１０ａが含まれ、第２ガイド枠１３にヘッド１０ｂが含まれるように、カメラ４のアングルを決定する。従って、これらの枠１２、１３は、カメラ４と人物１１との距離や、カメラアングルを決定するのに役立つ。
【００２７】
本実施形態では、図４のアドレス状態から前記撮影が開始される。撮影が開始されると、人物１１はゴルフスイングを開始し、前記フィニッシュまで撮影が継続される。撮影によって、動画データが得られる。このデータは、メモリ５に記憶される（ステップＳ２）。この動画のピクセル数は、例えば縦６４０×横３２０である。
【００２８】
撮影者又は人物１１が携帯電話機２を操作することにより、動画のデータがサーバー３へと送信される（ステップＳ３）。データは、携帯電話機２の送受信部６から、サーバー３の送受信部９へ送信され、メモリ８に記憶される（ステップＳ４）。
【００２９】
次に、フレーム抽出部７ａが、動画のデータからピクセルの集合体である多数のフレーム（すなわち静止画のデータ）を抽出する（ステップＳ５）。１秒あたりの抽出数（フレーム）は３０又は６０である。例えば、フレーム数が３０である３秒の動画データの場合、３０×３の９０フレームが抽出される。なお、抽出されたフレームには、必要に応じ、各フレームに補正処理がなされる。補正処理としては、手ぶれ補正処理が挙げられる。
【００３０】
次に、第１集合作成部７ｂは、それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する（ステップＳ６）。画像が縦６４０×横３２０の上記動画の場合、６４０×３２０×９０＝１８４３２０００（ピクセル）の集合が作成される。
【００３１】
また、第２集合作成部７ｃは、それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する（ステップＳ７）。
【００３２】
さらに、輝度ヒストグラム作成部７ｄは、全フレーム集合について、輝度ヒストグラム（第１ヒストグラム）を作成する（ステップＳ８）。この輝度ヒストグラムでは、例えば、図５（ａ）乃至（ｃ）に示されるように、頻度がフレーム数であり、階級が輝度（色情報）である。他の色情報に基づいて輝度ヒストグラムが作成されてもよい。また、輝度ヒストグラムは、平滑化処理されても良い。
【００３３】
さらに、色ヒストグラム作成部７ｅは、有彩色フレーム集合及び無彩色フレーム集合について、色ヒストグラム（第２ヒストグラム）を作成する（ステップＳ９）。この色ヒストグラムは、例えば、図６（ａ）乃至（ｃ）に示されるように、頻度がフレーム数であり、有彩色フレーム集合に関する階級が色相（色情報）であり、無彩色フレーム集合に関する階級が輝度（色情報）である。有彩色フレーム集合に関する階級が、色相以外の色情報であってもよく、無彩色フレーム集合に関する階級が、輝度以外の色情報であってもよい。
【００３４】
判定部７ｆは、これらの情報を用いて、それぞれのピクセルのそれぞれのフレームが背景であるか人物であるかを判定する判定処理（ラベル付け）を行う（ステップＳ１０）。判定処理の手順については、図７に示されている。
【００３５】
本実施形態の判定処理では、先ず、判定部７ｆのアドレスフレーム抽出部が、前記動画のフレームから人物１１のアドレス状態が撮像されたアドレスフレームを抽出する（ステップＳ１０１）。例えば、アドレスした状態から撮影が開始された場合、時間軸で先頭のフレームが抽出される。このアドレスレームには、図４に示したような、人物１１及びゴルフクラブ１０が撮影されている。
【００３６】
［特徴点抽出ステップ］
次に、判定部７ｆの特徴点抽出部が、アドレスフレームを画像処理し、人物１１及びゴルフクラブ１０について予め定められた複数箇所の特徴点を抽出する特徴点抽出ステップを行う（ステップＳ１０２）。
【００３７】
本実施形態において、前記特徴点は、図８に示されるように、アドレス状態の人体１１の頭頂部１１ａ、おでこ１１ｂ、背中１１ｃ、腰１１ｄ、膝裏１１ｅ、踵１１ｆ、つま先１１ｇ、太股１１ｈ、手元１１ｉ、ゴルフクラブのヘッド１０ｂ及び肩１１ｊの各部を代表する位置である特徴点Ｐ１乃至Ｐ１２を含む。これらの特徴点Ｐ１乃至Ｐ１２は、画像処理から得られるデータに対して、アドレス状態で人物（ゴルファ）がとるほぼ一定の姿勢を考慮することで計算により抽出することができる。以下、その例について述べる。
【００３８】
［手元の特徴点Ｐ１（ｘ１、ｙ１）］
先ず、判定部７ｆは、アドレスフレームと、トップの状態にあるフレームとの差分を計算する。図９には、上記計算結果である差分画像の２値画像Ｄ１が示され、黒で表示された部分は、変化があったピクセルである。図９から明らかなように、対局とも言える状態にある上記２つのフレームの差分をとることにより、アドレス状態の手元及びゴルフクラブ１０の状態が明りょうに現れる。次に、判定部７ｆは、この差分画像Ｄ１に、検出領域Ｆ１を設定する。この検出領域Ｆ１は、白抜きで示され、ピクセルの座標として、２００≦ｘ≦４８０、２５０≦ｙ≦５３０の範囲に設定される。これは、カメラアングル等に基づいて確実に手元及びヘッドが含まれる領域として予め定められている。しかし、検出領域Ｆ１は、異なる設定においては範囲の変更が可能である。次に、判定部７ｆは、差分画像Ｄ１の検出領域Ｆ１をハフ変換し、ゴルフクラブのシャフト１０ｃから直線Ｌａを抽出する。検出された直線Ｌａの両端Ｌａ１、Ｌａ２は、それぞれ検出領域Ｆ１の境界上にある。さらに、判定部７ｆは、直線Ｌ１の中点Ｌａ３に矩形領域を定義し、これを直線Ｌａに沿って、左上に移動させ、該矩形領域内の差分画像数が予め定めた一定値以上になった位置を手元の特徴点Ｐ１として抽出する。この処理は、アドレス姿勢では、シャフト１０ｃの上端側には人物の手によって膨らんだ部分、即ち、手元があるという経験則に基づいている。
【００３９】
［ヘッドの特徴点Ｐ２（ｘ２、ｙ２）］
上記図９において、判定部７ｆは、矩形領域を直線Ｌａに沿って、右下に移動させ、該矩形領域内の差分ピクセル数が予め定めた一定値以上になった位置をゴルフクラブのヘッドの特徴点Ｐ２として抽出する。これらの処理は、アドレス姿勢では、シャフト１０ｃの下端側に形状の大きなヘッドがあるという経験則に基づいている。
【００４０】
［右足のつま先の特徴点Ｐ３（ｘ３、ｙ３）、右足の踵の特徴点Ｐ４（ｘ４、ｙ４）］
図１０には、アドレスフレームの二値画像を簡略化して示している。人物１１の大凡のシルエットが黒で表示されている。この例では、判定部７ｆは、上記二値画像に検出領域Ｆ２を設定する。この検出領域Ｆ２は、カメラアングル等に基づいて右足の踵及びつま先が含まれる領域として予め定められている。判定部７ｆは、検出領域Ｆ２の左下角Ｆ２Ｌから最も近い黒のピクセルを右足の踵の特徴点Ｐ４として抽出する。同様に、判定部７ｆは、検出領域Ｆ２の右下角Ｆ２Ｒから最も近い黒のピクセルを右足のつま先の特徴点Ｐ３として抽出する。この処理は、アドレス状態を後方から撮影した場合、人物の足元は、右側の端がつま先に、左側の端が踵になるという経験則に基づいている。
【００４１】
［左足のつま先の特徴点Ｐ５（ｘ５、ｙ５）］
左足のつま先の特徴点Ｐ５は、先の右足のつま先の特徴点Ｐ３の結果を利用して抽出される。即ち、判定部７ｆは、図１０に示されるように、右足のつま先の特徴点Ｐ３を囲む参考領域Ｆ３を設定し、この参考領域Ｆ３をテンプレートとして、最もマッチングする領域を計算する。この処理は、アドレス状態を後方から撮影した場合、人物の足元は、左右でほぼ同じような形状になるという経験則に基づいている。なお、アドレスフレーム内では、左足のつま先は、右足のつま先の上方近傍に位置するため、マッチングする検索対象領域を限定することもできる。
【００４２】
［太股の特徴点Ｐ６（ｘ６、ｙ６）］
図１１には、アドレスフレームの二値画像を簡略化して示している。判定部７ｆは、左足のつま先の特徴点Ｐ５を通るｙ軸と平行な直線Ｌｂと、手元の特徴点Ｐ１を通るｘ軸と平行な直線Ｌｃとの交点を、太股の特徴点Ｐ６として抽出する。この処理も、アドレス状態を後方から撮影した場合、人物の太股前側は、上記の位置の近傍になるという経験則に基づいている。
【００４３】
［頭頂の特徴点Ｐ７（ｘ７、ｙ７）］
判定部７ｆは、アドレスフレームと、インパクトの状態のフレームとの差分を計算する。図１２には、計算された差分の二値画像Ｄ２が示されている。次に、判定部７ｆは、検出領域Ｆ４を設定する。この検出領域Ｆ４は、白抜きで示されており、ｘ及びｙの座標が下記の範囲に設定される。この検出領域Ｆ４は、カメラアングル等に基づいて、予め定められる。次に、判定部７ｆは、検出領域Ｆ４の中の差分ピクセルのうち、ｙ座標が最小の位置を頭頂の特徴点Ｐ７として抽出する。この処理では、上記２つの状態では、頭の位置がほぼ同じ位置にあることが経験則的に分かっているので、これらの状態のいずれかでｙ座標が最小の位置を頭頂とみなすことができるという経験則に基づいている。
ｘ５−１５ピクセル≦ｘ≦ｘ１＋１０ピクセル
１０≦ｙ≦ｙ１
ただし、符号は次の通りである。
ｘ１：手元の特徴点Ｐ１のｘ座標
ｘ５：左足のつま先の特徴点Ｐ５のｘ座標
ｙ１：手元の特徴点Ｐ１のｙ座標
【００４４】
［おでこの特徴点Ｐ８（ｘ８、ｙ８）］
判定部７ｆは、アドレスフレームと、フィニッシュの状態のフレームとの差分を計算する。図１３には、計算された差分の二値画像Ｄ３が示されている。次に、判定部７ｆは、検出領域Ｆ５を設定する。この検出領域Ｆ５は、白抜きで示されており、ｘ及びｙの座標が下記の範囲に設定される。この検出領域Ｆ５は、カメラアングル等に基づいて、予め定められる。次に、判定部７ｆは、検出領域Ｆ５の中の差分ピクセルのうち、ｘ座標が最小の位置をおでこの特徴点Ｐ８として抽出する。この処理では、上記２つの状態では、頭の位置がほぼ同じ位置にあることが経験則的に分かっているので、これらの状態のいずれかでｘ座標が最小の位置をおでことみなすことができるという経験則に基づいている。
ｘ７≦ｘ≦ｘ７＋７０ピクセル
ｙ７≦ｙ７＋４０ピクセル
ただし、符号は次の通りである。
ｘ７：頭頂の特徴点Ｐ７のｘ座標
ｙ７：頭頂の特徴点Ｐ７のｙ座標
【００４５】
［腰の特徴点Ｐ９（ｘ９、ｙ９）］
判定部７ｆは、アドレスフレームと、フィニッシュの状態のフレームとの差分を計算する。図１４には、計算された差分の二値画像Ｄ４が示されている。次に、判定部７ｆは、検出領域Ｆ６を設定する。この検出領域Ｆ６は、白抜きで示されており、ｘ及びｙの座標が下記の範囲に設定される。この検出領域Ｆ６は、カメラアングル等に基づいて、予め定められる。次に、判定部７ｆは、検出領域Ｆ６の中の差分ピクセルのうち、ｘ座標が最小の位置を腰の特徴点Ｐ９として抽出する。この処理では、上記２つの状態では、腰の位置が最も出っ張ることが経験則的に分かっているので、これらの状態のいずれかでｘ座標が最小の位置をおでことみなすことができるという経験則に基づいている。
ｘ４−７０ピクセル≦ｘ≦ｘ４＋１０ピクセル
ｙ１−５０ピクセル≦ｙ１＋５０ピクセル
ただし、符号は次の通りである。
ｘ４：右足の踵の特徴点Ｐ４のｘ座標
ｙ１：手元の特徴点Ｐ１のｙ座標
【００４６】
［膝裏の特徴点Ｐ１０（ｘ１０、ｙ１０）］
判定部７ｆは、アドレスフレームと、インパクトの状態のフレームとの差分を計算する。図１５には、計算された差分の二値画像Ｄ５が示されている。次に、判定部７ｆは、検出領域Ｆ７を二値画像Ｄ５に設定する。この検出領域Ｆ７は、白抜きで示されており、ｘ及びｙの座標が下記の範囲に設定される。この検出領域Ｆ７は、カメラアングル等に基づいて予め定められる。次に、判定部７ｆは、検出領域Ｆ７の中の差分ピクセルのうち、ｘ座標が最大の位置を膝裏の特徴点Ｐ１０として抽出する。この処理では、上記２つの状態では、膝裏の位置が最も凹むことが経験則的に分かっているので、これらの状態のいずれかでｘ座標が最大の位置を膝裏とみなすことができるという経験則に基づいている。
ｘ９≦ｘ≦ｘ９＋１０ピクセル
０．５＊（ｙ９＋ｙ４）−１０≦ｙ≦０．５＊（ｙ９＋ｙ４）＋１０
ただし、符号は次の通りである。
ｘ９：腰の特徴点Ｐ９のｘ座標
ｙ４：右足の踵の特徴点Ｐ４のｙ座標
ｙ９：腰の特徴点Ｐ９のｙ座標
【００４７】
［背中の特徴点Ｐ１１（ｘ１１、ｙ１１）］
図１６に示されるように、判定部７ｆは、頭頂の特徴点Ｐ７と腰の特徴点Ｐ９とを結ぶ直線Ｌｃの中点Ｌｃ１から法線方向に２５ピクセル外側の位置を背中の特徴点Ｐ１１として抽出する。これは、平均的な人体の体型に基づいて、経験則的に導かれる。
【００４８】
［肩付近の特徴点Ｐ１２（ｘ１２、ｙ１２）］
図１６に示されるように、判定部７ｆは、おでこの特徴点Ｐ８と手元の特徴点Ｐ１とを結ぶ直線Ｌｄの中点Ｌｄ１から法線方向に３０ピクセル内側の位置を肩付近の特徴点Ｐ１２として抽出する。これは、平均的な人体の体型に基づいて、経験則的に導かれる。
【００４９】
［マスク領域決定ステップ］
次に、判定部７ｆは、特徴点Ｐ１乃至Ｐ１２に基づいて、マスク領域を設定する（ステップＳ１０３）。
【００５０】
図１７に示されるように、判定部７ｆは、特徴点Ｐ１−Ｐ６−Ｐ５−Ｐ３−Ｐ４−Ｐ１０−Ｐ９−Ｐ１１−Ｐ７−Ｐ８−Ｐ１２−Ｐ１を繋いで閉区間を形成する。次に、判定部７ｆは、これらの繋いだ線の外側に数ピクセルの距離ｄを隔てて平行線Ｌｅを引き閉じた領域である第１マスク領域Ｍ１を設定する。
【００５１】
また、判定部７ｆは、ゴルフクラブのシャフトを含むＰ１−Ｐ２を繋ぐ直線を膨張させて第２マスク領域Ｍ２を設定する。さらに、判定部７ｆは、ヘッドの特徴点Ｐ２を含むとともにヘッドよりも大きい所定の矩形領域である第３のマスク領域Ｍ３を設定する。
【００５２】
さらに、判定部７ｆは、これら第１乃至第３のマスク領域の論理和をマスク領域Ｍとして決定し、メモリ８に記憶する。このマスク領域Ｍは、特徴点Ｐ１乃至Ｐ１２に基づいて、人体１０及びゴルフクラブ１１を包含しつつその周囲の背景を小範囲で含んだ領域とされるよう、前記ピクセル数ｄが予め設定される。一例として、前記距離ｄは１０ピクセル程度が望ましい。また、前記矩形領域は、ｘが３０ピクセル、ｙが２５ピクセル程度の長方形が望ましい。これらの設定は、カメラアングル等に応じて、適宜変更される場合がある。
【００５３】
［人体ゾーン決定ステップ］
次に、判定部７ｆの人体ゾーン設定部が、前記特徴点Ｐ１乃至Ｐ１２に基づいて、前記マスク領域Ｍに含まれるピクセルの中から前記人物１１のシルエットを構成する確率が高い領域である人体ゾーンＺを設定する（ステップＳ１０４）。
【００５４】
この処理は、図１８に示されるように、ゾーン設定用の次の基準点Ｚ１乃至Ｚ６が先ず、抽出される。
基準点Ｚ１：頭頂の特徴点Ｐ７を通るｙ軸線と、おでこの特徴点Ｐ８を通るｘ軸線との交点
基準点Ｚ２：頭頂の特徴点Ｐ７と腰の特徴点Ｐ９とを結ぶ直線の中点
基準点Ｚ３：腰の特徴点Ｐ９から右側へ２０ピクセルの点
基準点Ｚ４：膝裏の特徴点Ｐ１０から右側に２０ピクセルの点
基準点Ｚ５：右足の踵の特徴点Ｐ４から右に２０ピクセル及び上に２０ピクセルの点
基準点Ｚ６：肩付近の特徴点Ｐ１２と基準点Ｚ２とを結ぶ直線の中点
これらの基準点Ｚ１乃至Ｚ２は、経験則、及び、カメラアングルを考慮し、各特徴点よりも内側（人物１１側）となるように定められる。
【００５５】
次に、判定部７ｆは、前記基準点Ｚ１乃至Ｚ６を用いて、人体ゾーンＺａを決定し、メモリ８に記憶する。この実施形態において、人体ゾーンＺａは、基準点Ｚ１−Ｚ２−Ｚ３−Ｚ４−Ｚ５−Ｚ４−Ｚ６−Ｚ１で囲まれる領域である。しかし、より精度を高めるために、区間Ｚ４−Ｚ６は、基準点Ｚ４から上向きにのびる基準点Ｚ５−Ｚ４を結ぶ直線の延長線と、基準点Ｚ６から下向きにのびる基準点Ｚ２−Ｚ３を結ぶ直線と平行な直線とを用いて背中側に凹となる屈曲線で構成される。また、区間Ｚ１−Ｚ６も、基準点Ｚ１とＺ６とを直線で結ぶのではなく、基準点Ｚ６からｙ軸と平行な線と、基準点Ｚ１とＺ２とを結ぶ直線とで構成される。なお、人体ゾーンＺａの直線の部分は、その直線上のピクセルが、人体ゾーンＺａに含まれる。このように決定された人体ゾーンＺａは、経験則上、アドレス状態において、明らかに人物１１を構成している可能性が高いピクセルの集合となる。
【００５６】
［人体区間決定ステップ］
次に、判定部７ｆの人体区間決定部が、人体ゾーンのピクセルのヒストグラムと、前記アドレスフレームの前記人体ゾーンのピクセルの色情報とに基づいて、前記ヒストグラムに人体区間を決定する人体区間決定ステップを行う（ステップＳ１０５）。
【００５７】
ここで、人体区間とは、ヒストグラムにおいて、人体を表している階級（この例では、輝度及び色相）についての範囲である。アドレスフレームの人体ゾーンＺａのピクセルは、経験則的に人物を表示している可能性が高い。従って、このピクセルが持つ輝度及び色相の情報を利用すれば、ヒストグラムに人体区間を精度良く決定することができる。
【００５８】
図１９には、人体区間決定ステップの処理手順の一例が示されている。
判定部７ｆは、先ず、メモリ８を参照し、アドレスフレームの処理がされていない人体ゾーンＺａの１ピクセルを選択する（ステップＳ１０５１）。
【００５９】
次に、判定部７ｆは、該ピクセルの輝度（又は色相）に基づいて、ヒストグラムの左右の端Ｌleft及びＬright（色相の場合、Ｈleft及びＨrightで以下同じ。）を決定する（ステップＳ１０５２）。いま、当該ピクセルの輝度ヒストグラムの平滑化処理がなされた場合の例が図２０で、当該ピクセルの輝度がＬmiddle（色相の場合、Ｈmiddleで以下同じ。）でそれぞれ表される場合、左端Ｌleftは、ヒストグラムの曲線上をＬmiddleから左に進め、フレーム数が零になる位置とする。同様に、右端Ｌrightは、ヒストグラムの曲線上をＬmiddleから右に進め、フレーム数が零になる位置とする。ただし、零になる位置は、ノイズを避けるために、連続して３階級零が連続したところとする。これにより、アドレスフレームの人体ゾーンＺａの任意のピクセルについて、その輝度（又は色相）が含まれるヒストグラムの山の両端が分かる。
【００６０】
次に、判定部７ｆは、ヒストグラムの左端Ｌleftと右端Ｌrightとの差の絶対値｜Ｌright−Ｌleft｜（色相の場合、｜Ｈright−Ｈleft｜で以下同じ。）が所定の階級内か否かを判定する（ステップＳ１０５３）。本実施形態では、前記差の絶対値｜Ｌright−Ｌleft｜が１以上１４階級以下か否かが判定される。この階級幅は、必要に応じて、変えることができる。
【００６１】
判定部７ｆは、前記差の絶対値｜Ｌright−Ｌleft｜がステップＳ１０５３を満たさないと判断した場合、即ち、ヒストグラムの幅が零又は予め定めた幅よりも大きい場合、当該ピクセルは、全てのフレームにおいて「背景」を表示するピクセルとして決定する（ステップＳ１０５７）。このようなピクセルは、人体区間と決められないため、全てのフレームで「背景」と決定される。
【００６２】
他方、前記差の絶対値｜Ｌright−Ｌleft｜がステップＳ１０５３で真と判定された場合、色距離Ｄが計算される（ステップＳ１０５４）。ここで、例えば、ピクセルの色情報がＨＳＶである場合、一方のピクセルの色相Ｈ1、彩度Ｓ1、明度Ｖ1の色ベクトルをＣ1とし、他方のピクセルの色相Ｈ2、彩度Ｓ2、明度Ｖ2の色ベクトルをＣ2とすると、それらの色距離Ｄ（Ｃ1，Ｃ2）は、下式で計算される。このステップでは、当該ピクセルの輝度（色相）と同一階級のピクセルのＨＳＶ平均と、Ｌright〜Ｌleftで同一階級のピクセルのＨＳＶ平均との色距離が計算される。
【００６３】
Ｄ（Ｃ1，Ｃ2）＝ａΔＨ’＋ｂΔＳ’＋ｃΔＶ’
上記式において、符号は次の通りである。
ａ，ｂ，ｃ：定数で、本実施形態ではａ＝５．１、ｂ＝２．２５及びｃ＝２．６５
ΔＨ’＝ΔＨ／４．０
ΔＳ’＝ΔＳ／２．０
ΔＶ’＝ΔＶ／２．０
ΔＨ＝√｛（Ｘ1−Ｘ2）2＋（Ｙ1−Ｙ2）2｝
ΔＳ＝｜Ｓ1／１００−Ｓ2／１００｜
ΔＶ＝｜Ｖ1／１００−Ｖ2／１００｜
Ｘ1＝Ｓ'avgｃｏｓ（Ｈ1×３．６）
Ｙ1＝Ｓ'avgｓｉｎ（Ｈ1×３．６）
Ｘ2＝Ｓ'avgｃｏｓ（Ｈ2×３．６）
Ｙ2＝Ｓ'avgｓｉｎ（Ｈ2×３．６）
Ｓ'avg＝（Ｓ1'＋Ｓ2'）／２
Ｓ1'＝log10（Ｓ1／１００×９９＋１．０）
Ｓ2'＝log10（Ｓ2／１００×９９＋１．０）
【００６４】
次に、判定部７ｆは、全ての組合せで色距離が０．２５以下であるか否かを判定する（ステップＳ１０５５）。このステップＳ１０５５の判定結果が真の場合、当該ピクセルのヒストグラムの左右の端Ｌleft、Ｌrightの階級を人体区間の範囲として定める（ステップＳ１０５６）。この色距離の閾値０．２５は、種々変更することができる。
【００６５】
また、ステップＳ１０５５の判定結果が偽である場合、当該ピクセルは、全てのフレームにおいて「背景」を表示するピクセルとして決定する（ステップＳ１０５７）。
【００６６】
次に、判定部７ｆは、輝度ヒストグラム及び色相ヒストグラムの両ヒストグラムで判定したか否かを判断する。輝度ヒストグラムのみを判定した場合には、色相ヒストグラムについてステップＳ１０５２以降の処理を同様に行う。この際、輝度は色相に、またヒストグラムの左右の端Ｌleft、Ｌrightは、色相ヒストグラムの左右の端Ｈleft、Ｈrightにそれぞれ読み替えられるものとする。
【００６７】
次に、判定部７ｆは、人体ゾーンＺａの全てのピクセルについて、人体区間を決定したか否かを判断し（ステップＳ１０５９）、結果が偽の場合には、次のピクセルを選択し（ステップＳ１０５１）、ステップＳ１０５２以降が再度行われる。他方、ステップＳ１０５９の結果が真の場合には、メインルーチンに戻る（リターン）。
【００６８】
このように、人体区間は、アドレスフレームにおいて、明らかに人体を構成するピクセルを使用し、そのピクセルの輝度Ｌmiddle（又は色相Ｈmiddle）を含むヒストグラムの山が一定の幅の区間であること、かつ、色距離が全ての組合せで一定値以下となるようなほぼ等しい色であること条件として定められる。従って、本実施形態の人体区間設定ステップは、精度良く人体区間を決定することができる。
【００６９】
［人体区間伝播ステップ］
次に、判定部７ｆの人体区間伝播部は、ステップＳ１０５にて決定された人体区間に基づいて、人体ゾーンＺａの外側のピクセルのヒストグラムに人体区間を決定する人体区間伝播ステップを行う（ステップＳ１０６）。
【００７０】
一般に、人体を表す隣接するピクセルの色はほぼ等しい場合が多い。このような２つのピクセルでは、ヒストグラムの人体区間の範囲はほぼ等しくなり、かつ、対応するピクセルの色もほぼ等しい。人体区間伝播ステップは、これらの特徴を用いて、人体区間が高い精度で既に設定されているピクセル（判定完了ピクセル）の８近傍のピクセルについて、人体区間が決まっていないピクセル（未判定ピクセル）の人体区間を決定するものである。
【００７１】
人体区間伝播ステップの具体的な処理手順の一例は、図２１に示されている。判定部７ｆは、先ず、距離画像ｄijを生成する（ステップＳ１０６１）。図２２にピクセル配列図が示されるように、距離画像ｄijは、グレー色で表されている人体ゾーンＺａからの距離を表す画像であり、人体ゾーンＺａに最も近いところで”１”、そこから遠くなるにつれて１ずつ距離が大きくなるものである。
【００７２】
次に、判定部７ｆは、初期値として、伝播範囲を規定するパラメータｔに１をセットする（ステップＳ１０６２）。
【００７３】
次に、判定部７ｆは、前記距離画像を参照し、ｔ≧ｄijである未判定ピクセルの８近傍に、人体区間が決定されている判定完了ピクセルが有るか否かを判断する（ステップＳ１０６３）。ここで、「８近傍」とは、当該未判定ピクセルに隣接して左、左上、上、右上、右、右下、下及び左下に位置する８個のピクセルを意味する。
【００７４】
未判定ピクセルの８近傍に人体区間が決定されている判定完了ピクセルが全く存在しない場合（ステップＳ１０６３でＮ）、未判定ピクセルは、人体区間が決定されたピクセルと隣設（連続）していないことを意味する。このような場合、前記特徴を満たさないため、当該ピクセルは、全てのフレームにおいて「背景区間」と判定される（ステップＳ１０７０）。
【００７５】
判定部７ｆは、８近傍に判定完了ピクセルが存在する場合（ステップＳ１０６３でＹ）、当該未判定ピクセルの輝度及び色相をＬＢmiddle、ＨＢmiddleに決定（セット）する（ステップＳ１０６４）。
【００７６】
次に、判定部７ｆは、伝播条件１を満たすか否かを判断する（ステップＳ１０６５）。伝播条件１は、判定の対象となる未判定ピクセルの輝度及び色相が、判定完了ピクセルの人体区間の最頻の輝度及び色相と近似していることである。具体的な計算は、下記の条件で行われる。
【００７７】
［伝播条件１］
（輝度の場合）
ＬＡmax−β≦ＬＢmiddle≦ＬＡmax＋β
Ｄ（ＣＬＢmiddle、ＣＬＡmax）≦ρ
ただし、符号は次の通りである。
ＬＡmax：判定完了ピクセルの人体区間［Ｌleft、Ｌright］の最頻の輝度
β：定数で本実施形態では３
ρ：定数で本実施形態では０．２５
Ｄ：色距離
ＣＬＢmiddle：アドレスフレームの未判定ピクセルの色ベクトル
ＣＬＡmax：判定完了ピクセルの最頻値の色ベクトル
（色相の場合）
ＨＡmax−β≦ＨＢmiddle≦ＨＡmax＋β
Ｄ（ＣＨＢmiddle、ＣＨＡmax）≦ρ
ただし、符号は次の通りである。
ＨＡmax：判定完了ピクセルの人体区間［Ｈleft、Ｈright］の最頻の輝度
β：定数で本実施形態では３
ρ：定数で本実施形態では０．２５
Ｄ：色距離
ＣＨＢmiddle：アドレスフレームの未判定ピクセルの色ベクトル
ＣＨＡmax：判定完了ピクセルの最頻値の色ベクトル
【００７８】
次に、判定部７ｆは、未判定ピクセルが伝播条件１を満たす場合（ステップＳ１０６５でＹ）、当該未判定ピクセルのヒストグラムの左右の端ＬＢleft、ＬＢright、ＨＢleft、ＨＢrightが決定される（ステップＳ１０６６）。
【００７９】
いま、当該未判定ピクセルの輝度及び色相ヒストグラムの平滑化処理がなされた場合の例が図２３で、当該ピクセルの輝度（又は色相）がＬＢmiddle（ＨＢmiddle）でそれぞれ表される場合、左端ＬＢleft（ＨＢleft）は、前記同様、ヒストグラムの曲線上をＬＢmiddle（ＨＢmiddle）から左に進め、フレーム数が零になる位置とする。同様に、右端ＬＢright（ＨＢright）は、ヒストグラムの曲線上をＬＢmiddle（ＨＢmiddle）から右に進め、フレーム数が零になる位置とする。ただし、零になる位置は、ノイズを避けるために、連続して３階級零が連続したところとする。これにより、前記ピクセルが持っている輝度及び色相を含む両ヒストグラムの山の両端が分かる。
【００８０】
次に、判定部７ｆは、未判定ピクセルが、伝播条件２を満たすか否かを判断する（ステップＳ１０６７）。伝播条件２は、判定の対象となる未判定ピクセルの輝度ヒストグラム及び色相ヒストグラムの前記山が、予め定めた小さい幅の区間内にあることである。具体的には、下記の式によって計算される。
【００８１】
［伝播条件２］
（輝度の場合）
１≦｜ＬＢright−ＬＢleft｜≦１４
ＬＡleft−γ≦ＬＢleft≦ＬＡleft＋γ
ＬＡright−γ≦ＬＢright≦ＬＡright＋γ
ここで、符号は次の通りである。
ＬＡleft：判定完了ピクセルの人体区間の左端
ＬＡright：判定完了ピクセルの人体区間の右端
γ：定数で本実施形態では４とする。
（色相の場合）
１≦｜ＨＢright−ＨＢleft｜≦１４
ＨＡleft−γ≦ＨＢleft≦ＨＡleft＋γ
ＨＡright−γ≦ＨＢright≦ＨＡright＋γ
ここで、符号は次の通りである。
ＨＡleft：判定完了ピクセルの人体区間の左端
ＨＡright：判定完了ピクセルの人体区間の右端
γ：定数で本実施形態では４とする。
【００８２】
伝播条件２が満たされた場合（ステップＳ１０６７でＹ）、判定部７ｆは、未判定ピクセルが伝播条件３を満たすか否かを判定する（ステップＳ１０６８）。
【００８３】
［伝播条件３］
伝播条件３は、輝度については、輝度ヒストグラム内の同一階級のピクセルの色平均ｐ（ただし、ｐ∈［ＬＢleft、ＬＢright］）と、ＬＢmiddleである全てのピクセルの色の平均とで計算された色距離Ｄの値が一定値以下（本実施形態では０．２５以下）であることと定義される。色相についても、色相ヒストグラム内の同一階級のピクセルのＨＳＶ平均ｍ（ただし、ｍ∈［ＨＢleft、ＨＢright］）と、ＬＢmiddleである全てのピクセルの色の平均とで計算された色距離Ｄの値が一定値以下（本実施形態では０．２５以下）であること定義される。伝播条件３を検証することにより、輝度及び色相について、ヒストグラム内で色が同じような傾向になっているかを確認できる。
【００８４】
判定部７ｆは、未判定ピクセルが、伝播条件３を満たすと判定した場合、このピクセルのヒストグラムについて、伝播条件１乃至３を全て満たす区間は人体区間、それ以外の区間は背景区間にそれぞれ決定する（ステップＳ１０６９）。
【００８５】
次に、判定部７ｆは、未判定ピクセルが、伝播条件１、２及び３の一つでも満たさない場合（ステップＳ１０６５、１０６７又は１０６８でＮ）、当該未判定ピクセルの全てのフレームは背景と決定する（ステップＳ１０７０）。
【００８６】
次に、判定部７ｆは、全ての未判定ピクセルを処理したか否かを判断し（ステップＳ１０７１）、判定結果が偽の場合（ステップＳ１０７１でＮ）、他の未判定ピクセルを選択してステップＳ１０６３以降を繰り返す。
【００８７】
次に、判定部７ｆは、ステップＳ１０７１で判定結果が真の場合（ステップＳ１０７１でＹ）、伝播範囲を特定するパラメータｔに１を加算する（ステップＳ１０７２）。これにより、伝播範囲の領域が広げられる。
【００８８】
次に、判定部７ｆは、パラメータｔが伝播範囲の最大値（本実施形態では１００）以下か否かを判断し（ステップＳ１０７３）、結果が真の場合には、メインルーチンに戻る（リターン）。他方、ステップＳ１０７３の結果が偽の場合、伝播範囲を一つ広げてステップＳ１０６３以降が繰り返される。
【００８９】
［背景区間決定ステップ］
次に、判定部７ｆの背景区間決定部は、前記マスク領域Ｍの外側である非マスク領域のピクセルのヒストグラムと、前記アドレスフレームの非マスク領域のピクセルの色情報とに基づいて、背景区間を決定する（ステップＳ１０７）。ここで、背景区間とは、ヒストグラムの中で背景を表す階級（この例では輝度及び色相）についての範囲である。
【００９０】
アドレスフレームの非マスク領域のピクセルは、背景を表示している可能性が高い。従って、この非マスク領域のピクセルが持つ輝度及び色相の情報を利用すれば、ヒストグラムに背景区間を精度良く決定することができる。
【００９１】
背景区間決定ステップの処理手順は、基本的には、図１９に示した人体区間決定ステップと同様であり、図１９の「人体区間」を「背景区間」と、「背景区間」を「人体区間」とそれぞれ読み替えたものであるため、詳細なフローチャートは示さないが、概ね、判定部７ｆは、次のような処理を行う。
【００９２】
ａ）非マスク領域のピクセルの選択
ｂ）該ピクセルの輝度（色相）に基づき、そのピクセルのヒストグラムの左右の端Ｌleft及びＬright（色相の場合には、Ｈleft及びＨright）の決定
ｃ）ヒストグラムの左端Ｌleft（Ｈleft）と右端Ｌright（Ｈright）との差の絶対値｜Ｌright−Ｌleft｜（｜Ｈright−Ｈleft｜）が予め定めた所定の階級内か否かを判定
ｄ）前記差の絶対値｜Ｌright−Ｌleft｜（｜Ｈright−Ｈleft｜）が所定の値よりも大きい場合、当該ピクセルを全てのフレームにおいて「人物」を表示するピクセルとして決定
ｅ）前記差の絶対値｜Ｌright−Ｌleft｜（｜Ｈright−Ｈleft｜）が所定の値以下の場合、色距離Ｄの計算
ｆ）全ての組合せで色距離Ｄが所定の範囲内にあるか否かを判定
ｇ）ステップｆの結果が所定の範囲内の場合、当該ピクセルのヒストグラムの左右の端Ｌleft（Ｈleft）、Ｌright（Ｈright）の階級を背景区間の範囲として決定
ｈ）ステップｆの結果が所定の範囲内ではない場合、当該ピクセルは、全てのフレームにおいて「人物」を表示するものとして決定
ｉ）非マスク領域の全てのピクセルについて上記ステップを実行
【００９３】
このように、アドレスフレームの中で明らかに背景を構成するであろうピクセルを使用し、そのピクセルの輝度Ｌmiddle（又は色相Ｈmiddle）を含むヒストグラムの山が狭い幅の区間にあり、かつ、色距離が全ての組合せで一定値以下となるようなほぼ等しい色であること条件として背景区間が定められる。従って、本実施形態の背景区間設定ステップも、精度良く背景区間を決定することができる。
【００９４】
［背景区間伝播ステップ］
次に、判定部７ｆの背景区間伝播部は、決定された前記背景区間に基づいて、前記マスク領域内のピクセルのヒストグラムに背景区間を決定する背景区間伝播ステップを行う（ステップＳ１０８）。
【００９５】
背景区間伝播ステップの処理手順は、基本的には、図２１に示した人体区間伝播ステップと同様であり、図２１の「人体区間」を「背景区間」と、「背景区間」を「人体区間」とそれぞれ読み替えたものであるため、詳細なフローチャートは示さないが、判定部７ｆは、概ね、次のような処理を行う。
【００９６】
ア）距離画像ｄijの生成
イ）伝播範囲を規定するパラメータｔに１をセット
ウ）ｔ≧ｄijである未判定ピクセルの８近傍に、背景区間が決定されている判定完了ピクセルが有るか否かを判断
エ）未判定ピクセルの８近傍に背景区間が決定されている判定完了ピクセルが全く存在しない場合、当該ピクセルを全てのフレームにおいて「人体区間」と判定
オ）未判定ピクセルの８近傍に判定完了ピクセルが存在する場合、当該未判定ピクセルの輝度及び色相をＬＢmiddle、ＨＢmiddleに決定
カ）未判定ピクセルが伝播条件１を満たすか否かを判断し、未判定ピクセルが伝播条件１を満たす場合、当該未判定ピクセルのヒストグラムの左右の端ＬＢleft、ＬＢright、ＨＢleft、ＨＢrightを決定して伝播条件２を満たすか否かを判断
キ）伝播条件２が満たされた場合、未判定ピクセルが伝播条件３を満たすか否かの判定
ク）未判定ピクセルが、伝播条件３を満たす場合、このピクセルのヒストグラムについて、伝播条件１乃至３を全て満たす区間は背景区間、それ以外の区間は人体区間にそれぞれ決定
ケ）未判定ピクセルが、伝播条件１、２及び３の一つでも満たさない場合、当該未判定ピクセルの全てのフレームを人体と決定
コ）全ての未判定ピクセルについて上記処理を実行した後、パラメータｔに１を加算
サ）パラメータｔが伝播範囲の最大値を越えるまで処理を続ける
【００９７】
［整合性判定ステップ］
次に、判定部７ｆの整合性チェック部は、前記背景区間及び前記人体区間が決定された後、これらの整合性を判定する（ステップＳ１０９）。
【００９８】
図２４には、これまで行った処理が模式的に示されている。人体区間伝播ステップは、人体ゾーンのピクセルを用いてその周囲に人体区間を伝播させていくものである。また、背景区間伝播ステップは、非マスク領域のピクセルを用いてその内側に背景区間を伝播させていくものである。これらのステップにより、次の各領域は、それぞれ２つの方式で人体区間及び背景区間が決定されることになる。
人体ゾーン：人体区間決定ステップ及び背景区間伝播ステップ
人体ゾーンの外部でマスク領域内：人体区間伝播ステップ及び背景区間伝播ステップ
非マスク領域：背景区間決定ステップ及び人体区間伝播ステップ
【００９９】
しかしながら、各方式の違いによって、区間の決め方に矛盾が生じるおそれがある。そこで、本実施形態では、このような矛盾を解決するために、整合性判定ステップが行われる。整合性判定ステップの処理手順の一例は、図２５に示されている。
【０１００】
判定部７ｆは、先ず、整合性条件１を満たすか否かを判断する（ステップ１０９１）。この実施形態では、整合性条件１は、次の通りである。
【０１０１】
［整合性条件１］
Ｄ（Ｃｂ；Ｃｈ）＜０．３
人体区間伝播ステップ、背景区間伝播ステップ、人体区間決定ステップ又は背景区間決定ステップのいずれかにおいて、背景区間と人体区間の両方が決定されたピクセルを対象として、背景区間のピクセル値（輝度及び色相）の平均Ｃｂと、人体区間のピクセル値（輝度及び色相）の平均Ｃｈの色距離Ｄ（Ｃｂ；Ｃｈ）が予め定めた一定値未満（本実施形態では０．３未満）か否か
【０１０２】
そして、判定部７ｆは、整合性条件１の判定結果が偽の場合（ステップＳ１０９１でＮ）、決定された人体区間及び背景区間は、それぞれ正しいものと判定する。また、それ以外の区間は、背景区間として決定する（ステップＳ１０９５）。整合性条件１では、人体区間と背景区間のピクセル値の平均の色が近すぎないかが判断される。判定部７ｆは、整合性条件１が満たされないと判断した場合、人体区間と背景区間との色が十分に相違していると判断し、先の判定結果を正しいものとして取り扱う。
【０１０３】
他方、判定部７ｆは、整合性条件１を満たすと判断した場合（ステップＳ１０９１でＹ）、整合性条件２を満たすか否かを判断する（ステップＳ１０９２）。この実施形態では、整合性条件２は、次の通りである。
【０１０４】
［整合性条件２］
Ｄ（Ｃｂ；Ｃback）＜Ｄ（Ｃｂ；Ｃhuman）       …（１）
Ａ＞Ｂ                                    …（２）
ここで、符号は次の通りである。
Ｄ（Ｃｂ；Ｃback）：対象ピクセルのピクセル値の平均Ｃｂと、その伝播元である非マスク領域のピクセルの背景区間のピクセル値の色ベクトルＣbackとの色距離
Ｄ（Ｃｂ；Ｃhuman）：ピクセル値の平均Ｃｂと、その伝播元である人体ゾーンのピクセルの人体区間のピクセル値の色ベクトルＣhumanとの色距離
Ａ：（ＦｂとＦback）の共通しているフレーム数／Ｆbackの数
Ｂ：（ＦｂとＦhuman）の共通しているフレーム数／Ｆhumanの数
Ｆｂ：Ｄ（Ｃｂ；Ｃｈ）＜０．３を満たす位置の背景区間に対応するフレーム集合
Ｆback：Ｃbackの背景区間に対応するフレーム集合
Ｆhuman：Ｃhumanの人体区間に対応するフレーム集合
【０１０５】
図２６には、あるピクセルのヒストグラムが例に挙げられている。あるピクセルの背景区間のピクセルの色平均と、伝播元の背景色、伝播元の人体色との色距離を計算した場合、背景色との色距離が小さくなることがある。整合性条件２の式（１）は、この点を検証する。また、背景のフレームを多く含む方が、背景区間として信頼できる。整合性条件２の式（２）では、この点を検証している。
【０１０６】
判定部７ｆは、整合性条件２をも満たすと判断した場合（ステップＳ１０９２でＹ）、当該区間は、背景区間と決定する（ステップＳ１０９４）。また、判定部７ｆは、整合性条件２が満たされないと判断した場合、当該区間は、人体区間に決定する（ステップＳ１０９３）。このように、整合性チェックを行うことにより、より精度の高い判定が可能になる。
【０１０７】
以上の処理により、全てのフレームの全てのピクセルが、「背景区間」又は「人物区間」のいずれかに区分される。そして、各フレームについては、輝度ヒストグラム及び色相ヒストグラムを用いて背景か人物かを決定することができる。
【０１０８】
図２７乃至２９には、本実施形態のシルエット抽出方法によって得られたアドレス、トップ及びフィニッシュの各フレームの人物のシルエットが示されている。この方法により、人物のシルエットがほぼ忠実に再現されている。このようなシルエットを用い、ゴルファのスイングが画像処理によって診断される。
【０１０９】
本発明は、種々の改良を加えることができる。
例えば、カメラ４によるスイングの撮影がゴルフ練習場で行われる場合、各フレームの背景の中には、図３０に示されるように、ゴルフ練習場のネットを支える１乃至複数本の支柱１６が含まれることがある。このような支柱１６は、カメラアングルに縦方向にのびている。このため、支柱１６は、その間の背景の類似した景色の色ｉの横方向の連続性を阻害する。これは、背景区間伝播ステップの精度を低下させる原因になりやすい。従って、背景の中でも、予め支柱１６を別に認識しておけば、背景区間伝播ステップにおいて、この支柱１６を表すピクセルをスキップして（跨いで）伝播させれば、背景区間伝播ステップの精度を高めることができる。
【０１１０】
支柱の特徴としては、例えば、次の規則性を挙げることができる。
Ａ）アドレスフレームの上部エリア（例えば０≦ｙ≦２５０）にある
Ｂ）ほぼ無彩色である
Ｃ）垂直線に対して±２度
Ｄ）ｘ方向の幅が所定ピクセルの範囲（本実施形態では１〜１１ピクセル）
【０１１１】
本実施形態では、上記の規則性を利用し、アドレスフレームの各ピクセルの情報を用いて、上記ピクセル集合を検索する。これによって、アドレスフレームにおいて、支柱１６を表示している階級である支柱区間の特定することができる。また、支柱１６は、ゴルフスイングの間、変化しないと考えられるので、他のフレームにおいても支柱１６とみなすことができる。
【０１１２】
そして、前記背景区間決定ステップにおいて、前記支柱区間のピクセルをスキップすることが望ましい。図３１には、ピクセルの拡大平面図が示されており、グレーで表示されているピクセルは、支柱１６を表示するものとする。今、背景区間伝播ステップにおいて、ピクセル９を処理するものとする。ピクセル９の８近傍ピクセルは、ピクセル１乃至８になる。しかし、この場合、ピクセル３、５及び８が支柱を表示するピクセルであるため、この場合の８近傍は、これらのピクセルをスキップしてピクセル１、２、４、６、７、３’、５’及び８’とし、これらを参照するものとする。従って、例えば、ピクセル１、２、４、６及び７が、未判定ピクセルであっっても、ピクセル３’、５’及び８’のいずれかが判定完了ピクセルであればこれらを参考にしてピクセル９の背景区間を決定することができる。
【０１１３】
以上、本発明について種々説明したが、本発明のシルエット抽出システムは、携帯電話機２のＣＰＵを使用して、これだけで実現することもできる。この場合、携帯電話機のみで本発明を実施でき、サーバーとの接続は不要である。撮影者は、携帯電話機２のみを持参すれば、その場でスイングを診断しうる。
【実施例】
【０１１４】
［処理例１：図３２］
実施例１は、原画像に、本発明に従うシルエット抽出処理を施したものである。比較例１は、上記特許文献１のように、原画像に背景区間伝播ステップ＋固定マスク処理を行ってシルエット抽出を行ったものである。処理の結果、比較例１では、矩形の枠囲み部分のように、背景とよく似た色である人物の胸部分が背景として認識されている。一方、実施例１では、このような不具合はなく、認識精度が高い。
【０１１５】
［処理例２：図３３］
実施例２は、原画像に、本発明に従うシルエット抽出処理を施したものである。比較例２は、上記特許文献１のシルエット抽出を行ったものである。処理の結果、比較例１では、矩形の枠囲み部分のように、背景とよく似た色である人物の腰前方部分が背景として認識されている。一方、実施例２では、このような不具合はなく、認識精度が高い。
【０１１６】
［処理例３：図３４］
実施例３は、原画像に、本発明に従うシルエット抽出処理を施したものであり、支柱の認識処理及び背景区間伝播ステップにおいて支柱のピクセルのスキップを行った。比較例３は、上記特許文献１のシルエット抽出を行ったものである。処理の結果、比較例３では、矩形の枠囲み部分のように、支柱の一部が人物として認識されている。これは、支柱を越えて背景区間の伝播が行えなかったため、支柱のピクセルが人物に含まれていると考えられる。一方、実施例３では、このような不具合はなく、認識精度が高い。
【０１１７】
［処理例４：図３５］
実施例４は、原画像に、本発明に従うシルエット抽出処理を施したものであり、支柱の認識処理及び背景区間伝播ステップにおいて支柱のピクセルのスキップを行った。比較例４は、上記特許文献１のシルエット抽出を行ったものである。処理の結果、比較例４では、矩形の枠囲み部分のように、支柱の一部が人物として認識されている。一方、実施例４では、このような不具合はなく、認識精度が高い。
【符号の説明】
【０１１８】
１  シルエット抽出システム
２  携帯電話機
３  サーバー
４  カメラ
５、８  メモリ
７  演算部
【図１】
0005816068.tif 000002
【図２】
0005816068.tif 000003
【図３】
0005816068.tif 000004
【図４】
0005816068.tif 000005
【図５】
0005816068.tif 000006
【図６】
0005816068.tif 000007
【図７】
0005816068.tif 000008
【図８】
0005816068.tif 000009
【図９】
0005816068.tif 000010
【図１０】
0005816068.tif 000011
【図１１】
0005816068.tif 000012
【図１６】
0005816068.tif 000013
【図１７】
0005816068.tif 000014
【図１８】
0005816068.tif 000015
【図１９】
0005816068.tif 000016
【図２０】
0005816068.tif 000017
【図２１】
0005816068.tif 000018
【図２２】
0005816068.tif 000019
【図２３】
0005816068.tif 000020
【図２４】
0005816068.tif 000021
【図２５】
0005816068.tif 000022
【図２６】
0005816068.tif 000023
【図３０】
0005816068.tif 000024
【図３１】
0005816068.tif 000025
【図１２】
0005816068.tif 000026
【図１３】
0005816068.tif 000027
【図１４】
0005816068.tif 000028
【図１５】
0005816068.tif 000029
【図２７】
0005816068.tif 000030
【図２８】
0005816068.tif 000031
【図２９】
0005816068.tif 000032
【図３２】
0005816068.tif 000033
【図３３】
0005816068.tif 000034
【図３４】
0005816068.tif 000035
【図３５】
0005816068.tif 000036