(57)【要約】【課題】、一連の動作を撮像した複数の画像から適切な状態となる画像を自動的に特定すること。【解決手段】画像取得部５１は、被写体の動きが連続的に撮像された複数の画像のデータを取得する。差分画像生成部５４は、複数の画像のデータから、隣接した画像間の差分画像のデータを夫々生成する。強調画像生成部５５は、差分画像のデータから、演算処理のための画像のデータを生成する。ハフ変換部５６２は、強調画像生成部５５により生成された画像のデータを処理対象として演算処理（ハフ変換処理）を実行する。角度決定部１５１は、ハフ変換部５６２による演算結果に基づいて、被写体の動きの軌跡から変化点を特定する。【選択図】図２
2012212373.tif 000002
【特許請求の範囲】
【請求項１】
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段と、
前記取得手段により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する第１生成手段と、
前記第１生成手段により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する第２生成手段と、
前記第２生成手段により生成された画像のデータに演算処理をする演算手段と、
前記演算手段による演算結果に基づいて、前記被写体の動きの変化点を特定する特定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記演算手段による演算結果に基づいて、前記特定手段により特定された変化点を表すグラフのデータを作成する第３生成手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段により取得された前記複数の画像のデータについての基準位置の指定を検出する検出手段と、
前記検出手段により検出された前記基準位置に基づいて、前記演算手段による演算処理のために、前記２生成手段により生成された前記画像のデータの一部の領域のデータを、他のデータに置換することによって、前記領域を演算処理の対象から除去する除去手段と、
をさらに備え、
前記演算手段は、前記除去手段により前記領域が除去された前記画像に演算処理をすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第３生成手段により生成された前記グラフのデータと比較をするための他のグラフのデータを設定する設定手段と、
前記設定手段により設定された他のグラフのデータを前記第３生成手段により生成されたグラフのデータに重畳させて表示出力するように制御する表示制御手段と、
をさらに備えることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記複数の画像のデータを輝度画像のデータに変換する変換手段をさらに備え、
前記第１生成手段は、前記輝度画像のデータから差分画像のデータを生成することを特徴とする請求項１乃至４記載の画像処理装置。
【請求項６】
前記被写体の動きは、ゴルフの一連のスイング動作である、
ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得ステップと、
前記取得ステップの処理により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する第１生成ステップと、
前記第１生成ステップの処理により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する第２生成ステップと、
前記第２生成ステップの処理により生成された画像のデータに演算処理をする演算ステップと、
前記演算ステップの処理による演算結果に基づいて、前記被写体の動きの変化点を特定する特定ステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータを、
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段、
前記取得手段により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する第１生成手段、
前記第１生成手段により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する第２生成手段、
前記第２生成手段により生成された画像のデータに演算処理をする演算手段、
前記演算手段による演算結果に基づいて、前記被写体の動きの変化点を特定する特定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から被写体の動きを特定することができる画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、ゴルフクラブのスイングフォームの確認のために、ゴルフクラブのスイングに係る一連の動作を撮像する技術がある（特許文献１）。この特許文献１では、ゴルフクラブのスイングを行う者を被写体として、被写体の正面方向から、スイングの開始から終了に到るまでの動作を連続的に撮像し、その結果得られる複数の連続した画像から、各スイングの姿勢（例えば、トップ、インパクト、フォロー等）に対応する画像を特定する。具体的には、上記特許文献１は、上述のスイングの姿勢に対応する画像の特定を、設定したフレーム数に基づいて行い、各スイングに対応した姿勢の画像を決定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６３１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、設定したフレーム数に対応して各スイングの姿勢を特定するため、ユーザが当該所定のフレーム数に合わないスイング動作をした場合には、各スイングの姿勢の画像を特定するタイミングがずれてしまう虞があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、複数の画像から被写体の動きを特定する精度を向上させることができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段と、前記取得手段により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する第１生成手段と、前記第１生成手段により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する第２生成手段と、前記第２生成手段により生成された画像のデータに演算処理をする演算手段と、前記演算手段による演算結果に基づいて、前記被写体の動きの変化点を特定する特定手段と、を備えることを特徴とする。
【０００７】
また、上記目的を達成するため、本発明の一態様の画像処理方法は、被写体の動きを連続的に撮像した結果得られる複数の画像のデータを取得する取得ステップと、前記取得ステップの処理により連続的に撮像された前記複数の画像のデータから、隣接した画像間の差分画像のデータを夫々生成する第１生成ステップと、前記第１生成ステップの処理により生成された差分画像のデータから、演算処理のための画像のデータを生成する第２生成ステップと、前記第２生成ステップの処理により生成された画像のデータを処理対象として演算処理を実行する演算ステップと、前記演算ステップによる演算結果に基づいて、前記被写体の動きの軌跡から変化点を特定する特定ステップと、を含むことを特徴とする。
【０００８】
また、上記目的を達成するため、本発明の一態様のプログラムは、コンピュータを、被写体の動きを連続的に撮像した結果得られる複数の画像のデータを取得する取得手段、前記取得手段により連続的に撮像された前記複数の画像のデータから、隣接した画像間の差分画像のデータを夫々生成する第１生成手段、前記第１生成手段により生成された差分画像のデータから、演算処理のための画像のデータを生成する第２生成手段、前記第２生成手段により生成された画像のデータを処理対象として演算処理を実行する演算手段、前記演算手段による演算結果に基づいて、前記被写体の動きの軌跡から変化点を特定する特定手段、として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の画像から被写体の動きを特定する精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、グラフ表示処理を実行するための機能的構成を示す機能ブロック図である。
【図３】図１の撮像装置の機能的構成のうち、グラフ表示処理を実行するための機能的構成を示す機能ブロック図である。
【図４】本実施形態における撮像装置のグラフ表示処理の動作を示すフローチャートである。
【図５】ユーザが初期フレームからボール位置を指定する手法の一例を説明するための模式図である。
【図６】連写画像Ｐｔのデータから強調画像Ｃｔのデータを生成するまでの過程の一例を示す模式図である。
【図７】式（２）に従ってハフ変換されたことによって得られる正弦曲線を示すグラフの一例である。
【図８】撮像されたスイングの撮像画像におけるクラブの角度の変遷を示すグラフである。
【図９】図７のクラブの回転角度とフレームとの関係を示すグラフに特定したスイングの姿勢を示すグラフである。
【図１０】強調画像Ｃｔの画素書き換え処理の動作を示すフローチャートである。
【図１１】非投票領域の決定を示す模式図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を用いて説明する。
【００１２】
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラして構成される。
【００１３】
撮像装置１は、ＣＰＵ１１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、画像処理部１４と、グラフ作成部１５と、バス１６と、入出力インターフェース１７と、撮像部１８と、入力部１９と、出力部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。
【００１４】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１５】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１６】
画像処理部１４は、記憶部２１等に記憶される各種画像データの画像の処理を行う。画像処理部１４の詳細については、後述する。
【００１７】
グラフ作成部１５は、各種データからグラフの作成を行う。グラフ作成部１５の詳細については、後述する。
ここで、グラフとは、数量の時間変化や大小関係、割合などを、視覚的に表現した図のことである。また、グラフを作成する又はグラフ化するとは、グラフを含む画像のデータ（以下、「グラフデータ」とも適宜いう）を作成する処理をいう。
【００１８】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像処理部１４及びグラフ作成部１５は、バス１６を介して相互に接続されている。このバス１６にはまた、入出力インターフェース１７も接続されている。入出力インターフェース１７には、撮像部１８、入力部１９、出力部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。
【００１９】
撮像部１８は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２０】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２１】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１８の出力信号として出力される。
このような撮像部１８の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。
【００２２】
入力部１９は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部２０は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２１は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２３】
ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。
【００２４】
次に、撮像装置１の機能的構成のうち、グラフ表示処理を実行するための機能的構成を説明する。
グラフ表示処理とは、被写体のゴルフの一連のスイング動作を撮像した結果得られる動画像の中から、複数の撮像画像を選択し、当該複数の撮像画像から、ゴルフのクラブ位置を抽出して、その抽出結果に基づいて、スイングにおけるクラブ位置の変化を表したグラフを作成して表示するまでの一連の処理をいう。
ここで、動画像には、いわゆる映像のみならず、連写により撮像された複数の撮像画像の組も含まれている。即ち、撮像により得られた動画像は、フレームやフィールドといった撮像画像（以下、「単位画像」と呼ぶ）が連続して複数枚配置されることによって構成される。
なお、ここでは説明の簡略上、具体例として右利きの被写体を撮像し、その撮像画像からクラブ位置の変化を表したグラフを作成する例について説明するが、左利きの被写体の場合も全く同様にしてグラフを作成することが可能になる。
【００２５】
以下、まず、撮像装置１の機能的構成のうち、グラフの作成に係るグラフ表示処理を実行するための機能的構成を説明する。次に、撮像装置１の機能的構成のうち、グラフの表示に係るグラフ表示処理を実行するための機能的構成を説明する。
【００２６】
図２及び図３は、図１の撮像装置１の機能的構成のうち、グラフ表示処理を実行するための機能的構成を示す機能ブロック図である。
【００２７】
ＣＰＵ１１においては、グラフ表示処理の前処理が実行される際には、図２に示す撮像制御部４１が機能する。
撮像制御部４１は、ユーザからの入力部１９への入力操作を受けて、撮像動作を制御する。本実施形態において、撮像制御部４１は、撮像部１８が所定の時間間隔で被写体を連続して繰り返し撮像するように制御する。この撮像制御部４１の制御により、所定の時間間隔毎に撮像部１８から順次出力される撮像画像のデータの各々が記憶部２１に記憶される。即ち、撮像制御部４１の制御が開始されてから終了されるまでの間に、撮像部１８から出力された順に記憶部２１に順次記憶された複数の撮像画像の各データが単位画像のデータとなり、これらの複数の単位画像のデータの集合体が１つの動画像のデータを構成する。なお、以下、説明の簡略上、単位画像（撮像画像）はフレームであるものとする。
【００２８】
画像処理部１４においては、グラフ表示処理又はその前処理が実行される際には、図３に示すように、画像取得部５１と、基準位置決定部５２と、輝度画像変換部５３と、差分画像生成部５４と、強調画像生成部５５と、ハフ変換処理部５６と、が機能する。
【００２９】
画像取得部５１は、撮像部１８によって撮像されて動画像のデータを構成する複数のフレーム（単位画像）のデータから、Ｔ枚（Ｔは２以上の整数値）のフレームのデータを取得する。
本実施形態において、画像取得部５１により取得されるフレームのデータは、スイングの一連の動作を示す動画像のうち、被写体が所定の７種類のスイング姿勢を取っている様子がそれぞれ写った７（＝Ｔ）枚のフレーム（撮像画像）のデータである。
ここで、所定の７種類のスイングの姿勢とは、本実施形態において、「アドレス」の姿勢、「テイクバック」の姿勢、「トップ」の姿勢、「ダウンスイング」の姿勢、「インパクト」の姿勢、「フォロー」の姿勢及び「フィニッシュ」の姿勢である。
【００３０】
基準位置決定部５２は、ユーザが入力部１９を操作して動画像内からボール位置を指示すると、当該ボール位置を基準位置として決定する。このようにして決定された基準位置は、後述するハフ変換において、クラブの抽出精度を高めるために行われる非投票領域の決定の際に用いられる。
なお、基準位置は、ここではユーザが入力部１９を操作して手動で決定するようにしたが、特にこれに限られず、撮像装置１が、ユーザの操作を介在せずに自律的判断で、即ち自動的に決定してもよい。例えば、撮像装置１は、動画像のデータを解析することによって、ボールの形状や色等からボール位置を決定してもよく、例えば、円形分離度フィルタ等を用いて自動的にボール位置を決定することができる。
【００３１】
輝度画像変換部５３は、画像取得部５１により取得された複数のフレーム（カラー画像）のデータを、輝度値のみを画素値として有する画像のデータ（以下、「輝度画像のデータ」と呼ぶ）に変換する。
【００３２】
差分画像生成部５４は、輝度画像変換部３５による変換後の複数の輝度画像のデータのうち、所定の２枚の輝度画像のデータの差分をとることによって、差分画像のデータを生成する。
本実施形態において、差分画像生成部５４は、撮像順の２枚、即ち、時系列で隣接する２枚の輝度画像同士の各データの差分をとり、差分画像のデータをそれぞれ生成する。ここで、データの差分をとるとは、各画素毎に、画素値（輝度画像の画素値なので輝度値）の差分をとることを意味する。
具体的には、差分画像生成部５４は、画像取得部５１により取得された範囲内において、最初に撮像されたフレームに対応する輝度画像と、２番目に撮像されたフレームに対応する輝度画像との各データの差分をとり、１番目の差分画像のデータを生成する。
また、差分画像生成部５４は、２番目に撮像されたフレームに対応する輝度画像と、３番目に撮像されたフレームに対応する輝度画像との各データの差分をとり、２番目の差分画像のデータを生成する。
このようにして、差分画像生成部５４は、画像取得部５１により取得された範囲内において、全ての輝度画像を対象に、差分画像のデータを順次生成する。
【００３３】
強調画像生成部５５は、差分画像生成部５４により生成された複数の差分画像のデータのうち、処理対象の差分画像の画素値と、当該処理対象よりも撮像順が前の差分画像の画素値とをかけ合わせる（乗算する）ことで、かけ合わされた２つの差分画像のうち同一の部分が強調された強調画像のデータを生成する。
即ち、上述した例を用いて説明すると、処理対象の差分画像のデータが、Ｋ＋１（Ｋは２以上の整数値）番目のフレームと、Ｋ番目のフレームとの各データの差分により得られたものとする。この場合、当該処理対象よりも撮像順が前の差分画像は、Ｋ番目のフレームと、Ｋ−１番目のフレームとの各データの差分により得られたものになる。従って、かけ合わされた２つの差分画像のうち同一の部分とは、Ｋ番目の輝度画像に対応する部分を意味することになる。よって、Ｋ番目の輝度画像に対応する部分が強調された強調画像のデータが得られることになる。
【００３４】
ハフ変換処理部５６は、強調画像生成部５５により生成された強調画像のデータに対して、ハフ変換（Ｈｏｕｇｈ変換）を施す。ここで、ハフ変換とは、画像内の直線（本実施例においては、クラブを通る直線）を検出（抽出）するために、直交座標系で特定される各画素をハフ空間上の正弦曲線に変換する、といった画像処理の手法をいう。
また、本実施例において、ハフ空間上の正弦曲線が、ある特徴点の座標を通ることを「ハフ投票」するという。
本実施例においては、重み付けが考慮された状態でのハフ空間上の複数の正弦曲線が最も通る特徴点の座標を求める（ハフ投票数が最も多かったハフ空間上の座標を求める）ことにより、直交座標系におけるクラブの直線を抽出することができる。
【００３５】
具体的には、ハフ変換処理部５６は、非投票領域除去部５６１と、ハフ変換部５６２と、重み付け部５６３と、投票結果特定部５６４と、を備える。
【００３６】
非投票領域除去部５６１は、強調画像生成部５５により生成された強調画像のデータのうち、後述するハフ変換後の投票に反映させない領域（以下、「非投票領域」と呼ぶ）のデータをハフ投票対象として除去する。以下、非投票領域が除去された強調画像を、「非投票領域除去画像」という。
【００３７】
ここで、非投票領域とは、撮像順に基づいて順次予想されるクラブの位置から離間した領域であり、ハフ変換後の投票に仮に反映させてしまうと、クラブ以外の直線を抽出してしまう可能性があり、クラブの直線の抽出精度を低下させるおそれがある領域をいう。
【００３８】
具体的には、非投票領域除去部５６１は、ハフ変換後の投票に反映させない領域を構成する画素群の各画素値を例えば「０」に書き換えることにより、非投票領域のデータをハフ投票対象として除去する。
【００３９】
また、非投票領域は、撮像順が１つ前の強調画像において特定された直線（クラブの近似直線）の角度に基づいて決定される。
ここで、本実施例においては、直線の角度の原点として、画像の水平面に垂直となった角度を原点（０度）とし、時計回りに角度が上がる（角度の正方向は時計周りである）ものとする。
なお、画像取得部５１により取得された範囲内において、最初のフレームを含む最初の強調画像は、アドレスの姿勢付近のフレームが強調された強調画像であることを考慮すると、クラブ（その近似直線）の角度（回転角度）は０から４５度の間となることから、この角度以外の領域を、ハフ投票対象としてできる限り除去する。
また、本実施形態においては、非投票領域の区切りは、０度から４５度まで、４５度から１３５度まで、１３５度から２１０度まで、２１０度から２７０度まで及び２７０度から３２０度までの区切りで行われ、特定される投票領域以外の領域がハフ投票対象としてできる限り除去される。例えば、４５度から１３５度までの間が投票領域と特定された場合には、それ以外の角度の領域ができる限り除去される。また、予測されるどの角度位置に関わらず、ボール位置よりもクラブが下に位置することはないために、基準位置決定部５２で決定された基準位置以下の領域はハフ投票対象として除去される。
【００４０】
ハフ変換部５６２は、非投票領域除去画像のデータに対してハフ変換を施すことによって、非投票領域除去画像内のクラブの近似直線を特定可能な状態にする。
具体的には、ハフ変換部５６２は、図６の強調画像Ｃｔをハフ変換し、図７（ａ）のような正弦曲線を示すグラフが得られるようにする（詳細は、後述）。
【００４１】
重み付け部５６３は、図７（ｂ）のように、画像の撮像順に基づいて予測されるクラブの近似直線の位置（以下、「直線位置」という）に基づいて、当該直線位置の周辺の領域の投票結果が高くなるように重み付けを高くする。
【００４２】
投票結果特定部５６４は、ハフ変換部５６２のハフ変換により算出された曲線が重み付け部５６３により重み付けされたハフ変換上で最も多く交わる座標を特定する。
具体的には、投票結果特定部５６４は、図７（ａ）のように、重み付け部５６３によって決定された重み付けに準じて、正弦曲線の通る数（以下、「ハフ投票の値」という）を評価して、ハフ投票の値が最大となる座標（θ，ρ）を特定する。
【００４３】
ハフ変換部５６２は、このような最多投票数となる座標を逆ハフ変換することによって、非投票領域除去画像における、クラブの近似直線を示す領域を特定する。
【００４４】
ここで、グラフ作成部１５は、角度決定部１５１と、グラフ化部１５２と、姿勢特定部１５３と、を備える。
角度決定部１５１は、投票結果特定部５６４での特定結果に基づいて、画像内のクラブの近似直線がなす角度（以下、「直線の角度」という）を決定する。
【００４５】
グラフ化部１５２は、画像の撮像順に角度決定部１５１により決定された各画像の直線の角度（クラブの角度）が表示されるグラフを含む画像（グラフ画像）のデータを作成する。
【００４６】
姿勢特定部１５３は、画像の撮像順（時系列）と各画像の直線の角度との関係から被写体のスイングの姿勢を特定する。
具体的には、姿勢特定部１５３は、角度が０度付近となる最初の画像に含まれる被写体の姿勢をアドレスの姿勢として特定する。
また、姿勢特定部１５３は、最後の画像に含まれる被写体の姿勢をフィニッシュの姿勢として特定する。
また、姿勢特定部１５３は、回転が正の回転から逆の回転に切り替わる画像に含まれる被写体の姿勢をトップの姿勢をして特定する。
また、姿勢特定部１５３は、トップの姿勢として特定された画像に含まれる被写体の姿勢からアドレスの姿勢までの画像に含まれる被写体の姿勢をテイクバックの姿勢として特定する。
また、姿勢特定部１５３は、トップの姿勢以降のクラブの角度がアドレスと同じ０度付近となる画像に含まれる被写体の姿勢をインパクトの姿勢として特定する。
また、姿勢特定部１５３は、インパクトの姿勢以降の画像に含まれる被写体の姿勢からフィニッシュの姿勢の以前の画像に含まれる被写体の姿勢までをフォローの姿勢として特定する。
【００４７】
以上、撮像装置１の機能的構成のうち、グラフの作成に係るグラフ表示処理を実行するための機能的構成を説明した。次に、撮像装置１の機能的構成のうち、グラフの表示に係るグラフ表示処理を実行するための機能的構成を説明する。
【００４８】
このようにして、グラフ表示処理のうち、グラフの作成に係る処理が終了すると、グラフの表示に係る処理が実行される。この場合、図３に示すように、ＣＰＵ１１においては、グラフ対応画像抽出部４２と、比較用グラフ抽出部４３と、表示制御部４４と、が機能する。
【００４９】
グラフ対応画像抽出部４２は、出力部２０にグラフが表示されている状態で、当該グラフのうち所定位置が、ユーザの入力部１９による操作により指示された場合、当該指定位置に対応する時刻に撮像された撮像画像（フレーム）のデータを記憶部２１から抽出する。
比較用グラフ抽出部４３は、記憶部２１に予め記憶された比較用グラフのデータを抽出する。比較用グラフのデータとは、グラフ化部１５２によって新たに作成されたグラフのデータと比較するものであり、新たに作成されたものと異なるグラフのデータであれば足り、その個数やその種類は特に限定されない。例えば、新たに作成されたグラフが示すゴルフの一連のスイング動作の動作者（被写体）と同一の者が、過去に別のゴルフの一連のスイング動作をした際に作成されたグラフのデータを、比較用のグラフのデータとして採用してもよい。或いはまた、プロゴルファー等の別の者が、ゴルフの一連のスイング動作をした際に作成されたグラフのデータを、比較用のグラフのデータとして採用してもよい。
新たに作成されたグラフを鑑賞する鑑賞者は、比較用グラフと対比することにより、ゴルフのスイングフォームの評価を容易に行うことができる。
【００５０】
表示制御部４４は、グラフ化部１５２によってデータとして作成されたグラフを含む画像を出力部２０から表示出力させる制御を実行する。
この場合、表示制御部４４は、当該グラフと共に（重畳して）又は当該グラフに代えて（消去して）、比較用グラフ抽出部４３によって抽出された比較用グラフを出力部２０から表示出力させてもよい。
同様に、表示制御部４４は、当該グラフと共に（重畳して）又は当該グラフに代えて（消去して）、グラフ対応画像抽出部４２によりデータとして抽出されたフレーム（撮像画像）を出力部２０から表示出力させてもよい。
【００５１】
次に、本実施形態における撮像装置１のグラフ表示処理の動作の流れについて図４を用いて説明する。図４は、本実施形態における撮像装置１のグラフ表示処理の動作を示すフローチャートである。
【００５２】
グラフ表示処理の前処理によって、ゴルフのスイングを行う者を被写体として、スイングの一連の動作が撮像部１８により予め撮像されており、その結果得られる動画像のデータは記憶部２１に予め記憶された状態となっている。
このような前処理がなされた状態で、ユーザが入力部１９を用いて所定操作をすると、図４のグラフ表示処理は開始され、次のような処理が実行される。
【００５３】
ステップＳ１において、画像取得部５１は、初期フレームの呼び出しを行う。詳細には、画像取得部５１は、記憶部２１に記憶され動画像のデータのうち、アドレスの姿勢の被写体が写った最初の撮像画像（フレーム）のデータを、初期フレームのデータとして取得する。
【００５４】
ステップＳ２において、基準位置決定部５２は、ボール位置Ｂ（ｘ，ｙ）の指定検出を行う。
詳細には、本実施形態においては、ステップＳ１の処理で呼び出された初期フレームが出力部２０の表示部に表示される。ユーザは、入力部１９を操作して、表示された初期フレームの中から、ボールが配置されていると判断できる位置を指定する。基準位置決定部５２は、このようにしてユーザにより指定された位置Ｂ（ｘ，ｙ）を、ボール位置Ｂ（ｘ，ｙ）として検出する。
図５は、ユーザが初期フレームからボール位置を指定する手法の一例を説明するための模式図である。
図５に示すように、ユーザは、入力部１９（例えば、マウス）を操作して、出力部２０の表示部内のカーソルをボールの位置まで移動させ、クリック操作することで、ボール位置Ｂ（ｘ，ｙ）を指定することができる。
このようにして、本ステップＳ２の処理により、後述する非投票領域の決定の際の基準位置が決定される。
【００５５】
ステップＳ３において、輝度画像変換部５３は、連写画像Ｐｔのデータを輝度画像のデータに変換する。ここで、連写画像Ｐｔのデータとは、画像取得部５１により取得される複数のフレームのデータのうち、ｔ番目のフレームＦｔを注目フレーム（処理対象のフレーム）とすると、注目フレームＦｔとその前後のフレームＦｔ−１，Ｆｔ＋１の各データの集合体をいう。
従って、フレームＦｔ−１，Ｆｔ，Ｆｔ＋１が画像取得部５１によって取得されて、輝度画像変換部５３によって輝度画像のデータに変換される。
【００５６】
実際には、画像取得部５１は、本実施形態においては、アドレスの状態からフィニッシュの状態までの間の各様子をそれぞれ示す複数のフレームのデータを取得する。従って、１番目のフレームＦ１は、アドレスの姿勢に対応する撮像画像であり、最後のフレームは、フィニッシュの姿勢に対応する撮像画像である。また、アドレスの姿勢に対応する１番目のフレームＦ１や、フィニッシュの姿勢に対応する最後のフレームは、例えば、記憶部２１に予めデータとして記憶されている各姿勢の基準となる画像との比較に基づいて、特定される。
【００５７】
ステップＳ４において、差分画像生成部５４は、輝度画像に変換された連写画像Ｐｔのデータから、フレーム間差分画像Ｄｔ−１，Ｄｔの各データを生成する。
【００５８】
ステップＳ５において、強調画像生成部５５は、差分画像Ｄｔ−１，Ｄｔの各データから、強調画像Ｃｔのデータを生成する。
【００５９】
図６は、連写画像Ｐｔのデータから強調画像Ｃｔのデータを生成するまでの過程の一例を示す模式図である。
図６に示すように、ｔ番目のフレームＦｔが注目フレーム（強調画像を生成するための対象フレーム）となり、当該注目フレームとその前後に隣接するフレーム、即ち、フレームＦｔ−１、フレームＦｔ、及びフレームＦｔ＋１が画像取得部５１により取得される。
ステップＳ３の処理では、輝度画像変換部５３により、各フレームＦｔ−１，Ｆｔ，Ｆｔ＋１の各データがそれぞれ輝度画像のデータに変換される（同図中、輝度画像は図示せず）。
次に、ステップＳ４の処理で、差分画像生成部５４により、差分画像Ｄｔ−１，Ｄｔの各データが生成される。具体的には、フレームＦｔ−１と、注目フレームＦｔとの各データの差分から、差分画像Ｄｔ−１のデータが生成される。また、注目フレームＦｔと、フレームＦｔ＋１との各データの差分から、差分画像Ｄｔのデータが生成される。
次に、ステップＳ５の処理で、強調画像生成部５５により、差分画像Ｄｔ−１，Ｄｔの各データがかけ合わされて、強調画像Ｃｔのデータが生成される。
この強調画像Ｃｔは、注目フレームＦｔを基準として、基準とその前後のフレームＦｔ−１，Ｆｔ＋１との前後の差分画像Ｄｔ−１，Ｄｔがかけ合わされたものである。このため、強調画像Ｃｔにおいては、前後の差分画像Ｄｔ−１，Ｄｔとの合致する部分、特に注目フレームＦｔにおけるクラブを示す部分が強調される。
【００６０】
ステップＳ６において、非投票領域除去部５６１は、強調画像Ｃｔの画素書き換え処理を行うことで、非投票領域除去画像のデータを生成する。画素書き換え処理とは、強調画像Ｃｔを構成する各画素のうち、撮像順が注目フレームＦｔよりも前のフレームから予測されるクラブ位置に基づいて、非投票領域を求め、当該日投票領域を構成する各画素の画素値（データ）を、投票対象とならない値、例えば「０」に書き換える処理をいう。強調画像Ｃｔの画素書き換え処理のさらなる詳細については、後述するが、本ステップＳ６の処理により生成された非投票領域除去画像のデータを、後段の処理で用いることにより、クラブの近似直線の抽出精度が向上する。
【００６１】
ステップＳ７において、ハフ変換部５６２は、非投票領域除去画像のデータに対してハフ変換を施す。
即ち、非投票領域除去画像のうち画素位置（ｘ，ｙ）の画素は、次の式（１）に従って、θ軸とρ軸とから構築されるハフ空間上の正弦曲線に変換される。ここで、ρは、原点からの距離を指す。
【数１】
2012212373.tif 000003
図７は、式（１）に従ってハフ変換されたことによって得られる正弦曲線を示すグラフの一例である。
即ち、ステップＳ７の処理で、非投票領域除去画像のデータに対してハフ変換が施されると、図７（ａ）に示すようなハフ投票が可能な曲線（白線）が抽出される。
【００６２】
ステップＳ８において、重み付け部５６３は、前回に注目フレームであったフレームＦｔについてのハフ変換の結果（θｔ−１，ρｔ−１）（以下、「前フレーム結果（θｔ−１，ρｔ−１）」という）による現在の注目フレームＦｔの予測値（ｐθ，ｐρ）を算出することによって、ハフ変換結果の重み付けを行う。
詳細には、重み付け部５６３は、図７（ｂ）に示すように推測されるクラブ位置付近の領域でのハフ投票の値が高く評価されるように、次の式（２）及び式（３）に従った演算を行うことで重み付けを行う。
【数２】
2012212373.tif 000004
【数３】
2012212373.tif 000005
即ち、重み付けは、図７（ｂ）に示すように、前のフレームのクラブ角度から予測される注目フレームＦｔにおけるクラブの近似直線の予測結果の座標位置が最も高くなり、その周囲にいくに従って徐々に低くなるように設定される。
なお、本実施例において、ｋ，ｌの値は、０．３から０．８の間の値とする。
【００６３】
ステップＳ９において、投票結果特定部５６４は、最大値をとる座標（θｔ，ρｔ）を取得する。そして、ハフ変換部５６２は、取得した最大値をとる座標（θｔ，ρｔ）に基づいて逆ハフ変換を行い、注目フレームＦｔにおけるクラブの近似直線を決定する。決定されたクラブの近似直線は、角度決定部１５１によりその角度（クラブの角度）が特定される。このようにして、注目フレームＦｔにおける直線の角度の特定が行われる。
【００６４】
ステップＳ１０において、ＣＰＵ１１は、全フレームの処理をしたか否かを判定する。即ち、全てのフレームが注目フレームに設定されて、各々のクラブの角度の特定処理（ステップＳ５乃至ステップＳ９の処理）が行われたか否かが判定される。
【００６５】
まだ注目フレームに設定されていないフレームが存在する場合、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ１１に進む。
ステップＳ１１において、ＣＰＵ１１は、注目フレームの番号ｔを１だけインクリメントする（ｔ＝ｔ＋１）。これにより次のフレームが注目フレームに設定され、処理はステップＳ３に進み、それ以降の処理が実行されることによって、当該注目フレームのクラブの角度が特定される。
全てのフレームが注目フレームに設定されて、その都度、このようなステップＳ３乃至Ｓ１１のループ処理が繰り返し実行されることによって、全てのフレームのクラブの角度が特定される。すると、ステップＳ１０においてＹＥＳであると判定され、処理はステップＳ１２に進む。
【００６６】
ステップＳ１２において、グラフ化部１５２は、クラブの角度の時系列軌跡をグラフ化する。詳細には、グラフ化部１５２は、算出された各フレームのクラブ角度を、撮像順の時系列に並べて表示可能なグラフの画像を生成する（図７を参照）。図８は、撮像されたスイングの撮像画像におけるクラブの角度の変遷を示すグラフである。本グラフにおいて、縦軸はクラブの角度（θ）を示し、横軸は撮像時間順のフレームを示す。
【００６７】
また、グラフ化に際して、姿勢特定部１５３は、図９に示すように、クラブの角度とフレームの撮像順とからスイングの姿勢を特定する。本実施形態においては、最初のフレームから逆回転となる角度のフレーム（角度の増加が収束するフレーム）までをバックスイングとし、バックスイングとなるフレームから角度が０度となるフレームまでをダウンスイングとする。この際、バックスイングの切り替わりのフレームをトップとし、角度が０度となるフレームをインパクトとする。またインパクト以降をフォロースイングとする。図９は、図７のクラブの角度とフレームとの関係を示すグラフに特定したスイングの姿勢を示すグラフである。
【００６８】
ステップＳ１３において、ＣＰＵ１１は、比較用グラフとの比較指示があるか否かを判断する。詳細には、ＣＰＵ１１は、ユーザによる入力部１９への比較指示の入力操作がされたか否かを判断する。
ユーザによる入力部１９への比較指示の入力操作がされた場合には、処理はＹＥＳであり、ステップＳ１４に進む。
ユーザによる入力部１９への比較指示の入力操作がされない場合には、処理はＮＯであり、ステップＳ１５に進む。
【００６９】
ステップＳ１４において、出力部２０は、グラフに比較用グラフを重畳表示する。詳細には、比較指示の入力操作がされているため、比較用グラフ抽出部４３により記憶部２１から比較用グラフが取得され、その後、表示制御部４４は、比較用グラフと本処理により作成されたグラフとを重ね合わせて表示するように出力部２０の表示出力を制御する。その後処理は終了する。
【００７０】
ステップＳ１５において、出力部２０は、グラフを表示する。詳細には、出力部２０は、表示制御部４４により、作成されたグラフを表示するように制御される。その後処理は終了する。
【００７１】
次に、ステップＳ６の強調画像Ｃｔの画素書き換え処理の動作の流れについて図９を用いて説明する。図１０は、強調画像Ｃｔの画素書き換え処理の動作を示すフローチャートである。
【００７２】
ステップＳ３１において、非投票領域除去部５６１は、前フレーム結果（θｔ−１，ρｔ−１）により画素値の書き換えを行う。以降のステップにおいては、非投票領域除去部５６１は、前フレーム結果（θｔ−１，ρｔ−１）に基づいて予想されるクラブの角度に応じて、非投票領域を決定し、該当する領域の画素値を０に設定する。
例えば、２番目のフレームである場合（前フレームが最初のフレームの場合）には、最初のフレームは、アドレスの姿勢の画像であるため、クラブの角度は０である。このため、予想されるクラブの角度が０度から４５度の間（０≦θｔ−１＜４５）にあるため、ステップＳ３２に進む。
また、前のフレームのクラブの角度が４５度に近い場合であり、フレーム間の角度変化の具合から判断して、クラブの角度が４５度を超えると予想される場合には、クラブの角度が４５度から１３５度の間（４５≦θｔ−１＜１３５）にあるために、ステップＳ３３に進む。
また、前のフレームのクラブの角度が１３５度に近い場合であり、フレーム間の角度変化の具合から判断して、クラブの角度が１３５度を超えると予想される場合には、回転角度が１３５度から２１０度の間（１３５≦θｔ−１＜２１０）にあるために、ステップＳ３４に進む。
また、前のフレームの回転角度が２１０度に近い場合であり、フレーム間の角度変化の具合から判断して、クラブの角度が２１０度を超えると予想される場合には、回転角度が２１０度から２７０度の間（２１０≦θｔ−１＜２７０）にあるために、ステップＳ３５に進む。
また、前のフレームのクラブの角度が２７０度に近い場合であり、フレーム間の角度変化の具合から判断して、クラブの角度が２７０度を超えると予想される場合には、クラブの角度が２７０度から３２０度の間（２７０≦θｔ−１＜３２０）にあるために、ステップＳ３６に進む。
なお、ゴルフのスイングの特性上、アドレスからトップまでと、トップからフィニッシュまでとは、同一のクラブの角度の変化となる。
【００７３】
ステップＳ３２において、非投票領域除去部５６１は、Ｂ（ｘ，ｙ）以下の領域の部分の画素値を０にする。
具体的には、非投票領域除去部５６１は、図１１（ａ）及び（ｂ）に示すようにクラブの角度が０度から４５度の場合には、ボール位置Ｂ（ｘ，ｙ）以下の領域の画素値を０に書き換える。
つまり、予想されたクラブの角度が０度から４５度の間である場合には、ボール位置となる基準位置Ｂ（ｘ，ｙ）よりも右側の領域へのスイングは行われないために、基準位置より右側の（図において紙面に対して基準位置より右側）の領域の画素値を０にする。つまり、図中において、指示されるＡ領域が非投票領域となり除去の対象となる。
なお、図１１は、非投票領域の決定を示す模式図であり、図１１（ａ）はクラブの角度が０度の場合における非投票領域の決定の一例を示す模式図であり、図１１（ｂ）は回転角度が４５度付近の場合における非投票領域の決定の一例を示す模式図である。
【００７４】
ステップＳ３３において、非投票領域除去部５６１は、図１１（ｃ）及び図１１（ｄ）のＢ領域の画素値を０に書き換える。
【００７５】
非投票領域除去部５６１は、例えば、図１１（ｂ）に示すようにクラブの角度が４５度の場合には、ボール位置Ｂ（ｘ，ｙ）以下の領域の画素値を０に書き換える。
この際、予想されたクラブの角度が４５度から１３５度の間である場合には、ボール位置となる基準位置（ｘ，ｙ）よりも手前方向へのスイングは行われないために、基準位置の左側の（図において紙面に対して基準位置より右側）の領域の画素値を０に書き換える。つまり、図中において、指示されるＢ領域が非投票領域となり除去の対象となる。
なお、図１１（ｃ）は、クラブの角度が４５度の場合の非投票領域の決定の一例を示す模式図であり、図１１（ｄ）は、クラブの角度が１３５度付近の場合における非投票領域の決定の一例を示す模式図である。
【００７６】
また、非投票領域除去部５６１は、例えば、図１１（ｄ）に示すようにクラブの角度が１３５度付近の場合には、ボール位置Ｂ（ｘ，ｙ）以下の領域の画素値を０に書き換える。
また、クラブの角度が１３５度付近の場合には、クラブ位置は、基準位置（Ｂ（ｘ，ｙ））から離れるために、クラブの離れた領域分を非投票領域として除去対象とする。クラブの離れた領域分は、以下の式（４）により算出される。
【数４】
2012212373.tif 000006
なお、Ｄｘはクラブ端部位置のｘ座標値を示し、Ｂｘは基準位置（ボール位置）のｘ座標値を示し、θは予想されるクラブの角度を示す。
【００７７】
ステップＳ３４において、非投票領域除去部５６１は、被写体の下半身位置以下の画素値を０に書き換える。ここで、基準となる被写体の下半身以下の領域の判断の仕方としては、算出されたクラブの回転角度がほぼ９０度となったときのクラブの位置を基準として判断すれば良い。
非投票領域除去部５６１は、クラブの角度が１３５度から２１０度までの間の場合には、被写体の下半身を特定して、下半身以下の領域の画素値を０に書き換える。
【００７８】
ステップＳ３５において、非投票領域除去部５６１は、被写体の下半身位置以下の画素値を０に書き換える。
非投票領域除去部５６１は、クラブの角度が２１０度から２７０度までの間の場合には、被写体の下半身を特定して、下半身以下の領域の画素値を０に書き換える。
さらに、基準位置よりも左側の領域（図において左側の領域）へのスイングは行われないために、ボールの位置よりも左側の領域の画素値を０に書き換える。
【００７９】
ステップＳ３６において、非投票領域除去部５６１は、ボールより左側の画素値を０にする。非投票領域除去部５６１は、クラブの角度が２７０度から３２０度までの間の場合には、ボール位置である基準位置から左側（図中、紙面に対して基準位置より左側）の領域の画素値を除去対象とする。この際、ボールの左側（図中、右側）の領域の画素値を０に書き換える。
【００８０】
上述したように予想されるクラブ位置に応じて、非投票領域が決定され、非投票領域の画素値が０に書き換えられる。
なお、撮像順に比して、クラブの角度の変化の度合いが低くなった場合、クラブの運動は、アドレスからトップへの運動とは逆回転の運動になる（クラブの運動がトップからインパクトへの運動に切り換わる）可能性が高いため、上述したクラブ位置の予想とは逆の予想がされることになる。つまり、クラブの運動がトップからインパクトへの運動に切り換わると予想される。
即ち、本実施例では、スイング動作におけるクラブの角度は、撮像順が進むと共に、０度から４５度、４５度から１３５度、１３５度から２１０度、２１０度から２７０度、そして２７０度から３２０度と変化するため、スイング動作がアドレスからトップへの動作であると予想され、その後は、スイング動作がトップにいくに従って、一般的に、クラブの角度の変化が減少していく。そして、クラブの角度は、上述の動作とは逆に、３２０度から２７０度、２７０度から２１０度、２１０度から１３５度、１３５度から４５度、そして、４５度から０度と変化するため、スイング動作は、トップからインパクト間の動作であると予想される。また、インパクト以降のスイングの動作も同様に予想される。
【００８１】
従って、撮像装置１においては、スイングの一連の動作を撮像した撮像画像から、各撮像画像でのクラブの角度を決定して、スイングの姿勢を特定するグラフを作成することができる。
【００８２】
以上のように構成される撮像装置１は、画像取得部５１と、差分画像生成部５４と、強調画像生成部５５と、ハフ変換部５６２と、角度決定部１５１と、を備える。
画像取得部５１は、被写体の動きが連続的に撮像された複数の画像のデータを取得する。
差分画像生成部５４は、画像取得部５１により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する。
強調画像生成部５５は、差分画像生成部５４により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する。
ハフ変換部５６２は、強調画像生成部５５により生成された画像のデータに演算処理（ハフ変換処理）をする。
角度決定部１５１は、ハフ変換部５６２による演算結果に基づいて、被写体の動きの変化点を特定する。
【００８３】
従って、本発明の撮像装置１では、取得した一連の撮像画像からクラブの角度を特定することができる。また、特定されたクラブの角度に基づいて、被写体のスイング姿勢を特定することができる。さらに、被写体のスイング姿勢によって、スイングの評価等に用いることができる。
【００８４】
また、撮像装置１は、ハフ変換部５６２によるハフ変換の投票結果に基づいて、角度決定部１５１により特定されたクラブの角度を表すグラフのデータを作成するグラフ化部１５２を更に備える。
【００８５】
従って、撮像装置１では、連写画像におけるクラブの角度の変化を可視化したグラフを作成することができる。ユーザは、グラフにより、クラブの角度の変化を容易に認識することができる。
【００８６】
また、撮像装置１は、基準位置決定部５２と、非投票領域除去部５６１と、を更に備える。
基準位置決定部５２は、画像取得部５１により取得された複数の画像のデータについての基準位置の指定を検出する。
非投票領域除去部５６１は、基準位置決定部５２により検出された基準位置に基づいて、ハフ変換部５６２により生成された画像のデータの一部の領域のデータを、他のデータに置換することによって、領域を演算処理の対象から除去する。
ハフ変換部５６２は、非投票領域除去部５６１により領域が除去された画像に演算処理（ハフ変換処理）をする。
【００８７】
従って、撮像装置１では、ハフ変換における不要な直線が摘出されることなく、ゴルフクラブの抽出精度を高くすることができる。
【００８８】
また、撮像装置１は、比較用グラフ抽出部４３と、表示制御部４４と、を更に備える。
比較用グラフ抽出部４３は、グラフ化部１５２により生成されたグラフのデータと比較をするための他のグラフのデータを設定する。
表示制御部４４は、比較用グラフ抽出部４３により設定された他のグラフのデータを第３生成手段により生成されたグラフのデータに重畳させて表示出力するように制御する。
【００８９】
従って、撮像装置１では、例えば、自分のスイング動作におけるクラブの角度の変化を示すグラフに比較用グラフとなるプロのクラブの角度の変化を示すグラフを重ねて表示することができる。これにより、ユーザは、他者との比較を容易に理解することができる。また、比較用グラフとしては、プロのクラブの角度の変化に限られず、過去に解析した自分のスイング動作をグラフに重ねて比較するようにしても良い。
【００９０】
また、撮像装置１は、複数の画像のデータを輝度画像のデータに変換する輝度画像変換部をさらに備える。
差分画像生成部５４は、前記輝度画像のデータから差分画像のデータを生成する。
【００９１】
被写体の動きは、本実施形態においては、ゴルフの一連のスイング動作である。なお、被写体の動きは、ゴルフのスイング運動に限られず、棒状体が姿勢の変化と共に移動するようなものであればよく、例えば、野球、剣道、弓道等の動きであってもよい。
【００９２】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９３】
なお、前後のフレームを比較して、異常な角度になっているフレームは、グラフの対象としない。従って、図に示すように、異常な値を示した画像部分は空欄となる。
【００９４】
また、上述の実施形態では、強調画像生成部５５は、強調画像を差分画像の画素値と、１つ前の差分画像の画素値とをかけ合わせる（乗算する）ことにより生成したがこれに限られない。強調画像生成部５５は、強調した画像を生成できればよく、例えば、各々の画素値を足しても引いて（加算・減算して）も良い。また、強調画像の生成に際しては、強調対象の画像より１つ前の差分画像を使用したが、これに限られず、当該強調対象の画像よりも１つ後ろの差分画像を用いても良いし、複数枚（３枚以上）の画像を用いることによって強調画像を生成するようにしても良い。
【００９５】
また、上述の実施形態では、重み付け部５６３は、投票結果において、推測されるクラブ位置付近の領域が高く評価されるように構成したがこれに限られない。すなわち、投票結果において、推測されるクラブ位置付近の領域が相対的に高く評価されれば良いため、例えば、推測されるクラブ位置付近の領域以外の領域が低く評価されるように構成してもよい。
【００９６】
また、上述の実施形態では、右利きのスイングを行う者を被写体として撮像し、その撮像画像からクラブ位置の変化を表したグラフを作成する例について説明したが、左利きのスイングを行う者を被写体として撮像し、その撮像画像からクラブ位置の変化を表したグラフを作成することも可能である。この場合には、上述した実施形態とは、逆のアルゴリズムを用いて処理を行ったり、撮像画像を周知の鏡像処理を使用して反転させて処理を行ったりすること等により可能となる。
【００９７】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、グラフ表示処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００９８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２及び図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２及び図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００９９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１００】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。
【０１０１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
【０１０２】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態をとることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０３】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段と、
前記取得手段により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する第１生成手段と、
前記第１生成手段により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する第２生成手段と、
前記第２生成手段により生成された画像のデータに演算処理をする演算手段と、
前記演算手段による演算結果に基づいて、前記被写体の動きの変化点を特定する特定手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記演算手段による演算結果に基づいて、前記特定手段により特定された変化点を表すグラフのデータを作成する第３生成手段をさらに備えることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記取得手段により取得された前記複数の画像のデータについての基準位置の指定を検出する検出手段と、
前記検出手段により検出された前記基準位置に基づいて、前記演算手段による演算処理のために、前記２生成手段により生成された前記画像のデータの一部の領域のデータを、他のデータに置換することによって、前記領域を演算処理の対象から除去する除去手段と、
をさらに備え、
前記演算手段は、前記除去手段により前記領域が除去された前記画像に演算処理をすることを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記第３生成手段により生成された前記グラフのデータと比較をするための他のグラフのデータを設定する設定手段と、
前記設定手段により設定された他のグラフのデータを前記第３生成手段により生成されたグラフのデータに重畳させて表示出力するように制御する表示制御手段と、
をさらに備えることを特徴とする付記２に記載の画像処理装置。
［付記５］
前記複数の画像のデータを輝度画像のデータに変換する変換手段をさらに備え、
前記第１生成手段は、前記輝度画像のデータから差分画像のデータを生成することを特徴とする付記１乃至４記載の画像処理装置。
［付記６］
前記被写体の動きは、ゴルフの一連のスイング動作である、
ことを特徴とする付記１乃至５の何れか１項に記載の画像処理装置。
［付記７］
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得ステップと、
前記取得ステップの処理により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する第１生成ステップと、
前記第１生成ステップの処理により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する第２生成ステップと、
前記第２生成ステップの処理により生成された画像のデータに演算処理をする演算ステップと、
前記演算ステップの処理による演算結果に基づいて、前記被写体の動きの変化点を特定する特定ステップと、
を含むことを特徴とする画像処理方法。
［付記８］
コンピュータを、
被写体の動きが連続的に撮像された複数の画像のデータを取得する取得手段、
前記取得手段により取得された複数の画像のデータから、時間的に隣接した前記複数の画像のデータ間の差分画像のデータを夫々生成する第１生成手段、
前記第１生成手段により生成された差分画像のデータから、被写体の動きを特定するための画像のデータを生成する第２生成手段、
前記第２生成手段により生成された画像のデータに演算処理をする演算手段、
前記演算手段による演算結果に基づいて、前記被写体の動きの変化点を特定する特定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１０４】
１・・・撮像装置，１４・・・画像処理部，１５・・・グラフ作成部，１６・・・バス，１７・・・入出力インターフェース，１８・・・撮像部，１９・・・入力部，２０・・・出力部，２１・・・記憶部，２２・・・通信部，２３・・・ドライブ，３１・・・リムーバブルメディア，４１・・・撮像制御部，４２・・・グラフ対応画像抽出部，４３・・・比較用グラフ取得部，４４・・・表示制御部，５１・・・画像取得部，５２・・・基準位置決定部，５３・・・輝度画像変換部，５４・・・差分画像生成部，５５・・・強調画像生成部，５６・・・ハフ変換処理部，１５１・・・角度決定部，１５２・・・グラフ化部，１５３・・・姿勢特定部，５６１・・・非投票領域除去部，５６２・・・ハフ変換部，５６３・・・重み付け部，５６４・・・投票結果特定部
【図１】
2012212373.tif 000007
【図２】
2012212373.tif 000008
【図３】
2012212373.tif 000009
【図４】
2012212373.tif 000010
【図８】
2012212373.tif 000011
【図９】
2012212373.tif 000012
【図１０】
2012212373.tif 000013
【図５】
2012212373.tif 000014
【図６】
2012212373.tif 000015
【図７】
2012212373.tif 000016
【図１１】
2012212373.tif 000017