(57)【要約】【課題】対象者の動きについてよりわかり易く計測結果を提示すること。【解決手段】解析システムＳの処理装置３は、画像取得部３５７と、センサ情報取得部３５６と、解析処理部３５８と、画像生成部３５９とを備える。画像取得部３５７は、対象者が撮影された画像を取得する。センサ情報取得部３５６は、対象者の動きをセンサによって計測した計測結果を取得する。解析処理部３５８は、センサ情報取得部３５６によって取得された計測結果に基づいて、対象者の動きを示す指標を生成する。画像生成部３５９は、画像取得部３５７によって取得された画像と、解析処理部３５８によって生成された指標とを共に出力部３１９に表示させる。【選択図】図９
2020205608.tif 000002
【特許請求の範囲】
【請求項１】
対象者が撮影された画像を取得する画像取得手段と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記指標生成手段は、前記計測結果に基づいて前記対象者の３次元的な動きを示す指標を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記計測結果取得手段は、前記対象者に装着されたセンサによって計測された前記計測結果を取得することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像取得手段は、前記対象者を撮影する撮影装置によって撮影された前記画像を取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記対象者の画像に前記指標を重ねて表示することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記対象者の画像において、前記対象者の身体における前記センサが動きを計測した位置と対応する位置に、前記指標を重ねて表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記対象者の画像の周囲に前記指標を表示することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記対象者の画像の周囲において、前記対象者の身体における前記センサが動きを計測した位置と対応付けて、前記指標を表示することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記計測結果取得手段は、前記対象者の身体における複数の部位の動きをセンサによって計測した計測結果を取得し、
前記指標生成手段は、前記複数の部位について前記指標を生成し、
前記表示制御手段は、前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記複数の部位の前記指標とを対応付けて表示手段に表示させることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記画像取得手段によって取得された前記画像のうち、時系列における間欠的な画像と、前記指標生成手段によって生成された前記指標とを対応付けて表示手段に表示させることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記表示制御手段は、前記指標を透過的に表示することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、前記対象者の動きのガイドとなる画像を表示し、前記対象者の動きと前記ガイドとなる画像との重なり度合いに応じて、前記指標の透過率を変化させることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記表示制御手段は、前記指標の動きに対して固定的に表示される軸を表示することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
対象者の画像を撮影する撮影手段を備える撮影装置と、
前記対象者に装着され、前記対象者の動きをセンサによって計測する計測手段を備える検出装置と、
前記撮影装置から、前記対象者が撮影された画像を取得する画像取得手段と、
前記検出装置から、前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、を備える画像処理装置と、
を含むことを特徴とする解析システム。
【請求項１５】
画像処理装置が実行する画像処理方法であって、
対象者が撮影された画像を取得する画像取得ステップと、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得ステップと、
前記計測結果取得ステップにおいて取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成ステップと、
前記画像取得ステップにおいて取得された前記画像と、前記指標生成ステップにおいて生成された前記指標とを共に表示手段に表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法。
【請求項１６】
画像処理装置を制御するコンピュータに、
対象者が撮影された画像を取得する画像取得機能と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得機能と、
前記計測結果取得機能によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成機能と、
前記画像取得機能によって取得された前記画像と、前記指標生成機能によって生成された前記指標とを共に表示手段に表示させる表示制御機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、解析システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、スポーツ技術向上等を目的として、対象者の運動を解析するための様々な技術が検討されている。
例えば、特許文献１には、スイング運動解析技術の分野において対象者の動作に関する情報をセンサにより取得し、該センサ情報に応じて指標画像を生成し、ユーザに表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−００２９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術においては、対象者に装着されたセンサから得られた情報に基づいて指標画像を生成することはできるものの、生成された指標画像を表示するのみでは装着者の動きを十分に表すことが困難である。
このように、従来の技術においては、対象者の動きについてわかり易く計測結果を提示することが困難であった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、対象者の動きについてよりわかり易く計測結果を提示することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
対象者が撮影された画像を取得する画像取得手段と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、対象者の動きについてよりわかり易く計測結果を提示することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る解析システムの構成を示すシステム構成図である。
【図２】解析システムの使用形態例を示す模式図である。
【図３】センサユニットのハードウェアの構成を示すブロック図である。
【図４】撮影装置のハードウェア構成を示すブロック図である。
【図５】処理装置のハードウェア構成を示すブロック図である。
【図６】センサユニットの機能的構成のうち、情報検出処理を実行するための機能的構成を示す機能ブロック図である。
【図７Ａ】センサユニットの装着状態を示す模式図である。
【図７Ｂ】センサユニットによって検出される情報の例を示す模式図である。
【図８】撮影装置の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
【図９】処理装置の機能的構成のうち、解析結果表示処理を実行するための機能的構成を示す機能ブロック図である。
【図１０】リアルタイムモードにおける表示例を示す模式図である。
【図１１】ワンショットモードにおける表示例を示す模式図である。
【図１２】ゴルフのスイングにおける特徴的なポイントの簡易表示画像の表示例を示す模式図である。
【図１３】センサユニットが実行する情報検出処理の流れを説明するフローチャートである。
【図１４】撮影装置が実行する撮影処理の流れを説明するフローチャートである。
【図１５】処理装置が実行する解析結果表示処理の流れを説明するフローチャートである。
【図１６】ワンショットモードにおける各装置間の処理のタイミングを概略的に示す模式図である。
【図１７】ＢＯＸアニメーションの表示形態例を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
［システム構成］
図１は、本発明の一実施形態に係る解析システムＳの構成を示すシステム構成図である。また、図２は、解析システムＳの使用形態例を示す模式図である。
図１及び図２に示すように、解析システムＳは、センサユニット１と、撮影装置２と、処理装置３と、を含んで構成される。また、処理装置３とセンサユニット１及び撮影装置２とはＢｌｕｅｔｏｏｔｈ  ｌｏｗ  ｅｎｅｒｇｙ／Ｂｌｕｅｔｏｏｔｈ  ＬＥ（商標）（以下、「ＢＬＥ」と称する。）によって通信可能に構成され、撮影装置２とセンサユニット１及び処理装置３とは、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）によって通信可能に構成される。
センサユニット１は、計測対象に装着され、計測対象の動きをセンシングしてセンサ情報を処理装置３に送信する。本実施形態においては、ゴルフのスイングの動作をする者（以下、「計測対象者Ｐ」と称する。）の腰等にセンサユニット１を装着し、当該動作をセンシングする。
【００１１】
撮影装置２は、計測対象を撮影し、計測対象の動きを表す動画のデータを処理装置３に送信する。本実施形態においては、撮影装置２は、ゴルフのスイングの動作をする計測対象者Ｐの動画を撮影する。
【００１２】
処理装置３は、計測対象に装着したセンサユニット１から取得したセンサ情報を解析し、解析結果（本実施形態においては、計測対象の姿勢変化や移動の状態）を、センサ情報が取得された計測対象の動きを表す動画と併せて表示する。本実施形態においては、処理装置３は、計測対象の解析結果を、計測対象の３次元的な動きを模式的に示す箱型のオブジェクト（計測対象の３次元的な動きを示す指標）によってアニメーション表示する。また、処理装置３は、計測対象の解析結果が表示されるまでの間に、センサ情報に基づいて、計測対象の動きを概略的に表す画像を表示する。
【００１３】
［ハードウェア構成］
図３は、センサユニット１のハードウェアの構成を示すブロック図である。
センサユニット１は、計測対象の動きを検出する各種センサを備えた装置として構成される。
図３に示すように、センサユニット１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１３と、バス１１４と、入出力インターフェース１１５と、センサ部１１６と、入力部１１７と、出力部１１８と、記憶部１１９と、通信部１２０と、を備えている。なお、センサユニット１は、半導体メモリ等よりなるリムーバブルメディアを装着可能な構成としてもよい。
【００１４】
ＣＰＵ１１１は、ＲＯＭ１１２に記録されているプログラム、または、記憶部１１９からＲＡＭ１１３にロードされたプログラムに従って各種の処理を実行する。
【００１５】
ＲＡＭ１１３には、ＣＰＵ１１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１６】
ＣＰＵ１１１、ＲＯＭ１１２及びＲＡＭ１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インターフェース１１５も接続されている。入出力インターフェース１１５には、センサ部１１６、入力部１１７、出力部１１８、記憶部１１９及び通信部１２０が接続されている。
【００１７】
センサ部１１６は、３軸方向の加速度を測定する３軸加速度センサと、３軸方向の角速度を測定する３軸角速度センサと、３軸方向の地磁気を測定する３軸地磁気センサとを備えている。センサ部１１６は、予め設定されたサンプリング周期（例えば、０．００１秒）毎に、３軸加速度センサ、３軸角速度センサ及び３軸地磁気センサによって３軸方向の加速度、角速度及び地磁気を測定する。センサ部１１６によって測定された加速度及び角速度のデータは、測定時刻のデータと対応付けて、記憶部１１９に記憶あるいは処理装置３に送信される。
【００１８】
入力部１１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１１８は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する。
記憶部１１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
通信部１２０は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施形態において、通信部１２０は、ＢＬＥ（登録商標）によって処理装置３と通信したり、Ｗｉ−Ｆｉによって撮影装置２と通信したりする。
【００１９】
図４は、撮影装置２のハードウェア構成を示すブロック図である。
撮影装置２は、画像の撮影機能を備え、例えば、デジタルカメラによって構成される。本実施形態において、撮影装置２は、ディスプレイと分離して撮影機能がユニット化された装置として構成される。
図４に示すように、撮影装置２は、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３と、バス２１４と、入出力インターフェース２１５と、撮像部２１６と、入力部２１７と、出力部２１８と、記憶部２１９と、通信部２２０と、ドライブ２２１と、を備えている。
これらのうち、撮像部２１６、通信部２２０及びドライブ２２１以外の構成は、図３において対応する各部分と同様である。
【００２０】
撮像部２１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２１】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２２】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２１６の出力信号として出力される。
このような撮像部２１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ２１１等に適宜供給される。
【００２３】
通信部２２０は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施形態において、通信部２２０は、ＢＬＥ（登録商標）によって処理装置３と通信したり、Ｗｉ−Ｆｉによって撮影装置２及び処理装置３と通信したりする。
ドライブ２２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２３１が適宜装着される。ドライブ２２１によってリムーバブルメディア２３１から読み出されたプログラムは、必要に応じて記憶部２１９にインストールされる。また、リムーバブルメディア２３１は、記憶部２１９に記憶されている画像のデータ等の各種データも、記憶部２１９と同様に記憶することができる。
【００２４】
図５は、処理装置３のハードウェア構成を示すブロック図である。
処理装置３は、情報表示機能を備えた情報処理装置であり、例えば、スマートフォンとして構成される。
【００２５】
図５に示すように、処理装置３は、ＣＰＵ３１１と、ＲＯＭ３１２と、ＲＡＭ３１３と、バス３１４と、入出力インターフェース３１５と、撮像部３１６と、センサ部３１７と、入力部３１８と、出力部３１９と、記憶部３２０と、通信部３２１と、ドライブ３２２と、を備えている。なお、ドライブ３２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３３１が適宜装着される。
これらのうち、入力部３１８、出力部３１９及び通信部３２１以外の構成は、図３及び図４において対応する各部分と同様である。
【００２６】
入力部３１８は、各種釦やタッチパネル等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部３１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
通信部３２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。また、通信部３２１は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施形態において、通信部３２１は、ＢＬＥ（登録商標）によってセンサユニット１及び撮影装置２と通信したり、Ｗｉ−Ｆｉによって撮影装置２と通信したりする。
【００２７】
［機能的構成］
図６は、センサユニット１の機能的構成のうち、情報検出処理を実行するための機能的構成を示す機能ブロック図である。
情報検出処理とは、解析システムＳが計測対象の動きを解析する際に、計測対象に装着されたセンサユニット１が計測対象の動きをセンシングする一連の処理である。
情報検出処理が実行される場合、図６に示すように、ＣＰＵ１１１において、第１通信制御部１５１と、第２通信制御部１５２と、キャリブレーション実行部１５３と、モード設定部１５４と、同期制御部１５５と、検出処理部１５６と、センサ情報送信制御部１５７とが機能する。
また、記憶部１１９の一領域には、センサ情報記憶部１７１が設定される。
【００２８】
第１通信制御部１５１は、センサユニット１のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。
第２通信制御部１５２は、センサユニット１のＷｉ−Ｆｉによる通信を制御し、他の装置とのデータの送受信処理を実行する。
【００２９】
キャリブレーション実行部１５３は、処理装置３からの指示に応じて、基準となる状態におけるセンサ情報を取得し、取得結果を基準値とするキャリブレーションを実行する。本実施形態においては、キャリブレーション実行部１５３は、センサユニット１が計測対象者Ｐの腰に装着され、ゴルフのスイングを行うための位置にアドレスした姿勢を取った状態を基準とし、この状態で取得されたセンサ情報が基準値とされる。
【００３０】
図７Ａは、センサユニット１の装着状態を示す模式図、図７Ｂはセンサユニット１によって検出される情報の例を示す模式図である。
キャリブレーションが行われる場合、図７Ａに示すように、例えば、センサユニット１がベルト等によって計測対象者Ｐの腰に装着され、計測対象者Ｐがゴルフのスイングを行うための位置で、ボールに向かいアドレスした姿勢で所定時間（例えば２秒）静止する。このとき、図７Ｂに示すように、センサユニット１は、３軸加速度センサによって検出される重力方向及び３軸地磁気センサによって検出される方位を基準として、センサ情報（身体の前後方向の傾斜角度、左右方向の傾斜角度及び鉛直軸周りの回転角度）を取得し、取得された各センサ情報をアドレス時の基準値とする。そして、以降、計測対象者Ｐがスイングを行う際に、センサユニット１において検出される各センサ情報が、所定時間（例えば２秒）以上、アドレス時の基準値に対し、各センサ情報について設定された閾値の範囲内となっている場合に、アドレスの状態であると検出される。
なお、図７Ｂに示す情報の他、センサユニット１は、３軸加速度センサを備えているため、センサユニット１の移動（平行移動等）についても検出可能であり、３軸地磁気センサを備えているため、センサユニット１が向いている方位についても検出可能である。
【００３１】
モード設定部１５４は、処理装置３からの指示に応じて、動作のモードを複数用意されたモードのいずれかに設定する。本実施形態において、解析システムＳでは、計測対象者Ｐのライブビュー画像と併せて、センサユニット１によって取得したセンサ情報から生成されたアニメーションを表示するリアルタイムモードと、計測対象者Ｐのゴルフのスイングの動画に、そのスイングにおいてセンサユニット１によって取得したセンサ情報から生成されたアニメーションを合成して表示するワンショットモードとが用意されている。
【００３２】
同期制御部１５５は、ワンショットモードに設定された後に、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。センサユニット１及び撮影装置２は、例えば、ＳＮＴＰ（Ｓｉｍｐｌｅ  Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）によって基準時刻の同期を行うことができる。
【００３３】
検出処理部１５６は、センサユニット１がリアルタイムモードに設定されている場合及びワンショットモードに設定されている場合に、各種センサ情報を逐次取得し、取得したセンサ情報を、取得された時刻と対応付けてセンサ情報記憶部１７１に記憶する。なお、センサ情報記憶部１７１に記憶されたセンサ情報は、取得された時刻から所定時間が経過した場合に順次破棄することとしてもよい。ただし、ワンショットモードにおいて、ゴルフのスイングのアドレスからスイング終了までに取得されたセンサ情報は、少なくとも処理装置３への送信が完了した後に破棄される。
また、検出処理部１５６は、ワンショットモードにおいて取得したセンサ情報に基づいて、ゴルフのスイングにおける所定の特徴的なポイントのタイミングを検出する。例えば、検出処理部１５６は、ワンショットモードにおいて取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるアドレス、トップ、ダウンスイング、インパクト、フォローの各ポイントのタイミングを検出する。
【００３４】
また、検出処理部１５６は、ワンショットモードにおいてアドレスのタイミングを検出した場合及びフォローのタイミングを検出した場合、アドレスのタイミングが検出されたことを示す信号（以下、「アドレス検出信号」と称する。）及びフォローのタイミングが検出されたことを示す信号（以下、「フォロー検出信号」と称する。）を、ＢＬＥによって処理装置３に逐次送信する。
【００３５】
さらに、検出処理部１５６は、ゴルフのスイングの開始から終了まで（以下、適宜「ワンショット」と称する。）の範囲を検出する。本実施形態において、検出処理部１５６は、計測対象者Ｐのゴルフのスイングにおけるアドレスからフォローまでのタイミングをワンショットの範囲として検出する。そして、検出処理部１５６は、検出したワンショットの範囲を示す信号（以下、「ワンショット範囲検出信号」と称する。）を、ＢＬＥによって処理装置３に送信する。
【００３６】
センサ情報送信制御部１５７は、検出処理部１５６によって取得されたセンサ情報を処理装置３に送信する制御を行う。本実施形態において、検出処理部１５６では、例えば、１０００サンプル／秒程度でセンサ情報を取得することができる。そして、センサ情報送信制御部１５７は、検出処理部１５６によって取得されたセンサ情報を、リアルタイムモードにおいては低いサンプリングレート（例えば、３０サンプル／秒程度）に変換して処理装置３に送信し、ワンショットモードにおいては高いサンプリングレート（例えば、２４０サンプル／秒程度）に変換して処理装置３に送信する。なお、ワンショットモードでは、ワンショットの範囲のセンサ情報が処理装置３に送信される。本実施形態において、センサ情報送信制御部１５７は、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ワンショットの範囲のセンサ情報に先行して処理装置３に送信する。このように、所定の特徴的なポイントのセンサ情報を先行して処理装置３に送信することで、処理装置３において、より早いタイミングで簡易表示画像の表示を行うことが可能となる。
【００３７】
また、センサ情報送信制御部１５７は、ワンショットモードにおいてセンサ情報を処理装置３に送信する場合、検出処理部１５６によって検出されたアドレス、トップ、ダウンスイング、インパクト、フォローの各ポイントのタイミングを、併せて処理装置３に送信する。
なお、本実施形態において、検出処理部１５６で取得されたセンサ情報は、各種センサの出力信号をそれぞれフィルタリングすることにより、ノイズの影響を抑制した波形に変換され、センサ情報送信制御部１５７は、処理結果のセンサ情報が表す波形から取得されるセンサ情報を処理装置３に送信する。
これにより、ノイズの影響によってばらつきが大きいセンサ情報よりも信頼度が高い情報を参照して、計測対象者Ｐの動きを解析することができる。
【００３８】
次に、撮影装置２の機能的構成について説明する。
図８は、撮影装置２の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、解析システムＳが計測対象の動きを解析する際に、センサユニット１によるセンサ情報の取得と同期して、計測対象の動き表す動画を撮影する一連の処理である。
撮影処理が実行される場合、図８に示すように、ＣＰＵ２１１において、第１通信制御部２５１と、第２通信制御部２５２と、撮影制御部２５３と、同期制御部２５４と、動画送信制御部２５５とが機能する。
また、記憶部２１９の一領域には、動画データ記憶部２７１が設定される。
【００３９】
第１通信制御部２５１は、撮影装置２のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。
第２通信制御部２５２は、撮影装置２のＷｉ−Ｆｉによる通信を制御し、他の装置とのデータの送受信処理を実行する。本実施形態において、Ｗｉ−Ｆｉによる通信が行われる場合、撮影装置２がアクセスポイント（ＡＰ）となり、他の装置がステーション（ＳＴ）となる。
【００４０】
撮影制御部２５３は、処理装置３からリアルタイムモードへの移行が指示された場合に、撮像部２１６を制御して、ライブビュー画像の撮影速度として予め設定された撮影速度（例えば、３０ｆｐｓ）でライブビュー画像を撮影する。また、撮影制御部２５３は、処理装置３から記録用の動画の撮影が指示された場合に、撮像部２１６を制御して、記録用の動画の撮影速度として予め設定された撮影速度（例えば、２４０ｆｐｓ）で記録用の動画を撮影する。なお、撮影された記録用の動画は、動画データ記憶部２７１に記憶される。
【００４１】
同期制御部２５４は、ワンショットモードに設定された後に、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。
動画送信制御部２５５は、撮影制御部２５３の制御によって撮影されたライブビュー画像または記録用の動画を処理装置３に送信する。具体的には、動画送信制御部２５５は、リアルタイムモードにおいて、処理装置３からライブビュー画像の撮影指示が行われた場合、撮影されたライブビュー画像を逐次処理装置３に送信する。また、動画送信制御部２５５は、ワンショットモードにおいて、処理装置３から記録用の動画の撮影指示が行われた場合、処理装置３から通知された記録用の動画の開始から終了までの範囲（即ち、ワンショットの範囲）を切り出して、処理装置３に送信する。
【００４２】
次に、処理装置３の機能的構成について説明する。
図９は、処理装置３の機能的構成のうち、解析結果表示処理を実行するための機能的構成を示す機能ブロック図である。
解析結果表示処理とは、撮影装置２によって撮影された動画に対応する時刻にセンサユニット１によって検出されたセンサ情報を解析して、計測対象者Ｐの身体の３次元的な動きを模したアニメーションを生成し、撮影装置２によって撮影された動画に合成して表示する一連の処理である。
解析結果表示処理が実行される場合、図９に示すように、ＣＰＵ３１１において、第１通信制御部３５１と、第２通信制御部３５２と、キャリブレーション管理部３５３と、モード制御部３５４と、ワンショット撮影管理部３５５と、センサ情報取得部３５６と、画像取得部３５７と、解析処理部３５８と、画像生成部３５９と、簡易表示生成部３６０と、書き出し処理部３６１とが機能する。
また、記憶部３２０の一領域には、動画データ記憶部３７１と、センサ情報記憶部３７２と、合成画像記憶部３７３とが設定される。
【００４３】
第１通信制御部３５１は、処理装置３のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。本実施形態において、ＢＬＥによる通信が行われる場合、処理装置３がマスタとなり、他の装置がスレーブとなる。
第２通信制御部３５２は、のＷｉ−Ｆｉによる通信を制御し、他の装置とのデータの送受信処理を実行する。
【００４４】
キャリブレーション管理部３５３は、センサユニット１に対し、キャリブレーションの実行を指示する。本実施形態において、センサユニット１におけるキャリブレーションは、センサユニット１の起動後、リアルタイムモードあるいはワンショットモードに移行する前に、一度実行される。
【００４５】
モード制御部３５４は、リアルタイムモードに移行するための操作が行われた場合に、ＢＬＥによって、センサユニット１及び撮影装置２に対し、リアルタイムモードへの移行を指示する。また、モード制御部３５４は、ワンショットモードに移行するための操作が行われた場合に、センサユニット１に対し、ワンショットモードへの移行を指示する。
【００４６】
ワンショット撮影管理部３５５は、リアルタイムモードにおいて、ワンショットの範囲の動画の撮影を管理する。具体的には、ワンショット撮影管理部３５５は、センサユニット１からアドレス検出信号を受信した場合、撮影装置２に対し、記録用の動画の撮影を指示する。また、ワンショット撮影管理部３５５は、センサユニット１からフォロー検出信号を受信した場合、撮影装置２に対し、記録用の動画の撮影の終了を指示する。さらに、ワンショット撮影管理部３５５は、センサユニット１からワンショット範囲検出信号を受信した場合、撮影装置２に対し、撮影された動画から切り出すワンショットの範囲を通知する。また、ワンショット撮影管理部３５５は、ワンショットモードにおいて、センサユニット１からセンサ情報の取得が完了した後、撮影装置２に動画の送信を指示する。
【００４７】
センサ情報取得部３５６は、リアルタイムモードにおいて、ライブビュー画像の撮影速度（例えば、３０ｆｐｓ）に対応する周期（低いサンプリングレート）のセンサ情報を、ＢＬＥによってセンサユニット１から逐次取得する。また、センサ情報取得部３５６は、ワンショットモードにおいて、記録用の動画の撮影速度（例えば、２４０ｆｐｓ）に対応する周期（高いサンプリングレート）のワンショットの範囲のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。また、本実施形態において、センサ情報取得部３５６は、ワンショットモードにおいて、ワンショットの範囲のセンサ情報を取得するのに先行して、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。
【００４８】
画像取得部３５７は、リアルタイムモードにおいて、撮影装置２から送信されるライブビュー画像を、Ｗｉ−Ｆｉによって逐次取得する。また、画像取得部３５７は、ワンショットモードにおいて、撮影装置２において記録用の動画が撮影され、ワンショットの範囲が切り出された後に、その切り出された動画を、Ｗｉ−Ｆｉによってまとめて取得する。
【００４９】
解析処理部３５８は、センサユニット１から取得した各種センサ情報を解析し、計測対象者Ｐの身体の３次元的な動きを模した箱型のオブジェクトによって表されるアニメーション（以下、適宜「ＢＯＸアニメーション」と称する。）の時間的な変化を表すデータを生成する。本実施形態において、解析処理部３５８は、リアルタイムモードにおいては、ライブビュー画像の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを生成する。また、解析処理部３５８は、ワンショットモードにおいては、記録用の動画の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを生成する。
【００５０】
画像生成部３５９は、リアルタイムモードにおいて取得されるライブビュー画像に、解析処理部３５８によって生成されたＢＯＸアニメーションを併せて表示する。
図１０は、リアルタイムモードにおける表示例を示す模式図である。
図１０に示すように、リアルタイムモードにおいて、画像生成部３５９は、例えば、計測対象者Ｐを中央に表示すると共に、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションＡｎを表示する。なお、計測対象者Ｐの画像の周囲であって、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置に近い位置に、ＢＯＸアニメーションＡｎを表示することとしてもよい。さらに、画像生成部３５９は、ＢＯＸアニメーションＡｎに対応するセンサ情報の数値を画像内の所定位置（ここでは左下）に表示する。具体的には、図１０に示す例では、身体の前後方向の傾斜角度として「前傾：２１度」、鉛直軸周りの回転角度として「回転：１５度」、左右方向の傾斜角度として「水平：７度」が表示されている。
【００５１】
また、画像生成部３５９は、ワンショットモードにおいて取得される記録用の動画に、解析処理部３５８によって生成されたＢＯＸアニメーションを合成して表示する。以下、このように画像生成部３５９によって表示される画像を、適宜「解析結果動画」と称する。
図１１は、ワンショットモードにおける表示例を示す模式図である。
図１１に示すように、ワンショットモードにおいて、画像生成部３５９は、例えば、計測対象者Ｐの動画像に、ＢＯＸアニメーションＡｎを透過させて重畳することにより、解析結果動画を表示する。また、本実施形態において、ＢＯＸアニメーションＡｎには、センサユニット１の軸（ここでは上下方向及び左右方向）を示す直線が併せて表示される。センサユニット１の軸は、センサユニット１の動きと共に移動する。また、本実施形態において、ワンショットモードにおける表示例では、表示画面に固定された軸（即ち、絶対座標を表す軸）が併せて表示されている。
なお、ＢＯＸアニメーションの時間的な変化は、撮影された計測対象者Ｐの動画のタイミングと対応付けて表示される。
【００５２】
ワンショットモードにおけるセンサ情報及び計測対象者Ｐの動画をこのように表示することで、ＢＯＸアニメーションによって、計測対象者Ｐの身体の動きの傾向をわかり易く示すことができると共に、ＢＯＸアニメーションには表れ難い身体の状態をセンサ情報によって明確に示すことが可能となる。また、センサユニット１の軸と表示画面に固定された軸とが併せて表示されることで、計測対象者Ｐの平行移動等も表示することができ、計測対象者Ｐの身体の動きがより把握し易いものとなる。
【００５３】
簡易表示生成部３６０は、ワンショットモードにおいて、ワンショットの範囲のセンサ情報に先行して取得した計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のデータを参照し、予め用意されている各特徴的なポイントに対応するスイングの画像に、それぞれのセンサ情報の数値を併せて順に表示する。なお、以下、簡易表示生成部３６０によって表示される一連の画像を、適宜「簡易表示画像」と称する。
【００５４】
ここで、ワンショットモードにおいて、センサユニット１がセンサ情報を取得すると共に、撮影装置２が動画の撮影を行った場合、処理装置３では、初めに、センサ情報取得部３５６によってセンサユニット１からセンサ情報を取得する。次いで、画像取得部３５７によって、撮影装置２から記録用の動画のデータを取得する。このとき、画像取得部３５７は撮影装置２から記録用の動画のデータを取得するためには、データ量が比較的大きいことから、一定の時間を要することとなる。そこで、本実施形態においては、画像取得部３５７が撮影装置２から記録用の動画のデータの取得を開始した後、簡易表示生成部３６０が簡易表示画像の表示を行う。そして、簡易表示生成部３６０は、画像取得部３５７が撮影装置２から記録用の動画のデータの取得を完了した後、画像生成部３５９が記録用の動画にＢＯＸアニメーションを合成して表示するまでの間、簡易表示画像の表示を継続する。
【００５５】
図１２は、ゴルフのスイングにおける特徴的なポイントの簡易表示画像の表示例を示す模式図である。
図１２に示すように、簡易表示生成部３６０は、ゴルフのスイングにおけるアドレス、トップ、ダウンスイング、インパクト、フォローの各特徴的なポイントを示す予め用意された画像に対し、計測対象者Ｐのスイングにおいて、対応する特徴的なポイントのセンサ情報の数値を併せて表示する。
なお、簡易表示生成部３６０が簡易表示画像を表示する場合、各特徴的なポイントの簡易表示画像を所定時間ずつ順次表示し、フォローの簡易表示画像まで表示された後は、トップの簡易表示画像に戻って、循環的に各簡易表示画像を表示することが可能である。
簡易表示画像を表示することにより、一定の意義を有する計測対象者Ｐの動きに関する情報を先行して提示することができる。
また、図１２においてはアドレス時点での計測対象者Ｐの身体の前後方向及び左右方向の傾斜角度を０として表示を行ってもよく、アドレス時点からの計測対象者の身体の回転角度及び各種傾斜角度の変化量を表示させるように構成してもよい。
【００５６】
書き出し処理部３６１は、画像生成部３５９によって表示された解析結果動画を、所定の保存形式（ＭＰＥＧ等）のデータとして、記憶部３２０またはリムーバブルメディア３３１に書き出す。なお、書き出し処理部３６１は、解析結果動画の保存を指示する操作が行われた場合に、解析結果動画の書き出しを実行する。
【００５７】
［動作］
次に、解析システムＳの動作を説明する。
図１３は、センサユニット１が実行する情報検出処理の流れを説明するフローチャートである。
情報検出処理は、センサユニット１の起動と共に開始される。
【００５８】
ステップＳ１において、第１通信制御部１５１は、ＢＬＥによってスレーブとして処理装置３と接続する。
ステップＳ２において、キャリブレーション実行部１５３は、処理装置３からの指示に応じて、基準となる状態におけるセンサ情報を取得し、取得結果を基準値とするキャリブレーションを実行する。
【００５９】
ステップＳ３において、キャリブレーション実行部１５３は、キャリブレーションが完了したことをＢＬＥによって処理装置３に通知する。
ステップＳ４において、モード設定部１５４は、処理装置３からの指示に応じて、リアルタイムモードに設定する。
ステップＳ５において、検出処理部１５６は、各種センサ情報を逐次取得し、取得したセンサ情報を、取得された時刻と対応付けてセンサ情報記憶部１７１に記憶する処理を開始する。
【００６０】
ステップＳ６において、センサ情報送信制御部１５７は、検出処理部１５６によって取得されたセンサ情報を、低いサンプリングレート（例えば、３０サンプル／秒程度）に変換して処理装置３に逐次送信する。
ステップＳ７において、モード設定部１５４は、処理装置３からの指示に応じて、ワンショットモードに設定する。
【００６１】
ステップＳ８において、第２通信制御部１５２は、Ｗｉ−Ｆｉによってステーションとして撮影装置２と接続する。
ステップＳ９において、同期制御部１５５は、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。
【００６２】
ステップＳ１０において、検出処理部１５６は、取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるアドレスのポイントのタイミングを検出して、アドレス検出信号をＢＬＥによって処理装置３に送信する。
【００６３】
ステップＳ１１において、検出処理部１５６は、取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるフォローのポイントのタイミングを検出して、フォロー検出信号をＢＬＥによって処理装置３に送信する。
【００６４】
ステップＳ１２において、検出処理部１５６は、計測対象者Ｐのゴルフのスイングにおけるアドレスからフォローまでのタイミングをワンショットの範囲として検出し、ワンショット範囲検出信号を処理装置３に送信する。
ステップＳ１３において、検出処理部１５６は、取得したセンサ情報の波形を解析し、ゴルフのスイングにおけるトップ、ダウンスイング、インパクトの各ポイントのタイミングを逐次検出する。
【００６５】
ステップＳ１４において、センサ情報送信制御部１５７は、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ＢＬＥによって処理装置３に送信する。このように、所定の特徴的なポイントのセンサ情報を先行して処理装置３に送信することで、処理装置３において、より早いタイミングで簡易表示画像の表示を行うことが可能となる。なお、ステップＳ１３及びステップＳ１４の処理をステップＳ１２よりも先に実行することとしてもよい。
【００６６】
ステップＳ１５において、センサ情報送信制御部１５７は、ワンショットの範囲のセンサ情報を、高いサンプリングレート（例えば、２４０サンプル／秒程度）に変換してＢＬＥによって処理装置３に送信する。なお、ワンショットの範囲のセンサ情報を処理装置３に送信する場合、ステップＳ１４において既に送信した特徴的なポイントのセンサ情報を除いて送信することとしてもよい。この場合、同一のセンサ情報が重複して送信されることを抑制できるため、より効率的にセンサ情報を送信することができる。
ステップＳ１５の後、情報検出処理は終了する。
【００６７】
次に、撮影装置２が実行する撮影処理について説明する。
図１４は、撮影装置２が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、入力部２１７を介して撮影処理の開始を指示する操作が行われることにより開始される。
【００６８】
ステップＳ２１において、第１通信制御部２５１は、ＢＬＥによってスレーブとして処理装置３と接続する。
ステップＳ２２において、第２通信制御部２５２は、Ｗｉ−Ｆｉによってアクセスポイントとして処理装置３と接続する。
【００６９】
ステップＳ２３において、撮影制御部２５３は、処理装置３からリアルタイムモードへの移行が指示されることに応じて、撮像部２１６を制御して、ライブビュー画像の撮影速度として予め設定された撮影速度（例えば、３０ｆｐｓ）でライブビュー画像を撮影する処理を開始する。
ステップＳ２４において、動画送信制御部２５５は、撮影されたライブビュー画像を処理装置３に逐次送信する。
【００７０】
ステップＳ２５において、第２通信制御部２５２は、Ｗｉ−Ｆｉによってアクセスポイントとしてセンサユニット１と接続する。
ステップＳ２６において、同期制御部２５４は、Ｗｉ−Ｆｉによる通信を介して、センサユニット１及び撮影装置２における基準時刻の同期を行う。
【００７１】
ステップＳ２７において、撮影制御部２５３は、処理装置３から記録用の動画の撮影が指示されることに応じて、撮像部２１６を制御して、記録用の動画の撮影速度として予め設定された撮影速度（例えば、２４０ｆｐｓ）で記録用の動画を撮影する処理を開始する。
ステップＳ２８において、撮影制御部２５３は、処理装置３から記録用の動画の撮影の終了が指示されることに応じて、撮像部２１６を制御して、記録用の動画の撮影を終了する。
【００７２】
ステップＳ２９において、動画送信制御部２５６は、処理装置３からワンショットの範囲が通知されることに応じて、記録用の動画のワンショットの範囲を切り出す。
ステップＳ３０において、動画送信制御部２５６は、処理装置３から動画の送信が指示されることに応じて、ワンショットの範囲が切り出された動画を処理装置３に送信する処理を開始する。
ステップＳ３１において、動画送信制御部２５６は、ステップＳ３０において開始した動画の送信を完了する。
ステップＳ３１の後、撮影処理は終了する。
【００７３】
次に、処理装置３が実行する解析結果表示処理について説明する。
図１５は、処理装置３が実行する解析結果表示処理の流れを説明するフローチャートである。
解析結果表示処理は、入力部３１８を介して解析結果表示処理の開始を指示する操作が行われることにより開始される。
【００７４】
ステップＳ４１において、第１通信制御部３５１は、ＢＬＥによってマスタとしてセンサユニット１及び撮影装置２と接続する。
ステップＳ４２において、第２通信制御部３５２は、Ｗｉ−Ｆｉによってステーションとして撮影装置２と接続する。
ステップＳ４３において、キャリブレーション管理部３５３は、センサユニット１に対し、キャリブレーションの実行を指示する。
【００７５】
ステップＳ４４において、キャリブレーション管理部３５３は、センサユニット１からキャリブレーションの実行が完了したことの通知をＢＬＥによって受信する。
ステップＳ４５において、モード制御部３５４は、リアルタイムモードに移行するための操作（リモート撮影の指示）の入力を受け付ける。
ステップＳ４６において、モード制御部３５４は、ＢＬＥによって、センサユニット１及び撮影装置２に対し、リアルタイムモードへの移行を指示する。
【００７６】
ステップＳ４７において、センサ情報取得部３５６は、ライブビュー画像の撮影速度（例えば、３０ｆｐｓ）に対応する周期（低いサンプリングレート）のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。また、画像取得部３５７は、撮影装置２から送信されるライブビュー画像を、Ｗｉ−Ｆｉによって逐次取得する。
【００７７】
ステップＳ４８において、解析処理部３５８は、センサユニット１から取得したライブビュー画像の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを逐次生成すると共に、画像生成部３５９は、取得されたライブビュー画像に、解析処理部３５８によって生成されたＢＯＸアニメーションを併せて逐次表示する。
【００７８】
ステップＳ４９において、モード制御部３５４は、ワンショットモードに移行するための操作の入力を受け付ける。
ステップＳ５０において、モード制御部３５４は、ＢＬＥによって、センサユニット１に対し、ワンショットモードへの移行を指示する。このとき、モード制御部３５４は、センサユニット１に撮影装置２のＳＳＩＤ（Ｓｅｒｖｉｃｅ  Ｓｅｔ  ＩＤｅｎｔｉｆｉｅｒ）を併せて送信する。
【００７９】
ステップＳ５１において、ワンショット撮影管理部３５５は、センサユニット１からアドレス検出信号を受信することに応じて、撮影装置２に対し、記録用の動画の撮影を指示する。
ステップＳ５２において、ワンショット撮影管理部３５５は、センサユニット１からフォロー検出信号を受信することに応じて、撮影装置２に対し、記録用の動画の撮影の終了を指示する
【００８０】
ステップＳ５３において、ワンショット撮影管理部３５５は、センサユニット１からワンショット範囲検出信号を受信することに応じて、撮影装置２に対し、撮影された動画から切り出すワンショットの範囲を通知する。
【００８１】
ステップＳ５４において、センサ情報取得部３５６は、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のセンサ情報を、ＢＬＥによってセンサユニット１から受信する。
【００８２】
ステップＳ５５において、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイント（アドレス、トップ、ダウンスイング、インパクト、フォロー）のデータを参照し、予め用意されている各特徴的なポイントに対応するスイングの画像に、それぞれのセンサ情報の数値を併せて順に表示する。これにより、簡易表示画像が表示される。
【００８３】
ステップＳ５６において、センサ情報取得部３５６は、記録用の動画の撮影速度（例えば、２４０ｆｐｓ）に対応する周期（高いサンプリングレート）のセンサ情報を、ＢＬＥによってセンサユニット１から取得する。
【００８４】
ステップＳ５７において、ワンショット撮影管理部３５５は、撮影装置２から動画を受信する。
【００８５】
ステップＳ５８において、ワンショット撮影管理部３５５は、撮影装置２から動画の受信が完了したか否かの判定を行う。
撮影装置２から動画の受信が完了していない場合、ステップＳ５８においてＮＯと判定されて、処理はステップＳ５７に移行する。
一方、撮影装置２から動画の受信が完了した場合、ステップＳ５８においてＹＥＳと判定されて、処理はステップＳ５９に移行する。
【００８６】
ステップＳ５９において、解析処理部３５８は、センサユニット１から取得した記録用の動画の撮影速度に対応する周期のセンサ情報から、ＢＯＸアニメーションの時間的な変化を表すデータを生成する。
【００８７】
ステップＳ６０において、画像生成部３５９は、取得された記録用の動画に、解析処理部３５８によって生成されたＢＯＸアニメーションを合成して表示する。これにより、解析結果動画が表示される。
【００８８】
ステップＳ６１において、書き出し処理部３６１は、解析結果動画の保存を指示する操作が行われたか否かの判定を行う。
解析結果動画の保存を指示する操作が行われていない場合、ステップＳ６１においてＮＯと判定されて、解析結果表示処理は終了となる。
一方、解析結果動画の保存を指示する操作が行われた場合、ステップＳ６１においてＹＥＳと判定されて、処理はステップＳ６２に移行する。
【００８９】
ステップＳ６２において、書き出し処理部３６１は、画像生成部３５９によって表示された解析結果動画を、所定の保存形式（ＭＰＥＧ等）のデータとして、記憶部３２０またはリムーバブルメディア３３１に書き出す。
ステップＳ６２の後、解析結果表示処理は終了となる。
【００９０】
このような処理により、解析システムＳにおいては、計測対象者Ｐの身体の動きを計測して得られたセンサ情報と、計測対象者Ｐの動きを撮影した動画とを時刻を同期させて取得することができる。そして、センサ情報に基づいて、計測対象者Ｐの身体の３次元的な動きを模したＢＯＸアニメーションを生成し、撮影装置２によって撮影された動画に合成することにより、解析結果動画を表示することができる。
解析結果動画では、計測対象者Ｐ自身の動画と、計測対象者Ｐの３次元的な動きをわかり易く表すＢＯＸアニメーションと、計測対象者Ｐの身体の動きを計測して得られたセンサ情報とが時刻を同期させて表示される。
そのため、計測対象者Ｐの動きを撮影した動画のみからでは把握し難い情報を、ＢＯＸアニメーションによって直感的かつ容易に把握可能になると共に、時刻を同期させて表示されるセンサ情報によって、より詳細な動きの特徴を明確に把握することが可能となる。また、ＢＯＸアニメーションの時間的な変化はセンサ情報と対応付けられているため、ＢＯＸアニメーションを参照することによっても、正確な解析結果を把握することが可能となる。
【００９１】
また、解析システムＳでは、ワンショットモードにおいて、解析結果動画が表示されることに先行して、計測対象者Ｐの動きに関する所定の情報を表示することにより、無用な待機時間が生じることを抑制している。
図１６は、ワンショットモードにおける各装置間の処理のタイミングを概略的に示す模式図である。
図１６に示すように、ワンショットモードにおいて、処理装置３は、解析結果動画を表示するためにセンサ情報及び動画を取得する場合、まず、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイントのセンサ情報を取得する（図１５のステップＳ５４）そして、計測対象者Ｐの動きに関する情報を簡易表示画像として表示しながら（図１５のステップＳ５５）、ワンショットの範囲のセンサ情報を取得し（ステップＳ５６）、続いて、動画のデータを受信する（図１５のステップＳ５７）。そして、動画データの受信が完了し（図５のステップＳ５８：ＹＥＳ）、ＢＯＸアニメーションが生成され（図５のステップＳ５９）、解析結果動画の表示が可能となるまでの間（図５のステップＳ６０）、簡易表示画像を継続して表示する。
そのため、処理装置３が動画のデータを取得する時間を単に待つよりも、一定の意義を有する計測対象者Ｐの動きに関する情報を先行して表示できるため、ユーザは対象者の動きをより効率的に把握可能となる。
また、計測対象者Ｐの動きに関する情報を先行して提示することで、解析結果動画の生成に必要な最低限の時間に対して、提示した情報がユーザに閲覧される時間帯を付加的に創出することができる。そのため、解析結果動画の生成に費やす時間をより長く確保することが可能となり、より効果的な解析結果動画を提示することも可能となる。
【００９２】
また、解析システムＳにおいては、ワンショットモードにおいて、計測対象者Ｐのアドレスが自動的に検出され、記録用の動画を撮影することができる。
したがって、計測対象者Ｐは、アドレスしてスイングする、という動作を繰り返すことにより、記録用の動画を簡単な動作によって逐次撮影することができる。
【００９３】
［変形例１］
上述の実施形態において、ＢＯＸアニメーションの表示形態は、計測対象者Ｐの身体の３次元的な動きを模したものであれば、種々の変形を行うことが可能である。
図１７は、ＢＯＸアニメーションＡｎの表示形態例を示す模式図である。
図１７に示す例では、ＢＯＸアニメーションＡｎの視点として、正面視、上面視、左側面視等、複数の視点を選択可能になっており、図１７に示す例では、選択可能な視点のＢＯＸアニメーションＡｎが画面上部に小サイズで表示されている。
また、ＢＯＸアニメーションＡｎの表示色は、計測対象者Ｐの身体の３次元的な動きがよりわかり易い色に選択することができる。
図１７に示す例では、各視点のＢＯＸアニメーションＡｎの表示色がそれぞれ異なる色に設定されている。
なお、ＢＯＸアニメーションを計測対象者Ｐの動画に重畳表示する際に、背景の色を検出し、背景の色と同化し難い所定色（例えば、補色系の色等）を選択することとしてもよい。
【００９４】
［変形例２］
上述の実施形態において、リアルタイムモードにおける表示例として、計測対象者Ｐを中央に表示すると共に、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションＡｎを表示する場合について説明した。これに対し、リアルタイムモードにおいても、図１１に示すワンショットモードの表示例のように、計測対象者Ｐの動画像に、ＢＯＸアニメーションＡｎを透過させて重畳することとしてもよい。
また、反対に、ワンショットモードにおいても、図１０に示すリアルタイムモードの表示例のように、計測対象者Ｐを中央に表示すると共に、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションＡｎを表示してもよい。
【００９５】
［変形例３］
上述の実施形態において、１つのセンサユニット１を計測対象者Ｐの腰等に装着してセンサ情報を取得するものとして説明したが、これに限られない。即ち、複数のセンサユニット１を計測対象者Ｐの肩と腰等、複数の身体部位に装着し、これらの身体部位それぞれの動きを表すＢＯＸアニメーションを表示することとしてもよい。
この場合、計測対象者Ｐの身体部位毎の動きの相違（例えば、肩と腰の捩れ等）も表示することができ、より効果的に計測結果を提示することが可能となる。
また、センサユニット１を装着する身体部位は、腰の他、肩、首、腕、大腿部、頭部等とすることができる。
【００９６】
［変形例４］
上述の実施形態において、ワンショットモードにおける表示例では、計測対象者Ｐの動きの連続的な動画が表示される。これに対し、計測対象者Ｐの動きの間欠的な動画を表示することが可能である。
この場合、解析結果動画を生成するための処理負荷が低下し、より早期に解析結果動画を提示することが可能となる。
【００９７】
［変形例５］
上述の実施形態において、ＢＯＸアニメーションを計測対象者Ｐの動画像に透過させて重畳させる場合、その透過度は、目的に応じて種々異なる値を設定することができる。例えば、計測対象者Ｐが行うべき動きのガイドとして、人型のオブジェクトを表示する場合、計測対象者Ｐの身体と人型のオブジェクトとの重なりが大きいときは、ＢＯＸアニメーションの透過度を上げ（即ち、薄く表示し）、計測対象者Ｐの身体と人型のオブジェクトとの重なりが小さいときは、ＢＯＸアニメーションの透過度を下げる（即ち、濃く表示する）ことが可能である。
これにより、計測対象者Ｐの動きのガイドを表示する際に、ＢＯＸアニメーションをより効果的な形態で表示することができる。
【００９８】
［変形例６］
上述の実施形態において、撮影装置２によってセンサユニット１を装着した計測対象者Ｐを撮影することにより、センサユニット１の装着位置を自動的に判別することができる。
この場合、リアルタイムモードにおける表示例等で、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置に近い位置に、ＢＯＸアニメーションを表示する際に、ＢＯＸアニメーションの表示位置を自動的に決定することが可能となる。
【００９９】
以上のように構成される解析システムＳは、センサユニット１と、撮影装置２と、処理装置３とを備える。センサユニット１は、対象者に装着され、対象者の動きをセンサによって計測する検出処理部１５６を備える。撮影装置２は、対象者の画像を撮影する撮影制御部２５３を備える。処理装置３は、画像取得部３５７と、センサ情報取得部３５６と、解析処理部３５８と、画像生成部３５９とを備える。
画像取得部３５７は、対象者が撮影された画像を取得する。
センサ情報取得部３５６は、対象者の動きをセンサによって計測した計測結果を取得する。
解析処理部３５８は、センサ情報取得部３５６によって取得された計測結果に基づいて、対象者の動きを示す指標を生成する。
画像生成部３５９は、画像取得部３５７によって取得された画像と、解析処理部３５８によって生成された指標とを共に出力部３１９に表示させる。
これにより、対象者自身の動画と、対象者の動きをわかり易く表す指標と、対象者の身体の動きを計測して得られた計測結果とが併せて表示される。
そのため、対象者の動きを撮影した動画のみからでは把握し難い情報を、指標によって直感的かつ容易に把握可能になると共に、計測結果と共に指標が表示されることによって、動きの特徴を明確かつ正確に把握することが可能となる。
したがって、本発明によれば、対象者の動きについてよりわかり易く計測結果を提示することができる。
【０１００】
解析処理部３５８は、計測結果に基づいて対象者の３次元的な動きを示す指標を生成する。
これにより、対象者の動きをより直感的かつ容易に把握することが可能となる。
【０１０１】
解析処理部３５８は、計測結果に基づいて対象者の動きを示す指標として立体的な箱画像を生成する。
これにより、対象者の動きをより直感的かつ容易に把握することが可能となる。
【０１０２】
センサ情報取得部３５６は、対象者に装着されたセンサによって計測された計測結果を取得する。
これにより、より正確な計測結果を取得することができる。
【０１０３】
画像取得部３５７は、対象者を撮影する撮影装置によって撮影された画像を取得する。
これにより、より適切な対象者の画像を撮影することができる。
【０１０４】
画像生成部３５９は、対象者の画像に指標を重ねて表示する。
これにより、対象者の動きと指標の変化とを容易に把握することが可能となる。
【０１０５】
画像生成部３５９は、対象者の画像において、対象者の身体におけるセンサが動きを計測した位置と対応する位置に、指標を重ねて表示する。
これにより、対象者の身体の部位における動きをより容易に把握することが可能となる。
【０１０６】
画像生成部３５９は、対象者の画像の周囲に指標を表示する。
これにより、対象者の画像を認識し易い状態で、対象者の３次元的な動きを示す指標を表示することができる。
【０１０７】
画像生成部３５９は、対象者の画像の周囲において、対象者の身体におけるセンサが動きを計測した位置と対応付けて、指標を表示する。
これにより、対象者の画像を認識し易い状態で、対象者の身体の部位における動きをより容易に把握することが可能となる。
【０１０８】
センサ情報取得部３５６は、対象者の身体における複数の部位の動きをセンサによって計測した計測結果を取得する。
解析処理部３５８は、複数の部位について指標を生成する。
画像生成部３５９は、画像取得部３５７によって取得された画像と、解析処理部３５８によって生成された複数の部位の指標とを対応付けて出力部３１９に表示させる。
これにより、対象者の身体部位毎の動きの相違（例えば、肩と腰の捩れ等）も表示することができ、より効果的に計測結果を提示することが可能となる。
【０１０９】
画像生成部３５９は、画像取得部３５７によって取得された画像のうち、時系列における間欠的な画像と、解析処理部３５８によって生成された指標とを対応付けて出力部３１９に表示させる。
これにより、解析結果を生成するための処理負荷が低下し、より早期に計測結果を提示することが可能となる。
【０１１０】
画像生成部３５９は、指標を透過的に表示する。
これにより、対象者の動画の視認性を確保しつつ、対象者の３次元的な動きを示す指標を表示することができる。
【０１１１】
画像生成部３５９は、対象者の動きのガイドとなる画像を表示し、対象者の動きとガイドとなる画像との重なり度合いに応じて、指標の透過率を変化させる。
これにより、対象者の動きのガイドを表示する際に、指標をより効果的な形態で表示することができる。
【０１１２】
画像生成部３５９は、指標の動きに対して固定的に表示される軸を表示する。
これにより、対象者の平行移動等も表示することができ、対象者の身体の動きがより把握し易いものとなる。
【０１１３】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１１４】
上述の実施形態において、処理装置３が簡易表示画像を表示する場合、撮影装置２からの動画の取得及び解析結果動画の生成全体に要する時間を推測し、推測した時間を簡易表示画像の数で分割した時間ずつ、簡易表示画像を順に表示してもよい。これにより、簡易表示画像の表示内容と解析結果動画の表示開始タイミングとの整合を取りつつ、よりわかり易い形態で解析結果を表示することができる。
【０１１５】
また、上述の実施形態において、解析システムＳをセンサユニット１、撮影装置２及び処理装置３の３つの装置によって構成するものとしたが、これに限られない。例えば、センサユニット１と処理装置３との機能を兼ね備えたスマートフォン等によって、センサユニット１と処理装置３とを一体化した装置として解析システムＳを構成してもよい。
【０１１６】
また、上述の実施形態において、ＢＯＸアニメーションの時間的変化を表示する場合、センサユニット１によって取得されたセンサ情報を基に、加速度の変化等、動きの特徴を色分けあるいは指標を表示する等の表示形態により、識別して表示することとしてもよい。例えば、基準よりも大きい加速度で身体が動いている場合、計測対象者Ｐの身体を赤色に着色したりすることが可能である。
【０１１７】
上述の実施形態において、リアルタイムモードにおける表示例等のように、計測対象者Ｐの画像の周囲における予め設定された所定位置にＢＯＸアニメーションを表示する場合、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置を引き出し線やマーカーで識別して示すこととしてもよい。また、計測対象者Ｐにおいてセンサユニット１が装着された身体の位置に、ＢＯＸアニメーションを重ねて表示することとしてもよい。
【０１１８】
上述の実施形態において、計測対象者Ｐがスイングを行ったか否かについて、センサ情報により詳細な条件を設定して判定することができる。例えば、鉛直軸周りの回転角度が第１の角度以上、テイクバック方向に回転した場合にトップと判定し、トップから鉛直軸周りに第１の角速度以上で回転した場合にダウンスイングと判定し、鉛直軸周りの回転角度が第２の角度以上、フォロー方向に回転した場合にフォローと判定し、これら全ての条件を充足した場合に、スイングが行われたものと判定することができる。なお、これらの判定条件が充足される時間にもさらに条件を設定してもよい。例えば、各条件が２秒以内に順次充足されること等を条件に設定することができる。
【０１１９】
上述の実施形態において、センサ情報に基づいて、ゴルフのスイングにおける所定の特徴的なポイントのタイミングを検出する場合、時系列のデータを時間順に解析して特徴的なポイントを判別することや、特徴的なポイントとして明らかに判別可能なタイミングから時系列を遡って解析して、他の特徴的なポイントを判別することが可能である。
これにより、ゴルフのスイングにおける所定の特徴的なポイントのタイミングをより確実に検出することができる。
【０１２０】
上述の実施形態において、簡易表示生成部３６０が簡易表示画像を表示する場合、解析処理部３５８によるＢＯＸアニメーションのデータの生成及び画像生成部３５９による解析結果動画の表示に関する処理をキャンセルさせるキャンセルボタンを表示することとしてもよい。
これにより、簡易表示画像を確認することによって、解析結果動画の生成が不要であると判断された場合に、無用な処理が行われることを抑制することができる。
【０１２１】
上述の実施形態において、ワンショットモードで取得したワンショットの範囲のセンサ情報をセンサユニット１から処理装置３に送信する場合、図１３のステップＳ１４において、計測対象者Ｐのゴルフのスイングにおける所定の特徴的なポイントのセンサ情報を先行して送信することなく、図１３のステップＳ１５において、ワンショットの範囲のセンサ情報全体を処理装置３に送信することとしてもよい。この場合、センサ情報の送信に要する時間を全体として短縮することができる。
【０１２２】
上述の実施形態においては、検出処理部１５６は、ワンショットモードにおいて取得されたセンサ情報に基づいて、ゴルフのスイングにおける所定の特徴的なポイントのタイミングを検出する。例えば、検出処理部１５６は、ワンショットモードにおいて取得したセンサ情報の波形を解析し、波形の変化量が少ない状態から波形が変化し始めたタイミングをアドレスのタイミングとして検出してもよく、一度スイングの範囲を検出し、ダウンスイングのタイミングを検出した後に、該ダウンスイングのタイミングから所定時間遡った時点をアドレスの時点として再設定して、ワンショットの範囲を決めるように構成してもよい。
【０１２３】
上述の実施形態において、ゴルフのスイングを行う計測対象者Ｐにセンサユニット１を装着し、ゴルフのスイングの解析に解析システムＳを用いる場合について説明したが、これに限られない。即ち、本発明に係る解析システムＳは、野球、テニス、陸上競技等、被写体となるプレーヤーを画角の固定的な位置に撮影可能な各種スポーツ等に用いることができる。例えば、野球の打席でスイングする打者、マウンドで投球するピッチャー、テニスのサーバー、並走するカメラで撮影される短距離走者等を対象として、本発明に係る解析システムＳを用いることができる。
【０１２４】
また、上述の実施形態では、本発明が適用される処理装置３は、スマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【０１２５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６、８、９の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が解析システムＳに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６、８、９の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
【０１２６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１２７】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４、５のリムーバブルメディア２３１、３３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２３１、３３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３〜５のＲＯＭ１１２、２１２、３１２や、図３〜５の記憶部１１９、２１９、３２０に含まれるハードディスク等で構成される。
【０１２８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１２９】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１３０】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
対象者が撮影された画像を取得する画像取得手段と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記指標生成手段は、前記計測結果に基づいて前記対象者の３次元的な動きを示す指標を生成することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記指標生成手段は、前記計測結果に基づいて前記対象者の動きを示す指標として立体的な箱画像を生成することを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記計測結果取得手段は、前記対象者に装着されたセンサによって計測された前記計測結果を取得することを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
［付記５］
前記画像取得手段は、前記対象者を撮影する撮影装置によって撮影された前記画像を取得することを特徴とする付記１から４のいずれか１つに記載の画像処理装置。
［付記６］
前記表示制御手段は、前記対象者の画像に前記指標を重ねて表示することを特徴とする付記１から５のいずれか１つに記載の画像処理装置。
［付記７］
前記表示制御手段は、前記対象者の画像において、前記対象者の身体における前記センサが動きを計測した位置と対応する位置に、前記指標を重ねて表示することを特徴とする付記６に記載の画像処理装置。
［付記８］
前記表示制御手段は、前記対象者の画像の周囲に前記指標を表示することを特徴とする付記１から５のいずれか１つに記載の画像処理装置。
［付記９］
前記表示制御手段は、前記対象者の画像の周囲において、前記対象者の身体における前記センサが動きを計測した位置と対応付けて、前記指標を表示することを特徴とする付記８に記載の画像処理装置。
［付記１０］
前記計測結果取得手段は、前記対象者の身体における複数の部位の動きをセンサによって計測した計測結果を取得し、
前記指標生成手段は、前記複数の部位について前記指標を生成し、
前記表示制御手段は、前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記複数の部位の前記指標とを対応付けて表示手段に表示させることを特徴とする付記１から９のいずれか１つに記載の画像処理装置。
［付記１１］
前記表示制御手段は、前記画像取得手段によって取得された前記画像のうち、時系列における間欠的な画像と、前記指標生成手段によって生成された前記指標とを対応付けて表示手段に表示させることを特徴とする付記１から１０のいずれか１つに記載の画像処理装置。
［付記１２］
前記表示制御手段は、前記指標を透過的に表示することを特徴とする付記１から１１のいずれか１つに記載の画像処理装置。
［付記１３］
前記表示制御手段は、前記対象者の動きのガイドとなる画像を表示し、前記対象者の動きと前記ガイドとなる画像との重なり度合いに応じて、前記指標の透過率を変化させることを特徴とする付記１から１２のいずれか１つに記載の画像処理装置。
［付記１４］
前記表示制御手段は、前記指標の動きに対して固定的に表示される軸を表示することを特徴とする付記１から１３のいずれか１つに記載の画像処理装置。
［付記１５］
対象者の画像を撮影する撮影手段を備える撮影装置と、
前記対象者に装着され、前記対象者の動きをセンサによって計測する計測手段を備える検出装置と、
前記撮影装置から、前記対象者が撮影された画像を取得する画像取得手段と、
前記検出装置から、前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、を備える画像処理装置と、
を含むことを特徴とする解析システム。
［付記１６］
画像処理装置が実行する画像処理方法であって、
対象者が撮影された画像を取得する画像取得ステップと、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得ステップと、
前記計測結果取得ステップにおいて取得された前記計測結果に基づいて、前記対象者の動きを示す指標を生成する指標生成ステップと、
前記画像取得ステップにおいて取得された前記画像と、前記指標生成ステップにおいて生成された前記指標とを共に表示手段に表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法。
［付記１７］
画像処理装置を制御するコンピュータに、
対象者が撮影された画像を取得する画像取得機能と、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得機能と、
前記計測結果取得機能によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標を生成する指標生成機能と、
前記画像取得機能によって取得された前記画像と、前記指標生成機能によって生成された前記指標とを共に表示手段に表示させる表示制御機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【０１３１】
Ｓ  解析システム，１・・・センサユニット，２・・・撮影装置，３・・・処理装置，１１１、２１１、３１１・・・ＣＰＵ，１１２、２１２、３１２・・・ＲＯＭ，１１３、２１３、３１３・・・ＲＡＭ，１１４、２１４、３１４・・・バス，１１５、２１５、３１５・・・入出力インターフェース，１１６、３１７・・・センサ部，１１７、２１７、３１８・・・入力部，１１８、２１８、３１９・・・出力部，１１９、２１９、３２０・・・記憶部，１２０、２２０、３２１・・・通信部，１２１、３２２・・・ドライブ，２１６、３１６・・・撮像部，２３１、３３１・・・リムーバブルメディア，１５１、２５１、３５１・・・第１通信制御部，１５２、２５２、３５２・・・第２通信制御部，１５３・・・キャリブレーション実行部，１５４・・・モード設定部，１５５、２５４・・・同期制御部，１５６・・・検出処理部，１７１、３７２・・・センサ情報記憶部，２５３・・・撮影制御部，２５５・・・動画送信制御部，２７１、３７１・・・動画データ記憶部，３５３・・・キャリブレーション管理部，３５４・・・モード制御部，３５５・・・ワンショット撮影管理部，３５６・・・センサ情報取得部，３５７・・・画像取得部，３５８・・・解析処理部，３５９・・・画像生成部，３６０・・・簡易表示生成部，３６１・・・書き出し処理部，３７３・・・合成画像記憶部
【図１】
2020205608.tif 000003
【図２】
2020205608.tif 000004
【図３】
2020205608.tif 000005
【図４】
2020205608.tif 000006
【図５】
2020205608.tif 000007
【図６】
2020205608.tif 000008
【図７Ａ】
2020205608.tif 000009
【図７Ｂ】
2020205608.tif 000010
【図８】
2020205608.tif 000011
【図９】
2020205608.tif 000012
【図１０】
2020205608.tif 000013
【図１１】
2020205608.tif 000014
【図１２】
2020205608.tif 000015
【図１３】
2020205608.tif 000016
【図１４】
2020205608.tif 000017
【図１５】
2020205608.tif 000018
【図１６】
2020205608.tif 000019
【図１７】
2020205608.tif 000020
【手続補正書】
【提出日】令和2年9月17日(2020.9.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
予め用意された複数の動作モードであって、センサによる対象者の動きの計測結果の取得開始タイミングに基づいて前記対象者の画像の撮像を開始させる第１のモードと、前記第１のモードが実行されている時に前記計測結果により所定の動作の開始を検出すると前記撮像されている対象者の画像の記録を開始させる第２のモードのうち、いずれかの動作モードが設定されると、設定された動作モードに基づく撮像レートで前記対象者が撮影された画像を取得する画像取得手段と、
前記設定された動作モードに基づくサンプリングレートで前記センサによって計測した前記対象者の動きの計測結果を取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、
を備えることを特徴とする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
予め用意された複数の動作モードであって、センサによる対象者の動きの計測結果の取得開始タイミングに基づいて前記対象者の画像の撮像を開始させる第１のモードと、前記第１のモードが実行されている時に前記計測結果により所定の動作の開始を検出すると前記撮像されている対象者の画像の記録を開始させる第２のモードのうち、いずれかの動作モードが設定されると、設定された動作モードに基づく撮像レートで前記対象者が撮影された画像を取得する画像取得手段と、
前記設定された動作モードに基づくサンプリングレートで前記センサによって計測した前記対象者の動きの計測結果を取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記指標生成手段は、前記計測結果に基づいて前記対象者の３次元的な動きを示す指標を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記計測結果取得手段は、前記対象者に装着されたセンサによって計測された前記計測結果を取得することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像取得手段は、前記対象者を撮影する撮影装置によって撮影された前記画像を取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記対象者の画像に前記指標を重ねて表示することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記対象者の画像において、前記対象者の身体における前記センサが動きを計測した位置と対応する位置に、前記指標を重ねて表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記対象者の画像の周囲に前記指標を表示することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記対象者の画像の周囲において、前記対象者の身体における前記センサが動きを計測した位置と対応付けて、前記指標を表示することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記計測結果取得手段は、前記対象者の身体における複数の部位の動きをセンサによって計測した計測結果を取得し、
前記指標生成手段は、前記複数の部位について前記指標を生成し、
前記表示制御手段は、前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記複数の部位の前記指標とを対応付けて表示手段に表示させることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記画像取得手段によって取得された前記画像のうち、時系列における間欠的な画像と、前記指標生成手段によって生成された前記指標とを対応付けて表示手段に表示させることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記表示制御手段は、前記指標を透過的に表示することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、前記対象者の動きのガイドとなる画像を表示し、前記対象者の動きと前記ガイドとなる画像との重なり度合いに応じて、前記指標の透過率を変化させることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記表示制御手段は、前記指標の動きに対して固定的に表示される軸を表示することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
対象者の画像を撮影する撮影手段を備える撮影装置と、
前記対象者に装着され、前記対象者の動きをセンサによって計測する計測手段を備える検出装置と、
予め用意された複数の動作モードであって、センサによる前記対象者の動きの計測結果の取得開始タイミングに基づいて前記対象者の画像の撮像を開始させる第１のモードと、前記第１のモードが実行されている時に前記計測結果により所定の動作の開始を検出すると前記撮像されている対象者の画像の記録を開始させる第２のモードのうち、いずれかの動作モードが設定されると、設定された動作モードに基づく撮像レートで前記撮影装置から、前記対象者が撮影された画像を取得する画像取得手段と、
前記設定された動作モードに基づくサンプリングレートで前記センサによって計測した前記対象者の動きの計測結果を、前記検出装置から取得する計測結果取得手段と、
前記計測結果取得手段によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成手段と、
前記画像取得手段によって取得された前記画像と、前記指標生成手段によって生成された前記指標とを共に表示手段に表示させる表示制御手段と、を備える画像処理装置と、
を含むことを特徴とする解析システム。
【請求項１５】
画像処理装置が実行する画像処理方法であって、
予め用意された複数の動作モードであって、センサによる対象者の動きの計測結果の取得開始タイミングに基づいて前記対象者の画像の撮像を開始させる第１のモードと、前記第１のモードが実行されている時に前記計測結果により所定の動作の開始を検出すると前記撮像されている対象者の画像の記録を開始させる第２のモードのうち、いずれかの動作モードが設定されると、設定された動作モードに基づく撮像レートで前記対象者が撮影された画像を取得する画像取得ステップと、
前記設定された動作モードに基づくサンプリングレートで前記センサによって計測した前記対象者の動きの計測結果を取得する計測結果取得ステップと、
前記計測結果取得ステップにおいて取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成ステップと、
前記画像取得ステップにおいて取得された前記画像と、前記指標生成ステップにおいて生成された前記指標とを共に表示手段に表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法。
【請求項１６】
画像処理装置を制御するコンピュータに、
予め用意された複数の動作モードであって、センサによる対象者の動きの計測結果の取得開始タイミングに基づいて前記対象者の画像の撮像を開始させる第１のモードと、前記第１のモードが実行されている時に前記計測結果により所定の動作の開始を検出すると前記撮像されている対象者の画像の記録を開始させる第２のモードのうち、いずれかの動作モードが設定されると、設定された動作モードに基づく撮像レートで前記対象者が撮影された画像を取得する画像取得機能、
前記対象者の動きをセンサによって計測した計測結果を取得する計測結果取得機能、
前記計測結果取得機能によって取得された前記計測結果に基づいて、前記対象者の動きを示す指標として、各々の面方向が前記対象者の前後方向、左右方向、及び、鉛直方向に対応する立体的な箱画像を生成する指標生成機能、
前記画像取得機能によって取得された前記画像と、前記指標生成機能によって生成された前記指標とを共に表示手段に表示させる表示制御機能、
を実現させることを特徴とするプログラム。