(57)【要約】【課題】画像の撮像中に解析対象が撮像範囲からはみ出した場合にも当該解析対象の動作を検出できる動作解析装置、動作解析システム、動作解析方法及びプログラムを提供する。【解決手段】撮像装置３は、センサ動作情報受信部３００と、画像動作情報取得部３０４と、動作情報取得部３０９と、を備えている。センサ動作情報受信部３００は、解析対象に装着された動き検出センサによって取得された解析対象の第１の位置情報を取得する。画像動作情報取得部３０４は、撮像手段によって撮像された画像に基づく解析対象の第２の位置情報を取得する。動作情報取得部３０９は、センサ動作情報受信部３００によって取得された第１の位置情報と、画像動作情報取得部３０４によって取得された第２の位置情報と、に基づいて、解析対象の位置の経時変化を表す動作情報を取得する。【選択図】図５
2019169832.tif 000002
【特許請求の範囲】
【請求項１】
解析対象に装着された動き検出センサによって取得された前記解析対象の第１の位置情報を取得する第１の取得手段と、
撮像手段によって撮像された画像に基づく前記解析対象の第２の位置情報を取得する第２の取得手段と、
前記第１の取得手段によって取得された前記第１の位置情報と、前記第２の取得手段によって取得された前記第２の位置情報と、に基づいて、前記解析対象の位置の経時変化を表す動作情報を取得する動作情報取得手段と、
を備えることを特徴とする動作解析装置。
【請求項２】
前記第１の位置情報は、前記動き検出センサによって検出された前記解析対象の位置の経時変化を表す情報であることを特徴とする請求項１に記載の動作解析装置。
【請求項３】
前記第２の位置情報は、前記画像に基づいて取得された前記解析対象の位置の経時変化を表す情報であることを特徴とする請求項１又は２に記載の動作解析装置。
【請求項４】
前記第１の位置情報と前記第２の位置情報とを記憶する記憶手段をさらに備え、
前記第１の取得手段は、前記記憶手段から前記第１の位置情報を取得し、
前記第２の取得手段は、前記記憶手段から前記第２の位置情報を取得することを特徴とする請求項１乃至３の何れか一項に記載の動作解析装置。
【請求項５】
前記第１の取得手段は、第１の装置から前記第１の位置情報を取得し、
前記第２の取得手段は、第２の装置から前記第２の位置情報を取得することを特徴とする請求項１乃至３の何れか一項に記載の動作解析装置。
【請求項６】
前記動作情報取得手段によって取得された前記動作情報に従って特定処理を実行する特定処理実行手段をさらに備えることを特徴とする請求項１乃至５の何れか一項に記載の動作解析装置。
【請求項７】
前記特定処理実行手段は、前記特定処理において、前記解析対象の移動範囲を表す移動範囲画像を表示手段に表示することを特徴とする請求項６に記載の動作解析装置。
【請求項８】
前記特定処理実行手段は、前記移動範囲を、前記動作情報取得手段によって取得された前記動作情報に従って取得することを特徴とする請求項７に記載の動作解析装置。
【請求項９】
前記特定処理実行手段は、前記移動範囲画像を、前記撮像手段のズーム倍率に従って前記表示手段に表示することを特徴とする請求項７又は８に記載の動作解析装置。
【請求項１０】
前記特定処理実行手段は、前記移動範囲画像を、前記撮像手段によって撮像された画像における画角とサイズとの対応関係を表す対応情報に従って前記表示手段に表示することを特徴とする請求項７乃至９の何れか一項に記載の動作解析装置。
【請求項１１】
前記特定処理実行手段は、前記特定処理において、前記撮像手段の撮像範囲を、前記動作情報取得手段によって取得された前記動作情報に従って設定することを特徴とする請求項６乃至１０の何れか一項に記載の動作解析装置。
【請求項１２】
前記撮像範囲は、前記撮像手段による前記解析対象の追尾範囲であることを特徴とする請求項１１に記載の動作解析装置。
【請求項１３】
前記特定処理実行手段は、前記特定処理において、前記撮像手段の動作を、前記動作情報取得手段によって取得された前記動作情報に従って制御することを特徴とする請求項６乃至１２の何れか一項に記載の動作解析装置。
【請求項１４】
前記特定処理実行手段は、前記特定処理において、前記撮像手段によって撮像された画像に対し、前記動作情報取得手段によって取得された前記動作情報に従って画像処理を施すことを特徴とする請求項６乃至１３の何れか一項に記載の動作解析装置。
【請求項１５】
前記特定処理実行手段は、前記特定処理において、
前記解析対象の動作の形態を表す情報を、前記動作情報取得手段によって取得された前記動作情報に従って取得し、
前記画像処理を、前記動作の形態を表す情報に従って実行することを特徴とする請求項１４に記載の動作解析装置。
【請求項１６】
前記特定処理実行手段は、前記特定処理において、前記動作情報取得手段によって取得された前記動作情報に従って、前記撮像手段によって撮像された画像に含まれる前記解析対象を表す画像以外の画像に対して前記画像処理を施すことを特徴とする請求項１４又は１５に記載の動作解析装置。
【請求項１７】
前記動作情報取得手段は、前記動作情報を、前記第１の位置情報と、前記第２の位置情報と、を基準時刻における前記解析対象の位置を基準として統合することにより取得することを特徴とする請求項１乃至１６の何れか一項に記載の動作解析装置。
【請求項１８】
前記動作情報取得手段は、前記動作情報を、前記解析対象が前記撮像手段の撮像範囲からはみ出しているフレームアウト期間では、当該フレームアウト期間に対応する前記第１の位置情報を当該フレームアウト期間に対応する前記動作情報として取得し、前記解析対象が前記撮像手段の撮像範囲からはみ出していないフレームイン期間では、当該フレームイン期間に対応する前記第２の位置情報を当該フレームイン期間に対応する前記動作情報として取得することにより取得することを特徴とする請求項１乃至１７の何れか一項に記載の動作解析装置。
【請求項１９】
前記動作情報取得手段は、前記動作情報を、前記第１の位置情報の精度と、前記第２の位置情報の精度と、に従って取得することを特徴とする請求項１乃至１７の何れか一項に記載の動作解析装置。
【請求項２０】
前記動作情報取得手段は、前記動作情報を、前記撮像手段によって撮像された画像に係る特徴量に従って取得することを特徴とする請求項１乃至１７の何れか一項に記載の動作解析装置。
【請求項２１】
請求項１乃至２０の何れか一項に記載の動作解析装置と、
前記動き検出センサと、
を備えることを特徴とする動作解析システム。
【請求項２２】
解析対象に装着された動き検出センサによって取得された前記解析対象の第１の位置情報を取得する第１の取得ステップと、
撮像手段によって撮像された画像に基づく前記解析対象の第２の位置情報を取得する第２の取得ステップと、
前記第１の取得ステップで取得された前記第１の位置情報と、前記第２の取得ステップで取得された前記第２の位置情報と、に基づいて、前記解析対象の位置の経時変化を表す動作情報を取得する動作情報取得ステップと、
を含むことを特徴とする動作解析方法。
【請求項２３】
コンピュータを、
解析対象に装着された動き検出センサによって取得された前記解析対象の第１の位置情報を取得する第１の取得手段、
撮像手段によって撮像された画像に基づく前記解析対象の第２の位置情報を取得する第２の取得手段、
前記第１の取得手段によって取得された前記第１の位置情報と、前記第２の取得手段によって取得された前記第２の位置情報と、に基づいて、前記解析対象の位置の経時変化を表す動作情報を取得する動作情報取得手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作解析装置、動作解析システム、動作解析方法及びプログラムに関する。
【背景技術】
【０００２】
画像中の解析対象の動作を検出し、検出された解析対象の動作を解析する技術が知られている。
【０００３】
例えば、特許文献１は、ユーザがゴルフクラブを用いてゴルフスイングをする様子を表す画像に基づいて当該ゴルフクラブのヘッドの挙動を検出し、検出された当該ヘッドの挙動に従って当該ゴルフスイングを評価する解析方法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１１３１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザがゴルフスイングをする様子を表す画像の撮像中に、解析対象である当該ゴルフクラブのヘッドが撮像範囲からはみ出た場合、特許文献１に記載された解析方法では、当該ヘッドの挙動を検出することに失敗し、適切な解析が行われない虞がある。
【０００６】
本発明は、上記の事情に鑑みてなされたものであり、画像の撮像中に解析対象が撮像範囲からはみ出した場合にも当該解析対象の動作を検出できる動作解析装置、動作解析システム、動作解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る動作解析装置は、
解析対象に装着された動き検出センサによって取得された前記解析対象の第１の位置情報を取得する第１の取得手段と、
撮像手段によって撮像された画像に基づく前記解析対象の第２の位置情報を取得する第２の取得手段と、
前記第１の取得手段によって取得された前記第１の位置情報と、前記第２の取得手段によって取得された前記第２の位置情報と、に基づいて、前記解析対象の位置の経時変化を表す動作情報を取得する動作情報取得手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像の撮像中に解析対象が撮像範囲からはみ出した場合にも当該解析対象の動作を検出できる動作解析装置、動作解析システム、動作解析方法及びプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像システムの全体構成を示す図である。
【図２】本発明の実施形態に係るセンサの物理的構成を示す図である。
【図３】本発明の実施形態に係るセンサの機能的構成を示す図である。
【図４】本発明の実施形態に係る撮像装置の物理的構成を示す図である。
【図５】本発明の実施形態に係る撮像装置の機能的構成を示す図である。
【図６】フレームイン期間及びフレームアウト期間の検出を説明するための図である。
【図７】対応情報の取得を説明するための図である。
【図８】動作情報及び被写体の移動範囲を説明するための図である。
【図９】移動範囲画像の第１の表示例を示す図である。
【図１０】移動範囲画像の第２の表示例を示す図である。
【図１１】本発明の実施形態に係る撮像システムで実行される処理を説明するためのシーケンス図である。
【図１２】本発明の実施形態に係る撮像装置が実行する第１処理を説明するためのフローチャートである。
【図１３】本発明の実施形態に係る撮像装置が実行する第２処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態に係る撮像システムについて、図面を参照しながら説明する。図中、互いに同一又は同等の構成には、互いに同一の符号を付す。
【００１１】
図１に示す撮像システム１は、被写体ＴＧがダンスをする様子を表す画像を撮像し、当該画像に従った処理を実行する。以下、被写体ＴＧを、「ユーザ」と称する場合がある。すなわち、被写体ＴＧとユーザとは同一の人物である。被写体ＴＧは、本発明に係る解析対象の一例である。撮像システム１は、センサ２と、撮像装置３と、を備えている。センサ２は、被写体ＴＧの身体に装着され、被写体の位置の経時変化と、被写体の向きの経時変化と、を検出し、検出結果を撮像装置３へ無線通信にて送信する。撮像装置３は、センサ２から送信された検出結果を受信すると共に、センサ２を装着した被写体ＴＧがダンスをする様子を表す画像を撮像する。撮像システム１は、本発明に係る動作解析システムの一例である。センサ２は、本発明に係る解析対象に装着された動き検出センサの一例である。撮像装置３は、本発明に係る動作解析装置の一例である。
【００１２】
以下、被写体ＴＧが、２回にわたってダンスをする場合を例に用いて説明する。以下、１回目のダンスを「準備のダンス」と称し、２回目のダンスを「本番のダンス」と称する。具体的に、以下、被写体ＴＧが、センサ２を装着した状態で準備のダンスをする様子を撮像装置３によって撮像した後に、本番のダンスをする様子を撮像装置３によって撮像する場合を例に用いて説明する。なお、本番のダンスをする際、被写体ＴＧは、センサ２を装着していてもよいし、センサ２を装着していなくてもよい。以下、被写体ＴＧが準備のダンスをする期間を「第１期間」と称し、被写体ＴＧが本番のダンスをする期間を「第２期間」と称する。上述したように、第２期間は、第１期間よりも後の期間である。準備のダンスの振り付けは、本番のダンスの振り付けと同一である。すなわち、準備のダンスと本番のダンスとは互いに同一の動作である。
【００１３】
以下、センサ２について説明する。センサ２は、図２に示すように、制御部２０と、記憶部２１と、入力部２２と、出力部２３と、計時部２４と、通信部２５と、検出部２６と、電源部２７と、を備えている。
【００１４】
制御部２０は、ＣＰＵ（Central Processing Unit）を備え、記憶部２１に記憶されたプログラム及びデータに従って各種処理を実行する。制御部２０は、コマンド及びデータの伝送経路である図示しないシステムバスを介してセンサ２の各部に接続されており、センサ２全体を統括制御する。
【００１５】
記憶部２１は、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の不揮発性の外部記憶装置と、を備え、制御部２０が各種処理を実行するために用いるプログラム及びデータを記憶すると共に、制御部２０が各種処理を実行することによって生成又は取得したデータを記憶する。具体的に、記憶部２１は、制御部２０が実行する制御プログラムを記憶している。また、記憶部２１は、後述する検出部２６によって検出された、被写体の位置の経時変化と、被写体の向きの経時変化と、を示すデータを記憶する。記憶部２１が備えるＲＡＭは、制御部２０のワークエリアとして機能する。すなわち、制御部２０は、記憶部２１が記憶しているプログラム及びデータをＲＡＭへ読み出し、読み出されたプログラム及びデータを参照することによって各種処理を実行する。
【００１６】
入力部２２は、タッチパネル、操作ボタン等の入力装置を備え、ユーザによる操作に従って各種指示を受け付け、受け付けた指示を制御部２０へ供給する。具体的に、入力部２２は、センサ２の電源をオン状態に設定する指示や、センサ２の電源をオフ状態に設定する指示を、ユーザによる操作に従って受け付ける。
【００１７】
出力部２３は、制御部２０による制御に従い、ユーザが認識可能な形態で各種情報を出力する。具体的に、出力部２３は、ＬＥＤ（Light Emitting Diode）等の発光装置を備えている。出力部２３は、入力部２２がセンサ２の電源をオン状態に設定する指示をユーザによる操作に従って受け付けたことに応答して、センサ２の電源がオン状態に設定された旨を、上述した発光装置を点灯することによりユーザへ報知する。出力部２３は、発光装置が点灯した状態において、入力部２２がセンサ２の電源をオフ状態に設定する指示をユーザによる操作に従って受け付けたことに応答して、センサ２の電源がオフ状態に設定された旨を、発光装置を消灯することによりユーザへ報知する。
【００１８】
計時部２４は、電力の供給が停止している間も計時を継続するＲＴＣ（Real Time Clock）を備え、計時を行う。計時部２４は、計時の結果を表すデータを、制御部２０へ供給する。
【００１９】
通信部２５は、制御部２０による制御に従い、外部の装置との間で、ＬＡＮ（Local Area Network）、インターネット等の通信網を介して無線通信を行い、当該外部の装置との間でデータを送受信する。具体的に、通信部２５は、撮像装置３との間で無線通信を行い、データを送受信する。
【００２０】
検出部２６は、被写体ＴＧの位置の経時変化と、被写体ＴＧの向きの経時変化と、を検出する。検出部２６は、検出の結果を表すデータを、制御部２０へ供給する。
【００２１】
具体的に、検出部２６は、加速度センサ２６ａと、角速度センサ２６ｂと、地磁気センサ２６ｃと、を備えている。加速度センサ２６ａは、３軸タイプの加速度センサであり、被写体ＴＧの加速度を検出する。角速度センサ２６ｂは、３軸タイプの角速度センサであり、被写体ＴＧの角速度を検出する。地磁気センサ２６ｃは、３軸タイプの地磁気センサであり、地磁気を検出することにより、方位を検出する。検出部２６は、加速度センサ２６ａによって検出された被写体ＴＧの加速度を積分することにより被写体ＴＧの位置の変化量を算出し、算出された変化量を、地磁気センサ２６ｃによって検出された方位に従って補正することにより、被写体ＴＧの位置の変化量を取得する。検出部２６は、取得された被写体ＴＧの位置の変化量と、当該位置の変化量の検出時刻と、に従って、被写体ＴＧの位置の経時変化を検出する。検出部２６は、角速度センサ２６ｂによって検出された被写体ＴＧの角速度を積分することにより被写体ＴＧの向きの変化量を算出し、算出された変化量を、地磁気センサ２６ｃによって検出された方位に従って補正することにより、被写体ＴＧの向きの変化量を取得する。検出部２６は、取得された被写体ＴＧの向きの変化量と、当該向きの変化量の検出時刻と、に従って、被写体ＴＧの向きの経時変化を検出する。
【００２２】
電源部２７は、蓄電池等の電源と、当該電源を制御する電源制御回路と、を備え、制御部２０による制御に従い、センサ２の各部へ電力を供給する。
【００２３】
上述した物理的構成を備えるセンサ２は、機能的に、図３に示すように、センサ動作情報取得部２００と、センサ動作情報送信部２０１と、を備えている。センサ動作情報取得部２００及びセンサ動作情報送信部２０１は、制御部２０によって実現される。具体的に、制御部２０は、記憶部２１に記憶された上述の制御プログラムを実行してセンサ２を制御することにより、これらの各部として機能する。
【００２４】
センサ動作情報取得部２００は、上述した検出部２６によって検出された、被写体ＴＧの位置の経時変化と、被写体ＴＧの向きの経時変化と、を表すセンサ動作情報を取得する。センサ動作情報は、本発明に係る解析対象に装着された動き検出センサによって取得された解析対象の第１の位置情報の一例である。具体的に、センサ動作情報取得部２００は、検出部２６に、被写体ＴＧの位置の経時変化と、被写体ＴＧの向きの経時変化と、を検出させ、当該検出の結果を表す情報を、検出部２６から、上述したセンサ動作情報として取得する。すなわち、センサ動作情報は、被写体ＴＧに装着されたセンサ２によって検出された被写体ＴＧの位置の経時変化と、当該センサ２によって検出された被写体ＴＧの向きの経時変化と、を表している。以下、一の期間における被写体ＴＧの位置の経時変化と、当該一の期間における被写体ＴＧの向きの経時変化と、を表すセンサ動作情報を、当該一の期間に対応する画像動作情報と称する。例えば、第１期間に対応するセンサ動作情報は、第１期間における被写体ＴＧの位置の経時変化と、第１期間における被写体ＴＧの向きの経時変化と、を表すセンサ動作情報である。
【００２５】
センサ動作情報送信部２０１は、通信部２５を制御して、センサ動作情報取得部２００によって取得されたセンサ動作情報を、撮像装置３へ送信させる。
【００２６】
次に、撮像装置３について説明する。撮像装置３は、図４に示すように、制御部３０と、記憶部３１と、入力部３２と、出力部３３と、計時部３４と、通信部３５と、検出部３６と、電源部３７と、撮像部３８と、を備えている。
【００２７】
制御部３０は、ＣＰＵを備え、記憶部３１に記憶されたプログラム及びデータに従って、後述する第１処理及び第２処理を含む各種処理を実行する。制御部３０は、コマンド及びデータの伝送経路である図示しないシステムバスを介して撮像装置３の各部に接続されており、撮像装置３全体を統括制御する。
【００２８】
記憶部３１は、ＲＯＭと、ＲＡＭと、ＨＤＤ、フラッシュメモリ等の不揮発性の外部記憶装置と、を備え、制御部３０が各種処理を実行するために用いるプログラム及びデータを記憶すると共に、制御部３０が各種処理を実行することによって生成又は取得したデータを記憶する。具体的に、記憶部３１は、制御部３０が実行する制御プログラムを記憶している。また、記憶部３１は、後述する撮像部３８によって撮像された画像を表す画像データを記憶する。また、記憶部３１は、被写体ＴＧの身長を表す身長データを記憶している。身長データは、ＰＣ（Personal Computer）、スマートフォン等の外部の情報処理装置において、ユーザによる入力を受け付けることによって生成された後、撮像装置３によって当該情報処理装置から取得され、記憶部３１に格納される。記憶部３１が備えるＲＡＭは、制御部３０のワークエリアとして機能する。すなわち、制御部３０は、記憶部３１に記憶されたプログラム及びデータをＲＡＭへ読み出し、読み出されたプログラム及びデータを参照することによって各種処理を実行する。
【００２９】
入力部３２は、タッチパネル、操作ボタン等の入力装置を備え、ユーザによる操作に従って各種指示を受け付け、受け付けた指示を制御部３０へ供給する。具体的に、入力部３２は、撮像装置３に撮像を開始させるための指示、撮像装置３に撮像を終了させるための指示、後述する撮像部３８のズーム倍率を変更する指示等を、ユーザによる操作に従って受け付ける。
【００３０】
出力部３３は、ディスプレイ、スピーカを含む出力装置を備え、制御部３０による制御に従い、ユーザが認識可能な形態で各種情報を出力する。具体的に、出力部３３は、上述したディスプレイに、後述するライブビュー画像ＩＢ、移動範囲画像ＩＣ、中心線画像ＩＤ、第１報知画像ＩＥ、第２報知画像ＩＦを表示する。出力部３３が備えるディスプレイは、本発明に係る表示手段の一例である。
【００３１】
計時部３４は、ＲＴＣを備え、計時を行う。計時部３４は、計時の結果を表すデータを、制御部３０へ供給する。
【００３２】
通信部３５は、制御部３０による制御に従い、外部の装置との間で、ＬＡＮ、インターネット等の通信網を介して無線通信を行い、当該外部の装置との間でデータを送受信する。具体的に、通信部３５は、センサ２との間で無線通信を行い、データを送受信する。また、通信部３５は、ＰＣ、スマートフォン等の外部の情報処理装置によって生成された上述の身長データを、当該情報処理装置から受信し、受信した身長データを記憶部３１へ供給する。
【００３３】
検出部３６は、撮像装置３の位置の経時変化と、撮像装置３の向きの経時変化と、を検出する。撮像装置３の向きは、後述する撮像部３８が備える光学レンズが指向する方向であり、撮像装置３が実行する撮像における撮像方向に相当する。検出部３６は、検出の結果を表すデータを、制御部３０へ供給する。
【００３４】
具体的に、検出部３６は、加速度センサ３６ａと、角速度センサ３６ｂと、地磁気センサ３６ｃと、を備えている。加速度センサ３６ａは、３軸タイプの加速度センサであり、撮像装置３の加速度を検出する。角速度センサ３６ｂは、３軸タイプの角速度センサであり、撮像装置３の角速度を検出する。地磁気センサ３６ｃは、３軸タイプの地磁気センサであり、地磁気を検出することにより、方位を検出する。検出部３６は、加速度センサ３６ａによって検出された撮像装置３の加速度を積分することにより撮像装置３の位置の変化量を算出し、算出された変化量を、地磁気センサ３６ｃによって検出された方位に従って補正することにより、撮像装置３の位置の変化量を取得する。検出部３６は、取得した撮像装置３の位置の変化量と、当該位置の変化量の検出時刻と、に従って、撮像装置３の位置の経時変化を検出する。検出部３６は、角速度センサ３６ｂによって検出された撮像装置３の角速度を積分することにより撮像装置３の向きの変化量を算出し、算出された変化量を、地磁気センサ３６ｃによって検出された方位に従って補正することにより、撮像装置３の向きの変化量を取得する。検出部３６は、撮像装置３の向きの変化量と、当該向きの変化量の検出時刻と、に従って、撮像装置３の経時変化を検出する。
【００３５】
電源部３７は、蓄電池等の電源と、当該電源を制御する電源制御回路と、を備え、制御部３０による制御に従い、撮像装置３の各部へ電力を供給する。
【００３６】
撮像部３８は、制御部３０による制御に従い、被写体ＴＧを撮像することによって画像を生成する。撮像部３８は、生成した画像を表す画像データを、制御部３０へ供給する。撮像部３８は、本発明に係る撮像手段の一例である。
【００３７】
具体的に、撮像部３８は、何れも図示しない、光学レンズ部と、イメージセンサ部と、を備えている。光学レンズ部は、被写体ＴＧから射出された光を集光する光学レンズと、当該光学レンズの焦点、露出、ホワイトバランス等の撮像パラメータを調整する周辺回路と、を備えている。イメージセンサ部は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、上述した光学レンズ部が光を集光することによって結像した被写体ＴＧの光学像に対応する電圧情報を取得する。イメージセンサ部は、取得された電圧情報に対してＡ／Ｄ（Analog-to-Digital）変換を施すことにより画像データを生成し、生成された画像データを制御部３０へ供給する。
【００３８】
上述した物理的構成を備える撮像装置３は、機能的に、図５に示すように、センサ動作情報受信部３００と、センサ動作情報記憶部３０１と、撮像制御部３０２と、画像記憶部３０３と、画像動作情報取得部３０４と、画像動作情報記憶部３０５と、期間検出部３０６と、期間情報記憶部３０７と、対応情報取得部３０８と、動作情報取得部３０９と、特定処理実行部３１０と、を備えている。
【００３９】
センサ動作情報受信部３００、撮像制御部３０２、画像動作情報取得部３０４、期間検出部３０６、対応情報取得部３０８、動作情報取得部３０９及び特定処理実行部３１０は、制御部３０によって実現される。具体的に、制御部３０は、記憶部３１に記憶された上述の制御プログラムを実行して撮像装置３を制御することにより、これらの各部として機能する。センサ動作情報記憶部３０１、画像記憶部３０３、画像動作情報記憶部３０５及び期間情報記憶部３０７は、記憶部３１によって実現される。具体的に、センサ動作情報記憶部３０１、画像記憶部３０３、画像動作情報記憶部３０５及び期間情報記憶部３０７は、記憶部３１が備える上述した外部記憶装置の記憶領域に構築される。
【００４０】
センサ動作情報受信部３００は、通信部３５を制御して、センサ２のセンサ動作情報送信部２０１によって送信されたセンサ動作情報を受信させる。センサ動作情報受信部３００は、受信されたセンサ動作情報を、センサ動作情報記憶部３０１へ供給する。センサ動作情報受信部３００は、解析対象に装着された動き検出センサによって取得された解析対象の第１の位置情報を取得する第１の取得手段として機能する。
【００４１】
センサ動作情報記憶部３０１は、センサ動作情報受信部３００から供給されたセンサ動作情報を記憶する。センサ動作情報記憶部３０１は、記憶しているセンサ動作情報を、動作情報取得部３０９へ供給する。
【００４２】
撮像制御部３０２は、撮像部３８を制御して、被写体ＴＧを撮像することによって画像を生成させる。撮像制御部３０２は、撮像部３８によって撮像された画像を、撮像部３８から取得する。撮像制御部３０２は、撮像部３８から取得した画像を、画像記憶部３０３へ供給する。
【００４３】
具体的に、撮像制御部３０２は、被写体ＴＧが準備のダンスをする第１期間において、撮像部３８を制御して、被写体ＴＧが準備のダンスをする様子を表す画像を撮像させ、当該画像を撮像部３８から取得する。また、撮像制御部３０２は、被写体ＴＧが本番のダンスをする第２期間において、撮像部３８を制御して、被写体ＴＧが本番のダンスをする様子を表す画像を撮像させ、当該画像を撮像部３８から取得する。撮像部３８によって撮像された、被写体ＴＧが準備のダンスをする様子を表す画像と、被写体ＴＧが本番のダンスをする様子を表す画像と、には、撮像時刻が時間的に連続する複数フレームの画像が含まれている。
【００４４】
画像記憶部３０３は、撮像制御部３０２から供給された、撮像部３８によって撮像された画像を記憶する。画像記憶部３０３は、記憶している画像を、画像動作情報取得部３０４、期間検出部３０６及び対応情報取得部３０８へ供給する。具体的に、画像記憶部３０３は、撮像部３８によって撮像された画像を、当該画像の撮像時刻に対応付けて記憶する。
【００４５】
画像動作情報取得部３０４は、撮像部３８によって撮像された画像に従って、被写体ＴＧの位置の経時変化と、被写体ＴＧの向きの経時変化と、を表す画像動作情報を取得する。画像動作情報取得部３０４は、取得した画像動作情報を、画像動作情報記憶部３０５へ供給する。画像動作情報は、本発明に係る撮像手段によって撮像された画像に基づく解析対象の第２の位置情報の一例である。画像動作情報取得部３０４は、撮像手段によって撮像された画像に基づく解析対象の第２の位置情報を取得する第２の取得手段として機能する。以下、一の期間における被写体ＴＧの位置の経時変化と、当該一の期間における被写体ＴＧの向きの経時変化と、を表す画像動作情報を、当該一の期間に対応する画像動作情報と称する。例えば、第１期間に対応する画像動作情報は、第１期間における被写体ＴＧの位置の経時変化と、第１期間における被写体ＴＧの向きの経時変化と、を表す画像動作情報である。
【００４６】
具体的に、画像動作情報取得部３０４は、画像記憶部３０３によって記憶されている撮像部３８によって撮像された画像を画像記憶部３０３から取得し、取得した画像に従って画像動作情報を取得する。本実施形態において、画像動作情報取得部３０４は、画像記憶部３０３によって記憶されている、撮像部３８によって第１期間において撮像された、被写体ＴＧが準備のダンスをする様子を表す画像を画像記憶部３０３から取得し、当該画像に従って、第１期間に対応する画像動作情報を取得する。
【００４７】
画像動作情報取得部３０４は、被写体ＴＧが撮像部３８によって撮像された画像からはみ出していない限り、すなわち、被写体ＴＧが撮像部３８によって実行される撮像における撮像範囲からはみ出していない限り、当該画像に従って被写体ＴＧの位置や向きを検出することができる。すなわち、撮像部３８によって実行される撮像における撮像範囲は、撮像部３８による被写体ＴＧの追尾範囲に相当する。以下、撮像部３８によって実行される撮像における撮像範囲を、「撮像部３８の撮像範囲」と称する。
【００４８】
画像動作情報記憶部３０５は、画像動作情報取得部３０４から供給された画像動作情報を記憶する。画像動作情報記憶部３０５は、記憶している画像動作情報を、動作情報取得部３０９へ供給する。
【００４９】
期間検出部３０６は、撮像部３８によって撮像が実行された期間から、被写体ＴＧが撮像部３８の撮像範囲からはみ出しているフレームアウト期間と、被写体ＴＧが撮像部３８の撮像範囲からはみ出していないフレームイン期間と、を検出する。期間検出部３０６は、検出結果を表す検出情報を、期間情報記憶部３０７へ供給する。
【００５０】
具体的に、期間検出部３０６は、画像記憶部３０３によって記憶されている撮像部３８によって撮像された画像を画像記憶部３０３から取得し、取得した画像に従って、フレームアウト期間及びフレームイン期間を検出する。本実施形態において、期間検出部３０６は、画像記憶部３０３によって記憶されている、撮像部３８によって第１期間において撮像された、被写体ＴＧが準備のダンスをする様子を表す画像を画像記憶部３０３から取得し、当該画像に従って、被写体ＴＧが準備のダンスをする様子を表す画像が撮像部３８によって撮像された第１期間から、フレームアウト期間と、フレームイン期間と、を検出する。
【００５１】
より具体的に、期間検出部３０６は、第１期間において撮像部３８によって撮像された、被写体ＴＧが準備のダンスをする様子を表す画像中のフレーム毎に、被写体ＴＧが撮像部３８の撮像範囲からはみ出しているか否かを判定する。期間検出部３０６は、第１期間から、撮像時刻が時間的に連続する、被写体ＴＧが撮像部３８の撮像範囲からはみ出していると判定された少なくとも１個以上のフレームの撮像時刻を含む期間を、フレームアウト期間として検出する。期間検出部３０６は、第１期間から、撮像時刻が時間的に連続する、被写体ＴＧが撮像部３８の撮像範囲からはみ出していないと判定された少なくとも１個以上のフレームの撮像時刻を含む期間を、フレームイン期間として検出する。
【００５２】
期間検出部３０６は、各フレームの画像において、予め設定されたフレームアウト条件が成立しているか否かを判定することにより、被写体ＴＧが撮像部３８の撮像範囲からはみ出しているか否かを判定する。フレームアウト条件は、被写体ＴＧが撮像部３８の撮像範囲からはみ出していることに基づいて成立する。フレームアウト条件は、実験等の任意の方法によって予め設定されている。本実施形態において、フレームアウト条件は、被写体ＴＧのうち撮像部３８の撮像範囲に含まれている部分のサイズが被写体ＴＧ全体のサイズに対して占める割合が、予め設定されたフレームアウト閾値以下である場合に成立する。フレームアウト閾値は、実験等の任意の方法によって予め設定されている。本実施形態において、フレームアウト閾値は、５０％に設定されている。
【００５３】
以下、期間検出部３０６によるフレームアウト期間及びフレームイン期間の検出について、図６を参照して説明する。
【００５４】
図６では、撮像部３８によって撮像された、被写体ＴＧが準備のダンスをする様子を表す画像が含む複数フレームの画像が、時系列順に示されている。以下、図６に示すように、被写体ＴＧが、時刻０ｓにおいて準備のダンスを開始し、時刻１９５ｓにおいて準備のダンスを終了する場合を例に用いて説明する。時刻０ｓから時刻１９５ｓまでの期間は、被写体ＴＧが準備のダンスをする第１期間に相当する。また、以下、理解を容易にするため、図６に示すｘｙｚ座標軸を設定する。なお、以下、ｘ軸方向の正の向きを「右」と称し、ｘ軸方向の負の向きを「左」と称する。
【００５５】
図６では、被写体ＴＧのうち撮像部３８の撮像範囲ＡＡからはみ出た部分を破線で図示している。図６に示すように、時刻０ｓに撮像されたフレームの画像、時刻３０ｓに撮像されたフレームの画像、及び時刻１９５ｓに撮像されたフレームの画像では、被写体ＴＧは、撮像部３８の撮像範囲ＡＡからはみ出ていない。一方、時刻１８ｓに撮像されたフレームの画像、時刻２２ｓに撮像されたフレームの画像、時刻２５ｓに撮像されたフレームの画像では、被写体ＴＧが、撮像部３８の撮像範囲ＡＡからはみ出ている。
【００５６】
以下、時刻１８ｓから時刻３０ｓまでの期間がフレームアウト期間として期間検出部３０６によって検出され、時刻０ｓから時刻１８ｓまでの期間と、時刻３０ｓから時刻１９５ｓまでの期間と、がフレームイン期間として期間検出部３０６によって検出された場合を例に用いて説明する。
【００５７】
時刻１８ｓに撮像されたフレームの画像、時刻２２ｓに撮像されたフレームの画像及び時刻２５ｓに撮像されたフレームの画像を含む、フレームアウト期間に撮像時刻が含まれる各フレームの画像では、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出している。一方、時刻０ｓに撮像されたフレームの画像、時刻３０ｓに撮像されたフレームの画像及び時刻１９５ｓに撮像されたフレームの画像を含む、フレームイン期間に撮像時刻が含まれる各フレームの画像では、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出していない。
【００５８】
図５に戻り、期間情報記憶部３０７は、期間検出部３０６から供給された期間情報を記憶する。期間情報記憶部３０７は、記憶している期間情報を、動作情報取得部３０９へ供給する。
【００５９】
対応情報取得部３０８は、撮像部３８によって撮像された画像における、画角とサイズとの対応関係を表す対応情報を取得する。対応情報取得部３０８は、取得した対応情報を、特定処理実行部３１０へ供給する。対応情報は、撮像部３８によって実行される撮像におけるズーム倍率に対応している。以下、撮像部３８によって実行される撮像におけるズーム倍率を、「撮像部３８のズーム倍率」と称する。
【００６０】
具体的に、対応情報取得部３０８は、撮像部３８によって撮像された画像における、長さに対する画角の比率を示すデータを、対応情報として取得する。長さに対する画角の比率は、言い換えると、１単位の長さに対応する画角の値である。
【００６１】
対応情報取得部３０８は、画像記憶部３０３によって記憶されている撮像部３８によって撮像された画像を画像記憶部３０３から取得し、取得した画像に従って対応情報を取得する。以下、対応情報取得部３０８による対応情報の取得について、図７を参照して説明する。以下、時刻０ｓにおいて準備のダンスを開始した際に、被写体ＴＧが、図７に示すように、直立している場合を例に用いて説明する。
【００６２】
対応情報取得部３０８は、画像記憶部３０３によって記憶されている、撮像部３８によって時刻０ｓに撮像部３８によって撮像されたフレームの画像を画像記憶部３０３から取得する。対応情報取得部３０８は、取得された時刻０ｓに撮像されたフレームの画像から、被写体ＴＧを表す画像ＩＡを検出する。次に、対応情報取得部３０８は、検出された被写体ＴＧを表す画像ＩＡのｙ軸方向における長さＨ０を検出する。上述したように、時刻０ｓにおいて被写体ＴＧは直立しており、時刻０ｓに撮像されたフレームの画像中の被写体ＴＧを表す画像ＩＡのｙ軸方向における長さＨ０は、被写体ＴＧの身長に対応している。
【００６３】
対応情報取得部３０８は、取得された、被写体ＴＧを表す画像ＩＡのｙ軸方向における長さＨ０を、下記の式（１）へ代入することによって、被写体ＴＧの身長に対応する画角を算出する。式（１）中、Ｈ０は、被写体ＴＧを表す画像ＩＡのｙ軸方向における長さを表す。また、式（１）中、Ｎ０は、被写体ＴＧの身長に対応する画角を表す。また、式（１）中、Ｈ１は、撮像部３８の撮像範囲ＡＡのｙ軸方向における長さを表す。また、式（１）中、Ｎ１は、撮像部３８の撮像範囲ＡＡのｙ軸方向における長さＨ１に対応する画角の値を表す。撮像部３８の撮像範囲ＡＡのｙ軸方向における長さＨ１と、撮像部３８の撮像範囲ＡＡのｙ軸方向における長さＨ１に対応する画角の値Ｎ１と、は、撮像部３８のズーム倍率に従って一意に決定される。
Ｎ０＝Ｎ１×（Ｈ０／Ｈ１）      ・・・（１）
【００６４】
対応情報取得部３０８は、算出された、被写体ＴＧの身長に対応する画角を、下記の式（２）へ代入することによって、撮像部３８によって撮像された画像における、長さに対する画角の比率を算出し、算出された長さに対する画角の比率Ｓを表すデータを、対応情報として取得する。式（２）中、Ｎ０は、被写体ＴＧの身長に対応する画角を表す。また、式（２）中、Ｓは、撮像部３８によって撮像された画像における、長さに対する画角の比率を表す。また、式（２）中、Ｌは、上述した身長データによって表された被写体ＴＧの身長を表す。
Ｓ＝Ｎ０／Ｌ      ・・・（２）
【００６５】
上記の式（１）及び式（２）に示すように、対応情報である長さに対する画角の比率は、撮像部３８のズーム倍率に従って一意に決定される、撮像部３８の撮像範囲ＡＡのｙ軸方向における長さＨ１と、撮像部３８の撮像範囲ＡＡのｙ軸方向における長さＨ１に対応する画角の値Ｎ１と、に応じて定まる。すなわち、対応情報である長さに対する画角の比率Ｓは、撮像部３８のズーム倍率に対応している。
【００６６】
図５に戻り、動作情報取得部３０９は、被写体ＴＧの位置の経時変化と、被写体ＴＧの向きの経時変化と、を表す動作情報を、センサ動作情報記憶部３０１によって記憶されたセンサ動作情報と、画像動作情報記憶部３０５によって記憶された画像動作情報と、期間情報記憶部３０７によって記憶された期間情報と、に従って取得する。すなわち、動作情報取得部３０９は、第１の取得手段によって取得された第１の位置情報と、第２の取得手段によって取得された第２の位置情報と、に基づいて、解析対象の位置の経時変化を表す動作情報を取得する動作情報取得手段として機能する。以下、一の期間における被写体ＴＧの位置の経時変化と、当該一の期間における被写体ＴＧの向きの経時変化と、を表す動作情報を、当該一の期間に対応する動作情報と称する。例えば、第１期間に対応する動作情報は、第１期間における被写体ＴＧの位置の経時変化と、第１期間における被写体ＴＧの向きの経時変化と、を表す動作情報である。
【００６７】
具体的に、動作情報取得部３０９は、第１期間に対応する動作情報を、センサ動作情報記憶部３０１によって記憶された第１期間に対応するセンサ動作情報と、画像動作情報記憶部３０５によって記憶された第１期間に対応する画像動作情報と、期間情報記憶部３０７によって記憶された期間情報と、に従って取得する。
【００６８】
以下、動作情報取得部３０９による動作情報の取得について詳細に説明する。
【００６９】
動作情報取得部３０９は、期間情報記憶部３０７によって記憶された期間情報を参照し、第１期間中のフレームアウト期間では、当該フレームアウト期間に対応するセンサ動作情報を、当該フレームアウト期間に対応する動作情報として取得する。また、動作情報取得部３０９は、期間情報記憶部３０７によって記憶された期間情報を参照し、第１期間中のフレームイン期間では、当該フレームイン期間に対応する画像動作情報を、当該フレームイン期間に対応する動作情報として取得する。このようにして、動作情報取得部３０９は、第１期間全体を通じた被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を表す第１期間に対応する動作情報を取得する。
【００７０】
動作情報取得部３０９は、動作情報としてセンサ動作情報及び画像動作情報を取得する際に、第１期間中の予め設定された基準時刻における被写体ＴＧの位置及び被写体ＴＧの向きを、センサ動作情報及び画像動作情報がそれぞれ表す被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化の基準として設定する。すなわち、動作情報取得部３０９は、動作情報としてセンサ動作情報を取得する際に、当該センサ動作情報を、上述した基準時刻における被写体ＴＧの位置及び被写体ＴＧの向きを基準とした、被写体ＴＧの位置の経時変化と被写体ＴＧの向きの経時変化とを表す動作情報として取得する。また、動作情報取得部３０９は、動作情報として画像動作情報を取得する際に、当該画像動作情報を、上述した基準時刻における被写体ＴＧの位置及び被写体ＴＧの向きを基準とした、第１期間における被写体ＴＧの位置の経時変化と被写体ＴＧの向きの経時変化とを表す動作情報として取得する。基準時刻は、実験等の任意の方法によって予め設定されている。本実施形態では、第１期間の開始時刻に相当する、被写体ＴＧが準備のダンスを開始する時刻０ｓが、基準時刻として設定されている。センサ動作情報及び画像動作情報を動作情報として取得する際に、基準時刻における被写体ＴＧの位置及び被写体ＴＧの向きを被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化の基準として設定することにより、センサ動作情報と画像動作情報とを統合（合成）することが可能になる。
【００７１】
以上説明したように、動作情報取得部３０９は、第１期間に対応するセンサ動作情報と第１期間に対応する画像動作情報とを、期間情報記憶部３０７によって記憶された期間情報に従い、基準時刻における被写体ＴＧの位置及び被写体ＴＧの向きを基準として統合することにより、第１期間に対応する動作情報を取得する。
【００７２】
以下、動作情報取得部３０９による動作情報の取得について、図８を参照して説明する。本実施形態において、動作情報取得部３０９は、第１期間に対応する動作情報として、図８に示す、第１期間における被写体ＴＧの位置の経時変化を示す、第１期間における被写体ＴＧの移動の軌跡ＪＪを少なくとも取得する。動作情報取得部３０９は、フレームアウト期間である時刻１８ｓから時刻２５ｓまでの期間における、基準時刻である時刻０ｓにおける被写体ＴＧの位置を基準とした、被写体ＴＧの位置の経時変化を表す動作情報として、当該期間に対応するセンサ動作情報を取得する。動作情報取得部３０９は、フレームイン期間である時刻０ｓから時刻１８ｓまでの期間及び時刻２５ｓから時刻１９５ｓまでの期間における、基準時刻である時刻０ｓにおける被写体ＴＧの位置を基準とした、被写体ＴＧの位置の経時変化を表す動作情報として、当該期間に対応する画像動作情報を取得する。これにより、動作情報取得部３０９は、時刻０ｓから時刻１８ｓまでの期間に対応する画像動作情報と、時刻１８ｓから時刻２５ｓまでの期間に対応するセンサ動作情報と、時刻２５ｓから時刻１９５ｓまでの期間に対応する画像動作情報と、を、基準時刻である時刻０ｓにおける被写体ＴＧの位置を基準として統合し、図８に示す第１期間における被写体ＴＧの移動の軌跡ＪＪを動作情報として取得する。
【００７３】
上述したように、動作情報取得部３０９は、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出していないフレームイン期間では画像動作情報を動作情報として取得する一方、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出しているフレームアウト期間ではセンサ動作情報を動作情報として取得する。このため、動作情報取得部３０９は、第１期間に被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出しているフレームアウト期間における被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を、センサ２から取得できる。このような構成により、動作情報取得部３０９は、第１期間に被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、第１期間全体を通じた被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を表す動作情報を取得できる。すなわち、動作情報取得部３０９は、撮像部３８が画像を撮像している最中に解析対象である被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出した場合にも被写体ＴＧの動作を検出できる。
【００７４】
図５に戻り、特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って特定処理を実行する。
【００７５】
具体的に、特定処理実行部３１０は、特定処理として、第１期間の終了後、第２期間よりも前に、出力部３３が備える上述のディスプレイを制御して、図９に示すように、撮像部３８のライブビュー画像ＩＢ中に、被写体ＴＧが準備のダンスをした第１期間における被写体ＴＧの移動範囲を表す移動範囲画像ＩＣを、動作情報取得部３０９によって取得された第１期間に対応する動作情報に従って当該ディスプレイに表示させる処理を実行する。ライブビュー画像ＩＢの輪郭は、撮像部３８の撮像範囲ＡＡに対応している。すなわち、ライブビュー画像ＩＢは、撮像部３８の撮像範囲ＡＡを表す画像である。以下、ユーザが、特定処理によって表示された移動範囲画像ＩＣを目視しつつ、第２期間における撮像部３８の撮像範囲ＡＡを設定する場合を例に用いて説明する。
【００７６】
より具体的に、特定処理実行部３１０は、特定処理において、第１期間における被写体ＴＧの移動範囲を、動作情報取得部３０９によって取得された第１期間に対応する動作情報に従って特定し、特定された移動範囲を表す移動範囲画像ＩＣを、対応情報取得部３０８によって取得された対応情報に従って、出力部３３が備えるディスプレイに表示する。上述したように、対応情報取得部３０８によって取得された対応情報は、撮像部３８のズーム倍率に対応している。特定処理実行部３１０は、対応情報取得部３０８によって取得された対応情報に従って移動範囲画像ＩＣを表示することにより、移動範囲画像ＩＣを、撮像部３８のズーム倍率に従って表示する。
【００７７】
以下、特定処理実行部３１０が実行する特定処理について、図８〜図１０を参照して説明する。
【００７８】
特定処理実行部３１０は、動作情報取得部３０９によって第１期間に対応する動作情報として取得された、図８に示す、第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最小値ｘｍｉｎを、第１期間における被写体ＴＧの移動範囲の左側端部のｘ座標として取得し、第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最大値ｘｍａｘを第１期間における被写体ＴＧの移動範囲の右側端部のｘ座標として取得することにより、第１期間における被写体ＴＧの移動範囲を特定する。特定処理実行部３１０は、第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最小値ｘｍｉｎと、第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最大値ｘｍａｘと、の差の絶対値を、第１期間における被写体ＴＧの移動範囲のｘ軸方向における長さＤＸとして取得する。特定処理実行部３１０は、取得された第１期間における被写体ＴＧの移動範囲のｘ軸方向における長さＤＸに、対応情報取得部３０８によって対応情報として取得されたデータが示す、撮像部３８によって撮像された画像における、長さに対する画角の比率を乗算することにより、第１期間における被写体ＴＧの移動範囲のｘ軸方向における長さＤＸに対応する画角を算出する。
【００７９】
特定処理実行部３１０は、図９に示すように、算出された第１期間における被写体ＴＧの移動範囲のｘ軸方向における長さＤＸに対応する画角を有する移動範囲画像ＩＣを、当該移動範囲画像ＩＣの左側端部Ｅ１のｘ座標が第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最小値ｘｍｉｎに一致し、当該移動範囲画像ＩＣの右側端部Ｅ２のｘ座標が第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最大値ｘｍａｘに一致する位置に表示する。さらに、特定処理実行部３１０は、特定処理において、移動範囲画像ＩＣの中心線を表す中心線画像ＩＤを表示させる。
【００８０】
特定処理により移動範囲画像ＩＣ及び中心線画像ＩＤが表示された状態において、ユーザが、撮像装置３を把持して移動させたり、入力部３２を操作することによって撮像部３８のズーム倍率を変更する指示を入力したりすることによって撮像部３８の撮像範囲ＡＡを変更すると、特定処理実行部３１０は、当該変更に従って移動範囲画像ＩＣ及び中心線画像ＩＤの表示を更新する。具体的に、特定処理実行部３１０は、ユーザが撮像装置３を把持して移動させたことに応答して、撮像装置３の位置と撮像装置３の向きとの少なくも一方が変化したことが上述した検出部３６によって検出された場合、検出部３６によって検出された撮像装置３の位置又は撮像装置３の向きの変化に従って移動範囲画像ＩＣ及び中心線画像ＩＤの表示を更新する。また、ユーザが撮像部３８のズーム倍率を変更する指示を入力した場合、特定処理実行部３１０は、ズーム倍率変更後の撮像部３８によって撮像された画像における、画角とサイズとの対応関係を表す対応情報を対応情報取得部３０８に取得させ、取得された対応情報に従って移動範囲画像ＩＣ及び中心線画像ＩＤの表示を更新する。すなわち、特定処理実行部３１０は、撮像部３８のズーム倍率が変更された場合、移動範囲画像ＩＣを、変更後の撮像部３８のズーム倍率に従って表示する。対応情報取得部３０８は、ズーム倍率変更前の撮像部３８によって撮像された画像における対応情報として取得した、上述の長さに対する画角の比率に対して、変更前のズーム倍率に対する変更後のズーム倍率の比率を乗算することにより、ズーム倍率変更後の撮像部３８によって撮像された画像における、長さに対する画角の比率を算出し、当該長さに対する画角の比率を、ズーム倍率変更後の撮像部３８によって撮像された画像における、画角とサイズとの対応関係を表す対応情報として取得する。
【００８１】
上述したように、動作情報取得部３０９は、第１期間に被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出しているフレームアウト期間における被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化をセンサ２から取得することにより、第１期間全体を通じた被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を表す動作情報を取得できる。特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って移動範囲画像ＩＣを表示することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、特定処理において、第１期間における被写体ＴＧの移動範囲を表す移動範囲画像ＩＣを表示できる。言い換えると、特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って移動範囲画像ＩＣを表示することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、特定処理において、第１期間における被写体ＴＧの移動範囲を正確に表していない画像が表示される可能性を低減する。第１期間における被写体ＴＧの移動範囲を正確に表していない画像の具体例としては、第１期間中の被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出していない期間における被写体ＴＧの移動範囲を表す一方で、第１期間中の被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出している期間における被写体ＴＧの移動範囲は表していない画像が挙げられる。すなわち、特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って移動範囲画像ＩＣを表示することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したことに起因して、特定処理において、不適切な処理である、第１期間における被写体ＴＧの移動範囲を正確に表していない画像を表示する処理が実行されてしまう可能性を低減する。
【００８２】
上述したように、ライブビュー画像ＩＢの輪郭は、撮像部３８の撮像範囲ＡＡに対応している。また、上述したように、本番のダンスの振り付けは、準備のダンスの振り付けと同一である。このため、被写体ＴＧが準備のダンスをした第１期間における被写体ＴＧの移動範囲を表す移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まっている状態で、第２期間において被写体ＴＧが本番のダンスをする様子を表す画像の撮像を撮像部３８に撮像させた場合、第２期間における被写体ＴＧの移動範囲が撮像部３８の撮像範囲ＡＡに収まり、撮像中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出すことがない。すなわち、ユーザは、特定処理により表示されたライブビュー画像ＩＢ及び移動範囲画像ＩＣを目視しつつ、撮像装置３を把持して移動させたり、入力部３２を操作することによって撮像部３８のズーム倍率を変更する指示を入力したりすることによって撮像部３８の撮像範囲ＡＡを変更し、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まるように撮像部３８の撮像範囲ＡＡを設定することで、撮像部３８の撮像範囲ＡＡを、第２期間において被写体ＴＧが本番のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出さないように、直感的に設定できる。
【００８３】
ユーザは、撮像部３８の撮像範囲ＡＡを設定する際に、中心線画像ＩＤを目視しつつ撮像部３８の撮像範囲ＡＡを変更することによって、何れの方向にどれ程度の距離だけ撮像部３８の撮像範囲ＡＡを移動させれば移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まるかを把握し、撮像部３８の撮像範囲ＡＡを、第２期間において被写体ＴＧが本番のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出さないように、直感的に設定できる。
【００８４】
特定処理実行部３１０は、特定処理において、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭からはみ出していることに応答して、出力部３３が備えるディスプレイを制御して、図１０に示すように、第１報知画像ＩＥと、第２報知画像ＩＦと、をライブビュー画像ＩＢ中に表示させる。
【００８５】
第１報知画像ＩＥは、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭からはみ出していることをユーザに報知する画像である。すなわち、第１報知画像ＩＥは、移動範囲画像ＩＣが表す第１期間における被写体ＴＧの移動範囲が、撮像部３８の撮像範囲ＡＡからはみ出していることをユーザに報知する画像である。第１報知画像ＩＥは、移動範囲画像ＩＣがライブビュー画像ＩＢからはみ出している箇所に表示される。特定処理実行部３１０は、特定処理において、第１報知画像ＩＥを表示することによって、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭からはみ出していることをユーザに報知し、撮像部３８の撮像範囲ＡＡの調整を行うようにユーザに促す。
【００８６】
第２報知画像ＩＦは、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭からはみ出していることをユーザに報知すると共に、撮像部３８の撮像範囲ＡＡを何れの方向へ移動させれば移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まるかをユーザに報知する画像である。本実施形態では、図１０に示すように、撮像部３８の撮像範囲ＡＡを何れの方向へ移動させれば移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まるかを示す第２報知画像ＩＦとして、当該方向を表す矢印の画像を表示する。特定処理実行部３１０は、特定処理において、第２報知画像ＩＦを表示することによって、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭からはみ出していることをユーザに報知すると共に、撮像部３８の撮像範囲ＡＡを何れの方向へ移動させれば移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まるかをユーザに報知し、撮像部３８の撮像範囲ＡＡの調整を行うようにユーザに促す。
【００８７】
以下、上述の物理的・機能的構成を備える撮像システム１において実行される処理の流れについて、図１１〜図１３を参照して説明する。
【００８８】
撮像装置３は、外部の情報処理装置によって生成された上述の身長データを、通信部３５によって当該情報処理装置から受信し、記憶部３１に予め記憶している。
【００８９】
この状態において、ユーザが、入力部３２を操作することによって、被写体ＴＧが準備のダンスをする様子を表す画像の撮像を撮像部３８に開始させるための指示を入力すると、図１１に示す処理が開始される。以下、被写体ＴＧが準備のダンスをする様子を表す画像の撮像を撮像部３８が開始したときに、被写体ＴＧが準備のダンスを開始する場合を例に用いて説明する。
【００９０】
図１１に示す処理が開始されると、撮像装置３において、撮像制御部３０２は、撮像部３８を制御して、被写体ＴＧが準備のダンスをする様子を表す画像の撮像を開始させる（ステップＳ１０１）。次に、撮像装置３が備える制御部３０は、通信部３５を制御して、センサ２へ、被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化の検出をセンサ２に開始させるための開始指示を送信させる（ステップＳ１０２）。
【００９１】
センサ２において、センサ動作情報取得部２００は、ステップＳ１０２で撮像装置３から送信された開始指示をセンサ２が備える通信部２５が受信したことに応答して、検出部２６を制御して、被写体ＴＧの位置の経時変化と被写体ＴＧの向きの経時変化との検出を開始させ、当該検出の結果を表すセンサ動作情報の取得を開始する（ステップＳ１０３）。以下、センサ動作情報取得部２００は、後述するステップＳ１０８の処理が実行されるまで、センサ動作情報を取得し続ける。センサ動作情報送信部２０１は、通信部２５を制御して、撮像装置３へのセンサ動作情報の送信を開始する（ステップＳ１０４）。以下、センサ動作情報送信部２０１は、後述するステップＳ１０７の処理が実行されるまで、センサ動作情報取得部２００によって取得されたセンサ動作情報を撮像装置３へ送信し続ける。
【００９２】
撮像装置３において、制御部３０は、第１処理を実行する（ステップ１０５）。以下、第１処理について、図１２に示すフローチャートを参照して説明する。
【００９３】
図１２のフローチャートに示す第１処理が開始されると、まず、センサ動作情報受信部３００が、通信部３５を制御して、センサ２のセンサ動作情報送信部２０１によって送信されたセンサ動作情報を受信させる（ステップＳ２０１）。センサ動作情報受信部３００は、受信されたセンサ動作情報を、センサ動作情報記憶部３０１へ供給する。センサ動作情報記憶部３０１は、センサ動作情報受信部３００から供給されたセンサ動作情報を記憶する。
【００９４】
撮像制御部３０２は、撮像部３８によって撮像された画像を、撮像部３８から取得する（ステップＳ２０２）。撮像制御部３０２は、撮像部３８から取得した画像を、画像記憶部３０３へ供給する。画像記憶部３０３は、撮像制御部３０２から供給された画像を記憶する。
【００９５】
次に、撮像制御部３０２は、入力部３２が、ユーザの操作に従って、被写体ＴＧが準備のダンスをする様子を表す画像の撮像を撮像部３８に終了させるための指示を受け付けたか否かを判定する（ステップＳ２０３）。以下、被写体ＴＧが、第１期間が終了し、準備のダンスが終了したときに、入力部３２を操作することによって、被写体ＴＧが準備のダンスをする様子を表す画像の撮像を撮像部３８に終了させるための指示を入力する場合を例に用いて説明する。
【００９６】
撮像を終了させるための指示を入力部３２が受け付けていないと判定すると（ステップＳ２０３；Ｎｏ）、処理はステップＳ２０１へ戻る。撮像を終了させるための指示を入力部３２が受け付けたと判定すると（ステップＳ２０３；Ｙｅｓ）、撮像制御部３０２は、撮像部３８を制御して、ステップＳ１０１で開始された、被写体ＴＧが準備のダンスをする様子を表す画像の撮像を終了させ（ステップＳ２０４）、第１処理を終了する。撮像装置３は、ステップＳ２０３でＹｅｓと判定されるまでステップＳ２０１〜ステップＳ２０３の処理を繰り返すことにより、被写体ＴＧが準備のダンスをする第１期間に対応するセンサ動作情報と、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像と、を取得する。
【００９７】
図１１に戻り、ステップＳ１０５で第１処理が実行されると、撮像装置３が備える制御部３０は、通信部３５を制御して、センサ２へ、被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化の検出をセンサ２に終了させるための終了指示を送信させる（ステップＳ１０６）。
【００９８】
センサ２において、センサ動作情報送信部２０１は、ステップＳ１０６で撮像装置３から送信された終了指示をセンサ２が備える通信部２５が受信したことに応答して、通信部２５を制御して、ステップＳ１０４で開始されたセンサ動作情報の送信を終了させる（ステップＳ１０７）。センサ動作情報取得部２００は、検出部２６を制御して、被写体ＴＧの位置の経時変化と被写体ＴＧの向きの経時変化との検出を終了させ、ステップＳ１０３で開始されたセンサ動作情報の取得を終了する（ステップＳ１０８）。
【００９９】
撮像装置３において、制御部３０は、第２処理を実行する（ステップＳ１０９）。以下、第２処理について、図１３に示すフローチャートを参照して説明する。
【０１００】
図１３のフローチャートに示す第２処理が開始されると、まず、画像動作情報取得部３０４が、画像記憶部３０３によって記憶された、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を画像記憶部３０３に従って、第１期間に対応する画像動作情報を取得する（ステップＳ３０１）。
【０１０１】
期間検出部３０６は、画像記憶部３０３によって記憶された、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像に従って、第１期間から、フレームアウト期間とフレームイン期間とを検出する（ステップＳ３０２）。
【０１０２】
対応情報取得部３０８は、画像記憶部３０３によって記憶された、第１期間の開始時刻である時刻０ｓに撮像されたフレームの画像に従って、撮像部３８によって撮像された画像における、長さに対する画角の比率を示すデータを、対応情報として取得する（ステップＳ３０３）。
【０１０３】
次に、動作情報取得部３０９が、センサ動作情報記憶部３０１によって記憶された、第１期間に対応するセンサ動作情報を取得する（ステップＳ３０４）。
【０１０４】
動作情報取得部３０９は、ステップＳ３０１で取得された第１期間に対応する画像動作情報と、ステップＳ３０４で取得された第１期間に対応するセンサ動作情報と、ステップＳ３０２におけるフレームアウト期間及びフレームイン期間の検出の結果と、に従って、第１期間に対応する動作情報を取得する（ステップＳ３０５）。具体的に、動作情報取得部３０９は、ステップＳ３０２で検出された第１期間中のフレームアウト期間では、当該フレームアウト期間に対応するセンサ動作情報を、当該フレームアウト期間に対応する動作情報として取得する。また、動作情報取得部３０９は、ステップＳ３０２で検出された第１期間中のフレームイン期間では、当該フレームイン期間に対応する画像動作情報を、当該フレームイン期間に対応する動作情報として取得する。このようにして、動作情報取得部３０９は、第１期間に対応する動作情報を取得する。動作情報取得部３０９は、第１期間に対応する動作情報として、少なくとも、第１期間における被写体ＴＧの移動の軌跡ＪＪを取得する。
【０１０５】
特定処理実行部３１０は、ステップＳ３０５で取得された動作情報に従って、第１期間における被写体ＴＧの移動範囲を特定する（ステップＳ３０６）。具体的に、特定処理実行部３１０は、動作情報取得部３０９によって第１期間に対応する動作情報として取得された、第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最小値ｘｍｉｎを、第１期間における被写体ＴＧの移動範囲の左側端部のｘ座標として取得し、第１期間における被写体ＴＧの移動の軌跡ＪＪにおけるｘ座標の最大値ｘｍａｘを第１期間における被写体ＴＧの移動範囲の右側端部のｘ座標として取得することにより、第１期間における被写体ＴＧの移動範囲を特定する。
【０１０６】
特定処理実行部３１０は、出力部３３が備えるディスプレイを制御して、ステップＳ３０６で特定された第１期間における被写体ＴＧの移動範囲を表す移動範囲画像ＩＣを、撮像部３８のライブビュー画像ＩＢ及び中心線画像ＩＤと共に表示させる（ステップＳ３０７）。
【０１０７】
次に、特定処理実行部３１０は、ユーザによって撮像部３８の撮像範囲ＡＡが変更されたか否かを判定する（ステップＳ３０８）。撮像部３８の撮像範囲ＡＡが変更されていないと判定すると（ステップＳ３０８；Ｎｏ）、処理はステップＳ３１０へ移る。一方、撮像部３８の撮像範囲ＡＡが変更されたと判定すると（ステップＳ３０８；Ｙｅｓ）、特定処理実行部３１０は、当該変更に従って、移動範囲画像ＩＣ及び中心線画像ＩＤの表示を更新する（ステップＳ３０９）。
【０１０８】
撮像制御部３０２は、入力部３２が、ユーザの操作に従って、被写体ＴＧが本番のダンスをする様子を表す画像の撮像を撮像部３８に開始させるための指示を受け付けたか否かを判定する（ステップＳ３１０）。以下、被写体ＴＧが、移動範囲画像ＩＣを目視しつつ、撮像装置３を把持して移動させたり、撮像部３８のズーム倍率を変更する指示を入力したりすることによって撮像部３８の撮像範囲ＡＡを変更し、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まるように撮像部３８の撮像範囲ＡＡを設定した状態で、入力部３２を操作することにより、被写体ＴＧが本番のダンスをする様子を表す画像の撮像を撮像部３８に開始させる指示を入力する場合を例に用いて説明する。また、以下、被写体ＴＧが本番のダンスをする様子を表す画像の撮像を撮像部３８が開始したときに、被写体ＴＧが本番のダンスを開始する場合を例に用いて説明する。
【０１０９】
撮像部３８に撮像を開始させるための指示を入力部３２が受け付けていないと判定すると（ステップＳ３１０；Ｎｏ）、処理はステップＳ３０８へ戻る。一方、撮像部３８に撮像を開始させるための指示を入力部３２が受け付けたと判定すると（ステップＳ３１０；Ｙｅｓ）、撮像制御部３０２は、撮像部３８を制御して、被写体ＴＧが本番のダンスをする様子を表す画像の撮像を開始させる（ステップＳ３１１）。撮像制御部３０２は、撮像部３８によって撮像された画像を、撮像部３８から取得する（ステップＳ３１２）。撮像制御部３０２は、撮像部３８から取得した画像を、画像記憶部３０３へ供給する。画像記憶部３０３は、撮像制御部３０２から供給された画像を記憶する。
【０１１０】
撮像制御部３０２は、入力部３２が、ユーザの操作に従って、被写体ＴＧが本番のダンスをする様子を表す画像の撮像を撮像部３８に終了させるための指示を受け付けたか否かを判定する（ステップＳ３１３）。以下、被写体ＴＧが、第２期間が終了し、本番のダンスが終了したときに、入力部３２を操作することによって、被写体ＴＧが本番のダンスをする様子を表す画像の撮像を撮像部３８に終了させるための指示を入力する場合を例に用いて説明する。
【０１１１】
撮像を終了させるための指示を入力部３２が受け付けていないと撮像制御部３０２が判定すると（ステップＳ３１３；Ｎｏ）、処理はステップＳ３１２へ戻る。撮像を終了させるための指示を入力部３２が受け付けたと判定すると（ステップＳ３１３；Ｙｅｓ）、撮像制御部３０２は、撮像部３８を制御して、ステップＳ３１１で開始された、被写体ＴＧが本番のダンスをする様子を表す画像の撮像を終了させ（ステップＳ３１４）、第２処理を終了する。撮像装置３は、ステップＳ３１３でＹｅｓと判定されるまでステップＳ３１２及びステップＳ３１３の処理を繰り返すことにより、第２期間において被写体ＴＧが本番のダンスをする様子を表す画像を取得する。
【０１１２】
図１１に戻り、ステップＳ１０９で第２処理が実行されると、図１１に示す処理は終了する。
【０１１３】
以上説明したように、動作情報取得部３０９は、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出していないフレームイン期間では画像動作情報を動作情報として取得する一方、被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出しているフレームアウト期間ではセンサ動作情報を動作情報として取得する。これにより、動作情報取得部３０９は、第１期間に被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、第１期間全体を通じた被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を表す第１期間に対応する動作情報を取得できる。すなわち、動作情報取得部３０９は、撮像部３８が画像を撮像している最中に解析対象である被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出した場合にも被写体ＴＧの動作を検出できる。
【０１１４】
特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って移動範囲画像ＩＣを表示することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、特定処理において、第１期間における被写体ＴＧの移動範囲を表す移動範囲画像ＩＣを表示できる。すなわち、特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って移動範囲画像ＩＣを表示することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したことに起因して、特定処理において、不適切な処理である、第１期間における被写体ＴＧの移動範囲を正確に表していない画像を表示する処理が実行されてしまう可能性を低減する。
【０１１５】
また、上述したように、ユーザは、特定処理により表示されたライブビュー画像ＩＢ及び移動範囲画像ＩＣを目視しつつ、撮像装置３を把持して移動させたり、入力部３２を操作することによって撮像部３８のズーム倍率を変更する指示を入力したりすることによって撮像部３８の撮像範囲ＡＡを変更し、移動範囲画像ＩＣがライブビュー画像ＩＢの輪郭に収まるように撮像部３８の撮像範囲ＡＡを設定することで、撮像部３８の撮像範囲ＡＡを、第２期間において被写体ＴＧが本番のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出さないように、直感的に設定できる。
【０１１６】
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１１７】
例えば、上記実施形態では、被写体ＴＧを撮像する撮像装置３が、動作情報を取得し、当該動作情報に従って特定処理を実行するものとして説明した。しかし、これは一例に過ぎず、センサ２と撮像装置３との何れとも異なる装置が、動作情報の取得と、当該動作情報に従った特定処理の実行と、のうち少なくとも一方を実行してもよい。例えば、センサ２と撮像装置３との何れとも異なる、ＰＣ、スマートフォン等の情報処理装置が、動作情報を取得し、当該動作情報に従った特定処理を実行するようにしてもよい。このような構成によれば、撮像装置３が動作情報を取得し、特定処理を実行する上記実施形態に比べて、撮像装置３の処理負荷を軽減できる。
【０１１８】
この場合、情報処理装置は、センサ２からセンサ動作情報を取得する第１情報取得手段と、撮像装置３から画像動作情報を取得する第２情報取得手段と、当該第１情報取得手段によって取得されたセンサ動作情報と当該第２情報取得手段によって取得された画像動作情報とを記憶する情報記憶手段と、を備えていればよい。第１情報取得手段は、例えばセンサ２との間で無線通信を行うことによりセンサ動作情報を取得すればよい。第２情報取得手段は、例えば撮像装置３との間で無線通信を行うことにより画像動作情報を取得すればよい。情報記憶手段は、例えばＨＤＤ、フラッシュメモリ等の不揮発性の外部記憶装置を備えていればよい。情報処理装置は、記憶手段によって記憶されたセンサ動作情報と画像動作情報とに従って動作情報を取得し、取得された動作情報に従って特定処理を実行すればよい。
【０１１９】
上記実施形態では、撮像装置３が、センサ動作情報をセンサ２から受信することによって取得し、画像動作情報を自ら生成することによって取得するものとして説明した。しかし、これは一例に過ぎず、撮像装置３は、任意の方法でセンサ動作情報及び画像動作情報を取得できる。
【０１２０】
例えば、センサ動作情報と画像動作情報とを記憶部３１に予め記憶しておき、制御部３０が、センサ動作情報と画像動作情報とを記憶部３１から取得するようにしてもよい。具体的には、センサ動作情報受信部３００がセンサ２から受信したセンサ動作情報を記憶部３１に予め記憶させておき、ＰＣ、スマートフォン等の外部の情報処理装置が撮像装置３によって撮像された画像に従って生成した画像動作情報を、通信部３５を介して受信し、記憶部３１に予め記憶させておけばよい。
【０１２１】
或いは、センサ動作情報と画像動作情報とを、通信部３５を介して、ＰＣ、スマートフォン等の外部の情報処理装置から受信することによって取得するようにしてもよい。具体的には、外部の情報処理装置がセンサ２からセンサ動作情報を取得し、撮像装置３が、当該外部の情報処理装置との間で通信部３５により無線通信を行うことで当該外部の情報処理装置からセンサ動作情報を取得すればよい。また、外部の情報処理装置が撮像装置３によって撮像された画像に従って画像動作情報を生成し、撮像装置３が、当該外部の情報処理装置との間で通信部３５により無線通信を行うことで当該外部の情報処理装置から画像動作情報を取得すればよい。なお、撮像装置３は、互いに同一の情報処理装置からセンサ動作情報と画像動作情報とを取得することにしてもよいし、互い異なる情報処理装置からセンサ動作情報と画像動作情報とを取得することにしてもよい。すなわち、センサ動作情報を取得する外部の情報処理装置と、画像動作情報を生成する外部の情報処理装置とは、互いに同一の装置であってもよいし、互いに異なる装置であってもよい。
【０１２２】
上記実施形態では、特定処理実行部３１０が、特定処理において、動作情報取得部３０９によって取得された動作情報に従って、移動範囲画像ＩＣを表示するものとして説明した。しかし、これは一例に過ぎず、特定処理実行部３１０は、特定処理として、動作情報取得部３０９によって取得された動作情報に従って、任意の処理を実行することができる。
【０１２３】
例えば、特定処理実行部３１０は、特定処理において、撮像部３８の撮像範囲ＡＡを、動作情報取得部３０９によって取得された動作情報に従って設定してもよい。具体的に、特定処理実行部３１０は、第１期間に対応する動作情報に従って第１期間における被写体ＴＧの移動範囲を特定し、特定された移動範囲が撮像部３８の撮像範囲ＡＡに収まるように、第２期間における撮像部３８の撮像範囲ＡＡを設定すればよい。
【０１２４】
被写体ＴＧが準備のダンスをする第１期間における被写体ＴＧの移動範囲が撮像部３８の撮像範囲ＡＡに収まるように撮像部３８の撮像範囲ＡＡを設定した状態において、第２期間において被写体ＴＧが準備のダンスと互いに振り付けが同一な本番のダンスをする様子を表す画像を撮像部３８に撮像することにより、第２期間において被写体ＴＧが本番のダンスをする様子を表す画像を撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出す可能性を低減できる。また、この構成によれば、ユーザが自ら撮像部３８の撮像範囲ＡＡを設定する必要がないため、ユーザの操作負荷を軽減できる。
【０１２５】
上述したように、動作情報取得部３０９は、第１期間に対応する画像動作情報と第１期間に対応するセンサ動作情報とに従って第１期間に対応する動作情報を取得することにより、第１期間に被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、第１期間全体を通じた被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を表す第１期間に対応する動作情報を取得できる。特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って第２期間における撮像部３８の撮像範囲ＡＡを設定することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、特定処理において、第２期間における撮像部３８の撮像範囲ＡＡを、第１期間における被写体ＴＧの移動範囲が撮像部３８の撮像範囲ＡＡに収まるように設定できる。すなわち、特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って撮像部３８の撮像範囲ＡＡを設定することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したことに起因して、特定処理において、不適切な処理である、第２期間における撮像部３８の撮像範囲ＡＡを、第１期間における被写体ＴＧの移動範囲が撮像部３８の撮像範囲ＡＡに収まらないように設定する処理が実行されてしまう可能性を低減する。
【０１２６】
特定処理実行部３１０は、撮像部３８のズーム倍率を変更することにより撮像部３８の撮像範囲ＡＡを変更し、撮像部３８の撮像範囲ＡＡを、動作情報取得部３０９によって取得された動作情報に従って設定すればよい。或いは、撮像装置３が、撮像装置３の本体を支持し、撮像装置３の位置と撮像装置３の向きとを変更可能な、電動雲台、ロボットアーム等の支持手段を備え、特定処理実行部３１０は、当該支持手段を制御して、撮像装置３の位置と撮像装置３の向きとの少なくとも一方を変更させることにより、撮像部３８の撮像範囲ＡＡを変更し、撮像部３８の撮像範囲ＡＡを、動作情報取得部３０９によって取得された動作情報に従って設定してもよい。なお、特定処理実行部３１０は、上述した各処理を組み合わせて実行することにより、撮像部３８の撮像範囲ＡＡを設定してもよい。すなわち、特定処理実行部３１０は、撮像部３８のズーム倍率を変更すると共に、上述した支持手段を制御して撮像装置３の位置と撮像装置３の向きとの少なくとも一方を変更することにより、撮像部３８の撮像範囲ＡＡを変更し、撮像部３８の撮像範囲ＡＡを、動作情報取得部３０９によって取得された動作情報に従って設定してもよい。
【０１２７】
特定処理実行部３１０は、特定処理において、撮像部３８の動作を、動作情報取得部３０９によって取得された動作情報に従って制御してもよい。具体的に、特定処理実行部３１０は、特定処理において、第２期間における撮像部３８の動作を、動作情報取得部３０９によって取得された第１期間に対応する動作情報に従って制御してもよい。
【０１２８】
具体的に、特定処理実行部３１０は、動作情報取得部３０９によって取得された第１期間に対応する動作情報に従って、被写体ＴＧの動作の種類、被写体ＴＧの動作の大きさ、被写体ＴＧの動作の速度、被写体ＴＧの位置の経時変化、被写体ＴＧの向きの経時変化、被写体ＴＧの移動方向等の第１期間における被写体ＴＧの動作の形態を表す情報を取得し、当該情報に従って第２期間における撮像部３８の動作を制御すればよい。なお、被写体ＴＧの動作の種類は、被写体ＴＧの動作が、スキップ、ジャンプ等の複数種類の動作の種類のうち何れであるかを示す情報である。
【０１２９】
例えば、特定処理実行部３１０は、撮像部３８によって第２期間に実行される撮像におけるズーム倍率とズーム速度とのうち少なくとも一方を、上述した被写体ＴＧの動作の形態を表す情報に従って設定してもよい。或いは、撮像装置３が、撮像装置３の本体を支持し、撮像装置３の位置と撮像装置３の向きとを変更可能な、電動雲台、ロボットアーム等の支持手段を備え、特定処理実行部３１０は、被写体ＴＧの動作の形態を表す情報に従って当該支持手段を制御して、撮像装置３の位置と撮像装置３の向きとの少なくとも一方を変更させることにより、第２期間において撮像を実行する際の撮像部３８の撮像範囲ＡＡや撮像部３８の撮像方向を設定してもよい。或いは、特定処理実行部３１０は、被写体ＴＧの動作の形態を表す情報に従って上述した支持手段を制御することにより、第２期間において撮像部３８が画像を撮像している最中に、撮像部３８の撮像方向を変更するパン動作を実行してもよい。特定処理実行部３１０は、パン動作を実行する場合に、パン動作において撮像部３８の撮像方向が移動する方向であるパン方向や、撮像部３８の撮像方向が移動する速度であるパン速度を、被写体ＴＧの動作の形態を表す情報に従って設定すればよい。
【０１３０】
なお、特定処理実行部３１０は、特定処理において、上述した各処理のうち複数の処理を実行することにより、撮像部３８の動作を、被写体ＴＧの動作の形態を表す情報に従って制御してもよい。すなわち、特定処理実行部３１０は、特定処理において、上述した被写体ＴＧの動作の形態を表す情報に従って、撮像部３８によって第２期間に実行される撮像におけるズーム倍率とズーム速度とのうち少なくとも一方の設定と、上述した支持手段の制御による撮像装置３の位置と撮像装置３の向きとの少なくとも一方の変更と、当該支持手段の制御によるパン動作の実行と、のうち複数の処理を実行することにより、第２期間における撮像部３８の動作を制御してもよい。
【０１３１】
被写体ＴＧが準備のダンスをする第１期間に対応する動作情報に従って、第２期間において被写体ＴＧが準備のダンスと互いに振り付けが同一な本番のダンスをする様子を表す画像を撮像する際の撮像部３８の動作を制御することにより、被写体ＴＧの動作に応じた適切な撮像動作が実行できると共に、ユーザが自ら撮像部３８の動作を指定する場合に比べてユーザの操作負荷を軽減できる。すなわち、この構成によれば、第２期間より前の第１期間に対応する動作情報に従って撮像部３８の動作を制御することにより、撮像部３８の動作の制御を自動化することができる。
【０１３２】
上述したように、動作情報取得部３０９は、第１期間に対応する画像動作情報と第１期間に対応するセンサ動作情報とに従って第１期間に対応する動作情報を取得することにより、第１期間に被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、第１期間全体を通じた被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を表す第１期間に対応する動作情報を取得できる。特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って第２期間における撮像部３８の動作を制御することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、特定処理において、被写体ＴＧが本番のダンスをする様子を表す画像を撮像する際の撮像部３８の動作を、被写体ＴＧが本番のダンスと互いに振り付けが同一である準備のダンスをした第１期間における被写体ＴＧの動作に応じて制御できる。すなわち、特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って第２期間における撮像部３８の動作を制御することにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したことに起因して、特定処理において、不適切な処理である、撮像部３８の動作を被写体ＴＧの動作に対応していない形態で制御する処理が実行されてしまう可能性を低減する。
【０１３３】
特定処理実行部３１０は、特定処理において、撮像部３８によって撮像された画像に対し、動作情報取得部３０９によって取得された動作情報に従って画像処理を施してもよい。具体的に、特定処理実行部３１０は、特定処理において、第２期間において撮像部３８によって撮像された画像に対し、動作情報取得部３０９によって取得された第１期間に対応する動作情報に従って画像処理を施してもよい。
【０１３４】
具体的に、特定処理実行部３１０は、特定処理において、画像処理の種類、画像処理を施す範囲、画像処理の適応度合い、画像処理の強度等の画像処理の形態を、第１期間に対応する動作情報に従って、決定された形態に従って、第２期間において撮像部３８によって撮像された画像に対して画像処理を施せばよい。
【０１３５】
例えば、特定処理実行部３１０は、第１期間に対応する動作情報に従って、第２期間において撮像部３８によって撮像された画像に含まれる、被写体ＴＧを表す画像の位置を特定し、当該画像に含まれる、被写体ＴＧを表す画像以外の画像に対して画像処理を施してもよい。撮像部３８によって撮像された画像に含まれる、被写体ＴＧを表す画像以外の画像の具体例としては、当該画像における被写体ＴＧの背景を表す画像が挙げられる。このような構成によれば、第１期間に対応する動作情報に従って第２期間に撮像部３８によって撮像された画像に含まれる、被写体ＴＧを表す画像の位置を特定し、当該被写体ＴＧを表す画像以外の画像に対して画像処理を施すことにより、被写体ＴＧを表す画像をより引き立てることができる。
【０１３６】
或いは、特定処理実行部３１０は、第１期間に対応する動作情報に従って、被写体ＴＧの動作の種類、被写体ＴＧの動作の大きさ、被写体ＴＧの動作の速度、被写体ＴＧの位置の経時変化、被写体ＴＧの向きの経時変化、被写体ＴＧの移動方向等の第１期間における被写体ＴＧの動作の形態を表す情報を取得し、当該被写体ＴＧの動作の形態を表す情報に従って、第２期間において撮像部３８によって撮像された画像に対して画像処理を施してもよい。例えば、画像処理として、画像をブラー軸に水平な方向にぼかすブラー処理を実行することとし、上述した被写体ＴＧの動作の形態を表す情報によって示される、被写体ＴＧの移動速度が大きいほど強くブラー処理を施すようにしてもよい。或いは、上述した被写体ＴＧの動作の形態を表す情報に従って、被写体ＴＧの各部の移動速度を特定し、移動速度が大きい部分ほど強くブラー処理を施すようにしてもよい。このような構成によれば、画像のスピード感、ダイナミック感を向上させ、画像の躍動感を向上させることができる。
【０１３７】
或いは、特定処理実行部３１０は、第２期間における撮像部３８の動作を第１期間に対応する動作情報に従って制御し、当該制御の形態に従って、第２期間において撮像部３８によって撮像された画像に対して画像処理を施してもよい。例えば、特定処理実行部３１０は、撮像装置３の向きの変化速度、撮像部３８のズーム速度及び上述したパン速度を第１期間に対応する動作情報に従って制御し、制御された撮像装置３の向きの変化速度、撮像部３８のズーム速度及びパン速度に従って、画像処理の種類、画像処理を施す範囲、画像処理の適応度合い、画像処理の強度を決定し、当該決定の結果に従って画像処理を実行してもよい。なお、特定処理実行部３１０は、上述した支持手段を制御することによって、撮像装置３の向きの変化速度とパン速度とを制御すればよい。具体的に、特定処理実行部３１０は、画像処理として上述したブラー処理を施すこととし、撮像装置３の向きの変化速度が大きいほど強くブラー処理を施すことにしてもよい。或いは、特定処理実行部３１０は、パン動作において撮像部３８の撮像方向が移動する方向であるパン方向に水平にブラー軸を設定し、ブラー処理を実行してもよい。このような構成によれば、画像のスピード感、ダイナミック感を向上させ、画像の躍動感を向上させることができる。
【０１３８】
なお、特定処理実行部３１０は、特定処理において、上述した各処理のうち複数の処理を実行することにより、撮像部３８によって撮像された画像に画像処理を施してもよい。すなわち、特定処理実行部３１０は、特定処理において、第１期間に対応する動作情報に従って、被写体ＴＧを表す画像以外の画像に対して画像処理を施す処理と、上述した被写体ＴＧの動作の形態を表す情報に従って画像処理を施す処理と、第１期間に対応する動作情報に従った撮像部３８の動作の制御の形態に応じて画像処理を施す処理と、のうち複数の処理を実行することにより、撮像部３８によって撮像された画像に画像処理を施してもよい。
【０１３９】
被写体ＴＧが準備のダンスをする第１期間に対応する動作情報に従って、第２期間において撮像部３８によって撮像された、被写体ＴＧが準備のダンスと互いに振り付けが同一な本番のダンスをする様子を表す画像に対して画像処理を施すことにより、被写体ＴＧの動作に応じた適切な画像処理を施し、画像の躍動感を向上させることができると共に、ユーザが自ら撮像部３８によって撮像された画像に対する画像処理の形態を指定する場合に比べてユーザの操作負荷を軽減できる。すなわち、この構成によれば、第２期間より前の第１期間に対応する動作情報に従って第２期間において撮像部３８によって撮像された画像に対して画像処理を施すことにより、画像処理を自動化することができる。
【０１４０】
上述したように、動作情報取得部３０９は、第１期間に対応する画像動作情報と第１期間に対応するセンサ動作情報とに従って第１期間に対応する動作情報を取得することにより、第１期間に被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、第１期間全体を通じた被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化を表す第１期間に対応する動作情報を取得できる。特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って第２期間において撮像部３８によって撮像された画像に対して画像処理を施すことにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したとしても、特定処理において、第１期間において撮像部３８によって撮像された画像に対して、被写体ＴＧが本番のダンスと互いに振り付けが同一である準備のダンスをした第１期間における被写体ＴＧの動作に応じた画像処理を施すことができる。すなわち、特定処理実行部３１０は、動作情報取得部３０９によって取得された動作情報に従って第２期間において撮像部３８によって撮像された画像に対して画像処理を施すことにより、第１期間において被写体ＴＧが準備のダンスをする様子を表す画像を撮像部３８が撮像している最中に被写体ＴＧが撮像部３８の撮像範囲ＡＡからはみ出したことに起因して、特定処理において、不適切な処理である、第２期間において撮像部３８によって撮像された画像に対して被写体ＴＧの動作に対応していない画像処理を施す処理が実行されてしまう可能性を低減する。
【０１４１】
なお、特定処理実行部３１０は、特定処理において、上記実施形態及び上述の各変形例において示した各処理のうち複数の処理を実行してもよい。すなわち、特定処理実行部３１０は、動作情報に従い、特定処理において、移動範囲画像ＩＣの表示と、撮像部３８の撮像範囲ＡＡの設定と、撮像部３８の動作の制御と、撮像部３８によって撮像された画像に対する画像処理と、のうち複数の処理を実行してもよい。例えば、特定処理実行部３１０は、動作情報に従い、特定処理において、移動範囲画像ＩＣを表示し、第２期間における撮像部３８の撮像範囲ＡＡを設定し、第２期間における撮像部３８の動作を制御し、第２期間において撮像部３８によって撮像された画像に対して画像処理を施してもよい。
【０１４２】
上記実施形態では、動作情報取得部３０９は、動作情報を、フレームアウト期間では、当該フレームアウト期間に対応するセンサ動作情報を当該フレームアウト期間に対応する動作情報として取得し、フレームイン期間では、当該フレームイン期間に対応する画像動作情報を当該フレームイン期間に対応する動作情報として取得することにより取得するものとして説明した。しかし、これは一例に過ぎず、動作情報取得部３０９は、動作情報を、センサ動作情報と画像動作情報とに従って、任意の方法で取得できる。
【０１４３】
例えば、動作情報取得部３０９は、動作情報を、センサ動作情報と、画像動作情報と、センサ動作情報の精度と、画像動作情報の精度と、に従って取得してもよい。
【０１４４】
具体的に、動作情報取得部３０９は、第１期間に対応する動作情報を取得する際、第１期間中に設定された少なくとも１つ以上の区間毎に、センサ動作情報の精度と画像動作情報の精度とを比較し、センサ動作情報と画像動作情報とのうち、より精度が高い情報を動作情報として取得することにより、動作情報を取得すればよい。例えば、一の区間に対応するセンサ動作情報の精度が、当該一の区間に対応する画像動作情報の精度に比べて高いと判定した場合、当該一の区間に対応するセンサ動作情報を、当該一の区間に対応する動作情報として取得する。また、一の区間に対応する画像動作情報の精度が、当該一の区間に対応するセンサ動作情報の精度に比べて高いと判定した場合、当該一の区間に対応する画像動作情報を、当該一の区間に対応する動作情報として取得する。なお、上述の区間は、任意の方法で設定すればよい。また、一の区間に対応するセンサ動作情報と一の区間に対応する画像動作情報とのうち一方のみが取得されている場合には、当該一方の情報を動作情報として取得すればよい。
【０１４５】
より具体的に、動作情報取得部３０９は、一の区間に対応するセンサ動作情報が当該一の区間に対応する画像動作情報に比べて滑らかであると判定した場合、当該一の区間に対応するセンサ動作情報が当該一の区間に対応する画像動作情報に比べて精度が高いと判定する。動作情報取得部３０９は、一の区間に対応するセンサ動作情報によって表される被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化が、当該一の区間に対応する画像動作情報によって表される被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化に比べて小さい場合、当該一の区間に対応するセンサ動作情報が当該一の区間に対応する画像動作情報に比べて滑らかであると判定する。また、動作情報取得部３０９は、一の区間に対応する画像動作情報が当該一の区間に対応するセンサ動作情報に比べて滑らかであると判定した場合、当該一の区間に対応する画像動作情報が当該一の区間に対応するセンサ動作情報に比べて精度が高いと判定する。動作情報取得部３０９は、一の区間に対応する画像動作情報によって表される被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化が、当該一の区間に対応するセンサ動作情報によって表される被写体ＴＧの位置の経時変化及び被写体ＴＧの向きの経時変化に比べて小さい場合、当該一の区間に対応する画像動作情報が当該一の区間に対応するセンサ動作情報に比べて滑らかであると判定する。
【０１４６】
このような構成によれば、動作情報を、センサ動作情報の精度と、画像動作情報の精度と、に従って取得することにより、動作情報の精度を向上させることができる。
【０１４７】
或いは、動作情報取得部３０９は、動作情報を、撮像部３８によって撮像された画像の明るさ、コントラスト比等の、撮像部３８によって撮像された画像に係る特徴量に従って取得してもよい。
【０１４８】
具体的に、動作情報取得部３０９は、上述した画像に係る特徴量が予め設定された特定条件を満たしている特定期間では、当該特定期間に対応するセンサ動作情報を当該特定期間に対応する動作情報として取得し、画像に係る特徴量が特定条件を満たしていない非特定期間では、当該非特定期間に対応する画像動作情報を当該非特定期間に対応する動作情報として取得することにより、動作情報を取得すればよい。特定条件は、撮像部３８によって撮像された画像に従って被写体ＴＧの位置又は被写体ＴＧの向きを正確に検出することが困難であることに基づいて成立する。特定条件は、実験等の任意の方法によって設定すればよい。
【０１４９】
例えば、特定条件が、撮像部３８によって撮像された画像に係る特徴量である、撮像部３８によって撮像された画像の明るさが、予め設定された閾値以下である場合に満たされるようにしてもよい。この閾値は、実験等の任意の方法によって設定すればよい。撮像部３８によって撮像された画像に係る特徴量である、撮像部３８によって撮像された画像の明るさが特定条件を満たす場合、すなわち、撮像部３８によって撮像された画像の明るさが上述した閾値以下である場合、当該画像に従って被写体ＴＧの位置又は被写体ＴＧの向きを正確に検出することが困難である。そこで、動作情報取得部３０９は、撮像部３８によって撮像された画像の明るさが特定条件を満たしている特定期間では、当該特定期間に対応するセンサ動作情報を当該特定期間に対応する動作情報として取得する。
【０１５０】
或いは、特定条件が、撮像部３８によって撮像された画像に係る特徴量である、撮像部３８によって撮像された画像のコントラスト比が、予め設定された閾値以下である場合に満たされるようにしてもよい。この閾値は、実験等の任意の方法によって設定すればよい。撮像部３８によって撮像された画像に係る特徴量である、撮像部３８によって撮像された画像のコントラスト比が特定条件を満たす場合、すなわち、撮像部３８によって撮像された画像のコントラスト比が上述した閾値以下である場合、当該画像に従って被写体ＴＧの位置又は被写体ＴＧの向きを正確に検出することが困難である。そこで、動作情報取得部３０９は、撮像部３８によって撮像された画像のコントラスト比が特定条件を満たしている特定期間では、当該特定期間に対応するセンサ動作情報を当該特定期間に対応する動作情報として取得する。
【０１５１】
このような構成によれば、撮像部３８によって撮像された画像に従って被写体ＴＧの位置又は被写体ＴＧの向きを正確に検出することが困難な場合に、画像動作情報が動作情報として取得され、動作情報の精度が低下してしまう可能性を低減し、動作情報の精度を向上させることができる。
【０１５２】
なお、上述の各変形例において、センサ動作情報及び画像動作情報を動作情報として取得する場合、上記実施形態と同様に、基準時刻における被写体ＴＧの位置及び被写体ＴＧの向きを基準として設定してこれらの情報を取得すればよい。これにより、センサ動作情報及び画像動作情報を基準時刻における被写体ＴＧの位置及び被写体ＴＧの向きを基準として統合し、動作情報を取得することができる。
【０１５３】
上記実施形態では、フレームアウト条件は、被写体ＴＧのうち撮像部３８の撮像範囲ＡＡに含まれている部分のサイズが被写体ＴＧ全体のサイズに対して占める割合がフレームアウト閾値以下である場合に成立するものとして説明した。しかし、これは一例に過ぎず、任意の条件をフレームアウト条件として設定できる。例えば、フレームアウト条件は、センサ動作情報に従って取得された被写体ＴＧの位置を表す座標が、撮像部３８の撮像範囲ＡＡに対応する座標範囲に属していない場合に成立するようにしてもよい。
【０１５４】
上記実施形態では、対応情報取得部３０８は、身長データが表す被写体ＴＧの身長に従って対応情報を取得するものとして説明した。しかし、これは一例に過ぎず、対応情報取得部３０８は、予め設定されているユーザの平均身長を被写体ＴＧの身長として用いることにより対応情報を取得してもよい。
【０１５５】
上記実施形態では、本番ダンスの開始時刻である時刻０ｓにおいて、被写体ＴＧが直立しており、対応情報取得部３０８は、時刻０ｓにおいて撮像されたフレームの画像から検出された被写体ＴＧを表す画像ＩＡのｙ軸方向における長さＨ０に従って対応情報を取得するものとして説明した。しかし、これは一例に過ぎず、対応情報取得部３０８は、第１期間において撮像された画像から、任意の時刻に撮像された、被写体ＴＧが直立している画像を検出し、検出された画像から被写体ＴＧを表す画像ＩＡを検出し、当該被写体ＴＧを表す画像ＩＡのｙ軸方向における長さに従って対応情報を取得してもよい。
【０１５６】
なお、対応情報取得部３０８は、撮像部３８によって撮像された画像から、被写体ＴＧの顔を表す画像、被写体ＴＧの耳を表す画像等の被写体ＴＧの所定領域を表す画像を検出し、検出された画像のサイズと、予め設定された被写体ＴＧの当該所定領域のサイズと、に従って対応情報を取得してもよい。
【０１５７】
上記実施形態では、準備のダンスと本番のダンスとが互いに同一の動作であるものとして説明したが、これは一例に過ぎず、準備のダンスと本番のダンスとは互いに異なる動作であってもよい。
【０１５８】
上記実施形態では、第１期間において準備のダンスをする人物と、第２期間において本番のダンスをする人物と、が互いに同一の人物である被写体ＴＧであるものとして説明した。しかし、これは一例に過ぎず、第１期間において準備のダンスをする人物と、第２期間において本番のダンスをする人物と、が互いに異なっていてもよい。例えば、ダンス教室において、先生がお手本として第１期間において準備のダンスをした後、生徒が第２期間において本番のダンスをしてもよい。
【０１５９】
上記実施形態では、被写体ＴＧがダンスをするものとして説明したが、これは一例に過ぎず、撮像システム１は、被写体ＴＧが任意の動作を実行する様子を表す画像を撮像し、当該画像に従った処理を実行することができる。例えば、撮像システム１は、被写体ＴＧがゴルフスイングをする様子を表す画像や、被写体ＴＧが走る様子を表す画像等を撮像し、当該画像に従った処理を実行してもよい。
【０１６０】
なお、本発明に係る機能を実現するための構成を予め備えた動作解析装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置を、本発明に係る動作解析装置として機能させることもできる。すなわち、本発明に係る動作解析装置の各機能構成を実現させるためのプログラムを、既存の情報処理装置を制御するＣＰＵ等が実行できるように適用することで、当該既存の情報処理装置を本発明に係る動作解析装置として機能させることができる。
【０１６１】
なお、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、メモリーカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。
【０１６２】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０１６３】
（付記１）
解析対象に装着された動き検出センサによって取得された前記解析対象の第１の位置情報を取得する第１の取得手段と、
撮像手段によって撮像された画像に基づく前記解析対象の第２の位置情報を取得する第２の取得手段と、
前記第１の取得手段によって取得された前記第１の位置情報と、前記第２の取得手段によって取得された前記第２の位置情報と、に基づいて、前記解析対象の位置の経時変化を表す動作情報を取得する動作情報取得手段と、
を備えることを特徴とする動作解析装置。
【０１６４】
（付記２）
前記第１の位置情報は、前記動き検出センサによって検出された前記解析対象の位置の経時変化を表す情報であることを特徴とする付記１に記載の動作解析装置。
【０１６５】
（付記３）
前記第２の位置情報は、前記画像に基づいて取得された前記解析対象の位置の経時変化を表す情報であることを特徴とする付記１又は２に記載の動作解析装置。
【０１６６】
（付記４）
前記第１の位置情報と前記第２の位置情報とを記憶する記憶手段をさらに備え、
前記第１の取得手段は、前記記憶手段から前記第１の位置情報を取得し、
前記第２の取得手段は、前記記憶手段から前記第２の位置情報を取得することを特徴とする付記１乃至３の何れか一つに記載の動作解析装置。
【０１６７】
（付記５）
前記第１の取得手段は、第１の装置から前記第１の位置情報を取得し、
前記第２の取得手段は、第２の装置から前記第２の位置情報を取得することを特徴とする付記１乃至３の何れか一つに記載の動作解析装置。
【０１６８】
（付記６）
前記動作情報取得手段によって取得された前記動作情報に従って特定処理を実行する特定処理実行手段をさらに備えることを特徴とする付記１乃至５の何れか一つに記載の動作解析装置。
【０１６９】
（付記７）
前記特定処理実行手段は、前記特定処理において、前記解析対象の移動範囲を表す移動範囲画像を表示手段に表示することを特徴とする付記６に記載の動作解析装置。
【０１７０】
（付記８）
前記特定処理実行手段は、前記移動範囲を、前記動作情報取得手段によって取得された前記動作情報に従って取得することを特徴とする付記７に記載の動作解析装置。
【０１７１】
（付記９）
前記特定処理実行手段は、前記移動範囲画像を、前記撮像手段のズーム倍率に従って前記表示手段に表示することを特徴とする付記７又は８に記載の動作解析装置。
【０１７２】
（付記１０）
前記特定処理実行手段は、前記移動範囲画像を、前記撮像手段によって撮像された画像における画角とサイズとの対応関係を表す対応情報に従って前記表示手段に表示することを特徴とする付記７乃至９の何れか一つに記載の動作解析装置。
【０１７３】
（付記１１）
前記特定処理実行手段は、前記特定処理において、前記撮像手段の撮像範囲を、前記動作情報取得手段によって取得された前記動作情報に従って設定することを特徴とする付記６乃至１０の何れか一つに記載の動作解析装置。
【０１７４】
（付記１２）
前記撮像範囲は、前記撮像手段による前記解析対象の追尾範囲であることを特徴とする付記１１に記載の動作解析装置。
【０１７５】
（付記１３）
前記特定処理実行手段は、前記特定処理において、前記撮像手段の動作を、前記動作情報取得手段によって取得された前記動作情報に従って制御することを特徴とする付記６乃至１２の何れか一つに記載の動作解析装置。
【０１７６】
（付記１４）
前記特定処理実行手段は、前記特定処理において、前記撮像手段によって撮像された画像に対し、前記動作情報取得手段によって取得された前記動作情報に従って画像処理を施すことを特徴とする付記６乃至１３の何れか一つに記載の動作解析装置。
【０１７７】
（付記１５）
前記特定処理実行手段は、前記特定処理において、
前記解析対象の動作の形態を表す情報を、前記動作情報取得手段によって取得された前記動作情報に従って取得し、
前記画像処理を、前記動作の形態を表す情報に従って実行することを特徴とする付記１４に記載の動作解析装置。
【０１７８】
（付記１６）
前記特定処理実行手段は、前記特定処理において、前記動作情報取得手段によって取得された前記動作情報に従って、前記撮像手段によって撮像された画像に含まれる前記解析対象を表す画像以外の画像に対して前記画像処理を施すことを特徴とする付記１４又は１５に記載の動作解析装置。
【０１７９】
（付記１７）
前記動作情報取得手段は、前記動作情報を、前記第１の位置情報と、前記第２の位置情報と、を基準時刻における前記解析対象の位置を基準として統合することにより取得することを特徴とする付記１乃至１６の何れか一つに記載の動作解析装置。
【０１８０】
（付記１８）
前記動作情報取得手段は、前記動作情報を、前記解析対象が前記撮像手段の撮像範囲からはみ出しているフレームアウト期間では、当該フレームアウト期間に対応する前記第１の位置情報を当該フレームアウト期間に対応する前記動作情報として取得し、前記解析対象が前記撮像手段の撮像範囲からはみ出していないフレームイン期間では、当該フレームイン期間に対応する前記第２の位置情報を当該フレームイン期間に対応する前記動作情報として取得することにより取得することを特徴とする付記１乃至１７の何れか一つに記載の動作解析装置。
【０１８１】
（付記１９）
前記動作情報取得手段は、前記動作情報を、前記第１の位置情報の精度と、前記第２の位置情報の精度と、に従って取得することを特徴とする付記１乃至１７の何れか一つに記載の動作解析装置。
【０１８２】
（付記２０）
前記動作情報取得手段は、前記動作情報を、前記撮像手段によって撮像された画像に係る特徴量に従って取得することを特徴とする付記１乃至１７の何れか一つに記載の動作解析装置。
【０１８３】
（付記２１）
付記１乃至２０の何れか一つに記載の動作解析装置と、
前記動き検出センサと、
を備えることを特徴とする動作解析システム。
【０１８４】
（付記２２）
解析対象に装着された動き検出センサによって取得された前記解析対象の第１の位置情報を取得する第１の取得ステップと、
撮像手段によって撮像された画像に基づく前記解析対象の第２の位置情報を取得する第２の取得ステップと、
前記第１の取得ステップで取得された前記第１の位置情報と、前記第２の取得ステップで取得された前記第２の位置情報と、に基づいて、前記解析対象の位置の経時変化を表す動作情報を取得する動作情報取得ステップと、
を含むことを特徴とする動作解析方法。
【０１８５】
（付記２３）
コンピュータを、
解析対象に装着された動き検出センサによって取得された前記解析対象の第１の位置情報を取得する第１の取得手段、
撮像手段によって撮像された画像に基づく前記解析対象の第２の位置情報を取得する第２の取得手段、
前記第１の取得手段によって取得された前記第１の位置情報と、前記第２の取得手段によって取得された前記第２の位置情報と、に基づいて、前記解析対象の位置の経時変化を表す動作情報を取得する動作情報取得手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１８６】
１…撮像システム、２…センサ、３…撮像装置、２０，３０…制御部、２１，３１…記憶部、２２，３２…入力部、２３，３３…出力部、２４，３４…計時部、２５，３５…通信部、２６，３６…検出部、２６ａ，３６ａ…加速度センサ、２６ｂ，３６ｂ…角速度センサ、２６ｃ，３６ｃ…地磁気センサ、２７，３７…電源部、３８…撮像部、２００…センサ動作情報取得部、２０１…センサ動作情報送信部、３００…センサ動作情報受信部、３０１…センサ動作情報記憶部、３０２…撮像制御部、３０３…画像記憶部、３０４…画像動作情報取得部、３０５…画像動作情報記憶部、３０６…期間検出部、３０７…期間情報記憶部、３０８…対応情報取得部、３０９…動作情報取得部、３１０…特定処理実行部、ＡＡ…撮像部の撮像範囲、ＤＸ…第１期間における被写体ＴＧの移動範囲のｘ軸方向における長さ、Ｅ１…移動範囲画像の左側端部、Ｅ２…移動範囲画像の右側端部、Ｈ０…被写体を表す画像のｙ軸方向における長さ、Ｈ１…撮像部の撮像範囲のｙ軸方向における長さ、ＩＡ…被写体を表す画像、ＩＢ…ライブビュー画像、ＩＣ…移動範囲画像、ＩＤ…中心線画像、ＩＥ…第１報知画像、ＩＦ…第２報知画像、ＪＪ…第１期間における被写体の移動の軌跡、ＴＧ…被写体、ｘｍｉｎ…第１期間における被写体の移動の軌跡におけるｘ座標の最小値、ｘｍａｘ…第１期間における被写体の移動の軌跡におけるｘ座標の最大値
【図１】
2019169832.tif 000003
【図２】
2019169832.tif 000004
【図３】
2019169832.tif 000005
【図４】
2019169832.tif 000006
【図５】
2019169832.tif 000007
【図６】
2019169832.tif 000008
【図７】
2019169832.tif 000009
【図８】
2019169832.tif 000010
【図９】
2019169832.tif 000011
【図１０】
2019169832.tif 000012
【図１１】
2019169832.tif 000013
【図１２】
2019169832.tif 000014
【図１３】
2019169832.tif 000015