(57)【要約】【課題】手本の動作と当該手本と比較する比較対象者の動作を同期させた表示を簡便に行う。【解決手段】映像出力装置１は、ランニングを行っているユーザーを連続的に撮影した映像データとともに、ランニングを行っているときのユーザーに装着されたジャイロセンサー２から得られるセンサーデータを出力し、出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影されたランニングを行っている手本映像データに付帯している骨格情報に基づいて特定し、特定されたポイントのそれぞれが出現するタイミングに対応する手本映像データの画像（フレーム画像Ｇ２）を、センサー信号の各ポイントが出現するタイミングに合わせて出力する。【選択図】図４
2020178860.tif 000002
【特許請求の範囲】
【請求項１】
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
を備えることを特徴とする映像出力装置。
【請求項２】
前記慣性センサーが装着された体の部位を推定する推定手段と、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
を備え、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定する、
ことを特徴とする請求項１に記載の映像出力装置。
【請求項３】
前記第２の出力手段は、前記特定手段によって特定された前記第１の導出手段により導出された前記角速度情報の各ポイントと第１の出力手段によって出力される前記角速度情報の各ポイントとの位置関係に基づいて、前記第１の映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された前記手本映像データのフレーム画像を出力する、
ことを特徴とする請求項２に記載の映像出力装置。
【請求項４】
前記推定手段は、更に、前記体の部位に対する前記慣性センサーの装着姿勢を推定し、
前記第１の導出手段によって導出された前記角速度情報を、前記推定手段によって推定された前記装着姿勢に対応した角速度情報に補正する補正手段を備え、
前記特定手段は、前記第１の出力手段によって出力される前記角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記補正手段によって補正された前記装着姿勢に対応した角速度情報に基づいて特定する、
ことを特徴とする請求項２に記載の映像出力装置。
【請求項５】
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
を備え、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定する、
ことを特徴とする請求項２〜４のいずれか一項に記載の映像出力装置。
【請求項６】
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
を備え、
前記推定手段は、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする請求項５に記載の映像出力装置。
【請求項７】
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力工程と、
前記第１の出力工程によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定工程と、
前記特定工程によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力工程によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力工程と、
を含むことを特徴とする映像出力方法。
【請求項８】
コンピュータを、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像出力装置、映像出力方法及びプログラムに関する。
【背景技術】
【０００２】
従来、実施者が技能（例えば、ゴルフ）に関する身体動作（例えば、ゴルフのスイング）を行いながら、自分（実施者）の動きと規範技能者の動きとを比較検討し、規範技能者の動きを的確に再現できているかどうかを自分自身で確認することができる身体技能習得支援装置が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５２３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されている身体技能習得支援装置では、実施者の身体動作と規範技能者の動作とを同期させて表示しようとした場合、ユーザー操作に基づいて、実施者の画像と規範画像とのそれぞれの再生開始タイミングを調整しなければならないため面倒であるという問題がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、手本の動作と当該手本と比較する比較対象者の動作を同期させた表示を簡便に行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る映像出力装置は、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、手本の動作と当該手本と比較する比較対象者の動作を同期させた表示を簡便に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】映像出力装置の概略構成を示すブロック図である。
【図２】映像出力処理の流れを示すフローチャートである。
【図３】装着位置推定処理の流れを示すフローチャートである。
【図４】映像出力制御処理の流れを示すフローチャートである。
【図５】伸縮マッチング処理の説明図である。
【図６】ランニングフォーム比較画面の一例を示す図である。
【図７】変形例の装着位置推定処理の流れを示すフローチャートである。
【図８】変形例の映像出力制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
≪映像出力装置１の構成≫
本実施形態の映像出力装置１は、運動の様子を連続的に撮影した手本映像における当該運動の動作と、この手本映像に映っている運動と同じ運動を行っているユーザーを連続的に撮影した映像における当該運動の動作とを同期させ所定の表示部（例えば、映像出力装置１と接続された外部の大型ディスプレイ）に表示する装置である。以下では、上記運動としてランニングを例に挙げて説明を行う。
【００１１】
図１は、本発明を適用した一実施形態の映像出力装置１の概略構成を示すブロック図である。
図１に示すように、映像出力装置１は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、記憶部１３と、操作部１４と、表示部１５と、通信部１６とを備える。
【００１２】
ＣＰＵ（第１の出力手段、特定手段、第２の出力手段、推定手段、第１の導出手段、取得手段、第２の導出手段）１１は、映像出力装置１の各部を制御する。ＣＰＵ１１は、記憶部１３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭ１２に展開し、当該プログラムとの協働で各種処理を実行する。
【００１３】
ＲＡＭ１２は、揮発性のメモリであり、各種のデータやプログラムを一時的に格納するワークエリアを形成する。
【００１４】
記憶部１３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＨＤＤ（Hard Disk Drive）などにより構成される。記憶部１３には、ＣＰＵ１１で実行されるシステムプログラムやアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００１５】
また、記憶部１３には、所定の手本映像データを記憶するための手本映像記憶部（図示省略）が設けられている。ここで、所定の手本映像データとは、手本となるランナーがトレッドミルを用いてランニングを行っている様子を連続的に撮影した手本映像に関する映像データである。手本映像記憶部には、手本映像の撮影の際に、例えば、モーションキャプチャ技術を用いることにより得られる手本となるランナーの体の各部位（セグメント）の位置と姿勢を示す骨格情報が当該手本映像と同期が取られた状態で記憶されている。
【００１６】
また、記憶部１３には、後述する装着位置推定処理の実行の際に用いられる推定処理用映像データを記憶するための推定処理用映像記憶部（図示省略）が設けられている。推定処理用映像データとは、ジャイロセンサー（慣性センサー）２（図６参照）を装着した体の部位を動かしているユーザーを連続的に撮影した映像（第２の映像）に関する映像データである。この推定処理用映像記憶部に推定処理用映像データが記憶される際、当該推定処理用映像データの映像の撮影時にユーザーに装着されたジャイロセンサー２から取得され、当該映像と同期が取れている角速度情報が対応付けられて記憶される。
【００１７】
操作部１４は、例えば、タッチパネルを備え、ユーザーからのタッチ入力を受け付け、その操作情報をＣＰＵ１１に出力する。
タッチパネルは、表示部１５と一体となって形成され、例えば、静電容量方式、抵抗膜方式、超音波表面弾性波方式等の各種方式により、ユーザーによる表示部１５上の接触位置のＸＹ座標を検出する。そして、タッチパネルは、接触位置のＸＹ座標に係る位置信号をＣＰＵ１１に出力する。
【００１８】
表示部１５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、ＣＰＵ１１から指示された表示情報に従い各種表示を行う。
【００１９】
通信部１６は、モデム、ルータ、ネットワークカード等により構成される。通信部１６は、通信ネットワークを介して接続された外部機器とのデータ送受信を行う。
【００２０】
≪映像出力装置１の動作≫
［映像出力処理］
次に、図２を用いて映像出力装置１により実行される映像出力処理について説明する。
【００２１】
図２に示すように、まず、ＣＰＵ１１は、操作部１４を介して、ユーザー所望の手本映像データの指定がなされたか否かを判定する（ステップＳ１）。
【００２２】
ステップＳ１において、ユーザー所望の手本映像データの指定がなされていないと判定された場合（ステップＳ１；ＮＯ）、ＣＰＵ１１は、ユーザー所望の手本映像データの指定がなされるまでの間、ステップＳ１の判定処理を繰り返し行う。
一方、ステップＳ１において、ユーザー所望の手本映像データの指定がなされたと判定された場合（ステップＳ１；ＹＥＳ）、ＣＰＵ１１は、記憶部１３の手本映像記憶部からユーザー所望の手本映像データを取得する（ステップＳ２）。
【００２３】
次いで、ＣＰＵ１１は、ジャイロセンサー２の装着位置を推定する装着位置推定処理（ステップＳ３）を行う。なお、装着位置推定処理の詳細については後述する。
【００２４】
次いで、ＣＰＵ１１は、映像出力制御処理（ステップＳ４）を行い、映像出力処理を終了する。なお、映像出力制御処理の詳細については後述する。
【００２５】
［装着位置推定処理］
次に、図３を用いて装着位置推定処理について説明する。図３は、装着位置推定処理の流れを示すフローチャートである。なお、本実施形態では、例えば、ジャイロセンサー２を手首に装着する場合には、このジャイロセンサー２を手の甲側に装着するといったように、ジャイロセンサー２の装着姿勢に関する取り決めがなされているものとする。つまり、本実施形態の装着位置推定処理は、ジャイロセンサー２の装着姿勢を推定する必要がない点で後述する変形例の装着位置推定処理とは異なっている。
【００２６】
図３に示すように、まず、ＣＰＵ１１は、記憶部１３の推定処理用映像記憶部に推定処理用映像データが登録されたか否かを判定する（ステップＳ１１）。この推定処理用映像データの登録は、ジャイロセンサー２を体の所定の部位に装着したユーザーに、装着箇所を中心とした任意の回転運動を行わせ、当該運動を行っているユーザーを連続的に撮影した映像とともに、当該運動を行っているときのユーザーに装着されたジャイロセンサー２から得られる角速度情報を同期して登録するものである。
【００２７】
ステップＳ１１において、推定処理用映像データが登録されていないと判定された場合（ステップＳ１１；ＮＯ）、ＣＰＵ１１は、推定処理用映像データが登録されるまでの間、ステップＳ１１の判定処理を繰り返し行う。
一方、ステップＳ１１において、推定処理用映像データが登録されたと判定された場合（ステップＳ１１；ＹＥＳ）、ＣＰＵ１１は、ステップＳ１１で登録された推定処理用映像データに対応付けられているジャイロセンサー２の角速度情報（Ｇｙｒ１）を取得する（ステップＳ１２）。
【００２８】
次いで、ＣＰＵ１１は、ステップＳ１１で登録された推定処理用映像データの推定処理用映像からユーザーの体の各部位の角速度情報（Ｇｙｒ２）をそれぞれ導出する。具体的には、ＣＰＵ１１は、例えば、ディープラーニングを用いてユーザーの体の各部位の姿勢を推定する姿勢推定処理を行うことにより、当該ユーザーの体の各部位の角速度情報（Ｇｙｒ２）をそれぞれ導出する。
【００２９】
次いで、ＣＰＵ１１は、ステップＳ１２で取得された角速度情報（Ｇｙｒ１）とステップＳ１２で導出されたユーザーの体の各部位の角速度情報（Ｇｙｒ２）の大きさの相関が最大となる角速度情報（Ｇｙｒ２）が導出された体の部位をジャイロセンサー２の装着位置と推定し（ステップＳ１４）、装着位置推定処理を終了して映像出力処理へ戻る。
【００３０】
［映像出力制御処理］
次に、図４を用いて映像出力制御処理について説明する。図４は、映像出力制御処理の流れを示すフローチャートである。
【００３１】
図４に示すように、まず、ＣＰＵ１１は、トレッドミルを用いてランニングを行っているユーザーの連続的な撮影がビデオカメラ（図示省略）により開始されたか否かを判定する（ステップＳ２１）。
【００３２】
ステップＳ２１において、撮影が開始されていないと判定された場合（ステップＳ２１；ＮＯ）、ＣＰＵ１１は、当該撮影が開始されるまでの間、ステップＳ２１の判定処理を繰り返し行う。
一方、ステップＳ２１において、撮影が開始されたと判定された場合（ステップＳ２１；ＹＥＳ）、ＣＰＵ１１は、上述の装着位置推定処理で装着位置と推定された体の部位の角速度情報を、ステップＳ２で取得された手本映像データに付帯している骨格情報から導出する（ステップＳ２２）。
【００３３】
次いで、ＣＰＵ１１は、ランニングを行っているユーザーに装着されているジャイロセンサー２（図６参照）から角速度情報を取得する（ステップＳ２３）。
【００３４】
次いで、ＣＰＵ１１は、ステップＳ２２で導出された角速度情報とステップＳ２３で取得された角速度情報とに基づいて伸縮マッチング処理（ステップＳ２４）を行う。具体的には、まず、ＣＰＵ１１は、図５（ａ）に示すように、ステップＳ２３で取得された角速度情報が示す信号波形Ｗ０から過去の周期Ｔを特定するとともに、この過去の周期Ｔにおいて、現在時刻ｔｎに対応する時刻ｔ１を特定する。次いで、ＣＰＵ１１は、図５（ｂ）に示すように、この周期Ｔの期間の信号波形を切り出して切出波形Ｗ１を取得する。そして、ＣＰＵ１１は、図５（ｃ）に示すように、ステップＳ２２で導出された角速度情報に基づく１周期分の信号波形Ｗ２と切出波形Ｗ１との間においてマッチングする各位置（ポイント）を算出する。そして、ＣＰＵ１１は、切出波形Ｗ１と信号波形Ｗ２との対応関係から、信号波形Ｗ２において、切出波形Ｗ１の時刻ｔ１、すなわち現在時刻ｔｎに対応する時刻ｔ２を特定する。
【００３５】
次いで、ＣＰＵ１１は、ステップＳ２３で角速度情報が取得された現在時刻ｔｎに対応する時刻ｔ２（図５（ｃ）参照）に撮影された画像（フレーム画像）Ｇ２を手本映像から取得する（ステップＳ２５）。
【００３６】
次いで、ＣＰＵ１１は、ステップＳ２５で取得された画像Ｇ２とステップＳ２３で角速度情報が取得された現在時刻ｔｎに対応して撮影されたユーザーの画像Ｇ１を出力し（ステップＳ２６）、図６に示すように、ランニングフォーム比較画面２０を外部ディスプレイに表示させる。
【００３７】
次いで、ＣＰＵ１１は、ランニングを行っているユーザーの連続的な撮影が終了したか否かを判定する（ステップＳ２７）。
【００３８】
ステップＳ２７において、ランニングを行っているユーザーの連続的な撮影が終了していないと判定された場合（ステップＳ２７；ＮＯ）、ＣＰＵ１１は、処理をステップＳ２３へ戻し、それ以降の処理を繰り返し行う。
一方、ステップＳ２７において、ランニングを行っているユーザーの連続的な撮影が終了したと判定された場合（ステップＳ２７；ＹＥＳ）、ＣＰＵ１１は、映像出力制御処理を終了し、映像出力処理に戻り当該映像出力処理を終了する。
【００３９】
以上のように、映像出力装置１によれば、ランニングを行っているユーザーを連続的に撮影した映像データ（第１の映像データ）とともに、ランニングを行っているときのユーザーに装着されたジャイロセンサー２から得られるセンサーデータを出力し、出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影されたランニングを行っている手本映像データに付帯している骨格情報に基づいて特定し、特定されたポイントのそれぞれが出現するタイミングに対応する手本映像データの画像（フレーム画像Ｇ２）を、センサーデータの各ポイントが出現するタイミングに合わせて出力するので、手本の動作と当該手本と比較するユーザーの動作を同期させた表示を簡便に行うことができる。
【００４０】
また、映像出力装置１によれば、ジャイロセンサー２が装着された体の部位を推定し、推定された体の部位に関する角速度情報を手本映像データに付帯している骨格情報から導出し、ランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、上記骨格情報から導出された角速度情報に基づいて特定するので、手本の動作と当該手本と比較するユーザーの動作との同期を適切に行うことができる。
【００４１】
また、映像出力装置１によれば、骨格情報から導出された角速度情報の各ポイントとランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントとの位置関係に基づいて、当該ランニングを行っているユーザーを連続的に撮影した映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された手本映像データのフレーム画像を出力するので、手本の動作と当該手本と比較するユーザーの動作との同期をより適切に行うことができる。
【００４２】
また、映像出力装置１によれば、ジャイロセンサー２を装着したユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した推定処理用映像データを取得し、当該推定処理用映像データの映像に基づいて、ユーザーの体の各部位の角速度情報を導出し、導出されたユーザーの体の各部位の角速度情報と、上記任意の動作がなされている際にジャイロセンサー２から得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位をジャイロセンサー２が装着された体の部位として推定するので、ジャイロセンサー２の装着位置の推定を適切に行うことができる。
【００４３】
＜変形例＞
次に、上記実施形態の変形例について説明する。なお、上記実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。
変形例では、上記実施形態とは異なり、ジャイロセンサー２の装着姿勢に関する取り決めがなされていない、すなわち、ジャイロセンサー２を体の各部位において所望の姿勢で装着（例えば、ジャイロセンサー２を手首に装着する場合、手の甲側に装着、手のひら側に装着、親指側に装着、小指側に装着、等）することができるようになっている。このため、変形例の装着位置推定処理では、ジャイロセンサー２の装着姿勢を推定する処理が必要となっている。
【００４４】
［装着位置推定処理］
次に、図７を用いて変形例の装着位置推定処理について説明する。図７は、変形例の装着位置推定処理の流れを示すフローチャートである。
【００４５】
図７に示すように、ＣＰＵ（抽出手段）１１は、上記実施形態の装着位置推定処理と同様にステップＳ１１〜ステップＳ１４の処理を行った後、角速度情報（Ｇｙｒ１）が示す角速度の値が第１の閾値ＴＨ１よりも大きく、角速度情報（Ｇｙｒ１）が示す角速度と角速度情報（Ｇｙｒ２）が示す角速度の差の絶対値が第２の閾値ＴＨ２よりも小さいという条件を満たすタイミングの角速度情報（Ｇｙｒ１）と角速度情報（Ｇｙｒ２）を抽出する（ステップＳ１５）。
【００４６】
次いで、ＣＰＵ（第３の導出手段）１１は、ステップＳ１５で抽出された角速度情報（Ｇｙｒ１）が示す角速度と角速度情報（Ｇｙｒ２）が示す角速度と、が一致する回転行列Ｒを導出し、導出された回転行列Ｒからジャイロセンサー２の装着姿勢を推定し（ステップＳ１６）、映像出力処理へ戻る。
【００４７】
ここで、回転行列Ｒの導出方法について説明する。
数１に示すように、ステップＳ１５で抽出された角速度情報（Ｇｙｒ１）として、Ｇｙｒ１１とＧｙｒ１２が抽出され、角速度情報（Ｇｙｒ２）として、Ｇｙｒ２１とＧｙｒ２２が抽出された場合、Ｇｙｒ２１＝Ｒ・Ｇｙｒ１１及びＧｙｒ２２＝Ｒ・Ｇｙｒ１２の両式を満たす回転行列Ｒを導出する。
【００４８】
【数１】
2020178860.tif 000003
【００４９】
回転行列Ｒの導出にあたり、まず、Ｇｙｒ１＝［Ｇｙｒ１１  Ｇｙｒ１２］、Ｇｙｒ２＝［Ｇｙｒ２１  Ｇｙｒ２２］のように、各ベクトルを横に並べた行列を作成し、下記の行列を作成する。
Ａ＝Ｇｙｒ１Ｔ・Ｇｙｒ２
【００５０】
次に、上述の行列の“Ａ”を特異値分解し、Ｕ、Ｓ、ＶＴを得る。
Ｕ・Ｓ・ＶＴ＝Ａ  （Ｓ；対角行列）
【００５１】
次に、下記の式により“Ｈ”を算出する。
Ｈ＝ｄｉａｇ（１，１，ｄｅｔ（Ｖ・ＵＴ））
ここで、ｄｉａｇ（）は（）内を成分とする対角行列であり、ｄｅｔは行列式である。
そして、回転行列Ｒは、下記のように導出される。
Ｒ＝Ｖ・Ｈ・ＵＴ
【００５２】
［映像出力制御処理］
次に、図８を用いて変形例の映像出力制御処理について説明する。図８は、変形例の映像出力制御処理の流れを示すフローチャートである。
【００５３】
図８に示すように、ＣＰＵ（補正手段）１１は、上記実施形態の映像出力制御処理と同様にステップＳ２１〜ステップＳ２３の処理を行った後、ステップＳ２２で導出された角速度情報を、上述の装着位置推定処理のステップＳ１６で推定された装着姿勢に対応した角速度情報に補正する（ステップＳ３０）。そして、ＣＰＵ１１は、ステップＳ３０で補正された角速度情報とステップＳ２３で取得された角速度情報とに基づいて伸縮マッチング処理（ステップＳ２４）を行う。そして、ＣＰＵ１１は、上記実施形態の映像出力制御処理と同様にステップＳ２５〜ステップＳ２７の処理を行い、映像出力処理へ戻る。
【００５４】
以上のように、変形例の映像出力装置１によれば、装着位置推定処理において、体の部位に対するジャイロセンサー２の装着姿勢を推定し、映像出力制御処理において、手本映像に付帯されている骨格情報から導出された角速度情報を、推定された装着姿勢に対応した角速度情報に補正し、ランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、上記骨格情報から導出された角速度情報であって装着姿勢に対応した角速度情報に補正された当該角速度情報に基づいて特定するので、手本の動作と当該手本と比較するユーザーの動作との同期を適切に行うことができる。
【００５５】
以上、本発明を実施形態に基づいて具体的に説明してきたが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態において、運動としてランニングを一例に挙げて説明を行ったが、当該運動はランニングに限定されるものではなく、ウォーキング、ゴルフ（ゴルフのスイング）、野球（バットスイング）、ダンス、自転車などの運動を対象としてもよい。
【００５６】
また、上記実施形態において、ユーザーが装着するジャイロセンサー２は、１個に限定されるものではなく、２個以上のジャイロセンサー２をそれぞれ装着するようにしてもよい。
【００５７】
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３にフラッシュメモリ、ＥＥＰＲＯＭ、ＨＤＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【００５８】
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
〔付記〕
＜請求項１＞
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
を備えることを特徴とする映像出力装置。
＜請求項２＞
前記慣性センサーが装着された体の部位を推定する推定手段と、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
を備え、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定する、
ことを特徴とする請求項１に記載の映像出力装置。
＜請求項３＞
前記第２の出力手段は、前記特定手段によって特定された前記第１の導出手段により導出された前記角速度情報の各ポイントと第１の出力手段によって出力される前記角速度情報の各ポイントとの位置関係に基づいて、前記第１の映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された前記手本映像データのフレーム画像を出力する、
ことを特徴とする請求項２に記載の映像出力装置。
＜請求項４＞
前記推定手段は、更に、前記体の部位に対する前記慣性センサーの装着姿勢を推定し、
前記第１の導出手段によって導出された前記角速度情報を、前記推定手段によって推定された前記装着姿勢に対応した角速度情報に補正する補正手段を備え、
前記特定手段は、前記第１の出力手段によって出力される前記角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記補正手段によって補正された前記装着姿勢に対応した角速度情報に基づいて特定する、
ことを特徴とする請求項２に記載の映像出力装置。
＜請求項５＞
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
を備え、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定する、
ことを特徴とする請求項２〜４のいずれか一項に記載の映像出力装置。
＜請求項６＞
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
を備え、
前記推定手段は、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする請求項５に記載の映像出力装置。
＜請求項７＞
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力工程と、
前記第１の出力工程によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定工程と、
前記特定工程によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力工程によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力工程と、
を含むことを特徴とする映像出力方法。
＜請求項８＞
コンピュータを、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５９】
１    映像出力装置
１１  ＣＰＵ（第１の出力手段、特定手段、第２の出力手段、推定手段、第１の導出手段、取得手段、第２の導出手段）
【図１】
2020178860.tif 000004
【図２】
2020178860.tif 000005
【図３】
2020178860.tif 000006
【図４】
2020178860.tif 000007
【図５】
2020178860.tif 000008
【図６】
2020178860.tif 000009
【図７】
2020178860.tif 000010
【図８】
2020178860.tif 000011