(57)【要約】【課題】既にある動画像と比較したい動画像の記録時に、後の再生時にフレーム番号を指定してから当該フレームの画像が表示されるまでのタイムラグを短縮できるように記録する。【解決手段】デジタル音楽データを再生する音声処理部13及びスピーカ11と、動画像をフレーム間予測により圧縮符号化して記録する記録系(14，28，35)と、再生する音楽に対する、予め設定したタイミングを示す情報を取得し、再生する音楽に対して、取得した情報のタイミングの到来を待機し、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像を記録系(14，28，35)により記録させるプロセッサ14とを備える。【選択図】      図１
2019220859.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを記録する第１の記録制御手段と、
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出手段と、を備え、
上記第１の記録制御手段は、上記動画像データに、上記タイミング検出手段により検出された上記予め設定されているタイミングを示す情報を付帯して記録する、画像処理装置。
【請求項２】
上記第１の記録制御手段は、動画像をフレーム間予測により圧縮符号化して上記動画像データを記録し、上記タイミング検出手段により検出された上記予め設定されているタイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、請求項１記載の画像処理装置。
【請求項３】
上記デジタル音楽データを再生する音楽再生手段をさらに備え、
上記タイミング検出手段は、上記音楽再生手段で再生する上記デジタル音楽データに対して予め設定されているタイミングを検出する、請求項１又は２記載の画像処理装置。
【請求項４】
動画像をフレーム間予測により圧縮符号化して動画像データとして記録する第２の記録制御手段と、
上記動画像データと比較する、上記動画像データとは異なる動画像データに対して予め設定されているタイミングを示す情報を取得するタイミング情報取得手段と、を備え、
上記第２の記録制御手段は、上記動画像データの記録中、上記タイミング情報取得手段で取得した情報のタイミングが到来すると、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、画像処理装置。
【請求項５】
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出手段と、
第１の動画像データを記録し、当該第１の動画像データの記録中に、当該第１の動画像データに、上記タイミング検出手段により検出された上記予め設定されているタイミングを示す情報を付帯して記録する第１の記録制御手段と、
動画像をフレーム間予測により圧縮符号化して上記第１の動画像データとは異なる第２の動画像データとして記録する第２の記録制御手段と、
上記第１の動画像データに付帯する上記タイミングを示す情報を取得するタイミング情報取得手段と、を備え、
上記第２の記録制御手段は、上記第２の動画像データの記録中、上記タイミング情報取得手段で取得した情報のタイミングが到来すると、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、画像処理装置。
【請求項６】
上記独立フレーム画像データは、動画像中のＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレーム画像、または動画像と関連付けた静止画像のいずれかである、請求項２、４、５いずれか記載の画像処理装置。
【請求項７】
デジタル音楽データを再生する音楽再生手段をさらに備え、
上記タイミング情報取得手段は、上記音楽再生手段で再生する音楽に対する、予め設定したタイミングを示す情報を取得する、請求項４記載の画像処理装置。
【請求項８】
上記タイミング情報取得手段は、ユーザが予め設定したタイミングを示す情報を取得する、請求項４記載の画像処理装置。
【請求項９】
画像処理装置での画像処理方法であって、
動画像データを記録する第１の記録制御工程と、
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出工程と、を有し、
上記第１の記録制御工程は、上記動画像データに、上記タイミング検出工程により検出された上記予め設定されているタイミングを示す情報を付帯して記録する、画像処理方法。
【請求項１０】
画像処理装置での画像処理方法であって、
動画像をフレーム間予測により圧縮符号化して動画像データとして記録する第２の記録制御工程と、
上記動画像データと比較する、上記動画像データとは異なる動画像データに対して予め設定されているタイミングを示す情報を取得するタイミング情報取得工程と、を有し、
上記第２の記録制御工程は、上記動画像データの記録中、上記タイミング情報取得工程で取得した情報のタイミングが到来すると、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、画像処理方法。
【請求項１１】
画像処理装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画像データを記録する第１の記録制御手段、
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出手段、として機能させ、
上記第１の記録制御手段は、上記動画像データに、上記タイミング検出手段により検出された上記予め設定されているタイミングを示す情報を付帯して記録する、プログラム。
【請求項１２】
画像処理装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画像をフレーム間予測により圧縮符号化して動画像データとして記録する第２の記録制御手段、
上記動画像データと比較する、上記動画像データとは異なる動画像データに対して予め設定されているタイミングを示す情報を取得するタイミング情報取得手段、として機能させ、
上記第２の記録制御手段は、上記動画像データの記録中、上記タイミング情報取得手段で取得した情報のタイミングが到来すると、当該タイミングにおいて、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
撮影された画像と別の画像とを比較することが容易な態様で表示するようにした技術が提案されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２６０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術には、動画データにおけるデータ圧縮の概念は考慮されていない。  
一般的にデータ圧縮された動画データは、フレーム間予測を用いずに符号化された基準フレーム（Ｉ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレーム）と、前方向予測を用いて符号化された差分フレーム（Ｐ（Ｐｒｅｄｉｃｔｅｄ）フレーム）とを含んでいる。
【０００５】
そのため、動画データ中から特定のフレーム番号のフレームを指定して表示させたい場合、指定したフレームがＰフレームであった際には、その指定したＰフレームと対応する、直前のＩフレームをさらにサーチした上で、Ｉフレームから指定したＰフレームまでに介在するフレームを順次デコードして加算する必要がある。
【０００６】
そのため、フレーム番号を指定してから、実際に当該フレーム番号のフレームの画像が表示されるまでにタイムラグを生じることが多い。この点は、データ圧縮率が高く、一連のフレーム中でのＩフレームの現出率が低い場合に、より顕著になる。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、すでにある動画像との比較を行ないたい動画像を記録する際に、後の再生時にフレーム番号を指定してから当該番号のフレームの画像が表示されるまでのタイムラグを短縮できるように記録することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、動画像データを記録する第１の記録制御手段と、デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出手段と、を備え、上記第１の記録制御手段は、上記動画像データに、上記タイミング検出手段により検出された上記予め設定されているタイミングを示す情報を付帯して記録する。
【０００９】
本発明の他の一態様は、動画像をフレーム間予測により圧縮符号化して動画像データとして記録する第２の記録制御手段と、上記動画像データと比較する、上記動画像データとは異なる動画像データに対して予め設定されているタイミングを示す情報を取得するタイミング情報取得手段と、を備え、上記第２の記録制御手段は、上記動画像データの記録中、上記タイミング情報取得手段で取得した情報のタイミングが到来すると、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する。
【発明の効果】
【００１０】
本発明によれば、すでにある動画像との比較を行ないたい動画像を記録する際に、後の再生時にフレーム番号を指定してから当該番号のフレームの画像が表示されるまでのタイムラグを短縮できるように記録することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係るスマートフォンの電子回路の機能構成を示すブロック図。
【図２】同実施形態に係るダンス解析プログラムによるマスタ映像記録時の処理内容を示すフローチャート。
【図３】同実施形態に係るダンス解析プログラムによる比較映像記録時の処理内容を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明を、ダンス解析用のアプリケーションプログラムをインストールしたスマートフォンに適用した場合の一実施形態について、図面を参照して詳細に説明する。
【００１３】
図１は、スマートフォン１０の電子回路の機能構成を説明するブロック図である。このスマートフォン１０において、１１は音声を出力するスピーカ、１２は音声を入力するマイクロホンであり、共に音声処理部１３に接続される。
【００１４】
この音声処理部１３は、スマートフォン１０により音声の入出力を行なうに当たり、上記マイクロホン１２から入力される音声をデジタル化、コードデータ化及び所定のデータ圧縮を施してシステムバスＳＢへ出力する一方で、デジタル音楽データをシステムバスＳＢを介して受取り、伸長処理した後にアナログ化した音声信号を生成して上記スピーカ１１へ出力し、放音させる。
【００１５】
プロセッサ１４は、このスマートフォン１０全体の動作制御を、上記システムバスＳＢを介して接続されたワークメモリ１５及びプログラムメモリ１６を使用して実行する。
【００１６】
ワークメモリ１５は、例えばＳＤＲＡＭで構成され、プロセッサ１４がプログラムを実行する際にプログラムメモリ１６から読み出したアプリケーションプログラムを展開して保持する。プログラムメモリ１６は、不揮発性メモリで構成され、ＯＳ（オペレーティングシステム）と、後述するダンス解析プログラム１６Ａを含む各種アプリケーションプログラムと、その他各種固定データ等を格納、記憶するもので、それらの記憶内容は必要により適宜プロセッサ１４によってワークメモリ１５へ読出される。
【００１７】
なおプロセッサ１４は、映像の記録時に、撮影により得られる一連の画像データに対する、フレーム間予測を伴うデータ圧縮を含む動画像ファイル化を行なう一方で、映像の再生時には、記録媒体から読み出されてきた動画像ファイルを上記記録時と逆の手順で順次デコードして伸長して再生表示させる。
【００１８】
また上記システムバスＳＢにはさらに、表示部１７、タッチ入力部１８、撮像部１９、ＧＰＳ受信部２０、加速度センサ２１、ジャイロセンサ２２、地磁気センサ２３、操作部２４、バイブレータ２５、無線通信部２６、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部２７、及び外部デバイスインタフェイス（Ｉ／Ｆ）２８と接続される。
【００１９】
表示部１７は、バックライト付きの例えば対角６インチ程のサイズのカラー液晶パネルとそれらの駆動回路とで構成される。この表示部１７に対して、透明電極膜を用いたタッチ入力部１８が一体に構成される。このタッチ入力部１８は、マルチタッチ操作を含めてユーザのタッチ操作に応じた時系列の座標信号をデジタル化し、タッチ操作信号として上記プロセッサ１４へ送出する。
【００２０】
撮像部１９は、スマートフォン１０の筐体の表裏の少なくとも何れか設けられた撮像部と、撮像部の撮像で得られた画像データを圧縮してファイル化する画像処理部等を有する。
【００２１】
ＧＰＳ受信部２０は、ＧＰＳアンテナ２９で受信する、図示しない複数のＧＰＳ衛星からの到来電波に基づき、現在位置の３次元座標（緯度、経度、高度）と、現在時刻とを算出し、システムバスＳＢを介して上記プロセッサ１４へ送出する。
【００２２】
加速度センサ２１は、互いに直交する３軸方向それぞれの加速度を検出するもので、重力加速度の方向により、このスマートフォン１０の姿勢を検出できる。
【００２３】
ジャイロセンサ２２は、互いに直交する３軸方向に配置された振動型ジャイロスコープで構成され、上記加速度センサ２１、地磁気センサ２３の出力と組み合わせて、このスマートフォン１０を所持、装着しているユーザの動作を解析して、上記ＧＰＳアンテナ２９、ＧＰＳ受信部２０からの出力による絶対的な現在位置の認識ができない状態でも、加速度センサ２１、地磁気センサ２３との協働により自律航法による現在位置の更新動作を実行することができる。
【００２４】
地磁気センサ２３は、互いに直交する３軸方向それぞれの地磁気を検出するもので、磁北の方向に基づいてその時点でこのスマートフォン１０を向けている方位が検出できる。
【００２５】
操作部２４は、このスマートフォン１０の筐体側面等に設けられる、電源キーを含むいくつかの操作キーからなり、それらのキー操作に応じたキー操作信号をシステムバスＳＢを介してプロセッサ１４へ送出する。
【００２６】
バイブレータ２５は、小型のモータとそのモータの回転軸に偏心して取付けられたウェイトとからなり、モータの回転駆動によりスマートフォン１０全体に及ぶ振動を発生させる。
【００２７】
無線通信部２６は、アンテナ３０〜３２を用いて、例えば第４世代携帯電話、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎに則った無線ＬＡＮシステム、及びブルートゥース（登録商標）による近距離無線通信線にそれぞれ対応して外部の機器と無線通信によるデータの送受を行なう。
【００２８】
ＮＦＣ部２７は、例えばＦｅｌｉＣａ（登録商標）規格及びＭＩＦＡＲＥ（登録商標）規格を用いて、近距離にある外部機器と非接触でデータの送受及び給電動作を行なう。
【００２９】
外部デバイスインタフェイス２８は、ヘッドホンジャック３３、マイクロＵＳＢ端子３４、及びメモリカードスロット３５を介して、例えばヘッドホンやイヤホン、ＵＳＢ機器、及びメモリカードをそれぞれ接続または装着可能とする。
【００３０】
メモリカードスロット３５に装着するメモリカードには、後述するダンス解析プログラムで使用する動画像データファイルやデジタル音楽データファイル等を記録し、また記録したそれらデータを読み出すことができる。
【００３１】
次に本実施形態の動作について説明する。  
本実施形態では、スマートフォン１０にインストールしたダンス解析プログラム１６Ａを起動し、お手本となる人物によるダンスの映像を記録するマスタ映像記録モードと、記録したマスタ映像と比較するための人物のダンスの比較映像を記録する比較映像記録モードのいずれか一方の記録モードを選択した上で記録を実行するものとする。
【００３２】
図２は、お手本となる人物によるダンスの映像を記録するマスタ映像記録モードで、プロセッサ１４が実行する処理内容を示すフローチャートである。マスタ映像記録モードでは、事前設定として、再生する楽曲の音楽ファイルを選択した上で、映像の記録を開始する。
【００３３】
開始当初にプロセッサ１４は、まず撮像部１９による映像の撮影を開始させる（ステップＳ１０１）。ここでプロセッサ１４は、同時に音声処理部１３によりマイクロホン１２で集音される音声データをデジタル化させ、撮像部１９で得られる動画データに組み入れて、例えばメモリカードスロット３５に装着されたメモリカードに順次記録させる。
【００３４】
同時にプロセッサ１４は、例えばメモリカードスロット３５に装着されたメモリカードに記録されている、上記選択された音楽ファイルを読み出して音声処理部１３、スピーカ１１により再生させる動作を開始させる（ステップＳ１０２）。
【００３５】
ここで、プロセッサ１４は、動画データを記録する際、再生する音楽ファイルの再生開始タイミングを検出し、検出した時点のフレームを基点フレームとして識別可能な状態で記録する。  
以後、プロセッサ１４は、撮像部１９による映像の撮影とマイクロホン１２、音声処理部１３による音声データの取得、及びそれら動画データのメモリカードへの記録を実行する（ステップＳ１０３）。同時にプロセッサ１４は、音声処理部１３、スピーカ１１による音楽ファイルの再生を実行する（ステップＳ１０４）。
【００３６】
同時にプロセッサ１４は、その時点で再生している音楽データに対する強拍及び弱拍からビートを検出する（ステップＳ１０５）。プロセッサ１４は、その検出結果からビート（強拍）のタイミングであるか否かを判断する（ステップＳ１０６）。
【００３７】
ビートのタイミングであると判断した場合（ステップＳ１０６のＹｅｓ）、プロセッサ１４はそのビートタイミングとして、音楽ファイルの再生開始タイミングを基準とした時間値を記憶すると共に（ステップＳ１０７）、同タイミングで記録した映像のフレーム番号を記憶する（ステップＳ１０８）。
【００３８】
加えてプロセッサ１４は、当該フレーム番号の映像を、記録している動画ファイルと関連付けた独立したフレーム画像による映像キャプチャとして、例えばＪＰＥＧファイル化し、上記記憶した、ビートタイミングの時間値、及び映像のフレーム番号と関連付けて、メモリカードに保存させる（ステップＳ１０９）。
【００３９】
また上記ステップＳ１０６において、ビートのタイミングではないと判断した場合（ステップＳ１０６のＮｏ）、プロセッサ１４は上記ステップＳ１０７〜Ｓ１０９の処理を実行せずに省略する。
【００４０】
その後にプロセッサ１４は、再生している音楽ファイルが終了するタイミングとなったか否かを判断する（ステップＳ１１０）。
【００４１】
再生している音楽ファイルがまだ終了しないと判断した場合（ステップＳ１１０のＮｏ）、プロセッサ１４は再び上記ステップＳ１０３からの処理に戻る。
【００４２】
こうして再生している音楽ファイルが終了するタイミングとなるまで、上記ステップＳ１０３〜Ｓ１１０の処理を繰返し実行することで、音楽ファイルの再生に合わせた映像撮影と、各ビートタイミングでの独立したフレーム画像の保存とを継続する。
【００４３】
上記ステップＳ１１０において、再生している音楽ファイルが終了するタイミングとなったと判断した時点で（ステップＳ１１０のＹｅｓ）、プロセッサ１４は、音楽ファイルの再生を終了すると共に（ステップＳ１１１）、撮像部１９による映像の撮影も終了する（ステップＳ１１２）。
【００４４】
さらにプロセッサ１４は、その時点でメモリに記録していた、撮影映像の動画ファイルに関連するファイル名を用い、一連の各ビートタイミングでの独立したフレーム画像を取り纏めた別の画像ファイルとして保存設定し（ステップＳ１１３）、以上でマスタ映像記録モードでの処理を終了する。
【００４５】
なお、上記図２のマスタ映像記録モードでは、撮影により得られる動画ファイルと関連付けたファイル名を有する、ビートタイミング毎のＪＰＥＧファイル群からなる別の画像ファイルとして記録するものとして説明したが、本実施形態はこれに限らない。
【００４６】
例えば、撮影する映像を、フレーム間予測によるデータ圧縮を行なう動画ファイル形式、例えばＨ．２６４／ＡＶＣ規格の動画ファイルを記録する時点で、ビートタイミングが検出され場合には、必ずそのタイミングでの映像フレームをフレーム間予測を用いない独立したフレームである、Ｉ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレームとして記録するような設定とすれば、上記ＪＰＥＧファイル群による別の画像ファイルの記録は必要ない。
【００４７】
その場合、当該動画ファイル中に、ビートタイミングを検出した際の時間値と、同タイミングで記録した映像のフレーム番号の組となる情報を、ビートタイミングで記録した独立したフレーム画像の数分だけ、付帯して記録させることになる。
【００４８】
また、上記マスタ映像記録モードでの撮影後に、ユーザによる編集処理によって、ビートタイミング等に関係なく、例えばダンスにおける特定のターンの導入タイミング等を指定することで、当該タイミングで独立したフレーム画像を作成して、音楽ファイルの再生開始タイミングを基準とした当該タイミングの時間値、及び当該タイミングの映像のフレーム番号と一緒に、追加記録できるようにしても良い。
【００４９】
図３は、上記マスタ映像と比較するための人物のダンスの比較映像を記録する比較映像記録モードでの処理内容を示すフローチャートである。比較映像記録モードでは、事前設定として、再生するマスタ映像記録モードで記録した動画ファイルを選択し、併せて同動画データで使用した、再生する楽曲の音楽ファイルを選択した上で、映像の記録を開始する。
【００５０】
開始当初にプロセッサ１４は、まず選択したマスタ映像の動画ファイルと関連するファイル名が付与された、独立したフレーム画像を取り纏めた画像ファイルにより、比較するフレーム番号の情報を読み出してワークメモリ１５に保持させる（ステップＳ２０１）。
【００５１】
次にプロセッサ１４は、比較を行なうための上記独立したフレーム画像があることを確認する（ステップＳ２０２）。比較を行なうための上記独立したフレーム画像があると判断した場合（ステップＳ２０２のＹｅｓ）、その画像ファイルをメモリカードスロット３５に装着されたメモリカードから読み出してプログラムメモリ１６に保持させる（ステップＳ２０３）。
【００５２】
また上記ステップＳ２０２において、比較を行なうための上記独立したフレーム画像がないと判断した場合には（ステップＳ２０２のＮｏ）、プロセッサ１４は上記ステップＳ２０３での処理は省略する。
【００５３】
その後、あらためて撮像部１９による映像の撮影を開始させる（ステップＳ２０４）。ここでプロセッサ１４は、同時に音声処理部１３によりマイクロホン１２で集音される音声データをデジタル化させ、撮像部１９で得られる動画データに組み入れて、例えばメモリカードスロット３５に装着されたメモリカードに順次記録させる。
【００５４】
この比較映像の記録と同期させるように、選択されたマスタ映像となる動画ファイルの再生を開始する（ステップＳ２０５）。
【００５５】
表示部１７においては、例えば画面左側半分が再生しているマスタ映像、同右側半分が記録している比較映像のモニタ画面として２つの映像を並べて表示するようにプロセッサ１４が制御する。
【００５６】
さらにプロセッサ１４は、メモリカードに記録されている、上記選択された音楽ファイルを読み出して音声処理部１３、スピーカ１１により再生させる動作を開始させる（ステップＳ２０６）。
【００５７】
ここで、プロセッサ１４は、動画データを記録する際、再生する音楽ファイルの再生開始タイミングを検出し、検出した時点のフレームを基点フレームとして識別可能な状態で記録する。  
以後、プロセッサ１４は、撮像部１９による映像の撮影とマイクロホン１２、音声処理部１３による音声データの取得、及びそれら動画データのメモリカードへの記録を実行する（ステップＳ２０７）。同時にプロセッサ１４は、音声処理部１３、スピーカ１１による音楽ファイルの再生を実行する（ステップＳ２０８）。
【００５８】
同時にプロセッサ１４は、その時点で再生している音楽データに対する強拍及び弱拍からビートを検出する（ステップＳ２０９）。プロセッサ１４は、その検出結果からビート（強拍）のタイミングであるか否かを判断する（ステップＳ２１０）。
【００５９】
ビートのタイミングであると判断した場合（ステップＳ２１０のＹｅｓ）、プロセッサ１４はそのビートタイミングとして、音楽ファイルの再生開始タイミングを基準とした時間値を記憶すると共に（ステップＳ２１１）、同タイミングで記録した映像のフレーム番号が、マスタ映像側に付帯して記録されていたフレーム番号の１つと一致するか否かを判断する（ステップＳ２１２）。
【００６０】
マスタ映像側に一致するフレーム番号があると判断した場合（ステップＳ２１２のＹｅｓ）、プロセッサ１４はそのフレーム番号を記憶する（ステップＳ２１３）。
【００６１】
また上記ステップＳ２１２において、マスタ映像側に一致するフレーム番号がないと判断した場合（ステップＳ２１２のＮｏ）、同じ音楽データの再生に基づくビートタイミングの検出でズレを生じているものとして、その時点で記録した映像のフレーム番号と、マスタ映像側のフレーム番号中で相違が一定値以内のフレーム番号があれば、その映像が現ビートタイミングと一致するものであるとして、対応するマスタ映像側のフレーム番号を補正する（ステップＳ２１４）。
【００６２】
その後にプロセッサ１４は、当該フレーム番号の映像を、記録している動画ファイルと関連付けた独立したフレーム画像による映像キャプチャとして、例えばＪＰＥＧファイル化し、上記記憶した、ビートタイミングの時間値、及び映像のフレーム番号と関連付けて、メモリカードに保存させる（ステップＳ２１５）。
【００６３】
さらにプロセッサ１４は、マスタ映像に映像キャプチャとして付帯して記録されている、独立したフレーム画像中に、現フレーム番号と一致するものがあるか否かを判断する（ステップＳ２１６）。
【００６４】
一致するものがあると判断した場合（ステップＳ２１６のＹｅｓ）、プロセッサ１４は、そのフレーム番号に従い、対応する２つの静止画によるキャプチャ映像をプログラムメモリ１６において一定時間、例えば２秒間だけ並列して比較するように表示させるよう設定する（ステップＳ２１７）。
【００６５】
また上記ステップＳ２１６において、マスタ映像側の映像キャプチャとしてフレーム番号が一致するものがないと判断した場合（ステップＳ２１６のＮｏ）、プロセッサ１４は、マスタ映像側の映像キャプチャとしてフレーム番号の相違が一定値以内のフレーム番号があれば、その映像が現ビートタイミングと一致するものであるとして、対応するマスタ映像側の映像キャプチャを検索する（ステップＳ２１８）。
【００６６】
プロセッサ１４は、マスタ映像側の映像キャプチャとなるフレーム画像を比較のために読み出した上で（ステップＳ２１９）、直前のステップＳ２１５で保存した、同映像キャプチャ画像との比較採点処理を実行する（ステップＳ２２０）。
【００６７】
この比較採点処理に関しては、例えば両画像中からダンスを行なっている人物部分を主要被写体として抽出した上で、それらの動きの類似度、具体的には当該人物の姿勢角度と両手足、及び頭部の角度との類似度から点数化し、得られた点数を、表示部１７の右側で表示している、比較映像側の画面に重畳して表示させることで実現できる。
【００６８】
その後にプロセッサ１４は、再生している音楽ファイルが終了するタイミングとなったか否かを判断する（ステップＳ２２１）。
【００６９】
再生している音楽ファイルがまだ終了しないと判断した場合（ステップＳ２２１のＮｏ）、プロセッサ１４は再び上記ステップＳ２０７からの処理に戻る。
【００７０】
こうして再生している音楽ファイルが終了するタイミングとなるまで、上記ステップＳ２０７〜Ｓ２２１の処理を繰返し実行することで、比較用映像側での音楽ファイルの再生に合わせた映像撮影と、各ビートタイミングでの独立したフレーム画像の保存とを継続する。
【００７１】
上記ステップＳ２２１において、再生している音楽ファイルが終了するタイミングとなったと判断した時点で（ステップＳ２２１のＹｅｓ）、プロセッサ１４は、音楽ファイルの再生を終了すると共に（ステップＳ２２２）、撮像部１９による映像の撮影も終了し（ステップＳ２２３）、以上で図３の処理を終了する。
【００７２】
以上詳述した如く本実施形態によれば、すでにある動画像との比較を行ないたい動画像を記録する際に、フレーム間予測によるデータ補間を必要としない、独立したフレーム画像として記録を行なうものとしたので、後の再生時にフレーム番号を指定してから当該番号のフレームの画像が表示されるまでのタイムラグを短縮できるように記録することが可能となる。
【００７３】
また上記実施形態では、動画像撮影時に独立したフレーム画像として、動画像データ中にＩフレーム画像として記録させるか、あるいは動画像データと関連付けた静止画像データとして付帯記録させることで、記録時の演算処理系の負担を大きく増やすことがない。
【００７４】
なお上記実施形態は、ダンス解析用のアプリケーションプログラムをインストールしたスマートフォンに適用した場合について説明したものであるが、デジタル音源を用いて楽曲の再生を行なうような対象であれば、ダンスに限らず、例えばフィギュアスケートやシンクロナイズドスイミング等の解析を行なう装置も考えられる。
【００７５】
また、上記実施形態では、音楽データのビートタイミングを、独立したフレーム画像を取得するタイミングとして設定した場合について説明したが、本発明はこれに限らず、例えば３次元加速度センサ等を含む各種センサ群と無線通信機能とを内蔵したウェアラブルセンサを、撮影対象となる人物に装着して貰い、例えばジャンプした頂点位置を撮影タイミングとするなど、その人物の動きに応じたタイミングで独立したフレーム画像を取得するような構成とすることも考えられる。
【００７６】
さらに本実施形態の機能を実現する装置としては、実施形態のようなスマートフォンやモバイルタイプのパーソナルコンピュータ等に限らず、例えば動画撮影を行なうムービーカメラを音楽プレーヤと組み合わせて使用するような場合にも適用可能である。
【００７７】
その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００７８】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
［請求項１］  
動画像データを記録する第１の記録制御手段と、  
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出手段と、を備え、  
上記第１の記録制御手段は、上記動画像データに、上記タイミング検出手段により検出された上記予め設定されているタイミングを示す情報を付帯して記録する、画像処理装置。  
［請求項２］  
上記第１の記録制御手段は、動画像をフレーム間予測により圧縮符号化して上記動画像データを記録し、上記タイミング検出手段により検出された上記予め設定されているタイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、請求項１記載の画像処理装置。  
［請求項３］  
上記デジタル音楽データを再生する音楽再生手段をさらに備え、  
上記タイミング検出手段は、上記音楽再生手段で再生する上記デジタル音楽データに対して予め設定されているタイミングを検出する、請求項１又は２記載の画像処理装置。  
［請求項４］  
動画像をフレーム間予測により圧縮符号化して動画像データとして記録する第２の記録制御手段と、  
上記動画像データと比較する、上記動画像データとは異なる動画像データに対して予め設定されているタイミングを示す情報を取得するタイミング情報取得手段と、を備え、  
上記第２の記録制御手段は、上記動画像データの記録中、上記タイミング情報取得手段で取得した情報のタイミングが到来すると、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、画像処理装置。  
［請求項５］  
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出手段と、  
第１の動画像データを記録し、当該第１の動画像データの記録中に、当該第１の動画像データに、上記タイミング検出手段により検出された上記予め設定されているタイミングを示す情報を付帯して記録する第１の記録制御手段と、  
動画像をフレーム間予測により圧縮符号化して上記第１の動画像データとは異なる第２の動画像データとして記録する第２の記録制御手段と、  
上記第１の動画像データに付帯する上記タイミングを示す情報を取得するタイミング情報取得手段と、を備え、  
上記第２の記録制御手段は、上記第２の動画像データの記録中、上記タイミング情報取得手段で取得した情報のタイミングが到来すると、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、画像処理装置。  
［請求項６］  
上記独立フレーム画像データは、動画像中のＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレーム画像、または動画像と関連付けた静止画像のいずれかである、請求項２、４、５いずれか記載の画像処理装置。  
［請求項７］  
デジタル音楽データを再生する音楽再生手段をさらに備え、  
上記タイミング情報取得手段は、上記音楽再生手段で再生する音楽に対する、予め設定したタイミングを示す情報を取得する、請求項４記載の画像処理装置。  
［請求項８］  
上記タイミング情報取得手段は、ユーザが予め設定したタイミングを示す情報を取得する、請求項４記載の画像処理装置。  
［請求項９］  
画像処理装置での画像処理方法であって、  
動画像データを記録する第１の記録制御工程と、  
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出工程と、を有し、  
上記第１の記録制御工程は、上記動画像データに、上記タイミング検出工程により検出された上記予め設定されているタイミングを示す情報を付帯して記録する、画像処理方法。  
［請求項１０］  
画像処理装置での画像処理方法であって、  
動画像をフレーム間予測により圧縮符号化して動画像データとして記録する第２の記録制御工程と、  
上記動画像データと比較する、上記動画像データとは異なる動画像データに対して予め設定されているタイミングを示す情報を取得するタイミング情報取得工程と、を有し、  
上記第２の記録制御工程は、上記動画像データの記録中、上記タイミング情報取得工程で取得した情報のタイミングが到来すると、当該タイミングにおいては、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、画像処理方法。  
［請求項１１］  
画像処理装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、  
動画像データを記録する第１の記録制御手段、  
デジタル音楽データに対して予め設定されているタイミングを検出するタイミング検出手段、  として機能させ、  
上記第１の記録制御手段は、上記動画像データに、上記タイミング検出手段により検出された上記予め設定されているタイミングを示す情報を付帯して記録する、プログラム。  
［請求項１２］  
画像処理装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、  
動画像をフレーム間予測により圧縮符号化して動画像データとして記録する第２の記録制御手段、  
上記動画像データと比較する、上記動画像データとは異なる動画像データに対して予め設定されているタイミングを示す情報を取得するタイミング情報取得手段、として機能させ、  
上記第２の記録制御手段は、上記動画像データの記録中、上記タイミング情報取得手段で取得した情報のタイミングが到来すると、当該タイミングにおいて、フレーム間予測を用いずに符号化した独立フレーム画像データを記録する、プログラム。
【符号の説明】
【００７９】
１０…スマートフォン、
１１…スピーカ、
１２…マイクロホン、
１３…音声処理部、
１４…プロセッサ、
１５…ワークメモリ、
１６…プログラムメモリ、
１６Ａ…ダンス解析プログラム、
１７…表示部、
１８…タッチ入力部、
１９…撮像部、
２０…ＧＰＳ受信部、
２１…加速度センサ、
２２…ジャイロセンサ、
２３…地磁気センサ、
２４…操作部、
２５…バイブレータ、
２６…無線通信部、
２７…ＮＦＣ部、
２８…外部デバイスインタフェイス（Ｉ／Ｆ）、
２９…ＧＰＳアンテナ、
３０〜３２…アンテナ、
３３…ヘッドホンジャック、
３４…マイクロＵＳＢ端子、
３５…メモリカードスロット、
ＳＢ…システムバス
【図１】
2019220859.tif 000003
【図２】
2019220859.tif 000004
【図３】
2019220859.tif 000005