(57)【要約】【課題】被写体のフォームを容易に比較することができる信号処理装置を提供する。【解決手段】信号処理装置は、動画像のフレーム間の変位を検出する第１検出部と、第１検出部により検出された変位の特徴点を抽出する第１抽出部と、第１抽出部により抽出された第１の動画における特徴点と第２の動画における特徴点とを照合し、第１の動画における第１特徴点と第２の動画において第１特徴点に対応する第２特徴点とを対応付ける照合部と、を備える。【選択図】図１
2014164644.tif 000002
【特許請求の範囲】
【請求項１】
動画像のフレーム間の変位を検出する第１検出部と、
前記第１検出部により検出された前記変位の特徴点を抽出する第１抽出部と、
前記第１抽出部により抽出された第１の動画における特徴点と第２の動画における特徴点とを照合し、前記第１の動画における第１特徴点と前記第２の動画において前記第１特徴点に対応する第２特徴点とを対応付ける照合部と、
を備えることを特徴とする信号処理装置。
【請求項２】
前記第１特徴点が抽出されたフレーム画像と前記第２特徴点が抽出されたフレーム画像とが同じタイミングで再生されるように、前記第１の動画および前記第２の動画を再生する再生処理部、
を備えることを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記再生処理部は、
前記第１特徴点が抽出されたフレーム画像と前記第２特徴点が抽出されたフレーム画像とが同じタイミングで再生されるように、前記第１の動画または前記第２の動画のフレームレートを変換する
ことを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記再生処理部は、
再生した前記第１の動画および前記第２の動画を表示部に並べて表示させる
ことを特徴とする請求項２または３に記載の信号処理装置。
【請求項５】
前記第１特徴点が抽出されたフレーム画像と前記第２特徴点が抽出されたフレーム画像とが同じタイミングで再生されるように、前記第１の動画または前記第２の動画を変換した動画を生成する生成部
を備えることを特徴とする請求項１から４の何れか一項に記載の信号処理装置。
【請求項６】
前記動画像から所定の被写体を含む画像領域を選択する選択部と、
前記選択部により選択された画像領域の画像をテンプレート画像として登録する登録部と、
を備え、
前記第１検出部は、
前記登録部により登録されたテンプレート画像を用いて、前記動画の各フレーム画像に対してテンプレートマッチングを行うことにより、前記所定の被写体を含む画像領域のフレーム間の変位を検出する
ことを特徴とする請求項１から５の何れか一項に記載の信号処理装置。
【請求項７】
前記照合部は、
前記第１特徴点と前記第２特徴点とを統合して、統合した特徴点に対して、前記第１特徴点に対応するフレーム画像および前記第２特徴点に対応するフレーム画像を対応付ける
ことを特徴とする請求項１から６の何れか一項に記載の信号処理装置。
【請求項８】
前記動画においてフレーム間の音の変化を検出する第２検出部と、
前記第２検出部により検出された前記音の変化の特徴点を抽出する第３抽出部と、
を備え、
前記照合部は、
前記第３抽出部により抽出された前記第１の動画における特徴点と、前記第２の動画における特徴点とを照合し、前記第１の動画における第１特徴点と、前記第２の動画において前記第１特徴点に対応する第２特徴点とを対応付ける
ことを特徴とする請求項１から７の何れか一項に記載の信号処理装置。
【請求項９】
請求項１から８の何れか一項に記載の信号処理装置、
を備えることを特徴とする表示装置。
【請求項１０】
コンピュータに、
動画像のフレーム間の変位を検出する第１ステップと、
前記第１ステップにおいて検出された前記変位の特徴点を抽出する第２ステップと、
前記第２ステップにおいて抽出された第１の動画における特徴点と第２の動画における特徴点とを照合し、前記第１の動画における第１特徴点と前記第２の動画において前記第１特徴点に対応する第２特徴点とを対応付ける第３ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、表示装置、及びプログラムに関する。
【背景技術】
【０００２】
手本となるフォームと比較練習するためのフォーム練習装置が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１２４２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の装置では、それぞれのフォームのタイミングを合わせることができない場合があった。このように、従来、練習者のフォームと手本となるフォームとを容易に比較することができない場合があるという問題があった。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、互いに異なる被写体のフォームを容易に比較することができる信号処理装置、表示装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の一態様は、動画像のフレーム間の変位を検出する第１検出部と、前記第１検出部により検出された前記変位の特徴点を抽出する第１抽出部と、前記第１抽出部により抽出された第１の動画における特徴点と第２の動画における特徴点とを照合し、前記第１の動画における第１特徴点と前記第２の動画において前記第１特徴点に対応する第２特徴点とを対応付ける照合部と、を備えることを特徴とする信号処理装置である。
【０００７】
また、本発明の一態様は、上記記載の信号処理装置、を備えることを特徴とする表示装置である。
【０００８】
また、本発明の一態様は、コンピュータに、動画像のフレーム間の変位を検出する第１ステップと、前記第１ステップにおいて検出された前記変位の特徴点を抽出する第２ステップと、前記第２ステップにおいて抽出された第１の動画における特徴点と第２の動画における特徴点とを照合し、前記第１の動画における第１特徴点と前記第２の動画において前記第１特徴点に対応する第２特徴点とを対応付ける第３ステップと、を実行させるためのプログラムである。
【発明の効果】
【０００９】
被写体のフォームを容易に比較することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の第１実施形態による表示装置の構成の一例を示す概略ブロック図である。
【図２】第１実施形態のタイミング処理部及び記憶部の詳細構成の一例を示す図である。
【図３】動画と位置と時刻ポイントとが対応付けされたデータの一例を示す図である。
【図４】動画データを照合して対応付けをした結果の一例を示す図である。
【図５】動画データを照合して対応付けをした結果の別の例を示す図である。
【図６】表示装置が動画を再生する処理の一例を説明する図である。
【図７】再生処理の具体例（第１例）を説明する図である。
【図８】再生処理の具体例（第２例）を説明する図である。
【図９】再生処理の具体例（第３例）を説明する図である。
【図１０】第２実施形態のタイミング処理部の構成の一例を示す概略ブロック図である。
【図１１】第３実施形態のタイミング処理部の構成の一例を示す概略ブロック図である。
【図１２】第４実施形態の処理部の構成の一例を示す概略ブロック図である。
【図１３】第５実施形態の撮像装置の構成の一例を示す概略ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施の形態について説明する。
［第１実施形態］
図１は、この発明の第１実施形態による表示装置２０の構成の一例を示す概略ブロック図である。表示装置２０は、表示部４と、記憶媒体部５と、信号処理部１０（信号処理装置）と、バス１１と、を備えている。
【００１２】
表示部４は、画像または文字情報などを表示するディスプレイである。例えば、表示部４は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどを備えており、信号処理部１０の制御によって入力された画像信号に基づいた画像、または、入力された文字信号に基づいた文字情報等を表示する。また、表示部４は、信号処理部１０の制御によって入力された２種類の動画像（以下、動画と称する）を並べて表示する。なお、表示部４は、表示面に対するタッチ操作を検出するタッチパネルを含んで構成されてもよい。また、表示部４は、表示装置２０と有線または無線により入力された画像または文字情報などを表示する外部装置としての表示装置であってもよい。
【００１３】
記憶媒体部５は、取り外しが可能な記憶媒体５０（カードメモリ等）と接続され、この記憶媒体５０に記憶（記録）されている画像又は情報を読み出す。例えば、記憶媒体部５は、記憶媒体５０に記憶（記録）されている動画を信号処理部１０の制御により読み出す。なお、記憶媒体部５は、記憶媒体５０に対する画像又は情報の書込みや消去を行ってもよい。
【００１４】
記憶媒体５０は、表示装置２０に対して着脱可能に接続されるメモリであって、例えば、撮影された動画等を記憶する。なお、記憶媒体部５に代えて、有線または無線を介して接続される他機器が有する記憶媒体、又は記憶装置としてもよい。
【００１５】
信号処理部１０は、処理部１と、記憶部２と、を備えている。処理部１は、タイミング処理部１１０と、再生処理部１２０と、を備えている。タイミング処理部１１０は、動画に対して信号処理を実行する。再生処理部１２０は、タイミング処理部１１０の信号処理の結果に基づいて動画を再生する。例えば、再生処理部１２０は、記憶媒体部５から読み出した動画を、タイミング処理部１１０の信号処理の結果に基づいて再生して表示部４に表示させる。記憶部２は、タイミング処理部１１０が動画に対して信号処理を実行する際に必要なデータ、または、信号処理の結果により生成されたデータを記憶する。
【００１６】
バス１１は、表示部４、記憶媒体部５、及び、信号処理部１０と接続され、各部から出力された画像信号、制御信号、等を転送する。
【００１７】
次に、図２を参照して、タイミング処理部１１０及び記憶部２の構成について詳しく説明する。図２は、タイミング処理部１１０及び記憶部２の詳細構成の一例を示す図である。まず、タイミング処理部１１０の詳細構成について説明する。タイミング処理部１１０は、選択部１１２と、テンプレート登録部１１３と、変位検出部１１４と、変化特徴点抽出部１１５と、照合部１１６と、を備えている。
【００１８】
選択部１１２は、動画から所定の被写体を含む画像領域を選択する。例えば、選択部１１２は、ユーザの操作に応じて、動画の画像領域のうちの所定の被写体を含む画像領域を選択する。ここで、所定の被写体とは、例えば、動画に記録されているスポーツやダンスの練習者、または、その見本となる者（先生）のことである。例えば、選択部１１２は、動画から、フォームを比較したい被写体を含む画像領域をユーザの操作に応じて選択する。なお、ユーザの操作とは、不図示の操作部に対する操作であってもよいし、表示部４がタッチパネルを有する場合には表示面へのタッチ操作であってもよい。
【００１９】
テンプレート登録部１１３（登録部）は、選択部１１２により選択された画像領域の画像をテンプレート画像として登録する。例えば、テンプレート登録部１１３（登録部）は、テンプレート画像を記憶部２に登録して記憶させる。
【００２０】
変位検出部１１４（第１検出部）は、動画のフレーム間の変位を検出する。例えば、変位検出部１１４は、テンプレート登録部１１３により登録されたテンプレート画像を用いて、動画の各フレーム画像に対してテンプレートマッチングを行うことにより、所定の被写体を含む画像領域のフレーム間の変位を検出する。
【００２１】
具体的には、変位検出部１１４は、動画のフレーム画像毎にフレーム画像の画像領域のうちの所定の被写体を含む画像領域の座標位置を検出するとともに、検出したフレーム画像毎の座標位置に基づいて座標位置のフレーム間の変位を検出する。また、変位検出部１１４は、フレーム毎の所定の被写体を含む画像領域の座標位置をフレーム順に配列した「位置配列データ」を生成する。なお、変位検出部１１４は、この位置配列データにおいて、例えば、フレーム毎の所定の被写体を含む画像領域の座標位置をフレーム番号と対応付けている。また、変位検出部１１４は、検出した座標位置のフレーム間の変位を示す情報を、変化特徴点抽出部１１５に供給する。
【００２２】
変化特徴点抽出部１１５（第１抽出部）は、変位検出部１１４により検出されたフレーム間の変位の特徴点を抽出する。例えば、変化特徴点抽出部１１５は、フレーム間の変位のうち変化が大きいタイミングを変位の特徴点として抽出する。ここで、上述の変化が大きいタイミングとは、例えば、「変位の方向が反転したタイミング」、または、「変位の速度変化が大きいタイミング（例えば、静止状態から動き出したタイミングや動いている状態から静止したタイミング等）」等である。なお、変位の特徴点として抽出した変化の大きいタイミングを示す情報を、以下の説明において「時刻ポイント」と称する。
【００２３】
また、変化特徴点抽出部１１５は、抽出した「時刻ポイント」をフレーム番号と対応付けてフレーム順に配列した「時刻ポイント配列データ」を生成する。例えば、変化特徴点抽出部１１５は、変位の特徴点の有無を示すフラグ情報（例えば、有り：「１」、無し：「０」）のうち、変位の特徴点が「有り」を示すフラグ情報（例えば、有り：「１」）を「時刻ポイント」としてフレーム番号に対応付ける。なお、変化特徴点抽出部１１５は、変位の特徴点の種類に応じて異なるフラグ情報を「時刻ポイント」としてフレーム番号に対応付けてもよい。
【００２４】
照合部１１６は、動画における変位の特徴点を、他の動画における変位の特徴点と照合して対応付けを行う。例えば、比較する２つの動画を、「Ａ動画」（第１の動画）と「Ｂ動画」（第２の動画）とする。この場合、変化特徴点抽出部１１５は、「Ａ動画」における変位の特徴点と、「Ｂ動画」における変位の特徴点とをそれぞれ抽出して、「Ａ動画」の時刻ポイント配列データと、「Ｂ動画」の時刻ポイント配列データとを生成する。照合部１１６は、「Ａ動画」の時刻ポイント配列データと、「Ｂ動画」の時刻ポイント配列データとを参照して、「Ａ動画」の時刻ポイントと、「Ｂ動画」の時刻ポイントとを照合する。すなわち、照合部１１６は、変化特徴点抽出部１１５により抽出された「Ａ動画」における特徴点と、「Ｂ動画」における特徴点とを照合する。
【００２５】
そして、照合部１１６は、「Ａ動画」における第１特徴点（「Ａ動画」における「時刻ポイント」）と、「Ｂ動画」において第１特徴点に対応する第２特徴点（「Ｂ動画」において「Ａ動画」における「時刻ポイント」に対応する「時刻ポイント」）とを対応付ける。例えば、照合部１１６は、「Ａ動画」における第１特徴点（「時刻ポイント」）と、「Ｂ動画」において第１特徴点と同様の変位の特徴を示す第２特徴点（「時刻ポイント」）とを対応付ける。続いて、図３、図４を参照して、照合部１１６が照合して対応付けをする処理の具体例を以下に説明する。
【００２６】
（照合処理の具体例）
図３は、動画（画像及び音声（声以外の音も含む））と、所定の被写体を含む画像領域の「位置」と、変位の特徴点のタイミングの「時刻ポイント」とが対応付けされたデータの一例を示す図である。なお、横軸が、動画の時間軸を示している。なお、この図では、例えば「Ａ動画」がダンスのフォームの手本となる先生がダンスをしている動画であり、「Ｂ動画」がそのダンスを練習する練習者がダンスをしている動画であるものとする。
【００２７】
また、この図に示す「時刻ポイント」は、ダンスの動きにおける変位の特徴点が抽出されたタイミング（動きの変化が大きいタイミング）のフレームに対応付けられている。例えば、「時刻ポイント」には、変位の特徴点が「有り」を示すフラグ情報（例えば、「１」）が対応付けられている。すなわち、変化特徴点抽出部１１５は、「Ａ動画」及び「Ｂ動画」において、変位の特徴点として抽出した変化の大きいタイミングのフレームに、変位の特徴点の「有り」を示すフラグ情報（例えば、有り：「１」）を「時刻ポイント」として対応付けている。
【００２８】
この図では、「Ａ動画」において、フレームｆａ（１２）、ｆａ（１８）、ｆａ（２３）のそれぞれに、フラグ情報「１」が「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」、としてそれぞれ対応付けられている。また、「Ｂ動画」において、フレームｆｂ（１２）、ｆｂ（１７）、ｆｂ（２０）のそれぞれに、フラグ情報「１」が「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」、としてそれぞれ対応付けられている。
【００２９】
図４は、図３に示す動画データを照合して対応付けをした結果の一例を示す図である。照合部１１６は、動画の時間の経過の順に、「Ａ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれを、「Ｂ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれと対応付ける。すなわち、照合部１１６は、「Ａ動画」における複数の第１特徴点のそれぞれと、「Ｂ動画」において複数の第１特徴点のそれぞれに対応する第２特徴点とを対応付ける。
【００３０】
例えば、照合部１１６は、「Ｂ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれが、「Ａ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれと同じタイミングで再生されるように対応付ける。
【００３１】
具体的には、照合部１１６は、「Ｂ動画」における「時刻ポイント（０）」のフレームｆｂ（１２）が、「Ａ動画」における「時刻ポイント（０）」のフレームｆａ（１２）と同じタイミングで再生されるように対応付ける。また、照合部１１６は、「Ｂ動画」における「時刻ポイント（１）」のフレームｆｂ（１７）が、「Ａ動画」における「時刻ポイント（１）」のフレームｆａ（１８）と同じタイミングで再生されるように対応付ける。また、照合部１１６は、「Ｂ動画」における「時刻ポイント（２）」のフレームｆｂ（２０）が、「Ａ動画」における「時刻ポイント（２）」のフレームｆａ（２３）と同じタイミングで再生されるように対応付ける。
【００３２】
このように、照合部１１６は、練習生のダンスの動きにおける変位の特徴点のそれぞれを、見本となる先生のダンスの動きにおける変位の特徴点のそれぞれと同じタイミングで再生されるように対応付ける。
【００３３】
なお、照合部１１６は、「Ａ動画」における第１特徴点（「Ａ動画」における時刻ポイント）と、「Ｂ動画」において第１特徴点に対応する第２特徴点（「Ｂ動画」における時刻ポイント）とを統合してもよい。そして、照合部１１６は、統合した特徴点（時刻ポイント）に対して、第１特徴点に対応する「Ａ動画」のフレーム画像、および、第２特徴点に対応する「Ｂ動画」のフレーム画像を対応付けてもよい。
【００３４】
図５は、図３に示す動画データを照合して、「時刻ポイント」を統合した一例を示している。この図においては、照合部１１６は、「Ａ動画」における「時刻ポイント（０）」と「Ｂ動画」における「時刻ポイント（０）」とを統合した「時刻ポイント（０）」に、「Ａ動画」のフレームｆａ（１２）と「Ｂ動画」のフレームｆｂ（１２）とを対応付ける。また、照合部１１６は、「Ａ動画」における「時刻ポイント（１）」と「Ｂ動画」における「時刻ポイント（１）」とを統合した「時刻ポイント（１）」に、「Ａ動画」のフレームｆａ（１８）と「Ｂ動画」のフレームｆｂ（１７）とを対応付ける。また、照合部１１６は、「Ａ動画」における「時刻ポイント（２）」と「Ｂ動画」における「時刻ポイント（２）」とを統合した「時刻ポイント（２）」に、「Ａ動画」のフレームｆａ（２３）と「Ｂ動画」のフレームｆｂ（２０）とを対応付ける。
【００３５】
図２に戻り、次に、記憶部２の詳細構成について説明する。記憶部２は、テンプレート画像記憶部２１と、位置配列データ記憶部２２と、時刻ポイント配列データ記憶部２３と、画像処理用バッファメモリ２４と、を備えている。
【００３６】
テンプレート画像記憶部２１は、テンプレート登録部１１３が登録するテンプレート画像を記憶する。例えば、テンプレート画像記憶部２１は、選択部１１２により選択された所定の被写体を含む画像領域の画像をテンプレート登録部１１３の制御によりテンプレート画像として記憶する。また、テンプレート画像記憶部２１は、記憶しているテンプレート画像を、変位検出部１１４がテンプレートマッチングを行う際に変位検出部１１４の要求に応じて供給する。
【００３７】
位置配列データ記憶部２２は、変位検出部１１４が生成した位置配列データを記憶する。例えば、位置配列データ記憶部２２は、フレーム毎の所定の被写体を含む画像領域の座標位置をフレーム番号と対応付けて記憶する。
【００３８】
時刻ポイント配列データ記憶部２３は、変化特徴点抽出部１１５が生成した時刻ポイント配列データを記憶する。例えば、時刻ポイント配列データ記憶部２３は、変位の特徴点として抽出した変化の大きいタイミングである「時刻ポイント」をフレーム番号と対応付けて記憶する。
【００３９】
画像処理用バッファメモリ２４は、信号処理部１０が動画に対して信号処理を実行する際の作業領域、または、動画を再生する処理を実行する際の作業領域として利用され、動画が一時的に記憶される。例えば、画像処理用バッファメモリ２４は、「Ａ動画」に対して処理を実行する際に利用されるＡバッファメモリと、「Ｂ動画」に対して処理を実行する際に利用されるＢバッファメモリと、を有している。
【００４０】
以上のように構成された信号処理部１０は、照合部１１６が照合した結果に基づいて、「Ａ動画」と「Ｂ動画」とのそれぞれにおける所定の被写体の動き（変位の特徴点）のタイミングが合うように、それぞれの動画を再生する。すなわち、信号処理部１０は、２つの動画それぞれにおける所定の被写体の動き（変位の特徴点）のタイミングが合うように、それぞれの動画を再生する。また、表示装置２０は、信号処理部１０が再生した「Ａ動画」と「Ｂ動画」とのそれぞれの動画を表示部４に並べて表示する。
【００４１】
よって、表示装置２０は、２つの動画それぞれにおける所定の被写体の動き（変位の特徴点）のタイミングが合うように、それぞれの動画を表示部４に並べて表示することができる。
【００４２】
例えば、表示装置２０（信号処理部１０）は、図３に示す「Ａ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれと、「Ｂ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれとが同じタイミングで再生されるように、「Ａ動画」と「Ｂ動画」とを表示部４に並べて表示する（再生する）ことができる。次に、この表示装置２０における再生処理について詳しく説明する。
【００４３】
（再生処理の説明）
図６は、表示装置２０が動画を再生する処理の一例を説明する図である。この図において、信号処理部１０は、「Ａ動画」の時刻ポイント配列データと「Ｂ動画」の時刻ポイント配列データとをそれぞれ生成して、生成したそれぞれの時刻ポイント配列データが時刻ポイント配列データ記憶部２３に記憶されているものとする。
【００４４】
照合部１１６は、時刻ポイント配列データ記憶部２３に記憶されている「Ａ動画」の時刻ポイント配列データと「Ｂ動画」の時刻ポイント配列データとを参照して、「Ａ動画」における「時刻ポイント」と、「Ｂ動画」における「時刻ポイント」とを対応付ける（符号Ｓ１０１参照）。
【００４５】
再生処理部１２０は、記憶媒体部５から「Ａ動画」を読み出して、「Ａ動画」のフレーム画像の配列（Ａ画像配列）と、音声の配列（Ａ音声配列）と、位置配列（Ａ位置配列）と、のそれぞれのデータのうち所定の数フレーム分のデータをフレーム順にしたがって、画像処理用バッファメモリ２４のＡバッファメモリに一時的に記憶させる（符号Ｓ１０２参照）。また、再生処理部１２０は、記憶媒体部５から「Ｂ動画」を読み出して、「Ｂ動画」のフレーム画像の配列（Ｂ画像配列）と、音声の配列（Ｂ音声配列）と、位置配列（Ｂ位置配列）と、のそれぞれのデータのうち所定の数フレーム分のデータをフレーム順にしたがって、画像処理用バッファメモリ２４のＢバッファメモリに一時的に記憶させる（符号Ｓ１０３参照）。
【００４６】
次に、再生処理部１２０は、照合部１１６が照合した結果（対応付けされた時刻ポイント）に基づいて、「Ａ動画」と「Ｂ動画」とのそれぞれの互いに対応する「時刻ポイント」の再生タイミングが同じになるように、画像処理用バッファメモリ２４から「Ａ動画」と「Ｂ動画」とを読み出して再生し（符号Ｓ１０４参照）、表示部４に並べて表示させる（符号Ｓ１０５参照）。
また、再生処理部１２０は、画像処理用バッファメモリ２４から「Ａ動画」と「Ｂ動画」とを読み出したことに応じて、次のフレームのデータを画像処理用バッファメモリ２４に順次一時的に記憶させる。
【００４７】
例えば、再生処理部１２０は、図４に示すように、「Ｂ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれが、「Ａ動画」における「時刻ポイント（０）」、「時刻ポイント（１）」、「時刻ポイント（２）」のそれぞれと同じタイミングで再生されるように、「Ａ動画」と「Ｂ動画」との再生開始フレームと、「Ｂ動画」のフレームレートとを調整する。
【００４８】
具体的には、再生処理部１２０は、「Ａ動画」のフレームｆａ（１２）と「Ｂ動画」のフレームｆｂ（１２）、「Ａ動画」のフレームｆａ（１８）と「Ｂ動画」のフレームｆｂ（１７）、及び「Ａ動画」のフレームｆａ（２３）と「Ｂ動画」のフレームｆｂ（２０）、がそれぞれ同じタイミングになるように再生する。すなわち、再生処理部１２０は、「Ａ動画」のフレームｆａ（１２）からフレームｆａ（１８）を再生する期間に、「Ｂ動画」のフレームｆｂ（１２）からフレームｆｂ（１７）を「Ａ動画」のフレームレートよりも低いフレームレートで再生する。また、再生処理部１２０は、「Ａ動画」のフレームｆａ（１２）からフレームｆａ（１８）を再生する期間に、「Ｂ動画」のフレームｆｂ（１２）からフレームｆｂ（１７）を「Ａ動画」のフレームレートよりも低いフレームレートに変換して再生する。
【００４９】
このように、再生処理部１２０は、「Ａ動画」において第１特徴点が抽出されたフレーム画像と、「Ｂ動画」において第２特徴点が抽出されたフレーム画像とが同じタイミングで再生されるように、「Ａ動画」および「Ｂ動画」を再生する。また、再生処理部１２０は、第１特徴点が抽出されたフレーム画像と第２特徴点が抽出されたフレーム画像とが同じタイミングで再生されるように、「Ａ動画」または「Ｂ動画」のフレームレートを変換する。また、再生処理部１２０は、再生した「Ａ動画」および「Ｂ動画」を表示部４に並べて表示する。
【００５０】
すなわち、表示装置２０は、２つの動画それぞれにおける所定の被写体の動き（変位の特徴点）のタイミングが合うように、それぞれの動画を再生して表示部４に並べて表示する。よって、表示装置２０は、互いに異なる動画に記録された被写体のフォームを容易に比較することができるように、それぞれの動画を表示することができる。
【００５１】
なお、再生処理部１２０は、「Ｂ動画」を「Ａ動画」のフレームレートよりも低いフレームレートに変更して再生する場合、「Ｂ動画」の１フレーム毎の再生時間を長くするように変更してもよいし、フレームレートを変更する期間内の「Ｂ動画」のフレーム数と「Ａ動画」のフレーム数とが同じになるように、その期間内の「Ｂ動画」にフレーム（画像）を加えてもよい。例えば、この図４において「Ｂ動画」のフレームｆｂ（１２）からフレームｆｂ（１７）の期間において加える画像は、「Ｂ動画」のフレームｆｂ（１２）からフレームｆｂ（１７）の画像のうちの少なくとも一つフレームの画像であってもよいし、少なくとも一つフレームの画像に基づいて生成された画像であってもよい。同様に、「Ｂ動画」のフレームｆｂ（１７）からフレームｆｂ（２０）の期間において加える画像は、「Ｂ動画」のフレームｆｂ（１７）からフレームｆｂ（２０）の画像のうちの少なくとも一つフレームの画像であってもよいし、少なくとも一つフレームの画像に基づいて生成された画像であってもよい。
【００５２】
また、上記図４及び図６を用いて説明した例では、「Ｂ動画」を「Ａ動画」のフレームレートよりも低いフレームレートに変更して再生する例を示したが、「時刻ポイント」間のフレーム数が「Ａ動画」よりも「Ｂ動画」の方が多い場合には、「Ｂ動画」を「Ａ動画」のフレームレートよりも高いフレームレートに変更して再生してもよい。この場合、「Ｂ動画」の１フレーム毎の再生時間を短くするように変更してもよいし、フレームレートを変更する期間内の「Ｂ動画」のフレーム数と「Ａ動画」のフレーム数とが同じになるように、その期間内の「Ｂ動画」のフレームを間引いてもよい。
【００５３】
なお、表示装置２０は、変位検出部１１４が生成した（位置配列データ記憶部２２に記憶されている）位置配列データに基づいて、再生して表示するフレーム画像に対応する「位置」を示す情報を動画に重ねて表示部４に表示してもよい。また、表示装置２０は、動画を再生して表示部４に表示する際に、所定の被写体を含む画像領域が含まれるフレーム画像に対してはその旨を示す情報を表示してもよい。
【００５４】
また、変位検出部１１４は、位置配列データを生成しなくともよい。例えば、変位検出部１１４は、フレーム画像毎の座標位置に基づいて、座標位置のフレーム間の変位を検出する処理を実行して、位置配列データを生成する処理を実行しなくともよい。
【００５５】
なお、図３から図６を用いて説明した動画の例は画像と音声とを含む動画であるが、これに限られるものではなく、本実施形態における処理が適用される動画は音声(音)を含まない動画であってもよい。
【００５６】
（２つの動画それぞれの再生タイミングを合わせる処理の具体例）
本実施形態によれば、２つの動画のそれぞれの所定の被写体の動きにおいて部分的に動きの抜けや異なる動き等があっても、その他の動きの変位の特徴点を対応付けることにより、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生することができる。続いて、図７、図８、及び、図９を参照して、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生する再生処理の具体例を説明する。
【００５７】
なお、図３、図４．及び図５を用いて説明した処理と同様に、「Ａ動画」と「Ｂ動画」との２つの動画のうち、「Ａ動画」がダンスのフォームの手本となる先生がダンスをしている動画（手本フォームの動画）であり、「Ｂ動画」がそのダンスを練習する練習者がダンスをしている動画（練習フォームの動画）であるものとする。また、「Ｂ動画」の再生タイミングを「Ａ動画」の再生タイミングに合わせる処理として説明する。
【００５８】
なお、図７、図８、及び、図９では、図３、図４．及び、図５に示す各フレームの「画像」、「音声」、及び、「位置」の記載を省略しており、「時刻ポイント」と「フレーム番号」とを示している。
【００５９】
また、ここでは、所定の被写体（先生または練習者）のフレーム間の変位の特徴点を、以下に示すような変位の特徴点の種類毎に抽出する。また、変位の特徴点の種類毎に以下に示すようなフラグ情報が予め定められている。
・「変位の方向が反転」：フラグ情報「２」
・「ジャンプ」：フラグ情報「３」
・「静止状態から動く」：フラグ情報「４」
・「動いている状態から静止」：フラグ情報「５」
そして、これらの変位の特徴点が抽出されたフレームに対して、それぞれのフラグ情報が「時刻ポイント」として対応付けられているものとする。
【００６０】
＜第１例＞
図７は、再生処理の具体例（第１例）を説明する図である。この図に示す例は、「Ａ動画」（手本フォームの動画）に含まれる「時刻ポイント」が、「Ｂ動画」（練習フォームの動画）において抜けている場合を示している。
【００６１】
この図では、「Ａ動画」においてフラグ情報「２」、「３」、「３」、「２」の順に「時刻ポイント」がフレームに対応付けられているのに対して、「Ｂ動画」においてはフラグ情報「３」、「３」、「２」の順に「時刻ポイント」がフレームに対応付けられている。すなわち、「Ａ動画」における最初の「時刻ポイント」であるフラグ情報「２」が、「Ｂ動画」の最初には無い。これは、例えば、練習者が、最初の動き（振り）である「変位の方向が反転」（フラグ情報「２」）の動きを行わずに、次の「ジャンプ」（フラグ情報「３」）の動きを行ってしまったような場合である。
【００６２】
図７（ａ）は、「Ａ動画」と「Ｂ動画」とのそれぞれの「時刻ポイント」の配列と「フレーム番号」の配列とを示している。「Ａ動画」の「時刻ポイント」として、フレームｆａ（１２）にフラグ情報「２」、フレームｆａ（１４）にフラグ情報「３」、フレームｆａ（１７）にフラグ情報「３」、及び、フレームｆａ（２２）にフラグ情報「２」がそれぞれ対応付けられている。一方、「Ｂ動画」の「時刻ポイント」として、フレームｆｂ（１７）にフラグ情報「３」、フレームｆｂ（２１）にフラグ情報「３」、及び、フレームｆｂ（２５）にフラグ情報「２」がそれぞれ対応付けられている。
【００６３】
図７（ｂ）は、照合部１１６が、図７（ａ）に示す「Ａ動画」と「Ｂ動画」とのそれぞれの「時刻ポイント」を照合して対応付けをした結果を示す図である。照合部１１６は、「Ａ動画」の「時刻ポイント」と「Ｂ動画」の「時刻ポイント」とを、動画の時間の流れにしたがった順に同じフラグ情報の「時刻ポイント」を対応付ける。
【００６４】
例えば、照合部１１６は、「Ａ動画」のフレームｆａ（１４）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（１７）の「時刻ポイント」とを対応付ける。また、照合部１１６は、「Ａ動画」のフレームｆａ（１７）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（２１）の「時刻ポイント」とを対応付ける。また、照合部１１６は、「Ａ動画」のフレームｆａ（２２）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（２５）の「時刻ポイント」とを対応付ける。なお、照合部１１６は、「Ａ動画」のフレームｆａ（１２）の「時刻ポイント」に対応する「時刻ポイント」が「Ｂ動画」にはないため、「Ａ動画」のフレームｆａ（１２）の「時刻ポイント」の対応付けを行わない。
【００６５】
再生処理部１２０は、照合部１１６の照合結果に基づいて、「Ａ動画」と「Ｂ動画」との互いに対応する「時刻ポイント」のフレームが同じタイミングになるように再生する。
【００６６】
例えば、再生処理部１２０は、「Ａ動画」のフレームｆａ（１４）と「Ｂ動画」のフレームｆｂ（１７）、「Ａ動画」のフレームｆａ（１７）と「Ｂ動画」のフレームｆｂ（２１）、及び、「Ａ動画」のフレームｆａ（２２）と「Ｂ動画」のフレームｆｂ（２５）、のそれぞれが同じタイミングになるように「Ａ動画」と「Ｂ動画」とを再生して表示部４に並べて表示させる。また、再生処理部１２０は、「Ｂ動画」の再生タイミングを「Ａ動画」のタイミングに合わせるため、「Ｂ動画」のフレームｆｂ（１７）〜ｆｂ（２１）、及び、フレームｆｂ（２１）〜ｆｂ（２５）の期間のそれぞれのフレームレートを変換する。
【００６７】
なお、図７（ｂ）では、フレームｆｂ（１７）〜ｆｂ（２１）の期間内の各フレームの時間の長さを短くしている例を示しているが、フレームｆｂ（１７）〜ｆｂ（２１）の期間内の何れかのフレームを間引いてもよい。また、図７（ｂ）では、フレームｆｂ（２１）〜ｆｂ（２５）の期間内の各フレームの時間の長さを長くしている例を示しているが、フレームｆｂ（２１）〜ｆｂ（２５）の期間内にフレームを加えてもよい。
【００６８】
このように、表示装置２０（信号処理部１０）は、「Ａ動画」における先生の手本の動きに対して、「Ｂ動画」における練習者の動きに部分的な抜けがある場合（例えば、図７（ａ）に示すような場合）であっても、「Ａ動画」における先生の動きと「Ｂ動画」における練習者の動きとのタイミングをあわせて（例えば、図７（ｂ）に示すように）再生することができる。
【００６９】
＜第２例＞
図８は、再生処理の具体例（第２例）を説明する図である。この図に示す例は、「Ａ動画」（手本フォームの動画）に含まれていない「時刻ポイント」が、「Ｂ動画」（練習フォームの動画）に含まれる場合を示している。
【００７０】
この図では、「Ａ動画」においてフラグ情報「２」、「３」、「３」、「２」の順に「時刻ポイント」がフレームに対応付けられているのに対して、「Ｂ動画」においてはフラグ情報「２」、「３」、「３」、「３」、「２」の順に「時刻ポイント」がフレームに対応付けられている。すなわち、「Ａ動画」においてフラグ情報「３」の「時刻ポイント」が２つのフレームに対応付けられているのに対して、「Ｂ動画」においてはフラグ情報「３」の「時刻ポイント」が３つのフレームに対応付けられている。これは、例えば、練習者が、手本の動き（振り）に対して「ジャンプ」（フラグ情報「３」）の回数を間違えてしまったような場合（１回多くジャンプしてしまった場合）である。
【００７１】
図８（ａ）は、「Ａ動画」と「Ｂ動画」とのそれぞれの「時刻ポイント」の配列と「フレーム番号」の配列とを示している。「Ａ動画」の「時刻ポイント」として、フレームｆａ（１２）にフラグ情報「２」、フレームｆａ（１４）にフラグ情報「３」、フレームｆａ（１７）にフラグ情報「３」、及び、フレームｆａ（２２）にフラグ情報「２」がそれぞれ対応付けられている。一方、「Ｂ動画」の「時刻ポイント」として、フレームｆｂ（１５）にフラグ情報「２」、フレームｆｂ（１７）にフラグ情報「３」、フレームｆｂ（１９）にフラグ情報「３」、フレームｆｂ（２１）にフラグ情報「３」、及び、フレームｆｂ（２５）にフラグ情報「２」がそれぞれ対応付けられている。
【００７２】
図８（ｂ）は、照合部１１６が、図８（ａ）に示す「Ａ動画」と「Ｂ動画」とのそれぞれの「時刻ポイント」を照合して対応付けをした結果を示す図である。照合部１１６は、「Ａ動画」の「時刻ポイント」と「Ｂ動画」の「時刻ポイント」とを、動画の時間の流れにしたがった順に同じフラグ情報の「時刻ポイント」を対応付ける。
【００７３】
例えば、照合部１１６は、「Ａ動画」のフレームｆａ（１２）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（１５）の「時刻ポイント」とを対応付ける。また、照合部１１６は、「Ａ動画」のフレームｆａ（１４）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（１７）の「時刻ポイント」とを対応付ける。また、照合部１１６は、「Ａ動画」のフレームｆａ（１７）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（１９）の「時刻ポイント」とを対応付ける。また、照合部１１６は、「Ａ動画」のフレームｆａ（２２）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（２５）の「時刻ポイント」とを対応付ける。なお、照合部１１６は、「Ｂ動画」のフレームｆｂ（２１）の「時刻ポイント」に対応する「時刻ポイント」が「Ａ動画」にはないため、「Ｂ動画」のフレームｆｂ（２１）の「時刻ポイント」の対応付けを行わない。
【００７４】
再生処理部１２０は、照合部１１６の照合結果に基づいて、「Ａ動画」と「Ｂ動画」との互いに対応する「時刻ポイント」のフレームが同じタイミングになるように再生する。
【００７５】
例えば、再生処理部１２０は、「Ａ動画」のフレームｆａ（１２）と「Ｂ動画」のフレームｆｂ（１５）、「Ａ動画」のフレームｆａ（１４）と「Ｂ動画」のフレームｆｂ（１７）、「Ａ動画」のフレームｆａ（１７）と「Ｂ動画」のフレームｆｂ（１９）、及び、「Ａ動画」のフレームｆａ（２２）と「Ｂ動画」のフレームｆｂ（２５）、のそれぞれが同じタイミングになるように「Ａ動画」と「Ｂ動画」とを再生して表示部４に並べて表示させる。また、再生処理部１２０は、「Ｂ動画」の再生タイミングを「Ａ動画」に合わせるため、「Ｂ動画」のフレームｆｂ（１７）〜ｆｂ（１９）、及び、フレームｆｂ（１９）〜ｆｂ（２５）の期間のそれぞれのフレームレートを変換する。
【００７６】
なお、図８（ｂ）では、フレームｆｂ（１７）〜ｆｂ（１９）の期間内の各フレームの時間の長さを長くしている例を示しているが、フレームｆｂ（１７）〜ｆｂ（１９）の期間内にフレームを加えてもよい。また、図８（ｂ）では、フレームｆｂ（１９）〜ｆｂ（２５）の期間内の各フレームの時間の長さを短くしている例を示しているが、フレームｆｂ（１９）〜ｆｂ（２５）の期間内の何れかのフレームを間引いてもよい。
【００７７】
このように、表示装置２０（信号処理部１０）は、「Ｂ動画」の練習者の動きにおいて部分的に「Ａ動画」の手本の動きには含まれない動きがある場合（例えば、図８（ａ）に示すような場合）であっても、「Ａ動画」における手本の動きと「Ｂ動画」における練習者の動きとのタイミングをあわせて（例えば、図８（ｂ）に示すように）再生することができる。
【００７８】
＜第３例＞
図９は、再生処理の具体例（第３例）を説明する図である。この図に示す例は、「Ａ動画」（手本フォームの動画）に含まれる「時刻ポイント」と、「Ｂ動画」（練習フォームの動画）における「時刻ポイント」とが、部分的に異なる（動きの変位の特徴が異なる）場合を示している。
【００７９】
この図では、「Ａ動画」においてフラグ情報「４」、「２」、「５」、「３」の順に「時刻ポイント」がフレームに対応付けられているのに対して、「Ｂ動画」においてはフラグ情報「４」、「２」、「２」、「３」の順に「時刻ポイント」がフレームに対応付けられている。すなわち、「Ａ動画」と「Ｂ動画」とでは部分的に「時刻ポイント」のフラグ情報が異なる。これは、例えば、練習者が、「変位の方向が反転」（フラグ情報「２」）の動きの後に、「動いている状態から静止」（フラグ情報「５」）の動きを行うはずのところを間違えて静止せずに動いてしまい、「変位の方向が反転」（フラグ情報「２」）の動きを行うことによって静止するはずであった位置に戻ってきてそのまま「ジャンプ」（フラグ情報「３」）の動きを行ったような場合である。
【００８０】
図９（ａ）は、「Ａ動画」と「Ｂ動画」とのそれぞれの「時刻ポイント」の配列と「フレーム番号」の配列とを示している。「Ａ動画」の「時刻ポイント」として、フレームｆａ（１３）にフラグ情報「４」、フレームｆａ（１６）にフラグ情報「２」、フレームｆａ（２０）にフラグ情報「５」、及び、フレームｆａ（２５）にフラグ情報「３」がそれぞれ対応付けられている。一方、「Ｂ動画」の「時刻ポイント」として、フレームｆｂ（１２）にフラグ情報「４」、フレームｆｂ（１５）にフラグ情報「２」、フレームｆｂ（２２）にフラグ情報「２」、及び、フレームｆｂ（２６）にフラグ情報「３」がそれぞれ対応付けられている。
【００８１】
図９（ｂ）は、照合部１１６が、図９（ａ）に示す「Ａ動画」と「Ｂ動画」とのそれぞれの「時刻ポイント」を照合して対応付けをした結果を示す図である。照合部１１６は、「Ａ動画」の「時刻ポイント」と「Ｂ動画」の「時刻ポイント」とを、動画の時間の流れにしたがった順に同じフラグ情報の「時刻ポイント」を対応付ける。
【００８２】
例えば、照合部１１６は、「Ａ動画」のフレームｆａ（１３）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（１２）の「時刻ポイント」とを対応付ける。また、照合部１１６は、「Ａ動画」のフレームｆａ（１６）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（１５）の「時刻ポイント」とを対応付ける。また、照合部１１６は、「Ａ動画」のフレームｆａ（２５）の「時刻ポイント」と「Ｂ動画」のフレームｆｂ（２６）の「時刻ポイント」とを対応付ける。なお、照合部１１６は、「Ｂ動画」のフレームｆｂ（２２）の「時刻ポイント」に対応する「時刻ポイント」が「Ａ動画」にはないため、「Ｂ動画」のフレームｆｂ（２２）の「時刻ポイント」の対応付けを行わない。また、照合部１１６は、「Ａ動画」のフレームｆｂ（２０）の「時刻ポイント」に対応する「時刻ポイント」が「Ｂ動画」にはないため、「Ａ動画」のフレームｆｂ（２０）の「時刻ポイント」の対応付けを行わない。
【００８３】
再生処理部１２０は、照合部１１６の照合結果に基づいて、「Ａ動画」と「Ｂ動画」との互いに対応する「時刻ポイント」のフレームが同じタイミングになるように再生する。
【００８４】
例えば、再生処理部１２０は、「Ａ動画」のフレームｆａ（１３）と「Ｂ動画」のフレームｆｂ（１２）、「Ａ動画」のフレームｆａ（１６）と「Ｂ動画」のフレームｆｂ（１５）、及び、「Ａ動画」のフレームｆａ（２５）と「Ｂ動画」のフレームｆｂ（２６）、のそれぞれが同じタイミングになるように「Ａ動画」と「Ｂ動画」とを再生して表示部４に並べて表示させる。また、再生処理部１２０は、「Ｂ動画」の再生タイミングを「Ａ動画」に合わせるため、「Ｂ動画」のフレームｆｂ（１５）〜ｆｂ（２６）の期間のフレームレートを変換する。なお、図９（ｂ）では、フレームｆｂ（１５）〜ｆｂ（２６）の期間内の各フレームの時間の長さを短くしている例を示しているが、フレームｆｂ（１５）〜ｆｂ（２６）の期間内の何れかのフレームを間引いてもよい。
【００８５】
このように、表示装置２０（信号処理部１０）は、「Ｂ動画」の練習者の動きにおいて部分的に「Ａ動画」の手本の動きには含まれない動きがある場合（例えば、図９（ａ）に示すような場合）であっても、「Ａ動画」における手本の動きと「Ｂ動画」における練習者の動きとのタイミングをあわせて（例えば、図９（ｂ）に示すように）再生することができる。
【００８６】
以上、第１例から第３例において説明したように、信号処理部１０は、２つの動画のそれぞれの所定の被写体の動きにおいて部分的に動きの抜けや異なる動き等があっても、その他の動きの変位の特徴点を用いて対応付けを行う。これにより、信号処理部１０は、２つの動画のそれぞれの所定の被写体の動きにおいて部分的に動きの抜けや異なる動き等があっても、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生することができる。よって、信号処理部１０は、互いに異なる動画に記録された被写体のフォームを容易に比較することができるように、それぞれの動画を再生することができる。
【００８７】
また、表示装置２０は、２つの動画のそれぞれの所定の被写体の動きにおいて部分的に動きの抜けや異なる動き等があっても、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生して、表示部４に２つの動画を並べて表示することができる。よって、表示装置２０は、互いに異なる動画に記録された被写体のフォームを容易に比較することができるように、それぞれの動画を再生して表示することができる。
【００８８】
なお、上記実施形態においてダンスのフォームを比較する例を説明したが、比較するフォームはダンスのフォームに限られるものではない。例えば、比較するフォームは、テニス、ゴルフ、体操、野球等のフォーム、空手の型、チアリーディングの振り、等のようなダンス以外のフォームであってもよい。
【００８９】
なお、図３から図５及び図７から図９に示す時刻ポイントの間隔とフレーム数との関係は単に模式的に表したものであって実際の動きの速さを表すものではない。また、「時刻ポイント」は、１つのフレームと対応付けられていてもよいし、連続する複数のフレーム群と対応付けられていてもよい。
【００９０】
［第２実施形態］
次に、図１０を参照して、本発明の第２実施形態による表示装置２０について説明する。図１０は、第２実施形態による表示装置２０が備えるタイミング処理部１１０Ａの構成の一例を示す概略ブロック図である。この図に示すタイミング処理部１１０Ａは、画像特徴点抽出部１１１を備えている構成であることが図２に示す第１実施形態のタイミング処理部１１０に対して異なる。なお、図１０において、図２の各部に対応する構成には同一の符号を付け、その説明を省略する。
【００９１】
画像特徴点抽出部１１１（第２抽出部）は、動画から所定の被写体の特徴点を抽出する。また、この第２実施形態の構成において、選択部１１２は、画像特徴点抽出部１１１により抽出された所定の被写体の特徴点を含む画像領域を選択する。そして、テンプレート登録部１１３は、選択部１１２により選択された画像領域をテンプレート画像として登録する。
【００９２】
すなわち、第２実施形態のタイミング処理部１１０Ａは、所定の被写体の特徴点に基づいて、所定の被写体を含む画像領域、例えば、フォームを比較したい被写体を含む画像領域を選択する。
【００９３】
ここで、所定の被写体の特徴点とは、例えば、被写体の顔、手、足、または、被写体が持っている物体（例えば、バトン、テニスラケット、ゴルフのクラブ等）、等に基づく特徴点である。
【００９４】
これにより、信号処理部１０は、所定の被写体における注目すべき変位（フォームを比較するための変位）を適切に検出することができる。よって、信号処理部１０は、２つの動画のそれぞれの所定の被写体の変位の特徴点に基づいて、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生することができる。また、表示装置２０は、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生して、表示部４に２つの動画を並べて表示することができる。
【００９５】
［第３実施形態］
次に、図１１を参照して、本発明の第３実施形態による表示装置２０について説明する。図１１は、第３実施形態による表示装置２０が備えるタイミング処理部１１０Ｂの構成の一例を示す概略ブロック図である。この図に示すタイミング処理部１１０Ｂは、音変化検出部１１７を備えている構成であることが図２に示す第１実施形態のタイミング処理部１１０に対して異なる。なお、図１０において、図２の各部に対応する構成には同一の符号を付け、その説明を省略する。
【００９６】
音変化検出部１１７（第２検出部）は、動画においてフレーム間の音の変化を検出する。例えば、音変化検出部１１７は、音の大きさ（音量）の変化、音の種類の変化、または、音の有無等を検出する。また、この第３実施形態の構成において、変化特徴点抽出部１１５（第３抽出部）は、音変化検出部１１７により検出された音の変化の特徴点を抽出する。ここで、音の変化の特徴点とは、例えば、音の大きさ（音量）の変化が大きい点、音の種類が大きく変化する点、音の有無が変化する点、等である。また、変化特徴点抽出部１１５は、音の変化の特徴点を示す情報を「時刻ポイント」として、フレーム番号と対応付けてフレーム順に配列した「時刻ポイント配列データ」を生成する。
【００９７】
そして、照合部１１６は、例えば、変化特徴点抽出部１１５により抽出された「Ａ動画」における特徴点（音の変化の特徴点）と、「Ｂ動画」における特徴点（音の変化の特徴点）とを照合し、「Ａ動画」における第１特徴点と、「Ｂ動画」において第１特徴点に対応する第２特徴点とを対応付ける。
【００９８】
これにより、信号処理部１０は、２つの動画のそれぞれの音の変化の特徴点に基づいて、２つの動画のそれぞれの音の変化の特徴点のタイミングをあわせて再生することができる。また、表示装置２０は、２つの動画のそれぞれの音の変化の特徴点のタイミングをあわせて再生して、表示部４に２つの動画を並べて表示することができる。例えば、音楽にあわせたダンスを練習している場合等において、信号処理部１０は、２つの動画のそれぞれの音の変化の特徴点のタイミングを合わせることによって、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生することができる。また、表示装置２０は、２つの動画のそれぞれの所定の被写体の動きのタイミングをあわせて再生して、表示部４に２つの動画を並べて表示することができる。
【００９９】
なお、変化特徴点抽出部１１５は、変位検出部１１４により検出されたフレーム間の変位の特徴点と、音変化検出部１１７により検出された音の変化の特徴点とに基づいて、「時刻ポイント配列データ」を生成してもよい。また、信号処理部１０（表示装置２０）は、２つの動画のそれぞれの所定の被写体の変位の特徴点と、音の変化の特徴点とに基づいて、２つの動画のそれぞれのタイミングをあわせて再生してもよい。
【０１００】
なお、図１１のタイミング処理部１１０Ｂは、図１０のタイミング処理部１１０Ａの構成と同様に、画像特徴点抽出部１１１を備えている構成としてもよい。
【０１０１】
［第４実施形態］
次に、図１２を参照して、本発明の第４実施形態について説明する。図１２は、第４実施形態による信号処理部１０が備えている処理部１Ｃの構成の一例を示す概略ブロック図である。この図に示す処理部１Ｃは、再生処理部１２０に代えて、データ生成部１３０を備えている構成であることが図１に示す第１実施形態の処理部１に対して異なる。なお、図１２において、図１の各部に対応する構成には同一の符号を付け、その説明を省略する。
【０１０２】
データ生成部１３０（生成部）は、「Ａ動画」において第１特徴点が抽出されたフレーム画像と、「Ｂ動画」において第２特徴点が抽出されたフレーム画像とが同じタイミングで再生されるように変換した動画（動画データ）を生成する。
【０１０３】
例えば、データ生成部１３０は、「Ａ動画」と「Ｂ動画」との互いに対応する「時刻ポイント」間のフレーム数が同じになるように、「Ａ動画」または「Ｂ動画」に対してフレームの挿入または間引きを行った動画データを生成する。
【０１０４】
このように、信号処理部１０（表示装置２０）は、「Ａ動画」と「Ｂ動画」とのそれぞれにおける所定の被写体の動き（変位の特徴点）の再生タイミングが合うような動画を生成する。なお、生成する動画は、「Ａ動画」と「Ｂ動画」とのうちの少なくとも何れか一方であってもよいし、「Ａ動画」と「Ｂ動画」との両方の動画をまとめた動画であってもよい。
【０１０５】
これにより、信号処理部１０（信号処理装置）は、「時刻ポイント」に基づいた再生処理及びフレームレートを変換する再生処理を行わなくとも、上記生成した動画を再生することにより、それぞれの動画の所定の被写体の動き（変位の特徴点）のタイミングが合うように再生することができる。また、「時刻ポイント」に基づいた再生処理及びフレームレートを変換する再生処理を行う機能を持たない他の表示装置や再生装置においても、上述の信号処理部１０（信号処理装置）が生成した動画を再生することにより、それぞれの動画の所定の被写体の動き（変位の特徴点）のタイミングが合うように、それぞれの動画を再生（表示）することができる。
【０１０６】
なお、図１２の処理部１Ｃは、図１の再生処理部１２０をさらに備えた構成としてもよい。また、図１２のタイミング処理部１１０に代えて、図１０のタイミング処理部１１０Ａまたは図１１のタイミング処理部１１０Ｂとしてもよい。
【０１０７】
［第５実施形態］
次に、図１３を参照して、本発明の第５実施形態について説明する。この第５実施形態は、第１から第４実施形態の何れかの信号処理部１０を備えた撮像装置３０の態様である。図１３は、撮像装置３０の構成の一例を示す概略ブロック図である。撮像装置３０は、表示部４と、記憶媒体部５と、撮像部６と、操作入力部７と、画像処理部８と、制御部９と、信号処理部１０と、バス１２と、を備えている。なお、図１３において、図１の各部に対応する構成には同一の符号を付け、その説明を省略する。
【０１０８】
撮像部６は、レンズ部６１、撮像素子６２、及びＡ／Ｄ変換部６３を備えており、動画（動画像）または静止画（静止画像）等を撮影する。この撮像部６は、設定された撮影条件（例えば絞り値、露出等）に基づいて制御部９により制御され、レンズ部６１を介して入力された光束を、撮像素子６２の撮像面上に結像させる。撮像素子６２は、撮像面に結像された光束を光電変換したアナログ信号を、Ａ／Ｄ変換部６３に出力する。Ａ／Ｄ変換部６３は、撮像素子６２から入力されたアナログ信号をデジタル信号に変換し、この変換したデジタル信号を出力する。なお、上述したレンズ部６１は、撮像装置３０と一体化されている構成としてもよいし、撮像装置３０に着脱可能に取り付けられている構成としてもよい。
【０１０９】
例えば、撮像部６は、操作入力部７に対する動画撮影操作に応じて動画を撮影し、撮影した動画の画像信号を出力する。また、撮像部６は、操作入力部７に対する静止画撮影操作に応じて静止画を撮影し、撮影した静止画の画像信号を出力する。そして、撮像部６によって撮像された動画の画像信号及び静止画の画像信号は、画像処理部８による画像処理が行われた後、画像データとして記憶媒体５０に記録される。また、撮像部６は、静止画撮影又は動画撮影を行うための撮影待機状態中、所定の間隔で連続的に撮影して得られる表示用の画像（例えば画角確認用として表示部４に表示させる画像）であるスルー画像（ライブビュー画像）の画像信号を出力する。
【０１１０】
操作入力部７は、例えば、シャッターボタン、電源スイッチ、動作モードを選択するモードダイヤル、記録されている動画や静止画を再生する再生ボタン、拡大又は縮小ボタン、上下左右選択ボタンなどを備えている。なお、動作モードには、動画を撮影する動画撮影モード、静止画を撮影する静止画撮影モード、等が含まれる。また、操作入力部７は、ユーザによって操作された操作入力を検出し、検出した操作内容を示す操作信号を制御部９に供給する。
【０１１１】
画像処理部８は、撮像部６により撮影された画像（動画または静止画）に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調補正等の画像処理を実行する。また、画像処理部８は、撮影した画像（動画または静止画）を記録する（記憶媒体５０に記憶させる）際に画像圧縮処理を実行する。
【０１１２】
制御部９は、撮像装置３０が備えている各部を制御する。例えば、制御部９は、操作入力部７から受け取る操作信号、又は記憶部２に記憶されている制御条件等に基づいて、撮像装置３０が備えている各部を制御する。
【０１１３】
なお、信号処理部１０の記憶部２は、図２に示すテンプレート画像記憶部２１と、位置配列データ記憶部２２と、時刻ポイント配列データ記憶部２３と、が記憶する情報に加えて、撮像装置３０を制御するための、予め定められた撮影制御条件、画像処理条件、再生制御条件、及び記録制御条件、等を記憶し、撮像部６、画像処理部８、制御部９等から参照される構成としてもよい。また、記憶部２は、制御部９が撮像装置３０を制御する際の作業領域として利用される構成としてもよい。例えば、撮像部６によって撮影された画像、又は記憶媒体５０から読み出された画像が、画像処理部８において実行する画像処理の過程において、記憶部２に一時的に記憶されてもよい。
【０１１４】
バス１２は、表示部４、記憶媒体部５、撮像部６、操作入力部７、画像処理部８、制御部９、及び、信号処理部１０と接続され、各部から出力された画像信号、制御信号、等を転送する。なお、不図示であるが、撮像装置３０は、動画撮影の際に音声（音）を収音するマイクを備えた構成としてもよく、収音した音を含む動画を記憶媒体５０に記憶させてもよい。
【０１１５】
このように構成された撮像装置３０において、信号処理部１０は、第１から第３実施形態を用いて説明した２つの動画のタイミングをあわせて再生する処理を実行することができる。なお、信号処理部１０は、第４実施形態を用いて説明した２つの動画の再生タイミングをあわせた動画データを生成する処理を実行してもよい。
【０１１６】
また、撮像部６により撮影された動画が記憶媒体５０に記憶される前に、信号処理部１０は、タイミング処理部１１０の画像特徴点抽出部１１１、選択部１１２、テンプレート登録部１１３、変位検出部１１４、または、変化特徴点抽出部１１５による処理を、撮影された動画に対して実行してもよい。これにより、撮像装置３０は、撮像部６により撮影された動画からリアルタイムに位置配列データまたは時刻ポイント配列データを生成することができる。
【０１１７】
なお、撮像装置３０は、生成した位置配列データまたは時刻ポイント配列データを動画に関連付けて記憶部２または記憶媒体５０に記憶させてもよい。
【０１１８】
また、撮像装置３０は、撮像部６により撮影された動画を記憶媒体５０に記憶させる前に、タイミング処理部１１０の照合部１１６の処理を、撮影された動画に対して実行してもよい。例えば、照合部１１６は、撮影された動画（例えば「Ｂ動画」）からリアルタイムに抽出した「時刻ポイント」を、記憶媒体５０に記憶されている動画（例えば「Ａ動画」）の時刻ポイントと照合して対応付けを行ってもよい。
【０１１９】
また、再生処理部１２０は、照合部１１６がリアルタイムに照合した結果に基づいて、撮影された動画（例えば「Ｂ動画」）に対して、記憶媒体５０に記憶されている動画（例えば「Ａ動画」）のタイミング（被写体の動きのタイミング）に合わせたフレームレート変換をリアルタイムに行って再生してもよい。また、データ生成部１３０は、照合部１１６がリアルタイムに照合した結果に基づいて、撮影された動画（例えば「Ｂ動画」）に対して、記憶媒体５０に記憶されている動画（例えば「Ａ動画」）の再生タイミングに合うように変換した動画データをリアルタイムに生成してもよい。
【０１２０】
これにより、撮像装置３０は、撮影された動画と、記憶媒体５０に記憶されている動画とのそれぞれにおける所定の被写体の動き（変位の特徴点）のタイミングが合うように、記憶媒体５０に記憶されている動画と撮影された動画とをリアルタイムに再生して表示することができる。また、撮像装置３０は、撮影された動画と、記憶媒体５０に記憶されている動画とのそれぞれにおける所定の被写体の動き（変位の特徴点）の再生タイミングが合うように変換した動画データをリアルタイムに生成することができる。
【０１２１】
以上説明してきたように、上記実施形態の信号処理部１０、表示装置２０、または、撮像装置３０は、互いに異なる動画に記録された被写体のフォーム（例えば、練習者のフォームと手本となるフォームと）を容易に比較することができる。すなわち、信号処理部１０、表示装置２０、または、撮像装置３０は、被写体のフォームを容易に比較することができる。
【０１２２】
なお、上記実施形態では、「Ｂ動画」における「時刻ポイント」が「Ａ動画」における「時刻ポイント」と同じタイミングとなるように再生する処理の例を説明したが、「Ａ動画」における「時刻ポイント」が「Ｂ動画」における「時刻ポイント」と同じタイミングとなるように再生する処理としてもよい。
【０１２３】
なお、上記実施形態では、「Ｂ動画」の再生タイミングを「Ａ動画」の再生タイミングに合わせる処理を説明したが、２つの動画を対象として再生タイミングを合わせる処理に限られるものではなく、３つ以上の動画を対象として再生タイミングを合わせる処理としてもよい。例えば、信号処理部１０、表示装置２０、または、撮像装置３０は、２つの動画（例えば、「Ｂ動画」と「Ｃ動画」）の再生タイミングそれぞれを、他の１つの動画（例えば「Ａ動画」）と再生タイミングに合わせる処理をしてもよい。
【０１２４】
なお、上記実施形態では、テンプレート登録部１１３がテンプレート画像をテンプレート画像記憶部２１に登録する例を説明したが、これに限られるものではなく、例えば、テンプレート画像は、テンプレート画像記憶部２１に予め記憶されていてもよい。また、通信部（不図示）を介して外部のサーバから取得したテンプレート画像が、テンプレート画像記憶部２１に記憶されてもよい。また、テンプレート画像は、例えば顔検出用として用いられる顔画像データベースに含まれている画像または画像に基づく情報であってもよい。
【０１２５】
なお、上記第４実施形態において、信号処理部１０が表示装置２０または撮像装置３０に備えられている構成について説明したが、信号処理部１０は、例えば、携帯電話、パーソナルコンピュータ、タブレット型端末、または、電子玩具などの他の装置に備えられていてもよい。
【０１２６】
なお、図１におけるタイミング処理部１１０或いは再生処理部１２０、図１２におけるタイミング処理部１１０或いはデータ生成部１３０、または、図２、図１０、図１１におけるタイミング処理部１１０（１１０Ａ、１１０Ｂ）が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリ及びマイクロプロセッサにより実現させるものであってもよい。
【０１２７】
なお、図１におけるタイミング処理部１１０或いは再生処理部１２０、図１２におけるタイミング処理部１１０或いはデータ生成部１３０、または、図２、図１０、図１１におけるタイミング処理部１１０（１１０Ａ、１１０Ｂ）が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、上述の各部はメモリ及びＣＰＵ（中央演算装置）により構成され、上述の各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０１２８】
また、図１におけるタイミング処理部１１０或いは再生処理部１２０、図１２におけるタイミング処理部１１０或いはデータ生成部１３０、または、図２、図１０、図１１におけるタイミング処理部１１０（１１０Ａ、１１０Ｂ）が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述の各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。
【０１２９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１３０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【符号の説明】
【０１３１】
２  記憶部、４  表示部、１０  信号処理部（信号処理装置）、２０  表示装置、３０  撮像装置、１１１  画像特徴点抽出部（第２抽出部）、１１２  選択部、１１３  テンプレート登録部（登録部）、１１４  変位検出部（第１検出部）、１１５  変化特徴点抽出部（第１抽出部、第３抽出部）、１１６  照合部、１１７  音変化検出部（第２検出部）、１２０  再生処理部、１３０  データ生成部（生成部）
【図１】
2014164644.tif 000003
【図２】
2014164644.tif 000004
【図３】
2014164644.tif 000005
【図４】
2014164644.tif 000006
【図５】
2014164644.tif 000007
【図６】
2014164644.tif 000008
【図７】
2014164644.tif 000009
【図８】
2014164644.tif 000010
【図９】
2014164644.tif 000011
【図１０】
2014164644.tif 000012
【図１１】
2014164644.tif 000013
【図１２】
2014164644.tif 000014
【図１３】
2014164644.tif 000015