(57)【要約】【課題】動きベクトルの誤検出を極力防ぐこと。【解決手段】記録再生装置１００の映像特徴検出部４は、入力されたサムネイル画像を２／４／８／１６フィールド間毎に順次記憶し、各フィールド間隔を有する基準フィールドと参照フィールド間で、それぞれブロックマッチング処理によりブロック毎の動きベクトルを検出し、検出された動きベクトルの有効性を判別関数に基づいて判別し、各動きベクトルを２フィールド間の動きベクトルに合わせて正規化し、正規化された有効な動きベクトルをブロック毎に合成して合成動きベクトルを生成する。合成動きベクトルは、カメラ特徴検出処理に用いられる。【選択図】図７
2010033532.tif 000002
【特許請求の範囲】
【請求項１】
映像データを構成する複数の画像データのうち、第１の画像データと、前記第１の画像データとの間に第１の時間長を有する第２の画像データと、前記第１の画像データとの間に前記第１の時間長より長い第２の時間長を有する第３の画像データとが、所定のブロック毎に入力される入力手段と、
前記第１の画像データ中の所定の基準ブロックと前記第２の画像データ中の第１の参照ブロックとの間の第１の動きベクトルと、前記基準ブロックと前記第３の画像データ中の第２の参照ブロックとの間の第２の動きベクトルとをそれぞれ検出する検出手段と、
前記検出される第１及び第２の動きベクトルがそれぞれ妥当か否かを判別するための判別データを記憶する記憶手段と、
前記記憶された判別データを用いて、前記検出された第１及び第２の動きベクトルが妥当か否かを前記ブロック毎にそれぞれ判別する判別手段と、
前記検出された第１及び第２の動きベクトルを時間長について前記ブロック毎にそれぞれ正規化する正規化手段と、
前記妥当と判別され前記正規化された前記ブロック毎の第１または第２の動きベクトルを合成して合成動きベクトルを生成する生成手段と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記正規化手段は、前記第１の動きベクトルを前記第２の時間長に合わせて正規化する
電子機器。
【請求項３】
請求項２に記載の電子機器であって、
前記生成手段は、対応する前記ブロックの前記第１の動きベクトルと第２の動きベクトルとがいずれも妥当であると判別された場合に、前記第１の動きベクトルを用いて前記合成動きベクトルを生成する
電子機器。
【請求項４】
請求項３に記載の電子機器であって、
前記記憶手段は、複数の学習用映像データと、当該複数の学習用映像データから検出されるべき、前記第１及び第２の時間長にそれぞれ対応した複数の学習用動きベクトルデータとを記憶し、
当該電子機器は、
前記記憶された複数の学習用映像データから、前記第１及び第２の時間長で前記基準ブロックと前記参照ブロックとの間の動きベクトルをそれぞれ検出し、当該検出された動きベクトルと、前記記憶された学習用動きベクトルデータとを用いて、前記検出された動きベクトルが妥当か否かを学習して、前記判別データを生成する学習手段
をさらに具備する電子機器。
【請求項５】
請求項４に記載の電子機器であって、
前記学習手段は、前記学習用映像データから検出された動きベクトルと、前記基準ブロックと前記参照ブロックとの残差信号と、前記基準ブロックの画素データの平均値及び分散値と、前記参照ブロックの画素データの平均値及び分散値とを用いて判別分析を行うことにより、前記判別データとしての判別関数を生成する
電子機器。
【請求項６】
請求項３に記載の電子機器であって、
前記検出手段は、前記検出された第１の動きベクトルが妥当であると判断された場合に、当該第１の動きベクトルが検出された際の前記第１の参照ブロックを基準ブロックとして前記第２の参照ブロックとの間で第３の動きベクトルを検出し、当該検出された第３の動きベクトルと前記第１の動きベクトルとを加算して前記第２の動きベクトルを検出する
電子機器。
【請求項７】
請求項３に記載の電子機器であって、
前記生成された合成動きベクトルを基に、カメラ動作により生じる前記映像データ中のカメラ特徴を判定する判定手段
をさらに具備する電子機器。
【請求項８】
請求項７に記載の電子機器であって、
前記判定手段は、前記合成動きベクトルが、前記ブロック毎の第１の動きベクトルが合成されたものである場合に、前記カメラ特徴の判定を第１の判定時間継続し、前記合成動きベクトルが、前記ブロック毎の第２の動きベクトルが合成されたものである場合に、前記カメラ特徴の判定を前記第１の判定時間よりも長い第２の判定時間継続する
電子機器。
【請求項９】
請求項８に記載の電子機器であって、
前記判定手段は、前記合成動きベクトルが、前記ブロック毎の第１及び第２の動きベクトルが合成されたものである場合に、当該第１及び第２の動きベクトルのうちいずれが多く合成されているかに応じて、前記カメラ特徴の判定を前記第１または第２の判定時間継続する
電子機器。
【請求項１０】
請求項４に記載の電子機器であって、
所定の学習用画像データ内で、矩形領域を前記第１及び第２の時間長だけ移動させ、当該矩形領域内の画像データをそれぞれ前記第１及び第２の時間長分抽出することで、前記第１及び第２の動きベクトルとして検出される各移動が妥当か否かを学習するのに必要な前記学習用映像データをそれぞれ生成する学習用映像データ生成手段
をさらに具備する電子機器。
【請求項１１】
請求項４に記載の電子機器であって、
所定の学習用画像データ内で、第１の面積を有する第１の矩形領域内の画像を、前記第１の面積とは異なる第２の面積を有する第２の矩形領域内の画像に、前記第１及び第２の時間長でそれぞれ変化させ抽出することで、前記第１及び第２の動きベクトルとして検出される各拡大または各縮小が妥当か否かを学習するのに必要な前記学習用映像データをそれぞれ生成する学習用映像データ生成手段
をさらに具備する電子機器。
【請求項１２】
請求項１０または１１に記載の電子機器であって、
前記学習用映像データ生成手段は、所定のサンプル映像データ中の、連続する第１のサンプル画像データと第２のサンプル画像データとの間の、前記ブロック毎の残差信号の和を算出し、当該和が所定の閾値以上である場合に、前記第２のサンプル画像データを前記学習用画像データとして抽出する
電子機器。
【請求項１３】
請求項１２に記載の電子機器であって、
前記学習用映像データ生成手段は、前記第１及び第２の動きベクトルが検出される前記映像データを前記サンプル映像データとして前記学習用画像データを抽出する
電子機器。
【請求項１４】
映像データを構成する複数の画像データのうち、第１の画像データと、前記第１の画像データとの間に第１の時間長を有する第２の画像データと、前記第１の画像データとの間に前記第１の時間長より長い第２の時間長を有する第３の画像データとを、所定のブロック毎に入力し、
前記第１の画像データ中の所定の基準ブロックと前記第２の画像データ中の第１の参照ブロックとの間の第１の動きベクトルと、前記基準ブロックと前記第３の画像データ中の第２の参照ブロックとの間の第２の動きベクトルとをそれぞれ検出し、
前記検出される第１及び第２の動きベクトルがそれぞれ妥当か否かを判別するための判別データを記憶し、
前記記憶された判別データを用いて、前記検出された第１及び第２の動きベクトルが妥当か否かを前記ブロック毎にそれぞれ判別し、
前記検出された第１及び第２の動きベクトルを時間長について前記ブロック毎にそれぞれ正規化し、
前記妥当と判別され前記正規化された前記ブロック毎の第１または第２の動きベクトルを合成して合成動きベクトルを生成する
動きベクトル検出方法。
【請求項１５】
請求項１４に記載の動きベクトル検出方法であって、さらに、
前記合成動きベクトルが、前記ブロック毎の第１の動きベクトルが合成されたものである場合に、カメラ動作により生じる前記映像データ中のカメラ特徴を、前記合成動きベクトルを基に第１の判定時間継続して判定し、
前記合成動きベクトルが、前記ブロック毎の第２の動きベクトルが合成されたものである場合に、前記カメラ特徴を、前記合成動きベクトルを基に前記第１の判定時間よりも長い第２の判定時間継続して判定する
動きベクトル検出方法。
【請求項１６】
電子機器に、
映像データを構成する複数の画像データのうち、第１の画像データと、前記第１の画像データとの間に第１の時間長を有する第２の画像データと、前記第１の画像データとの間に前記第１の時間長より長い第２の時間長を有する第３の画像データとを、所定のブロック毎に入力するステップと、
前記第１の画像データ中の所定の基準ブロックと前記第２の画像データ中の第１の参照ブロックとの間の第１の動きベクトルと、前記基準ブロックと前記第３の画像データ中の第２の参照ブロックとの間の第２の動きベクトルとをそれぞれ検出するステップと、
前記検出される第１及び第２の動きベクトルがそれぞれ妥当か否かを判別するための判別データを記憶するステップと、
前記記憶された判別データを用いて、前記検出された第１及び第２の動きベクトルが妥当か否かを前記ブロック毎にそれぞれ判別するステップと、
前記検出された第１及び第２の動きベクトルを時間長について前記ブロック毎にそれぞれ正規化するステップと、
前記妥当と判別され前記正規化された前記ブロック毎の第１または第２の動きベクトルを合成して合成動きベクトルを生成するステップと
を実行させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムであって、前記電子機器にさらに、
前記合成動きベクトルが、前記ブロック毎の第１の動きベクトルが合成されたものである場合に、カメラ動作により生じる前記映像データ中のカメラ特徴を、前記合成動きベクトルを基に第１の判定時間継続して判定するステップと、
前記合成動きベクトルが、前記ブロック毎の第２の動きベクトルが合成されたものである場合に、前記カメラ特徴を、前記合成動きベクトルを基に前記第１の判定時間よりも長い第２の判定時間継続して判定するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツ中から動きベクトルを検出することが可能な電子機器、当該電子機器における動きベクトル検出方法及びそのプログラムに関する。
【背景技術】
【０００２】
近年、ＨＤＤ（Hard Disk Drive）／ＢＤ（Blu-ray Disc）レコーダ等の等の電子機器における映像コンテンツの蓄積量は、記録媒体の大容量化やコンテンツの多様化等により、ますます増大している。このような大量の映像コンテンツをユーザに効率よく視聴させる手法として、映像コンテンツからダイジェスト（ハイライト）シーンを抽出して再生したり、映像コンテンツにチャプタを付与してチャプタ毎に再生させたりすることが行われている。これらダイジェストシーンの抽出やチャプタの生成は、例えばパン、チルト、ズーム等の、映像コンテンツを撮影したカメラの動き特徴（以下、カメラ特徴と称する）を検出し、その特徴を基に映像コンテンツから特徴区間を抽出すること等で行われる。
【０００３】
このカメラ特徴は、例えば、映像コンテンツ中の動きベクトルを検出することで検出することができる。例えば、特許文献１には、現フレームから切り出した基準ブロックと、現フレームから１フレーム後の参照フレームから切り出した探索ブロックとの間で差分絶対値和を演算してブロックマッチング処理を行うことで動きベクトルを検出する技術が開示されている。
【０００４】
【特許文献１】特開２００３‐２９９０４０号公報（図３等）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、フレーム（フィールド）間で動きベクトルを検出する際、例えば映像コンテンツ内で速い動きがあった場合、その動き量が探索範囲を超えてしまい、検出処理が追随できずに、正しく動きベクトルを検出できない場合があった。そして、この誤った動きベクトルがカメラ特徴の検出処理に用いられることで、カメラ特徴の誤検出が発生していた。
【０００６】
以上のような事情に鑑み、本発明の目的は、動きベクトルの誤検出を極力防ぐことが可能な電子機器、動きベクトル検出方法及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明の一形態に係る電子機器は、入力手段と、検出手段と、記憶手段と、判別手段と、正規化手段と、生成手段とを有する。  
上記入力手段には、映像データを構成する複数の画像データのうち、第１の画像データと、上記第１の画像データとの間に第１の時間長を有する第２の画像データと、上記第１の画像データとの間に上記第１の時間長より長い第２の時間長を有する第３の画像データとが、所定のブロック毎に入力される。  
上記検出手段は、上記第１の画像データ中の所定の基準ブロックと上記第２の画像データ中の第１の参照ブロックとの間の第１の動きベクトルと、上記基準ブロックと上記第３の画像データ中の第２の参照ブロックとの間の第２の動きベクトルとをそれぞれ検出する。  
上記記憶手段は、上記検出される第１及び第２の動きベクトルがそれぞれ妥当か否かを判別するための判別データを記憶する。  
上記判別手段は、上記記憶された判別データを用いて、上記検出された第１及び第２の動きベクトルが妥当か否かを上記ブロック毎にそれぞれ判別する。  
上記正規化手段は、上記検出された第１及び第２の動きベクトルを時間長について上記ブロック毎にそれぞれ正規化する。  
上記生成手段は、上記妥当と判別され上記正規化された上記ブロック毎の第１または第２の動きベクトルを合成して合成動きベクトルを生成する。  
ここで電子機器とは、例えばＨＤＤ／ＤＶＤ／ＢＤレコーダ等の記録再生装置、テレビジョン装置、ＰＣ（Personal Computer）、ゲーム機器、携帯電話機、携帯型オーディオ／ビジュアル機器等の電化製品である。第１の時間長は例えば２フィールド時間（または２フレーム時間、以下同様）、４フィールド時間、８フィールド時間等であり、第２の時間長とは例えば４フィールド時間、８フィールド時間、１６フィールド時間等であるが、これらに限られるものではない。また上記構成は、２つの異なる時間長で２種類の動きベクトルを検出して合成する場合を限定的に示すものではなく、３つ以上の異なる時間長で３種類以上の動きベクトルを検出して合成する場合をも含む概念である。上記入力手段は、上記第１乃至第３の画像データが入力される１つのハードウェアであってもよいし、上記第１乃至第３の画像データ毎がそれぞれ入力される、異なる複数のハードウェアであってもよい。所定のブロックとは、上記各画像データを例えば８×８等のマトリクス状に分割した領域である。  
この構成により、第１の画像データと第２及び第３の画像データとの間で検出された第１及び第２の動きベクトルの妥当性が判別され、かつ各動きベクトルが正規化された上で合成されることで、合成動きベクトルが生成される。したがって、電子機器は、時間長の異なるフィールド（フレーム）間で検出された妥当な動きベクトルのみを用いて合成動きベクトルを生成できるため、映像データ中の動きベクトルの検出精度を向上させることができる。すなわち、映像データ中の速い動きや遅い動きを、異なる時間長のフィールド（フレーム）間で適切に検出し、かつその妥当性を判別するため、誤検出を極力なくすことができる。この合成動きベクトルは、例えばパン、チルト、ズームといった映像データ中のカメラ特徴の判定や、映像データのオブジェクト符号化等に用いることができる。
【０００８】
上記正規化手段は、上記第１の動きベクトルを上記第２の時間長に合わせて正規化してもよい。  
この場合、第２の動きベクトルはそのままに、第１の動きベクトルが、第１の時間長と第２の時間長との比に応じて正規化される。これにより、検出された第１の動きベクトルのダイナミックレンジを広げて、分解能を向上させることができる。また、第２の動きベクトルを第１の時間長に合わせて正規化する場合に比べて、第２の動きベクトルの分解能を落とすことなく正規化することができる。したがって、各動きベクトルを基に生成される合成動きベクトルの精度を高めることができる。
【０００９】
上記生成手段は、対応する上記ブロックの上記第１の動きベクトルと第２の動きベクトルとがいずれも妥当であると判別された場合に、上記第１の動きベクトルを用いて上記合成動きベクトルを生成してもよい。  
ここで、第２の動きベクトルではなく第１の動きベクトルを用いるのは、動きベクトルの検出時間長が長い程、映像データ中に速い動きがあった場合に、動き量が大きいためにその速い動きに追随できずに探索範囲から外れてしまう可能性が高まるからである。すなわち、電子機器は、速い動きの検出においては第２の動きベクトルよりも第１の動きベクトルの方が信憑性が高いことを考慮して、第１及び第２の動きベクトルがいずれも妥当と判定された場合には、第１の動きベクトルを採用する。これにより、特に速い動きの検出精度を高めることができる。
【００１０】
上記記憶手段は、複数の学習用映像データと、当該複数の学習用映像データから検出されるべき、上記第１及び第２の時間長にそれぞれ対応した複数の学習用動きベクトルデータとを記憶してもよい。  
この場合、上記電子機器は、上記記憶された複数の学習用映像データから、上記第１及び第２の時間長で上記基準ブロックと上記参照ブロックとの間の動きベクトルをそれぞれ検出し、当該検出された動きベクトルと、上記記憶された学習用動きベクトルデータとを用いて、上記検出された動きベクトルが妥当か否かを学習して、上記判別データを生成する学習手段をさらに具備してもよい。  
これにより、学習用映像データを用いて、検出される動きベクトルが妥当か否かを学習することで、上記判別データを生成することができる。
【００１１】
上記学習手段は、上記学習用映像データから検出された動きベクトルと、上記基準ブロックと上記参照ブロックとの残差信号と、上記基準ブロックの画素データの平均値及び分散値と、上記参照ブロックの画素データの平均値及び分散値とを用いて判別分析を行うことにより、上記判別データとしての判別関数を生成してもよい。  
この構成においては、学習用映像データから検出された動きベクトルと、上記基準ブロックと参照ブロックとの間の残差信号とに加えて、基準ブロック及び参照ブロックの各平均値及び各分散値を基に判別関数を生成する。したがって、上記第１及び第２の動きベクトルの妥当性を、学習用映像データを基に生成された判別関数により、学習的に判別することができるため、当該妥当性をより正確に行うことができる。
【００１２】
この場合、第１の時間長で検出された第１の動きベクトルに関する判別関数と、第２の時間長で検出された第２の動きベクトルに関する判別関数とを別個に生成しても構わない。例えば、第１の動きベクトルと第２の動きベクトルとでは、各動き量が同一でも、その動き速度が異なる場合がある。この場合、上記残差信号、各平均値及び各分散値に違いが生じることになるが、第１及び第２の動きベクトルについて共通の判別関数を用いると、この動き速度の違いを判別結果に反映できない場合がある。しかし、上述のように別個に判別関数を生成することで、動きベクトルの妥当性を、映像の動き速度の違いも反映してより高精度に判別することができる。
【００１３】
上記検出手段は、上記検出された第１の動きベクトルが妥当であると判断された場合に、当該第１の動きベクトルが検出された際の上記第１の参照ブロックを基準ブロックとして上記第２の参照ブロックとの間で第３の動きベクトルを検出し、当該検出された第３の動きベクトルと上記第１の動きベクトルとを加算して上記第２の動きベクトルを検出してもよい。  
これにより、上記第１の画像データ中の基準ブロックと第２の参照ブロックとの間で第３の動きベクトルを検出するよりも、距離が短い分、第２の参照ブロックを素早く検出することができ、検出効率を向上させることができる。
【００１４】
上記電子機器は、上記生成された合成動きベクトルを基に、カメラ動作により生じる上記映像データ中のカメラ特徴を判定する判定手段をさらに具備してもよい。  
これにより、より精度の高い合成動きベクトルを基にすることで、映像データ中のカメラ特徴をより高精度に判定することができる。ここでカメラ特徴とは、例えばパン、チルト、ズーム等の特徴である。
【００１５】
上記判定手段は、上記合成動きベクトルが、上記ブロック毎の第１の動きベクトルが合成されたものである場合に、上記カメラ特徴の判定を第１の判定時間継続し、上記合成動きベクトルが、上記ブロック毎の第２の動きベクトルが合成されたものである場合に、上記カメラ特徴の判定を上記第１の判定時間よりも長い第２の判定時間継続してもよい。  
この構成により、合成動きベクトルの元になった動きベクトルが検出された時間長に応じて、判定時間を可変してカメラ特徴を検出することで、カメラ特徴の検出精度を向上させることができる。すなわち、第１の動きベクトルは、第２の動きベクトルよりもその検出時間長が短いため、比較的動きの速い映像から検出された動きベクトルであると考えられ、第２の動きベクトルは、比較的動きの遅い映像から検出された動きベクトルであると考えられる。したがって、動きの速い映像からは短時間でカメラ特徴を検出できるため上記第１の判定時間だけ判定を継続し、動きの遅い映像からは短時間ではカメラ特徴を検出できないため上記第２の判定時間判定を継続する。これにより、カメラ特徴の誤検出を低減することができる。
【００１６】
さらに、上記判定手段は、上記合成動きベクトルが、上記ブロック毎の第１及び第２の動きベクトルが合成されたものである場合に、当該第１及び第２の動きベクトルのうちいずれが多く合成されているかに応じて、上記カメラ特徴の判定を上記第１または第２の判定時間継続してもよい。  
これにより、合成動きベクトルに、上記ブロック毎の第１及び第２の動きベクトルが混在する場合でも、いずれの動きベクトルが多いかに応じて判定時間を適応的に設定することができる。
【００１７】
上記電子機器は、第１の学習用映像データ生成手段をさらに有してもよい。  
上記第１の学習用映像データ生成手段は、所定の学習用画像データ内で、矩形領域を上記第１及び第２の時間長だけ移動させ、当該矩形領域内の画像データをそれぞれ上記第１及び第２の時間長分抽出することで、上記第１及び第２の動きベクトルとして検出される各移動が妥当か否かを学習するのに必要な上記学習用映像データをそれぞれ生成する。  
これにより、電子機器は、学習用画像データ内で矩形領域を移動させることで、上下左右方向への移動としての動きベクトルの妥当性を学習するための学習用映像データを、擬似的に作成することができる。したがって、動きベクトルとしての移動を学習するための学習用映像データを手動で作成する場合に比べて、特性のばらつきが小さい学習用映像データを効率的に収集できる。すなわち、電子機器は、当該収集の労力を軽減できるとともに、学習処理の精度も向上させることができる。
【００１８】
上記電子機器は、第２の学習用映像データ生成手段をさらに有してもよい。  
上記第２の学習用映像データ生成手段は、所定の学習用画像データ内で、第１の面積を有する第１の矩形領域内の画像を、上記第１の面積とは異なる第２の面積を有する第２の矩形領域内の画像に、上記第１及び第２の時間長でそれぞれ変化させ抽出することで、上記第１及び第２の動きベクトルとして検出される各拡大または各縮小が妥当か否かを学習するのに必要な上記学習用映像データをそれぞれ生成する。  
これにより、電子機器は、第１の矩形領域内の画像を第２の矩形領域内の画像へ徐々に変化させることで、拡大または縮小としての動きベクトルの妥当性を学習するための学習用映像データを擬似的に作成することができる。したがって、動きベクトルとしての拡大または縮小を学習するための学習用映像データを手動で作成する場合に比べて、特性のばらつきが小さい学習用映像データを効率的に収集できる。すなわち、電子機器は、当該収集の労力を軽減できるとともに、学習処理の精度も向上させることができる。
【００１９】
上記第１または第２の学習用映像データ生成手段は、所定のサンプル映像データ中の、連続する第１のサンプル画像データと第２のサンプル画像データとの間の、上記ブロック毎の残差信号の和を算出し、当該和が所定の閾値以上である場合に、上記第２のサンプル画像データを上記学習用画像データとして抽出してもよい。  
上記残差信号の和が所定の閾値以上である場合の上記第２のサンプル画像データは、上記サンプル映像データにおけるいわゆるカット点である。これにより、電子機器は、１つのサンプル映像データから、シーンの異なる様々な画像データを上記学習用画像データとして抽出することができ、適切な学習用画像データの収集の労力をさらに軽減することができる。
【００２０】
この場合、上記第１または第２の学習用映像データ生成手段は、上記第１及び第２の動きベクトルが検出される上記映像データを上記サンプル映像データとして上記学習用画像データを抽出してもよい。  
これにより、電子機器は、実際に上記第１及び第２の動きベクトルが検出される映像データをサンプル映像データとして用いることで、当該第１及び第２の動きベクトルにより近い動きベクトルが検出される学習用映像データを生成することができる。したがって電子機器は、第１及び第２の動きベクトルの妥当性をより確実に判別することができる。例えば電子機器が、上記映像データから検出される動きベクトルを基にダイジェスト映像を作成する場合、電子機器は、当該ダイジェスト映像作成をユーザから指示されたときに、まずその映像データから学習用画像データを抽出し学習処理を実行すればよい。
【００２１】
本発明の別の形態に係る動きベクトル検出方法は、映像データを構成する複数の画像データのうち、第１の画像データと、上記第１の画像データとの間に第１の時間長を有する第２の画像データと、上記第１の画像データとの間に上記第１の時間長より長い第２の時間長を有する第３の画像データとを、所定のブロック毎に入力することを含む。  
上記入力された第１の画像データ中の所定の基準ブロックと上記入力された第２の画像データ中の第１の参照ブロックとの間からは、第１の動きベクトルが検出される。  
上記基準ブロックと上記入力された第３の画像データ中の第２の参照ブロックとの間からは、第２の動きベクトルが検出される。  
上記検出される第１及び第２の動きベクトルがそれぞれ妥当か否かを判別するための判別データが記憶される。  
上記記憶された判別データを用いて、上記検出された第１及び第２の動きベクトルが妥当か否かが上記ブロック毎にそれぞれ判別される。  
上記検出された第１及び第２の動きベクトルは、時間長について上記ブロック毎にそれぞれ正規化される。  
上記妥当と判別され上記正規化された上記ブロック毎の第１または第２の動きベクトルは合成され、合成動きベクトルが生成される。  
この構成により、時間長の異なるフィールド間で検出された妥当な動きベクトルのみを用いて合成動きベクトルを生成できるため、映像データ中の動きベクトルの検出精度を向上させることができる。
【００２２】
上記動きベクトル検出方法において、上記合成動きベクトルが、上記ブロック毎の第１の動きベクトルが合成されたものである場合には、カメラ動作により生じる上記映像データ中のカメラ特徴が、上記合成動きベクトルを基に第１の判定時間継続して判定される。  
また、上記合成動きベクトルが、上記ブロック毎の第２の動きベクトルが合成されたものである場合には、上記カメラ特徴が、上記合成動きベクトルを基に上記第１の判定時間よりも長い第２の判定時間継続して判定される。  
この構成により、合成動きベクトルの元になった動きベクトルが検出された時間長に応じて、判定時間を可変してカメラ特徴を検出することで、カメラ特徴の検出精度を向上させることができる。
【００２３】
本発明のまた別の形態に係るプログラムは、電子機器に、入力ステップと、検出ステップと、記憶ステップと、判別ステップと、正規化ステップと、生成ステップとを実行させるためのものである。  
上記入力ステップは、映像データを構成する複数の画像データのうち、第１の画像データと、上記第１の画像データとの間に第１の時間長を有する第２の画像データと、上記第１の画像データとの間に上記第１の時間長より長い第２の時間長を有する第３の画像データとを、所定のブロック毎に入力する。  
上記検出ステップは、上記第１の画像データ中の所定の基準ブロックと上記第２の画像データ中の第１の参照ブロックとの間の第１の動きベクトルと、上記基準ブロックと上記第３の画像データ中の第２の参照ブロックとの間の第２の動きベクトルとをそれぞれ検出する。  
上記記憶ステップは、上記検出される第１及び第２の動きベクトルがそれぞれ妥当か否かを判別するための判別データを記憶する。  
上記判別ステップは、上記記憶された判別データを用いて、上記検出された第１及び第２の動きベクトルが妥当か否かを上記ブロック毎にそれぞれ判別する。  
上記正規化ステップは、上記検出された第１及び第２の動きベクトルを時間長について上記ブロック毎にそれぞれ正規化する。  
上記生成ステップは、上記妥当と判別され上記正規化された上記ブロック毎の第１または第２の動きベクトルを合成して合成動きベクトルを生成する。
【００２４】
上記プログラムは、上記電子機器にさらに、判定ステップを実行させてもよい。  
上記判定ステップは、上記合成動きベクトルが、上記ブロック毎の第１の動きベクトルが合成されたものである場合に、カメラ動作により生じる上記映像データ中のカメラ特徴を、上記合成動きベクトルを基に第１の判定時間継続して判定する。  
上記判定ステップは、上記合成動きベクトルが、上記ブロック毎の第２の動きベクトルが合成されたものである場合に、上記カメラ特徴を、上記合成動きベクトルを基に上記第１の判定時間よりも長い第２の判定時間継続して判定する。
【発明の効果】
【００２５】
以上のように、本発明によれば、動きベクトルの誤検出を極力防ぐことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態を図面に基づき説明する。
【００２７】
［記録再生装置のハードウェア構成］
図１は、本発明の一実施形態に係る記録再生装置１００の構成を示した図である。  
同図に示すように、記録再生装置１００は、ＣＰＵ（Central Processing Unit）１、ＲＡＭ（Random Access Memory）２、操作入力部３、映像特徴検出部４、デジタルチューナ５、IEEE1394インタフェース６、Ethernet（登録商標）／無線ＬＡＮ（Local Area Network）インタフェース７、ＵＳＢ（Universal Serial Bus）インタフェース８、メモリカードインタフェース９、ＨＤＤ１０、光ディスクドライブ１１、バッファコントローラ１３、セレクタ１４、デマルチプレクサ１５、ＡＶ（Audio/Video）デコーダ１６、ＯＳＤ（On Screen Display）１７、映像Ｄ／Ａ（Digital/Analog）コンバータ１８及び音声Ｄ／Ａコンバータ１９を有している。
【００２８】
ＣＰＵ１は、必要に応じてＲＡＭ２等に適宜アクセスし、記録再生装置１００の各ブロック全体を制御する。ＲＡＭ２は、ＣＰＵ１の作業用領域等として用いられ、ＯＳ（Operating System）やプログラム、処理データ等を一時的に保持するメモリである。
【００２９】
操作入力部３は、ボタン、スイッチ、キー、タッチパネルや、リモートコントローラ（図示せず）から送信される赤外線信号の受光部等で構成され、ユーザの操作による各種設定値や指令を入力してＣＰＵ１へ出力する。
【００３０】
デジタルチューナ５は、ＣＰＵ１の制御に従って、図示しないアンテナを介してデジタル放送の放送番組の放送信号を受信し、特定のチャンネルの放送信号を選局及び復調する。この放送信号は、セレクタ１４を介してデマルチプレクサ１５に出力され再生させたり、バッファコントローラ１３を介して、ＨＤＤ１０に記録されたり、光ディスクドライブ１１に挿入された光ディスク１２へ記録されたりする。
【００３１】
IEEE1394インタフェース６は、例えばデジタルビデオカメラ等の外部機器に接続可能である。例えばデジタルビデオカメラによって撮影され記録された映像コンテンツは、上記デジタルチューナ５によって受信された放送番組の映像コンテンツと同様に、再生されたり、ＨＤＤ１０や光ディスク１２へ記録されたりする。
【００３２】
Ethernet（登録商標）／無線ＬＡＮインタフェース７は、例えばＰＣや他の記録再生装置に記録された映像コンテンツを、Ethernet（登録商標）または無線ＬＡＮ経由で入力する。この映像コンテンツも、再生や、ＨＤＤ１０または光ディスク１２への記録が可能である。
【００３３】
ＵＳＢインタフェース８は、ＵＳＢを介して例えばデジタルカメラ等の機器やいわゆるＵＳＢメモリ等の外部記憶装置から映像コンテンツを入力する。この映像コンテンツも、再生や、ＨＤＤ１０または光ディスク１２への記録が可能である。
【００３４】
メモリカードインタフェース９は、例えばフラッシュメモリを内蔵したメモリカードと接続して、当該メモリカードに記録された映像コンテンツを入力する。この映像コンテンツも、再生や、ＨＤＤ１０または光ディスク１２への記録が可能である。
【００３５】
ＨＤＤ１０は、放送信号として受信したまたは外部機器から入力した各種映像コンテンツの他、各種プログラムやデータ等を内蔵のハードディスクに記録し、また再生時にはそれらを当該ハードディスクから読み出し、バッファコントローラ１３へ出力する。またＨＤＤ１０は、ＯＳや、後述する映像コンテンツから動きベクトル及びカメラ特徴の検出処理を実行するためのプログラム、動きベクトルの学習処理及び判別分析を実行するためのプログラム及びデータ、その他の各種プログラム及びデータ等も格納する。
【００３６】
なお、記録再生装置１００は、これらＯＳや各種プログラム及びデータを、ＨＤＤ１０ではなく、フラッシュメモリ（図示せず）等の他の記録媒体に格納してもよい。また、これらのプログラムは、例えば光ディスク１２やメモリカード等の記録媒体に記録され、光ディスクドライブ１１により記録再生装置１００にインストールされてもよい。
【００３７】
光ディスクドライブ１１は、上記映像コンテンツ等を光ディスク１２に記録し、また再生時にはそれらを読み出し、バッファコントローラ１３へ出力する。光ディスク１２は、例えばＤＶＤ、ＢＤ、ＣＤ等である。
【００３８】
バッファコントローラ１３は、例えば上記デジタルチューナ５やその他の各種インタフェースから連続的に供給される映像コンテンツの、ＨＤＤ１０または光ディスク１２への書き込みのタイミングやデータ量を制御し、当該映像コンテンツを断続的に書き込む。また、バッファコントローラ１３は、ＨＤＤ１０や光ディスク１２に記録された映像コンテンツの読み出しのタイミングやデータ量を制御し、断続的に読み出された映像コンテンツを、デマルチプレクサ１５へ連続的に供給する。
【００３９】
セレクタ１４は、上記デジタルチューナ５、各種インタフェース、ＨＤＤ１０及び光ディスクドライブ１１のいずれかから入力される映像コンテンツを、ＣＰＵ１からの制御信号に基づき選択する。
【００４０】
デマルチプレクサ１５は、上記バッファコントローラ１３から入力された、多重化された映像コンテンツを、映像信号と音声信号とに分離して、それらをＡＶデコーダ１６へ出力する。
【００４１】
ＡＶデコーダ１６は、例えばＭＰＥＧ（Moving Picture Expert Group）−２やＭＰＥＧ−４等の形式でエンコードされた映像信号及び音声信号をそれぞれデコードして、映像信号をＯＳＤ１７へ、また音声信号をＤ／Ａコンバータ１９へ出力する。
【００４２】
ＯＳＤ１７は、図示しないディスプレイに表示するためのグラフィックス等を生成して、上記映像信号との合成処理や切り替え処理を施し、処理後の映像信号を映像Ｄ／Ａコンバータ１８へ出力する。映像Ｄ／Ａコンバータ１８は、ＯＳＤ１７でグラフィック処理を施された映像信号をＤ／Ａ変換によりＮＴＳＣ（National Television Standards Committee）信号とし、図示しないディスプレイに出力して表示させる。
【００４３】
音声Ｄ／Ａコンバータ１９は、上記ＡＶデコーダ１６から入力された音声信号をＤ／Ａ変換して、図示しないスピーカに出力して再生させる。
【００４４】
映像特徴検出部４は、ＡＶデコーダ１６によるデコード前の映像信号、または、デコード後の映像信号から、映像特徴を検出する。
【００４５】
［映像特徴の説明］
図２及び図３は、上記映像特徴について説明した図である。  
図２（Ａ）では、シーンＳ１〜Ｓ６へ進むに従ってカメラを左方向または右方向へ移動（パン）させて撮影した映像が示されている。図２（Ｂ）では、シーンＳ１〜Ｓ６へ進むに従ってカメラをズーム（ズームイン）させて撮影した映像が示されている。本実施形態では、このようなパン、チルト（図示せず）、ズームといった、カメラワークにより生じる映像特徴をカメラ特徴と称する。
【００４６】
図３（Ａ）では、シーンＳ３とＳ４との間のカット点ｆａにてシーンが切り替わる様子が示されている。図３（Ｂ）では、シーンＳ１〜シーンＳ３へ進むに従って１つのシーンが徐々にフェードアウトし、代わってシーンＳ４〜シーンＳ６へ進むに従って別のシーンが徐々にフェードインしている様子が示されている。本実施形態では、このようなカット、フェード等の映像効果のように、映像の編集作業により生じる映像特徴を映像編集特徴と称する。
【００４７】
映像特徴検出部４は、このようなカメラ特徴及び映像編集特徴を、後述する共通の信号処理系により検出する。記録再生装置１００は、当該映像特徴を用いて、例えばハイライトシーン（ダイジェストシーン）生成、チャプタ生成等の処理を行う。
【００４８】
［映像特徴検出部の構成］
図４は、上記映像特徴検出部４の具体的構成を示したブロック図である。以下に説明する各ブロックは、ハードウェアとして実現されてもよいし、ソフトウェアとして実現されてもよい。  
同図に示すように、映像特徴検出部４は、ブロック処理部２１、２フィールド間メモリ部２２、４フィールド間メモリ部２３、８フィールド間メモリ部２４、１６フィールド間メモリ部２５、これらメモリ部毎のマッチング処理部２６、２８、３０及び３２、フェード／カット処理部２７、２９、３１及び３３、動きベクトル処理部３４、カメラ特徴判定部３６及びフェード／カット判定部３５を有する。
【００４９】
ブロック処理部２１は、映像コンテンツの画像データをフィールド番号順に入力する。ここで入力される画像データは、例えば、元の映像コンテンツから画像サイズを縮小されて生成されたサムネイル映像を構成する画像データである。当該サムネイル画像データのサイズは例えば96x128とされるが、これに限られない。これにより、映像特徴検出処理の負荷を抑えることができる。そしてブロック処理部２１は、当該画像データを基に、動きベクトル検出の対象となる探索領域の設定、及びブロックマッチング処理の基準となるブロック（以下、基準ブロックと称する）の抽出等の処理を行う。
【００５０】
上記ブロック処理部２１に入力されるサムネイル画像データは、例えば、上記ＡＶデコーダ１６によりデコードされたサムネイル映像コンテンツを構成する各フィールドの、ベースバンド帯域の画像データ（具体的には、輝度信号Ｙ、色差信号Ｃｂ及びＣｒ）である。記録再生装置１００で再生される映像コンテンツとしては、ＭＰＥＧ方式、デジタル記録のＤＶ（Digital Video）方式、アナログ記録のＶＨＳ（Video Home System）方式や８ｍｍ方式等、様々な方式のデータが混在している場合が想定できる。そこで、記録再生装置１００は、ベースバンド帯域で処理を行うことで、これらの映像コンテンツからの映像特徴の抽出処理を、極力共通の信号処理系で行うことができる。
【００５１】
２／４／８／１６フィールド間メモリ部２２〜２５は、上記基準ブロックを抽出したフィールド（以下、基準フィールドと称する）からそれぞれ２フィールド、４フィールド、８フィールド、１６フィールドの時間長を置いた各フィールドまでの各画像データとを蓄積する。勿論、フィールド間の時間長はこれらに限られるものではない。２／４／８／１６フィールド間メモリ部２２〜２５は、各フィールド間毎に別個のメモリ素子として設けられてもよいし、単一のメモリ素子における別個の記憶領域として設けられてもよい。
【００５２】
マッチング処理部２６、２８、３０及び３２は、それぞれ、上記ブロック処理部２１から入力する基準フィールドと、各フィールド間メモリ部２２〜２５から入力する各フィールド（以下、参照フィールドと称する）の各探索領域間で、ブロックマッチング処理を行う。当該ブロックマッチング処理の結果は、動きベクトル処理部３４へ出力される。各マッチング処理部２６、２８、３０及び３２は、参照フィールド内で、上記基準フィールドの基準ブロックと同一形状のブロック（以下、参照ブロックと称する）を移動させながら、基準ブロックと参照ブロックとの類似度が最大となる位置を探索する。そして、各マッチング処理部２６、２８、３０及び３２は、上記基準位置から上記探索された位置までの動きベクトル量（すなわち、ｘ方向（水平方向）及びｙ方向（垂直方向）における各移動量及び移動方向）を動きベクトル処理部３４へ出力する。また、各マッチング処理部２６、２８、３０及び３２は、基準ブロックと参照ブロックとの間のＹ、Ｃｂ及びＣｒの残差信号をそれぞれ各フェード／カット処理部２７、２９、３１及び３３へ出力する。これら処理の詳細についても後述する。
【００５３】
フェード／カット処理部２７、２９、３１及び３３は、それぞれ、上記各マッチング処理部２６、２８、３０及び３２から入力したマッチング後の残差信号を基に、フェード／カット評価値を生成し、フェード／カット判定部３５へ出力する。この処理の詳細についても後述する。
【００５４】
フェード／カット処理部２７、２９、３１及び３３は、上記ブロック処理部２１から入力される上記基準ブロックと、各フィールド間メモリ部２２〜２５から入力される、上記ブロックマッチング処理に用いた各参照ブロックとの残差を独自に算出してもよい。
【００５５】
動きベクトル処理部３４は、上記各マッチング処理部２６、２８、３０及び３２から入力されたブロックマッチング処理の結果としての上記動きベクトルが有効（妥当）か否かを判別し、有効な動きベクトルを基に合成動きベクトルを生成する。当該合成動きベクトルは、カメラ特徴判定部３６へ出力される。この処理の詳細についても後述する。
【００５６】
カメラ特徴判定部３６は、上記動きベクトル処理部３４から入力された合成動きベクトルを基に、後述するアフィン変換モデルを用いた重回帰分析により、映像コンテンツ中の各カメラ特徴を判定し、判定結果をＣＰＵ１へ出力する。この処理の詳細についても後述する。
【００５７】
フェード／カット判定部３５は、上記各フェード／カット処理部２７、２９、３１及び３３から入力されたフェード／カット評価値を基に、映像コンテンツ中のフェードまたはカットの各映像編集特徴を判定し、ＣＰＵ１へ出力する。
【００５８】
［記録再生装置の動作］
次に、以上のように構成された記録再生装置１００の動作について説明する。以下に説明する動作は、その動作主体に関わらず、全て記録再生装置１００のＣＰＵ１の制御下で実行される。また、それらの各動作は、ハードウェアの動作である場合もあれば、ハードウェアと協働するソフトウェア（プログラム）の動作である場合もある。
【００５９】
本実施形態における記録再生装置１００は、カメラ特徴及び映像編集特徴の２つの映像特徴を検出する。このうち、カメラ特徴の検出には動きベクトルが用いられる。その際、上述のように、上記動きベクトル処理部３４は、上記各マッチング処理部２６、２８、３０及び３２で検出された動きベクトルが有効か否かを判別する。当該動きベクトルの有効性の判別には、判別関数が用いられる。以下、判別関数の生成処理について説明する。
【００６０】
（判別関数生成処理）
図５は、判別関数の生成処理の流れを示したフローチャートである。  
同図に示すように、まず、記録再生装置１００のＣＰＵ１は、例えばＨＤＤ１０等の記憶媒体に記憶された様々な学習用コンテンツを映像特徴検出部４に入力する（ステップ５１）。ここで、学習用コンテンツには、動きベクトルをうまく検出できる映像コンテンツと、動きベクトルをうまく検出できない映像コンテンツとが含まれる。
【００６１】
動きベクトルをうまく検出できる映像コンテンツとは、被写体から動きベクトルを検出した場合に、動き特徴量を検出しやすい映像コンテンツである。動き特徴量とは、具体的には、例えば、基準ブロックと参照ブロックとの間の残差、基準ブロックの平均値及び分散値、参照ブロックの平均値及び分散値といった特徴データ（以下、判別パラメータと称する）である。このような映像コンテンツとしては、例えば、めりはりのある建物や人物等の被写体が撮影されている映像コンテンツが挙げられる。
【００６２】
動きベクトルをうまく検出できない映像コンテンツとは、被写体から動きベクトルを検出した場合に、上記動き特徴量（判別パラメータ）を検出しにくい映像コンテンツである。このような映像コンテンツとしては、例えば、ぼけたような、被写体のめりはりの無い映像コンテンツが挙げられる。
【００６３】
また、学習用コンテンツには、上記動きベクトルをうまく検出できる映像コンテンツ、うまく検出できない映像コンテンツの両方について、速い動き、遅い動き等、動き速度の異なる映像コンテンツが含まれる。
【００６４】
上記学習用コンテンツは、例えば、当該記録再生装置１００の設計者が、実際に所定の時間でビデオカメラを水平（パン）方向、垂直（チルト）方向に動かしたり、ズームインまたはズームアウトをしたりしながら被写体を撮影することで生成される。
【００６５】
例えば、動き時間が２フィールド（１／３０秒）で、動き量が１０画素の学習用コンテンツを生成する場合、設計者は、ビデオカメラのモニターで何センチが何画素に相当するかをものさし等で計測することができる。したがって、設計者は、当該計測データを基に、所望の動き量の学習用コンテンツを生成することができる。この場合、動き時間が２フィールド（１／３０秒）で、動き量が１０画素では計測しにくいため、設計者は、時間スケールを大きくして、例えば６０フィールド（１秒）で３００画素の動きとして計測してもよい。
【００６６】
このようにして設計者が撮影した学習用コンテンツのうち、被写体のめりはりのあるものが上記動きベクトルをうまく検出できる映像コンテンツであり、被写体のめりはりのないものが上記動きベクトルをうまく検出できない映像コンテンツである。
【００６７】
続いて、ＣＰＵ１は、上述のように生成された学習用コンテンツを用いて学習処理を実行する（ステップ５２）。具体的には、ＣＰＵ１はまず、上記学習用コンテンツに、各マッチング処理部２６、２８、３０及び３２によりブロックマッチング処理を実行して動きベクトルを検出し、さらに上記動きベクトル処理部３４により上記判別パラメータを得る。
【００６８】
続いて、設計者が、学習コンテンツから検出された動きベクトルの動き量と、学習コンテンツ生成時に予め認識していた本来検出されるべき動き量とを比較して当該動きベクトルの妥当性（有効／無効）を判断し、判断結果を記録再生装置１００に入力する。すなわち、上記学習用コンテンツのうち、被写体のめりはりのあるものから検出された動きベクトルは有効と判断され、被写体のめりはりのないものから検出された動きベクトルは無効と判断されることとなる。
【００６９】
続いて、ＣＰＵ１は、動きベクトル処理部３４により、当該入力された動きベクトルの有効／無効の判断結果と、動きベクトル検出時の上記判別パラメータとを学習データとして、判別分析を行う（ステップ５３）。当該判別分析は例えば線形判別分析である。
【００７０】
そして、ＣＰＵ１は、当該判別分析の結果を基に、動きベクトルの有効／無効を判断するための判別関数を決定する（ステップ５４）。この判別関数は、線形判別分析の場合、例えば以下のように表される。  
ｙ＝ａ１ｘ１＋ａ２ｘ２＋ａ３ｘ３＋ａ４ｘ４＋ａ５ｘ５
当該判別関数において、ｘ１〜ｘ５の各変数は、それぞれ上記判別パラメータである基準ブロックと参照ブロックとの間の残差、基準ブロックの平均値及び分散値、参照ブロックの平均値及び分散値に対応している。すなわち、上記判別分析は、上記各判別パラメータを用いて判別関数の各変数ｘ１〜ｘ５に係る係数ａ１〜ａ５を求める処理である。
【００７１】
この判別関数としては、例えば、上記２／４／８／１６フィールドの各マッチング処理部２６、２８、３０及び３２について共通のものが生成される。しかし、各マッチング処理部２６、２８、３０及び３２における各マッチング処理にそれぞれ対応可能なように、それぞれ異なる（４つの）判別関数が生成されてもよい。
【００７２】
この場合、上記学習用コンテンツとしても、各マッチング処理部２６、２８、３０及び３２でそれぞれ動きベクトルが検出可能なように、フィールド時間（動き時間）の異なるものが生成される。またこの場合、上記判別パラメータも、各マッチング処理部２６、２８、３０及び３２により検出された各動きベクトルから別個に検出され、各判別関数を求めるための判別分析に用いられる。
【００７３】
各マッチング処理部２６、２８、３０及び３２毎に判別関数を設けることで、ＣＰＵ１は、同じ動き量であっても、動き速度の異なる映像コンテンツにそれぞれ対応して、動きベクトルの有効／無効を判断することができる。同じ動き量であっても、速い動きの場合、すなわち、検出フィールド時間が短い場合には、画像がぼけ気味になり、遅い動きの場合と比べて上記各判別パラメータに違いが出てくる。しかし、上記検出フィールド時間の異なる各マッチング処理部２６、２８、３０及び３２毎に判別関数を設けることで、判別パラメータの違いを、動きベクトルの妥当性の判断に反映させることができる。生成された判別関数は、例えばＨＤＤ１０やＲＡＭ２等に記憶される（ステップ５５）。
【００７４】
（映像特徴検出処理の概要）
次に、記録再生装置１００は、ＨＤＤ１０等に記憶された映像コンテンツからの映像特徴検出処理に移る。この映像特徴は、上記決定された判別関数を用いて各映像コンテンツから検出される有効な動きベクトルを基に検出される。
【００７５】
図６は、映像特徴検出部４による映像特徴検出処理の大まかな流れを示したフローチャートである。  
同図に示すように、映像特徴検出部４は、まず、ＨＤＤ１０等に記憶された映像コンテンツのサムネイル映像を構成する各画像（以下、サムネイル画像と称する）を上記順次入力する（ステップ６１）。続いて、映像特徴検出部４は、入力されたサムネイル画像間でブロックマッチング処理を行い、動きベクトルを検出する（ステップ６２）。続いて、映像特徴検出部４は、検出された動きベクトルを基に、映像コンテンツ中のカメラ特徴を推定し、また後述するフェード／カット評価値を基に、映像コンテンツ中の映像編集特徴を推定する（ステップ６３）。そして、映像特徴検出部４は、当該推定された各映像特徴を出力する（ステップ６４）。  
以下、これらの各ステップの処理について詳細に説明する。まず、動きベクトル検出処理の詳細について説明する。
【００７６】
（動きベクトル検出処理）
図７は、本実施形態における動きベクトル検出処理の流れを示したフローチャートである。図８は、当該動きベクトル検出処理の機能ブロック図である。図９は、合成動きベクトルの生成処理を概念的に示した図である。  
図７及び図８に示すように、映像特徴検出部４は、ＣＰＵ１から上記サムネイル画像データを入力されると（ステップ７１）、ブロック処理部２１により、当該サムネイル画像データにブロック処理を施す（ステップ７２）。具体的には、まずブロック処理部２１は、入力されたサムネイル画像データのうちの１つを基準フィールドとして設定する。そして、ブロック処理部２１は、当該基準フィールドに、動きベクトル検出の対象とする画像範囲を画定する基準画像領域及び動きベクトルの探索範囲（参照範囲）を画定する探索領域をそれぞれ設定する。そして、ブロック処理部２１は、基準画像領域を例えば８×８＝６４個の領域に分割する。当該分割された各ブロックが、後のブロックマッチング処理において、基準ブロックとして抽出されることとなる。
【００７７】
続いて、映像特徴検出部４は、図７に示すように、順次入力されブロック処理を施されたサムネイル画像を、参照フィールドとしてそれぞれ２／４／８／１６フィールド間メモリ部２２〜２５に記憶する（ステップ７３）。上述したように、２／４／８／１６フィールド間メモリ部２２〜２５は、単一のメモリ素子で構成されてもよい。この場合、図９に示すように、単一のメモリ素子にバッファされたサムネイル画像のコピーが、それぞれ２／４／８／１６フィールド分ディレイされて各マッチング処理部２６、２８、３０、３２へ供給される。これにより、上記２／４／８／１６フィールド間メモリ部２２〜２５が別個のメモリ素子として存在する場合と同様の機能が実現される。
【００７８】
続いて、映像特徴検出部４は、マッチング処理部２６、２８、３０、３２により、上記基準フィールドと、上記２／４／８／１６フィールド間メモリ部２２〜２５から入力された参照フィールドとの間で多段ブロックマッチング処理を行う（ステップ７４）。具体的には、マッチング処理部２６、２８、３０、３２は、基準フィールドから抽出された基準ブロックが、２／４／８／１６フィールド間メモリ部２２〜２５に記憶された各参照フィールド内のどの位置に移動したかをパターンマッチングにより検出する。
【００７９】
この場合、マッチング処理部２６、２８、３０、３２は、参照フィールド内に設定された参照ブロックを参照フィールドの探索領域内で１画素ずつ移動させ、基準ブロックを構成する各データ成分（Ｙ、Ｃｂ及びＣｒ）の各ベクトル距離が最小となる位置を検出する。上記基準ブロックから、当該検出位置（参照ブロック）までの移動量及び移動方向が動きベクトルとして検出される。当該ブロックマッチング処理は、基準フィールドを構成する各ブロック（例えば６４個）についてそれぞれ実行される。また、マッチング処理部２６、２８、３０、３２は、上記動きベクトルとともに、基準ブロックと参照ブロックとのマッチング後の残差も算出する。検出された残差は各フェード／カット処理部２７、２９、３１及び３３へ出力される。
【００８０】
続いて、映像特徴検出部４は、上記動きベクトルの検出データについて、上記生成された判別関数を用いて判別分析を行う（ステップ７６）。すなわち、図９に示すように、映像特徴検出部４は、２／４／８／１６フィールド間でブロック毎に検出された動きベクトル１ａ〜６４ａ、１ｂ〜６４ｂ、１ｃ〜６４ｃ、１ｄ〜６４ｄ（図示せず）について、それぞれ上記判別関数により判別分析を行う。すなわち、動きベクトルに付随する上記判別パラメータである基準ブロックと参照ブロックとの間の残差、基準ブロックの平均値及び分散値、参照ブロックの平均値及び分散値が判別関数の各変数として入力される。なお、図９では、説明の便宜上、１６フィールド間の動きベクトルについての処理は図示されていない。
【００８１】
続いて、映像特徴検出部４は、上記判別分析の結果としての判別関数の出力が正負のいずれかを確認する（ステップ７７）。映像特徴検出部４は、判別関数の出力が正の値である場合、当該動きベクトルを有効と判断し（ステップ７８）、負の値である場合、当該動きベクトルを無効と判断する（ステップ７９）。もちろん、この正負の設定は逆であってもよい。
【００８２】
続いて、映像特徴検出部４は、多段検出された動きベクトルを正規化する（ステップ８０）。すなわち、映像特徴検出部４は、例えば２／４／８フィールド間で検出された動きベクトルを、それぞれ８倍／４倍／２倍することで、１６フィールド間で検出された動きベクトルに正規化する。これにより、２／４／８フィールド間で検出された動きベクトルのダイナミックレンジを広げて、分解能を向上させ、その後生成される合成動きベクトルの精度を高めることができる。もちろん、映像特徴検出部４は、例えば４／８／１６フィールド間で検出された動きベクトルを、２フィールド間で検出された動きベクトルに合わせて縮小することで正規化しても構わない。しかし、この場合は、長いフィールド間で検出された動きベクトル程分解能が落ちてしまう。
【００８３】
続いて、映像特徴検出部４は、動きベクトル処理部３４により、上記判別分析により有効と判断され、正規化された動きベクトルを合成して合成動きベクトルを生成する（ステップ８１）。例えば、動きベクトル処理部３４は、図８及び図９に示すように、各フィールド間で検出された動きベクトルのブロック毎の正規化データから、有効と判断された動きベクトルをブロック毎に選択して合成する。図９の例では、６４個のブロックのうち、フィールドの左上の１／４部分に位置するブロックについては２フィールド間の動きベクトル（１ａ〜４ａ、９ａ〜１２ａ、１７ａ〜２０ａ、２５ａ〜２８ａ）が有効と判断されている。また、右上及び左下の各１／４部分に位置するブロックについては４フィールド間の動きベクトル（５ｂ〜８ｂ、１３ｂ〜１６ｂ、２１ｂ〜２４ｂ、２９ｂ〜３６ｂ、４１ｂ〜４４ｂ、４９ｂ〜５２ｂ、５７ｂ〜６０ｂ）が有効と判断されている。また右下の１／４部分に位置するブロックについては８フィールド間の動きベクトル（３７ｃ〜４０ｃ、４５ｃ〜４８ｃ、５３ｃ〜５６ｃ、６１ｃ〜６４ｃ）が有効と判断されている。したがって、動きベクトル処理部３４は、それぞれのフィールド間で有効と判断された動きベクトルを１フィールド分に合成して合成動きベクトルを生成する。
【００８４】
ここで、動きベクトル処理部３４は、異なるフィールド間の各動きベクトルがいずれも有効である場合には、より短いフィールド間の動きベクトルを合成動きベクトルの生成に用いる。したがって、動きベクトル処理部３４は、２／４／８／１６フィールド間の各動きベクトルが全て有効である場合には、２フィールド間の動きベクトルを合成動きベクトルとする。このように、より短いフィールド間の動きベクトルを優先して用いるのは、フィールド間隔が大きい程、映像コンテンツ中で速い動きがあった場合に、その大きな動き量に追従できずに、動きベクトルの探索範囲から外れてしまう可能性があるからである。したがって、動きベクトル処理部３４は、より短いフィールド間の動きベクトルを優先して用いることで、速い動きの検出精度を高めることができる。
【００８５】
そして、映像特徴検出部４は、上記生成された合成動きベクトルを、映像コンテンツ中の動きデータとして、動きベクトル処理部３４からカメラ特徴判定部３６へ出力させる（ステップ８２）。この合成動きベクトルが、続く映像特徴推定処理における重回帰分析処理に用いられる。
【００８６】
なお、図８及び図９では、上記判別分析処理及び正規化処理が、各フィールド間毎に別個に実行されるように図示されているが、これは、各フィールド間の判別分析処理及び正規化処理が別個のハードウェア及びソフトウェアで実行されることを示しているわけではない。各フィールド間の判別分析処理及び正規化処理は、単一のハードウェア及びソフトウェアで実行されてもよいし、別個のハードウェア及びソフトウェアで実行されても構わない。
【００８７】
ところで、上記ブロックマッチング処理は、フィールド間が短い順、すなわち、マッチング処理部２６、マッチング処理部２８、マッチング処理部３０、マッチング処理部３２の順に行われる。本実施形態では、各マッチング処理部２６、２８、３０及び３２は、前のフィールド間で検出された動きベクトルを、次のフィールド間における動きベクトルの検出に順次利用することが可能である。図１０は、このようなブロックマッチング処理を概念的に示した図である。
【００８８】
同図に示すように、２フィールド間のマッチング処理部２６は、ブロックマッチングにより、基準フィールドの基準ブロックの初期位置（ｘ０，ｙ０）から移動した、２フィールド先の参照フィールドの参照ブロックの移動位置（ｘ２，ｙ２）を探索する。ここで、４フィールド間における動き量は、２フィールド間における動き量よりも大きいと考えられる。そこで、４フィールド間のマッチング処理部２８は、基準ブロックの初期位置（ｘ０，ｙ０）ではなく、２フィールド間での移動位置（ｘ２，ｙ２）を初期位置として、基準フィールドから４フィールド先の参照ブロックでの移動位置（ｘ４，ｙ４）を探索する。
【００８９】
そして、４フィールド間のマッチング処理部２８は、２フィールド間で検出された動きベクトルと、（ｘ２，ｙ２）を初期位置として検出した動きベクトルとを足すことで、（ｘ０，ｙ０）から（ｘ４，ｙ４）への動きベクトルとして出力する。
【００９０】
この処理は、２フィールド間で検出された動きベクトルが、上記判別分析により有効であると判断された場合に実行される。すなわち、４フィールド間のマッチング処理部２８は、２フィールド間で検出された動きベクトルの判別分析結果に応じて、４フィールド間におけるブロックマッチング処理の初期位置を判断する。
【００９１】
このように、短いフィールド間におけるブロックマッチング処理で探索された探索位置を、次のフィールド間におけるブロックマッチング処理の初期位置として利用することで、初期位置を（ｘ０，ｙ０）として探索するよりも早くマッチング位置を検出できる。
【００９２】
図１０では、２フィールド間及び４フィールド間の動きベクトルを検出する際の処理について説明したが、もちろん、８フィールド間、１６フィールド間の動きベクトルを検出する際にも同様に適用できる。例えば２フィールド間及び４フィールド間の各動きベクトルが共に有効であり、８フィールド間の動きベクトルが無効である場合、１６フィールド間のマッチング処理部３２は、４フィールド間での探索位置を初期位置として動きベクトルを探索する。
【００９３】
（映像特徴推定処理）
次に、映像特徴推定処理、すなわちカメラ特徴及び映像編集特徴の推定処理の詳細について説明する。
【００９４】
図１１は、記録再生装置１００による映像特徴推定処理の流れを示したフローチャートである。  
同図に示すように、まず、映像特徴検出部４のカメラ特徴判定部３６は、各映像特徴の検出フラグの初期設定を行う（ステップ１０１）。ここで検出フラグとは、映像コンテンツ中から、上記パン、チルト、ズームの各カメラ特徴と、フェード及びカットの各映像編集特徴とがそれぞれ検出されたことを示すフラグである。各映像特徴の検出フラグは、それぞれDpan、Dtilt、Dzoom、Dfade及びDcutで表され、それぞれのフラグ値を０にすることで各初期設定が行われる。
【００９５】
続いて、カメラ特徴判定部３６は、上記動きベクトル処理部３４から出力された合成動きベクトルデータを基に、例えば最小二乗法等により重回帰分析処理を行い（ステップ１０２）、アフィン係数を算出する（ステップ１０３）。ここで、この重回帰分析処理によりアフィン係数を算出するためのアフィン変換モデルについて説明する。
【００９６】
図１２は、アフィン変換モデルを示した図である。アフィン変換モデルは、３次元オブジェクトの平行移動、拡大／縮小、回転を、行列を用いた座標変換処理として記述するためのモデルである。上記パン、チルト、ズームといったカメラ特徴は、上記基準フィールド内の物体の平行移動、拡大／縮小であると考えられるため、アフィン変換モデルを用いることで、カメラ特徴を記述することが可能となる。
【００９７】
ここで、映像コンテンツにおいて、フィールド間隔が大きくない場合には、回転の特徴については、回転角θが小さいものとして、以下の近似処理を行うことができる。  
ｓｉｎθ≒θ
ｃｏｓθ≒１
【００９８】
したがって、アフィン変換モデルは、図１２に示すように変形することができる。そして、上記合成動きベクトルから、このアフィン変換モデルを用いて各係数を求めることで、カメラ特徴を検出することができる。すなわち、パン、チルト、ズームに対して、所定の閾値Ｐｔｈ、Ｔｔｈ及びＺｔｈを設定しておき、上記合成動きベクトルから算出した各アフィン係数と比較することで、各カメラ特徴を検出することができる。
【００９９】
図１３は、重回帰分析によりアフィン係数を求める処理を示した図である。同図に示すように、カメラ特徴判定部３６は、説明変数を上記基準フィールドにおける初期位置のｘ、ｙ座標（ｘｎ，ｙｎ）とし、非説明変数（目的変数）を、上記参照フィールドにおける動きベクトルの検出位置（探索位置）のｘ、ｙ座標（ｘｍ，ｙｍ）とする。そして、カメラ特徴判定部３６は、この説明変数及び非説明変数を用いて、上記合成動きベクトルについて重回帰分析処理を行い、パン、チルト、ズームの各係数Ｐｘ、Ｐｙ、Ｚｘを求める（ステップ１０３）。
【０１００】
図１１に戻り、カメラ特徴判定部３６は、上記算出したアフィン係数のうち、パン係数Ｐｘを入力する（ステップ１０４）。そして、カメラ特徴判定部３６は、当該Ｐｘが、上記閾値Ｐｔｈよりも大きいか否かを判定し（ステップ１０５）、Ｐｔｈよりも大きい場合には（Ｙｅｓ）、パン検出フラグDpan＝１とし（ステップ１０６）、Ｐｔｈ以下の場合には（Ｎｏ）、パン検出フラグDpan＝０とする（ステップ１０７）。
【０１０１】
続いて、カメラ特徴判定部３６は、上記算出したアフィン係数のうち、チルト係数Ｐｙを入力する（ステップ１０８）。そして、カメラ特徴判定部３６は、当該Ｐｙが、上記閾値Ｔｔｈよりも大きいか否かを判定し（ステップ１０９）、Ｔｔｈよりも大きい場合には（Ｙｅｓ）、チルト検出フラグDtilt＝１とし（ステップ１１０）、Ｔｔｈ以下の場合には（Ｎｏ）、チルト検出フラグDtilt＝０とする（ステップ１１１）。
【０１０２】
続いて、カメラ特徴判定部３６は、上記算出したアフィン係数のうち、ズーム係数Ｚｘ及びＺｙを入力する（ステップ１１２）。そして、カメラ特徴判定部３６は、当該ＺｘまたはＺｙが、上記閾値Ｚｔｈよりも大きいか否かを判定し（ステップ１１３）、少なくとも一方がＺｔｈよりも大きい場合には（Ｙｅｓ）、ズーム検出フラグDzoom＝１とし（ステップ１１４）、いずれもＺｔｈ以下の場合には（Ｎｏ）、ズーム検出フラグDzoom＝０とする（ステップ１１５）。
【０１０３】
カメラ特徴判定部３６は、パン、チルト、ズームの各カメラ特徴については、それぞれ左パンと右パン、左チルトと右チルト、ズームインとズームアウトをそれぞれ区別して検出するようにしても構わない。この区別は、アフィン係数の正負の符号を参照することで容易に行うことができる。ここで、カメラを移動させた場合における実際のカメラの動き方向と、被写体の動き方向とは逆となる。上記カメラ特徴判定部３６により検出されるパン及びチルトの各カメラ特徴は、カメラの動きとしてではなく、被写体の動きとして検出される。しかし、カメラ特徴判定部３６は、上記アフィン係数の正負の符号を逆にすることで、カメラの動き方向に合わせてカメラ特徴を検出することができる。
【０１０４】
以上の重回帰分析による各アフィン係数の算出及び各閾値との比較により、映像コンテンツ中にカメラ特徴が存在するか否かが判定される。本実施形態では、このカメラ特徴の判定継続時間長を、上記合成動きベクトルが生成される基になった各ブロックの動きベクトルが、どのフィールド間で検出されたかに応じて可変している。以下、この判定継続時間長の可変処理について説明する。
【０１０５】
図１４は、当該カメラ特徴の判定継続時間長の可変処理の流れを示したフローチャートである。同図は、上記可変処理を、パン、チルト、ズームの各アフィン係数及び各カメラ特徴について共通の処理として示している。
【０１０６】
同図に示すように、カメラ特徴判定部３６はまず、各アフィン係数を入力する（ステップ１４１）。次に、カメラ特徴判定部３６は、当該アフィン係数の算出の基になった合成動きベクトルを構成する各ブロックの動きベクトルとして、２フィールド間のマッチング処理部２６から最終出力された動きベクトルが最も多く含まれるか否かを判断する（ステップ１４２）。カメラ特徴判定部３６は、２フィールド間の動きベクトルが最多であると判断した場合（Ｙｅｓ）、各カメラ特徴の判定時間長をｔ２に設定する（ステップ１４３）。
【０１０７】
カメラ特徴判定部３６は、２フィールド間の動きベクトルが最多でないと判断した場合（Ｎｏ）、合成動きベクトルに、４フィールド間のマッチング処理部２８から最終出力された動きベクトルが最も多く含まれるか否かを判断する（ステップ１４４）。カメラ特徴判定部３６は、４フィールド間の動きベクトルが最多であると判断した場合（Ｙｅｓ）、各カメラ特徴の判定時間長をｔ４に設定する（ステップ１４５）。
【０１０８】
カメラ特徴判定部３６は、４フィールド間の動きベクトルが最多でないと判断した場合（Ｎｏ）、合成動きベクトルに、８フィールド間のマッチング処理部３０から最終出力された動きベクトルが最も多く含まれるか否かを判断する（ステップ１４６）。カメラ特徴判定部３６は、８フィールド間の動きベクトルが最多であると判断した場合（Ｙｅｓ）、各カメラ特徴の判定時間長をｔ８に設定する（ステップ１４７）。
【０１０９】
カメラ特徴判定部３６は、８フィールド間の動きベクトルが最多でないと判断した場合（Ｎｏ）、各カメラ特徴の判定時間長をｔ１６に設定する（ステップ１４８）。ここで、ｔ２＜ｔ４＜ｔ６＜ｔ１６である。
【０１１０】
続いて、カメラ特徴判定部３６は、合成動きベクトルを構成するブロック毎に、上記各所定の閾値Ｐｔｈ、Ｔｔｈ及びＺｔｈに基づいて各カメラ特徴の有無を検出する処理を、上記各設定した判定時間長だけ継続する。
【０１１１】
そして、カメラ特徴判定部３６は、上記各判定時間内で、それぞれ所定時間割合以上、各カメラ特徴が検出されたか否かを判断する（ステップ１４９）。すなわち、カメラ特徴判定部３６は、上記各所定の閾値Ｐｔｈ、Ｔｔｈ及びＺｔｈを超える各アフィン係数が所定時間割合以上検出されたか否かを判断する。
【０１１２】
そして、カメラ特徴判定部３６は、各判定時間内で、所定時間割合以上各カメラ特徴が検出された場合には、カメラ特徴ありと判定し（ステップ１５０）、そうでない場合にはカメラ特徴なしと判定する（ステップ１５１）。この判定結果が、上記各検出フラグとして記録される。
【０１１３】
この場合、上記重回帰分析処理における非説明変数（目的変数）も、合成動きベクトルを構成する各動きベクトルが検出されたフィールド間に応じて決定される。すなわち、動きベクトルが最多となるフィールド間を置いた参照フィールドにおける動きベクトルの検出位置（探索位置）のｘ、ｙ座標（ｘｍ，ｙｍ）が、非説明変数とされる。
【０１１４】
このように、合成動きベクトルの基になった最多の動きベクトルがどのフィールド間で検出されたものであるかに応じてカメラ特徴の判定時間長を可変するのは、映像コンテンツ中の速い動きと遅い動きの両方に対応するためである。図１５は、２フィールド間と１６フィールド間で検出される動きベクトルの移動量を、動きが速い場合及び動きが遅い場合について説明した図である。
【０１１５】
同図（Ａ）に示すように、短いフィールド間隔で有効に検出された動きベクトルは、速い動きを示していると考えられ、同図（Ｂ）に示すように、長いフィールド間隔で有効に検出された動きベクトルは、遅い動きを示していると考えられる。同図（Ａ）に示すように、動きが遅い場合には、１６フィールド間では、マッチング処理部３２は有効な動きベクトルを検出できる。しかし、２フィールド間では、マッチング処理部２６は、合成動きベクトルの各ブロックの動き量が小さすぎるために、有効な動きベクトルを検出できない可能性がある。また、マッチング処理部２６が有効な動きベクトルを検出できたとしても、合成動きベクトルの各ブロックの動きベクトルが小さすぎて、カメラ特徴判定部３６がカメラ特徴として検出できない可能性がある。
【０１１６】
一方、同図（Ｂ）に示すように、動きが速い場合には、マッチング処理部２６は、２フィールド間では有効な動きベクトルを検出できる。しかし、１６フィールド間では、マッチング処理部３２は、動き量が大きすぎてそれに追従できず、有効な動きベクトルを検出できない可能性がある。
【０１１７】
したがって、カメラ特徴判定部３６は、最多の動きベクトルが検出されたフィールド間が大きい場合には、カメラ特徴の判定継続時間長を大きくする。これにより、遅い動きを確実に検出することができる。またカメラ特徴判定部３６は、最多の動きベクトルが検出されたフィールド間が小さい場合には、カメラ特徴の判定時間長を小さくする。これにより、速い動きを確実に検出できると共に、無駄な判定処理を防ぎ、また長時間判定を行うことで混入する可能性のあるノイズによる誤判定を防ぐことができる。図１６は、以上のような、最多の動きベクトルが検出されたフィールド間に応じたカメラ特徴の判定継続時間長の可変処理について示したグラフである。同図に示すように、２フィールド間、４フィールド間、８フィールド間、１６フィールド間とフィールド間が大きくなるに従って、カメラ特徴判定継続時間長も大きくなっている。
【０１１８】
（フェード／カット検出処理）
図１１に戻り、次に、映像特徴検出部４は、フェード及びカットの検出処理を行う。  
まず、フェード／カット処理部２７、２９、３１及び３３の処理について説明する。
【０１１９】
フェード／カット処理部２７、２９、３１及び３３は、それぞれ、上記各マッチング処理部２６、２８、３０及び３２から、マッチング処理後の各残差を入力し、これらの各残差を基に、フェード／カット評価値を生成し、フェード／カット判定部３５へ出力する（ステップ１１６）。
【０１２０】
ここで、フェード／カット評価値Ｈは、上記残差をＥｎ（ｎ＝０〜６３）とすると、次式で求めることができる。  
63
Ｈ＝  ΣEn
n=0
【０１２１】
したがって、各フェード／カット処理部２７、２９、３１及び３３は、上記各マッチング処理部２６、２８、３０及び３２からの各残差を、それぞれｎ＝６３となるまで、すなわち、基準フィールドの全ての基準ブロックについての残差が入力されるまで入力し、それぞれそれらの総和を算出する。
【０１２２】
図１７及び図１８は、上記フェード／カット評価値の算出結果と、フィールド経過との関係を、上記フィールド間隔毎に示したグラフである。図１７は、カット点が含まれる場合のグラフを示し、図１８は、フェードが含まれる場合のグラフを示している。
【０１２３】
フェード／カット判定部３５は、上記図１７及び図１８に示されるフェード／カット評価値の値を基に、フェード及びカットの判定を行う（図１１のステップ１１７）。すなわち、フェード／カット判定部３５は、フィールド経過に伴うフェード／カット評価値の変化が急峻な場合（ステップ１１８のＹｅｓ）には、カットであると判定してカット検出フラグDcut＝１とする（ステップ１２０）。また、フェード／カット判定部３５は、フィールド経過に伴うフェード／カット評価値の変化が緩やかである場合（ステップ１１９のＹｅｓ）には、フェードであると判定してフェード検出フラグDfade＝１とする（ステップ１２１）。そのどちらとも判定できない場合（ステップ１１９のＮｏ）には、フェード／カット判定部３５は、カット検出フラグDcut＝０、フェード検出フラグDfade＝０とする（ステップ１２２）。
【０１２４】
具体的には、フェード／カット判定部３５は、２フィールド間におけるフェード／カット評価値の変化を解析し、図１７のグラフａに示すようなピーク特性が検出される場合には、そのピーク点をカット点と判定する。
【０１２５】
また、フェード／カット判定部３５は、上記ピーク特性が検出されない場合には、図１８に示すように、所定の時刻ｔにおいて、２フィールド間についてのフェード評価値（グラフａ）と４フィールド間隔についてのフェード評価値（グラフｂ）との差分Ｖａ、４フィールド間についてのフェード評価値と８フィールド間についてのフェード評価値（グラフｃ）との差分Ｖｂ、８フィールド間についてのフェード評価値と１６フィールド間についてのフェード評価値（グラフｄ）との差分Ｖｃをそれぞれ算出する。
【０１２６】
図１８に示すように、フェードの場合、映像は徐々に変化していくため、フェード／カット評価値はフィールド間隔によってその変化量に違いが生じ、それにより上記Ｖａ、Ｖｂ、Ｖｃの各値は全て正の値かつ比較的近い数値として顕著に現れる。一方、カットの場合は、図１７に示すように、Ｖａ、Ｖｂ、Ｖｃの値に大きな差が生じ、また負の値となる場合もある。したがって、フェード／カット判定部３５は、このＶａ、Ｖｂ及びＶｃを解析することで、フェードか否かを判定することができる。
【０１２７】
そして、映像特徴検出部４は、以上の処理により検出された各カメラ特徴、映像編集特徴を出力する（ステップ１２３）。
【０１２８】
図１９は、上記カメラ特徴判定部３６及びフェード／カット判定部３５により判定された各映像特徴の判定結果を示した表である。ＣＰＵ１は、この表と同等のデータを例えばＲＡＭ２やＨＤＤ１０へ記憶するように、映像特徴検出部４を制御する。
【０１２９】
記録再生装置１００は、上記検出された映像特徴を用いて、映像コンテンツから、例えばダイジェスト映像（ハイライト映像）を作成したり、映像コンテンツをチャプタに分割したりすることができる。
【０１３０】
［まとめ］
以上説明したように、本実施形態によれば、記録再生装置１００は、時間長の異なる画像データ間で検出された動きベクトルの有効性を判断し、有効な動きベクトルを基に合成動きベクトルを生成するため、動きベクトルの検出精度を向上させることができる。
【０１３１】
また、記録再生装置は、合成動きベクトルの基になった各動きベクトルが検出されたフィールド間に応じて、カメラ特徴の判定継続時間長を可変するため、速い動きと遅い動きの両方に対応して確実にカメラ特徴を検出することができる。
【０１３２】
［変形例］
本発明は以上説明した実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１３３】
上記図４においては、上記映像特徴検出部４を、各フィールド間メモリ部２２〜２５を直列接続することで構成していたが、各フィールド間メモリ部２２〜２５を並列接続して映像特徴検出部４を構成しても構わない。図２０は、この場合の映像特徴検出部４の構成を示した図である。このように構成しても、上記並列接続した場合と同様の処理を実行し、同様の効果を得ることができる。
【０１３４】
上述の実施形態においては、映像特徴検出部４は、映像コンテンツをフィールド単位で処理したが、もちろん、フレーム単位で処理しても構わない。
【０１３５】
上述の実施形態においては、映像特徴検出部４は、元の映像コンテンツのサムネイル映像を構成する各サムネイル画像を用いていたが、縮小されていない元の映像コンテンツの画像そのものを用いても構わない。
【０１３６】
上述の実施形態においては、映像特徴検出部４は、判別関数として線形判別関数を用いたが、非線形判別関数を用いてもよい。非線形判別分析には、例えばマハラノビス距離を計算して判別を行う手法や、サポートベクターマシン、ニューラルネットワークその他の機械学習的手法等が用いられてもよい。
【０１３７】
マハラノビス距離を計算する手法では、判別関数は用いられないが、上述の実施形態と同様に、動きベクトルの有効／無効が予め分かっている学習用コンテンツが用いられる。まず、いくつかの学習用コンテンツから検出された動きベクトルの上記判別パラメータを基に、有効／無効の各データ群の分散共分散行列及び平均が算出される。
【０１３８】
そして、映像特徴検出処理の対象となる映像コンテンツの各フィールド間で、各ブロックから検出された動きベクトルの判別パラメータと、有効／無効の各データ群との間の各マハラノビス距離が計算される。そして、当該マハラノビス距離がどちらのデータ群に近いかが判定され、検出された動きベクトルの判別パラメータは、当該距離が近い方（距離が最小となる方）の群に属するとされる。このような処理により、検出された動きベクトルの有効／無効が判別される。
【０１３９】
ここで、上記学習用データの、有効な判別パラメータの分散共分散行列をＨｖ、平均をａｙ、無効な判別パラメータの分散共分散行列をＨｎ、平均をａｎとし、判別処理の対象となる、検出された動きベクトルの判別パラメータをｖとすると、検出された動きベクトルの判別パラメータと、有効なデータ群とのマハラノビス距離Ｄｙは、以下の式で算出される。  
Ｄｙ２＝（ｖ−ａｙ）Ｔ  Ｈｙ−１  （ｖ−ａｙ）
ここで、（ｖ−ａｙ）Ｔは転置行列、Ｈｙ−１は逆行列であることを示す。また、上記判別パラメータｖは多変量データであるため、（特徴）ベクトルと見なしている。
【０１４０】
同様に、検出された動きベクトルの判別パラメータと、無効なデータ群とのマハラノビス距離Ｄｎは、以下の式で算出される。  
Ｄｎ２＝（ｖ−ａｎ）Ｔ  Ｈｎ−１  （ｖ−ａｎ）
【０１４１】
以上より、検出された動きベクトルの有効／無効の判別は、以下のようになる。  
Ｄｙ２  ＜  Ｄｎ２  の場合・・・有効
Ｄｙ２  ≧  Ｄｎ２  の場合・・・無効
【０１４２】
（学習用コンテンツ生成処理）
次に、上記マハラノビス距離を用いた判別処理に用いられる、学習用データの生成処理に関する他の実施形態について説明する。
【０１４３】
上述したように、マハラノビス距離を用いた判別処理においては、その判別処理に用いる学習データを生成するために、予め動きベクトルの有効／無効が分かっている学習用コンテンツ（学習用映像データ）が用いられる。この学習用コンテンツから動きベクトルが検出され、当該動きベクトルが有効な場合と無効な場合とでそれぞれ上記判別パラメータが取得され、当該判別パラメータが上記判別処理に用いられる。しかしながら、この学習用コンテンツを、上記異なる時間長毎に、動き量や動き方向を調整して、例えばカメラ撮影等により手動で作成するのは大変な手間である。また、手動で作成された学習用コンテンツから上記判別パラメータが取得される場合、当該判別パラメータの特性にばらつきが生じ、判別処理の精度が低くなってしまう可能性もある。  
そこで本実施形態では、この学習用コンテンツを、記録再生装置１００が自動的に作成することとした。
【０１４４】
図２１は、本実施形態における映像特徴検出部４の構成を示したブロック図である。同図において、上述の実施形態と同様の箇所は同一の符号を付し、説明を省略または簡略化する。
【０１４５】
同図に示すように、本実施形態における映像特徴検出部４は、新たに、学習用画像抽出部２１１、ウィンドウ処理部２１２、学習処理部２１３を有する。ブロック処理部２１、２／４／８／１６フィールド間の各メモリ部２２〜２５、各マッチング処理部２６、２８、３０、３２、各フェード／カット処理部２７、２９、３１、３３、判別処理部２１４、正規化部２１５、動きベクトル処理部３４、フェード／カット判定部３５及びカメラ特徴判定部３６は、上述した実施形態と同様の構成及び機能を有する。
【０１４６】
学習用画像抽出部２１１には、上記学習用コンテンツを生成するためのサンプル映像コンテンツの映像信号またはサンプル静止画像データが入力される。学習用画像抽出部２１１は、入力されたサンプル映像コンテンツからカット点（シーンチェンジ）を検出し、当該カット点の画像を学習用画像データとして抽出する。抽出された学習用画像データは、ウィンドウ処理部２１２へ供給される。具体的には、学習用画像抽出部２１１は、入力されたサンプル映像コンテンツの上記各フィールド間で、Ｙ、Ｃｂ及びＣｒのヒストグラムの残差信号をブロック毎に検出し、当該各ブロックの残差信号の総和をカット評価値として算出する。そして学習用画像抽出部２１１は、当該カット評価値の変化を解析することでカット点を検出し、当該カット点のフィールドを学習用画像データとして抽出する。すなわち、カット評価値が急激に（例えば所定の閾値以上）変化した場合に、当該変化の前後におけるフィールドのうち、後のフィールドが学習用画像データとして抽出される。
【０１４７】
また学習用画像抽出部２１１は、サンプルとして映像コンテンツではなく静止画像データを用いる場合は、その静止画像データを学習用画像データとしてウィンドウ処理部２１２へ供給する。
【０１４８】
ウィンドウ処理部２１２は、学習用画像抽出部２１１から供給された学習用画像データ内でウィンドウ（矩形枠）を移動させ、またはウィンドウ内の画像を変化させる（ウィンドウ処理）ことで、学習用コンテンツ（学習用映像データ）を生成する。当該学習用コンテンツは、上記２／４／８／１６フィールドの各フィールド間毎に、かつ、上記動きベクトルとして検出されるパン、チルト及びズームの各カメラ特徴毎に、当該各カメラ特徴の検出の妥当性を学習するために生成される。生成された学習用コンテンツは、学習処理部２１３へ供給される。このウィンドウ処理の詳細については後述する。
【０１４９】
学習処理部２１３は、ウィンドウ処理部２１２から供給された学習用コンテンツを用いて、動きベクトルの有効／無効についての学習処理を実行する。具体的には、学習処理部２１３は、学習用コンテンツから上記異なるフィールド間で動きベクトルを検出し、当該動きベクトルの有効／無効の判断結果と、動きベクトル検出時の上記判別パラメータとを学習データとして判別処理部２１４へ供給する。
【０１５０】
判別処理部２１４は、上記マッチング処理部２６、２８、３０、３２からそれぞれ検出された動きベクトルの有効／無効について、学習処理部２１３から供給された学習データを用いて、マハラノビス距離に基づく判別分析を行う。判別処理部２１４は、当該判別分析の結果（動きベクトルの有効／無効）を正規化部２１５へ出力する。
【０１５１】
ここで、上記サンプル映像コンテンツは、上記ブロック処理部２１に入力される、映像特徴の検出対象である映像コンテンツと同一のコンテンツであってもよい。この場合、映像特徴検出部４は、例えばユーザの操作により、ある映像コンテンツからのダイジェスト映像の生成が指示されると、当該映像コンテンツをブロック処理部２１へ入力するとともに、学習用画像抽出部２１１へ入力する。これにより、ダイジェスト映像の生成対象の映像コンテンツと同一の映像コンテンツについて、上記各マッチング処理部による動きベクトル検出処理と並行して、学習用コンテンツ生成処理及び学習処理が実行される。
【０１５２】
上記サンプル映像コンテンツが、映像特徴の検出対象の映像コンテンツと同一でない場合、学習用コンテンツの生成処理及び学習処理は、例えば定期的、または映像コンテンツがＨＤＤ１０等に新たに記憶されたとき等に、上記動きベクトル検出処理に先立って予め実行される。
【０１５３】
ブロック処理部２１には、映像特徴の検出対象である映像コンテンツの映像信号が入力される。当該映像信号は、各メモリ部２２〜２５にメモリされ、各マッチング処理部２６、２８、３０、３２により当該映像信号から動きベクトルが検出され、判別処理部２１４へ出力される。
【０１５４】
また各フェード／カット処理部２７、２９、３１、３３には、各マッチング処理部２６、２８、３０、３２におけるマッチング結果としての上記残差信号が供給される。各フェード／カット処理部２７、２９、３１、３３は、上述したように、当該残差信号を用いてフェード／カット評価値を生成し、フェード／カット判定部３５へ出力する。フェード／カット判定部３５は、上記フェード／カット評価値の変化を解析して、映像信号からフェード及びカットを検出し、その結果を出力する。本実施形態においては、フェード／カット判定部３５は、検出されたカット点における画像データを、上記学習用画像データとしてウィンドウ処理部２１２へ供給することも可能である。すなわち、上述したように、サンプル映像コンテンツが、上記映像特徴の検出対象である映像コンテンツと同一のコンテンツである場合には、当該映像特徴の検出対象の映像コンテンツから検出されたカット点の画像がウィンドウ処理部２１２へ供給される。
【０１５５】
正規化部２１５、動きベクトル処理部３４、カメラ特徴判定部３６の各機能については、上述の実施形態と同様であるため省略する。
【０１５６】
次に、以上のように構成された映像特徴検出部４による、学習用コンテンツの生成処理について説明する。  
図２２は、本実施形態における学習用コンテンツ生成処理の大まかな流れを示したフローチャートである。同図においては、映像特徴検出部４が、サンプル映像コンテンツから抽出される学習用画像データを用いて学習用コンテンツを生成する場合について説明する。
【０１５７】
図２２に示すように、映像特徴検出部４はまず、ＨＤＤ１０等に記憶された各種映像コンテンツを、サンプル映像コンテンツとして学習用画像抽出部２１１へ入力する（ステップ２２１）。学習用画像抽出部２１１は、当該入力されたサンプル映像コンテンツから、上述の手法によりカット点を抽出する（ステップ２２２）。カット点、すなわちシーンチェンジが検出された場合（Ｙｅｓ）、学習用画像抽出部２１１は、カット点の画像（カット点前後の画像のうち後の画像）を学習用画像データとして抽出し、ＲＡＭ２等に記憶する（ステップ２２４）。映像特徴検出部４は、当該ステップ２２１からステップ２２４までの処理を、ＨＤＤ１０等に記憶されている全てのサンプル映像コンテンツについて実行するまで繰り返す（ステップ２２５）。
【０１５８】
図２５は、サンプル映像コンテンツからカット点の画像が学習用画像データとして抽出される様子を示した図である。  
同図に示すように、サンプル映像コンテンツからは、ｆ０、ｆ２及びｆ４の各画像がカット点１〜３として抽出される。このカット点の各画像Ｖ１、Ｖ２及びＶ３が、学習用画像データとして学習用画像抽出部２１１へ出力され、ＲＡＭ２等に記憶される。
【０１５９】
ここで、上記サンプル映像コンテンツが、映像特徴の検出対象の映像コンテンツと同一である場合には、上記フェード／カット判定部３５から、カット点の各画像が学習用画像抽出部２１１へ入力され、学習用画像データとしてＲＡＭ２等に記憶される。この場合、フェード／カット判定部３５は、映像特徴の検出対象の映像コンテンツから全てのカット点の画像を抽出して学習用画像抽出部２１１へ出力する。
【０１６０】
また、学習用コンテンツの生成に静止画像データが用いられる場合には、図２４に示すように、例えばＨＤＤ１０等に記憶された全ての静止画像データＶ１、Ｖ２、Ｖ３・・・が学習用画像データとして学習用画像抽出部２１１へ入力され、ＲＡＭ２等に記憶される。
【０１６１】
続いて、ウィンドウ処理部２１２は、これから実行するウィンドウ処理用のフラグｗを０に設定する（ステップ２２６）。  
ここで、ウィンドウ処理用フラグｗは０〜２まで設定される。ｗ＝０はウィンドウを水平方向へ移動させる場合、ｗ＝１はウィンドウを垂直方向へ移動させる場合、ｗ＝２はウィンドウを拡大及び縮小させる場合にそれぞれ設定される。ウィンドウ処理用フラグの初期値は０とされる。
【０１６２】
続いて、ウィンドウ処理部２１２は、上記ＲＡＭ２等に記憶された学習用画像データを読み出し（ステップ２２７）、当該学習用画像データについてウィンドウ処理を実行する（ステップ２２８）。以下、このウィンドウ処理について詳述する。
【０１６３】
図２３は、上記ウィンドウ処理の詳細な流れを示すフローチャートである。  
同図に示すように、ウィンドウ処理部２１２は、上記ウィンドウ処理用フラグｗが０であるか否か、すなわち、自身がウィンドウを水平方向（左右方向）へ移動する処理を設定されているか否かを判断する（ステップ２４１）。
【０１６４】
続いて、ウィンドウ処理部２１２は、２ｎフィールド間で検出される動きベクトルの妥当性の学習用に学習用コンテンツを生成するため、まずｎ＝１を設定する（ステップ２４２）。ここで１≦ｎ≦４（ｎは整数）である。すなわち、学習用コンテンツは、上記各マッチング処理部によって検出される、２／４／８／１６フィールドの各フィールド間の動きベクトルの妥当性をそれぞれ学習するために、当該フィールド間毎に生成される。このフィールド間毎の学習用コンテンツ生成処理における上記ｎの初期値が１とされる。
【０１６５】
続いて、ウィンドウ処理部２１２は、２ｎフィールド間の動きベクトル検出に対応した学習用コンテンツを生成するための、ウィンドウの水平方向の移動速度を設定する。ここで、移動速度は、上記各マッチング処理部が、２ｎフィールド間でやっと検出できる程度の最小速度に設定される。まず２フィールド間の動きベクトル用の学習用コンテンツの生成のための移動速度が設定される。
【０１６６】
続いて、ウィンドウ処理部２１２は、上記読み出した学習用画像データ内で、上記設定された移動速度でウィンドウを水平方向に移動させることで、２ｎフィールド間の、上記パン（左パン及び右パン）学習用の学習用コンテンツを生成する（ステップ２４４）。
【０１６７】
図２６は、当該パン用の学習用コンテンツが生成される様子を示した図である。  
同図（Ａ）に示すように、ウィンドウＳは、学習用画像データＶのサイズ（例えば７２０×４８０画素）よりも小さい所定の面積に設定され、水平方向に移動される。例えばウィンドウ処理部２１２は、同図（Ｂ）に示すウィンドウＳを同図（Ｃ）〜（Ｅ）に示すように徐々に右方向へ移動させ、移動されたウィンドウＳ内の各画像を切り出すことで、実際にカメラを右方向にパンして撮影されたような学習用コンテンツを生成できる。この学習用コンテンツでは、被写体（ビル）が徐々に左方向へ移動しているため、上記動きベクトルとして左方向への移動が検出されることとなる。同様に、ウィンドウ処理部２１２は、ウィンドウＳを左方向へ移動させることで、実際にカメラを左方向にパンして撮影したような学習用コンテンツを生成できる。この学習用コンテンツからは、動きベクトルとして被写体の右方向への移動が検出される。ウィンドウ処理部２１２は、ある学習用画像データＶについて、ウィンドウＳの右方向への移動によりカメラの右パンを模した学習用コンテンツを生成した後、当該右方向へ移動されたウィンドウＳを左方向へ戻すことで、左パンを模した学習用コンテンツを作成してもよい。上述のように、ウィンドウＳの移動速度は予め設定されているため、ウィンドウ処理部２１２は、これらの学習用コンテンツにおける被写体の移動量も容易に把握することができる。
【０１６８】
続いて、ウィンドウ処理部２１２は、上記ｎの値を１インクリメントしてｎ＝ｎ＋１に設定し（ステップ２４５）、当該インクリメントされたｎの値が、５を越えたか否かを判断する（ステップ２４６）。
【０１６９】
ｎの値が５を越えていない場合（Ｎｏ）、ウィンドウ処理部２１２は、上記ステップ２４３へ戻り、次のフィールド間の動きベクトルに対応したパン用の学習用コンテンツ生成処理を実行する。これにより、２／４／８／１６フィールド間の各動きベクトルに対応したパン用の学習用コンテンツが生成される。ｎの値が５を越えた場合（Ｙｅｓ）、ウィンドウ処理部２１２は、パン用の学習用コンテンツ生成処理を終了する。
【０１７０】
上記ステップ２４１において、ウィンドウ処理部２１２は、ウィンドウ処理用フラグｗが０ではないと判断した場合（Ｎｏ）、当該ウィンドウ処理用フラグｗが１であるか否かを判断する（ステップ２４７）。すなわち、ウィンドウ処理部２１２は、自身がウィンドウを垂直方向（上下方向）へ移動する処理を設定されているか否かを判断する（ステップ２４７）。
【０１７１】
続いて、ウィンドウ処理部２１２は、パン学習用の学習用コンテンツの生成処理と同様に、学習用画像データＶ内でウィンドウＳを垂直方向へ移動させることで、各フィールド間の垂直方向の動きベクトルに対応したチルト学習用の学習用コンテンツを生成する（ステップ２４８〜２５２）。すなわち、ウィンドウ処理部２１２は、実際にカメラを垂直方向にチルトして撮影したような学習用コンテンツを生成する。この場合、ウィンドウ処理部２１２は、例えば学習用画像データＶ内で上方向にウィンドウＳを上方向に移動させて、カメラの上チルトに模した学習用コンテンツを生成した後、当該上方向に移動されたウィンドウＳを下方向へ戻すことで、カメラの下チルトに模した学習用コンテンツを生成してもよい。
【０１７２】
上記ステップ２４７において、ウィンドウ処理部２１２は、ウィンドウ処理用フラグｗが１ではない（２である）と判断した場合（Ｎｏ）、ズーム学習用の学習用コンテンツの生成処理を実行する（ステップ２５３〜２５６）。すなわち、ウィンドウ処理部２１２は、学習用画像データＶ内でウィンドウＳを拡大縮小させることで、各フィールド間の拡大及び縮小の動きベクトルに対応したズーム学習用の学習用コンテンツを生成する。当該ズーム学習用の学習用コンテンツの生成処理の大まかな流れ（ｎの値の設定、速度設定等）は、上記パン及びチルト学習用の学習用コンテンツの生成処理と同様である。しかし、ズーム学習用の学習用コンテンツの生成処理は、ウィンドウＳの拡大及び縮小処理が行われる点で、上記パン用及びチルト学習用の学習用コンテンツの生成処理と異なっている。以下、この拡大及び縮小処理を中心に、当該ズーム学習用の学習用コンテンツの生成処理の詳細について説明する。  
図２７は、ズーム学習用の学習用コンテンツの生成処理を概念的に示した図である。  
同図に示すように、ウィンドウ処理部２１２は、縮小（ズームアウト）学習用の学習用コンテンツを生成する際、学習用画像データＶ内で、ウィンドウＳａと、それよりも面積が大きいウィンドウＳｂとを定義する。ウィンドウＳａ及びウィンドウＳｂのサイズは、学習用画像データＶのサイズを越えない範囲で設定される。そして、ウィンドウ処理部２１２は、ウィンドウＳａ内の画像データを、それよりも広域の画像を捉えたウィンドウＳｂ内の画像データへ、時間ｔａ（秒）の間で徐々に変化させる。これは、ウィンドウＳａをウィンドウＳｂまで徐々に拡大させ、拡大途中のウィンドウＳａにより切り出される各画像のサイズをウィンドウＳａのサイズに正規化することと等価である。
【０１７３】
またウィンドウ処理部２１２は、拡大（ズームイン）学習用の学習用コンテンツを生成する際、上記ウィンドウＳａに納められたウィンドウＳｂ内の画像データを、時間ｔｂ（秒）の間で徐々にウィンドウＳａ内の画像データへと戻す。これは、ウィンドウＳｂをウィンドウＳａまで徐々に縮小させ、縮小途中のウィンドウＳｂにより切り出される各画像のサイズをウィンドウＳａのサイズに正規化することと等価である。
【０１７４】
図２８は、ズームアウト（縮小）学習用の学習用コンテンツの生成処理の様子を示した図である。同図においては、説明を簡単にするため、１０×１０の画素データについての処理を示しているが、もちろん、他のサイズの画素データについての処理も同様に実行される。  
同図（Ａ）に示すように、ウィンドウ処理部２１２は、６×６画素の画素データを囲むウィンドウを上記ウィンドウＳａとし、１０×１０画素の画像データを囲むウィンドウを上記ウィンドウＳｂとして設定する。そして、ウィンドウ処理部２１２は、８×８画素の画素データのうち、水平方向の８画素を上記ウィンドウＳａに合わせて６画素に変化させ、垂直方向の８画素を上記ウィンドウＳａに合わせて６画素に変化させる。この処理は、処理開始からｔ１（秒）後に実行される。これにより、同図（Ｂ）に示すように、ウィンドウＳａ内の画像は、（６×６）／（８×８）＝０．５６倍に縮小される。
【０１７５】
そしてウィンドウ処理部２１２は、同図（Ａ）に示すように、最終的に、１０×１０画素の画素データのうち、水平方向の１０画素を上記ウィンドウＳａに合わせて６画素に変化させ、垂直方向の１０画素を上記ウィンドウＳａに合わせて６画素に変化させる。この処理は、処理開始からｔａ（秒）後に実行される。これにより、同図（Ｂ）に示すように、ウィンドウＳａ内の画像は、（６×６）／（１０×１０）＝０．３６倍に縮小される。
【０１７６】
図２９は、水平方向及び垂直方向で画素データ数を変化させる場合の演算手法について説明するための図である。  
同図（Ａ）及び（Ｂ）に示すように、例えば８画素のデータを６画素のデータに変化させる場合、変化後の画素データｅｋ（ｋ：０〜５）は、変化前の画素データｄｎ（ｎ：０〜７）を重み付け加算することで生成される。同図（Ｂ）に示すように、重み係数ｗｋｎは、変化前の画素データｄｎ（ｄ０〜ｄ７）と変化後の画素データｅｋ（ｅ０〜ｅ５）間の距離に比例して可変される。すなわち、変化前後の画素データ間の位置（距離）が近い場合には重み係数は大きく、遠い場合には重み係数は小さく設定される。例えば同図（Ａ）に示すように、画素データｅ０が生成される場合、画素データｅ０との距離が最小となる画素データｄ１についての重み係数ｗ０１が最大となり、画素データｅ１との距離が最大となる画素データｄ７についての重み係数ｗ０７が最小となる。ウィンドウ処理部２１２は、この処理を水平方向と垂直方向とでそれぞれ実行する。
【０１７７】
図３０は、ズームイン（拡大）学習用の学習用コンテンツの生成処理の様子を、上記図２８と同様に示した図である。  
同図に示すように、ウィンドウ処理部２１２は、上記ズームアウト（縮小）学習用の学習用コンテンツの生成処理で生成されたデータを基に戻すことで、ズームイン（拡大）学習用の学習用コンテンツを生成する。すなわち、同図（Ａ）に示すように、ウィンドウ処理部２１２は、上記図２８の処理により生成された、１０×１０画素から６×６画素に変化された画素データ（０．３６倍）を用いて処理を開始する。ウィンドウ処理部２１２は、当該１０×１０画素から６×６画素に変化された画素データを、ｔ２秒後に、８×８画素の画素データを６×６画素の画素データに変化させた画素データに変化させる。これにより、同図（Ｂ）に示すように、ウィンドウＳａ内の画像は、上記０．３６倍から、（６×６）／（８×８）＝０．５６倍に拡大される。
【０１７８】
そしてウィンドウ処理部２１２は、同図（Ａ）に示すように、最終的に、ｔｂ秒後に、ウィンドウＳａ内の６×６画素の画素データを、元の画素データに戻す。これにより、同図（Ｂ）に示すように、ウィンドウＳａ内の画像は、０．３６倍から１倍に拡大される。
【０１７９】
ウィンドウ処理部２１２は、上記ズームアウト用の学習用コンテンツ生成処理において生成されたデータを用いずに別個にズームイン用の学習用コンテンツを生成することも可能である。しかし、ズームアウト用の学習用コンテンツ生成処理で生成されたデータを用いた方が、新たなデータを生成する手間が省ける分、効率的である。
【０１８０】
図３１は、ズームアウト（縮小）用の学習用コンテンツ生成処理において、ウィンドウＳａ内の画像が変化する様子を示した図である。  
ウィンドウ処理部２１２は、同図（Ａ）及び（Ｂ）に示すように、学習用画像データＶ内でウィンドウＳａ及びＳｂを定義する。そして、ウィンドウ処理部２１２は、同図（Ｃ）〜（Ｆ）に示すように、ウィンドウＳａ内の画像をウィンドウＳｂ内の画像へと徐々に変化させることで、実際にカメラでズームアウトして撮影したような学習用コンテンツを生成することができる。この逆の処理により、実際にカメラでズームインして撮影したような学習用コンテンツが生成される。
【０１８１】
以上の処理により学習用コンテンツが生成されると、ウィンドウ処理部２１２は、その学習用コンテンツをＲＡＭ２またはＨＤＤ１０等に記憶する。この場合、上記ウィンドウＳの移動量や移動方向に関するデータも学習用コンテンツと対応付けられて記憶される。
【０１８２】
図２２に戻り、映像特徴検出部４の学習処理部２１３は、以上のように生成された学習用コンテンツを用いて学習処理を実行する（ステップ２２９）。すなわち、学習処理部２１３は、上記生成された学習用コンテンツをＲＡＭ２やＨＤＤ１０から読み出し、当該学習用コンテンツから動きベクトルを検出し、当該動きベクトルの有効／無効を判断する。学習処理部２１３は、学習用コンテンツ生成時におけるウィンドウＳの移動方向や移動量に関するデータも上記ＲＡＭ２やＨＤＤ１０等から取得できるため、検出された動きベクトルの有効／無効も容易に判断できる。すなわち、実際に検出された動きベクトルの移動量や移動方向が、学習用コンテンツ生成時に記憶されたウィンドウＳの移動量や移動方向に適合するか否かに応じて、動きベクトルの有効／無効が判断される。この学習処理は、上記２／４／８／１６フィールドの異なるフィールド間毎に実行される。
【０１８３】
そして学習処理部２１３は、動きベクトルの有効／無効のデータと、判別パラメータ（基準ブロックと参照ブロックとの間の残差、基準ブロック及び参照ブロックの平均値及び分散値）とを学習データとしてＲＡＭ２等に記憶する（ステップ２３０）。
【０１８４】
続いて、ウィンドウ処理部２１２は、上記ウィンドウ処理用フラグｗを１だけインクリメントし（ステップ２３２）、当該ウィンドウ処理用フラグｗの値が２を越えたか否かを判断する（ステップ２３３）。すなわちウィンドウ処理部２１２は、１つの学習用画像データから、上記パン、チルト、ズームの各学習用の学習用コンテンツを生成したか否かを判断する。ウィンドウ処理用フラグｗの値が２以下である場合（Ｎｏ）、ウィンドウ処理部は、ステップ２２７に戻り、当該インクリメント後のウィンドウ処理用フラグｗに対応する学習用コンテンツの生成処理を実行する。
【０１８５】
ウィンドウ処理用フラグｗの値が２を越えた場合（Ｙｅｓ）、判別処理部２１４は、上記学習データをＲＡＭ２等から読み出す（ステップ２３４）。判別処理部２１４は、当該学習データの読み出しを全て完了すると（ステップ２３５のＹｅｓ）、上記マッチング処理部２６、２８、３０、３２から、検出された動きベクトルの判別パラメータの入力を受ける（ステップ２３６）。そして、判別処理部２１４は、上述したように、当該入力された判別パラメータと、上記学習データのうち、有効な判別パラメータ群と無効な判別パラメータ群とのマハラノビス距離を演算することで、動きベクトルの有効／無効を判別する（ステップ２３７）。
【０１８６】
以上説明したように、本実施形態によれば、映像特徴検出部４は、上記学習用画像データ内でウィンドウ処理を実行することで、特性のばらつきが小さい学習用コンテンツを効率よく生成できる。これにより、映像特徴検出部４は、その学習用コンテンツを用いた学習処理及び当該学習処理の結果を用いた判別処理を正確に実行することができる。
【０１８７】
また映像特徴検出部４は、映像特徴検出対象の映像コンテンツを学習用映像コンテンツとしても用いることで、当該映像コンテンツから検出されるであろう動きベクトルを擬似的に生成して、当該動きベクトルの妥当性について学習することができる。したがって、映像特徴検出部４は、上記各マッチング処理部により実際に検出される動きベクトルと類似する動きベクトルの妥当性について学習することができる。すなわち、この場合にウィンドウ処理部２１２で生成される学習用コンテンツは、上記映像特徴検出対象の映像コンテンツを基にしながらも、それとは異なった映像コンテンツである。したがって、映像特徴検出部４は、当該映像特徴検出用の映像コンテンツから検出される可能性のある動きベクトルを網羅的に学習することができるため、当該実際に検出される動きベクトルの妥当性をより高精度に判別することができる。
【０１８８】
本実施形態においては、記録再生装置１００は、動きベクトルの有効／無効を、マハラノビス距離に基づく判別分析により実行した。しかしながら、記録再生装置１００は、例えばＳＶＭ（Support Vector Machine）、ニューラルネットワーク等の他の機械学習的な手法を用いて判別分析を実行してもよい。また、上記学習用コンテンツの生成処理は、動きベクトルの有効／無効の判断に上記判別関数が用いられる場合にも同様に適用することができる。
【０１８９】
上述の実施形態においては、判別関数の生成処理や、マハラノビス距離を用いた判別処理を行うための学習データの生成処理を、記録再生装置１００が実行していた。しかし、この判別関数や学習データは、他の装置により生成されて、種々のインタフェースを介して記録再生装置１００に入力され記憶されてもよい。
【図面の簡単な説明】
【０１９０】
【図１】本発明の一実施形態に係る記録再生装置の構成を示した図である。
【図２】本発明の一実施形態におけるカメラ特徴について示した図である。
【図３】本発明の一実施形態における映像編集特徴について示した図である。
【図４】本発明の一実施形態における映像特徴検出部の具体的構成を示したブロック図である。
【図５】本発明の一実施形態における判別関数の生成処理の流れを示したフローチャートである。
【図６】本発明の一実施形態における映像特徴検出部による映像特徴検出処理の大まかな流れを示したフローチャートである。
【図７】本発明の一実施形態における動きベクトル検出処理の流れを示したフローチャートである。
【図８】本発明の一実施形態における動きベクトル検出処理の機能ブロック図である。
【図９】本発明の一実施形態における合成動きベクトルの生成処理の概念図である。
【図１０】本発明の一実施形態におけるブロックマッチング処理の概念図である。
【図１１】本発明の一実施形態に係る記録再生装置による映像特徴推定処理の流れを示したフローチャートである。
【図１２】本発明の一実施形態において用いられるアフィン変換モデルを示した図である。
【図１３】本発明の一実施形態において重回帰分析によりアフィン係数を求める処理を示した図である。
【図１４】本発明の一実施形態におけるカメラ特徴の判定継続時間長の可変処理の流れを示したフローチャートである。
【図１５】本発明の一実施形態において、２フィールド間と１６フィールド間で検出される動きベクトルの移動量を、動きが速い場合及び動きが遅い場合について説明した図である。
【図１６】本発明の一実施形態における、動きベクトルが検出されたフィールド間に応じたカメラ特徴の判定継続時間長の可変処理について示したグラフである。
【図１７】本発明の一実施形態における、フェード／カット評価値の算出結果と、フィールドの経過との関係を、上記フィールド間隔毎に示したグラフである。
【図１８】本発明の一実施形態における、フェード／カット評価値の算出結果と、フィールドの経過との関係を、上記フィールド間隔毎に示したグラフである。
【図１９】本発明の一実施形態において判定された各映像特徴の判定結果を示した表である。
【図２０】本発明の他の実施形態における映像特徴検出部の具体的構成を示したブロック図である。
【図２１】本発明の他の実施形態における映像特徴検出部の構成を示したブロック図である。
【図２２】本発明の他の実施形態における学習用コンテンツ生成処理の大まかな流れを示したフローチャートである。
【図２３】本発明の他の実施形態におけるウィンドウ処理の詳細な流れを示すフローチャートである。
【図２４】本発明の他の実施形態において、静止画像が学習用画像データとして抽出される様子を示した図である。
【図２５】本発明の他の実施形態において、サンプル映像コンテンツからカット点の画像が学習用画像データとして抽出される様子を示した図である。
【図２６】本発明の他の実施形態においてパン用の学習用コンテンツが生成される様子を示した図である。
【図２７】本発明の他の実施形態におけるズーム学習用の学習用コンテンツの生成処理を概念的に示した図である。
【図２８】本発明の他の実施形態におけるズームアウト（縮小）学習用の学習用コンテンツの生成処理の様子を示した図である。
【図２９】本発明の他の実施形態において、水平方向及び垂直方向で画素データ数を変化させる場合の演算手法について説明するための図である。
【図３０】本発明の他の実施形態におけるズームイン（拡大）学習用の学習用コンテンツの生成処理の様子を、上記図２８と同様に示した図である。
【図３１】本発明の他の実施形態におけるズームアウト（縮小）用の学習用コンテンツ生成処理において、ウィンドウＳａ内の画像が変化する様子を示した図である。
【符号の説明】
【０１９１】
１…ＣＰＵ
２…ＲＡＭ
３…操作入力部
４…映像特徴検出部
１０…ＨＤＤ
１１…光ディスクドライブ
１６…ＡＶデコーダ
２１…ブロック処理部
２２…２フィールド間メモリ部
２３…４フィールド間メモリ部
２４…８フィールド間メモリ部
２５…１６フィールド間メモリ部
２６、２８、３０、３２…マッチング処理部
２７、２９、３１、３３…フェード／カット処理部
３４…動きベクトル処理部
３５…フェード／カット判定部
３６…カメラ特徴判定部
１００…記録再生装置
２１１…学習用画像抽出部
２１２…ウィンドウ処理部
２１３…学習処理部
２１４…判別処理部
Ｖ…学習用画像データ
Ｓａ…ウィンドウ
Ｓｂ…ウィンドウ
【図１】
2010033532.tif 000003
【図２】
2010033532.tif 000004
【図３】
2010033532.tif 000005
【図４】
2010033532.tif 000006
【図５】
2010033532.tif 000007
【図６】
2010033532.tif 000008
【図７】
2010033532.tif 000009
【図８】
2010033532.tif 000010
【図９】
2010033532.tif 000011
【図１０】
2010033532.tif 000012
【図１１】
2010033532.tif 000013
【図１２】
2010033532.tif 000014
【図１３】
2010033532.tif 000015
【図１４】
2010033532.tif 000016
【図１５】
2010033532.tif 000017
【図１６】
2010033532.tif 000018
【図１７】
2010033532.tif 000019
【図１８】
2010033532.tif 000020
【図１９】
2010033532.tif 000021
【図２０】
2010033532.tif 000022
【図２１】
2010033532.tif 000023
【図２２】
2010033532.tif 000024
【図２３】
2010033532.tif 000025
【図２４】
2010033532.tif 000026
【図２５】
2010033532.tif 000027
【図２６】
2010033532.tif 000028
【図２７】
2010033532.tif 000029
【図２８】
2010033532.tif 000030
【図２９】
2010033532.tif 000031
【図３０】
2010033532.tif 000032
【図３１】
2010033532.tif 000033