(57)【要約】【課題】探索先の単位画像の中から、探索元の単位画像と同一の単位画像を精度よく探索する。【解決手段】特徴量比較部８２は、探索元の動画像の一部である探索元画像と、探索先の動画像とを比較し、探索先の動画像の中から、探索元画像と一致する画像を探索先画像として探索し、比較結果予測部８４は、所定の予測演算を行い、その演算結果に基づいて、探索先の動画像の中から所定の画像を探索先画像として予測し、比較結果判定部８５は、探索先画像として、探索手段により探索された画像と予測手段により予測された画像とを比較し、その比較結果に基づいて、探索先画像の正当性を判定する。本発明は、例えば、情報処理装置に適用できる。【選択図】図７
2009302636.tif 000002
【特許請求の範囲】
【請求項１】
探索元の動画像の一部である探索元画像と、探索先の動画像とを比較し、前記探索先の動画像の中から、前記探索元画像と一致する画像を探索先画像として探索する探索手段と、
所定の予測演算を行い、その演算結果に基づいて、前記探索先の動画像の中から所定の画像を前記探索先画像として予測する予測手段と、
前記探索先画像として、前記探索手段により探索された前記画像と前記予測手段により予測された前記画像とを比較し、その比較結果に基づいて、前記探索手段による探索の正当性を判定する判定手段と
を備える情報処理装置。
【請求項２】
前記探索手段は、前記探索先の動画像を構成する画像のそれぞれについて、その画像のベクトルで表された特徴量と、前記探索元画像の前記特徴量との距離を演算することにより、前記探索元画像と前記探索先の動画像とを比較し、前記探索先の動画像の中から、所定の前記距離を有する画像を前記探索先画像として探索する
請求項１に記載の情報処理装置。
【請求項３】
前記探索元画像のうちの対象探索元画像の特徴量と、他の前記探索元画像の特徴量との関係性が高いか否かを判定する特徴量関係性判定手段をさらに備え、
前記予測手段は、前記関係性が高くないと判定された場合、前記対象探索元画像の特徴量を、前記探索先画像を予測するための特徴量から除外する
請求項１に記載の情報処理装置。
【請求項４】
前記特徴量関係性判定手段は、前記探索元画像の特徴量のそれぞれについて、所定の前記探索元画像の特徴量との差分を計算し、前記対象探索元画像の特徴量についての前記差分と、他の前記探索元画像の特徴量についての前記差分との大小関係に基づいて、前記対象探索元画像の特徴量と、他の前記探索元画像の特徴量との関係性が高いか否かを判定する
請求項３に記載の情報処理装置。
【請求項５】
前記予測手段は、注目探索元画像を設定し、他の１の前記探索元画像について探索された前記探索先画像の時間的な位置と、前記注目探索元画像と他の１の前記探索元画像との時間的な位置関係とに基づいて、前記注目探索元画像についての前記探索元画像を予測する
請求項４に記載の情報処理装置。
【請求項６】
前記予測手段は、注目探索元画像を設定し、他の複数の前記探索元画像についてそれぞれ探索された前記探索先画像の時間的な位置と、前記注目探索元画像と他の複数の前記探索元画像それぞれとの時間的な位置関係とに基づいて、前記注目探索元画像についての前記探索元画像を予測する
請求項４に記載の情報処理装置。
【請求項７】
他の複数の前記探索元画像のうちの少なくとも１つの時間的な位置は、前記注目探索元画像よりも後の位置である
請求項６に記載の情報処理装置。
【請求項８】
情報処理装置が、
探索元の動画像の一部である探索元画像と、探索先の動画像とを比較し、前記探索先の動画像の中から、前記探索元画像と一致する画像を探索先画像として探索し、
所定の予測演算を行い、その演算結果に基づいて、前記探索先の動画像の中から所定の画像を前記探索先画像として予測し、
前記探索先画像として、探索された前記画像と予測された前記画像とを比較し、その比較結果に基づいて、前記探索先画像の探索の正当性を判定する
ステップを含む情報処理方法。
【請求項９】
コンピュータが実行するステップとして、
探索元の動画像の一部である探索元画像と、探索先の動画像とを比較し、前記探索先の動画像の中から、前記探索元画像と一致する画像を探索先画像として探索し、
所定の予測演算を行い、その演算結果に基づいて、前記探索先の動画像の中から所定の画像を前記探索先画像として予測し、
前記探索先画像として、探索された前記画像と予測された前記画像とを比較し、その比較結果に基づいて、前記探索先画像の探索の正当性を判定する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、例えば、探索先の単位画像の中から、探索元の単位画像と同一の単位画像を精度よく探索することができるようになった情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像データを編集する従来の編集手法として、オリジナルの画像データを構成するフレームの幾つかに、編集のための処理を施し、処理後のフレームを含む編集後の画像データを記録する、といった手法が存在する。
【０００３】
この従来の編集手法において、例えば、図１に示されるように、オリジナルの画像データを構成するフレームP1、P2、P3、・・・のうちのフレームP2について、編集のための処理を指示するユーザ操作（以下、編集操作と称する）として、図中点線で囲まれた部分の拡大を指示する編集操作Eが行われたとする。この場合、フレームP2に対して、編集操作Eに従って拡大処理が施され、処理後のフレームP’2を含むフレームP1、P’2、P3・・・で構成される編集後の画像データが記録される。
【０００４】
しかしながら、オリジナルの画像データがCOPY ONCEの画像データである場合、編集後の画像データを記録できないことから、上述の従来の編集手法は適用できない。
【０００５】
そこで、オリジナルの画像データに処理を施すことなく、オリジナルの画像データの各回の再生時に、再生されたフレームのうち、初回の再生や編集時になされた編集操作がなされたフレームに対してその編集操作により指示される処理を施し、処理後のフレームを含む編集後の画像データを表示する編集手法が提案されている（例えば、特許文献１参照）。
【０００６】
この特許文献１の編集手法では、例えば、図２に示されるように、オリジナルの画像データの初回の再生や編集時に、再生された画像データを構成するフレームP1乃至P3から、それぞれ、特徴量U1乃至U3が抽出される。ここで、図１における場合と同様に、フレームP2に対して編集操作Eが行われたとする。この場合、フレームP2から抽出された特徴量U2と編集操作Eとが対応付けられて保持される。その後、オリジナルの画像データの２回目以降の再生時に、再生された画像データを構成する各フレームから特徴量が抽出される。次に、保持されている特徴量の中から、抽出された特徴量と同一の特徴量が検出される。なお、以下、この特徴量の検出を特徴量のマッチングと称する。この特徴量のマッチングにより、例えば、保持されている特徴量U2と同一の特徴量が検出された場合、その特徴量が抽出されたフレームに対して、編集操作Eの指示に従った処理が施される。このようにして、２回目以降の再生時に再生された画像データを構成するフレームのうち、初回の編集時になされた編集操作がなされたフレームと同一のフレームに対して、その編集操作により指示される処理が施される。その結果、処理後のフレームを含む編集後の画像データを表示することが可能となる。
【特許文献１】特開２００７−３００４７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上説明したように、上述した特許文献１の編集手法では、初回の再生や編集時に再生された画像データを構成するフレームの中から、２回目以降の再生時に再生されたフレームの特徴量と同一の特徴量を有するフレームが、同一のフレームとして探索される。
【０００８】
ここで、初回の再生や編集時に再生された画像データが、探索される側の画像データとなっている。この探索される側の画像データを、以下、探索先の画像データと称する。また、２回目以降の再生時の画像データが、探索の対象とされる側の画像データとなっている。探索の対象とされる側の画像データを、以下、探索元の画像データと称する。
【０００９】
この同一のフレームを探索するフレーム探索技術は、各回の再生時に再生されるフレームに完全再現性があり、したがって、各回の再生時に再生されるフレームから抽出される特徴量にも完全再現性があることが前提となっている。
【００１０】
しかしながら、再生機によって記録媒体から画像データが再生される場合、同一再生機によって同一記録媒体から画像データが再生されても、ノイズや信号処理によって、各回の再生時に再生されるフレームの完全再現性が損なわれることが確認されている。
【００１１】
一方、上述した特許文献１の編集手法では、再生回が異なる２つの画像データを、それぞれ、探索先の画像データ、探索元の画像データとしている。そのため、探索先の画像データの中から、探索元のフレームと同一のフレームを探索しても、同一のフレームを見つけることができない場合がある。
【００１２】
以上、処理単位がフレームである場合を例に説明したが、処理単位をフィールドにしても同様の問題が発生する。以下、このようなフィールドやフレームといった画像データの処理単位を、単位画像と称する。即ち、この問題は、単位画像を探索する従来の探索手法についても同様に生じる問題である。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、探索先の単位画像の中から、探索元の単位画像と同一の単位画像を精度よく探索できるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の情報処理装置は、探索元の動画像の一部である探索元画像と、探索先の動画像とを比較し、前記探索先の動画像の中から、前記探索元画像と一致する画像を探索先画像として探索する探索手段と、所定の予測演算を行い、その演算結果に基づいて、前記探索先の動画像の中から所定の画像を前記探索先画像として予測する予測手段と、前記探索先画像として、前記探索手段により探索された前記画像と前記予測手段により予測された前記画像とを比較し、その比較結果に基づいて、前記探索手段による探索の正当性を判定する判定手段とを備える。
【００１５】
前記探索手段には、前記探索先の動画像を構成する画像のそれぞれについて、その画像のベクトルで表された特徴量と、前記探索元画像の前記特徴量との距離を演算することにより、前記探索元画像と前記探索先の動画像とを比較させ、前記探索先の動画像の中から、所定の前記距離を有する画像を前記探索先画像として探索させることができる。
【００１６】
本発明の一側面の情報処理装置には、前記探索元画像のうちの対象探索元画像の特徴量と、他の前記探索元画像の特徴量との関係性が高いか否かを判定する特徴量関係性判定手段をさらに設け、前記予測手段には、前記関係性が高くないと判定された場合、前記対象探索元画像の特徴量を、前記探索先画像を予測するための特徴量から除外させることができる。
【００１７】
前記特徴量関係性判定手段には、前記探索元画像の特徴量のそれぞれについて、所定の前記探索元画像の特徴量との差分を計算し、前記対象探索元画像の特徴量についての前記差分と、他の前記探索元画像の特徴量についての前記差分との大小関係に基づいて、前記対象探索元画像の特徴量と、他の前記探索元画像の特徴量との関係性が高いか否かを判定させることができる。
【００１８】
前記予測手段には、注目探索元画像を設定させ、他の１の前記探索元画像について探索された前記探索先画像の時間的な位置と、前記注目探索元画像と他の１の前記探索元画像との時間的な位置関係とに基づいて、前記注目探索元画像についての前記探索元画像を予測させることができる。
【００１９】
前記予測手段には、注目探索元画像を設定させ、他の複数の前記探索元画像についてそれぞれ探索された前記探索先画像の時間的な位置と、前記注目探索元画像と他の複数の前記探索元画像それぞれとの時間的な位置関係とに基づいて、前記注目探索元画像についての前記探索元画像を予測させることができる。
【００２０】
他の複数の前記探索元画像のうちの少なくとも１つの時間的な位置は、前記注目探索元画像よりも後の位置であるようにすることができる。
【００２１】
本発明の一側面の情報処理方法またはプログラムは、情報処理装置が、探索元の動画像の一部である探索元画像と、探索先の動画像とを比較し、前記探索先の動画像の中から、前記探索元画像と一致する画像を探索先画像として探索し、所定の予測演算を行い、その演算結果に基づいて、前記探索先の動画像の中から所定の画像を前記探索先画像として予測し、前記探索先画像として、探索された前記画像と予測された前記画像とを比較し、その比較結果に基づいて、前記探索先画像の探索の正当性を判定するステップを含む。
【００２２】
本発明の一側面においては、探索元の動画像の一部である探索元画像と、探索先の動画像とが比較され、前記探索先の動画像の中から、前記探索元画像と一致する画像が探索先画像として探索され、所定の予測演算が行われ、その演算結果に基づいて、前記探索先の動画像の中から所定の画像が前記探索先画像として予測され、前記探索先画像として、探索された前記画像と予測された前記画像とが比較され、その比較結果に基づいて、探索の正当性が判定される。
【発明の効果】
【００２３】
本発明によれば、探索先の単位画像の中から探索元の単位画像と同一の単位画像を探索することができる。特に、探索先の単位画像の中から探索元の単位画像と同一の単位画像を精度よく探索することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２５】
図３は、本発明を適用した編集システム１０の一実施の形態の構成例を示す図である。
【００２６】
編集システム１０は、上述した特許文献１の編集手法と同様に、オリジナルの画像データに処理を施すことなく、オリジナルの画像データの２回目以降の再生時に再生されたフレームのうち、初回の再生や編集時になされた編集操作がなされたフレームに対してその編集操作により指示される処理を施し、処理後のフレームを含む編集後の画像データを表示する。
【００２７】
編集システム１０は、画像再生部１２、画像処理装置１３、リモートコントローラ１４、及び表示部１５から構成されている。また、編集システム１０には、例えば、DVD（Digital Versatile Disc）等の記録メディア１１が装着されている。この記録メディア１１には、画像データを含むコンテンツが予め記録されている。この画像データは、所定の形式でエンコードされた状態で記録メディア１１に記録されている。
【００２８】
画像再生部１２は、画像データを構成する各フレームを順次デコードし、画像処理装置１３に順次供給する。
【００２９】
画像処理装置１３は、画像再生部１２からのフレームを用いて、後述する画像処理を実行する。なお、画像処理の詳細は、図４を参照して後述する。
【００３０】
リモートコントローラ１４は、キーやボタン等から構成される。リモートコントローラ１４は、フレームに対する処理等を指示するときにユーザにより操作され、その操作に応じて操作信号を発生する。また、リモートコントローラ１４は、発生した操作信号に応じて赤外線等からなる発光パターンを生成し、画像処理装置１３の受光部４４に発光する。
【００３１】
表示部１５は、画像処理装置１３から供給される画像データに基づいて、画像を表示する。
【００３２】
次に、画像処理装置１３の構成例について説明する。
【００３３】
画像処理装置１３は、特徴量抽出部４１、フレームマッチング処理部４２、記録ブロック４３、受光部４４、操作情報認識部４５、設定情報決定部４６、遅延部４７、及び反映部４８から構成される。
【００３４】
特徴量抽出部４１は、画像再生部１２から供給されるフレームから特徴量を抽出し、フレームマッチング処理部４２、及び記録ブロック４３の後述する特徴量設定情報記録部６１に供給する。
【００３５】
いま、画像再生部１２により２回目以降の再生時の画像データが出力されているとする。この場合、フレームマッチング処理部４２は、特徴量抽出部４１からの特徴量に対応するフレームを探索元のフレームとし、記録ブロック４３の特徴量設定情報記録部６１に記録されている特徴量に対応するフレームを探索先のフレームとする。すなわち、初回の再生や編集時の画像データを構成するフレームを探索先のフレームとする。フレームマッチング処理部４２は、探索先のフレームの中から、探索元のフレームと同一のフレームを探索するフレームマッチング処理を実行する。
【００３６】
すなわち、例えば、フレームマッチング処理部４２は、特徴量抽出部４１からの探索元の特徴量と、特徴量設定情報記録部６１に記録されている探索先の特徴量とを比較する。フレームマッチング処理部４２は、それらの特徴量の比較結果に基づいて、探索先のフレームの中から、探索元の特徴量と所定の関係にある探索先の特徴量を有する探索先のフレームを同一のフレームとして探索する。また、フレームマッチング処理部４２は、所定の予測演算を行い、その演算結果に基づいて、探索先の画像データの中から所定の画像を同一のフレームとして予測する。さらに、フレームマッチング処理部４２は、探索された探索先のフレームと、予測された探索先のフレームを比較し、その比較結果に基づいて、同一のフレームの探索の正当性を判定する。なお、この判定処理の詳細については後述する。フレームマッチング処理部４２は、その判定結果を表す判定情報と、探索された探索先のフレームについての特徴量の記録ブロック４３における記録位置とを特徴量設定情報読出部６２に供給する。
【００３７】
記録ブロック４３は、特徴量設定情報記録部６１及び特徴量設定情報読出部６２から構成される。特徴量設定情報記録部６１は、画像再生部１２により初回の再生や編集時の画像データが出力されている場合、特徴量抽出部４１からの探索先の特徴量を記録する。特徴量設定情報記録部６１は、設定情報決定部４６から後述する設定情報が供給された場合、その設定情報を、記録している探索先の特徴量と対応付けて記録する。なお、この設定情報が記録されることにより、前述の編集操作の記録がなされることになる。特徴量設定情報読出部６２は、フレームマッチング処理部４２からの特徴量の記録位置から、探索された探索先のフレームの特徴量を特定する。特徴量設定情報読出部６２は、その特徴量に対応付けて記録されている設定情報がある場合、その設定情報を設定情報決定部４６に供給する。
【００３８】
受光部４４は、リモートコントローラ１４からの光を、その発光パターンに基づいて、リモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。
【００３９】
操作情報認識部４５は、操作信号に基づいて、リモートコントローラ１４に対する編集操作等のユーザ操作を認識する。操作情報認識部４５は、編集操作を認識した場合、その編集操作に関する操作情報を認識結果として特徴量設定情報記録部６１及び設定情報決定部４６に供給する。なお、操作情報認識部４５は、リモートコントローラ１４からの操作信号に基づいて、記録ブロック４３の状態をオン状態またはオフ状態に制御することも可能である。
【００４０】
設定情報決定部４６は、操作情報認識部４５からの操作情報に基づいて、フレームに施す処理内容を反映部４８に対して指示するための設定情報を決定し、特徴量設定情報記録部６１及び反映部４８に供給する。また、設定情報決定部４６は、特徴量設定情報読出部６２から設定情報が供給された場合、その設定情報をそのまま反映部４８に供給する。
【００４１】
上述した設定情報とは、フレームへの処理内容を示す情報をいう。すなわち、設定情報としては、例えば、ズーム倍率や、ズームの中心位置といった情報を採用することができる。
【００４２】
遅延部４７は、画像再生部１２から供給されるフレームを一時的に記憶し、所定の遅延時間だけ遅延させて、反映部４８に供給する。
【００４３】
反映部４８は、設定情報決定部４６から設定情報が供給された場合、その設定情報に基づいて、遅延部４７からのフレームに処理を施し、処理後のフレームを表示部１５に表示させる。これにより、ユーザ操作の操作内容が表示画像に反映される。また、反映部４８は、設定情報決定部４６から設定情報が供給されない場合、遅延部４７からのフレームに処理を施さず、そのまま表示部１５に表示させる。
【００４４】
次に、図４のフローチャートを参照して、画像処理装置１３による画像処理の一例について説明する。なお、以降の説明においては、記録ブロック４３の状態は、オン状態に制御されているとする。
【００４５】
ステップＳ１において、特徴量抽出部４１は、画像処理装置１３に入力されるフレームのフレーム番号Nを1に初期化する。
【００４６】
ステップＳ２において、特徴量抽出部４１は、新しいフレームが画像処理装置１３に入力されたか否かを判定する。
【００４７】
画像再生部１２から新しいフレームが入力されない限り、ステップＳ２においてＮＯであると判定されて、処理はステップＳ２に戻され、ステップＳ２の処理が繰り返される。
【００４８】
その後、新しいフレームが画像再生部１２から入力されると、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。ステップＳ３において、遅延部４７は、入力されたフレームをフレーム番号Nのフレームとして記憶し、例えば、１フレーム分の遅延時間だけ遅延させる。
【００４９】
ステップＳ４において、特徴量抽出部４１は、フレーム番号Nのフレームから特徴量を抽出する。この特徴量は、フレームマッチング処理部４２及び特徴量設定情報記録部６１に供給される。なお、この特徴量を、以下、フレーム番号Nの特徴量と称する。
【００５０】
ステップＳ５において、操作情報認識部４５は、リモートコントローラ１４に対して編集操作があったか否かを判定する。
【００５１】
フレーム番号Nのフレームに対する編集操作が操作信号から認識されなかった場合、ステップＳ５においてＮＯであると判定され、処理はステップＳ１０に進む。但し、ステップＳ１０以降の処理については後述する。
【００５２】
これに対して、フレーム番号Nのフレームに対する編集操作が操作信号から認識された場合、ステップＳ５においてＹＥＳであると判定され、処理はステップＳ６に進む。
【００５３】
ステップＳ６において、操作情報認識部４５は、認識した編集操作に関する操作情報を認識結果として、特徴量設定情報記録部６１及び設定情報決定部４６に供給する。設定情報決定部４６は、操作情報に基づいて、フレーム番号Nについての設定情報を決定し、特徴量設定情報記録部６１及び反映部４８に供給する。
【００５４】
ステップＳ７において、特徴量設定情報記録部６１は、特徴量抽出部４１からのフレーム番号Nの特徴量と、設定情報決定部４６からのフレーム番号Nの設定情報とを対応付けて記録する。
【００５５】
ステップＳ８において、遅延部４７は、遅延しているフレーム番号Nのフレームを反映部４８に供給する。反映部４８は、設定情報に基づいて、フレーム番号Nのフレームに処理を施し、処理後のフレーム番号Nのフレームを表示部１５に表示させる。
【００５６】
ステップＳ９において、操作情報認識部４５は、画像処理の終了が指示されたか否かを判定する。
【００５７】
画像処理の終了を指示するユーザ操作が操作信号から認識された場合、ステップＳ９においてＹＥＳであると判定され、画像処理は終了する。
【００５８】
これに対して、画像処理の終了を指示するユーザ操作が操作信号から認識されなかった場合、ステップＳ９においてＮＯであると判定され、ステップＳ１０に進む。ステップＳ１０において、特徴量抽出部４１は、フレーム番号Nを1だけインクリメントする。そして、処理はステップＳ２に戻され、それ以降の処理が繰り返される。
【００５９】
上述したように、ステップＳ５においてＮＯであると判定された場合、処理はステップＳ１１に進む。ステップＳ１１において、特徴量設定情報記録部６１は、特徴量を記録するか否かを判定する。
【００６０】
このステップＳ１１の判定処理自体は特に限定されない。但し、例えば、本実施の形態では、画像再生部１２により初回の再生時の画像データが出力されている場合、特徴量を記録すると判定する。これに対して、画像再生部１２により２回目以降の再生時の画像データが出力されている場合、特徴量を記録しないと判定する。
【００６１】
画像再生部１２により初回の再生時の画像データが出力されている場合、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。ステップＳ１２において、特徴量設定情報記録部６１は、特徴量抽出部４１からの特徴量を記録する。その後、処理はステップＳ１７に進む。但し、ステップＳ１７以降の処理については後述する。
【００６２】
これに対して、画像再生部１２により２回目以降の再生時の画像データが出力されている場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１３に進む。
【００６３】
ステップＳ１３において、フレームマッチング処理部４２は、探索先の画像データの中から、探索元のフレームと同一のフレームを探索するフレームマッチング処理を実行する。
【００６４】
すなわち、例えば、フレームマッチング処理部４２は、特徴量抽出部４１からの探索元の特徴量と、特徴量設定情報記録部６１に記録されている探索先の特徴量とを比較する。フレームマッチング処理部４２は、それらの特徴量の比較結果に基づいて、探索先の画像データの中から、探索元の特徴量と所定の関係にある探索先の特徴量を有する探索先のフレームを同一のフレームとして探索する。また、フレームマッチング処理部４２は、所定の予測演算を行い、その演算結果に基づいて、探索先の画像データの中から所定の画像を同一のフレームとして予測する。さらに、フレームマッチング処理部４２は、探索された探索先のフレームと、予測された探索先のフレームとを比較し、その比較結果に基づいて、同一のフレームの探索は成功したか否かを判定する。フレームマッチング処理部４２は、その判定結果を表す判定情報と、例えば、探索された同一のフレームについての特徴量の記録位置とを特徴量設定情報読出部６２に供給する。なお、フレームマッチング処理の詳細は、図５等を参照して後述する。
【００６５】
ステップＳ１４において、特徴量設定情報読出部６２は、フレーム番号Nのフレームについての同一のフレームの探索は成功だったか否かを判定する。
【００６６】
フレーム番号Nのフレームについての同一のフレームの探索は失敗との判定結果を表す判定情報がフレームマッチング処理部４２から供給されると、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１７に進む。但し、ステップＳ１７以降の処理については後述する。
【００６７】
これに対して、フレーム番号Nのフレームについての同一のフレームの探索は成功との判定結果を表す判定情報がフレームマッチング処理部４２から供給されると、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
【００６８】
ステップＳ１５において、特徴量設定情報読出部６２は、探索された探索先のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されているか否かを判定する。
【００６９】
探索された探索先のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されている場合、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１６に進む。ステップＳ１６において、特徴量設定情報読出部６２は、探索された同一フレームの特徴量に対応する設定情報を読み出し、設定情報決定部４６に供給する。設定情報決定部４６は、読み出した設定情報を、フレーム番号Nの設定情報として反映部４８に供給する。その後、処理はステップＳ８に戻され、それ以降の処理が同様に実行される。
【００７０】
これに対して、探索された探索先のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されていない場合、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１７に進む。
【００７１】
ステップＳ１７において、遅延部４７は、遅延しているフレーム番号Nのフレームを反映部４８に供給する。反映部４８は、フレーム番号Nのフレームを、そのまま表示部１５に表示させる。そして、処理はステップＳ９に戻され、それ以降の処理が同様に実行される。
【００７２】
次に、図５を参照して、フレームマッチング処理部４２が図４のステップＳ１３で実行するフレームマッチング処理の概要について説明する。
【００７３】
図５において、フレームは、横長の長方形として模式的に示されている。
【００７４】
図５Ａ乃至図５Ｄの上段には、探索元の画像データの一部であって同一のフレームの探索及び予測に用いる探索元のフレーム（以下、探索元画像と称する）PMn、PMm、PMx、PMzが示されている。なお、探索元画像を表す符号の添え字は、そのフレーム番号を表すとする。探索元画像PMn乃至PMzを特に区別する必要がない場合は、探索元画像PMと称する。
【００７５】
図５Ａ、図５Ｂ、図５Ｃ、及び図５Ｄの下段には、探索先のフレームPS1、PS2、・・・のうちのPS1乃至PS9が示されている。なお、探索先のフレームを表す符号の数字部分は、そのフレーム番号を表すとする。探索先のフレームPS1、PS2、・・・を特に区別する必要がない場合は、探索先のフレームPSと称する。
【００７６】
図５Ａ、図５Ｂ、図５Ｃ、及び図５Ｄでは、探索先のフレームPS1、PS2、・・・は、時刻軸tに沿って、再生時刻が早い順に図中左から右に向かって並べられている。同様に、探索元画像PMn乃至PMzは、再生時刻が早い順に図中左から右に向かって並べられている。但し、探索元画像PMn乃至PMzは、探索先のフレームPS1、PS2、・・・とは異なる時間帯に再生されたフレームである。したがって、当然ながら、探索元画像PMn乃至PMzは、時刻軸tとは全く異なる時刻軸に沿って並べられている点に留意すべきである。
【００７７】
なお、探索元画像PMの数は、通常、探索先のフレームPSの数より少なくなっている。
【００７８】
以上の前提は、後述する図１１及び図１２においても同様である。
【００７９】
以降においては、探索元画像の特徴量を探索先特徴量と称する。また、探索先のフレームの特徴量を探索先の特徴量と称する。
【００８０】
さらに、探索元画像PMn、PMm、PMx、PMzそれぞれの探索元特徴量を、Ui,n、Ui,m、Ui,x、Ui,zと称する。探索先のフレームPS1、PS2、・・・それぞれの探索先の特徴量を、UD,1、UD,2、・・・とする。なお、探索元特徴量Ui,n乃至Ui,zを特に区別する必要がない場合、探索元特徴量Uiと称する。探索先の特徴量UD,1、UD,2、・・・を特に区別する必要がない場合、探索先の特徴量UDと称する。
【００８１】
フレームマッチング処理部４２は、探索元画像のうち、探索対象として注目している探索元画像を注目探索元画像に設定する。フレームマッチング処理部４２は、探索先の画像データの中から、注目探索元画像と同一のフレームを探索する。なお、この探索された探索先のフレームを、以下、適宜、探索先画像と称する。フレームマッチング処理部４２は、所定の予測演算を行い、その演算結果に基づいて、探索先のフレームの中から所定のフレームを探索先画像として予測する。さらに、フレームマッチング処理部４２は、探索された探索先画像と、予測された探索先画像とを比較し、その比較結果に基づいて、注目探索元画像と同一のフレームの探索は成功したか否かを判定する。
【００８２】
図５では、探索元画像PMzが注目探索元画像とされ、探索先の画像データの中から、注目探索元画像PMzと同一のフレームが探索される。また、探索先の画像データの中から所定のフレームが、注目探索元画像PMzと同一のフレームとして予測される。この予測される同一のフレームを、以下、適宜、正解のフレームと称する。
【００８３】
まず、探索元画像PMn乃至PMxについての探索元特徴量Ui,n乃至Ui,xが、正解の探索先画像の予測に用いる特徴量として予め用意される。この探索元特徴量Uiは、複数フレーム分とされているが、単一フレーム分であっても構わない。
【００８４】
フレームマッチング処理部４２は、探索元特徴量Ui,n乃至Ui,xのうちの１つを対象探索元特徴量に設定し、その対象探索元特徴量と他の探索元特徴量とを比較することで、対象探索元特徴量と、他の探索元特徴量との関係性が高いか否かを判定する。フレームマッチング処理部４２は、例えば、その関係性が高くないと判定された場合、対象探索元特徴量を探索先画像の予測に用いないようにする。これにより、探索先画像の予測に用いる探索元特徴量の性質を揃えることができる。
【００８５】
次に、フレームマッチング処理部４２は、注目探索元画像の特徴量を除く各探索元特徴量Uiと、探索先のすべての特徴量とを比較する。フレームマッチング処理部４２は、その比較結果に基づいて、探索先の画像データの中から、探索元特徴量と所定の関係にある探索先の特徴量を有する探索先のフレームを探索先画像として探索する。
【００８６】
例えば、図５Ａでは、探索元画像PMnに対して、探索先のフレームPS2が探索先画像として探索されている。図５Ｂでは、探索元画像PMmに対して、探索先のフレームPS7が探索先画像として探索されている。図５Ｃでは、探索元画像PMXに対して、探索先のフレームPS4が探索先画像として探索されている。
【００８７】
次に、フレームマッチング処理部４２は、注目探索元画像以外の他の探索元画像に対して探索された探索先画像のそれぞれについての時間的な位置と、注目探索元画像と他の探索元画像との時間的な位置関係とから、正解のフレームを予測する。
【００８８】
例えば、図５Ｄに示されるように、フレームマッチング処理部４２は、探索元画像PMn乃至PMxに対して探索された探索先画像PS2、PS7、PS4のそれぞれについてのフレーム番号2、7、4と、注目探索元画像PMzのフレーム番号zと他の探索元画像のフレーム番号との関係とから、正確の探索先画像を予測する。ここで、注目探索元画像PMzのフレーム番号zと探索元画像PMnのフレーム番号nの関係は、図５Ａに示されるように、例えば、関係式z=f(n)で表される。注目探索元画像PMzのフレーム番号zと探索元画像PMmのフレーム番号mの関係は、図５Ａに示されるように、例えば、関係式z=f(m)で表される。注目探索元画像PMzのフレーム番号zと探索元画像PMxのフレーム番号xの関係は、図５Ａに示されるように、例えば、関係式z=f(x)で表される。図５Ｄでは、探索元画像PMn乃至PMxに対する探索先画像のフレーム番号と、注目探索元画像PMzと探索元画像PMn乃至PMxのそれぞれとのフレーム番号の関係とから、正解のフレームとして探索先画像PS6が予測されている。
【００８９】
次に、フレームマッチング処理部４２は、注目探索元画像の探索元特徴量と、探索先のすべての特徴量とを比較する。フレームマッチング処理部４２は、その比較結果に基づいて、探索先の画像データの中から、注目探索元画像の特徴量と所定の関係にある探索先の特徴量を有する探索先のフレームを探索先画像として探索する。
【００９０】
例えば、図５Ｄでは、注目探索元画像PMzに対する探索先画像として、探索先のフレームPS6が探索されている。
【００９１】
フレームマッチング処理部４２は、注目探索元画像に対して探索された探索先画像と、予測された正解の探索先画像とを比較し、その比較結果に基づいて、注目探索元画像についての探索先画像の探索は成功したか否かを判定する。
【００９２】
例えば、図５Ｄでは、フレームマッチング処理部４２は、注目探索元画像PMzに対して探索された探索先画像PS6と、予測された正解の探索先画像PS6とを比較する。そして、フレームマッチング処理部４２は、それらが一致するので、注目探索元画像PMzについての同一のフレームの探索は成功したと判定する。これに対して、図示はされていないが、注目探索元画像PMzについて探索された探索先画像と、予測された正解の探索先画像とが一致しない場合、フレームマッチング処理部４２は、注目探索元画像PMzについての同一のフレームの探索は失敗したと判定する。
【００９３】
なお、フレームマッチング処理のより具体的な内容については、図７乃至図１３を参照して後述する。
【００９４】
以上のように、フレームマッチング処理部４２は、フレームマッチング処理を行うことにより、探索された注目探索元画像と同一の探索先画像と、予測された正解の探索元画像とが一致することを確認する。これにより、ノイズ等によって信号劣化が生じた場合でも、探索先のフレームの中から、精度よく探索元のフレームと同一のフレームを探索することができる。
【００９５】
次に、図６を参照して、特徴量設定情報記録部６１における探索先特徴量と設定情報の記録位置の一例について説明する。
【００９６】
図６において、特徴量設定情報記録部６１内における上側の長方形の枠は、探索先の特徴量Uの記憶領域を示し、下側の長方形の枠は、設定情報Fの記憶領域を示している。各記憶領域では、図示せぬ行ごとに図中左から右に向かってアドレスが付され、その行の右端に達すると、その下の行の左端から続けてアドレスが付されるとする。それ以降の行についても同様である。
【００９７】
特徴量設定情報記録部６１では、探索先の特徴量UD、1は、所定のアドレスAという記録位置に記録され、また、探索先の特徴量UD、1に対応付けられた設定情報F1がある場合、その設定情報F1は、アドレスAのm倍のアドレスm×Aという記録位置に記録される。その次の探索先の特徴量U D、2は、アドレスAに１特徴量分の増分aが加算されたアドレスA+aという記録位置に記録され、また、探索先の特徴量U D、2に対応付けられた設定情報F2がある場合、その設定情報F2は、アドレスA+aのm倍のアドレスm×(A+a) という記録位置に記録される。その次の探索先の特徴量UD、3がアドレスA+aから１特徴量分の増分aが加算されたアドレスA+2aという記録位置に記録され、また、探索先の特徴量UD、3に対応付けられた設定情報F3がある場合、その設定情報F3は、アドレスA+2aのm倍のアドレスm×(A+2a) という記録位置に記録される。
【００９８】
図７は、フレームマッチング処理部４２の構成例を示すブロック図である。
【００９９】
フレームマッチング処理部４２は、特徴量関係性判定部８１、特徴量比較部８２、比較結果記録部８３、比較結果予測部８４、及び比較結果判定部８５から構成される。
【０１００】
特徴量関係性判定部８１は、特徴量抽出部４１からの探索元特徴量の１つを対象探索元特徴量として設定する。特徴量関係性判定部８１は、対象探索元特徴量と、他の探索元特徴量との関係性が高いか否かを判定する。そして、特徴量関係性判定部８１は、対象探索元特徴量と、他の探索元特徴量との関係性が高いと判定した場合に限り、対象探索元特徴量を特徴量比較部８２に供給する。
【０１０１】
特徴量比較部８２は、特徴量関係性判定部８１からの探索元特徴量に対応する探索元画像のうちの１つを注目探索元画像に設定する。特徴量比較部８２は、注目探索元画像を含む特徴量関係性判定部８１からの探索元特徴量と、特徴量設定情報記録部６１に記録されている探索先の特徴量とを比較する。特徴量比較部８２は、それらの特徴量の比較結果に基づいて、探索先の画像データの中から、所定の特徴量を有するフレームを同一のフレームとして探索する。これにより、注目探索元画像を含む探索元画像のそれぞれについての探索先画像が探索される。そして、特徴量比較部８２は、それらの探索先画像の探索先特徴量の記録位置（以下、適宜、探索先特徴量位置と称する）を、比較結果記録部８３及び比較結果判定部８５に供給する。
【０１０２】
比較結果記録部８３は、特徴量比較部８２からの探索先特徴量位置を、例えば、探索元画像のフレーム番号と対応付けて記録する。
【０１０３】
比較結果予測部８４は、注目探索元画像に設定されていない他の探索元画像についての探索先特徴量位置と、注目探索元画像と他の探索元画像のフレーム番号どうしの関係とから、注目探索元画像についての探索先特徴量位置を予測する。そして、比較結果予測部８４は、予測した探索先特徴量位置を、比較結果判定部８５に供給する。
【０１０４】
比較結果判定部８５は、特徴量比較部８２からの探索先特徴量位置と、比較結果予測部８４からの予測した探索先特徴量位置とを比較する。比較結果判定部８５は、探索先特徴量位置と予測した探索先特徴量位置とが一致するか否かにより、注目探索元画像についての同一のフレームの探索が成功したか否かを判定する。そして、比較結果判定部８５は、その判定結果を表す判定情報と、その探索先特徴量位置とを特徴量設定情報読出部６２に供給する。
【０１０５】
次に、図８を参照して、特徴量抽出部４１が行う図４のステップＳ４の特徴量の抽出の具体的な処理の一例について説明する。
【０１０６】
特徴量抽出部４１は、例えば、以下の順序で特徴量を抽出する。
【０１０７】
なお、特徴量抽出部４１は、フレーム番号1乃至N-1のフレームから、既に特徴量を抽出しているとする。
【０１０８】
いま、特徴量抽出部４１は、フレーム番号Nのフレームを入力したとする。
【０１０９】
ステップＳaにおいて、特徴量抽出部４１は、例えば、フレーム番号N-1とフレーム番号Nのフレーム同士の各画素についての差分絶対値をとることで得られる画像を、フレーム番号Nのフレーム間差分画像として算出する。
【０１１０】
ステップＳbにおいて、特徴量抽出部４１は、フレーム番号Nのフレーム間差分画像を、例えば、図７に示されるように、b1乃至bkのブロックに分割することにより、ブロック化する。なお、kは、ブロック数を表している。
【０１１１】
ステップＳcにおいて、特徴量抽出部４１は、例えば、ブロックbi（1≦i≦k）毎に、そのブロックbi内における画素値の総和を特徴量piとして求める。
【０１１２】
ステップＳdにおいて、特徴量抽出部４１は、それらの特徴量p1乃至pkをベクトル化する。すなわち、例えば、特徴量抽出部４１は、特徴量p1乃至pkのそれぞれを成分とする特徴量ベクトルを、特徴量Uとする。この特徴量Uは、式（１）で表される。
【０１１３】
U = (p1, p2,・・・,pk)      ・・・（１）
【０１１４】
特徴量抽出部４１は、このフレーム番号Nの特徴量Uを記録する場合、このフレーム番号Nの特徴量Uを探索先の特徴量UD、Nとして特徴量設定情報記録部６１に供給して記録させる。また、特徴量抽出部４１は、このフレーム番号Nの特徴量Uを記録しない場合、この特徴量Uを探索元特徴量Ui、Nとして特徴量関係性判定部８１に供給して記録させる。
【０１１５】
以上、特徴量抽出部４１の具体的な処理例について説明した。次に、特徴量関係性判定部８１の具体的な処理例について説明する。
【０１１６】
特徴量関係性判定部８１は、例えば、以下の順序で特徴量の関係性を判定する。
【０１１７】
なお、特徴量関係性判定部８１は、フレーム番号1乃至N-1の探索元特徴量について、既に特徴量の関係性を判定しているとする。
【０１１８】
いま、特徴量関係性判定部８１は、そのフレーム番号Nの探索元特徴量を入力したとする。
【０１１９】
次に、特徴量関係性判定部８１は、フレーム番号Nの探索元特徴量と、その１つ前に入力されたフレーム番号N-1の探索元特徴量との差分（以下、適宜、特徴量差分と称する）を算出する。
【０１２０】
次に、特徴量関係性判定部８１は、フレーム番号Nの探索元特徴量と他のフレーム番号の探索元特徴量との関係性が高いか否かを判定する。すなわち、例えば、特徴量関係性判定部８１は、フレーム番号Nについての特徴量差分の値が他のフレーム番号についての特徴量差分の値の範囲から大きく外れていた場合、フレーム番号Nの探索元特徴量と他のフレーム番号の探索元特徴量との関係性が低いと判定する。特徴量関係性判定部８１は、その関係性が低いと判定された場合、フレーム番号Nの探索元特徴量を、正解のフレームを予測するための特徴量から除外する。
【０１２１】
例えば、図９Ａに示されるように、画像データの途中でシーンチェンジが発生した場合、その付近で、特徴量は急激に変化する。したがって、シーンチェンジの付近では、図９Ｂに示されるように、特徴量差分の値は、他の特徴量差分の値の範囲から大きく外れている。よって、シーンチェンジ付近の（探索元）特徴量は、正解のフレームを予測するための（探索元）特徴量から除外される。
【０１２２】
以上、特徴量関係性判定部８１の具体的な処理の一例について説明した。次に、図１０を参照して、特徴量比較部８２の具体的な処理の一例について説明する。
【０１２３】
なお、ここでは、図８を参照して説明した探索元特徴量Ui、Nが用いられるとする。この探索元特徴量Uiは、特徴量ベクトルなので、図１０に示されるような特徴量ベクトルどうしの比較が可能となる。
【０１２４】
特徴量比較部８２は、例えば、以下の順序で特徴量を比較する。
【０１２５】
いま、特徴量比較部８２は、そのフレーム番号Nの探索元特徴量Ui、Nを注目探索元特徴量として入力したとする。ここで、注目探索元特徴量Ui、Nは、式（２）で表される。
【０１２６】
Ui、N = (pi,N,1,pi,N,2,・・・,pi,N,k)      ・・・（２）
【０１２７】
式（２）において、pi,N,j（1≦j≦k）は、フレーム番号Nの探索元画像のブロックbiについての特徴量である。
【０１２８】
次に、特徴量比較部８２は、特徴量設定情報記録部６１からのフレーム番号Mの探索先の特徴量UD、M(1≦M≦End)を順次入力する。ここで、フレーム番号Mの探索先の特徴量UD、Mは、式（３）で表される。
【０１２９】
UD、M = (pD,M,1,pD,M,2,・・・,pD,M,k)      ・・・（３）
【０１３０】
式（３）において、pD,M,jは、フレーム番号Mの探索先画像のブロックbiについての特徴量である。
【０１３１】
次に、特徴量比較部８２は、注目探索元特徴量Ui、Nについて、探索先の特徴量UD、Mとの特徴量距離DU、Mを計算する。ここで、特徴量距離DU、Mは、式（４）で表される。
【０１３２】
【数１】
2009302636.tif 000003
・・・（４）
【０１３３】
この特徴量距離DU、Mは、探索元特徴量Ui、Nと探索先の特徴量UD、Mとの差分である。
【０１３４】
なお、特徴量比較部８２は、全ての探索先の特徴量UD、Mとの特徴量距離DU、Mの計算が終わるまで、探索先の特徴量UD、Mを特徴量設定情報記録部６１から順次入力し、その探索先の特徴量UD、Mとの特徴量距離DU、Mを計算する処理を繰り返す。
【０１３５】
全ての探索先の特徴量UD、Mとの特徴量距離DU、Mの計算が終了すると、特徴量比較部８２は、全ての特徴量距離DU、Mのうちの最小値である特徴量距離最小値MinUを検出する。この特徴量距離最小値MinUは、式（５）で表される。
【０１３６】
MinU = Min(DU、1,・・・,DU、M,・・・,DU、End)      ・・・（５）
【０１３７】
式（５）において、関数Min(x1,・・・,xw)は、引数x1、・・・、xwのうちの最小値を戻す関数である。
【０１３８】
このようにして、特徴量比較部８２は、特徴量距離DU、Mが最小値となる探索先のフレームを、注目探索元画像PMと同一の探索先画像として探索する。
【０１３９】
そして、特徴量比較部８２は、特徴量距離最小値MinUを与える探索先の特徴量UD、Mの特徴量設定情報記録部６１における記録位置としてのアドレスMinadrを探索先特徴量位置として取得し、比較結果記録部８３及び比較結果判定部８５に供給する。なお、フレーム番号Nの注目探索元特徴量Ui、NについてのアドレスMinadrを、以下、アドレスMinadr、Nと称する。
【０１４０】
以上、特徴量比較部８２の具体的な処理例について説明した。次に、特徴量比較部８２乃至比較結果判定部８５による同一のフレームの予測に関する２つの具体的な処理例について説明する。なお、特徴量比較部８２の処理の詳細については、図９を参照して既に説明済みであり、その説明を適宜省略する。
【０１４１】
まず、図１１を参照して、同一のフレームの予測に関する２つの具体的な処理例のうちの１つ目の具体的な処理例について説明する。
【０１４２】
この例では、図１０を参照して説明した特徴量の比較が行われ、１つの探索元特徴量についての探索先特徴量位置から、次に入力される探索元特徴量についての探索先特徴量位置が予測される。
【０１４３】
例えば、以下の順序で処理が実行される。
【０１４４】
ステップＳa10において、特徴量比較部８２は、フレーム番号N-1の探索元特徴量Ui、N-1と、全ての探索先の特徴量との比較を行い、その比較の結果得られる探索先の特徴量のアドレスMinadr、N-1を探索先特徴量位置として得る。特徴量比較部８２は、このアドレスMinadr,N-1を比較結果記録部８３に記憶させる。これにより、フレーム番号N-1の探索元画像PMN-1の探索先画像が探索される。図１１では、探索先のフレームPS4が探索先画像として探索されている。
【０１４５】
ステップＳb10において、比較結果予測部８４は、フレーム番号N-1についてのアドレスMinadr,N-1を比較結果記録部８３から読み出す。比較結果予測部８４は、そのアドレスMinadr,N-1に１特徴量分の増分aを加算し、加算後のアドレスMinadr,N-1+aを、フレーム番号Nについての探索先特徴量位置として予測する。これにより、フレーム番号N-1の探索元画像についての探索先画像の１フレームだけ後の探索先のフレームが、正解の探索先画像として予測される。図１１では、探索先のフレームPS4が正解の探索先画像として予測されている。
【０１４６】
ステップＳc10において、特徴量比較部８２は、フレーム番号Nの探索元特徴量Ui、Nと、全ての探索先の特徴量との比較を行い、その比較の結果得られる探索先の特徴量UDのアドレスMinadr、Nを探索先特徴量位置として得る。特徴量比較部８２は、このアドレスMinadr,Nを比較結果記録部８３に記憶させる。これにより、フレーム番号Nの探索元画像PMN-1の探索先画像が探索される。図１１では、探索先のフレームPS4が探索先画像として探索されている。
【０１４７】
ステップＳd10において、比較結果判定部８５は、探索されたフレーム番号Nの探索先特徴量位置と、予測したフレーム番号Nの探索先特徴量位置とを比較する。比較結果判定部８５は、それらが一致している場合、その探索の信頼性が高いと判断し、フレーム番号Nの探索元画像についての探索先画像の探索が成功したと判定する。これに対して、比較結果判定部８５は、それらが一致しない場合、その探索の信頼性が低いと判断し、フレーム番号Nの探索元画像についての探索先画像の探索が失敗したと判定する。そして、比較結果判定部８５は、その判定結果を表す判定情報と、その探索された探索先特徴量位置とを特徴量設定情報読出部６２に供給する。図１１では、探索された探索先画像PS4と予測された正解の探索先画像PS4とが一致している。したがって、フレーム番号Nの探索元画像についての同一のフレームの探索が成功したと判定される。
【０１４８】
次に、図１２を参照して、同一のフレームの予測に関する２つの具体的な処理例のうちの２つ目の具体的な処理例について説明する。
【０１４９】
この例では、図１０を参照して説明した特徴量の比較が行われ、複数の探索元特徴量についての探索先特徴量位置から、次に入力される探索元特徴量についての探索先特徴量位置が予測される。
【０１５０】
例えば、以下の順序で処理が実行される。
【０１５１】
ステップＳa11において、特徴量比較部８２は、フレーム番号Nの注目探索元画像PMNについての探索先画像を探索するために、例えば、フレーム番号u（u≠n）の探索元画像PMuの探索元特徴量Ui、uと、全ての探索先の特徴量との比較を行う。特徴量比較部８２は、その比較の結果得られる探索先の特徴量のアドレスMinadr、uを探索先特徴量位置として得る。特徴量比較部８２は、このアドレスMinadr,uを比較結果記録部８３に記憶させる。これにより、フレーム番号uの探索元画像PMuの探索先画像が探索される。図１２では、フレーム番号（u）がそれぞれN-3、N-2、N-1、N+1、N+2の探索元画像PMN-3、PMN-2、PMN-1、PMN+1、PMN+2についての探索が行われている。そして、探索先画像として、探索先のフレームPS2、PS1、PS4、PS6、PS9が探索されている。
【０１５２】
ステップＳb11において、比較結果予測部８４は、フレーム番号uについてのアドレスMinadr、uを比較結果記録部８３から読み出す。比較結果予測部８４は、そのアドレスMinadr、uから特定されるフレーム番号uについての探索先画像PSuのフレーム番号と、探索元画像PMuのフレーム番号uと注目探索元画像PMNのフレーム番号Nとの関係とから、注目探索元画像PMNについての正解の探索先画像を予測する。図１２では、縦軸を探索先画像のフレーム番号とし、横軸を探索元画像のフレーム番号とするグラフ上に、５つの探索元画像PMN-3、PMN-2、PMN-1、PMN+1、PMN+2についての点がプロットされている。各点から傾きが１の直線を引き、それらの直線の中の、最も多くの点を通る直線を予測結果線として選ぶ。この予測結果線上の点のうち、探索元画像のフレーム番号Nに対応する点についての探索先画像のフレーム番号が求められる。この例では、このフレーム番号として５が得られている。得られたフレーム番号の探索先画像が正解のフレームとして予測される。この例では、探索先画像PS5が正解のフレームとして予測されている。
【０１５３】
ステップＳc11において、特徴量比較部８２は、フレーム番号Nの探索元特徴量Ui、Nと、全ての探索先の特徴量との比較を行い、その比較の結果得られる探索先の特徴量のアドレスMinadr、Nを探索先特徴量位置として得る。特徴量比較部８２は、このアドレスMinadr,Nを比較結果記録部８３に記憶させる。これにより、フレーム番号Nの探索元画像PMNの探索先画像が探索される。図１２では、探索先のフレームPS5が探索先画像として探索されている。
【０１５４】
ステップＳd11において、比較結果判定部８５は、探索されたフレーム番号Nの探索先特徴量位置と、予測したフレーム番号Nの探索先特徴量位置とを比較する。比較結果判定部８５は、それらが一致している場合、その探索の信頼性が高いと判断し、フレーム番号Nの探索元画像についての探索先画像の探索が成功したと判定する。これに対して、比較結果判定部８５は、それらが一致しない場合、その探索の信頼性が低いと判断し、フレーム番号Nの探索元画像についての探索先画像の探索が失敗したと判定する。そして、比較結果判定部８５は、その判定結果を表す判定情報と、その探索された探索先特徴量位置とを特徴量設定情報読出部６２に供給する。図１２では、探索された探索先画像PS5と予測された正解の探索先画像PS5とが一致している。したがって、フレーム番号Nの探索元画像についての探索先画像の探索が成功したと判定される。
【０１５５】
次に、図１３のフローチャートを参照して、フレームマッチング処理部４２によるフレームマッチング処理の一例について説明する。
【０１５６】
いま、フレーム番号Nの特徴量Uが特徴量関係性判定部８１に供給されたとすると、ステップＳ３１において、特徴量関係性判定部８１は、そのフレーム番号Nの特徴量Uを探索元特徴量Ui、Nとして入力する。
【０１５７】
ステップＳ３２において、特徴量関係性判定部８１は、フレーム番号Nの探索元特徴量Ui、Nと、その１つ前のフレーム番号N-1の探索元特徴量Ui、N-1との差分を、探索元特徴量i、Nについての差分として算出する。
【０１５８】
ステップＳ３３において、特徴量関係性判定部８１は、例えば、フレーム番号Nより前のフレーム番号の（過去の）探索元特徴量についての差分と、探索元特徴量Ui、Nについての差分を比較する。
【０１５９】
ステップＳ３４において、特徴量関係性判定部８１は、探索元特徴量Ui、Nの関係性が高いか否かを判定する。
【０１６０】
探索元特徴量Ui、Nについての差分の値が、過去の探索元特徴量Uiの差分の値を含む所定の範囲にない場合、ステップＳ３４においてＮＯであると判定され、フレームマッチング処理は終了し、処理は図３のステップＳ１４に戻される。
【０１６１】
これに対して、探索元特徴量Ui、Nの差分の値が、過去の探索元特徴量Uiの差分の値を含む所定の範囲にある場合、ステップＳ３４においてＹＥＳであると判定され、処理はステップＳ３５に進む。
【０１６２】
ステップＳ３５において、特徴量比較部８２は、フレーム番号Mを１に初期化する。
【０１６３】
ステップＳ３６において、特徴量比較部８２は、まだ入力していない探索先の特徴量が特徴量設定情報記録部６１に存在するか否かを判定する。
【０１６４】
特徴量設定情報記録部６１に記録されている全ての探索先の特徴量が入力された場合、ステップＳ３６においてＮＯであると判定されて、処理はステップＳ４０に進む。なお、ステップＳ４０以降の処理については後述する。
【０１６５】
これに対して、特徴量設定情報記録部６１に記録されている全ての探索先の特徴量が入力されない限り、ステップＳ３６においてＹＥＳであると判定されて、処理はステップＳ３７に進む。
【０１６６】
ステップＳ３７において、特徴量比較部８２は、特徴量設定情報記録部６１から、フレーム番号Mの探索先の特徴量UD、Mを順次入力する。
【０１６７】
ステップＳ３８において、特徴量比較部８２は、フレーム番号Nの探索元特徴量Ui、Nと、フレーム番号Mの探索先の特徴量UD、Mとを比較する。すなわち、例えば、特徴量比較部８２は、探索元特徴量Ui、Nと探索先の特徴量UD、Mとの特徴量距離DU、Mを算出する。
【０１６８】
ステップＳ３９において、特徴量比較部８２は、フレーム番号Mを１だけインクリメントする。そして、処理はステップＳ３５に戻され、以降の処理が同様に繰り返される。
【０１６９】
ステップＳ４０において、特徴量比較部８２は、特徴量設定情報記録部６１に記録された全ての探索先の特徴量の中から、例えば、特徴量距離DU、Mが最も小さい探索先の特徴量を求める。特徴量比較部８２は、その探索先の特徴量についての記録位置を、フレーム番号Nについての探索先特徴量位置として比較結果記録部８３及び比較結果判定部８５に供給する。比較結果記録部８３は、その探索先特徴量位置を記録する。
【０１７０】
ステップＳ４１において、特徴量関係性判定部８１は、フレーム番号Nが１か否かを判定する。
【０１７１】
フレーム番号Nが１である場合、ステップＳ４１においてＹＥＳであると判定されて、処理はステップＳ４５に進む。なお、ステップＳ４５以降の処理については後述する。
【０１７２】
これに対して、フレーム番号が１でない限り、ステップＳ４１においてＮＯであると判定されて、処理はステップＳ４２に進む。比較結果予測部８４は、フレーム番号1乃至N-1の探索元特徴量についての探索先特徴量位置から、フレーム番号Nについての探索先特徴量位置を予測する。
【０１７３】
ステップＳ４３において、比較結果予測部８４は、フレーム番号Nについての探索先特徴量位置と、フレーム番号Nについての予測した探索先特徴量位置とが一致するか否かを判定する。
【０１７４】
フレーム番号Nについての探索先特徴量位置と、フレーム番号Nについての予測した探索先特徴量位置とが一致する場合、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。ステップＳ４４において、比較結果判定部８５は、同一フレームの探索が成功したと判定し、その判定結果を表す判定情報と、フレーム番号Nの探索先特徴量位置とを特徴量設定情報読出部６２に供給する。そして、フレームマッチング処理は終了し、処理は図３のステップＳ１４に戻される。
【０１７５】
これに対して、フレーム番号Nについての探索先特徴量位置と、フレーム番号Nについての予測した探索先特徴量位置とが一致しない場合、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ４５に進む。
【０１７６】
ステップＳ４５において、比較結果判定部８５は、同一フレームの探索が失敗したと判定し、その判定結果を表す判定情報と、フレーム番号Nの探索先特徴量位置とを特徴量設定情報読出部６２に供給する。そして、フレームマッチング処理は終了し、処理は図３のステップＳ１４に戻される。
【０１７７】
以上のように、編集システム１０は、入力信号に異なる信号処理や様々な劣化が重畳された場合でも、同一のフレームやフィールドを探索して特定することができる。
【０１７８】
また、上述した特許文献１の画像処理装置に、本発明を適用することにより、入力信号に異なる信号処理や様々な劣化が重畳された場合でも、操作データの記録・再生・編集作業を問題なく行うことが可能である。
【０１７９】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１８０】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８１】
コンピュータにおいて、CPU１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１８２】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホン等よりなる入力部１０６、ディスプレイ、スピーカ等よりなる出力部１０７、ハードディスクや不揮発性のメモリ等よりなる記憶部１０８、ネットワークインタフェース等よりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１８３】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８４】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１８５】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１８６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８８】
【図１】従来の編集手法を説明するための図である。
【図２】特許文献１の編集手法を説明するための図である。
【図３】編集システム１０の一実施の形態の構成例を示す図である。
【図４】画像処理装置１３による画像処理の一例を説明するフローチャートである。
【図５】フレームマッチング処理部４２によるフレームマッチング処理の概要を説明するための図である。
【図６】特徴量設定情報記録部６１における探索先特徴量と設定情報の記録位置の一例を示す図である。
【図７】フレームマッチング処理部４２の構成例を示すブロック図である。
【図８】特徴量抽出部４１による特徴量の抽出の具体的な処理の一例を説明するための図である。
【図９】特徴量及び特徴量差分の遷移の一例を示す図である。
【図１０】特徴量比較部８２の具体的な処理の一例を説明するための図である。
【図１１】同一のフレームの予測に関する２つの具体的な処理例の一例を説明するための図である。
【図１２】同一のフレームの予測に関する２つの具体的な処理例の一例を説明するための図である。
【図１３】フレームマッチング処理部４２によるフレームマッチング処理の一例を示すフローチャートである。
【図１４】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１８９】
１０  編集システム，  １１  記録メディア，  １２  画像再生部，  １３  画像処理装置，  ４１  特徴量抽出部，  ４２  フレームマッチング処理部，  ４３  記録ブロック，  ４５  操作情報認識部，  ４６  設定情報決定部，  ６１  特徴量設定情報記録部，  ６２  特徴量設定情報読出部，  ８１  特徴量関係性判定部，  ８２  特徴量比較部，  ８３  比較結果記録部，  ８４  比較結果予測部，  ８５  比較結果判定部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０４  バス，  １０５  入出力インタフェース，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ，  １１１  リムーバブルメディア
【図１】
2009302636.tif 000004
【図２】
2009302636.tif 000005
【図３】
2009302636.tif 000006
【図４】
2009302636.tif 000007
【図５】
2009302636.tif 000008
【図６】
2009302636.tif 000009
【図７】
2009302636.tif 000010
【図８】
2009302636.tif 000011
【図９】
2009302636.tif 000012
【図１０】
2009302636.tif 000013
【図１１】
2009302636.tif 000014
【図１２】
2009302636.tif 000015
【図１３】
2009302636.tif 000016
【図１４】
2009302636.tif 000017