(57)【要約】本発明は、参照フレームを備えたビデオシーケンスを処理するための、コンピュータによって行われる方法に関し、ビデオシーケンスの各現フレームに対して方法は、現フレームと参照フレームとの間の動きフィールド、および決定された動きフィールドから決定された動きフィールドの品質を表す品質メトリックを決定するステップを含む。前記品質メトリックが品質閾値未満の場合は、方法はさらに新参照フレームを、前の現フレームのグループの中から、新参照フレームと参照フレームとの間の前に生成された動きフィールドの品質メトリックが品質閾値を超えるように選択し、現フレームと参照フレームとの間の動きフィールドを決定するステップを、現フレームと新参照フレームとの間の動きフィールドを決定し、現フレームと新参照フレームとの間の決定された動きフィールドを新参照フレームと参照フレームとの間の前に生成された動きフィールドと連結することによって、反復するステップを含む。
2017515372.tif 000002
【特許請求の範囲】
【請求項１】
参照フレームに対してビデオシーケンスのための動きフィールドを生成する方法であって、前記ビデオシーケンスの各現フレームに対して、
前記現フレーム（２４）と前記参照フレーム（２１）との間の動きフィールドを決定し、および前記決定された動きフィールドから前記決定された動きフィールドの品質を表す品質メトリックを決定するステップ（１０）と、
前記品質メトリックが品質閾値未満の場合は、前の現フレームのグループの中から新参照フレームを、前記新参照フレームと前記参照フレームとの間の前に生成された動きフィールドの品質メトリックが前記品質閾値を超えるように選択（１２）し、
前記現フレームと前記参照フレームとの間の前記動きフィールドを決定するステップ（１０）を、前記現フレームと前記新参照フレームとの間の動きフィールドを決定（１３）し、前記現フレームと前記新参照フレームとの間の前記決定された動きフィールドを前記新参照フレームと前記参照フレームとの間の前記前に生成された動きフィールドと連結することによって、反復するステップと、
を含む、前記方法。
【請求項２】
前記方法は、前記参照フレームに隣接したフレームから開始するビデオシーケンスに属する連続した現フレームに対して、順次的に反復される、請求項１に記載の方法。
【請求項３】
不整合値は、前記参照フレーム（２１）内の第１の画素（ＸA）と、前記第１の画素（ＸA）からの動きベクトル（２５）の前記現フレーム（２４）内へのエンドポイント（ＸB）からの、逆動きベクトル（２３）のエンドポイントに対応する前記参照フレーム（２０）内の点（２２）との間の距離（２０）であり、前記品質メトリックは、前記参照フレームの画素のセットの不整合値の平均値の関数である、請求項１または２に記載の方法。
【請求項４】
２進不整合値は、前記参照フレーム（２１）内の第１の画素（ＸA）と、前記第１の画素（ＸA）からの動きベクトル（２５）の前記現フレーム（２４）内へのエンドポイント（ＸB）からの、逆動きベクトル（２３）のエンドポイントに対応する前記参照フレーム（２０）内の点（２２）との間の距離（２０）が、不整合閾値を超える場合は１にセットされ、前記２進不整合値は前記距離が前記不整合閾値未満の場合は０にセットされ、前記品質メトリックは、その２進不整合値が０にセットされた、画素のセットの中での画素の比率である、請求項１または２に記載の方法。
【請求項５】
動き補償された絶対差は、前記参照フレーム（２１）の第１の画素（ＸA）からの動きベクトル（２５）の前記現フレーム（２４）内へのエンドポイント（ＸB）の色または輝度と、前記参照フレーム（２１）の前記第１の画素（ＸA）の色または輝度との間の絶対差であり、前記品質メトリックは、前記参照フレームの画素のセットの動き補償された絶対差の平均値の関数である、請求項１または２に記載の方法。
【請求項６】
前記品質メトリックは、前記参照フレームの画素のセットの動き補償された絶対差の平均値に基づくピーク信号対雑音比を含む、請求項５に記載の方法。
【請求項７】
前記品質メトリックは、前記不整合値の関数と、前記動き補償された絶対差の関数との加重和を含む、請求項３および５に記載の方法。
【請求項８】
前記品質メトリックを決定するために用いられる前記画素のセットは、前記参照フレームの関心領域に含まれる、請求項３乃至７のいずれか一項に記載の方法。
【請求項９】
前の現フレームのグループの中から新参照フレームを選択するステップは、前記現フレームに最も近い前記前の現フレームを選択するステップを含む、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
請求項１乃至９のいずれか一項に記載の、参照フレームに対してビデオシーケンスのための動きフィールドを生成する方法であって、参照フレームのユーザが選択した領域に対して、前記方法は、前記ビデオシーケンスの各現フレームに対して、
前記参照フレームのユーザが選択した領域に対応する前記現フレームの前記領域内の画素の数を含むサイズメトリックを決定するステップと、
前記品質メトリックが品質閾値より高い場合、かつ前記サイズメトリックがサイズ閾値より高い場合は、前記現フレームであるものとして新参照フレームを選択し、前記サイズ閾値を前記決定されたサイズメトリックに設定し、前記新参照フレームを用いて前記現フレームと前記参照フレームとの間の前記動きフィールドを決定する前記ステップ（１０）を反復するステップと、
をさらに含む、前記方法。
【請求項１１】
前記サイズ閾値は、前記参照フレームの前記ユーザが選択した領域内の画素の数に初期化される、請求項１０に記載の方法。
【請求項１２】
前記参照フレームと前記現フレームとの間の前記決定された動きフィールドの品質を表す品質メトリックを決定するステップは、前記現フレーム内で視認可能な前記参照フレームの前記ユーザが選択した領域の画素の数を決定するステップをさらに含む、請求項１０に記載の方法。
【請求項１３】
請求項１乃至９のいずれか一項に記載の方法を行うようにコンピュータ実行可能なプログラム命令を記憶した、コンピュータ可読記憶媒体。
【請求項１４】
少なくとも１つのプロセッサ（５０１）と、前記少なくとも１つのプロセッサに結合されたメモリ（５０２）とを備えたデバイス（５００）であって、前記メモリはプログラム命令を記憶し、前記プログラム命令は、請求項１乃至１１のいずれか一項に記載の方法を行うように前記少なくとも１つのプロセッサによって実行可能である、前記デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にビデオ処理の分野に関する。より正確には本発明は、参照フレームに対して、ビデオシーケンスのための動きフィールドを生成するための方法およびデバイスに関する。
【背景技術】
【０００２】
この項は、以下で述べられおよび／または特許請求される本発明の様々な態様に関連し得る技術の様々な特徴を、読者に紹介することを意図するものである。この考察は、本発明の様々な特徴のより良い理解を容易にするために、背景情報を読者にもたらすのに役立つと考えられる。従ってこれらの記述はこの観点から読まれるものであり、従来技術を認めるものとして読まれるものではないことが理解されるべきである。
【０００３】
ビデオ編集アプリケーションの分野では、ビデオシーケンスにおいて操作者によって選択された参照フレームを編集し、参照フレームから後続のフレームに情報を伝搬させるための方法が知られている。参照フレームの選択は手動であり、幾分ランダムである。従って、操作者による変更または編集のための、参照フレームの自動化されおよび制御された選択が望ましいものとなり得る。
【０００４】
さらに情報の伝搬は、参照フレームと、シーケンスの他のフレームとの間の動きの対応を必要とする。
【０００５】
動きフィールドを生成する第１の方法は、考慮されるフレーム、すなわち参照フレームと現フレームとの間で直接マッチングを行うことにある。しかし離れたフレームに対処するときは、動き範囲は一般に非常に大きくなり、推定は、例えば周期的画像パターン内では、曖昧な対応関係の影響を非常に受けやすくなり得る。
【０００６】
第２の方法は、基本オプティカルフローフィールドの順次的連結を通じて、動き推定を得ることにある。これらの基本オプティカルフローフィールドは、連続的なフレーム間で計算することができ、比較的正確である。しかしこの方策は、１つの誤りのある動きベクトルが、連結された動きベクトルを間違いにするのに十分となるので、動きエラーの影響を非常に受けやすい。これは特に連結が多くの数の基本ベクトルに関わるときに、非常に決定的に重要となる。さらにこのような最新技術の高密度動き追跡器は、シーケンスをフレームごとのやり方で順次的に処理し、設計上、異なる追跡によりビデオ内で消滅し（隠蔽）、再び現れる特徴を関連付け、それによって長期の動き信号の重要な情報を失う。従ってシーケンスに沿っての隠蔽、または誤った動きの対応は、離れたフレーム間の伝搬の品質の問題をもたらす。言い換えれば良好な追跡の長さは、シーンコンテンツに依存する。
【０００７】
「Ｔｏｗａｒｄｓ  Ｌｏｎｇｅｒ  Ｌｏｎｇ−Ｒａｎｇｅ  Ｍｏｔｉｏｎ  Ｔｒａｊｅｃｔｏｒｉｅｓ」（Ｂｒｉｔｉｓｈ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ  ２０１２）でＲｕｂｉｎｓｔｅｉｎらは、異なる開始フレームに対して推定される「トラックレット」と呼ばれる短い軌跡を再相関付けし、それらを結び付けて長距離動き表示を形成するアルゴリズムを開示している。そのためにはＲｕｂｉｎｓｔｅｉｎらは、より長い長距離動き軌跡に向かって行く傾向がある。それらが、特に隠蔽によって切断されたトラックレットを接続するように見える場合は、方法はまばらな動き軌跡に限定されたままとなる。
【０００８】
国際公開第２０１３１０７８３３号パンフレットは、参照フレームと、ビデオシーケンスの他のフレームのそれぞれとの間の長期動きフィールドを生成する方法を開示している。参照フレームは、例えばビデオシーケンスの第１のフレームである。方法は、参照フレームと現フレームとの間の順次的動き推定を行うことにあり、この現フレームは連続して、参照フレームに隣接したフレーム、次いでその次のものなどとなる。方法は、予め計算されることになっている様々な入力基本動きフィールドに依存する。フレーム間動き範囲は動き推定器性能に適合することになっているので、これらの動きフィールドは、良好な品質を有するシーケンス内のフレームの対を結び付ける。現フレームと参照フレームとの間の現行動きフィールド推定は、前に推定された動きフィールド（参照フレームと、現行のものに先行するフレームとの間の）および、現フレームを前に処理されたフレームに結び付ける基本動きフィールドに依存し、基本動きフィールドと前に推定された動きフィールドとを連結することによって様々な動き候補が構築される。次いでこれらの様々な候補フィールドは併合されて、現行出力動きフィールドを形成する。この方法は良好な順次的選択肢であるが、いくつかの画素において起こり得るドリフトを避けることができない。その結果、一旦動きフィールドにエラーが導入されると、順次的処理時に次のフィールドに伝搬され得る。
【０００９】
この制約は、離れたフレームの対の間の高密度動き推定のための、２０１３年の画像処理についてのＩＥＥＥ国際学会で発表された「ｄｅｎｓｅ  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ  ｂｅｔｗｅｅｎ  ｄｉｓｔａｎｔ  ｆｒａｍｅｓ：  ｃｏｍｂｉｎａｔｏｒｉａｌ  ｍｕｌｔｉ−ｓｔｅｐ  ｉｎｔｅｇｒａｔｉｏｎ  ａｎｄ  ｓｔａｔｉｓｔｉｃａｌ  ｓｅｌｅｃｔｉｏｎ」という名称の論文でＣｏｎｚｅらによって提案された方法において述べられている組み合わせによる複数ステップ統合および統計的選択を適用することによって解決され得る。この手法の目標は、考慮されるフレームの間の複数の複数ステップ基本オプティカルフローベクトルの組み合わせから構成される大きなセットを考慮することである。各組み合わせは対応する動き候補を与える。統計的選択を通じたすべてのこれらの候補の空間的冗長性の検討は、変位フィールド選択タスクのための伝統的なオプティカルフロー仮定条件と比べてよりロバストな指標をもたらす。加えて統合時には、複数ステップ基本オプティカルフローベクトルのすべての可能な組み合わせのうちのランダムに選択されたサブセットのみが考慮される。フレームの複数の対に適用され、この組み合わせによる統合は結果として、時間的に高度に相関性がない変位フィールドを得ることを可能にする。
【００１０】
しかし、フロー融合に基づく方法は、様々な動きフィールド候補を構築するための基本動きフィールドの入力セットを必要とし、非常に複雑でコンピュータ処理的となり得る、最良候補を選択するための最適化機能を必要とする。
【００１１】
従って、順次的処理の簡潔性と、伝統的な動き推定器がそれに対して高い誤り率を有する長期動き推定のための組み合わせの複数ステップフロー融合の精度との両方から恩恵を受け得る２つのフレーム間の動き推定のための方法がそれ故に望ましい。
【００１２】
言い換えれば、ビデオ編集アプリケーションの非常に望ましい機能は、例えば操作者によって定義されたエリアを追跡するため、または始めに操作者によってこのエリアに割り当てられた情報を伝搬するために、シーケンスに沿って参照フレームのセットを決定できることである。
【発明の概要】
【００１３】
本発明は、ビデオシーケンスを処理する方法を対象とし、フレームまたは領域の表示の品質を、それぞれ上記ビデオの別のフレーム、または別のフレーム内の領域によって評価する品質メトリックが、非常に長期の高密度動き推定において第１の参照フレームを選択するため、または新参照フレームを導入するために用いられる。
【００１４】
第１の態様では、本発明は、参照フレームに対してビデオシーケンスのための動きフィールドを生成するように、プロセッサによって行われる方法を対象とし、上記ビデオシーケンスの各現フレームに対して上記方法は、現フレームと参照フレームとの間の動きフィールド、および決定された動きフィールドの品質を表す品質メトリックを決定するステップを含み、上記品質メトリックは決定された動きフィールドから得られる。前記品質メトリックが品質閾値未満の場合は、上記方法はさらに新参照フレームを、前の現フレームのグループの中から、上記新参照フレームと上記参照フレームとの間の前に生成された動きフィールドの上記品質メトリックが上記品質閾値を超えるように選択し、現フレームと参照フレームとの間の上記動きフィールドを決定するステップを、現フレームと新参照フレームとの間の動きフィールドを決定し、現フレームと新参照フレームとの間の上記決定された動きフィールドを新参照フレームと参照フレームとの間の前に生成された動きフィールドと連結することによって、反復するステップを含む。
【００１５】
有利なことに、このような品質メトリックに基づく新参照フレームの挿入は、動きドリフトを回避し、すべての上記生成された複数参照変位ベクトルの中で良好な品質を有する上記変位ベクトルを組み合わせることによって、単一参照フレーム推定問題に対して強化する。さらに、複数ステップフロー融合とは異なり、上記方法は、動きフィールドを決定するためのいずれの方法にも適合し、特に短期間の変位に対処し、予め計算された動きフィールドのセットは必要ない。有利なことに、上記現フレームと、上記参照フレームまたは上記新参照フレームとの間の動きフィールドのみが決定される。上記方法は、上記参照フレームに隣接したフレームから開始するビデオシーケンスに属する連続した現フレームに対して、順次的に反復される。
【００１６】
第１の変形形態によれば、不整合値は、上記参照フレーム内の第１の画素と、上記第１の画素からの動きベクトルの上記現フレーム内へのエンドポイントからの、逆動きベクトルのエンドポイントに対応する参照フレーム内の点との間の距離である。有利なことに、上記品質メトリックは、上記参照フレームの画素のセットの不整合値の平均値の関数である。
【００１７】
第２の変形形態によれば、２進不整合値は、上記参照フレーム内の第１の画素と、上記第１の画素からの動きベクトルの上記現フレーム内へのエンドポイントからの、逆動きベクトルのエンドポイントに対応する参照フレーム内の点との間の距離が閾値を超える場合にセット（１にセット）される。２進不整合値は、上記距離が閾値未満である場合にリセット（１にセット）される。有利なことに品質メトリックは、その２進不整合値がリセット（０にセット）された、上記参照フレームの画素のセットの中の画素の比率であり、言い換えれば品質メトリックは「整合する画素」の数の比率である。
【００１８】
第３の変形形態によれば、動き補償された絶対差は、上記参照フレーム内の第１の画素からの動きベクトルの上記現フレーム内への上記エンドポイントの色または輝度と、上記参照フレーム内の第１の画素のそれぞれ色または輝度との間の絶対差である。有利なことに上記品質メトリックは、上記参照フレームの画素のセットの動き補償された絶対差の平均値の関数である。
【００１９】
第４の変形形態によれば、上記品質メトリックは、上記参照フレームの画素のセットの動き補償された絶対差の平均値に基づくピーク信号対雑音比を含む。
【００２０】
第５の変形形態によれば、上記品質メトリックは、上記不整合値の関数と、上記動き補償された絶対差の関数との加重和を含む。有利なことに、上記品質メトリックは、上記参照フレームの画素のセットに対して計算された上記加重和の平均値の関数である。
【００２１】
さらに有利な特徴によれば、上記品質メトリックを決定するために用いられる上記画素のセットは、上記参照フレームの関心領域に含まれる。
【００２２】
さらに有利な特徴によれば、前の現フレームのグループの中から新参照フレームを選択するステップは、上記現フレームに最も近い上記前の現フレームを選択するステップを含む。
【００２３】
別の有利な特徴によれば、第１のフレームのユーザが選択した領域に対して、方法はさらに、上記参照フレームのユーザが選択した領域に対応する上記現フレームの上記領域内の画素の数を含むサイズメトリックを決定するステップと、前記品質メトリックが品質閾値より高い場合、および前記サイズメトリックがサイズ閾値より高い場合は、上記現フレームであるものとして新参照フレームを選択し、上記サイズ閾値を決定されたサイズメトリックに設定し、前記新参照フレームを用いて現フレームと参照フレームとの間の動きフィールドを決定する上記ステップを反復するステップとを含む。このサイズメトリックは、上記品質メトリックを超える、上記ユーザが選択した領域に対する解像度メトリックとして用いられる。
【００２４】
有利なことに方法は、第１のフレームのユーザ初期選択（参照フレームに対応する）から開始して、シーケンス内の可能な、より精細な表示が、自動的におよび品質表示メトリックに応答して、上記第１の参照フレーム（新参照フレームに対応する）によって決定される。有利なことに、方法は、に対してのみ反復される。
【００２５】
さらなる有利な特徴によれば、上記サイズ閾値は、前記第１のフレーム（参照フレームに対応する）の前記ユーザが選択した領域内の画素の数に初期化される。
【００２６】
さらに有利な特徴によれば、上記第１のフレームと上記現フレームとの間の上記決定された動きフィールドの品質を表す品質メトリックを決定するステップは、上記現フレーム内で視認可能な上記第１のフレームの上記ユーザが選択した領域の画素の数を決定するステップをさらに含む。
【００２７】
第２の態様では、本発明は、開示された方法を行うようにコンピュータ実行可能なプログラム命令を記憶した、コンピュータ可読記憶媒体を対象とする。
【００２８】
第３の態様では、本発明は、少なくとも１つのプロセッサと、上記少なくとも１つのプロセッサに結合されたメモリとを備えたデバイスを対象とし、上記メモリはプログラム命令を記憶し、上記プログラム命令は、開示された方法を行うように上記少なくとも１つのプロセッサによって実行可能である。
【００２９】
方法に対して述べられたいずれの特徴または変形形態も、開示された方法を処理することを目的とするデバイス、およびプログラム命令を記憶したコンピュータ可読記憶媒体と適合する。
【図面の簡単な説明】
【００３０】
次に本発明の好ましい特徴が、添付の図面を参照して非限定的な例として述べられる。
【図１】第１の好ましい実施形態による方法のステップを示す図である。
【図２】品質メトリックの変形形態による不整合を示す図である。
【図３】品質メトリックの変形形態による隠蔽検出を示す図である。
【図４】第２の好ましい実施形態による方法のステップを示す図である。
【図５】本発明の特定の実施形態によるデバイスを示す図である。
【発明を実施するための形態】
【００３１】
本発明の顕著な着想は、フレームまたは領域の表示の品質をそれぞれ、ビデオにおける別のフレーム、または別のフレーム内の領域によって評価する品質尺度を考慮することである。第１の好ましい実施形態では、このような品質尺度は、ビデオシーケンスにおける非常に長期の高密度動き推定において、新参照フレームを導入するために用いられる。１つの単一参照フレームのみに依存する代わりに、これの背後の基本的着想は、動き推定プロセスが不合格になるたびに、シーケンスに沿って新参照フレームを挿入し、次いでこれらの新参照フレームのそれぞれに対して動き推定器を適用することである。実際、新参照フレームは、画像処理アルゴリズム（動きフィールド推定など）のための、前の参照フレームに取って代わる。有利なことに、このような品質メトリックに基づく新参照フレームの挿入は、動きドリフトを回避し、すべての生成された複数参照変位ベクトルの中で良好な品質を有する変位ベクトルを組み合わせることによって、単一参照フレーム推定問題に対して強化する。第２の好ましい実施形態では、このような品質尺度は、ユーザによって選択されるフレーム内の目標エリアがより良好に表わされる、ビデオシーケンス内の第１の参照フレームを選択するために用いられる。
【００３２】
「参照フレーム」という用語は曖昧であることが留意されるべきである。ユーザ対話の観点における「参照フレーム」と、アルゴリズム上のツールと見なされる参照フレームは、別個のものとして考えられるべきである。例えばビデオ編集との関連において、ユーザは１つの単一参照フレーム内にテクスチャ／ロゴを挿入し、本明細書で以下に述べられる複数参照フレームアルゴリズムを実行することになる。本発明により挿入される新参照フレームは、何らのユーザ対話なしに、より良好な動き推定を行うための、アルゴリズムの方法である。そのためには、第２の実施形態では、ユーザが選択したフレームは、第１の参照フレームに対する探索における参照フレームとして始めに用いられたとしても、第１のフレームと呼ばれる。
【００３３】
図１は、第１の好ましい実施形態による方法のステップを示す。この実施形態では、シーケンスの参照フレームと現フレームとの間の動き推定は、参照フレームの次の第１のフレームから開始し、次いで現フレームから現フレームへと累進的にそれから離れるように、順次的に処理されると仮定する。要するに、品質メトリックは各現フレームに対して、現フレームと参照フレームとの間の対応の品質を評価する。品質が品質閾値に到達したときは、前に処理された現フレームの中から（例えば前の現フレーム）、新参照フレームが選択される。これから先は、動き推定は、この新参照フレームに対して実行および算定される。次の現フレームを処理するときに、シーケンスに沿って他の新参照フレームが導入され得る。最後に、現フレームの動きベクトルを、第１の参照フレームに到達するまでの参照フレームの対の間で計算された連続した動きベクトルと連結することによって、第１の参照フレームに対する現フレームの動きベクトルが得られる。好ましい変形形態では、品質メトリックは正規化されて区間［０，１］内で定義され、最良の品質は１に対応する。この規則によれば、品質メトリックが品質閾値を超えたときに、品質基準が到達される。
【００３４】
次に、ビデオシーケンスの現フレームに対する処理方法の反復が述べられる。現フレームは、参照フレームの２つの隣接フレームの１つに初期化され（参照フレームが最初または最後のもののいずれでもない場合）、次いで次の現フレームは現フレームの隣接フレームである。
【００３５】
第１のステップ１０では、現フレームと参照フレームとの間の動きフィールドが決定される。動きフィールドは、参照フレームおよび現フレームを備えたフレームの各対に対して、および現フレームの各画素に対して、参照フレーム内の対応する点（動きベクトルエンドポイントと呼ばれる）を備える。このような対応は、現フレームの第１の画素と、参照フレーム内の対応する点との間の動きベクトルによって表される。この点がカメラ視野の外にあるかまたは隠蔽されている特定の場合は、このような対応する点は存在しない。
【００３６】
第２のステップ１１では、参照フレームおよび現フレームを備えたフレームの対に対して、決定された動きフィールドの品質を表す品質メトリックが評価され、動き品質閾値と比較される。品質メトリックは、図２を用いて種々の変形形態により評価される。
【００３７】
第１の変形形態では、品質メトリックは、参照フレームの画素のセットの不整合値の平均値の関数である。不整合値は、参照フレーム２１内の第１の画素ＸAと、第１の画素ＸAからの動きベクトル２５の現フレーム２４内へのエンドポイントＸBからの、逆動きベクトル２３のエンドポイントに対応する参照フレーム２１内の点２２との間の距離２０である。実際、品質尺度は、参照フレームと現フレームとの間で推定される順方向および逆方向動きフィールドの両方に依存する。順方向２３（それぞれ逆方向２５）動きフィールドは例えば、参照フレーム２１（それぞれ現フレーム２４）の画素を、現フレーム２４（それぞれ参照フレーム２１）に結び付ける動きフィールドを指す。一般に、直接動きフィールドおよび逆動きフィールドと呼ばれるこれら２つの動きフィールドの整合性は、それらの本質的な品質の良好な指標となる。２つの動きフィールドの間の不整合値は以下で与えられる：
【００３８】
【数１】
2017515372.tif 000003
【００３９】
および：
【００４０】
【数２】
2017515372.tif 000004
【００４１】
この式で、
【００４２】
【数３】
2017515372.tif 000005
【００４３】
は画素の２Ｄ位置であり、
【００４４】
【数４】
2017515372.tif 000006
【００４５】
は現フレーム内の動きベクトル
【００４６】
【数５】
2017515372.tif 000007
【００４７】
のエンドポイントに対応する。改良版では、推定される動きは一般にサブ画素解像度を有するので、この後者の位置は画素に対応しない。従って、
【００４８】
【数６】
2017515372.tif 000008
【００４９】
は、２Ｄ表示における４つの隣接画素２６に結び付けられたベクトルからバイリニア補間によって推定される。
【００５０】
第２の変形形態では、不整合値は２値化される。２進不整合値は、参照フレーム２１内の第１の画素ＸAと、第１の画素ＸAからの動きベクトル２５の現フレーム２４内へのエンドポイントＸBからの、逆動きベクトル２３のエンドポイントに対応する参照フレーム２１内の点２２との間の距離が、不整合閾値を超える場合にセット（例えば値１に）される。２進不整合値は、距離が不整合閾値未満の場合はリセット（例えばゼロにセット）される。品質メトリックは、その２進不整合値がリセットされた参照フレーム２１の画素のセットの中の画素の正規化された数を備える。
【００５１】
第３の変形形態では品質メトリックは、どれだけ正確に参照フレーム２１の第１の画素ＸAが、現フレーム内のマッチした点ＸBによって再構築され得るかを表すマッチングコストを用いて推定される。動き補償された絶対差は、参照フレーム２１内の第１の画素ＸAからの動きベクトル２５の現フレーム２４内へのエンドポイントＸBと、参照フレーム２１内の第１の画素ＸAとの間で計算される。差は、例えば、ＲＧＢカラースキームにおける画素の輝度値の差を指す。しかし、この変形形態は、上記で詳述されたようなビデオ内の画素を表す任意の値と適合する。この変形形態では、品質メトリックは、参照フレームの画素のセットの動き補償された絶対差の平均値の関数である。伝統的な尺度は、例えば以下によって定義され得るマッチングコストである：
【００５２】
【数７】
2017515372.tif 000009
【００５３】
参照フレーム内の画素ｘAのマッチングコスト
【００５４】
【数８】
2017515372.tif 000010
【００５５】
は、この場合はこの画素での値と現フレーム内の点
【００５６】
【数９】
2017515372.tif 000011
【００５７】
での値との間の絶対差の、３つの色チャネルＲＧＢ上の合計（ｌCに対応する）に対応し、ただし
【００５８】
【数１０】
2017515372.tif 000012
【００５９】
は、画素ｘAに割り当てられた現フレームに対する動きベクトル２５に対応する。
【００６０】
第４の変形形態では、品質メトリックは、参照フレームの画素のセットのピーク信号対雑音比の関数である。参照フレームのＮ個の画素ｘAのセットを検討する。ピーク信号対雑音比（ＰＳＮＲ）を計算するため、以下のように平均二乗誤差（ＭＳＥ）を推定することから始める：
【００６１】
【数１１】
2017515372.tif 000013
【００６２】
ただし、
【００６３】
【数１２】
2017515372.tif 000014
【００６４】
は、現行画素ｘAに割り当てられた現フレームに対する動きベクトルに対応する。
【００６５】
次いでＰＳＮＲは以下のように計算される：
【００６６】
【数１３】
2017515372.tif 000015
【００６７】
別の変形形態では、現フレームによる第１のフレームの表示の品質を評価するために考慮されなければならない重要な情報は、第１のフレーム内で観察されるシーン点が現フレームでは隠蔽されているため、またはそれが現フレーム内ではカメラ視野の外にあるために、現フレームでの対応がない、第１のフレームの画素の数である。このような画素を検出するための技法が存在する。例えば図３は、第１のフレーム３１上に、現フレーム３２の動きフィールド３３を投影することによって、現フレーム内に対応がない第１のフレームの可能性のある画素（隠蔽された画素と呼ばれる）を検出し、フレーム３１内のエンドポイントに最も近い画素をマークし、次いでフレーム３１内のマークされていない画素を識別することにある方法を示す。フレーム３１内でマークされた隠蔽された画素（すなわちフレーム３２内で隠蔽されたフレーム３１の画素）が多くなるほど、フレーム３２がフレーム３１を表す程度が低くなる。
【００６８】
第５の変形形態では、どれだけ正確に現フレームが、参照フレームによって全体的に良好に表されるかを評価するために、全体的品質メトリックが定義される。例えばこの全体的品質は、閾値より低いコストマッチングを有する画素の数を数える、または「整合する」（すなわちその不整合距離が、第２の変形形態でのように不整合閾値より低い、すなわち２進不整合値が０にセットされる）画素の数を数えることから結果として生じ得る。
【００６９】
次いで、視認可能な画素（すなわち隠蔽されていない画素）の、総数に対する比率を導き出すことができる。加えて、参照フレーム内での、現フレームの視認可能な画素の比率は、それ自体が、どれだけ良好に現フレームが参照フレームによって表されるかの適切なパラメータとなり得る。
【００７０】
動き品質を測るために、不整合値のみが用いられる変形形態では、整合および不整合動きベクトルを区別するために不整合閾値が導入された場合、動き品質メトリックは以下のようになる：
【００７１】
【数１４】
2017515372.tif 000016
【００７２】
用途に応じて品質メトリックの変形形態は以下のようになる：
【００７３】
【数１５】
2017515372.tif 000017
【００７４】
ただしＮは画像内の画素の数である。
【００７５】
別の変形形態によればこれらの「全体的」メトリックはまた、操作者によって示される特定の関心エリア上で計算され得る。
【００７６】
他の変形形態によれば、閾値設定から結果として生じる２進不整合値の代わりに、重みを導入することができる。例えばこの重みは、コストマッチングの、または不整合距離の負の指数関数として与えられ得る。従って、以下の、参照フレームに対する現フレーム内の動きフィールドの品質尺度を提案する：
【００７７】
【数１６】
2017515372.tif 000018
【００７８】
品質メトリックは、最良の品質が１に対応する、区間［０，１］内で定義されることが好ましい。しかし、本発明はこの規則に限定されない。この関連においてＦ（）およびｇ（）に対する可能な解は以下とすることができる：
【００７９】
【数１７】
2017515372.tif 000019
【００８０】
および
【００８１】
【数１８】
2017515372.tif 000020
【００８２】
Ｎは、この品質推定において考慮される画素の数である。
【００８３】
品質メトリックの変形形態が開示されたので、次に現フレーム反復のための処理方法のさらなるステップが述べられる。
【００８４】
このようにして、第２のステップ１１では、例えば［０，１］に属し、決定された動きフィールド（すなわち、現フレームと参照フレームとの間の順方向または逆方向のいずれかの動きフィールド）の品質を表す品質メトリックが品質閾値未満である場合は、ステップ１２で品質閾値を超える品質メトリックを有する前の現フレームのグループの中から、新参照フレームが決定される。従って、ステップ１３で、現フレームと参照フレームとの間の「参照への」動きフィールド（それぞれベクトル）は、現フレームと新参照フレームとの間の動きフィールド（それぞれベクトル）と、新参照フレームと参照フレームとの間の動きフィールド（それぞれベクトル）とを連結（または合計）することによって決定される。それに応じて、ステップ１３で、参照フレームと現フレームとの間の「参照からの」動きフィールド（それぞれベクトル）は、参照フレームと新参照フレームとの間の動きフィールド（それぞれベクトル）と、新参照フレームと現フレームとの間の動きフィールド（それぞれベクトル）とを連結（または合計）することによって決定される。変形形態では、品質メトリックが品質閾値未満になるとすぐに、順次的処理における前の現フレームが新参照フレームとして選択される。次いで、この新参照フレームと次の現フレーム（まだ処理されていない）をグループ化した、フレームの新しい対が検討される。次いでこれらのフレームと参照フレームとの間の対応が、動きフィールド（それぞれベクトル）の連結によって得られる。
【００８５】
方法は、第１のフレームから開始して、時間軸に沿って任意の方向に順次的に実行され得る。
【００８６】
前のフレームの中からの新参照フレームの選択の変形形態では、すべての前に選択された新参照フレームに対する直接動き推定が、それらの１つが現フレームに対する良好な参照フレームとなり得るかをチェックするために評価される。実際に、シーン内の動きに応じて、捨てられた前の参照フレームが、再び動き推定のための良好な候補になることが起こり得る。適切な参照フレームがない場合は、他の前に処理された現フレームが、現フレームのための可能な新参照フレームとしてテストされる。
【００８７】
第１の実施形態のさらなる変形形態では、品質メトリックを決定するために用いられる画素のセットは、参照フレームの関心領域に含まれる。
【００８８】
現フレームにおいて関心エリアが部分的に隠蔽されている場合は、品質メトリックは視認可能な部分のみに関係する。一方、新参照フレームの選択は、候補の新参照フレームが、現フレーム内で視認可能な参照エリアのすべての画素を含むことを求める。関心エリアの視認可能な部分のサイズが閾値未満のときは、場合によっては別の参照を選択するために、現フレームと参照フレームとの間で直接動き推定が実行される。実際に、関心エリアは一時的に隠蔽され、いくつかのフレームの後に再び視認可能になることが起こり得る。
【００８９】
次に、ビデオシーケンスの現フレームのセットに対する全体的処理方法が、第１の実施形態に対して述べられる。
【００９０】
【数１９】
2017515372.tif 000021
【００９１】
が参照フレームと見なされる、Ｎ＋１個のＲＧＢ画像
【００９２】
【数２０】
2017515372.tif 000022
【００９３】
のシーケンスに沿った、軌跡
【００９４】
【数２１】
2017515372.tif 000023
【００９５】
の推定に焦点を当てる。
【００９６】
【数２２】
2017515372.tif 000024
【００９７】
は、
【００９８】
【数２３】
2017515372.tif 000025
【００９９】
の格子点
【０１００】
【数２４】
2017515372.tif 000026
【０１０１】
から開始し、参照からの変位ベクトル
【０１０２】
【数２５】
2017515372.tif 000027
【０１０３】
のセットによって定義される。これらの変位ベクトルは、画素
【０１０４】
【数２６】
2017515372.tif 000028
【０１０５】
（それらが割り当てられた画素）から開始し、シーケンスの他のフレームｎのそれぞれを指し示す。実際には
【０１０６】
【数２７】
2017515372.tif 000029
【０１０７】
の品質は、各変位ベクトル
【０１０８】
【数２８】
2017515372.tif 000030
【０１０９】
に割り当てられた２進不整合値の検討を通じて推定される。これらのベクトルの１つが不整合である場合は、プロセスはマッチング問題に先行する時点で新参照フレームを自動的に追加し、上述の手順を実行する。
【０１１０】
【数２９】
2017515372.tif 000031
【０１１１】
の推定のために関わる長期高密度動き推定が、ＩNの前に、より正確にはｆａｉｌ0≦Ｎである
【０１１２】
【数３０】
2017515372.tif 000032
【０１１３】
において不合格になったと仮定する。我々は、
【０１１４】
【数３１】
2017515372.tif 000033
【０１１５】
において、すなわち追跡不合格に先行し、それに対して
【０１１６】
【数３２】
2017515372.tif 000034
【０１１７】
が正確に推定されている時点において、新参照フレームを導入することを提案する。
【０１１８】
この新参照フレーム（
【０１１９】
【数３３】
2017515372.tif 000035
【０１２０】
と呼ばれる）が挿入された後に、
【０１２１】
【数３４】
2017515372.tif 000036
【０１２２】
と、ｎ∈［ｒｅｆ1＋１，．．．，Ｎ］とする各後続のフレームＩnとの間の、
【０１２３】
【数３５】
2017515372.tif 000037
【０１２４】
内の位置
【０１２５】
【数３６】
2017515372.tif 000038
【０１２６】
から開始する新しい動き推定を実行する。従って、変位ベクトルのセット
【０１２７】
【数３７】
2017515372.tif 000039
【０１２８】
を得る。これらの推定は、我々が修正することを望む変位ベクトルの新しいバージョンを得ることを可能にする：
【０１２９】
【数３８】
2017515372.tif 000040
【０１３０】
。実際、これらの変位ベクトルの各初期推定は、
【０１３１】
【数３９】
2017515372.tif 000041
【０１３２】
に対して推定された
【０１３３】
【数４０】
2017515372.tif 000042
【０１３４】
と、
【０１３５】
【数４１】
2017515372.tif 000043
【０１３６】
に対して我々が今計算した
【０１３７】
【数４２】
2017515372.tif 000044
【０１３８】
との連結を通じて得られるベクトルによって取って代わられ得る：
【０１３９】
【数４３】
2017515372.tif 000045
【０１４０】
ベクトル
【０１４１】
【数４４】
2017515372.tif 000046
【０１４２】
は、空間的バイリニア補間によって計算することができる。
【０１４３】
結果としてのこの
【０１４４】
【数４５】
2017515372.tif 000047
【０１４５】
の新しいバージョンが、例えば
【０１４６】
【数４６】
2017515372.tif 000048
【０１４７】
（ただしｆａｉｌ0＜ｆａｉｌ1＜Ｎ）で再び不合格になった場合は、我々は
【０１４８】
【数４７】
2017515372.tif 000049
【０１４９】
において新参照フレーム
【０１５０】
【数４８】
2017515372.tif 000050
【０１５１】
を挿入し、
【０１５２】
【数４９】
2017515372.tif 000051
【０１５３】
から開始する長期推定器を行う。従って以下のように、ｎ∈［ｒｅｆ2＋１，．．．，Ｎ］とする変位ベクトル
【０１５４】
【数５０】
2017515372.tif 000052
【０１５５】
の新しい推定を得ることができる：
【０１５６】
【数５１】
2017515372.tif 000053
【０１５７】
シーケンスの終わりまで
【０１５８】
【数５２】
2017515372.tif 000054
【０１５９】
が再び不合格になるたびに、全く同様な処理を適用する。有利なことに、初期参照フレーム
【０１６０】
【数５３】
2017515372.tif 000055
【０１６１】
より、現フレームから近い参照フレームに依存したときは、変位選択基準（明るさ不変性の前提を含む）はより有効となる。特に、高度の色変化の場合は、マッチングはより容易に行われ得る。従って、この複数参照フレーム動き推定は、伝統的な単一参照フレーム手法と比べて強化される。
【０１６２】
どのような基準であっても、どの時点から新参照フレームが必要であるかを決定するために、品質要件に従って動き品質閾値が設定されなければならない。前に述べたように画像全体が関わらないときは、関心領域のみに焦点を当てる局部的算定が適切となり得る。動き推定プロセスの品質は、検討中のエリアに高度に依存し、画像全体に対して動きベクトル品質を検討することは、この場合の参照フレーム挿入プロセスに悪影響を及ぼし得る。
【０１６３】
参照への変位ベクトル
【０１６４】
【数５４】
2017515372.tif 000056
【０１６５】
∀ｎの推定が必要な特定の場合によれば、このような特定の場合は例えばテクスチャ挿入および伝搬に適合され、計算問題に対して、各フレームＩnから開始して
【０１６６】
【数５５】
2017515372.tif 000057
【０１６７】
まで、この複数参照フレーム処理を適用するのは難しいように思われる。従って、
【０１６８】
【数５６】
2017515372.tif 000058
【０１６９】
からの参照からの方向の処理が維持され、従って、新参照フレームの導入は、参照からの変位ベクトルの品質に対して決定される。しかし参照への変位ベクトルは、これらの新参照フレームの導入から恩恵を受け得る。
【０１７０】
【数５７】
2017515372.tif 000059
【０１７１】
および
【０１７２】
【数５８】
2017515372.tif 000060
【０１７３】
が挿入された前の例に戻ると、ｎ∈［ｒｅｆ2＋１，．．．，Ｎ］とするＩnの格子点ｘnから開始する不正確な変位ベクトル
【０１７４】
【数５９】
2017515372.tif 000061
【０１７５】
は、以下の連結を考慮することによって改良され得る。
【０１７６】
【数６０】
2017515372.tif 000062
【０１７７】
参照からの変位ベクトルの品質算定と、参照への変位ベクトルの実効的な品質との間の一定の相関関係を確実にするために、我々は、新参照フレームの挿入に対する、前に述べられた基準の中で、その対応する変位ベクトルが不整合となる画素のパーセンテージを選択することを提案する。我々は、この選択を、この基準において関わる不整合は、順方向−逆方向不整合を取り扱い、従って参照からのおよび参照への変位ベクトルの両方の品質に同時に対処するという事実によって説明する。
【０１７８】
図４は、第２の好ましい実施形態による方法のステップを示す。この実施形態では、第１の参照フレームは、ビデオシーケンスの第１のフレームの、ユーザが選択した領域に対して決定される。例えば、ビデオシーケンスを所与としてユーザは、任意に、または特定の特性を要求する特定の用途に従ってのいずれかで、特定のフレームを選択する。このようなユーザが選択したフレームは従来技術では、任意の画像処理アルゴリズムのための参照フレームとして用いられる。例えば、ユーザが、編集したい特定のエリアに自分の注目を向ける場合は、ユーザはこのエリアが参照フレーム内で完全に視認可能であることを必要とし得る。一方、フレーム内でユーザによって選択された領域は、別のフレーム内でより良好な解像度を有し得る。実際に、これは操作者が、最も精細な解像度を有するビデオシーケンスに沿って領域の表示を選択したことはが確実ではない。従って本発明は有利なことに、この初期選択から開始して、シーケンス内の可能な、より精細な表示が決定されることが可能になる。これは、他のフレーム内の対応する領域を識別し、そのサイズを参照領域のサイズに対して評価することによってなされる。変形形態では、領域のサイズは、それらの画素の数によって定義される。
【０１７９】
次に、ビデオシーケンスの現フレームの中から第１の参照フレームを決定するための処理方法の反復が述べられる。参照フレームは、第１のフレーム（ユーザによって選択された）として、およびサイズ閾値は第１のフレーム内のユーザが選択した領域のサイズに初期化される。次いで、次の現フレームが、現フレームの隣接フレームとなる。
【０１８０】
第１のステップ４０では、第１のフレームと現フレームとの間の動きフィールドが決定される。有利なことに、参照フレームとして用いられる第１のフレームと、シーケンスの他の現フレームとの間で、順方向および逆方向動きフィールドが推定される。これらの動きフィールドは、シーケンスのフレーム内のユーザが選択した領域を識別することを可能にする。変形形態では、動きフィールド推定は、参照フレームの選択された領域に限定される。推定は、画素ごとの、またはブロックをベースとする動き推定によって得られる。結果としての高密度動きフィールドは、第１のフレームの画素と、他の現フレームのそれぞれにおける画素／点との間の対応を与える。動きがサブ画素解像度を有する場合は、第１のフレームの所与の画素Ｘaに対応する現フレーム内の画素が、画素ＸAに結び付けられた動きベクトルのエンドポイントから最も近いものとして識別される。その結果、第１のフレーム内の第１の領域ＲAに対応する、現フレーム内の領域ＲBは、第１の領域の画素に結び付けられた動きベクトルのエンドポイントに対して最も近い画素である、画素のセットとして定義される。
【０１８１】
第２のステップ４１では、第１のフレームＡと現フレームＢとの間で決定された動きフィールドの品質を表す品質メトリックが推定される。有利な特徴によれば、推定は、それの画素ＸAのセットによって定義される、第１の領域ＲAに対して処理される。フレーム間の比較のための適切な情報をもたらすために、動きフィールドは信頼性があるべきである。その目的のために、例えば上記の変形形態の１つを用いて、動き品質メトリックが導き出される。ＱD（ＲA，Ｂ）と表されるこの尺度は、第１のフレームＡ内で操作者によって選択された関心エリアＲAに限定される。好ましい変形形態では、品質メトリックＱD（ＲA，Ｂ）が品質閾値を超えるときはこれは、領域ＲAに対応する現フレームＢ内のエリアＲBが良好に識別されていることを示す。
【０１８２】
変形形態によれば、動き品質の別の適切なパラメータは、現フレームＢ内で視認可能な（隠蔽されず現フレームの外でもない）、第１の領域ＲAの画素の比率である。ＯD（ＲA，Ｂ）と表されるこの比率はまた、視認性閾値を超えなければならない。有利なことに、視認性閾値は、ＲAがＲBによって表され得ると見なされることが可能となるためには、領域ＲA内のほとんどの画素が現フレームＢ内で視認可能となるように１に近い。
【０１８３】
第３のステップ４２では、第１のフレームのユーザが選択した領域に対応する現フレームの領域内の画素の数を含むサイズメトリックが推定される。有利なことに、この特徴は、対応する領域ＲAおよびＲBの両方の解像度の比較を可能にする。このためには、変形形態は、領域のサイズすなわちそれらの画素の数（ＮAおよびＮBと呼ばれる）を直接比較することにあり、ＮA＞ＮBである場合は第１の領域ＲAは領域ＲBより良好な解像度を有し、そうでなければ識別された領域ＲBは、始めに操作者によって選択されたエリアＲAをより良く表すための良好な候補となる。
【０１８４】
第４のステップ４３では、これら２つの上記のメトリックがテストされる。品質メトリックが品質閾値より高い場合、およびサイズメトリックがサイズ閾値より高い場合は、第１の参照フレームが現フレームに設定され、サイズ閾値はサイズメトリックにより更新される。
【０１８５】
次いで、ステップは、シーケンスの各連続した現フレームに対して順次的に反復される。
【０１８６】
当業者は、方法が、特別な機器の必要なしに、グラフィック処理ユニットを含むまたは含まないＰＣ、ラップトップ、タブレット、ＰＤＡ、携帯電話などのデバイスによって非常に容易に実現し得ることも理解するであろう。種々の変形形態によれば、方法に対して述べられた特徴は、ソフトウェアモジュールにおいて、またはハードウェアモジュールにおいて実現される。図５は、本発明の特定の実施形態による、ビデオシーケンスを処理するためのデバイスを示す。デバイスは、ビデオビットストリームを処理することを意図する任意のデバイスである。デバイス４００は、本発明の実施形態を実現することを意図する物理的手段、例えばプロセッサ５０１（ＣＰＵまたはＧＰＵ）、データメモリ５０２（ＲＡＭ、ＨＤＤ）、プログラムメモリ５０３（ＲＯＭ）、マンマシン（ＭＭＩ）インターフェース５０４、またはユーザのための情報の表示、および／またはデータもしくはパラメータの入力のために適合された特定のアプリケーション（例えば、ユーザがフレームを選択するおよび編集することを可能にするキーボード、マウス、タッチスクリーン）、および任意選択でハードウェアにおける機能のいずれかの実現のためのモジュール５０５を備える。データメモリ５０２は、ビデオシーケンスを表すビットストリーム、ビデオシーケンスに関連する高密度動きフィールドのセット、本明細書で述べられた方法のステップを実現するためのプロセッサ５０１によって実行可能となり得るプログラム命令を記憶することが有利である。前に述べられたように、高密度動き推定の生成は、例えばＧＰＵにおいてまたは専用ハードウェアモジュール５０５によって、予め計算されることが有利である。プロセッサ５０１は、プロセッサに結び付けられたディスプレイデバイス５０４に、処理されたビデオシーケンスを表示するように構成されることが有利である。変形形態ではプロセッサ５０１は、ディスプレイデバイスに結合されたグラフィック処理ユニットであり、ビデオシーケンスの並列処理を可能にし、従って計算時間を短縮する。別の変形形態では処理方法は、ネットワーククラウド、すなわちネットワークインターフェースを通じて接続された分散型プロセッサにおいて実現される。
【０１８７】
説明ならびに（適切な場合に）特許請求の範囲および図面において開示された各特徴は、単独でまたは任意の適切な組み合わせにおいてもたらされ得る。ソフトウェアにおいて実現されるものとして述べられた特徴は、ハードウェアにおいても実現することができ、逆も同様である。特許請求の範囲内に現れる参照番号は、例示のためのみであり、特許請求の範囲に対していかなる限定効果も有するものではない。
【０１８８】
本発明の別の特徴では、プログラム命令は、任意の適切なコンピュータ可読記憶媒体によってデバイス５００にもたらされ得る。コンピュータ可読記憶媒体は、１または複数のコンピュータ可読媒体において具現化され、コンピュータによって実行可能なその上に具現化されたコンピュータ可読プログラムコードを有する、コンピュータ可読プログラム製品の形をとることができる。本明細書で用いられる場合、コンピュータ可読記憶媒体とは、その中に情報を記憶する固有の能力、ならびにそれからの情報の取り出しをもたらす固有の能力を前提とした、非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、またはデバイス、または上記の任意の適切な組み合わせとすることができるが、それらに限定されない。以下は、本原理がそれに適用され得るコンピュータ可読記憶媒体のより具体的な例をもたらすが、当業者には容易に理解されるように単に説明に役立つおよび非網羅的な列挙であることが理解されるべきである：可搬コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭまたフラッシュメモリ）、可搬コンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、または上記の任意の適切な組み合わせである。
【０１８９】
当然ながら、本発明は、前に述べられた実施形態に限定されない。
【図１】
2017515372.tif 000063
【図２】
2017515372.tif 000064
【図３】
2017515372.tif 000065
【図４】
2017515372.tif 000066
【図５】
2017515372.tif 000067
【国際調査報告】
2017515372.tif 000068
2017515372.tif 000069
2017515372.tif 000070