【手続補正書】
【提出日】平成26年2月5日(2014.2.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピューター実行可能命令によってプログラムされた計算機にディジタル・ビデオ安定化方法を実施させるためのコンピューター実行可能命令を記憶している１つまたは複数のコンピューター読み取り可能媒体であって、前記１つ又は複数のコンピューター読み取り可能媒体は、不揮発性メモリーまたは記憶デバイスを含み、前記方法は、
当該計算機上にある種々のマルチメディア・ディジタル信号処理（ＤＳＰ）コンポーネントの各々の可用性を判断するために前記計算機を評価するステップと、
前記評価の結果から、前記ディジタル・ビデオ安定化の少なくとも性能を含む規準によって、マルチメディアＤＳＰコンポーネントを順序付けるための階層構造にしたがって、どの利用可能なマルチメディアＤＳＰコンポーネントをディジタル・ビデオ安定化の少なくとも一部分のために利用すべきかを決定するステップであって、前記ディジタル・ビデオ安定化が、推定局所動きベクトルを生成するための局所動きベクトル推定、震動動画を表す全域動き変換の推定のための前記推定局所動きベクトルの処理、および前記震動動画を補償するための前記全域動き変換に基づく画像ワーピングを少なくとも含む、ステップと、
前記ディジタル・ビデオ安定化の前記少なくとも一部分のために前記決定した利用可能なマルチメディアＤＳＰコンポーネントを利用して、前記計算機上において、ビデオ・セグメントのディジタル・ビデオ安定化を実施するステップであって、前記ビデオ・セグメントの少なくとも１つのフレームを、前記ビデオ・セグメントの前記少なくとも１つのフレームに適用する全域動き変換に基づいてワーピングするステップを含む、ステップと、
を含む、方法。
【請求項２】
請求項１記載の１つまたは複数のコンピューター読み取り可能媒体において、前記階層構造が、順番に、マルチメディアＤＳＰ  ＡＳＩＣユニット、ＧＰＵシェーダー・ユニット、マルチコアＣＰＵ、および単一コアＣＰＵを備えている、１つまたは複数のコンピューター読み取り可能媒体。
【請求項３】
請求項１記載の１つまたは複数のコンピューター読み取り可能媒体であって、更に、前記評価するステップにおいて、ＧＰＵシェーダーが前記計算機上で利用可能であると判断したとき、前記ディジタル・ビデオ安定化は、前記局所動きベクトル推定に前記ＧＰＵシェーダーを利用する、１つまたは複数のコンピューター読み取り可能媒体。
【請求項４】
請求項３記載の１つまたは複数のコンピューター読み取り可能媒体であって、更に、前記評価するステップにおいて、ＧＰＵシェーダーが前記計算機上で利用可能であると判断したとき、前記ディジタル・ビデオ安定化は、前記画像ワーピングのために、前記ＧＰＵシェーダーを更に利用する、１つまたは複数のコンピューター読み取り可能媒体。
【請求項５】
ディジタル・ビデオ安定化方法であって、計算機上において、
ビデオ・セグメントの一場面の複数のフレームのうちの１フレームについて局所動きベクトル推定を実施するステップであって、前記局所動きベクトル推定は、前記フレームに対して、
複数の解像度で前記フレームの複数のバージョンを形成するために、前記フレームと当該フレームと関連のある基準フレームとを１回以上ダウン・サンプリングするステップであって、前記フレームの最も解像度が低いバージョンが、前記フレームのそれよりも解像度が高い各バージョンにおける対応する位置にある連続的に多くなる数のブロックに対するピラミッド構造として関連付けられている複数のブロックを有する、ステップと、
前記フレームの前記最も解像度が低いバージョンについて、前記関連のある最も解像度が低いバージョンの基準フレームの初期動きベクトル推定処理を用いて、前記最も解像度が低いバージョンのフレームのブロックの動きベクトルを推定するステップと、
前記フレームの連続的に解像度が高くなる各バージョンについて、前記ピラミッド構造にしたがって、次に解像度が低いバージョンのフレームの関連ブロックについて指定した動きベクトルから開始して、精細検索を用いて、前記連続的に解像度が高くなるバージョンのブロックの動きベクトルを推定するステップと、
前記フレームの元の解像度のバージョンのブロックに対して、推定局所動きベクトルを生成するステップと、
を含む、局所動きベクトル推定を実施するステップと、
震動動画を表す全域動き変換の推定のために、前記フレームの推定局所動きベクトルを処理するステップと、
前記震動動画を補償するために、前記フレームに対して推定された前記全域動き変換に基づいて、前記フレームに対して画像ワーピングを実施するステップと、
を実施することを含む、方法。
【請求項６】
請求項５記載の方法において、前記フレームの前記推定局所動きベクトルを処理する前記ステップが、
前記フレームに対して生成された推定局所動きベクトルから、前記全域動き変換の推定に用いるために、１組の動きベクトルを選択するステップであって、
ピクチャー境界上にある動きベクトルを除外するステップと、
高い動き補償残差を有する動きベクトルを除外するステップと、
画像コンテンツ変動が少ないブロックの動きベクトルを除外するステップと、
を含む、選択するステップを含む、方法。
【請求項７】
請求項５記載の方法において、前記全域動き変換を推定するために前記フレームの前記推定局所動きベクトルを処理する前記ステップが、異常な動きベクトルの除去のためのランダム・サンプル・コンセンサスを用いて、前記フレームの局所動きベクトルを処理する、方法。
【請求項８】
請求項５記載の方法において、前記フレームの前記推定局所動きベクトルを処理する前記ステップが、
前記フレームの局所動きベクトルを処理することから推定された前記全域動き変換を、下限および上限と比較するステップと、
前記推定全域動き変換が前記上限を超える場合、前記全域動き変換をリセットするステップと、
前記推定全域動き変換が前記下限を超えるが前記上限を超えない場合、前記全域動き変換を、前記下限に制限するステップと、
それ以外の場合、震動動画を表すために、前記推定全域動き変換を用いるステップと、
を含む、方法。
【請求項９】
請求項８記載の方法であって、更に、
前記ビデオ・セグメントの前記一場面におけるフレームに対する第１パスとして、前記ビデオ・セグメントの前記一場面における前記フレームに対する全域動き変換を推定するために、前記フレームを処理するステップと、
前記ビデオ・セグメントの前記一場面における前記フレームに対する全域動き変換のパラメーターの確率分布を判定するステップと、
前記確率分布に基づいて前記下限および前記上限を決定するステップと、
前記ビデオ・セグメントの前記一場面における前記フレームを処理する第２パスにおいて、前記全域動き変換の推定値に、前記下限および上限を適用するステップと、
を含む、方法。
【請求項１０】
請求項５記載の方法において、前記フレームの前記推定局所動きベクトルを処理する前記ステップが、
類似性動きモデルに基づいて全域動き変換に対してパラメーターを推定するために、ランダム・サンプル・コンセンサスおよび最小二乗誤差を用いて、前記フレームの動きベクトルを処理するステップと、
前記全域動き変換の推定パラメーターを、前記パラメーターに対する下限および上限と比較するステップと、
前記全域動き変換の推定パラメーターのいずれかがその上限を超えた場合、前記全域動き変換をリセットするステップと、
前記全域動き変換の推定パラメーターのいずれかがその下限を超えたが上限を超えない場合、前記全域動き変換の推定パラメーターをその下限に制限するステップと、
それ以外の場合、震動動画を表すために、前記推定全域動き変換を用いるステップと、
を含む、方法。
【請求項１１】
請求項５記載の方法において、前記フレームの前記推定局所動きベクトルを処理する前記ステップが、ガウス・フィルターを用いて、時間スムージングを前記推定全域動き変換に適用するステップと、前記ビデオ・セグメントの前記一場面におけるフレームに対して制約付き全域最適化を用いて、時間スムージングを前記推定全域動き変換に適用するステップと、を含む、方法。
【請求項１２】
ディジタル・ビデオ安定化をビデオに適用するために前記ビデオを処理するディジタル・ビデオ処理デバイスであって、
汎用プラットフォームのビデオ安定化ライブラリー・プログラムを格納するメモリーと、
少なくとも１つのディジタル信号処理コンポーネントと、
前記メモリーから前記ビデオ安定化ライブラリー・プログラムを実行するように動作する演算装置と、
を備えており、前記ビデオ安定化ライブラリー・プログラムの実行が、
前記ディジタル・ビデオ処理デバイスの前記少なくとも１つのディジタル信号処理コンポーネントを評価するステップと、
前記ディジタル・ビデオ安定化の少なくとも性能を含む規準によって、ＤＳＰディジタル信号処理コンポーネントを順序付けるための階層構造にしたがって、ディジタル・ビデオ安定化の少なくとも一部分のために、前記少なくとも１つのディジタル信号処理コンポーネントの内どれを利用するか決定するステップと、
少なくとも、前記フレームの局所動きベクトルを推定するために前記ビデオの１フレームを処理すること、震動動画を表す全域動き変換の推定のために前記推定局所動きベクトルを処理すること、前記震動動画を補償するために前記全域動き変換に基づいて前記フレームをワーピングすることによって、前記ビデオに対してディジタル・ビデオ安定化を実施するステップであって、前記ディジタル・ビデオ安定化の実施が、前記ディジタル・ビデオ安定化の前記少なくとも一部分のために、前記決定したディジタル信号処理コンポーネントを利用する前記汎用プラットフォーム・ビデオ安定化ライブラリー・プログラムにおけるプログラミング機能を実行する、ステップと、
を含む、ディジタル・ビデオ処理デバイス。
【請求項１３】
請求項１２記載のディジタル・ビデオ処理デバイスにおいて、前記フレームの局所動きベクトルを推定するために前記フレームを処理する前記ステップが、前記決定された少なくとも１つのディジタル信号処理コンポーネントに、
複数の解像度で前記フレームの複数のバージョンを形成するために、前記フレームと当該フレームと関連のある基準フレームとを１回以上ダウン・サンプリングするステップであって、前記フレームの最も解像度が低いバージョンが、前記フレームのそれよりも解像度が高い各バージョンにおける対応する位置にある連続的に多くなる数のブロックに対するピラミッド構造として関連付けられている複数のブロックを有する、ステップと、
前記フレームの最も解像度が低いバージョンについて、前記関連のある最も解像度が低いバージョンの基準フレームの初期動きベクトル推定処理を用いて、前記最も解像度が低いバージョンのフレームのブロックの動きベクトルを推定するステップと、
前記フレームの連続的に解像度が高くなる各バージョンについて、前記ピラミッド構造にしたがって、次に解像度が低いバージョンのフレームの関連ブロックについて推定した動きベクトルから開始して、精細検索を用いて、前記連続的に解像度が高くなるバージョンのブロックの動きベクトルを推定するステップと、
前記フレームの元の解像度のバージョンのブロックに対して、前記推定局所動きベクトルを生成するステップと、
を実行させる、ディジタル・ビデオ処理デバイス。
【請求項１４】
請求項１３記載のディジタル・ビデオ処理デバイスにおいて、震動動画を表す前記全域動き変換の推定のために前記推定局所動きベクトルを処理する前記ステップが、類似性動きモデルに基づいて前記全域動き変換に対してパラメーターを推定するために、ランダム・サンプル・コンセンサスおよび最小二乗誤差を用いて、前記フレームの前記推定局所動きベクトルを処理するステップを含む、ディジタル・ビデオ処理デバイス。
【請求項１５】
請求項１２記載のディジタル・ビデオ処理デバイスにおいて、震動動画を表す前記全域動き変換の推定のために前記推定局所動きベクトルを処理する前記ステップが、
前記全域動き変換の推定パラメーターを、下限および上限と比較するステップと、
前記全域動き変換の推定パラメーターのいずれかがその上限を超えた場合、前記全域動き変換をリセットするステップと、
前記全域動き変換の推定パラメーターのいずれかがその下限を超えたが上限を超えない場合、前記全域動き変換の推定パラメーターをその下限に制限するステップと、
それ以外の場合、震動動画を表すために、前記推定全域動き変換を用いるステップと、
を含む、ディジタル・ビデオ処理デバイス。