【手続補正書】
【提出日】平成28年5月25日(2016.5.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
本発明を例示的な実施形態を参照しながら具体的に図示・説明したが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲から逸脱することなく、形態および細部の詳細な変更が可能であることを理解するであろう。
〔態様１〕
映像データを処理する方法であって、
検出アルゴリズムを用いて、少なくとも１つのフレーム内で、対象の領域における特徴およびオブジェクトのうちの少なくとも一方を検出する過程と、
パラメータのセットを用いて、特徴およびオブジェクトのうちの検出された前記少なくとも一方をモデル化する過程と、
特徴およびオブジェクトのうちの検出された前記少なくとも一方の、あらゆるインスタンスを、複数のフレームにわたって相関させる過程と、
相関された前記インスタンスの、少なくとも１つのトラックを形成する過程と、
前記少なくとも１つのトラックを、符号化する映像データの少なくとも１つのブロックに関連付ける過程と、
関連付けられた前記トラックの情報を用いて、映像データの前記少なくとも１つのブロックに対するモデルベース予測を生成する過程であって、前記モデルベース予測を、標準に準拠した、符号化済映像データまたは復号化済映像データとして記憶することを含む、過程と、
を備える、映像データの処理方法。
〔態様２〕
態様１に記載の映像データの処理方法において、前記検出アルゴリズムが、ノンパラメトリックな特徴検出アルゴリズムの種類に含まれる、映像データの処理方法。
〔態様３〕
態様１に記載の映像データの処理方法において、前記パラメータのセットが、特徴およびオブジェクトのうちの前記少なくとも一方に関する情報を含み、メモリに記憶される、映像データの処理方法。
〔態様４〕
態様３に記載の映像データの処理方法において、特徴のパラメータが、特徴記述子ベクトルおよび当該特徴の位置を含む、映像データの処理方法。
〔態様５〕
態様４に記載の映像データの処理方法において、前記パラメータが、その特徴の検出時に生成される、映像データの処理方法。
〔態様６〕
態様１に記載の映像データの処理方法において、映像データの前記少なくとも１つのブロックがマクロブロックであり、前記少なくとも１つのトラックが特徴を当該マクロブロックに関連付ける、映像データの処理方法。
〔態様７〕
映像データを処理する方法であって、
対象の領域における特徴およびオブジェクトのうちの少なくとも一方を検出する過程と、
パラメータのセットを用いて、特徴およびオブジェクトのうちの前記少なくとも一方をモデル化する過程と、
特徴およびオブジェクトのうちの前記少なくとも一方の、あらゆるインスタンスを、複数のフレームにわたって相関させる過程と、
相関された前記インスタンスの、少なくとも１つの行列を形成する過程と、
前記少なくとも１つの行列を、符号化する映像データの少なくとも１つのブロックに関連付ける過程と、
関連付けられた前記行列の情報を用いて、映像データの前記少なくとも１つのブロックに対するモデルベース予測を生成する過程であって、前記モデルベース予測を、標準に準拠した、符号化済映像データまたは復号化済映像データとして記憶することを含む、過程と、
を備える、映像データの処理方法。
〔態様８〕
態様７に記載の映像データの処理方法において、前記パラメータのセットが、特徴およびオブジェクトのうちの前記少なくとも一方に関する情報を含み、メモリに記憶される、映像データの処理方法。
〔態様９〕
態様８に記載の映像データの処理方法において、特徴のパラメータが、特徴記述子ベクトルおよび当該特徴の位置を含む、映像データの処理方法。
〔態様１０〕
態様９に記載の映像データの処理方法において、前記パラメータが、その特徴の検出時に生成される、映像データの処理方法。
〔態様１１〕
態様７に記載の映像データの処理方法において、さらに、
あるベクトル空間の少なくとも１つの部分空間を用いて、前記少なくとも１つの行列を、特徴およびオブジェクトのうちの相関された前記少なくとも一方の、パラメトリックモデルとしてまとめる過程、
を含む、映像データの処理方法。
〔態様１２〕
映像データを処理するコーデックであって、
少なくとも２つの映像フレーム内における特徴のインスタンスを特定する、特徴ベース検出手段であって、特定される、当該特徴のインスタンスが、前記１つまたは２つ以上の映像フレーム内の他のピクセルよりもデータ複雑さを示す複数のピクセルを有する、特徴ベース検出手段と、
前記特徴ベース検出手段に動作可能に接続されたモデル化手段であって、２つまたは３つ以上の映像フレーム内における特徴の前記インスタンスの対応関係をモデル化する、特徴ベースのモデルを生成するモデル化手段と、
前記特徴ベースのモデルを用いて特徴の前記インスタンスを標準に準拠して符号化する方が、第１の映像符号化プロセスを用いて特徴の当該インスタンスを標準に準拠して符号化するよりも圧縮効率が向上すると判断された場合に、前記特徴ベースのモデルの使用を優先するキャッシュと、
を備える、コーデック。
〔態様１３〕
態様１２に記載のコーデックにおいて、従来の映像圧縮法による前記ピクセルの符号化が所定の閾値を超える場合に、前記データ複雑さが判断される、コーデック。
〔態様１４〕
態様１２に記載のコーデックにおいて、従来の映像圧縮法により前記特徴を符号化すると割り当てられる帯域量が所定の閾値を超える場合に、前記データ複雑さが判断される、コーデック。
〔態様１５〕
態様１４に記載のコーデックにおいて、前記所定の閾値が、所定の数値、データベースに記憶された所定の数値、過去に符号化した特徴に割り当てられた帯域量の平均値として設定される数値、および過去に符号化した特徴に割り当てられた帯域量の中央値として設定される数値のうちの少なくとも１つである、コーデック。
〔態様１６〕
態様１２に記載のコーデックにおいて、前記第１の映像符号化プロセスが、動き補償予測プロセスを含む、コーデック。
〔態様１７〕
態様１２に記載のコーデックにおいて、前記使用の優先が、競争モード内の各ソリューション候補の符号化コストを比較することによって決定され、前記ソリューション候補が、追跡手段、一次的予測動きモデル、一次的予測サンプリングスキーム、サブタイル化スキーム、再構成アルゴリズム（、および（場合によっては）副次的予測スキーム）を含む、コーデック。
〔態様１８〕
態様１７に記載のコーデックにおいて、前記特徴ベースのモデル化の使用が優先されると、特徴の前記インスタンスのデータ複雑さのレベルが前記閾値として使用され、これにより、特徴の後続のインスタンスがその閾値以上のデータ複雑さのレベルを示すと、前記エンコーダが、特徴の当該後続のインスタンスに対する特徴ベースの圧縮の開始及び使用を自動的に判断する、コーデック。
〔態様１９〕
態様１２に記載のコーデックにおいて、前記特徴ベース検出手段が、ＦＰＡトラッカー、ＭＢＣトラッカーおよびＳＵＲＦトラッカーのうちの１つを利用する、コーデック。
〔態様２０〕
映像データを処理するコーデックであって、
少なくとも２つの映像フレーム内における特徴のインスタンスを特定する、特徴ベースの検出手段であって、特定される、特徴の当該インスタンスが、前記少なくとも２つの映像フレームのうちの少なくとも１つの映像フレーム内の他のピクセルよりもデータ複雑さを示す複数のピクセルを有する、特徴ベース検出手段と、
前記特徴ベース検出手段に動作可能に接続されたモデル化手段であって、前記少なくとも２つの映像フレーム内における、特徴の特定されたインスタンスの対応関係をモデル化する特徴ベースのモデルを生成するモデル化手段と、
複数の前記特徴ベースのモデルのうち、所与の特徴ベースのモデルにより、特徴の特定された前記インスタンスの圧縮効率が向上すると判断された場合に、そのモデルの標準に準拠した使用を優先するメモリと、
を備える、コーデック。
〔態様２１〕
態様２０に記載のコーデックにおいて、特定された特徴の圧縮効率を、第１の映像符号化プロセスを用いた場合の当該特徴のインスタンスの標準に準拠した符号化と、データベースに記憶された圧縮効率の所定の数値との一方と比べることにより、当該特徴の特定されたインスタンスの圧縮効率の向上を判断する、コーデック。
〔態様２２〕
映像データを処理する方法であって、
特徴のペルおよび特徴記述子のうちの少なくとも一方をベクトル化することにより、特徴をモデル化する過程と、
（ａ）特徴のペルの異なるベクトル間または異なる特徴記述子間の平均二乗誤差（ＭＳＥ）の最小化と、（ｂ）特徴のペルの異なるベクトル間または異なる特徴記述子間の内積の最大化との少なくとも一方により、類似する特徴を特定する過程と、
標準の動き推定・補償アルゴリズムを適用する過程であって、これにより前記特徴の並進動きを考慮し、標準に準拠した、符号化済映像データまたは復号化済映像データを得る過程と、
を備える、映像データの処理方法。
〔態様２３〕
映像データを処理する方法であって、
モデルベース予測を、ターゲットのフレームを符号化するようにコーデックを構成することによって実現する過程と、
従来の符号化プロセスを用いて、前記ターゲットのフレーム内のマクロブロックを符号化する過程と、
前記マクロブロックの符号化を分析する過程であって、そのマクロブロックの従来の符号化が効率的と非効率の少なくとも一方と判断され、前記従来の符号化が非効率と判断された場合、前記マクロブロックに対する予測を複数のモデルに基づいて複数生成することによって、前記エンコーダが分析され、そのマクロブロックの前記複数の予測の評価が、符号化サイズに基づく、過程と、  前記マクロブロックの前記予測を、前記従来の符号化によるマクロブロックと共に順位付けする過程と、
を備える、映像データの処理方法。
〔態様２４〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化を、符号化サイズが所定のサイズ閾値よりも小さい場合に効率的とする、映像データの処理方法。
〔態様２５〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化を、前記ターゲットマクロブロックがスキップマクロブロックである場合に効率的とする、映像データの処理方法。
〔態様２６〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化を、符号化サイズが閾値よりも大きい場合に非効率とする、映像データの処理方法。
〔態様２７〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化が非効率と判断された場合に、当該マクロブロックに対する符号化を競争モードで複数生成して互いの圧縮効率を比較する、映像データの処理方法。
〔態様２８〕
態様２７に記載の映像データの処理方法において、競争モードの符号化アルゴリズムが、
前記マクロブロックから前記予測を減算する手順であって、これにより、残差信号を生成する手順、
ブロックベースの二次元ＤＣＴの近似を用いて、前記残差信号を変換する手順、および
エントロピー符号化部を用いて、変換係数を符号化する手順、
を備える、映像データの処理方法。
〔態様２９〕
態様２３に記載の映像データの処理方法において、複数の予測を生成することによって分析される前記エンコーダが、一次的予測および重み付けされた副次的予測を合計する複合予測を生成する、映像データの処理方法。
〔態様３０〕
映像データを処理する方法であって、
モデルベース圧縮のために、複数の忠実度でデータをモデル化する過程であって、当該複数の忠実度が、マクロブロック階層、特徴としてのマクロブロック階層、特徴階層、およびオブジェクト階層のうちの少なくとも１つを含む過程、
を備え、
前記マクロブロック階層は、ブロックベースの動き推定・補償（ＢＢＭＥＣ）アプリケーションを用いて、復号化した参照フレーム内の限られた探索空間から各タイルに対する予測を見つけ出し、
前記特徴としてのマクロブロック階層は、（ｉ）前記マクロブロック階層と同じ１回目のＢＢＭＥＣアプリケーションを用いて、一番最近の参照フレームからターゲットのマクロブロックの第１の予測を見つけ出し、（ｉｉ）２回目のＢＢＭＥＣアプリケーションを用いて、二番目に最近の参照フレームを探索することにより、前記第１の予測に対する第２の予測を見つけ出し、（ｉｉｉ）徐々に過去のフレームを溯ってＢＢＭＥＣアプリケーションを適用することにより、前記ターゲットのマクロブロックのトラックを生成し、
前記特徴階層は、マクロブロックのグリッドに関係なく特徴を検出及び追跡し、その特徴を当該特徴と重複するマクロブロックに関連付けて、特徴のトラックを用いて、復号化した参照フレームをナビゲートすることで前記重複するマクロブロックに対する良好なマッチを見つけ出し、さらに、複数の特徴が１つの対象のターゲットのマクロブロックと重複する場合には、重複の最も大きい特徴が当該ターゲットのマクロブロックをモデル化するのに選択され、
前記オブジェクト階層では、オブジェクトが複数のマクロブロックを包含するか又は複数のマクロブロックと重複する場合、そのオブジェクトに対応する全てのマクロブロックに関して単一の動きベクトルを算出可能であり、これにより演算量及び符号化サイズを節約する、
映像データの処理方法。
〔態様３１〕
態様３０に記載の映像データの処理方法において、前記複数の忠実度が、順次的に調べられる、映像データの処理方法。
〔態様３２〕
態様３０に記載の映像データの処理方法において、前記複数の忠実度が、競争モードで調べられる、映像データの処理方法。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像データを符号化する方法であって、
Ｈ．２６４デコーダが解読できるＨ．２６４準拠のビットストリームを形成する過程と、
モデルベース圧縮のために、複数の忠実度で映像データをモデル化する過程であって、当該複数の忠実度が、
ａ）ブロックベースの動き推定・補償（ＢＢＭＥＣ）アプリケーションを用いるマクロブロック階層であって、先に復号化した参照フレーム内の限られた探索空間から各タイルに対する予測を見つけ出すマクロブロック階層と、
ｂ）特徴としてのマクロブロック階層であって、（ｉ）前記マクロブロック階層と同じ１回目のＢＢＭＥＣアプリケーションを用いて、一番最近の参照フレームから、ターゲットの符号化するマクロブロックの第１の予測を見つけ出し、（ｉｉ）２回目のＢＢＭＥＣアプリケーションを用いて、二番目に最近の参照フレームを探索することにより、前記第１の予測に対する第２の予測を見つけ出し、（ｉｉｉ）徐々に過去のフレームを溯ってＢＢＭＥＣアプリケーションを適用することにより、前記ターゲットのマクロブロックのトラックを生成する、特徴としてのマクロブロック階層と、
ｃ）特徴階層であって、マクロブロックのグリッドに関係なく特徴を検出及び追跡し、その特徴を当該特徴と重複するマクロブロックに関連付けて、特徴のトラックを用いて、先に復号化した参照フレームをナビゲートすることで前記重複するマクロブロックに対する良好なマッチを見つけ出し、さらに、複数の特徴が１つの対象のターゲットのマクロブロックと重複する場合には、重複の最も大きい特徴が前記１つの対象のターゲットのマクロブロックをモデル化するのに選択される、特徴階層と、
ｄ）複数のマクロブロックを包含するか又は複数のマクロブロックと重複するオブジェクトを検出するオブジェクト階層であって、単一の動きベクトルが、前記オブジェクトに対応する全てのマクロブロックに関して算出され、これにより演算量及び符号化サイズが節約される、オブジェクト階層とを含み、
前記複数の忠実度でモデル化された映像データにより、Ｈ．２６４準拠のビットストリームへと直接符号化された動きベクトルが得られる、映像データの符号化方法。
【請求項２】
請求項１に記載の映像データの符号化方法において、前記複数の忠実度が、順次的に調べられる、映像データの符号化方法。
【請求項３】
請求項１に記載の映像データの符号化方法において、前記複数の忠実度が、「競争」で調べられ、各ターゲットのマクロブロックについて、いずれの階層が最小量の符号を生成するかを判定する、映像データの符号化方法。
【請求項４】
請求項３に記載の映像データの符号化方法において、前記階層が、最も単純な階層から最も複雑な階層へと順次的に調べられ、下位の階層のソリューションで十分な場合には、上位の階層のソリューションは調べられない、映像データの符号化方法。
【請求項５】
請求項３に記載の映像データの符号化方法において、当該方法の最初の過程が、ターゲットのマクロブロックのＨ．２６４符号を分析することを含み、前記ターゲットのマクロブロックの前記Ｈ．２６４符号が効率的であるとみなされた場合、前記ターゲットのマクロブロックに前記Ｈ．２６４符号が採用される、映像データの符号化方法。
【請求項６】
請求項５に記載の映像データの符号化方法において、前記ターゲットのマクロブロックの前記Ｈ．２６４符号化の効率が、前記Ｈ．２６４符号のサイズを閾値と比較することによって判定される、映像データの符号化方法。
【請求項７】
請求項５に記載の映像データの符号化方法において、前記ターゲットのマクロブロックの前記Ｈ．２６４符号化の効率が、前記ターゲットのマクロブロックがスキップマクロブロックであるかを判定して、判定される、映像データの符号化方法。
【請求項８】
請求項１に記載の映像データの符号化方法において、特徴を検出及び追跡する特徴階層が特徴記述子を用い、当該特徴記述子は、検出した前記特徴をモデル化し、複数のフレームにわたって特徴を追跡するのに用いられる、映像データの符号化方法。
【請求項９】
請求項３に記載の映像データの符号化方法において、前記複数の忠実度が競争で調べられて、各ターゲットのマクロブロックについて最小の符号を生成する階層が判定され、これにより処理選択肢のあらゆる組合せが調べられ、当該処理選択肢は、トラッカーの種類、キー予測の動きモデルおよびキー予測のサンプリングスキーム、サブタイル化スキームならびに再構成アルゴリズムを含む、映像データの符号化方法。
【請求項１０】
請求項９に記載の映像データの符号化方法において、前記競争に利用可能な前記選択肢が、Ｈ．２６４準拠のビットストリーム内で解読可能な選択肢に限定され、これにより、得られる符号は標準であって前記Ｈ．２６４で解読される、映像データの符号化方法。
【請求項１１】
請求項３に記載の映像データの符号化方法において、
前記ターゲットのマクロブロックから前記予測を減算することであって、これにより、残差信号を生成すること、
前記残差信号を変換すること、および
エントロピー符号化部を用いて変換係数を符号化することによって、各予測についての符号化コストが判定される、映像データの符号化方法。
【請求項１２】
請求項１に記載の映像データの符号化方法において、前記モデル化が、前記ターゲットのマクロブロックに対する複数のモデルベース予測を生成し、当該方法が、さらに、
複数のモデルベース予測から、前記ターゲットのマクロブロックに対する最良の予測を判定する過程と、
前記最良の予測を用いて符号化することにより、前記ターゲットのマクロブロックの符号を提供する、符号化過程とを備えた、映像データの符号化方法。
【請求項１３】
請求項１２に記載の映像データの符号化方法において、前記符号化過程が、
前記ターゲットのマクロブロックから前記予測を減算することであって、これにより、残差信号を生成すること、
前記残差信号を変換すること、および
エントロピー符号化部を用いて変換係数を符号化することを含む、映像データの符号化方法。
【請求項１４】
映像データを符号化するコーデックであって、
モデルベース圧縮のために、複数の忠実度で映像データをモデル化することにより、Ｈ．２６４デコーダが解読できるＨ．２６４準拠のビットストリームを形成するように構成され、
前記複数の忠実度が、マクロブロック階層、特徴としてのマクロブロック階層、特徴階層およびオブジェクト階層の少なくとも１つを含み、
前記マクロブロック階層が、ブロックベースの動き推定・補償（ＢＢＭＥＣ）アプリケーションを用いて、先に復号化した参照フレーム内の限られた探索空間から各タイルに対する予測を見つけ出し、
前記特徴としてのマクロブロック階層が、（ｉ）前記マクロブロック階層と同じ１回目のＢＢＭＥＣアプリケーションを用いて、一番最近の参照フレームから、ターゲットのマクロブロックの第１の予測を見つけ出し、（ｉｉ）２回目のＢＢＭＥＣアプリケーションを用いて、二番目に最近の参照フレームを探索することにより、前記第１の予測に対する第２の予測を見つけ出し、（ｉｉｉ）徐々に過去のフレームを溯ってＢＢＭＥＣアプリケーションを適用することにより、前記ターゲットのマクロブロックのトラックを生成し、
前記特徴階層が、マクロブロックのグリッドに関係なく特徴を検出及び追跡し、その特徴を当該特徴と重複するマクロブロックに関連付けて、特徴のトラックを用いて、先に復号化した参照フレームをナビゲートすることで前記重複するマクロブロックに対する良好なマッチを見つけ出し、さらに、複数の特徴が１つの対象のターゲットのマクロブロックと重複する場合には、重複の最も大きい特徴が前記１つの対象のターゲットのマクロブロックをモデル化するのに選択され、
前記オブジェクト階層が、複数のマクロブロックを包含するか又は複数のマクロブロックと重複するオブジェクトを検出することで、単一の動きベクトルが、前記オブジェクトに対応する全てのマクロブロックに関して算出され、これにより演算量及び符号化サイズが節約され、
前記複数の忠実度でモデル化された前記映像データが、Ｈ．２６４準拠のビットストリームへと直接符号化された動きベクトルをもたらす、映像データ符号化コーデック。