(57)【特許請求の範囲】
【請求項１】
コンピュータに、
第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得し、
前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、
画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う
処理を実行させる符号化処理プログラムであって、
前記画像特徴情報が前記第１画像データの画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を静止領域と判定し、
前記第１画像データと前記第２画像データとの間のグローバルベクトルを取得し、前記グローバルベクトルを基に、前記静止領域と判定されなかった前記第２画像データの画像領域の移動元である移動元画像領域を特定し、画像特徴情報が前記移動元画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を等速移動領域と判定する
処理をさらに実行させ、
前記符号化を行う処理は、前記静止領域に対し画像特徴情報が所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を適用して符号化を行い、前記等速移動領域に対し画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位のうちのＰＵを適用して符号化を行う、
ことを特徴とする符号化処理プログラム。
【請求項２】
前記符号化を行う処理は、前記静止領域及び前記等速移動領域のいずれとも判定されなかった前記第２画像データの画像領域に対し符号化処理単位に予め設定された固定値を適用して符号化を行う
ことを特徴とする請求項１に記載の符号化処理プログラム。 
【請求項３】
コンピュータが、
第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得し、
前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、
画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う、
処理を実行する符号化処理方法であって、
前記画像特徴情報が前記第１画像データの画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を静止領域と判定し、
前記第１画像データと前記第２画像データとの間のグローバルベクトルを取得し、前記グローバルベクトルを基に、前記静止領域と判定されなかった前記第２画像データの画像領域の移動元である移動元画像領域を特定し、画像特徴情報が前記移動元画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を等速移動領域と判定する
処理をさらに実行し、
前記符号化を行う処理は、前記静止領域に対し画像特徴情報が所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を適用して符号化を行い、前記等速移動領域に対し画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位のうちのＰＵを適用して符号化を行う、
ことを特徴とする符号化処理方法。
【請求項４】
第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得する取得部と、
前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う適用部と、
を有し、
前記画像特徴情報が前記第１画像データの画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を静止領域と判定する静止判定部と、
前記第１画像データと前記第２画像データとの間のグローバルベクトルを取得し、前記グローバルベクトルを基に、前記静止領域と判定されなかった前記第２画像データの画像領域の移動元である移動元画像領域を特定し、画像特徴情報が前記移動元画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を等速移動領域と判定する等速移動判定部と、
をさらに有し、
前記適用部は、前記静止領域に対し画像特徴情報が所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を適用して符号化を行い、前記等速移動領域に対し画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位のうちのＰＵを適用して符号化を行う、
ことを特徴とする符号化処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化処理プログラム、符号化処理方法及び符号化処理装置に関する。
【背景技術】
【０００２】
Ｈ．２６４の２倍以上の効率での圧縮符号化を可能とする符号化方式としてＨＥＶＣ（High  Efficiency  Video  Coding）がある。ＨＥＶＣは次世代の４Ｋ、８Ｋ画像の放送、配信及び蓄積を実現するための基盤となる技術である。また、ＨＥＶＣは、Ｆｕｌｌ  ＨＤ以下の画像伝送・配信・蓄積においても高品質化、多チャンネル化を可能とする。
【０００３】
Ｈ．２６４では、１６×１６画素に固定された画像領域であるＭＢ（Macroblock）が符号化処理の基本単位であった。一方、ＨＥＶＣでは、階層４分木構造を持ち８×８〜６４×６４画素の間で可変であるＣＵ（Coding  Unit）、及びＰＵ（Prediction  Unit）もしくはＴＵ（Transform  Unit）が符号化処理の基本単位である。このように、ＨＥＶＣは、符号化処理の単位を適応的、階層的に決定することで圧縮符号化の効率を向上させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２０４２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＨＥＶＣには、多大な演算量が要求されるという問題がある。
【０００６】
例えば、ＨＥＶＣにおいて画質及び効率を両立させるためには、取り得る全てのＣＵサイズ、及びＣＵサイズごとのＰＵもしくはＴＵの組み合わせについての画質及び効率の評価を行い、最適な組み合わせを抽出する。このとき、評価のために生じる予測処理及び変換処理等において求められる演算量は、最大でＨ．２６４の４倍以上になる。そして、演算量の増加にともなって圧縮符号化のための回路規模及び処理装置の消費電力が大きくなる。
【０００７】
１つの側面では、演算量を削減することができる符号化処理プログラム、符号化処理方法及び符号化処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一態様の符号化処理プログラムは、コンピュータに、第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得し、前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う処理を実行させる。
【発明の効果】
【０００９】
符号化処理における演算量を削減することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施例に係る符号化処理装置の機能的構成を示すブロック図である。
【図２】図２は、符号化処理単位の一例を示す図である。
【図３】図３は、本実施例に係る符号化処理装置の符号化部の機能的構成を示すブロック図である。
【図４】図４は、本実施例に係る符号化処理装置の予測部の機能的構成を示すブロック図である。
【図５】図５は、静止領域の一例を示す図である。
【図６】図６は、ＰＵ分割条件の一例を示す図である。
【図７】図７は、符号化処理単位の継承の一例を示す図である。
【図８】図８は、本実施例に係る符号化処理の手順を示すフローチャートである。
【図９】図９は、本実施例に係る静止領域判定の手順を示すフローチャートである。
【図１０】図１０は、本実施例に係る等速移動領域判定の手順を示すフローチャートである。
【図１１】図１１は、本実施例に係る符号化処理プログラムを実行するコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して本願に係る符号化処理プログラム、符号化処理方法及び符号化処理装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００１２】
［符号化処理装置１０の構成］
図１は、本実施例に係る符号化処理装置の機能的構成を示すブロック図である。図１に示す符号化処理装置１０は、画像を所定の符号化処理単位に分割し、符号化処理単位ごとに符号化する符号化処理を実行するものである。
【００１３】
一実施形態として、符号化処理装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の符号化処理を実行する符号化処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の符号化処理プログラムを情報処理装置に実行させることにより、情報処理装置を符号化処理装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal  Handyphone  System）などの移動体通信端末、さらには、ＰＤＡ（Personal  Digital  Assistant）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の符号化処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、符号化処理装置１０は、画像を入力とし、当該画像に対する上記の符号化処理の実行結果を出力する符号化処理サービスを提供するサーバ装置として実装される。この場合、符号化処理装置１０は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の符号化処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
【００１４】
図１に示すように、符号化処理装置１０は、制御部２０と、記憶部３０とを有する。なお、図１には、データの入出力の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
【００１５】
記憶部３０は、制御部２０で実行されるＯＳ（Operating  System）や画像処理ソフトを始め、アプリケーションプログラムなどの各種プログラムに用いられるデータを記憶するデバイスである。
【００１６】
一実施形態として、記憶部３０は、符号化処理装置１０における主記憶装置として実装される。例えば、記憶部３０には、各種の半導体メモリ素子、例えばＲＡＭ（Random  Access  Memory)やフラッシュメモリを採用できる。また、記憶部３０は、補助記憶装置として実装することもできる。この場合、ＨＤＤ（Hard  Disk  Drive）、光ディスクやＳＳＤ（Solid  State  Drive）などを採用できる。
【００１７】
記憶部３０は、制御部２０で実行されるプログラムに用いられるデータを記憶する領域の一例として、フレームメモリ３１及び予測メモリ３２を有する。その他にも、記憶部３０には、他の電子データ、例えばハイライト表示に関する定義データなども併せて記憶することもできる。なお、上記のフレームメモリ３１及び予測メモリ３２については、各データの登録または参照を行う処理部の説明に合わせて説明を行うこととする。
【００１８】
制御部２０は、各種のプログラムや制御データを格納する内部メモリを有し、これらによって種々の処理を実行するものである。
【００１９】
一実施形態として、制御部２０は、中央処理装置、いわゆるＣＰＵ（Central  Processing  Unit）として実装される。制御部２０は、必ずしも中央処理装置として実装されずともよく、ＭＰＵ（Micro  Processing  Unit）やＤＳＰ（Digital  Signal  Processor）として実装されることとしてもよい。このように、制御部２０は、プロセッサとして実装されればよく、その種別が汎用型または特化型であるかは問われない。また、制御部２０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。
【００２０】
制御部２０は、各種のプログラムを実行することによって下記の処理部を仮想的に実現する。例えば、制御部２０は、図１に示すように、符号化部２１と予測部２２とを有する。
【００２１】
符号化部２１は、入力原画を符号化処理単位に分割し、分割した符号化処理単位ごとに、予測画像との差分による情報量削減、直行変換による高周波成分の除去及びエントロピー符号化処理等を行う処理部である。
【００２２】
ここで、符号化処理単位について説明する。図２は、符号化処理単位の一例を示す図である。Ｈ．２６４では、１６×１６画素に固定された画像領域であるＭＢが符号化処理の基本単位であった。これに対し、図２に示すように、ＨＥＶＣの符号化処理単位には階層４分木構造を持ち８×８〜６４×６４画素の間で可変であるＣＵ、及びＰＵもしくはＴＵがある。また、ＣＴＢ（Coding  Tree  Block）は最大ＣＵサイズのブロックであり、ＣＴＢを再帰的に４分木分割することでＣＵが決定される。このように、ＨＥＶＣは、符号化処理の単位を適応的、階層的に決定することで圧縮符号化の効率を向上させている。なお、本実施例の説明において「サイズ」は、画像領域の縦横方向の画素数を意味する。例えば、８×８画素のブロックと記載した場合、縦方向と横方向の画素数それぞれが８画素の矩形の画像領域を意味する。
【００２３】
符号化部２１の各処理はＣＵ単位で行われる。ＰＵは、イントラ・インター予測等を行う符号化処理単位として、ＣＵをさらに分割した符号化処理単位である。図２に示すように、ＰＵには２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎなどのパターンがある。また、ＴＵはＣＵをさらに４分木分割した符号化処理単位であり、変換処理・量子化処理等を行うための符号化処理単位である。
【００２４】
図３は、本実施例に係る符号化処理装置の符号化部の機能的構成を示すブロック図である。なお、図３には、データの入出力の関係を表す実線及び破線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
【００２５】
例えば、符号化部２１は、図３に示すように、ブロック分割部２１ａ、イントラ予測部２１ｂ、インター予測２１ｃ、変換／量子化部２１ｄ、逆量子化／逆変換部２１ｅ、フィルタ部２１ｆ、エントロピー符号化部２１ｇ、ＣＵ分割判定部２１ｈを有する。
【００２６】
ブロック分割部２１ａは、入力原画を所定の符号化処理単位に分割する処理部である。
【００２７】
イントラ予測部２１ｂは、入力原画のあるＰＵにおける画素を、入力原画の他のＰＵの画素から予測するイントラ予測を行う処理部である。イントラ予測部２１ｂにおけるイントラ予測結果は予測メモリ３２に記憶される。なお、イントラ予測はフレーム内予測と呼ばれる場合もある。
【００２８】
インター予測部２１ｃは、入力原画のあるＰＵにおける画素を、参照画との間における動き補償によって予測するインター予測を行う処理部である。インター予測部２１ｃにおける動きベクトル及びインター予測結果は予測メモリ３２に記憶される。なお、インター予測はフレーム間予測と呼ばれる場合もある。
【００２９】
減算部２１ｉは入力原画からインター予測結果を減じることで予測誤差画像を作成し出力する。
【００３０】
変換／量子化部２１ｄは、予測誤差画像またはイントラ予測結果の直交変換をＴＵごとに行い、変換したデータを量子化する処理部である。ここで、ＴＵ分割の結果は予測メモリ３２に記憶される。また、スイッチ２１ｉを切り替えることにより、変換／量子化部２１ｄが予測誤差画像を取得するか、またはイントラ予測結果を取得するかが制御される。
【００３１】
逆量子化／逆変換部２１ｅは、変換／量子化部２１ｄで量子化されたデータの逆量子化を行い、逆量子化したデータを逆直交変換によって予測誤差画像のデータに変換する処理部である。
【００３２】
加算部２１ｊは、予測誤差画像にインター予測結果を加えた結果をフォルタ部２１ｆに出力する。なお、スイッチ２１ｌを切り替えることによって加算部２１ｊはインター予測結果を取得することができる。
【００３３】
フィルタ部２１ｆは、ＰＵ及びＴＵの境界画素にデブロッキングフィルタを適用し、ＰＵ及びＴＵ間の凹凸をなめらかにする処理部である。
【００３４】
エントロピー符号化部２１ｇは、ＴＵ単位で量子化されたデータを、シンボルの出現頻度に応じて可変長の符号を割り当てるエントロピー符号化によって符号化し、ビデオ符号化データとして出力する処理部である。
【００３５】
ＣＵ分割判定部２１ｈは、ブロック分割部２１ａからＣＵ分割を、イントラ予測部２１ｂ及びインター予測部２１ｃからＰＵ分割を、変換／量子化部２１ｄからＴＵ分割を取得し、最適なＣＵ、ＴＵ、ＰＵの組み合わせを選択する処理部である。
【００３６】
一実施形態として、ＣＵ分割判定部２１ｈは、ＣＵ、ＴＵ、ＰＵの組み合わせごとに動きベクトル検出の評価と直交変換による周波数特性評価を行い、最も符号化効率が良いＣＵ、ＴＵ、ＰＵの組み合わせを選択する。その後、符号化部２１の各処理部は、ＣＵ分割判定部２１ｈが選択したＣＵ、ＰＵ、ＴＵに基づいて符号化処理を行う。
【００３７】
なお、符号化部２１の構成及び各処理部の処理は上記のものに限られない。符号化部２１は、例えば所定のＣＵ、ＰＵ、ＴＵを適用しＨＥＶＣを用いた符号化処理が実行可能な構成であればよい。
【００３８】
図４は、本実施例に係る符号化処理装置の予測部の機能的構成を示すブロック図である。例えば、予測部２２は、図４に示すように、指定部２２ａ、取得部２２ｂ、静止判定部２２ｃ、等速移動判定部２２ｄ、適用部２２ｅを有する。
【００３９】
予測部２２は、符号化部２１における符号化処理で用いられる最適な符号化処理単位を予測し、符号化部２１における符号化処理単位として適用する処理部である。
【００４０】
予測部２２は、静止判定部２２ｃまたは等速移動判定部２２ｄにより、画像特徴情報が第１画像データすなわち参照画の画像領域と、第２画像データすなわち入力原画の画像領域との間に所定以上の相関があるか否かを判定する。予測部２２は、参照画に含まれる複数の画像領域と入力原画に含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した画像特徴情報の比較結果に基づいて、画像特徴情報が参照画の画像領域と入力原画の画像領域との間で所定以上の相関を有するか否かを判定する。適用部２２ｅは、画像特徴情報が所定以上の相関を有すると判定された参照画の画像領域に適用された符号化処理単位を所定以上の相関を有すると判定された入力原画の画像領域に適用する。
【００４１】
一実施形態として、予測部２２は、入力原画の所定の画像領域の画像特徴情報が所定の条件を満たすか否かを判定する。所定の条件が満たされる場合、予測部２２は、予測メモリ３２に記憶されている過去予測結果から参照画における符号化処理単位であるＣＵ、ＴＵ、ＰＵの一部または全部を取得し、分割予測結果としてブロック分割部２１ａに通知する。符号化部２１は、符号化処理単位の評価及び選択をＣＵ分割判定部２１ｈによって行わずに、通知された符号化処理単位を用いて符号化処理を行う。なお、参照画は、既に符号化済みの入力原画と異なる画像フレームであり、フレームメモリ３１に記憶されているものとする。
【００４２】
指定部２２ａは、画像データを所定のサイズで複数の画像領域に区分し、区分した画像領域を、入力原画の符号化処理単位を予測する画像領域である評価ブロックに指定する処理部である。
【００４３】
一実施形態として、指定部２２ａは、評価ブロックのサイズとしてＨＥＶＣの符号化パラメータの１つであるＭｉｎｉｍｕｍ  ＣＵ  Ｓｉｚｅを指定する。例えば、ＣＵサイズが１６×１６画素〜６４×６４画素である場合、１６×１６画素が評価ブロックのサイズに指定される。
【００４４】
取得部２２ｂは、入力原画の評価ブロック及び対応する参照画の評価ブロックの画像特徴情報を取得する処理部である。取得部２２ｂは、参照画と入力原画のそれぞれについて、画像データを所定のサイズで区分した複数の評価ブロックそれぞれの画像特徴情報を取得する。
【００４５】
一実施形態として、取得部２２ｂは、画像特徴情報として式（１）により評価ブロック単位の画素差分値和であるＳＡＤを算出する。なお、Ｐｏｒｇは入力原画の画素であり、Ｐｒｅｆは参照画の画素である。また、Ｎは評価ブロック内の画素数であり、ｉは画素位置を表している。
【００４６】
【数１】
0006665611.tif 000002
【００４７】
また、取得部２２ｂは、画像特徴情報として式（２）により直交変換値の差分絶対値和であるＳＡＴＤを取得するようにしてもよい。
【００４８】
【数２】
0006665611.tif 000003
【００４９】
静止判定部２２ｃは、参照画の評価ブロックとの比較結果に基づいて、画像特徴情報が参照画の評価ブロックと所定以上の相関を有すると判定された入力原画の評価ブロックを静止領域と判定する処理部である。
【００５０】
一実施形態として、静止判定部２２ｃは、入力原画の評価ブロック及び参照画の同じ位置にある評価ブロックのＳＡＤもしくはＳＡＴＤが所定の閾値以下であるか否かを判定する。そして、ＳＡＤもしくはＳＡＴＤが所定の閾値以下である場合、静止判定部２２ｃは、当該入力画像の評価ブロックを、対応する参照画の評価ブロックと所定以上の相関を有するものとして、静止領域と判定する。ここで、閾値は調整可能なパラメータとして与えられるようにしてもよい。
【００５１】
図５は、静止領域の一例を示す図である。図５に示すように、静止判定部２２ｃは、まずＣＴＢ内でＭｉｎｉｍｕｍ  ＣＵ  Ｓｉｚｅである１６×１６画素ごとに静止領域の判定を行う。その後、静止判定部２２ｃは、３２×３２画素、さらにはＣＴＢである６４×６４画素の領域における静止領域と判定した評価ブロックの集合の個数及び形状を評価する。そして、静止領域と判定した評価ブロックの集合の個数及び形状が所定の条件を満たす場合は、静止判定部２２ｃは３２×３２画素、もしくは６４×６４画素のブロック全体を静止領域とみなすようにしてもよい。
【００５２】
等速移動判定部２２ｄは、入力原画の評価ブロックのうち、特徴情報の比較結果に基づいて、グローバルベクトルに基づいて特定される移動元である参照画の評価ブロックと所定以上の相関を有する評価ブロックを、等速移動領域と判定する処理部である。
【００５３】
等速移動判定部２２ｄは、参照画と入力原画との間のグローバルベクトルを取得し、グローバルベクトルを基に、静止領域と判定されなかった入力原画の評価ブロックの移動元である移動元評価ブロックを特定する。そして、等速移動判定部２２ｄは、移動元評価ブロックとの比較結果に基づいて、画像特徴情報が移動元評価ブロックと所定以上の相関を有すると判定された入力原画の評価ブロックを等速移動領域と判定する。適用部２２ｅは、等速移動領域に対し画像特徴情報が所定以上の相関を有すると判定された参照画の評価ブロックに適用された符号化処理単位のうちのＰＵを適用する。
【００５４】
一実施形態として、等速移動判定部２２ｄは、まず入力原画と参照画との間のグローバルベクトルを取得する。なお、グローバルベクトルとは、画像全体もしくは所定の領域単位の大きな動きを表すベクトルである。そして、等速移動判定部２２ｄは、グローバルベクトルを基に入力原画の評価ブロックの移動元である評価ブロックを参照画から特定する。
【００５５】
そして、入力原画の評価ブロック及び移動元の評価ブロックのＳＡＤもしくはＳＡＴＤが所定の閾値以下である場合、当該入力画像の評価ブロックを、移動元の参照画の評価ブロックと所定以上の相関を有するものとして、等速移動領域と判定する。ここで、閾値は静止判定部２２ｂにおける閾値とは異なる調整可能なパラメータとして与えられるようにしてもよい。なお、静止判定部２２ｃが静止領域と判定された評価ブロックは等速移動領域の判定対象から除外される。
【００５６】
また、等速移動判定部２２ｄは、ＳＡＤもしくはＳＡＴＤだけでなく、ＰＵ分割条件を満たす場合に等速移動領域と判定するようにしてもよい。図６は、ＰＵ分割条件の一例を示す図である。図６に示すように、例えば入力原画の１６×１６画素の評価ブロックに対応する参照画における移動元の評価ブロックが、複数のＣＵと重複する場合がある。この場合、移動元の評価ブロックに異なるＰＵの境界がないこと、及び予測メモリ３２に記憶されている過去の予測結果から取得される当該複数のＣＵの動きベクトルが全て等しいことをＰＵ分割条件とする。また、グローバルベクトル周辺のＣＵで原画像の特性に近いＣＵが存在する場合、等速移動判定部２２ｄは当該ＣＵとのＳＡＤ値、ＳＡＴＤ値が閾値以下であれば等速移動領域と判定するようにしてもよい。
【００５７】
また、等速移動判定部２２ｄは、静止判定部２２ｃと同様に、まずＣＴＢ内でＭｉｎｉｍｕｍ  ＣＵ  Ｓｉｚｅである１６×１６画素ごとに等速移動領域の判定を行う。その後、等速移動判定部２２ｄは、３２×３２画素、さらにはＣＴＢである６４×６４画素の領域における等速移動領域と判定した評価ブロックの集合の個数及び形状を評価する。そして、等速移動領域と判定した評価ブロックの集合の個数及び形状が所定の条件を満たす場合は、等速移動判定部２２ｄは３２×３２画素、もしくは６４×６４画素のブロック全体を等速移動領域とみなすようにしてもよい。
【００５８】
適用部２２ｅは、入力原画の静止領域及び等速移動領域に、参照画の符号化処理単位を適用する処理部である。
【００５９】
一実施形態として、適用部２２ｅは、静止領域が一定割合以上であるＣＴＢについては、参照画の同じ位置にあるＣＴＢのＣＵ、ＰＵ、ＴＵを適用する。また、静止領域が一定割合以上でなく、等速移動領域を含むＣＴＢについては、参照画の移動元評価ブロックを含むＣＴＢのＰＵを適用する。
【００６０】
また、静止領域が一定割合以上でなく、等速移動領域を含まないＣＴＢはシーンチェンジ領域とする。シーンチェンジ領域においては、符号化処理単位の再判定が行われる。すなわち、シーンチェンジ領域においてはＣＵ分割判定部２１ｈが選択したＣＵ、ＰＵ、ＴＵが適用される。
【００６１】
さらに、静止領域及び等速移動領域のいずれとも判定されなかった入力原画の評価ブロックに対し符号化処理単位に予め設定された固定値を適用して符号化を行うようにしてもよい。例えば、シーンチェンジ領域のＣＵサイズを固定値、または入力原画の統計処理によってプログラマブルに決定される値とすることで、処理量を削減する。
【００６２】
図７は、符号化処理単位の継承の一例を示す図である。例として、Ｍｉｎｉｍｕｍ  ＣＵ  Ｓｉｚｅは１６×１６画素であるものとる。また、例として、適用部２２ｅは、静止領域が１０／１６以上である場合に静止領域が一定割合以上であると判定することとする。図７に示すように、ＣＴＢ５１は静止領域が１２／１６であり一定割合以上であるため、適用部２２ｅは参照画のＣＴＢ５１ａにおけるＣＵ、ＰＵ、ＴＵをＣＴＢ５１に適用する。また、ＣＴＢ５２は静止領域が２／１６であり一定割合以上でなく、等速移動領域を含まないためシーンチェンジ領域として処理される。図７の例ではシーンチェンジ領域のＣＵは１６×１６画素固定であるものとする。また、ＣＴＢ５３は静止領域が１２／１６であり一定割合以上であるため、適用部２２ｅは参照画のＣＴＢ５３ａにおけるＣＵ、ＰＵ、ＴＵをＣＴＢ５３に適用する。また、ＣＴＢ５４は静止領域が４／１６であり一定割合以上でなく、等速移動領域を含むため、適用部２２ｅはＣＴＢ５４の移動元である参照画のＣＴＢ５４ｂにおけるＰＵをＣＴＢ５４に適用する。
【００６３】
［処理の流れ］
次に、本実施例に係る符号化処理装置１０の処理の流れについて説明する。なお、ここでは、符号化処理装置１０によって実行される（１）全体の処理の流れ、（２）静止領域判定処理、（３）等速移動領域判定処理の順に説明することとする。
【００６４】
（１）全体の処理の流れ
図８は、本実施例に係る符号化処理の手順を示すフローチャートである。この処理は、自動的に開始することもできるし、手動設定で開始することもできる。なお、図８に示す処理のうちＳ１２〜Ｓ１８については、１つの入力原画ごとに行われる処理であり、入力原画が入力されるごとに繰り返し行われる。
【００６５】
図８に示すように、指定部２２ａは評価ブロックサイズを指定する（ステップＳ１１）。このとき、指定部２２ａは例えばＨＥＶＣの符号化パラメータの１つであるＭｉｎｉｍｕｍ  ＣＵ  Ｓｉｚｅを評価ブロックサイズに指定する。
【００６６】
次に、静止判定部２２ｃは、静止領域判定を行う（ステップＳ１２）。静止領域判定において取得部２２ｂは、入力原画の評価ブロック、及び入力原画の評価ブロックと同位置に存在する参照画の評価ブロックにおける画像特徴情報を取得する。
【００６７】
静止領域であると判定された入力原画のＣＴＢについて（ステップＳ１３Ｙｅｓ）、適用部２２ｅは参照画のＣＵ、ＰＵ、ＴＵを適用する（ステップＳ１４）。ここで、ステップＳ１３では、例えば静止領域判定において静止領域であると判定された評価ブロックの割合が一定以上であるＣＴＢは静止領域であると判定される。
【００６８】
また、静止領域であると判定されなかったＣＴＢについて（ステップＳ１３Ｎｏ）、等速移動判定部２２ｄは等速移動領域判定を行う（ステップＳ１５）。等速移動領域判定の結果、等速移動領域であると判定された入力原画のＣＴＢについて（ステップＳ１６Ｙｅｓ）、適用部２２ｅは参照画のＰＵを適用する（ステップＳ１７）。等速移動領域判定において取得部２２ｂは、入力原画の評価ブロック、及び入力原画の評価ブロックの移動元である参照画の評価ブロックにおける画像特徴情報を取得する。
【００６９】
また、等速移動領域判定の結果、等速移動領域であると判定されなかった入力原画のＣＴＢについて（ステップＳ１６Ｎｏ）は、シーンチェンジ領域処理が行われる（ステップＳ１８）。シーンチェンジ領域処理においては、符号化処理単位の再判定、または固定値として設定されたＣＵサイズを用いた符号化処理が行われる。
【００７０】
（２）静止領域判定処理
図９は、本実施例に係る静止領域判定の手順を示すフローチャートである。取得部２２ｂは、入力画の評価ブロックごとに参照画の同位置に存在する評価ブロックとのＳＡＤ及びＳＡＴＤの演算を行う（ステップＳ１２１）。
【００７１】
このとき、ＳＡＤもしくはＳＡＴＤが閾値以下である場合（ステップＳ１２２Ｙｅｓ）、静止判定部２２ｃは当該評価ブロックを静止領域ブロックであると判定する（ステップＳ１２３）。また、ＳＡＤもしくはＳＡＴＤがいずれも閾値以下でない場合（ステップＳ１２２Ｎｏ）、静止判定部２２ｃは当該評価ブロックを非静止領域ブロックであると判定する（ステップＳ１２４）。
【００７２】
そして、ＣＴＢ内の全ブロックの判定が完了していない場合（ステップＳ１２５Ｎｏ）、静止判定部２２ｃはステップＳ１２１に戻り処理を繰り返す。また、ＣＴＢ内の全ブロックの判定が完了した場合（ステップＳ１２５Ｙｅｓ）、静止判定部２２ｃは評価ブロックサイズより大きいサイズのＣＵが静止領域とみなせるか否かを判定する（ステップＳ１２６）。そして、静止判定部２２ｃは静止領域とみなせる評価ブロックサイズより大きいサイズのＣＵを静止領域と判定し処理を終了する。
【００７３】
（３）等速移動領域判定処理
図１０は、本実施例に係る等速移動領域判定の手順を示すフローチャートである。取得部２２ｂは、入力画の評価ブロックごとに、グローバルベクトルを基に特定される参照画の移動元となる位置に存在する評価ブロックとのＳＡＤ及びＳＡＴＤの演算を行う（ステップＳ１５１）。
【００７４】
このとき、ＳＡＤもしくはＳＡＴＤが閾値以下であり、ＰＵ分割条件が満たされている場合（ステップＳ１５２Ｙｅｓ）、等速移動判定部２２ｄは当該評価ブロックを等速移動領域ブロックであると判定する（ステップＳ１５５）。
【００７５】
また、ＳＡＤもしくはＳＡＴＤがいずれも閾値以下でなく、ＰＵ分割条件が満たされていない場合（ステップＳ１５２Ｎｏ）がある。この場合、取得部２２ｂはグローバルベクトル周辺のＣＵブロックと原画の評価ブロックとのＳＡＤ及びＳＡＴＤの演算を行う（ステップＳ１５３）。
【００７６】
このとき、ＳＡＤもしくはＳＡＴＤが閾値以下である場合（ステップＳ１５４Ｙｅｓ）、等速移動判定部２２ｄは当該評価ブロックを等速移動領域ブロックであると判定する（ステップＳ１５５）。また、ＳＡＤもしくはＳＡＴＤがいずれも閾値以下でない場合（ステップＳ１５４Ｎｏ）、等速移動判定部２２ｄは当該評価ブロックを非等速移動領域ブロックであると判定する（ステップＳ１５６）。
【００７７】
そして、ＣＴＢ内の全ブロックの判定が完了していない場合（ステップＳ１５７Ｎｏ）、等速移動判定部２２ｄはステップＳ１５１に戻り処理を繰り返す。また、ＣＴＢ内の全ブロックの判定が完了した場合（ステップＳ１５７Ｙｅｓ）、等速移動判定部２２ｄは評価ブロックサイズより大きいサイズのＣＵが等速移動領域とみなせるか否かを判定する（ステップＳ１５８）。そして、等速移動判定部２２ｄは、等速移動領域とみなせる評価ブロックサイズより大きいサイズのＣＵを等速移動領域と判定し処理を終了する。
【００７８】
［効果の一側面］
上述してきたように、本実施例に係る符号化処理装置１０は、画像特徴情報が参照画の画像領域と入力原画の画像領域との間で所定以上の相関を有するか否かを判定する。符号化処理装置１０は、参照画に含まれる複数の画像領域と入力原画に含まれる複数の画像領域の、画像データにおける位置が対応する画像領域についての、取得した画像特徴情報の比較結果に基づいて上記の判定を行う。符号化処理装置１０は、画像特徴情報が所定以上の相関を有する参照画の画像領域に適用された符号化処理単位を適用する。
【００７９】
これにより、ＨＥＶＣにおける最適な符号化処理単位の算出のための再帰的な演算量を削減することができる。さらに、演算量の削減にともなって、符号化処理のための回路規模及び消費電力が削減される。
【００８０】
符号化処理装置１０は、例えば参照画の評価ブロックとの比較結果に基づいて、画像特徴情報が参照画の評価ブロックと所定以上の相関を有する入力原画の評価ブロックを静止領域と判定する。そして、符号化処理装置１０は、静止領域については参照画のＣＵ、ＰＵ、ＴＵを適用する。
【００８１】
これにより、静止領域における符号化処理単位の算出のための演算が不要となる。
【００８２】
また、符号化処理装置１０は、参照画と入力原画との間のグローバルベクトルを取得し、グローバルベクトルを基に、静止領域と判定されなかった入力原画の評価ブロックの移動元である移動元評価ブロックを特定する。そして、符号化処理装置１０は、移動元評価ブロックとの比較結果に基づいて、画像特徴情報が移動元評価ブロックと所定以上の相関を有する入力原画の評価ブロックを等速移動領域と判定する。符号化処理装置１０は、等速移動領域に対し画像特徴情報が所定以上の相関を有する参照画の評価ブロックに適用された符号化処理単位のうちのＰＵを適用する。
【００８３】
これにより、等速移動領域における符号化処理単位の算出のうち、ＰＵ算出のための演算が不要となる。
【００８４】
さらに、静止領域及び等速移動領域のいずれとも判定されなかった入力原画の評価ブロックに対し符号化処理単位に予め設定された固定値を適用して符号化を行うようにしてもよい。これにより、静止領域及び等速移動領域以外の領域についても符号化処理単位の算出のための演算量を削減できる。
【００８５】
これにより、ＨＥＶＣにおけるＣＵ、ＰＵ、ＴＵの算出のための再帰的な演算量を削減することができる。さらに、演算量の削減にともなって、符号化処理のための回路規模及び消費電力が削減される。
【００８６】
例えば、ＣＴＢが６４×６４画素、ＣＵが４種類、ＰＵが８種類のパターンが存在する場合、ＣＵ４種類×ＰＵ８種類の３２通りの組み合わせについての演算が必要になる。一方、静止領域であれば参照画のＣＵ、ＰＵ、ＴＵが適用され、１通りの演算で済むため演算量は１／３２である。仮に入力原画の１／３が静止領域であれば、式（３）より３２．３％の演算量削減効果が得られることがわかる。
（１／３）×（１−１／３２）×１００＝３２．３・・・（３）
【００８７】
［分散および統合］
また、図示した各装置の構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、符号化部２１または予測部２２を符号化処理装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、符号化部２１及び予測部２２を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の符号化処理装置１０の機能を実現するようにしてもよい。
【００８８】
［符号化処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１１を用いて、上記の実施例と同様の機能を有する符号化処理プログラムを実行するコンピュータの一例について説明する。
【００８９】
図１１は、本実施例に係る符号化処理プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１１に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【００９０】
ＨＤＤ１７０には、図１１に示すように、上記の本実施例で示した符号化部２１、予測部２２と同様の機能を発揮する符号化処理プログラム１７０ａが記憶される。この符号化処理プログラム１７０ａは、図３及び図４に示した符号化部２１、予測部２２の各構成要素と同様、統合または分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の本実施例で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
【００９１】
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から符号化処理プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、符号化処理プログラム１７０ａは、図１１に示すように、符号化処理プロセス１８０ａとして機能する。この符号化処理プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち符号化処理プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、符号化処理プロセス１８０ａが実行する処理の一例として、図８〜図１０に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の本実施例で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【００９２】
なお、上記の符号化処理プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【００９３】
１０    符号化処理装置
２０    制御部
２１    符号化部
２１ａ    ブロック分割部
２１ｂ    イントラ予測部
２１ｃ    インター予測部
２１ｄ    変換／量子化部
２１ｅ    逆量子化／変換部
２１ｆ    フィルタ部
２１ｇ    エントロピー符号化部
２１ｈ    ＣＵ分割判定部
２１ｉ    減算部
２１ｊ    加算部
２１ｋ、２１ｌ    スイッチ
２２    予測部
２２ａ    指定部
２２ｂ    取得部
２２ｃ    静止判定部
２２ｄ    等速移動判定部
２２ｅ    適用部
３０    記憶部
３１    フレームメモリ
３２    予測メモリ
【図１】
0006665611.tif 000004
【図２】
0006665611.tif 000005
【図３】
0006665611.tif 000006
【図４】
0006665611.tif 000007
【図５】
0006665611.tif 000008
【図６】
0006665611.tif 000009
【図７】
0006665611.tif 000010
【図８】
0006665611.tif 000011
【図９】
0006665611.tif 000012
【図１０】
0006665611.tif 000013
【図１１】
0006665611.tif 000014