【手続補正書】
【提出日】平成22年5月10日(2010.5.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像のフレームをブロック単位に符号化する画像処理装置であって、
符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像を生成する生成手段と、
前記複数の予測モードごとに、前記符号化対象のブロックと前記予測モードに対応する予測画像から前記予測モードに応じた位置の画素の値を取得して、前記取得した画素の値の間の差分を示す評価値を計算する計算手段と、
前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定する設定手段とを有することを特徴とする画像処理装置。
【請求項２】
動画像のフレームをブロック単位に符号化する画像処理装置であって、
符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像の、各予測モードに応じた位置の画素を生成する第一の生成手段と、
前記複数の予測モードごとに、前記符号化対象のブロックから前記予測モードに応じた位置の画素の値を取得して、前記予測モードに応じて生成した画素の値と前記予測モードに応じて取得した画素の値の間の差分を示す評価値を計算する計算手段と、
前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定する設定手段と、
前記設定された予測モードの予測画像を生成する第二の生成手段とを有することを特徴とする画像処理装置。
【請求項３】
前記第二の生成手段は、前記設定された予測モードに応じた位置以外の画素を生成し、前記生成した画素と前記第一の生成手段が生成した画素から前記設定された予測モードの予測画像を生成することを特徴とする請求項2に記載された画像処理装置。
【請求項４】
前記予測モードに応じた位置の画素は、前記予測モードにおける画素の予測方向の、前記予測画像の生成に用いる画素から最も遠い位置にある画素であることを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項５】
動画像のフレームをブロック単位に符号化する画像処理装置であって、
符号化対象のブロックに隣接する複数の符号化済みブロックの予測モード情報を取得する取得手段と、
前記予測モード情報が示す予測モードによって、前記符号化対象のブロックをフレーム内符号化する場合の第一の予測画像を生成する第一の生成手段と、
前記符号化対象のブロックと前記第一の予測画像の対応する画素の値の間の差分を示す第一の評価値を計算する第一の計算手段と、
前記第一の評価値に基づき、前記複数の符号化済みブロックの予測モードの何れかを選択する選択手段と、
前記選択された予測モードにおける画素の予測方向に隣接する予測方向をもつ予測モードによって、前記符号化対象のブロックをフレーム内符号化する場合の第二の予測画像を生成する第二の生成手段と、
前記符号化対象のブロックと前記第二の予測画像の対応する画素の値の間の差分を示す第二の評価値を計算する第二の計算手段と、
前記第一および第二の評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定する設定手段とを有することを特徴とする画像処理装置。
【請求項６】
前記設定手段は、前記第一の評価値が所定の閾値未満の場合は、前記符号化対象のブロックをフレーム内符号化する場合の予測モードに前記選択手段が選択した予測モードを設定することを特徴とする請求項5に記載された画像処理装置。
【請求項７】
前記設定手段は、前記選択された予測モードにおける画素の予測方向に隣接する予測方向をもつ予測モードがない場合は、前記符号化対象のブロックをフレーム内符号化する場合の予測モードに前記選択手段が選択した予測モードを設定することを特徴とする請求項5に記載された画像処理装置。
【請求項８】
前記第二の生成手段は、前記選択された予測モードがDC予測モードの場合、前記予測方向が垂直方向および水平方向の予測モードを使用して前記第二の予測画像を生成することを特徴とする請求項5から請求項7の何れか一項に記載された画像処理装置。
【請求項９】
動画像のフレームをブロック単位に符号化する画像処理装置であって、
符号化対象のブロックの所定位置の画素の値を取得する取得手段と、
前記所定位置の画素の値の組み合わせに基づき、前記符号化ブロックをフレーム内符号化する場合の予測モードを設定する設定手段とを有することを特徴とする画像処理装置。
【請求項１０】
動画像のフレームをブロック単位に符号化する画像処理装置であって、
符号化対象のブロックの所定位置の画素の値を取得する取得手段と、
前記所定位置の画素の値の組み合わせに基づき、前記符号化ブロックをフレーム内符号化する場合の複数の予測モードを選択する選択手段と、
前記複数の予測モードそれぞれに対応する複数の予測画像を生成する生成手段と、
前記複数の予測モードごとに、前記符号化対象のブロックと前記予測モードに対応する予測画像の、対応する画素の値の間の差分を示す評価値を計算する計算手段と、
前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定する設定手段とを有することを特徴とする画像処理装置。
【請求項１１】
前記所定位置の画素はブロックの四隅の画素であり、前記選択手段は、前記四隅の画素の値の組み合わせの中で、二つの画素の値の差分が最小の方向に一致する予測方向をもつ予測モードと、前記予測方向に隣接する予測方向をもつ予測モードを選択することを特徴とする請求項10に記載された画像処理装置。
【請求項１２】
生成手段、計算手段、設定手段を有し、動画像のフレームをブロック単位に符号化する画像処理装置の画像処理方法であって、
前記生成手段が、符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像を生成し、
前記計算手段が、前記複数の予測モードごとに、前記符号化対象のブロックと前記予測モードに対応する予測画像から前記予測モードに応じた位置の画素の値を取得して、前記取得した画素の値の間の差分を示す評価値を計算し、
前記設定手段が、前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする画像処理方法。
【請求項１３】
第一および第二の生成手段、計算手段、設定手段を有し、動画像のフレームをブロック単位に符号化する画像処理装置の画像処理方法であって、
前記第一の生成手段が、符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像の、各予測モードに応じた位置の画素を生成し、
前記計算手段が、前記複数の予測モードごとに、前記符号化対象のブロックから前記予測モードに応じた位置の画素の値を取得して、前記予測モードに応じて生成した画素の値と前記予測モードに応じて取得した画素の値の間の差分を示す評価値を計算し、
前記設定手段が、前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定し、
前記第二の生成手段が、前記設定された予測モードの予測画像を生成することを特徴とする画像処理方法。
【請求項１４】
取得手段、第一および第二の生成手段、第一および第二の計算手段、選択手段、設定手段を有し、動画像のフレームをブロック単位に符号化する画像処理装置の画像処理方法であって、
前記取得手段が、符号化対象のブロックに隣接する複数の符号化済みブロックの予測モード情報を取得し、
前記第一の生成手段が、前記予測モード情報が示す予測モードによって、前記符号化対象のブロックをフレーム内符号化する場合の第一の予測画像を生成し、
前記第一の計算手段が、前記符号化対象のブロックと前記第一の予測画像の対応する画素の値の間の差分を示す第一の評価値を計算し、
前記選択手段が、前記第一の評価値に基づき、前記複数の符号化済みブロックの予測モードの何れかを選択し、
前記第二の生成手段が、前記選択された予測モードにおける画素の予測方向に隣接する予測方向をもつ予測モードによって、前記符号化対象のブロックをフレーム内符号化する場合の第二の予測画像を生成し、
前記第二の計算手段が、前記符号化対象のブロックと前記第二の予測画像の対応する画素の値の間の差分を示す第二の評価値を計算し、
前記設定手段が、前記第一および第二の評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする画像処理方法。
【請求項１５】
取得手段、設定手段を有し、動画像のフレームをブロック単位に符号化する画像処理装置の画像処理方法であって、
前記取得手段が、符号化対象のブロックの所定位置の画素の値を取得し、
前記設定手段が、前記所定位置の画素の値の組み合わせに基づき、前記符号化ブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする画像処理方法。
【請求項１６】
取得手段、選択手段、生成手段、計算手段、設定手段を有し、動画像のフレームをブロック単位に符号化する画像処理方法であって、
前記取得手段が、符号化対象のブロックの所定位置の画素の値を取得し、
前記選択手段が、前記所定位置の画素の値の組み合わせに基づき、前記符号化ブロックをフレーム内符号化する場合の複数の予測モードを選択し、
前記生成手段が、前記複数の予測モードそれぞれに対応する複数の予測画像を生成し、
前記計算手段が、前記複数の予測モードごとに、前記符号化対象のブロックと前記予測モードに対応する予測画像の、対応する画素の値の間の差分を示す評価値を計算し、
前記設定手段が、前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする画像処理方法。
【請求項１７】
コンピュータを請求項1から請求項11の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項１８】
請求項17に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
H.264の符号化装置は、動画像のフレームをフレーム内符号化する場合のイントラ予測の方式として、様々な予測モードを用意し、複数の予測モードの中から最適な予測モードを選ぶことで、従来よりも高い符号化効率を得ることができる。以下では、予測モードの種類と、予測画像の生成方法について説明する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明は、フレーム内符号化の予測モードの決定に必要な演算量を削減することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明にかかる動画像のフレームをブロック単位に符号化する画像処理は、前記生成手段が、符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像を生成し、前記計算手段が、前記複数の予測モードごとに、前記符号化対象のブロックと前記予測モードに対応する予測画像から前記予測モードに応じた位置の画素の値を取得して、前記取得した画素の値の間の差分を示す評価値を計算し、前記設定手段が、前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、前記第一の生成手段が、符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像の、各予測モードに応じた位置の画素を生成し、前記計算手段が、前記複数の予測モードごとに、前記符号化対象のブロックから前記予測モードに応じた位置の画素の値を取得して、前記予測モードに応じて生成した画素の値と前記予測モードに応じて取得した画素の値の間の差分を示す評価値を計算し、前記設定手段が、前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定し、前記第二の生成手段が、前記設定された予測モードの予測画像を生成することを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、前記取得手段が、符号化対象のブロックに隣接する複数の符号化済みブロックの予測モード情報を取得し、前記第一の生成手段が、前記予測モード情報が示す予測モードによって、前記符号化対象のブロックをフレーム内符号化する場合の第一の予測画像を生成し、前記第一の計算手段が、前記符号化対象のブロックと前記第一の予測画像の対応する画素の値の間の差分を示す第一の評価値を計算し、前記選択手段が、前記第一の評価値に基づき、前記複数の符号化済みブロックの予測モードの何れかを選択し、前記第二の生成手段が、前記選択された予測モードにおける画素の予測方向に隣接する予測方向をもつ予測モードによって、前記符号化対象のブロックをフレーム内符号化する場合の第二の予測画像を生成し、前記第二の計算手段が、前記符号化対象のブロックと前記第二の予測画像の対応する画素の値の間の差分を示す第二の評価値を計算し、前記設定手段が、前記第一および第二の評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、前記取得手段が、符号化対象のブロックの所定位置の画素の値を取得し、前記設定手段が、前記所定位置の画素の値の組み合わせに基づき、前記符号化ブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、前記取得手段が、符号化対象のブロックの所定位置の画素の値を取得し、前記選択手段が、前記所定位置の画素の値の組み合わせに基づき、前記符号化ブロックをフレーム内符号化する場合の複数の予測モードを選択し、前記生成手段が、前記複数の予測モードそれぞれに対応する複数の予測画像を生成し、前記計算手段が、前記複数の予測モードごとに、前記符号化対象のブロックと前記予測モードに対応する予測画像の、対応する画素の値の間の差分を示す評価値を計算し、前記設定手段が、前記複数の予測モードそれぞれに対応する評価値に基づき、前記符号化対象のブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
本発明によれば、フレーム内符号化の予測モードの決定に必要な演算量を削減することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
イントラ予測部1010は、フレーム内符号化のイントラ予測用に、現ブロックの画像と、FM1013から現ブロックの近傍に位置する局所復号画像を入力して、予測画像を生成する。動き補償部1012は、フレーム間予測符号化用に、現ブロックの画像と、FM1013から現フレーム近傍のフレームのローカルデコード画像を入力し、ブロック間におけるオブジェクトの相対的な動き量（以下、動きベクトル）を算出し、予測画像を生成する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
モード判定部1005は、現フレームをフレーム内符号化するか、フレーム間予測符号化するかを判定し、判定結果に応じてスイッチ1008と1009を制御する。フレーム内符号化するイントラピクチャ（Iピクチャ）の場合、スイッチ1009を介してイントラ予測部1010の予測画像が減算器1001に入力される。また、スイッチ1008はオープンである。一方、フレーム間予測符号化する予測ピクチャ（Pピクチャ）または双方向予測ピクチャ（Bピクチャ）の場合、スイッチ1009を介して、動き補償部1012の予測画像が減算器1001に入力される。また、スイッチ1008を介して、動き補償部1012の予測画像が加算器1017に入力される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
このように、本実施例は、まず、符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像を生成する。そして、符号化対象のブロックと複数の予測画像から各予測モードに応じた位置の画素の値を取得して、画素値の間の差分を示す評価値を計算する。そして、複数の予測モードそれぞれに対応する評価値に基づき、符号化対象のブロックの予測モードを設定することで、予測モードを決定するための演算量を削減することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
このように、本実施例は、符号化対象のブロックをフレーム内符号化する場合の複数の予測モードそれぞれに対応する複数の予測画像について、各予測モードに応じた位置の画素を第一の生成手段によって生成する。そして、符号化対象のブロックと複数の予測画像の前記各予測モードに応じた位置の画素の値を取得して、画素値の間の差分を示す評価値を計算する。そして、複数の予測モードそれぞれに対応する評価値に基づき、符号化対象のブロックの予測モードを設定し、設定された予測モードの予測画像を第二の生成手段によって生成することで、予測モードを決定するための演算量を削減することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
次に、イントラ予測部1010は、モード設定部1203により、上ブロックの予測モード情報を取得する(S1303)。そして、予測画像生成部1201により、上ブロックの予測モードによる予測画像を生成し(S1304)、SAD算出部1204により、上ブロックの予測モードにおける評価値を算出する(S1305)。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
次に、イントラ予測部1010は、モード設定部1203により、左ブロックの予測モード情報を入力する(S1306)。そして、予測画像生成部1202により、左ブロックの予測モードによる予測画像を生成し(S1307)、SAD算出部1205により、左ブロックの予測モードにおける評価値を算出する(S1308)。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
このように、本実施例は、符号化対象のブロックに隣接する複数の符号化済みブロックの予測モード情報を取得する。そして、予測モード情報が示す予測モードによって、符号化対象のブロックをフレーム内符号化する場合の第一の予測画像を第一の生成手段によって生成する。そして、符号化対象のブロックと第一の予測画像の対応する画素値の間の差分を示す第一の評価値を第一の計算手段によって計算し、第一の評価値に基づき、予測モード情報が示す予測モードを選択する選択する。そして、選択された予測モードの予測方向に隣接する予測方向をもつ予測モードによって、符号化対象のブロックをフレーム内符号化する場合の第二の予測画像を第二の生成手段によって生成する。そして、符号化対象のブロックと第二の予測画像の対応する画素値の間の差分を示す第二の評価値を第二の計算手段によって計算する。そして、第一および第二の評価値に基づき、符号化対象のブロックの予測モードを設定することで、すべての予測モードの予測画像を生成し評価値を計算する処理を省くことができる。従って、予測モードを決定するための演算量を削減することができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
このように、符号化対象のブロックの所定画素の値を取得し、所定画素の値の組み合わせに基づき、符号化ブロックをフレーム内符号化する場合の予測モードを設定することで、予測モードを決定するための演算量を削減することができる。