(57)【要約】【課題】画像復号時にエラーの伝搬が長時間続くことがないようにする。【解決手段】強制イントラブロック設定部３４の統計量算出部は、第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内におけるブロックとの対応領域を判別して、ブロックと対応領域間の情報伝搬に関する統計量を算出する。強制イントラブロック設定部３４の設定制御部は、統計量算出部で算出された統計量に基づいて、ブロックをイントラ予測のブロックに設定する制御を行い、イントラ予測が選ばれ難くいためにブロックと対応領域間の情報伝搬量が大きくなる場合、このブロックをイントラ予測のブロックとする確率を高くして、画像復号時にエラーの伝搬が長時間続いてしまうことを防止する。【選択図】        図１
2013243480.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域を判別して、前記ブロックと前記対応領域間の情報伝搬に関する統計量を算出する統計量算出部と、
前記統計量算出部で算出された統計量に基づいて、前記ブロックをイントラ予測のブロックに設定する制御を行う設定制御部と
を備える画像処理装置。
【請求項２】
前記統計量算出部は、前記ブロックまたは前記対応領域の画像に関する情報量と、前記ブロックと前記対応領域間の伝搬効率を用いて情報伝搬量を算出して、該算出した情報伝搬量を前記統計量として用いる
請求項１記載の画像処理装置。
【請求項３】
前記統計量算出部は、前記第２の画像として過去画像を用いて、前記過去画像からの情報伝搬量を算出する
請求項２記載の画像処理装置。
【請求項４】
前記統計量算出部は、前記第２の画像として未来画像を用いて、前記未来画像への情報伝搬量を算出する
請求項２記載の画像処理装置。
【請求項５】
前記統計量算出部は、前記第２の画像として過去画像を用いて前記過去画像からの第１の情報伝搬量を算出し、前記第２の画像として未来画像を用いて前記未来画像への第２の情報伝搬量を算出し、算出した前記第１の情報伝搬量と前記第２の情報伝搬量を統合して前記統計量として用いる
請求項２記載の画像処理装置。
【請求項６】
前記統計量算出部は、前記第２の画像として直前の過去画像を用いて第１の情報伝搬量を算出し、前記第２の画像として直後からの複数の未来画像を用いて前記第２の情報伝搬量を算出する場合、未来画像を多く用いるに伴い第２の情報伝搬量の重みを小さくして情報伝搬量の統合を行う
請求項５記載の画像処理装置。
【請求項７】
前記統計量算出部は、前記ブロックまたは前記対応領域の画像に関する情報量として、輝度値の分散または画像の複雑さを表す特徴量を用いる
請求項２記載の画像処理装置。
【請求項８】
前記統計量算出部は、前記ブロックにおけるイントラ予測とインター予測の符号化コストを用いて前記伝搬効率を算出する
請求項２記載の画像処理装置。
【請求項９】
前記設定制御部は、前記統計量に基づき優先度を決定して、優先度が高くなるに伴いイントラ予測のブロックに設定する確率を高くする
請求項１記載の画像処理装置。
【請求項１０】
前記設定制御部は、前記優先度に対して重み付けを行い、重み付け後の優先度に基づいてイントラ予測のブロックに設定する確率を制御する
請求項９記載の画像処理装置。
【請求項１１】
前記設定制御部は、前記第１の画像内における優先度毎のブロック数を用いて、イントラ予測のブロックの設定を制御する
請求項１０記載の画像処理装置。
【請求項１２】
第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域を判別して、前記ブロックと前記対応領域間の情報伝搬に関する統計量を算出する工程と、
前記統計量算出部で算出された統計量に基づいて、前記ブロックをイントラ予測のブロックに設定する制御を行う工程と
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法に関し、特に、画像復号時にエラーの伝搬が長時間続くことがないように、符号化処理を行うことを目的とする。
【背景技術】
【０００２】
従来、離隔した位置に設けられている表示装置等に対して無線で例えばＨＤ（High Definition）動画像データを伝送する無線伝送技術が開発されている。この無線伝送技術に用いられる伝送方式としては、６０ＧＨｚ帯を使用するミリ波、５ＧＨｚ帯を使用するＩＥＥＥ８０２．１１ｎ（無線ＬＡＮ（Local Area Network））、ＵＷＢ（Ultra Wide Band）などが利用される。また、低い周波数帯を使用してもＨＤ動画像データの無線伝送を行うことができるように、画像データの符号化を行いデータ量を削減して伝送することが行われる。
【０００３】
また、画像の符号化方式としては、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）やＨＥＶＣ（High EfficiencyVideo Coding）等がある。このような符号化方式では、符号化効率が高くなるようにフレーム単位やブロック単位でイントラ予測またはインター予測が選択されている。イントラ予測とは、同一画面内の画素を用いて予測画像を生成する符号化であり、イントラ予測の符号量は、通常多くなる。一方、インター予測とは、時間的に近隣した画面の画素を用いて予測画像を生成する符号化である。
【０００４】
このように画像データを符号化して伝送する場合、画像データの符号化を行う画像処理装置では、画質の劣化を防止するように符号化が行われている。例えば特許文献１では、ブロック毎に輪郭部分など視覚的に重要な情報を含む度合いまたは画質劣化が主観的に目につきやすい度合いを表すブロック特徴量を算出する。また、ブロック特徴量に基づきブロック有意度を判定する。さらに、判定したブロック有意度に基づいて決定した各ブロックにおけるリフレッシュ処理の優先度と、リフレッシュ処理の対象となる許容ブロック数に応じて、イントラ予測を行うブロックを設定することが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３５４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、視覚的に重要な情報を含む度合いまたは画質劣化が主観的に目につきやすい度合いに基づいて、イントラ予測を行うブロックを設定する場合、データ伝送におけるパケットロス等によって生じるデコーダ側でのエラーの伝搬について考慮されていない。したがって、パケットロス等が生じていない場合には、画質の劣化を少なくして画像の伝送を行うことができるが、パケットロス等によってデコーダ側でエラーが発生した場合、再生画像ではエラーが伝搬してしまう場合がある。例えば、イントラ予測が選ばれにくい画像領域や、変換係数データをほとんど伝送しなくとも画像を再構成できる画像領域では、パケットロスが生じた場合、動きベクトルに基づいて動き補償が行われてエラーが伝搬する。したがって、再生画像では、長い時間エラーが生じた画像となってしまう。
【０００７】
そこで、この技術では、画像復号時にエラーの伝搬が長時間続くことがないように符号化処理を行うことができる画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域を判別して、前記ブロックと前記対応領域間の情報伝搬に関する統計量を算出する統計量算出部と、前記統計量算出部で算出された統計量に基づいて、前記ブロックをイントラ予測のブロックに設定する制御を行う設定制御部とを備える画像処理装置にある。
【０００９】
この技術の画像処理装置では、第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域が判別されて、ブロックまたは対応領域の画像に関する情報量と、ブロックと対応領域間の伝搬効率を用いて情報伝搬量が算出される。第２の画像として過去画像が用いられる場合は、過去画像からの情報伝搬量が算出される。第２の画像として未来画像が用いられる場合は、未来画像への情報伝搬量が算出される。また、第２の画像として過去画像を用いて過去画像からの第１の情報伝搬量が算出されて、第２の画像として未来画像を用いて未来画像への第２の情報伝搬量が算出されて、この第１の情報伝搬量と第２の情報伝搬量が統合される。また、第２の画像として直前の過去画像を用いて第１の情報伝搬量が算出されて、第２の画像として直後からの複数の未来画像を用いて第２の情報伝搬量が算出される場合、未来画像を多く用いるに伴い第２の情報伝搬量の重みを小さくして情報伝搬量の統合が行われる。ブロックまたは対応領域の画像に関する情報量としては、輝度値の分散または画像の複雑さを表す特徴量が用いられる。また、伝搬効率は、例えばイントラ予測とインター予測の符号化コストを用いて算出される。設定制御部は、統計量に基づき優先度を決定して、優先度が高くなるに伴いイントラ予測のブロックに設定する確率が高くされる。また、優先度に対して重み付けを行い、重み付け後の優先度に基づいてイントラ予測のブロックに設定する確率が制御される。また、第１の画像内における優先度毎のブロック数を用いて、イントラ予測のブロックに設定する制御が行われる。
【００１０】
この技術の第２の側面は、第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域を判別して、前記ブロックと前記対応領域間の情報伝搬に関する統計量を算出する工程と、算出された前記統計量に基づいて、前記ブロックをイントラ予測のブロックに設定する制御を行う工程とを含む画像処理方法にある。
【発明の効果】
【００１１】
この技術によれば、第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域が判別されて、ブロックと対応領域間の情報伝搬に関する統計量が算出される。また、算出された統計量に基づいて、このブロックをイントラ予測のブロックに設定する制御が行われる。このため、統計量に基づき、イントラ予測が選ばれにくい画像領域や、変換係数データをほとんど伝送しなくとも画像を再構成できる画像領域と判別されたブロックは、イントラ予測とする確率を高くすることで、画像復号時にエラーの伝搬が長時間続いてしまうことを防止できる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の構成を例示した図である。
【図２】強制イントラブロック設定部の構成を例示した図である。
【図３】画像符号化動作を示すフローチャートである。
【図４】イントラ予測処理を示すフローチャートである。
【図５】インター予測処理を示すフローチャートである。
【図６】強制イントラブロック設定処理を示すフローチャートである。
【図７】予測モード選択動作を示すフローチャートである。
【図８】情報伝搬量の第１の算出動作で用いる画像の関係を示した図である。
【図９】情報伝搬量の第１の算出動作を示すフローチャートである。
【図１０】情報伝搬量の第１の算出動作を説明するための図である。
【図１１】情報伝搬量の第２の算出動作で用いる画像の関係を示した図である。
【図１２】情報伝達量の第２の算出動作を示すフローチャートである。
【図１３】伝搬効率の算出動作を詳細に示したフローチャートである。
【図１４】情報伝搬量の第３の算出動作で用いる画像の関係を示した図である。
【図１５】情報伝搬量と優先度の関係を例示した図である。
【図１６】優先度マップを例示した図である。
【図１７】優先度に対する確率的な重みに基づき、強制イントラブロックとして選択される確率を制御する場合の動作を説明するための図である。
【図１８】優先度毎のブロック数と重みに基づき、強制イントラブロックとして選択される確率を制御する場合の動作を説明するための図である。
【図１９】画像処理装置の他の構成を例示した図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．画像処理装置の動作
２−１．情報伝搬量の第１の算出動作
２−２．情報伝搬量の第２の算出動作
２−３．情報伝搬量の第３の算出動作
２−４．優先度の決定動作
２−５．強制イントラブロックの設定動作
２−６．強制イントラブロックの他の設定動作
３．画像処理装置の他の構成と動作
【００１４】
＜１．画像処理装置の構成＞
図１は、本技術の画像処理装置の構成を例示している。画像処理装置１０は、Ｈ．２６４／ＡＶＣ方式を用いて符号化を行う場合を例示しており、マクロブロック（以下単に「ブロック」という）単位で符号化を行い符号化データストリームを生成する。
【００１５】
画像処理装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。また、画像処理装置１０は、逆量子化・逆直交変換部２１、加算部２２、デブロッキングフィルタ２３、フレームバッファ２６、イントラ予測部３１、動き予測・補償部３２を備えている。さらに、画像処理装置１０は、動き検出・コスト算出部３３、強制イントラブロック設定部３４、予測モード選択部３５を備えている。
【００１６】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
【００１７】
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。
【００１８】
減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測モード選択部３５で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測モード選択部３５から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
【００１９】
直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２０】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化・逆直交変換部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【００２１】
可逆符号化部１６には、量子化部１５から出力された量子化データと、後述する予測モード選択部３５から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするタイプ情報、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報を可逆符号化して、符号化ストリームのヘッダ情報に付加する。
【００２２】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００２３】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
【００２４】
逆量子化・逆直交変換部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。さらに、逆量子化・逆直交変換部２１は、逆量子化処理を行うことで得られた変換係数データの逆直交変換処理を行い、得られたデータを加算部２２に出力する。
【００２５】
加算部２２は、逆量子化・逆直交変換部２１から供給されたデータと予測モード選択部３５から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ２３に出力する。
【００２６】
デブロッキングフィルタ２３は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２３は、加算部２２から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームバッファ２６に出力する。
【００２７】
フレームバッファ２６は、デブロッキングフィルタ２３から供給されたフィルタ処理後の復号画像データを参照画像の画像データとして保持する。なお、フレームバッファ２６は加算部２２から出力された復号画像データをイントラ予測で用いる参照画像の画像データとして保持するようにしてもよい。
【００２８】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の画像データとフレームバッファ２６から読み出した参照画像データを用いて、候補となる全てイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測モード選択部３５に出力する。
【００２９】
動き予測・補償部３２は、符号化対象画像のブロック（以下「符号化対象ブロック」という）に対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、符号化対象ブロックにおける各予測ブロックサイズの画像毎に、フレームバッファ２６から読み出された参照画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測モード選択部３５に出力する。さらに、動き予測・補償部３２は、符号化対象ブロックと等しい予測ブロックサイズで動き予測・補償処理を行って得られた動きベクトルとコスト関数値を、強制イントラブロック設定部３４に出力する。
【００３０】
動き検出・コスト算出部３３は、後述するように符号化前の未来画像を用いて、強制的にイントラ予測を行うブロック（以下「強制イントラブロック」という）の設定を行う場合、未来画像の各ブロックについて動きベクトルの検出とコスト関数値の算出を行う。
【００３１】
強制イントラブロック設定部３４は、強制イントラブロックの設定を行い、設定結果を予測モード選択部３５に出力する。また、参照画像でない場合にはエラーが生じても伝搬することがないため、強制イントラブロック設定部３４は、復号時に参照画像として用いられる画像に対して強制イントラブロックの設定を行う。
【００３２】
図２は、強制イントラブロック設定部３４の構成を例示している。強制イントラブロック設定部３４は、統計量算出部３４１と設定制御部３４２を有している。
【００３３】
統計量算出部３４１は、符号化対象画像内に設定されたブロックに対して算出された動きベクトルに基づき、設定されたブロックに対応する過去画像や未来画像内の対応領域を判別して、ブロックと対応領域間の情報伝搬に関する統計量を算出する。統計量算出部３４１は、例えば画面並べ替えバッファから出力された画像データ、イントラ予測部３１から予測モード選択部３５に供給された最適イントラ予測モードのコスト関数値、動き予測・補償部３２から供給されたインター予測モードのコスト関数値や動きベクトル、動き検出・コスト算出部３３で検出された動きベクトルと算出されたコスト関数値等を用いて統計量、例えば情報伝搬量ＶＰを算出する。
【００３４】
設定制御部３４２は、統計量算出部３４１で算出された統計量に基づいて、イントラ予測ブロックの設定の制御を行う。設定制御部３４２は、例えば統計量算出部３４１で算出された情報伝搬量ＶＰに基づきブロック毎に優先度を決定する。さらに、設定制御部３４２は、優先度が高くなるに伴いイントラ予測のブロックとして設定する確率を高くして、強制イントラブロックの設定を行い、設定結果を示す強制イントラブロック設定情報ＳＥintraを予測モード選択部３５に出力する。例えば、各フレームに対して割り振る強制イントラブロックの数が予め設定されており、優先度の高いブロックは強制イントラブロックとして含まれる頻度が高く、優先度の低いブロックは強制イントラブロックとして含まれる頻度が少なくなるように強制イントラブロックの設定が行われる。このように、優先度に応じてイントラ予測のブロックとして設定する確率を制御すれば、一様に強制イントラブロックを設定する場合に比べて、エラーの伝搬しやすさに応じて強制イントラブロックを設定することが可能となる。また、情報伝搬量がゼロではない限りエラーは伝搬するが、情報伝搬量の大きいブロックから順番に強制イントラブロックを設定すると、情報伝搬量の低いブロックは強制イントラブロックに設定されないためにエラーが伝搬する。しかし、優先度に応じてイントラ予測のブロックとして設定する確率を制御することで、情報伝搬量の低いブロックも強制イントラブロックに設定されることから、情報伝搬量が低いブロックで生じたエラーの伝搬を防止できる。なお、情報伝搬量はエラーの伝搬しやすさを完全に予測できるとは限らないため、情報伝搬量に応じてイントラ予測のブロックとして設定する確率を制御することで、エラーの伝搬しやすさを完全に予測できるとは限らないことによるリスクを回避できる。
【００３５】
図１に示す予測モード選択部３５は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を、ブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測モード選択部３５は、強制イントラブロック設定情報ＳＥintraに基づき、強制イントラブロック設定部３４によって強制イントラブロックに設定されたブロックでは、コスト関数値にかかわらずイントラ予測モードを選択する。予測モード選択部３５は、選択した予測モードで生成した予測画像データを減算部１３と加算部２２に出力する。また、予測モード選択部３５は、選択した予測モードの予測モード情報を可逆符号化部１６に出力する。
【００３６】
＜２．画像処理装置の動作＞
図３は、画像符号化動作を示すフローチャートである。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００３７】
ステップＳＴ１２において画面並べ替えバッファ１２は、画面並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、表示順番から符号化順番への画像の並べ替えを行う。
【００３８】
ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並べ替えられた画像の画像データと予測モード選択部３５で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
【００３９】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００４０】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２６の処理で説明されるように、レート制御が行われる。
【００４１】
ステップＳＴ１６において逆量子化・逆直交変換部２１は、逆量子化処理を行う。逆量子化・逆直交変換部２１、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００４２】
ステップＳＴ１７において逆量子化・逆直交変換部２１は、逆直交変換処理を行う。逆量子化・逆直交変換部２１は、逆量子化によって得られた変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００４３】
ステップＳＴ１８において加算部２２は、復号画像データの生成を行う。加算部２２は、予測モード選択部３５から供給された予測画像データと、この予測画像データと対応する画像位置の逆直交変換後のデータを加算して、復号画像データを生成する。
【００４４】
ステップＳＴ１９においてデブロッキングフィルタ２３は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ２３は、加算部２２より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【００４５】
ステップＳＴ２０においてフレームバッファ２６は、復号画像データを記憶する。フレームバッファ２６は、デブロッキングフィルタ処理前の復号画像データを記憶する。
【００４６】
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。この処理により、候補となる全ての予測モードで予測処理がそれぞれ行われて、コスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測モード選択部３５に供給される。また、符号化対象ブロックと等しい予測ブロックサイズで動き予測・補償処理を行って得られた動きベクトルとコスト関数値を強制イントラブロック設定部３４に出力する。
【００４７】
ステップＳＴ２２において強制イントラブロック設定部３４は、強制イントラブロック設定処理を行う。強制イントラブロック設定部３４は、イントラ予測モードが選ばれにくいような画像領域や変換係数データをほとんど伝送する必要がないような画像領域でパケットロス等が生じても、エラーが長時間継続することがないように強制イントラブロックを設定する処理を行う。強制イントラブロックの設定は、上述のように、復号時に参照画像として用いられる画像に対してのみ行う。
【００４８】
ステップＳＴ２３において予測モード選択部３５は、予測画像データの選択を行う。予測モード選択部３５は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。また、予測モード選択部３５は、強制イントラブロック設定部３４によって設定された強制イントラブロックに対して、コスト関数値に係らずイントラ予測モードを選択する。さらに、予測モード選択部３５は、決定した最適モードの予測画像データを選択して、減算部１３と加算部２２に供給する。この予測画像が、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。また、選択した予測モードに関する予測モード情報を可逆符号化部１６に出力する。
【００４９】
ステップＳＴ２４において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等が行われて、データ圧縮される。このとき、上述したステップＳＴ２３で可逆符号化部１６に供給された予測モード情報（例えばブロックタイプや予測モード、動きベクトル情報、参照ピクチャ情報等を含む）なども可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。
【００５０】
ステップＳＴ２５において蓄積バッファ１７は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。
【００５１】
ステップＳＴ２６においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
【００５２】
次に、図３のステップＳＴ２１における予測処理を説明する。予測処理では、イントラ予測処理とインター予測処理を行う。イントラ予測処理では、処理対象のブロックの画像を、候補となる全てのイントラ予測モードでイントラ予測する。イントラ予測処理の詳細は後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。
【００５３】
インター予測処理では、フレームバッファ２６に記憶されているフィルタ処理後の参照画像データを用いて、候補となる全てのインター予測モード（全ての予測ブロックサイズ）のインター予測処理を行う。この処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。
【００５４】
次に、イントラ予測処理について図４のフローチャートを参照して説明する。ステップＳＴ３１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、フレームバッファ２６に記憶されている復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
【００５５】
ステップＳＴ３２でイントラ予測部３１は、各予測モードに対するコスト関数値を算出する。例えば、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（１）で表されるコスト関数値を各予測モードに対して算出する。
Cost(Mode∈Ω)=Ｄ+λ・Ｒ            ・・・（１）
【００５６】
Ωは、当該ブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ乗数である。
【００５７】
また、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式（２）で表されるコスト関数値を各予測モードに対して算出してもよい。
Cost(Mode∈Ω)=Ｄ+QPtoQuant(QP)・Header_Bit      ・・・（２）
【００５８】
Ωは、当該ブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータＱＰの関数として与えられる関数である。
【００５９】
ステップＳＴ３３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ３２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
【００６０】
次に、図５のフローチャートを参照して、インター予測処理について説明する。ステップＳＴ４１で動き予測・補償部３２は、各予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、動き予測・補償部３２は、各予測モードの処理対象のブロックについて、動きベクトルと参照画像をそれぞれ決定する。
【００６１】
ステップＳＴ４２で動き予測・補償部３２は、各予測モードに対して動き補償を行う。動き予測・補償部３２は、各予測モード（各予測ブロックサイズ）について、ステップＳＴ４１で決定された動きベクトルに基づいて、参照画像に対する動き補償を行い、各予測モードについて予測画像データを生成する。
【００６２】
ステップＳＴ４３で動き予測・補償部３２は、各予測モードに対して動きベクトル情報の生成を行う。動き予測・補償部３２は、各予測モードで決定された動きベクトルについて、符号化ストリームに含める動きベクトル情報を生成する。例えば、メディアン予測等を用いて予測動きベクトルを決定して、動き予測により検出した動きベクトルと予測動きベクトルの差を示す動きベクトル情報を生成する。このようにして生成された動きベクトル情報は、次のステップＳＴ４４におけるコスト関数値の算出にも用いられて、最終的に予測モード選択部３５で対応する予測画像が選択された場合には、予測モード情報に含まれて可逆符号化部１６へ出力される。
【００６３】
ステップＳＴ４４で動き予測・補償部３２は、各インター予測モードに対して、コスト関数値の算出を行う。動き予測・補償部３２は、上述した式（１）または式（２）を用いてコスト関数値の算出を行う。
【００６４】
ステップＳＴ４５で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ４４において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つの予測モードを選択して最適インター予測モードに決定する。
【００６５】
次に、図６のフローチャートを参照して強制イントラブロック設定処理について説明する。ステップＳＴ５１で強制イントラブロック設定部３４は、符号化対象画像において、ブロック毎に情報伝搬量の算出を行う。情報伝搬量は、イントラ予測が選ばれにくい画像領域ほど、また変換係数データをほとんど伝送しなくとも画像を再構成できる画像領域ほど、例えば大きな値となる関数値とする。また、対応領域の画像情報量が大きいほど、例えば大きな値となる関数値とする。
【００６６】
強制イントラブロック設定部３４の統計量算出部３４１は、動きベクトルと過去画像および／または未来画像の画像データを用いて画像情報量の算出を行う。統計量算出部３４１は、画像情報量の算出において、動きベクトルに基づき符号化対象ブロックに対応する対応領域を含む過去画像（未来画像）上のブロック（対応ブロック）を判別する。統計量算出部３４１は、対応ブロック毎に輝度の分散または画像の複雑さを表す特徴量を算出して、対応ブロックの画像情報量とする。
【００６７】
画像の複雑さを表す特徴量としては、例えばブロックのアクティビティを用いる。アクティビティは、式（３）を用いてブロック内の各画素のアクティビティＡＣＴi,jを算出して、ブロック内の各画素について算出したアクティビティの総和をブロックのアクティビティとする。なお、式（３）において、「Ｐi,j」は注目画素の画素値、「Ｐi+1,j」は注目画素に対して水平方向で＋１画素隣の画素値、「Ｐi-1,j」は注目画素に対して水平方向で−１画素隣の画素値である。また、「Ｐi,j+1」は注目画素に対して垂直方向で＋１画素隣の画素値、「Ｐi,j-1」は注目画素に対して垂直方向に−１画素隣の画素値である。
ＡＣＴi,j＝｜４Ｐi,j−Ｐi+1,j−Ｐi-1,j−Ｐi,j+1−Ｐi,j-1｜    ・・・（３）
【００６８】
さらに、統計量算出部３４１は、符号化対象ブロックに対応する対応領域の画像情報量（領域画像情報量）を対応ブロック毎に算出する。例えば、統計量算出部３４１は、対応領域の対応ブロック内における面積比と対応ブロックの画像情報量を乗算して領域画像情報量を算出する。統計量算出部３４１は、参照画像対応ブロック毎に算出した領域画像情報量を加算して、符号化対象ブロックに対する画像情報量を算出する。
【００６９】
また、統計量算出部３４１は、例えばコスト関数値を用いて伝搬効率を算出する。統計量算出部３４１は、最適イントラ予測モードのコスト関数値Cost（intramin）と符号化対象ブロックのブロックサイズでインター予測を行った場合における最小のコスト関数値Cost（intermin）を用いて式（４）の演算を行い、伝搬効率ＥＰを算出する。
ＥＰ＝ｍｉｎ（（Cost（intramin）／Cost（intermin）），１．０）  ・・・（４）
【００７０】
伝搬効率ＥＰは、例えばインター予測において量子化された変換係数のデータ量が少なくなりコスト関数値Cost（intermin）が小さくなると、伝搬効率ＥＰが大きくなって最大「１」となる。また、最適イントラ予測モードのコスト関数値Cost（intramin）が大きく、イントラ予測モードが選び難い場合も伝搬効率ＥＰが大きくなり最大「１」となる。すなわち、イントラ予測モードが選び難い場合や少ないデータ量の変換係数データで画像を再構成できる場合は、伝搬効率ＥＰが大きくなり最大「１」となる。なお、伝搬効率は、イントラ予測モードが選び難い場合や少ないデータ量の変換係数データで画像を再構成できる場合、例えば大きな値となる関数値であればよく、式（４）に示すコスト関数値を用いた関数値に限られない。
【００７１】
統計量算出部３４１は、式（５）に示すように符号化対象ブロックに対する画像情報量ＶＺと伝搬効率ＥＰの乗算結果を示す関数値を情報伝搬量ＶＰとする。
ＶＰ＝ＶＺ×ＥＰ    ・・・（５）
【００７２】
このようにして統計量算出部３４１は、情報伝搬に関する統計量として情報伝搬量ＶＰを算出してステップＳＴ５２に進む。
【００７３】
ステップＳＴ５２で強制イントラブロック設定部３４は、優先度を決定する。強制イントラブロック設定部３４の設定制御部３４２は、算出した情報伝搬量ＶＰに基づき、符号化対象画像のブロック毎に優先度を決定してステップＳＴ５３に進む。
【００７４】
ステップＳＴ５３で強制イントラブロック設定部３４は、強制イントラブロックの設定を行う。強制イントラブロック設定部３４の設定制御部３４２は、優先度に基づいて強制イントラブロックを設定する。設定制御部３４２は、優先度が高いほど、短い間隔でイントラ予測が行われるように強制イントラブロックの設定を行い、強制イントラブロック設定情報ＳＥintraを予測モード選択部３５に出力する。
【００７５】
図７は、符号化対象ブロック毎に行われる予測モード選択動作を示すフローチャートである。ステップＳＴ６１で予測モード選択部３５は、コスト関数値の低い予測モードがイントラ予測モードであるか判別する。予測モード選択部３５は、最適イントラ予測モードのコスト関数値と最適インター予測モードのコスト関数値を比較して、コスト関数値の低い予測モードがイントラ予測モードである場合にステップＳＴ６２に進み、インター予測モードである場合にステップＳＴ６６に進む。
【００７６】
ステップＳＴ６２で予測モード選択部３５は、強制イントラブロックに設定されているか判別する。予測モード選択部３５は、強制イントラブロックに設定されている場合にステップＳＴ６３に進み、強制イントラブロックに設定されていない場合にステップＳＴ６５に進む。
【００７７】
ステップＳＴ６３で予測モード選択部３５は、イントラ予測モードを選択する。予測モード選択部３５は、イントラ予測部３１で生成した予測画像データを選択して減算部１３と加算部２２に出力する。また、予測モード選択部３５は、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力してステップＳＴ６４に進む。
【００７８】
ステップＳＴ６４で予測モード選択部３５は、強制イントラブロックの割り振り変更を行う。予測モード選択部３５は、イントラ予測モードとして選択された符号化対象ブロックが強制イントラブロックと設定されている場合、強制イントラブロックを設定してもイントラ予測モードで符号化が行われるブロックの数が増加しない。したがって、予測モード選択部３５は、強制イントラブロック設定部３４の設定制御部３４２において、強制イントラブロックに設定されていないブロックの中で優先度の最も高いブロックを強制イントラブロックに設定するように指示する。
【００７９】
ステップＳＴ６２からステップＳＴ６５に進むと、予測モード選択部３５は、イントラ予測モードを選択する。予測モード選択部３５は、イントラ予測部３１で生成した予測画像データを選択して減算部１３と加算部２２に出力する。また、予測モード選択部３５は、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。
【００８０】
ステップＳＴ６１からステップＳＴ６６に進むと、予測モード選択部３５は、強制イントラブロックに設定されているか判別する。予測モード選択部３５は、強制イントラブロックに設定されている場合にステップＳＴ６７に進み、強制イントラブロックに設定されていない場合にステップＳＴ６８に進む。
【００８１】
ステップＳＴ６７で予測モード選択部３５は、イントラ予測モードを選択する。予測モード選択部３５は、イントラ予測部３１で生成した予測画像データを選択して減算部１３と加算部２２に出力する。また、予測モード選択部３５は、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。
【００８２】
ステップＳＴ６８で予測モード選択部３５は、インター予測モードを選択する。予測モード選択部３５は、動き予測・補償部３２で生成した予測画像データを選択して減算部１３と加算部２２に出力する。また、予測モード選択部３５は、インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。
【００８３】
［２−１．情報伝搬量の第１の算出動作］
次に、情報伝搬量の第１の算出動作について説明する。第１の算出動作において、強制イントラブロック設定部３４は、符号化が終了している過去画像例えば符号化対象画像の直前の過去画像である１フレーム前の過去画像を利用して情報伝搬量の算出を行う。
【００８４】
図８は、情報伝搬量の第１の算出動作で用いる画像の関係を示している。強制イントラブロック設定部３４は、符号化対象画像Ｐcr0における符号化対象ブロックに対応する画像が、１フレーム前の過去画像Ｐcr-1における何れの領域の画像に対応するか、動き予測・補償部３２で算出された動きベクトルＭＶ0に基づいて判別する。また、強制イントラブロック設定部３４は、判別された領域についての画像情報量ＶＺを算出する。さらに、強制イントラブロック設定部３４は、イントラ予測部３１と動き予測・補償部３２で算出されたコスト関数値を用いて伝搬効率ＥＰを算出して、算出した画像情報量ＶＺと伝搬効率ＥＰに基づき情報伝搬量ＶＰを算出する。
【００８５】
図９は、情報伝搬量の第１の算出動作を示すフローチャートである。ステップＳＴ７１で強制イントラブロック設定部３４は、過去画像Ｐcr-1の各ブロックで画像情報量を算出してステップＳＴ７２に進む。なお、強制イントラブロック設定部３４は、入力画像から過去画像Ｐcr-1を選択して用いる。また、強制イントラブロック設定部３４は、フレームバッファ２６に記憶されている１フレーム前の画像である参照画像を用いてもよい。
【００８６】
ステップＳＴ７２で強制イントラブロック設定部３４は、対応領域の画像情報量を算出する。強制イントラブロック設定部３４は、例えば動き予測・補償部３２で検出された動きベクトルを利用して、符号化対象画像Ｐcr0における符号化対象ブロックに対応する画像が、過去画像Ｐcr-1における何れの領域の画像に対応するか判別する。さらに、強制イントラブロック設定部３４は、判別された領域が含まれる過去画像Ｐcr-1のブロック毎に、判別された領域に対応する画像情報量を算出して、判別された領域が含まれるブロック毎に算出した画像情報量を加算して、対応領域の画像情報量ＶＺとする。
【００８７】
ステップＳＴ７３で強制イントラブロック設定部３４は、コスト関数値を取得する。強制イントラブロック設定部３４は、イントラ予測部３１で算出された最適イントラ予測モードのコスト関数値を、予測モード選択部３５から取得する。また、強制イントラブロック設定部３４は、動き予測・補償部３２から符号化対象ブロックのブロックサイズで動き補償を行い算出された最小のコスト関数値を取得する。
【００８８】
ステップＳＴ７４で強制イントラブロック設定部３４は、伝搬効率を算出する。強制イントラブロック設定部３４は、イントラ予測のコスト関数値とインター予測のコスト関数値を用いて上述の式（４）の演算を行い伝搬効率ＥＰを算出する。
【００８９】
ステップＳＴ７５で強制イントラブロック設定部３４は、情報伝搬量を算出する。強制イントラブロック設定部３４はステップＳＴ７２で算出した画像情報量ＶＺとステップＳＴ７４で算出した伝搬効率ＥＰを用いて上述の式（５）の演算を行い情報伝搬量ＶＰを算出する。
【００９０】
図１０は、情報伝搬量の第１の算出動作を説明するための図である。強制イントラブロック設定部３４は、符号化対象画像Ｐcr0における符号化対象ブロックＢＫｐの画像が、過去画像Ｐcr-1における何れの領域の画像に対応するか、動きベクトルＭＶ0に基づいて判別する。なお、図１０では、符号化対象画像Ｐcr0における符号化対象ブロックＢＫｐの画像が、過去画像Ｐcr-1における斜線の領域に対応している場合を例示している。なお、斜線の領域が対応領域である。
【００９１】
強制イントラブロック設定部３４は、判別された対応領域を含む過去画像Ｐcr-1の対応ブロックＢＫ１〜ＢＫ４について、判別された領域に対応する画像情報量を算出する。例えば、強制イントラブロック設定部３４は、対応ブロックＢＫ１における斜線部の面積の割合がＲb1である場合、対応ブロックＢＫ１の画像情報量Ｚb1に割合Ｒb1を乗算して、判別された領域に対応する画像情報量Ｚb1cを算出する。また、強制イントラブロック設定部３４は、対応ブロックＢＫ２〜ＢＫ３についても同様にして、判別された領域に対応する画像情報量Ｚb2c〜Ｚb4cを算出する。さらに、強制イントラブロック設定部３４は、算出した画像情報量Ｚb1c〜Ｚb4cを加算して、加算結果を対応領域の画像情報量ＶＺとする。
【００９２】
強制イントラブロック設定部３４は、算出した画像情報量ＶＺとコスト関数値に基づいて算出した伝搬効率ＥＰを乗算して、情報伝搬量ＶＰを算出する。
【００９３】
このようにして、強制イントラブロック設定部３４は、情報伝搬量ＶＰの算出を行い、情報伝搬量が大きいブロックは優先度の高いブロックとして、短い間隔でイントラ予測が行われるように強制イントラブロックの設定を行う。また、強制イントラブロック設定部３４は、算出した情報伝搬量を用いて符号化対象画像の画像情報量の更新を行い、更新後の画像情報量を次のフレームの処理における１フレーム前の過去画像の画像情報量とする。例えば、強制イントラブロック設定部３４は、算出した情報伝搬量を符号化対象画像の画像情報量に加算して、加算結果を次のフレームの処理における１フレーム前の過去画像の画像情報量とする。
【００９４】
［２−２．情報伝搬量の第２の算出動作］
情報伝搬量の第１の算出動作では、過去画像を用いて情報伝搬量を算出する場合について説明したが、情報伝搬量の算出に用いる画像は過去画像に限られない。次に、情報伝搬量の第２の算出動作では、これから符号化が行われる未来画像を用いて情報伝搬量の算出を行う場合について説明する。
【００９５】
図１１は、情報伝搬量の第２の算出動作で用いる画像の関係を示している。未来画像を用いる場合、例えば符号化対象画像の直後からｎフレーム先までの未来画像を用いて、ｎフレーム先の未来画像から画像情報の伝搬がどのように行われているかを符号化対象画像までたどることで情報伝搬量を算出する。
【００９６】
強制イントラブロック設定部３４は、未来画像Ｐcr+nのブロック毎に、画像情報量の算出およびコスト関数値を用いた伝搬効率の算出を行う。また、強制イントラブロック設定部３４は、例えば未来画像Ｐcr+nのブロック毎に、算出した画像情報量と伝搬効率に基づいて情報伝搬量を算出する。さらに、強制イントラブロック設定部３４は、ｎフレーム先の未来画像Ｐcr+nの各ブロックについて、ブロックの画像が（ｎ−１）フレーム先の未来画像Ｐcr+(n-1)における何れの領域の画像に対応するか動きベクトルＭＶnに基づいて判別して、算出した情報伝搬量を、対応領域を含む未来画像Ｐcr+(n-1)の対応ブロックに分配する。情報伝搬量の分配は、未来画像Ｐcr+(n-1)の対応ブロックにおいて対応領域が占める割合に応じて行う。すなわち、対応領域が多く含まれる対応ブロックに対しては情報伝搬量を多く分配して、対応領域が少ない対応ブロックに対しては情報伝搬量の分配を少なくする。
【００９７】
未来画像Ｐcr+(n-1)における各ブロックは、ブロック内の画像に基づいて算出した画像情報量に、分配された情報伝搬量を加算して、画像情報量の更新を行う。
【００９８】
次に、強制イントラブロック設定部３４は、未来画像Ｐcr+(n-1)のブロック毎に、コスト関数値を用いて伝搬効率の算出を行う。また、強制イントラブロック設定部３４は、未来画像Ｐcr+(n-1)のブロック毎に、更新後の画像情報量と伝搬効率に基づいて情報伝搬量を算出する。さらに、強制イントラブロック設定部３４は、（ｎ−１）フレーム先の未来画像Ｐcr+(n-1)の各ブロックについて、ブロックの画像が（ｎ−２）フレーム先の未来画像Ｐcr+(n-2)における何れの領域の画像に対応するか動きベクトルＭＶn-1に基づいて判別して、算出した情報伝搬量を、対応領域を含む未来画像Ｐcr+(n-2)の対応ブロックに分配する。情報伝搬量の分配は、未来画像Ｐcr+(n-2)において対応領域が占める割合に応じて行う。すなわち、対応領域が多く含まれる対応ブロックに対しては情報伝搬量を多く分配して、対応領域が少ない対応ブロックに対しては情報伝搬量の分配を少なくする。
【００９９】
以下同様の処理を符号化対象画像まで繰り返すことで、未来画像を用いて符号化対象画像の各ブロックについての情報伝搬量を算出する。
【０１００】
図１２は、情報伝達量の第２の算出動作を示すフローチャートである。ステップＳＴ８１で動き検出・コスト算出部３３は、未来画像の各ブロックについて動きベクトルの検出と最適イントラ予測モードのコスト関数値および符号化対象ブロックサイズにおけるインター予測モードの最小コスト関数値を算出する。
【０１０１】
ステップＳＴ８２で強制イントラブロック設定部３４は、画像情報量と伝搬効率の算出を行う。強制イントラブロック設定部３４は、未来画像の各ブロックについて画像情報量を算出する。また、強制イントラブロック設定部３４は、ステップＳＴ８１で算出したコスト関数値を用いて伝搬効率を算出する。
【０１０２】
ステップＳＴ８３で強制イントラブロック設定部３４は、情報伝搬量の算出に用いる未来画像を指定する変数ｕを、未来画像の画像数である「ｎ」に設定する。
【０１０３】
ステップＳＴ８４で強制イントラブロック設定部３４は、未来画像Ｐcr+uの全ブロックについて情報伝搬量を未来画像Ｐcr+(u-1)に分配する。強制イントラブロック設定部３４は、未来画像Ｐcr+uのブロック毎に、ステップＳＴ８２で算出した画像情報量と伝搬効率から情報伝搬量を算出する。さらに、強制イントラブロック設定部３４は、未来画像Ｐcr+uのブロック毎に、未来画像Ｐcr+uのブロックに対応する領域が含まれる未来画像Ｐcr+(u-1)のブロックに対して、情報伝搬量の分配を行う。
【０１０４】
ステップＳＴ８５で強制イントラブロック設定部３４は、未来画像Ｐcr+(u-1)の画像情報量を更新する。強制イントラブロック設定部３４は、ブロック毎に、ステップＳＴ８４で分配された情報量をステップＳＴ８１で算出した画像情報量に加算して画像情報量を更新する。
【０１０５】
ステップＳＴ８６で強制イントラブロック設定部３４は、変数ｕが「１」であるか判別する。強制イントラブロック設定部３４は、変数ｕが「１」でない場合ステップＳＴ８７に進み、変数ｕから「１」を減算して新たな変数ｕに設定してステップＳＴ８４に戻る。また、強制イントラブロック設定部３４は、変数ｕが「１」である場合に処理を終了する。
【０１０６】
このような処理を行うと、符号化対象画像Ｐcr0の各ブロックについて算出された情報分配量は、ｎフレーム分の未来画像における情報の伝搬状況に応じた値となる。
【０１０７】
図１３は、伝搬効率の算出動作を詳細に示したフローチャートである。ステップＳＴ９１で動き検出・コスト算出部３３は、未来画像Ｐcr+uと未来画像Ｐcr+(u-1)からインター予測モードにおける最小のコスト関数値を算出する。動き検出・コスト算出部３３は、入力画像から未来画像Ｐcr+uと未来画像Ｐcr+(u-1)を用いて、未来画像Ｐcr+uにおける各ブロックについて符号化対象ブロックのブロックサイズでインター予測を行い、最小のコスト関数値Cost(intermin)を算出する。
【０１０８】
ステップＳＴ９２で動き検出・コスト算出部３３は、未来画像Ｐcr+uから最適イントラ予測モードのコスト関数値を算出する。動き検出・コスト算出部３３は、入力画像から未来画像Ｐcr+uを用いて、未来画像Ｐcr+uにおける各ブロックについてイントラ予測を行い、最適イントラ予測モードのコスト関数値をすなわち最小のコスト関数値Cost(intramin)を算出する。
【０１０９】
ステップＳＴ９３で強制イントラブロック設定部３４は、伝搬効率を算出する。強制イントラブロック設定部３４は、ステップＳＴ９１で算出したインター予測モードのコスト関数値Cost(intermin)とステップＳＴ９２で算出したイントラ予測モードのコスト関数値Cost(intramin)を用いて上述の式（４）の演算を行い伝搬効率ＥＰを算出する。
【０１１０】
このようにして情報伝搬量の算出を行うと、符号化対象画像Ｐcr0のブロック毎に、ｎフレーム先の未来画像までの画像情報の伝搬に関した情報伝搬量が分配される。したがって、強制イントラブロック設定部３４は、分配された情報伝搬量をブロック毎に加算して、加算後の情報伝搬量が大きいブロックは優先度の高いブロックとして、短い間隔でイントラ予測が行われるように強制イントラブロックの設定を行う。
【０１１１】
［２−３．情報伝搬量の第３の算出動作］
情報伝搬量の第３の算出動作では、過去画像と未来画像を用いて情報伝搬量の算出を行う場合について説明する。
【０１１２】
図１４は、情報伝搬量の第３の算出動作で用いる画像の関係を示している。強制イントラブロック設定部３４は、過去画像を用いる場合、第１の算出動作で説明したように符号化対象画像の直前の過去画像である１フレーム前の過去画像を用いて情報伝搬量の算出を行う。なお、１フレーム前の過去画像は、それ以前の過去画像からの情報が伝搬された画像である。したがって、強制イントラブロック設定部３４は、過去画像として符号化対象画像の直前の過去画像を用いる。
【０１１３】
また、強制イントラブロック設定部３４は、未来画像を用いる場合、第２の算出動作で説明したように、符号化対象画像の直後からｎフレーム先までの未来画像を用いて、ｎフレーム先の未来画像から画像情報の伝搬がどのように行われているかを符号化対象画像までたどることで情報伝搬量を算出する。
【０１１４】
さらに、強制イントラブロック設定部３４は、符号化対象画像のブロック毎に、過去画像を用いて算出した情報伝搬量ＶＰａと未来画像を用いて算出した情報伝搬量ＶＰｂを統合して、統合後の情報伝搬量ＶＰｔに基づいて優先度を決定する。強制イントラブロック設定部３４は、例えば式（６）の演算を行い、情報伝搬量を統合する。なお、式（７）において、「ｋ」は、過去画像を用いて算出した情報伝搬量ＶＰａと未来画像を用いて算出した情報伝搬量ＶＰｂの重み付けを調整するための係数であり、「０≦ｋ≦１」の値である。
ＶＰ＝ｋ×ＶＰａ＋（１−ｋ）×ＶＰｂ    ・・・（６）
【０１１５】
なお、係数「ｋ」は、予め設定された固定値でもよく、変更可能としてもよい。また、ユーザ等によって調整できるようにしてもよい。さらに、係数「ｋ」は、情報伝搬量の算出に用いた画像数に応じて設定してもよい。例えば、未来画像のフレーム数を多くすると予測精度が向上すると想定されることから未来画像のフレーム数が多くなるに伴い係数「ｋ」を小さくして、未来画像の情報伝搬量をより多く用いるようにしてもよい。
【０１１６】
［２−４．優先度の決定動作］
次に、優先度の決定動作について説明する。強制イントラブロック設定部３４は、情報伝搬量ＶＰと閾値を比較して優先度を決定する。図１５は、情報伝搬量と優先度の関係を例示している。例えば、強制イントラブロック設定部３４は、情報伝搬量ＶＰが閾値Ｔｈ1未満である場合に優先度を「０」、情報伝搬量ＶＰが閾値Ｔｈ1以上で閾値Ｔｈ2未満である場合に優先度を「１」とする。また、強制イントラブロック設定部３４は、情報伝搬量ＶＰが閾値Ｔｈ2以上で閾値Ｔｈ3未満である場合に優先度を「２」、情報伝搬量ＶＰが閾値Ｔｈ3以上である場合に優先度を「３」とする。
【０１１７】
さらに、強制イントラブロック設定部３４は、決定された優先度をマッピングして優先度マップを作成する。図１６は優先度マップを例示している。
【０１１８】
このように強制イントラブロック設定部３４は、情報伝搬量に基づき優先度を決定して、優先度マップを作成する。また、強制イントラブロック設定部３４は、優先度マップを利用して、優先度の高いブロックは、短い間隔でイントラ予測が行われるように強制イントラブロックの設定を行う。
【０１１９】
［２−５．強制イントラブロックの設定動作］
強制イントラブロックの設定動作では、上述のように、優先度に基づき優先度の高いブロックは、短い間隔でイントラ予測が行われるように強制イントラブロックの設定を行う。
【０１２０】
また、強制イントラブロックの設定動作では、優先度に対して確率的な重みを設定することで、優先度毎に強制イントラブロックとして選択される確率を制御するようにしてもよい。この場合、強制イントラブロック設定部３４は、優先度値ｉに対して重みＷ（ｉ）を設定して、式（７）の演算を行い、１フレーム内で選択されるブロック数ＮＳ（ｉ）を設定する。
ＮＳ（ｉ）＝Ｎ（ｉ）×Ｗ（ｉ）      ・・・（７）
【０１２１】
図１７は、優先度に対する確率的な重みに基づき、強制イントラブロックとして選択される確率を制御する場合の動作を説明するための図である。重みＷ（ｉ）は、図１７の（Ａ）の実線や点線で示すように、優先度が高くなるに伴い重みを増加させる。また、図示せずも、非線形の特性で重みを変化させてもよい。また、図１７の（Ｂ）に示すように、優先度値毎にユーザが重みＷ（ｉ）を設定できるようにしてもよい。
【０１２２】
このようにすれば、強制イントラブロック設定部３４は、重みＷ（ｉ）に基づいて、選択されるブロック数を優先度毎に設定できるようになる。
【０１２３】
［２−６．強制イントラブロックの他の設定動作］
強制イントラブロックの他の設定動作では、優先度毎のブロック数と重みに基づき、強制イントラブロックとして選択される確率を制御する場合を例示している。図１８は、優先度毎のブロック数と重みに基づき、強制イントラブロックとして選択される確率を制御する場合の動作を説明するための図である。
【０１２４】
強制イントラブロック設定部３４は、優先度毎のブロック数ｊ（ｉ）と重みＷ（ｉ）の乗算結果を求めて、図１８に示すように分布ＦＶを作成する。また、強制イントラブロック設定部３４は、分布ＦＶの積分値が例えば「１」となるように正規化することで確率分布を作成する。
【０１２５】
強制イントラブロック設定部３４は、作成した確率分布に従い優先度の範囲内である乱数を、符号化対象画像における強制イントラブロック数分だけ発生させる。強制イントラブロック設定部３４は、発生させた乱数が示す値の優先度を示すブロックを優先度マップから選択して、選択したブロックを強制イントラブロックに設定する。
【０１２６】
このようにすれば、確率分布に応じて強制イントラブロックの設定を行うことができる。
【０１２７】
画像処理装置１０は、以上のようにして強制イントラブロックの設定を行い、イントラ予測モードが選び難い画像領域や少ないデータ量の変換係数データで画像を再構成できる画像領域では、イントラ予測のブロックに設定する確率を高める。したがって、画像復号時にエラーの伝搬が長時間続くことを防止して再生画像の品質劣化を回避できるようになる。
【０１２８】
＜３．画像処理装置の他の構成と動作＞
ところで、上述の画像処理装置１０は、Ｈ．２６４／ＡＶＣ方式を用いて符号化処理を行う場合について説明したが、符号化方式としてＨＥＶＣ方式を用いるようにしてもよい。
【０１２９】
なお、ＨＥＶＣ方式では、Ｈ．２６４／ＡＶＣのマクロブロックと同様の役割を果たすＣＵ（Coding Unit）が規定されている。ＣＵは、ブロックサイズが固定されておらず、最大の大きさを持つＣＵはＬＣＵ（Largest Coding Unit）、最小の大きさを持つＣＵはＳＣＵ（Smallest Coding Unit）と呼ばれている。また、ＣＵは、イントラ若しくはインター予測の単位であるＰＵ（Prediction Unit）に分割され、さらに直交変換の単位であるＴＵ（Transform Unit）に分割される。したがって、ＨＥＶＣ方式の場合、上述のブロックにはＣＵやＰＵ等の概念が含まれる。
【０１３０】
図１９は、ＨＥＶＣ方式を用いた画像処理装置１０ａの構成を例示している。画像処理装置１０ａは、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。また、画像処理装置１０ａは、逆量子化・逆直交変換部２１、加算部２２、デブロッキングフィルタ２３、ＳＡＯ処理部２４、適応ループフィルタ２５、フレームバッファ２６、イントラ予測部３１、動き予測・補償部３２を備えている。さらに、画像処理装置１０ａは、動き検出・コスト算出部３３、強制イントラブロック設定部３４、予測モード選択部３５を備えている。
【０１３１】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
【０１３２】
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。
【０１３３】
減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測モード選択部３５で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測モード選択部３５から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
【０１３４】
直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【０１３５】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化・逆直交変換部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【０１３６】
可逆符号化部１６には、量子化部１５から出力された量子化データと、後述する予測モード選択部３５から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするタイプ情報、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば算術符号化等を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報を可逆符号化して、符号化ストリームのヘッダ情報に付加する。
【０１３７】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【０１３８】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
【０１３９】
逆量子化・逆直交変換部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。さらに、逆量子化・逆直交変換部２１は、逆量子化処理を行うことで得られた変換係数データの逆直交変換処理を行い、得られたデータを加算部２２に出力する。
【０１４０】
加算部２２は、逆量子化・逆直交変換部２１から供給されたデータと予測モード選択部３５から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ２３に出力する。
【０１４１】
デブロッキングフィルタ２３は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２３は、加算部２２から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをＳＡＯ処理部２４に出力する。
【０１４２】
ＳＡＯ処理部２４は、ＳＡＯ（sample adaptive offset）と呼ばれるフィルタ処理を行い、エッジや画素レベル等の画像の局所的特徴量に応じて符号化による歪みを低減させる。ＳＡＯ処理部２４は、ＳＡＯ処理後の画像データを適応ループフィルタ２５に出力する。
【０１４３】
適応ループフィルタ２５は、ＳＡＯ処理が行われた復号画像データを用いて、適応ループフィルタ（ALF：Adaptive Loop Filter）処理を行う。適応ループフィルタ２５は、フィルタとして、例えばウィナーフィルタ（Wiener Filter）が用いられる。もちろんウィナーフィルタ以外のフィルタを用いてもよい。適応ループフィルタ２５は、フィルタ処理結果をフレームバッファ２６に供給し、参照画像の画像データとして記憶させる。また、適応ループフィルタ２５は、適応ループフィルタ処理に用いた係数セットを示す情報を可逆符号化部１６に供給して符号化ストリームに含めるようにする。
【０１４４】
フレームバッファ２６は、適応ループフィルタ２５から供給されたフィルタ処理後の復号画像データを参照画像の画像データとして保持する。また、フレームバッファ２６は加算部２２から出力された復号画像データをイントラ予測で用いる参照画像の画像データとして保持するようにしてもよい。
【０１４５】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の画像データとフレームバッファ２６から読み出した参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測モード選択部３５に出力する。
【０１４６】
動き予測・補償部３２は、符号化対象ブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、符号化対象ブロックにおける各予測ブロックサイズの画像毎に、フレームバッファ２６から読み出された参照画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測モード選択部３５に出力する。さらに、動き予測・補償部３２は、符号化対象ブロックと等しい予測ブロックサイズで動き予測・補償処理を行って得られた動きベクトルとコスト関数値を、強制イントラブロック設定部３４に出力する。
【０１４７】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の画像データとフレームバッファ２６から読み出した参照画像データを用いて、候補となる全てのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測モード選択部３５に出力する。
【０１４８】
動き予測・補償部３２は、符号化対象ブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、画面並べ替えバッファ１２から出力された符号化対象画像における各予測ブロックサイズの画像毎に、フレームバッファ２６から読み出された参照画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測モード選択部３５に出力する。
【０１４９】
動き検出・コスト算出部３３は、符号化前の未来画像を用いて強制イントラブロックの設定を行う場合、未来画像の各ブロックについて動きベクトルの検出と最適イントラ予測モードおよび最適インター予測モードのコスト関数値を算出する。
【０１５０】
強制イントラブロック設定部３４は、画面並べ替えバッファから出力された画像データ、イントラ予測部３１から予測モード選択部３５に供給された最適イントラ予測モードのコスト関数値、動き予測・補償部３２から予測モード選択部３５に供給された最適インター予測モードのコスト関数値や動きベクトル、動き検出・コスト算出部３３で検出された動きベクトルと算出されたコスト関数値等に基づき、ブロック毎に情報伝搬量を算出する。また、強制イントラブロック設定部３４は、情報伝搬量に基づきブロック毎に優先度を決定する。さらに、強制イントラブロック設定部３４は、優先度に基づいて強制イントラブロックの設定を行い、設定結果を示す強制イントラブロック設定情報ＳＥintraを予測モード選択部３５に出力する。
【０１５１】
予測モード選択部３５は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を、ブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測モード選択部３５は、強制イントラブロック設定情報ＳＥintraに基づき、強制イントラブロック設定部３４によって強制イントラブロックに設定されたブロックでは、コスト関数値にかかわらずイントラ予測モードを選択する。予測モード選択部３５は、選択した予測モードで生成した予測画像データを減算部１３と加算部２２に出力する。また、予測モード選択部３５は、選択した予測モードの予測モード情報を可逆符号化部１６に出力する。
【０１５２】
このように構成された画像処理装置１０ａは、図２に示す画像符号化動作のフローチャートに対して、ステップＳＴ１９でデブロッキングフィルタ処理を行ったのち、ＳＡＯ処理および適応ループフィルタ処理を行ってステップＳＴ２０に進む。
【０１５３】
画像処理装置１０ａにおいても、上述のように強制イントラブロックの設定を行い、イントラ予測モードが選び難い画像領域や少ないデータ量の変換係数データで画像を再構成できる画像領域では、イントラ予測のブロックに設定する確率を高める。したがって、画像復号時にエラーの伝搬が長時間続くことを防止して再生画像の品質劣化を回避できるようになる。
【０１５４】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１５５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１５６】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５７】
なお、本技術は、上述の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１５８】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域を判別して、前記ブロックと前記対応領域間の情報伝搬に関する統計量を算出する統計量算出部と、
前記統計量算出部で算出された統計量に基づいて、前記ブロックをイントラ予測のブロックに設定する制御を行う設定制御部と
を備える画像処理装置。
（２）  前記統計量算出部は、前記ブロックまたは前記対応領域の画像に関する情報量と、前記ブロックと前記対応領域間の伝搬効率を用いて情報伝搬量を算出して、該算出した情報伝搬量を前記統計量として用いる（１）に記載の画像処理装置。
（３）  前記統計量算出部は、前記第２の画像として過去画像を用いて、前記過去画像からの情報伝搬量を算出する（２）に記載の画像処理装置。
（４）  前記統計量算出部は、前記第２の画像として未来画像を用いて、前記未来画像への情報伝搬量を算出する（２）に記載の画像処理装置。
（５）  前記統計量算出部は、前記第２の画像として過去画像を用いて前記過去画像からの第１の情報伝搬量を算出し、前記第２の画像として未来画像を用いて前記未来画像への第２の情報伝搬量を算出し、算出した前記第１の情報伝搬量と前記第２の情報伝搬量を統合して前記統計量として用いる（２）に記載の画像処理装置。
（６）  前記統計量算出部は、前記第２の画像として直前の過去画像を用いて第１の情報伝搬量を算出し、前記第２の画像として直後からの複数の未来画像を用いて前記第２の情報伝搬量を算出する場合、未来画像を多く用いるに伴い第２の情報伝搬量の重みを小さくして情報伝搬量の統合を行う（５）に記載の画像処理装置。
（７）  前記統計量算出部は、前記ブロックまたは前記対応領域の画像に関する情報量として、輝度値の分散または画像の複雑さを表す特徴量を用いる（２）乃至（６）の何れかに記載の画像処理装置。
（８）  前記統計量算出部は、前記ブロックにおけるイントラ予測とインター予測の符号化コストを用いて前記伝搬効率を算出する（２）乃至（８）の何れかに記載の画像処理装置。
（９）  前記設定制御部は、前記統計量に基づき優先度を決定して、優先度が高くなるに伴いイントラ予測のブロックに設定する確率を高くする（１）乃至（８）の何れかに記載の画像処理装置。
（１０）  前記設定制御部は、前記優先度に対して重み付けを行い、重み付け後の優先度に基づいてイントラ予測のブロックに設定する確率を制御する（９）に記載の画像処理装置。
（１１）  前記設定制御部は、前記第１の画像内における優先度毎のブロック数を用いて、イントラ予測のブロックの設定を制御する（１０）に記載の画像処理装置。
【産業上の利用可能性】
【０１５９】
この技術の画像処理装置と画像処理方法では、第１の画像内に設定されたブロックに対して算出された動きベクトルに基づき、第２の画像内における前記ブロックとの対応領域が判別されて、ブロックと対応領域間の情報伝搬に関する統計量が算出される。また、算出された統計量に基づいて、このブロックをイントラ予測のブロックに設定する制御が行われる。このため、統計量に基づき、イントラ予測が選ばれにくい画像領域や、変換係数データをほとんど伝送しなくとも画像を再構成できる画像領域と判別されたブロックは、イントラ予測とする確率を高くすることで、画像復号時にエラーの伝搬が長時間続いてしまうことを防止できる。したがって、画像を符号化して伝送する機能を有する電子機器に適している。
【符号の説明】
【０１６０】
１０，１０ａ・・・画像処理装置
１１・・・Ａ／Ｄ変換部
１２・・・画面並べ替えバッファ
１３・・・減算部
１４・・・直交変換部
１５・・・量子化部
１６・・・可逆符号化部
１７・・・蓄積バッファ
１８・・・レート制御部
２１・・・逆量子化・逆直交変換部
２２・・・加算部
２３・・・デブロッキングフィルタ
２４・・・ＳＡＯ処理部
２５・・・適応ループフィルタ
２６・・・フレームバッファ
３１・・・イントラ予測部
３２・・・動き予測・補償部
３３・・・動き検出・コスト算出部
３４・・・強制イントラブロック設定部
３５・・・予測モード選択部
３４１・・・統計量算出部
３４２・・・設定制御部
【図１】
2013243480.tif 000003
【図２】
2013243480.tif 000004
【図３】
2013243480.tif 000005
【図４】
2013243480.tif 000006
【図５】
2013243480.tif 000007
【図６】
2013243480.tif 000008
【図７】
2013243480.tif 000009
【図８】
2013243480.tif 000010
【図９】
2013243480.tif 000011
【図１０】
2013243480.tif 000012
【図１１】
2013243480.tif 000013
【図１２】
2013243480.tif 000014
【図１３】
2013243480.tif 000015
【図１４】
2013243480.tif 000016
【図１５】
2013243480.tif 000017
【図１６】
2013243480.tif 000018
【図１７】
2013243480.tif 000019
【図１８】
2013243480.tif 000020
【図１９】
2013243480.tif 000021