(57)【要約】  参照方向判定部４４は、入力画像を用いてシーンチェンジやフラッシュシーンあるいは輝度単調変動区間を検出する。参照方向判定部４４は、符号化対象画像がシーンチェンジやフラッシュシーンである場合、画面内の参照方向を一律に固定する参照方向固定モードと判定する。また、参照方向判定部４４は、符号化対象画像が輝度単調変動区間、すなわち画面全体の輝度が単調増加または単調減少する区間である場合、画面内の参照方向を一律に固定する参照方向固定モードと判定する。動き予測・補償部４２は参照方向判定部４４の判定結果に応じてインター予測処理を行うことで、画質低下を抑制しつつ、効率よく符号化を行えるようになる。
2019093051.tif 000002
【特許請求の範囲】
【請求項１】
輝度変動区間に含まれる画像のピクチャを対象として、画像の符号化処理における時間方向予測の参照方向を、前記輝度変動区間に含まれる前記ピクチャ内のブロック毎に適応的に選択する参照方向判定部
を備える画像処理装置。
【請求項２】
前記参照方向判定部は、前記輝度変動区間に含まれる画像のピクチャのみを対象として、前記参照方向を、前記輝度変動区間に含まれる前記ピクチャ内のブロック毎に適応的に選択する
請求項１に記載の画像処理装置。
【請求項３】
前記輝度変動区間は、シーンチェンジまたはフラッシュに相当する画像のピクチャを含む区間である
請求項２に記載の画像処理装置。
【請求項４】
前記参照方向判定部は、輝度単調変動区間に含まれる画像のピクチャを対象として、前記参照方向を、前記輝度単調変動区間に含まれる前記ピクチャ内で一律に固定する
請求項１に記載の画像処理装置。
【請求項５】
前記輝度単調変動区間において、予測画像と復元された差分画像を用いて生成された復号画像に対するサンプル適応オフセット処理の候補をバンドオフセットとするサンプル適応オフセットモード候補選択部を備える
請求項４に記載の画像処理装置。
【請求項６】
前記輝度単調変動区間において、入力画像と予測画像の差分画像に対する直交変換処理を輝度の一律変化に適した直交変換モードとする直交変換モード候補選択部をさらに備える
請求項４に記載の画像処理装置。
【請求項７】
前記輝度単調変動区間における参照画像リストに複数のインデックスがある場合、予測に用いる参照方向のインデックス値を符号量の少ないインデックス値に変更する情報変更処理部をさらに備える
請求項４に記載の画像処理装置。
【請求項８】
前記参照方向判定部は、前記輝度変動区間および輝度単調変動区間に含まれない画像のピクチャを対象として、前記ピクチャ内で一律に固定または前記ピクチャ内のブロック毎に適応的に選択する処理の何れかとする
請求項４に記載の画像処理装置。
【請求項９】
前記参照方向判定部は、前記参照方向を画面内で一律に固定する場合に、参照面をＬ０方向，Ｌ１方向，Ｌ０方向とＬ１方向の双方向の何れかに固定する
請求項４に記載の画像処理装置。
【請求項１０】
前記参照方向判定部は、時間的位置関係に基づいて前記固定する参照面を選択する
請求項９に記載の画像処理装置。
【請求項１１】
前記参照方向判定部は、参照距離が短い参照面を選択する
請求項１０に記載の画像処理装置。
【請求項１２】
前記参照方向判定部は、前記時間的位置関係と階層関係に基づいて前記参照面を選択する
請求項１０に記載の画像処理装置。
【請求項１３】
前記参照方向判定部は、階層の深い参照面よりも画質が良好である階層の浅い参照面を選択する
請求項１２に記載の画像処理装置。
【請求項１４】
前記参照方向判定部は、前記参照方向を画面のピクチャ内で一律に固定する場合に、前記画像の特性に応じて前記参照方向を決定する
請求項４に記載の画像処理装置。
【請求項１５】
前記参照方向判定部は、前記画像と輝度の特性が近い画像の方向を前記参照方向として選択する
請求項１４に記載の画像処理装置。
【請求項１６】
前記参照方向判定部は、前記符号化処理を行う画像を用いてオクルージョン領域の検出を行い、検出されたオクルージョン領域では前記参照方向を前記ブロック毎に適応的に選択する
請求項１に記載の画像処理装置。
【請求項１７】
前記参照方向判定部は、前記輝度変動区間に含まれる画像のピクチャを撮像制御情報に基づき検出する
請求項１に記載の画像処理装置。
【請求項１８】
輝度変動区間に含まれる画像のピクチャを対象として、画像の符号化処理における時間方向予測の参照方向を、参照方向判定部によって、前記輝度変動区間に含まれる前記ピクチャ内のブロック毎に適応的に選択すること
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法に関し、復号画像の画質低下を抑制しつつ、効率よく符号化を行えるようにする。
【背景技術】
【０００２】
従来、動画像を効率的に伝送または記録するために、動画像データの符号化ストリームを生成する画像処理装置が広く用いられている。動画像データの符号化では、動きベクトルを基にした動き予測、動き補償が行われており、特許文献１では、動きベクトルを基にした動き予測が元来苦手とするフェード区間を検出して、フォード区間では重み付き予測を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−００５１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、フェード区間を検出して重み付き予測を行う場合、重み係数やオフセット値を適切に設定しないと、重み付き予測で十分な性能を発揮することができないため、画質の低下を招くおそれがある。【０００５】
また、符号化ストリームの伝送等に必要とされる帯域を削減するため、例えば双方向予測画像について参照方向を制限する場合、予測に用いる参照方向が適切でないと、画質の低下や符号化効率の低下を招くおそれがある。【０００６】
そこで、本技術では、復号画像の画質低下を抑制しつつ、効率よく符号化を行える画像処理装置と画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、
輝度変動区間に含まれる画像のピクチャを対象として、画像の符号化処理における時間方向予測の参照方向を、前記輝度変動区間に含まれる前記ピクチャ内のブロック毎に適応的に選択する参照方向判定部
を備える画像処理装置にある。【０００８】
この技術において、参照方向判定部は、入力画像の符号化処理における時間方向予測の参照方向を、入力画像に基づき、ピクチャ内で一律に固定またはピクチャ内のブロック毎に適応的に選択する。例えば、参照方向判定部は、シーンチェンジまたはフラッシュに相当する画像のピクチャを含む輝度変動区間である場合、輝度変動区間に含まれる画像のピクチャのみを対象としては、参照方向をピクチャ内のブロック毎に適応的に選択する。また、参照方向判定部は、ピクチャ内の輝度平均値に基づき検出した輝度単調変動区間である場合、輝度単調変動区間に含まれる画像のピクチャを対象として、参照方向をピクチャ内で一律に固定する。また、参照方向判定部は、入力画像を用いてオクルージョン領域の検出を行い、検出されたオクルージョン領域では参照方向をブロック毎に適応的に選択する。【０００９】
さらに、サンプル適応オフセットモード候補選択部は、輝度単調変動区間において、予測画像と復元された差分画像を用いて生成された復号画像に対するサンプル適応オフセット処理の候補をバンドオフセットとする。また、直交変換モード候補選択部は、輝度単調変動区間において、入力画像と予測画像の差分画像に対する直交変換処理を輝度の一律変化に適した直交変換モードとする。また、情報変更処理部は、輝度単調変動区間における参照画像リストに複数のインデックスがある場合、予測に用いる参照方向のインデックス値を符号量の少ないインデックス値に変更する。【００１０】
また、参照方向判定部は、輝度変動区間および輝度単調変動区間に含まれない画像のピクチャを対象として、ピクチャ内で一律に固定またはピクチャ内のブロック毎に適応的に選択する処理の何れかとする。さらに、参照方向判定部は、輝度変動区間に含まれる画像のピクチャを撮像制御情報に基づき検出する。【００１１】
参照方向判定部は、参照方向をピクチャ内で一律に固定する場合に、参照面をＬ０方向，Ｌ１方向，Ｌ０方向とＬ１方向の双方向の何れかに固定する。また、参照方向判定部は、時間的位置関係に基づいて固定する参照面を選択する。例えば、参照方向判定部は、参照距離が短い参照面を選択する。また、参照方向判定部は、時間的位置関係と階層関係に基づいて参照面を選択してもよい。例えば、参照方向判定部は、階層の深い参照面よりも画質が良好な階層の浅い参照面を選択する。さらに、参照方向判定部は、参照方向をピクチャ内で一律に固定する場合に、入力画像の特性に応じて参照方向を決定する。例えば、参照方向判定部は、符号化対象の画像と輝度の特性が近い画像の方向を参照方向として選択する。【００１２】
この技術の第２の側面は、
輝度変動区間に含まれる画像のピクチャを対象として、画像の符号化処理における時間方向予測の参照方向を、参照方向判定部によって、前記輝度変動区間に含まれる前記ピクチャ内のブロック毎に適応的に選択すること
を含む画像処理方法にある。
【発明の効果】
【００１３】
この技術によれば、輝度変動区間に含まれる画像のピクチャを対象として、画像の符号化処理における時間方向予測の参照方向を、参照方向判定部によって、輝度変動区間に含まれるピクチャ内のブロック毎に適応的に選択される。したがって、時間方向予測の参照方向が適切な方向とされて、復号画像の画質低下を抑制しつつ、効率よく符号化を行えるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術の特徴を説明するための図である。
【図２】画像処理装置の構成を例示した図である。
【図３】画像処理装置の動作を例示したフローチャートである。
【図４】第１の形態における参照方向判定部の構成を例示した図である。
【図５】第１の形態における参照方向判定部の動作を例示したフローチャートである。
【図６】第１の形態の動作例を示した図である。
【図７】第２の形態における参照方向判定部の構成を例示した図である。
【図８】第２の形態における参照方向判定部の動作を例示したフローチャートである。
【図９】第２の形態の動作例を示した図である。
【図１０】フィルタ処理部の構成の一部を例示した図である。
【図１１】ＳＡＯモード候補選択部の動作を例示したフローチャートである。
【図１２】「Sample adaptive offset syntax」を示す図である。
【図１３】第２の動作を例示した図である。
【図１４】ＳＡＯ処理を例示した図である。
【図１５】直交変換部の構成の一部を例示した図である。
【図１６】直交変換モード候補選択部の動作を例示したフローチャートである。
【図１７】「Reference picture list modification syntax」を示す図である。
【図１８】インタレース画像の場合の参照画像リストを示した図である。
【図１９】第１の形態と第２の形態を組み合わせた場合の参照方向判定部の構成を例示した図である。
【図２０】参照方向判定部の動作を例示したフローチャートである。
【図２１】参照方向判定部の他の動作を例示したフローチャートである。
【図２２】第３の形態の構成を例示した図である。
【図２３】参照方向判定部の動作を例示したフローチャートである。
【図２４】オクルージョン領域のブロックを例示した図である。
【図２５】撮像制御情報に基づいて参照方向の判定を行う場合の参照方向判定部の構成を例示した図である。
【図２６】「Macroblock layer syntax」を示す図である。
【図２７】「Sub-macroblock prediction syntax」を示す図である。
【図２８】「Macroblock prediction syntax」を示す図である。
【図２９】「Prediction unit syntax」を示す図である。
【図３０】参照判定処理部の動作の一部を例示したフローチャートであり、参照画固定モードが選択された場合を示した図である。
【図３１】第２の動作を説明するための図である。
【図３２】参照画を時間的位置関係と階層関係に基づいて選択する場合の動作を例示した図である。
【図３３】参照判定処理部の動作の一部を例示したフローチャートであり、参照画固定モードが選択された場合を示した図である。
【発明を実施するための形態】
【００１５】
本技術では、画像の符号化処理における時間方向予測において、入力画像に基づきピクチャ内（画面内ともいう）の参照方向を一律に固定する方法（以下「参照方向固定モード」という）とピクチャ内の参照方向をブロック毎に適応的に切り替える方法（以下「参照方向適応選択モード」という）の何れかを選択することで参照方向の制限を行う。このように、入力画像に応じて何れかのモードを選択することで、復号画像の画質低下を抑制しつつ、効率よく符号化を行えるようにする。
【００１６】
図１は、本技術の特徴を説明するための図である。符号化対象画像（フレーム画像またはフィールド画像）が輝度変動区間に相当する画像例えばシーンチェンジやフラッシュ（フラッシュシーン）である場合、ピクチャ内の参照方向が同一の一方向に固定されると、参照画像がシーンの切替え前やフラッシュシーンよりも前の画像であった場合に、復号画像の画質劣化や符号化効率の低下を招く。したがって、画像処理装置は、輝度変動区間に含まれる入力画像のピクチャを対象として、第１の形態として示すように、参照方向適応選択モードを選択して符号化処理を行う。
【００１７】
また、符号化対象画像が例えばフェード区間や露出制御によって画面全体の輝度が単調増加または単調減少する区間（輝度単調変動区間ともいう）である場合、ピクチャ内で参照方向が異なると、復号画像は参照方向に違いに応じた明るさのばらつきを生じて画質劣化を招く場合がある。したがって、画像処理装置は、輝度単調変動区間に含まれる画像のピクチャを対象として、第２の形態として示すように、参照方向固定モードを選択して符号化処理を行う。
【００１８】
さらに、ピクチャ内にオクルージョン領域が含まれており、ピクチャ内の参照方向が同一の一方向に固定されると、参照画像にオクルージョン領域が含まれていない場合に、復号画像の画質劣化や符号化効率の低下を招く。したがって、符号化対象画像のブロックがオクルージョン領域である場合、第３の形態として示すように、画像処理装置は、参照方向適応選択モードを選択して符号化処理を行う。なお、モードの選択は第１乃至第３の形態に限らず、自然な動き感を重視する場合に参照方向適応選択モードを選択して、ピクチャ内の画質の安定感を重視する場合に参照方向固定モードを選択するなどの動作を行うようにしてもよい。
【００１９】
本技術で開示される範囲は、発明を実施するための形態に記載されている内容だけでなく、公知となっている以下の文献１乃至文献５に記載されている内容も含まれる（なお、以下の説明では文献１，２で示された規格を「ＡＶＣ規格」、文献３，４で示された規格を「ＨＥＶＣ規格」ともいう）。
文献１：ITU-T Rec. H.264：“Advanced video coding for generic audiovisual services”
文献２：ISO/IEC 14496-10：“Advanced Video Coding”
文献３：ITU-T Rec. H.265：“High Efficiency Video Coding”
文献４：ISO/IEC 23008-2 ：“High Efficiency Video Coding”
文献５：Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017:JVET-G1001-v1“Algorithm Description of Joint Exploration Test Model 7”
【００２０】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１−１．画像処理装置の構成
１−２．画像処理装置の動作
２．第１の形態
３．第２の形態
３−１．第２の形態の第１の動作
３−２．第２の形態の第２の動作
３−３．第２の形態の第３の動作
３−４．第２の形態の第４の動作
４．第１の形態と第２の形態の組み合わせ
５．第３の形態
６．他の形態
７．参照方向固定モードの動作
７−１．参照方向固定モードの第１の動作
７−２．参照方向固定モードの第２の動作
７−３．参照方向固定モードの第３の動作
【００２１】
＜１−１．画像処理装置の構成＞
図２は、画像処理装置の構成を例示している。画像処理装置１０は、画面並べ替えバッファ２１、演算部２２、直交変換部２３、量子化部２４、可逆符号化部２５、蓄積バッファ２６、レート制御部２７を有する。また、画像処理装置１０は、逆量子化部３１、逆直交変換部３２、演算部３３、フィルタ処理部３４、フレームメモリ３５、選択部３６を有している。さらに、画像処理装置１０は、イントラ予測部４１、動き予測・補償部４２、予測選択部４３、参照方向判定部４４を有する。
【００２２】
画面並べ替えバッファ２１は、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ２１は、符号化順とされたフレーム画像のデータ（原画像データ）を、演算部２２へ出力する。また、画面並べ替えバッファ２１は、原画像データをフィルタ処理部３４、イントラ予測部４１および動き予測・補償部４２へ出力する。
【００２３】
演算部２２は、画面並べ替えバッファ２１から供給された原画像データから、予測選択部４３を介してイントラ予測部４１若しくは動き予測・補償部４２から供給される予測画像データを画素毎に減算して、予測残差を示す残差データを直交変換部２３へ出力する。
【００２４】
例えば、イントラ符号化が行われる画像の場合、演算部２２は原画像データからイントラ予測部４１で生成された予測画像データを減算する。また、例えば、インター符号化が行われる画像の場合、演算部２２は原画像データから動き予測・補償部４２で生成された予測画像データを減算する。
【００２５】
直交変換部２３は、演算部２２から供給される残差データに対して、離散コサイン変換等の直交変換を行う直交変換処理を行う。直交変換部２３は、直交変換処理を行うことにより得られた変換係数を量子化部２４へ出力する。また、直交変換部２３は、複数の直交変換モードから処理に用いるモードが選択可能とされている場合、参照方向判定部４４の判定結果に応じて直交変換モードの候補を選択する。
【００２６】
量子化部２４は、直交変換部２３が出力する変換係数を量子化する。量子化部２４は、変換係数の量子化データを可逆符号化部２５へ出力する。また、量子化部２４は、生成した量子化データを逆量子化部３１にも出力する。
【００２７】
可逆符号化部２５は、その量子化データに対して、可逆符号化例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）等のエントロピー符号化処理を行う。また、可逆符号化部２５は、予測選択部４３で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報などのパラメータ、またはインター予測モードを示す情報や動きベクトル情報などのパラメータを取得する。さらに、可逆符号化部２５は、フィルタ処理部３４からフィルタ処理に関するパラメータを取得する。可逆符号化部２５は、量子化データを符号化するとともに、取得した各パラメータ（シンタックス要素）を符号化してヘッダ情報の一部として（多重化して）蓄積バッファ２６に蓄積させる。
【００２８】
蓄積バッファ２６は、可逆符号化部２５から供給されたデータを一時的に保持し、所定のタイミングで例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。
【００２９】
レート制御部２７は、蓄積バッファ２６に蓄積されたデータ量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２４の量子化動作のレートを制御する。
【００３０】
逆量子化部３１は、量子化部２４から供給された変換係数の量子化データを、量子化部２４で行われた量子化に対応する方法で逆量子化する。逆量子化部３１は、得られた逆量子化データを、逆直交変換部３２へ出力する。
【００３１】
逆直交変換部３２は、供給された逆量子化データを、直交変換部２３で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部３２は、逆直交変換結果すなわち復元された残差データを、演算部３３へ出力する。
【００３２】
演算部３３は、逆直交変換部３２から供給された残差データに、予測選択部４３を介してイントラ予測部４１若しくは動き予測・補償部４２から供給される予測画像データを加算し、局部的に復号された画像（復号画像）を得る。例えば、残差データが、イントラ符号化が行われる画像に対応する場合、演算部３３は、その残差データにイントラ予測部４１から供給される予測画像データを加算する。また、例えば、残差データが、インター符号化が行われる画像に対応する場合、演算部３３は、その残差データに動き予測・補償部４２から供給される予測画像データを加算する。加算結果である復号画像データは、フィルタ処理部３４へ出力される。
【００３３】
フィルタ処理部３４は、バイラテラルフィルタ、デブロッキングフィルタ、適応オフセットフィルタ、適応ループフィルタの少なくとも何れかを用いて構成されている。フィルタ処理部３４は、フィルタ処理後の復号画像データをフレームメモリ３５へ出力する。また、フィルタ処理部３４は、フィルタ処理で複数の処理が可能とされている場合、参照方向判定部４４の判定結果に応じてフィルタ処理の候補を選択する。フィルタ処理部３４は、復号画像データのフィルタ処理に関する情報をパラメータとして可逆符号化部２５へ出力する。なお、フィルタ処理部３４は、フィルタ処理を無効として演算部３３から供給された復号画像データをフレームメモリ３５へ出力する機能も有している。
【００３４】
フレームメモリ３５に蓄積されている参照画像データは、所定のタイミングで選択部３６を介してイントラ予測部４１または動き予測・補償部４２に出力される。例えば、イントラ符号化が行われる画像の場合、フレームメモリ３５から参照画像データが読み出されて、選択部３６を介してイントラ予測部４１へ出力される。また、例えば、インター符号化が行われる場合、フレームメモリ３５から参照画像データが読み出されて、選択部３６を介して動き予測・補償部４２へ出力される。
【００３５】
イントラ予測部４１は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部４１は、演算部３３で生成されてフレームメモリ３５に記憶されている復号画像データを参照画像データとして用いて全てのイントラ予測モード毎に予測画像データを生成する。また、イントラ予測部４１は、画面並べ替えバッファ２１から供給された原画像データと予測画像データを用いて各イントラ予測モードのコスト（例えばレート歪みコスト）の算出等を行い、算出したコストが最小となる最適なモードを選択する。イントラ予測部４１は、最適なイントラ予測モードを選択すると、選択したイントラ予測モードの予測画像データと、選択したイントラ予測モードを示すイントラ予測モード情報等のパラメータ、コスト等を予測選択部４３へ出力する。
【００３６】
動き予測・補償部４２は、インター符号化が行われる画像について、画面並べ替えバッファ２１から供給された原画像データと、フィルタ処理が行われてフレームメモリ３５に記憶されている復号画像データを参照画像データとして用いてインター予測（時間方向予測）を行う。また、動き予測・補償部４２は、参照方向判定部４４で判定された参照方向の参照画像データを用いて動き予測を行う。さらに、動き予測・補償部４２は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像データを生成する。
【００３７】
動き予測・補償部４２は、全てのインター予測モードで予測処理を行い、インター予測モード毎に予測画像データを生成してコスト（例えばレート歪みコスト）の算出等を行い、算出したコストが最小となる最適なモードを選択する。動き予測・補償部４２は、最適なインター予測モードを選択すると、選択したインター予測モードの予測画像データと、採用したインター予測モードを示すインター予測モード情報や算出した動きベクトルを示す動きベクトル情報などのパラメータ、コスト等を予測選択部４３へ出力する。
【００３８】
予測選択部４３は、イントラ予測モードとインター予測モードのコストに基づき最適な予測処理を選択する。予測選択部４３は、イントラ予測処理を選択した場合、イントラ予測部４１から供給された予測画像データを演算部２２や演算部３３へ出力して、イントラ予測モード情報等のパラメータを可逆符号化部２５へ出力する。予測選択部４３は、インター予測処理を選択した場合、動き予測・補償部４２から供給された予測画像データを演算部２２や演算部３３へ出力して、インター予測モード情報や動きベクトル情報等のパラメータを可逆符号化部２５へ出力する。
【００３９】
参照方向判定部４４は、入力画像の所定変化の検出としてシーンチェンジやフラッシュシーンあるいは輝度単調変動区間の検出を行い、検出結果に基づき図１に示すように参照方向を判定する。すなわち、参照方向判定部４４は、符号化対象画像がシーンチェンジやフラッシュシーンである場合、参照方向適応選択モードでインター予測を動き予測・補償部４２で行うようにする。また、参照方向判定部４４は、符号化対象画像が輝度単調変動区間である場合、参照方向固定モードでインター予測を動き予測・補償部４２で行うようにする。さらに、参照方向判定部４４は、輝度単調変動区間の検出結果に応じて直交変換部２３やフィルタ処理部３４の動作を制御する。
【００４０】
＜１−２．画像処理装置の動作＞
次に、画像処理装置の動作について説明する。図３は、画像処理装置の動作を例示したフローチャートである。
【００４１】
ステップＳＴ１において画像処理装置は画面並べ替え処理を行う。画像処理装置１０の画面並べ替えバッファ２１は、表示順のフレーム画像を符号化順に並べ替えて、イントラ予測部４１と動き予測・補償部４２へ出力する。
【００４２】
ステップＳＴ２において画像処理装置はイントラ予測処理を行う。画像処理装置１０のイントラ予測部４１は、フレームメモリ３５から読み出した参照画像データを用いて、処理対象のブロックの画素を候補となる全てのイントラ予測モードでイントラ予測して予測画像データを生成する。また、イントラ予測部４１は、生成した予測画像データと原画像データを用いてコストを算出する。なお、参照画像データとしては、フィルタ処理部３４のフィルタ処理を無効化してフレームメモリ３５に記憶された復号画像データが用いられる。イントラ予測部４１は、算出されたコストに基づいて、最適イントラ予測モードを選択して、最適イントラ予測モードのイントラ予測により生成された予測画像データとパラメータやコストを予測選択部４３に出力する。
【００４３】
ステップＳＴ３において画像処理装置は参照方向判定処理を行う。画像処理装置１０の参照方向判定部４４は、入力画像を用いて符号化対象画像が参照方向固定モードに適した画像から参照方向適応選択モードに適した画像であるか判別する。
【００４４】
ステップＳＴ４において画像処理装置は動き予測・補償処理を行う。画像処理装置１０の動き予測・補償部４２は、原画像データとフレームメモリ３５に記憶されているフィルタ処理後の復号画像データを参照画像データとして用いて動き予測を行う。また、動き予測・補償部４２は、ステップＳＴ３の判別結果に応じたモードで選択した参照画像データを用いて動き予測を行う。さらに、動き予測・補償部４２は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、インター予測モード毎に予測画像データを生成する。また、動き予測・補償部４２は、生成した予測画像データと原画像データを用いてコストを算出する。動き予測・補償部４２は、算出したコストに基づいて、最適インター予測モードを決定する。
【００４５】
ステップＳＴ５において画像処理装置は予測画像選択処理を行う。画像処理装置１０の予測選択部４３は、ステップＳＴ２およびステップＳＴ４で算出されたコストに基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４３は、決定した最適予測モードの予測画像データを選択して、演算部２２，３３へ出力する。なお、予測画像データは、後述するステップＳＴ６，ＳＴ１１の演算に利用される。また、予測選択部４３は、最適予測モードに関するパラメータを、可逆符号化部２５へ出力する。
【００４６】
ステップＳＴ６において画像処理装置は差分演算処理を行う。画像処理装置１０の演算部２２は、ステップＳＴ１で並べ替えられた原画像データと、ステップＳＴ５で選択された予測画像データとの差分を算出して、差分結果である残差データを直交変換部２３へ出力する。
【００４７】
ステップＳＴ７において画像処理装置は直交変換処理を行う。画像処理装置１０の直交変換部２３は、演算部２２から供給された残差データを直交変換する。具体的には、離散コサイン変換等の直交変換を行い、得られた変換係数を量子化部２４へ出力する。
【００４８】
ステップＳＴ８において画像処理装置は量子化処理を行う。画像処理装置１０の量子化部２４は、直交変換部２３から供給された変換係数または残差データを量子化する。この量子化に際しては、後述するステップＳＴ１６の処理で説明されるように、レートが制御される。
【００４９】
以上のようにして生成された量子化情報は、次のようにして局部的に復号される。すなわち、ステップＳＴ９において画像処理装置は逆量子化処理を行う。画像処理装置１０の逆量子化部３１は、量子化部２４から出力された量子化データを量子化部２４に対応する特性で逆量子化する。
【００５０】
ステップＳＴ１０において画像処理装置は逆直交変換処理を行う。画像処理装置１０の逆直交変換部３２は、逆量子化部３１で生成された逆量子化データを直交変換部２３に対応する特性で逆直交変換して残差データを生成して演算部３３へ出力する。
【００５１】
ステップＳＴ１１において画像処理装置は画像加算処理を行う。画像処理装置１０の演算部３３は、予測選択部４３から出力された予測画像データを局部的に復号された残差データに加算し、局部的に復号された（すなわち、ローカルデコードされた）画像を生成する。
【００５２】
ステップＳＴ１２において画像処理装置はフィルタ処理を行う。画像処理装置１０のフィルタ処理部３４は、演算部３３から出力された復号画像データを用いて、バイラテラルフィルタ処理、デブロッキングフィルタ処理、適応オフセットフィルタ処理、適応ループフィルタ処理の少なくとも何れかを行う。また、フィルタ処理部３４は、フィルタ処理を無効とする機能を有する。
【００５３】
ステップＳＴ１３において画像処理装置は記憶処理を行う。画像処理装置１０のフレームメモリ３５は、フィルタ処理部３４でフィルタ処理が行われた復号画像データと、フィルタ処理前の復号画像データ（フィルタ処理が無効とされている復号画像データ）を記憶する。
【００５４】
一方、上述したステップＳＴ８において量子化された変換係数または残差データは、可逆符号化部２５にも出力される。ステップＳＴ１４において画像処理装置は可逆符号化処理を行う。画像処理装置１０の可逆符号化部２５は、量子化部２４から出力された量子化後の変換係数または量子化後の残差データと、供給された各パラメータを符号化する。
【００５５】
ステップＳＴ１５において画像処理装置は蓄積処理を行う。画像処理装置１０の蓄積バッファ２６は、符号化データを蓄積する。蓄積バッファ２６に蓄積された符号化データは、適宜読み出されて、伝送路等を介して復号側に伝送される。
【００５６】
ステップＳＴ１６において画像処理装置はレート制御を行う。画像処理装置１０のレート制御部２７は、蓄積バッファ２６に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部２４の量子化動作のレートを制御する。
【００５７】
＜２．第１の形態＞
次に、図１に示す第１の形態について説明する。第１の形態では、シーンチェンジやフラッシュシーンの検出結果に応じて、参照方向固定モードまたは参照方向適応選択モードを選択して符号化処理を行う。
【００５８】
図４は、第１の形態における参照方向判定部の構成を例示しており、参照方向判定部４４は、画像メモリ４４１とシーンチェンジ・フラッシュシーン検出部４４２、参照判定処理部４４５を有している。
【００５９】
画像メモリ４４１は入力画像を記憶する。また、画像メモリ４４１は記憶している入力画像をシーンチェンジ・フラッシュシーン検出部４４２へ出力する。
【００６０】
シーンチェンジ・フラッシュシーン検出部４４２は、画像メモリ４４１に記憶されている入力画像に基づいてシーンチェンジやフラッシュシーンを検出する。シーンチェンジ・フラッシュシーン検出部４４２は、フレーム間の輝度や周波数成分の変化に基づきシーンチェンジやフラッシュシーンを検出する。例えば、シーンチェンジ・フラッシュシーン検出部４４２は、フレーム毎に画面内の輝度分散を算出して、輝度分散のフレーム間の変化量が予め設定された閾値よりも大きい場合に、シーンチェンジやフラッシュシーンが検出されたと判別する。また、例えばシーンチェンジ・フラッシュシーン検出部４４２は、フレーム毎にブロック単位で算出したＨａｄａｍａｒｄ値の画面内平均を算出して、画面内平均のフレーム間変化量が予め設定された閾値よりも大きい場合に、シーンチェンジやフラッシュシーンが検出されたと判別してもよい。さらに、シーンチェンジ・フラッシュシーン検出部４４２は、輝度分散のフレーム間の変化量とＨａｄａｍａｒｄ値の画面内平均のフレーム間変化量とに基づいて、シーンチェンジやフラッシュシーンを検出してもよい。シーンチェンジ・フラッシュシーン検出部４４２は、シーンチェンジやフラッシュシーンの検出結果を参照判定処理部４４５へ出力する。
【００６１】
参照判定処理部４４５は、シーンチェンジやフラッシュシーンの検出結果に基づき、時間方向予測で、参照方向固定モードと参照方向適応選択モードの何れを用いるか判別する。参照判定処理部４４５は、シーンチェンジやフラッシュシーンが検出された場合に参照方向適応選択モードを選択して、検出されていない場合に参照方向固定モードを選択して、選択結果を動き予測・補償部４２へ出力する。
【００６２】
図５は、第１の形態における参照方向判定部の動作を例示したフローチャートである。ステップＳＴ２１で参照方向判定部はシーンチェンジやフラッシュシーンであるか判別する。参照方向判定部４４は、符号化対象画像がシーンチェンジやフラッシュシーンであると判別した場合にステップＳＴ２２に進み、シーンチェンジやフラッシュシーンであると判別していない場合にステップＳＴ２３に進む。
【００６３】
ステップＳＴ２２で参照方向判定部は参照方向適応選択モードを選択する。参照方向判定部４４は、動き予測・補償部４２で符号化対象画像に対するインター予測を行う際に、参照方向適応選択モードを用いるようにする。
【００６４】
ステップＳＴ２３で参照方向判定部は参照方向固定モードを選択する。参照方向判定部４４は、動き予測・補償部４２で符号化対象画像に対するインター予測を行う際に、参照方向固定モードを用いるようにする。
【００６５】
図６は、第１の形態の動作例を示している。例えば符号化対象画像Ｇtと画像Ｇt-1との間でシーンチェンジが生じた場合、図６の（ａ）に示すように、参照方向固定モードとして画像Ｇt-1を参照面とする前方向予測が行われると、符号化効率の劣化を招く。しかし、本技術によれば、図６の（ｂ）に示すように、参照方向適応選択モードが選択される。このため、ブロック単位で双方向予測が行われて、常にシーンチェン前の画像Ｇt-1のみが参照面として用いられることがなく、図６の（ａ）に示すような符号化効率の劣化を防ぐことができる。
【００６６】
このように、第１の形態によれば、シーンチェンジやフラッシュシーンでの画質や符号化効率の低下を防ぐことができる。
【００６７】
＜３．第２の形態＞
第２の形態では、画像全体の輝度が単調増加または単調減少する輝度単調変動区間の検出結果に応じて、参照方向固定モードまたは参照方向適応選択モードを選択して符号化処理を行う。
【００６８】
＜３−１．第２の形態の第１の動作＞
次に、第２の形態における第１の動作について説明する。第１の動作では、輝度単調変動区間の検出結果に応じて、参照方向固定モードまたは参照方向適応選択モードを選択する。
【００６９】
図７は、第２の形態における参照方向判定部の構成を例示しており、参照方向判定部４４は、画像メモリ４４１と輝度単調変動検出部４４３、参照判定処理部４４５を有している。
【００７０】
画像メモリ４４１は入力画像を記憶する。また、画像メモリ４４１は記憶している入力画像を輝度単調変動検出部４４３へ出力する。
【００７１】
輝度単調変動検出部４４３は、画像メモリ４４１に記憶されている入力画像に基づいて輝度単調変動を検出する。輝度単調変動検出部４４３は、画面内の輝度平均値を算出して、輝度平均値がフレーム毎に単調増加あるいは単調減少している場合に輝度単調変動と判別して、輝度単調変動の検出結果を参照判定処理部４４５へ出力する。
【００７２】
参照判定処理部４４５は、輝度単調変動の検出結果に基づき、インター予測で、参照方向固定モードと参照方向適応選択モードの何れを用いるか判別する。参照判定処理部４４５は、符号化対象画像が輝度単調変動区間と判別された場合に参照方向固定モードを選択して、輝度単調変動区間と判別していない場合に参照方向適応選択モードを選択して、選択結果を動き予測・補償部４２へ出力する。
【００７３】
図８は、第２の形態における参照方向判定部の動作を例示したフローチャートである。ステップＳＴ３１で参照方向判定部は輝度単調変動区間であるか判別する。参照方向判定部４４は、符号化対象画像が輝度単調変動区間であると判別した場合にステップＳＴ３２に進み、輝度単調変動区間であると判別していない場合にステップＳＴ３３に進む。
【００７４】
ステップＳＴ３２で参照方向判定部は参照方向固定モードを選択する。参照方向判定部４４は、動き予測・補償部４２で符号化対象画像に対するインター予測を行う際に、参照方向固定モードを用いるようにする。
【００７５】
ステップＳＴ３３で参照方向判定部は参照方向適応選択モードを選択する。参照方向判定部４４は、動き予測・補償部４２で符号化対象画像に対するインター予測を行う際に、参照方向適応選択モードを用いるようにする。
【００７６】
図９は、第２の形態の動作例を示している。例えば符号化対象画像Ｇtが、画像Ｇt-1乃至画像Ｇt+2の輝度変動区間にある場合、図９の（ａ）に示すように、参照方向適応選択モードとして画像Ｇt-1と画像Ｇt+2を参照面としてブロック単位で双方向予測が行われると、復号画像では画面内の輝度ばらつきが生じて画質の低下を招くおそれがある。しかし、本技術によれば、図９の（ｂ）に示すように、参照方向固定モードが選択されるので、符号化処理に基づく画面内の輝度ばらつきを防ぐことができる。
【００７７】
このように、第２の形態によれば、輝度変動区間で良好な画質の復号画像を得られるようになる。
【００７８】
＜３−２．第２の形態の第２の動作＞
次に第２の形態における第２の動作について説明する。第２の動作では、輝度単調変動の検出結果をフィルタ処理部３４へ出力して、輝度単調変動の検出結果に応じてフィルタ処理部３４の動作を制御して、復号画像の画質低下を抑制しつつ、効率よく符号化を行えるようにする。
【００７９】
図１０は、フィルタ処理部の構成の一部を例示している。フィルタ処理部３４はＳＡＯ（Sample Adaptifve Offset）モード候補選択部３４１とＳＡＯ部３４２を有している。なお、ＳＡＯモード候補選択部３４１は、参照方向判定部４４に設けられてもよい。
【００８０】
ＳＡＯモード候補選択部３４１は、輝度単調変動区間であると判別されている場合（参照方向固定モード）、ＳＡＯ部３４２で行うサンプル適応オフセット処理の候補をＢＯ（Band Offset）のみに制限して、輝度単調変動区間と判別されていない場合（参照方向適応選択モード）、候補モードをＢＯとＥＯ（Edge Offset）とする。
【００８１】
図１１は、ＳＡＯモード候補選択部の動作を例示したフローチャートである。ステップＳＴ４１でＳＡＯモード候補選択部３４１は輝度単調変動区間であるか判別する。ＳＡＯモード候補選択部３４１は、参照方向判定部４４によって符号化対象画像が輝度単調変動区間であると判別されている場合にステップＳＴ４２に進み、輝度単調変動区間であると判別されていない場合にステップＳＴ４３に進む。
【００８２】
ステップＳＴ４２でＳＡＯモード候補選択部はＢＯを候補とする。ＳＡＯモード候補選択部３４１は、ＳＡＯ部３４２でＢＯのみを候補として復号画像に対するＳＡＯ処理を行うようにする。
【００８３】
ステップＳＴ４３でＳＡＯモード候補選択部はＢＯとＥＯを候補とする。ＳＡＯモード候補選択部３４１は、ＳＡＯ部３４２でＢＯとＥＯを候補として復号画像に対するＳＡＯ処理を行うようにする。
【００８４】
図１２は、上述のＨＥＶＣ規格の「Sample adaptive offset syntax」を示している。画像処理装置１０は、ＳＡＯ処理の候補モードをＢＯのみに制限する場合、破線枠ＦＲａ，ＦＲｂで示す「sao_type_idx_luma」と「sao_type_idx_croma」についてのSaoTypeIdxを「１：Band Offset」に指定して、「２：Edge Offset」が選択されることを防止する。
【００８５】
図１３は、第２の動作を例示しており、輝度単調変動区間はＳＡＯ処理における候補モードがＢＯのみとなり、他の区間では候補モードがＢＯとＥＯとなる。図１４は、ＳＡＯ処理を例示している。図１４の（ａ）は参照画像、図１４の（ｂ）符号化対象画像、図１４の（ｃ）は予測画像、図１４の（ｄ）は残差データを示している。また、図１４の（ｅ）はＳＡＯ処理前の復号画像、図１４の（ｆ）はＳＡＯ処理後の復号画像をそれぞれ示している。図１４の（ｈ）は、画素のビット深度が８ビット（画素値が０〜２５５）である場合に、画素値０〜２５５を３２のバンドに分割した場合を示している。ここで、ＳＡＯ処理前の復号画像の最小画素値は「２６」で最大画素値は「４６」であるから、バンド３〜６の４つのバンドが選択される。ここで、バンド３〜６の４つのバンドのオフセット値を図１４の（ｇ）のように「５」としてＢＯの処理を行うと、図１４の（ｅ）に示すＳＡＯ処理後の復号画像は、符号化対象画像と等しくなる。したがって、オフセット値とマージ符号化を用いれば、少ない符号量で入力画像と等しい復号画像を再現できる。また、ＥＯを禁止することで、輝度単調変動区間で画面の輝度が一律に変化している場合に、画面内の一部の領域例えば輪郭部分の領域の輝度が他の領域と異なる輝度に処理されてしまうことを防止できる。
【００８６】
このように、輝度単調変動区間においてＳＡＯ処理の候補モードをＢＯのみに制限することで、例えば画素値が４バンドの範囲に収まっている場合、輝度値を一律に同じオフセットで処理できるようになり、復号画像の画質低下や効率良く符号化処理を行える。
【００８７】
＜３−３．第２の形態の第３の動作＞
次に第２の形態における第３の動作について説明する。第３の動作では、輝度単調変動の検出結果を直交変換部２３へ出力して、輝度単調変動の検出結果に応じて直交変換部２３の動作を制御して、復号画像の画質低下を抑制しつつ、効率よく符号化を行えるようにする。
【００８８】
図１５は、直交変換部の構成の一部を例示している。直交変換部２３は直交変換モード候補選択部２３１と演算部２３２を有している。なお、直交変換モード候補選択部２３１は、参照方向判定部４４に設けられてもよい。
【００８９】
直交変換モード候補選択部２３１では、複数の候補モードから直交変換モードが選択可能とされている。例えば候補モードとしてＤＣＴ(Discrete Cosine Transform)−II，ＤＣＴ−Ｖ，ＤＣＴ−VIII，ＤＳＴ（Discrete Sine Transform）−Ｉ，ＤＳＴ−VIIが設けられており、何れかの直交変換モードが選択可能とされている。直交変換モード候補選択部２３１は、輝度単調変動区間であると判別されている場合（参照方向固定モード）、直交変換モードの候補を、輝度の一律変化に適した直交変換モードであるＤＣＴ−IIとする。また、直交変換モード候補選択部２３１は、輝度単調変動区間と判別されていない場合（参照方向適応選択モード）、候補モードを全ての直交変換モードとする。
【００９０】
演算部２３２は、直交変換モード候補選択部２３１で選択された候補モードから最適なモード例えば差分画像の直交変換後の成分が低域側に集中する候補モードを選択して差分画像の直交変換を行う。
【００９１】
図１６は、直交変換モード候補選択部の動作を例示したフローチャートである。ステップＳＴ５１で直交変換モード候補選択部２３１は輝度単調変動区間であるか判別する。直交変換モード候補選択部２３１は、参照方向判定部４４によって符号化対象画像が輝度単調変動区間であると判別されている場合にステップＳＴ５２に進み、輝度単調変動区間であると判別されていない場合にステップＳＴ５３に進む。
【００９２】
ステップＳＴ５２で直交変換モード候補選択部はＤＣＴ−IIを候補とする。直交変換モード候補選択部２３１は、ＤＣＴ−IIのみを候補として差分画像に対する直交変換処理を演算部２３２で行わせる。
【００９３】
ステップＳＴ５３で直交変換モード候補選択部は全てを候補とする。直交変換モード候補選択部２３１は、選択可能な全ての直交変換モードを候補として差分画像に対する直交変換処理を演算部２３２で行わせる。
【００９４】
このような処理を行うと、輝度単調変動区間であると判別した場合にＤＣＴ−IIの直交変換が演算部２３２で行われる。したがって、輝度単調変動区間では、他の直交変換を用いる場合に比べて直交変換後のデータ量が少なく、符号化効率を高めることができる。
【００９５】
＜３−４．第２の形態の第４の動作＞
次に第２の形態における第４の動作について説明する。第４の動作では、インタレース画像や複数参照フレームの探索において、参照方向固定モードが選択されて参照面を固定する場合に、シンタックスを変更して符号化効率を高くする。例えば、輝度単調変動区間における参照画像リストに複数のインデックスがある場合、予測に用いる参照方向のインデックス値を符号量の少ないインデックス値に変更する。図１７は、ＡＶＣ規格の「Reference picture list modification syntax」を示している。この場合、ＡＶＣ規格に対応した符号化処理では、「Reference picture list modification syntax」における破線枠ＦＲｃ，ＦＲｄのエレメントによって参照画像リスト（RefPicList）のインデックス値を変更する。なお、参照画像リストの変更は、例えば可逆符号化部２５で行えばよい。この場合、可逆符号化部２５は情報変更処理部に相当する。
【００９６】
図１８は、インタレース画像の場合の参照画像リストを示している。なお、図１８では、トップフィールドのＢピクチャが符号化対象画像である。符号化対象画像が輝度単調変動区間と判別されて参照方向固定モードを選択する場合、参照距離が短い画像（時間差が少ない画像）すなわち輝度差の少ない画像が望ましい。ここで、従来のように符号化対象画像と等しいフィールド画像に小さい値「０」を用いた場合、前方向のトップフィールドのＩ／Ｐピクチャの参照画像リストは「RefPicList0＝０」となり、前方向のトップフィールドのＩ／Ｐピクチャよりも参照距離が短い前方向のボトムフィールドのＩ／Ｐピクチャの参照画像リストは「RefPicList0＝１」となる。これに対して第４の動作では、前方向のトップフィールドのＩ／Ｐピクチャよりも参照距離が短い前方向のボトムフィールドのＩ／Ｐピクチャの参照画像リストを「RefPicList0＝０」、前方向のトップフィールドのＩ／Ｐピクチャの参照画像リストを「RefPicList0＝１」にそれぞれインデックス値を変更する。
【００９７】
このように、参照距離が短い参照面の参照画像リストを「RefPicList＝０」に変更すれば、参照画像リストの符号化処理では値が小さいほど少ないビット数の符号が割り当てられるので、参照画像リストの符号化量を少なくできる。
【００９８】
＜４．第１の形態と第２の形態の組み合わせ＞
次に第１の形態と第２の形態を組み合わせた場合について説明する。図１９は、第１の形態と第２の形態を組み合わせた場合の参照方向判定部の構成を例示しており、参照方向判定部４４は、画像メモリ４４１とシーンチェンジ・フラッシュシーン検出部４４２、輝度単調変動検出部４４３、参照判定処理部４４５を有している。
【００９９】
画像メモリ４４１は入力画像を記憶する。また、画像メモリ４４１は記憶している入力画像をシーンチェンジ・フラッシュシーン検出部４４２と輝度単調変動検出部４４３へ出力する。
【０１００】
シーンチェンジ・フラッシュシーン検出部４４２は、画像メモリ４４１に記憶されている入力画像に基づいてシーンチェンジやフラッシュシーンを検出する。シーンチェンジ・フラッシュシーン検出部４４２は、フレーム間の輝度や周波数成分の変化に基づきシーンチェンジやフラッシュシーンを検出して検出結果を参照判定処理部４４５へ出力する。
【０１０１】
輝度単調変動検出部４４３は、画像メモリ４４１に記憶されている入力画像に基づいて輝度単調変動を検出する。輝度単調変動検出部４４３は、画面内の輝度平均値を算出して、輝度平均値がフレーム毎に単調増加あるいは単調減少している場合に輝度単調変動と判別して、輝度単調変動の検出結果を参照判定処理部４４５へ出力する。
【０１０２】
参照判定処理部４４５は、シーンチェンジやフラッシュシーンの検出結果と輝度単調変動の検出結果に基づき、インター予測で、参照方向固定モードと参照方向適応選択モードの何れを用いるか判別して、モードの選択結果を動き予測・補償部４２へ出力する。
【０１０３】
図２０は、参照方向判定部の動作を例示したフローチャートであり、シーンチェンジやフラッシュシーンの検出結果を優先した場合である。ステップＳＴ６１で参照方向判定部はシーンチェンジやフラッシュシーンであるか判別する。参照方向判定部４４は、符号化対象画像がシーンチェンジやフラッシュシーンであると判別していない場合にステップＳＴ６２に進み、シーンチェンジやフラッシュシーンであると判別した場合にステップＳＴ６３に進む。
【０１０４】
ステップＳＴ６２で参照方向判定部は輝度単調変動区間であるか判別する。参照方向判定部４４は、符号化対象画像が輝度単調変動区間であると判別していない場合にステップＳＴ６３に進み、輝度単調変動区間であると判別した場合にステップＳＴ６４に進む。
【０１０５】
ステップＳＴ６３で参照方向判定部は参照方向適応選択モードを選択する。参照方向判定部４４は、符号化対象画像に対するインター予測において、参照方向適応選択モードを用いるように、動き予測・補償部４２の動作を設定する。
【０１０６】
ステップＳＴ６４で参照方向判定部は参照方向固定モードを選択する。参照方向判定部４４は、符号化対象画像に対するインター予測において、参照方向固定モードを用いるように、動き予測・補償部４２の動作を設定する。
【０１０７】
このように、シーンチェンジやフラッシュシーンの検出結果を優先した場合、符号化対象画像がシーンチェンジやフラッシュシーンと判別した場合、およびシーンチェンジやフラッシュシーンおよび輝度単調変動区間と判別していない場合は参照方向適応選択モードが選択されて、他の場合には参照方向固定モードが選択される。
【０１０８】
図２１は、参照方向判定部の他の動作を例示したフローチャートであり、輝度単調変動区間の検出結果を優先した場合である。ステップＳＴ７１で参照方向判定部は輝度単調変動区間であるか判別する。参照方向判定部４４は、符号化対象画像が輝度単調変動区間であると判別していない場合にステップＳＴ７２に進み、輝度単調変動区間であると判別した場合にステップＳＴ７３に進む。
【０１０９】
ステップＳＴ７２で参照方向判定部はシーンチェンジやフラッシュシーンであるか判別する。参照方向判定部４４は、符号化対象画像がシーンチェンジやフラッシュシーンであると判別していない場合にステップＳＴ７３に進み、シーンチェンジやフラッシュシーンであると判別した場合にステップＳＴ７４に進む。
【０１１０】
ステップＳＴ７３で参照方向判定部は参照方向固定モードを選択する。参照方向判定部４４は、符号化対象画像に対するインター予測において、参照方向固定モードを用いるように、動き予測・補償部４２の動作を設定する。
【０１１１】
ステップＳＴ７４で参照方向判定部は参照方向適応選択モードを選択する。参照方向判定部４４は、符号化対象画像に対するインター予測において、参照方向適応選択モードを用いるように、動き予測・補償部４２の動作を設定する。
【０１１２】
このように、輝度単調変動区間の検出結果を優先した場合、符号化対象画像が輝度単調変動区間であると判別した場合、および輝度単調変動区間およびシーンチェンジやフラッシュシーンと判別していない場合は参照方向固定モードが選択されて、他の場合には参照方向適応選択モードが選択される。
【０１１３】
したがって、第１の動作と第２の動作を組み合わせて行うようにすれば、シーンチェンジやフラッシュシーンおよび輝度の単調増加や単調減少が生じても、復号画像の画質低下を抑制しつつ、効率よく符号化を行えるようになる。
【０１１４】
＜５．第３の形態＞
次に、図１に示す第３の形態について説明する。第３の形態では、画面内のオクルージョン領域の検出を行い、オクルージョン領域である場合、参照方向適応選択モードを選択して符号化処理を行う。
【０１１５】
図２２は、第３の形態の構成を例示しており、参照方向判定部４４は、画像メモリ４４１とシーンチェンジ・フラッシュシーン検出部４４２、輝度単調変動検出部４４３、オクルージョン領域検出部４４４、参照判定処理部４４５を有している。
【０１１６】
画像メモリ４４１は入力画像を記憶する。また、画像メモリ４４１は記憶している入力画像をシーンチェンジ・フラッシュシーン検出部４４２と輝度単調変動検出部４４３へ出力する。
【０１１７】
シーンチェンジ・フラッシュシーン検出部４４２は、画像メモリ４４１に記憶されている入力画像に基づいてシーンチェンジやフラッシュシーンを検出する。シーンチェンジ・フラッシュシーン検出部４４２は、フレーム間の輝度や周波数成分の変化に基づきシーンチェンジやフラッシュシーンを検出して検出結果を参照判定処理部４４５へ出力する。
【０１１８】
輝度単調変動検出部４４３は、画像メモリ４４１に記憶されている入力画像に基づいて輝度単調変動を検出する。輝度単調変動検出部４４３は、画面内の輝度平均値を算出して、輝度平均値がフレーム毎に単調増加あるいは単調減少している場合に輝度単調変動と判別して、輝度単調変動の検出結果を参照判定処理部４４５へ出力する。
【０１１９】
オクルージョン領域検出部４４４は、画像メモリ４４１に記憶されている入力画像に基づいて画面内のオクルージョン領域を検出して、検出結果を参照判定処理部４４５へ出力する。
【０１２０】
参照判定処理部４４５は、シーンチェンジやフラッシュシーンの検出結果と輝度単調変動の検出結果およびオクルージョン領域の検出結果に基づき、参照方向固定モードと参照方向適応選択モードの何れを選択して、選択結果を動き予測・補償部４２へ出力する。参照判定処理部４４５は、オクルージョン領域では参照方向をブロック毎に適応的に選択する。例えば、図２１に示すように、シーンチェンジやフラッシュシーンの検出結果および／または輝度単調変動の検出結果に基づき符号化対象画像に対して参照方向固定モードが選択された場合、オクルージョン領域の検出結果に基づき参照方向固定モードを参照方向適応選択モードに切り替える。
【０１２１】
図２３は、参照方向判定部の動作を例示したフローチャートであり、符号化ブロック単位でフローチャートの処理が行われる。
【０１２２】
ステップＳＴ８１で参照方向判定部は符号化対象画像内の最後のブロック選択を終了したか判別する。参照方向判定部４４は、画像内の最後のブロックの選択が終了していない場合はステップＳＴ８２に進み、画像内の最後のブロック選択を終了した場合は、符号化対象画像についての参照方向判定を終了する。
【０１２３】
ステップＳＴ８２で参照方向判定部はオクルージョン領域であるか判別する。参照方向判定部４４は、符号化ブロックがオクルージョン領域のブロックである場合にステップＳＴ８３に進み、オクルージョン領域のブロックでない場合にステップＳＴ８４へ進む。
【０１２４】
ステップＳＴ８３で参照方向判定部は参照方向適応選択モードを選択する。参照方向判定部４４は、符号化対象画像に対するインター予測において、参照方向適応選択モードを用いるように、動き予測・補償部４２の動作を設定してステップＳＴ８５で次のブロックを選択してステップＳＴ１に戻り、次のブロックの処理を行う。
【０１２５】
ステップＳＴ８４で参照方向判定部は参照方向固定モードを選択する。参照方向判定部４４は、符号化対象画像に対するインター予測において、参照方向固定モードを用いるように、動き予測・補償部４２の動作を設定してステップＳＴ８５で次のブロックを選択してステップＳＴ１に戻り、次のブロックの処理を行う。
【０１２６】
したがって、図２４に示すオクルージョン領域のブロックでは、参照方向適応選択モードが用いられることから、参照画リストを固定したことによってオクルージョン領域の画像が復元できなくなることを防止できるようになる。
【０１２７】
＜６．他の形態＞
ところで、上述の第１乃至第３の形態では、入力画像を用いて参照方向の判定を行う場合について説明したが、参照方向の判定は入力画像に限らず撮像制御情報に基づいて行うようにしてもよい。
【０１２８】
図２５は、撮像制御情報に基づいて参照方向の判定を行う場合の参照方向判定部の構成を例示している。
【０１２９】
参照方向判定部４４は、シーンチェンジ・フラッシュシーン検出部４４６と輝度単調変動検出部４４７および参照判定処理部４４５を有している。
【０１３０】
シーンチェンジ・フラッシュシーン検出部４４６は、撮像制御情報に基づいてシーンチェンジやフラッシュシーンを検出する。撮像制御情報には、フラッシュ駆動制御情報が含まれており、シーンチェンジ・フラッシュシーン検出部４４６は、フラッシュ駆動制御情報によってフラッシュ発光が行われたときの画像をフラッシュシーンとして、検出結果を参照判定処理部４４５へ出力する。また、撮像制御情報には録画開始情報が含まれており、シーンチェンジ・フラッシュシーン検出部４４６は、録画開始情報によって録画が開始あるいは録画一時停止状態が解除されたときシーンチェンジと検出して、検出結果を参照判定処理部４４５へ出力してもよい。
【０１３１】
輝度単調変動検出部４４７は、撮像制御情報に基づいて輝度単調変動を検出する。撮像制御情報には、露出制御情報が含まれており、輝度単調変動検出部４４７は、露出制御情報によって輝度が単調増加あるいは単調減少している場合に輝度単調変動と判別して、輝度単調変動の検出結果を参照判定処理部４４５へ出力する。露出制御情報は、露出変換に関連する情報であればよく、例えば絞り値、シャッター速度、ゲイン値、ＩＳＯ感度の少なくとも何れかを含む。
【０１３２】
参照判定処理部４４５は、シーンチェンジ・フラッシュシーンの検出結果と輝度単調変動の検出結果に基づき、インター予測で、参照方向固定モードと参照方向適応選択モードの何れを用いるか判別して、モードの選択結果を動き予測・補償部４２へ出力する。また、参照判定処理部４４５は、シーンチェンジ・フラッシュシーンの検出結果と輝度単調変動の検出結果を用いて、上述の図５や図８に示すフローチャートの処理を行い、参照方向固定モードと参照方向適応選択モードの何れを用いるか判別する。
【０１３３】
このように、フラッシュシーンやシーンチェンジおよび輝度単調変動区間の検出に撮像制御情報を用いれば、入力画像に基づいて検出を行う場合に比べて、簡単かつ正しくフラッシュシーンやシーンチェンジおよび輝度単調変動区間を検出できるようになる。
【０１３４】
＜７．参照方向固定モードの動作＞
次に、参照方向固定モードと判定された場合に選択される参照面について説明する。
【０１３５】
＜７−１．参照方向固定モードの第１の動作＞
参照方向固定モードの第１の動作では、参照面の位置を固定する。参照方向判定部４４の参照判定処理部４４５は、参照方向固定モードである場合、参照面をＬ０方向，Ｌ１方向，Ｌ０方向とＬ１方向の双方（ＢｉＰ方向ともいう）の何れかに固定する。
【０１３６】
図２６，２７はＡＶＣ規格に対応した符号化処理において参照面を固定する場合に利用するシンタックスを例示しており、図２６は「Macroblock layer syntax」、図２７は「Sub-macroblock prediction syntax」を示している。
【０１３７】
参照判定処理部４４５は、例えば図２６に示す「Macroblock layer syntax」における破線枠ＦＲｅのエレメント「mb_type」と、図２７に示す「Sub-macroblock prediction syntax」における破線枠ＦＲｆのエレメント「sub_mb_type」を、ＢピクチャにおけるＬ０方向，Ｌ１方向，ＢｉＰ方向の所望の方向となるタイプとして、参照面を固定する。
【０１３８】
図２８はＡＶＣ規格の符号化処理において、インタレース画像や複数参照フレームの探索で参照面を固定する場合に利用する「Macroblock prediction syntax」を示している。参照判定処理部４４５は、例えば「Macroblock prediction syntax」における破線枠ＦＲｇ，ＦＲｈのエレメント「ref_idx_lo」「ref_idx_l1」値を全て同じ値として、参照面を固定する。
【０１３９】
図２９はＨＥＶＣ規格の符号化処理において参照面を固定する場合に利用する「Prediction unit syntax」を示している。参照判定処理部４４５は、例えば「Prediction unit syntax」における破線枠ＦＲｊのエレメント「inter_pred_idc」によって参照面を固定する。
【０１４０】
このような処理を参照判定処理部４４５で行えば、参照方向固定モードにおいて参照面を固定できる。
【０１４１】
＜７−２．参照方向固定モードの第２の動作＞
参照方向固定モードの第２の動作では、参照面を時間的位置関係に基づいて選択する。例えば、参照方向判定部４４の参照判定処理部４４５は、参照方向固定モードを選択する場合、参照距離の短い画像を参照面とする。
【０１４２】
図３０は、参照判定処理部の動作の一部を例示したフローチャートであり、参照画固定モードが選択された場合を示している。ステップＳＴ９１で参照画判定部は参照面毎に参照距離を算出する。参照方向判定部４４の参照判定処理部４４５は、符号化対象画像から参照画Ｌ０までの参照距離ＴＬ０と参照画Ｌ１までの参照距離ＴＬ１を個々に算出してステップＳＴ９２に進む。
【０１４３】
ステップＳＴ９２で参照画判定部は参照距離ＴＬ０，ＴＬ１を比較する。参照方向判定部４４の参照判定処理部４４５は、参照距離ＴＬ１が参照距離ＴＬ０よりも短い場合にステップＳＴ９３に進み、参照距離ＴＬ０が参照距離ＴＬ１よりも短い場合にステップＳＴ９４に進む。また、参照判定処理部４４５は、参照距離ＴＬ０と参照距離ＴＬ１が等しい場合にステップＳＴ９５に進む。
【０１４４】
ステップＳＴ９３で参照方向判定部４４は参照面をＬ１方向とする。参照方向判定部４４の参照判定処理部４４５は、参照距離ＴＬ１が参照距離ＴＬ０よりも短いことから、参照面をＬ１方向とする。
【０１４５】
ステップＳＴ９４で参照方向判定部４４は参照面をＬ０方向とする。参照方向判定部４４の参照判定処理部４４５は、参照距離ＴＬ０が参照距離ＴＬ１よりも短いことから、参照面をＬ０方向とする。
【０１４６】
ステップＳＴ９５で参照方向判定部４４は参照面をＢｉＰ方向とする。参照方向判定部４４の参照判定処理部４４５は、参照距離ＴＬ０と参照距離ＴＬ１が等しいことから、参照面をＢｉＰ方向とする。
【０１４７】
図３１は第２の動作を説明するための図であり、参照判定処理部４４５は、例えば符号化対象画像が複数参照フレームやＬｏｎｇｔｅｒｍ参照フレームの画像である場合、上述のように参照距離の短いリストとする。したがって、図３１の（ａ）に示すように、符号化対象画像Ｇtに対して、参照距離の短い実線の矢印で示す画像Ｇt-3が参照面とされて、参照距離の長い破線の矢印で示す画像Ｇt-6は参照されない。また、図３１の（ｂ）に示すように、符号化対象画像Ｇtに対して、参照距離の短い実線の矢印で示す画像Ｇt-1が参照面とされて、参照距離の長い破線の矢印で示す画像Ｇt+2は参照されない。同様に、符号化対象画像が画像Ｇt+1である場合、参照距離の短い実線の矢印で示す画像Ｇt+2が参照面とされて、参照距離の長い破線の矢印で示す画像Ｇt-1は参照されない。
【０１４８】
また、参照判定処理部４４５は、インタレース画像の処理を行う場合にも、参照距離の短いフィールド画像を参照面とする。さらに、参照判定処理部４４５は、インタレース画像において、動きの多い部分はフィールド単位で予測を行い、動きの少ない部分はフレーム単位で予測を行うように、予測をブロック単位で切り替えるＭＢＡＦＦ（Macro Block Adaptive Frame/Field）処理を行う場合にも、参照距離の短いフィールド画像やフレーム画像を参照面とする。
【０１４９】
したがって、輝度単調変動区間で参照距離の短い画像が参照面とされるので、復号画像の画質低下を抑制しつつ、効率よく符号化を行うことができるようになる。
【０１５０】
参照方向固定モードの第２の動作では、参照面を時間的位置関係と階層関係に基づいて選択してもよい。例えば、参照方向判定部４４の参照判定処理部４４５は、参照方向固定モードである場合、参照距離が等しいとき階層が浅い画像を選択する。図３２は、参照面を時間的位置関係と階層関係に基づいて選択する場合の動作を例示しており、浅い階層は量子化パラメータＱＰが低く深い階層に比べて画質が良好である。矢印は符号化対象画像に対する参照面を示しており、実線の矢印は参照面を示している。例えば、符号化対象画像Ｇt（Ｂピクチャ）に対して、画像Ｇt-1（Ｂピクチャ）と画像Ｇt+1（Ｂピクチャ）までの参照距離は等しい。ここで、画像Ｇt-1は画像Ｇt+1よりも階層が浅いことから、参照判定処理部４４５は符号化対象画像Ｇtに対する参照面として画像Ｇt-1を選択する。
【０１５１】
したがって、輝度単調変動区間で階層の浅い画質の良好な画像が参照面として選択されるので、復号画像の画質低下をさらに抑制しつつ、効率よく符号化を行うことができるようになる。
【０１５２】
＜７−３．参照方向固定モードの第３の動作＞
参照方向固定モードの第３の動作では、参照面を入力画像の特性に応じて決定する。第３の動作では、入力画像と輝度の特性が近い画像の方向を参照方向として参照面を選択する。
【０１５３】
入力画像と輝度の特性としては、画面内の輝度の特徴量を用いる。例えば特徴量として画面内の輝度平均値を用いても良く画面内の輝度分散値を用いてもよい。また、画面内の輝度のＨａｄａｍａｒｄ値を用いることもできる。
【０１５４】
図３３は、参照判定処理部の動作の一部を例示したフローチャートであり、参照方向固定モードが選択された場合を示している。ステップＳＴ１０１で参照方向判定部は特徴量を算出する。参照方向判定部４４の参照判定処理部４４５は、符号化対象画像と参照面Ｌ０，Ｌ１のそれぞれについて、画面内の輝度の特徴量を個々に算出してステップＳＴ１０２に進む。
【０１５５】
ステップＳＴ１０２で参照方向判定部は輝度の特徴量ＶＬ０，ＶＬ１，ＶＬｔを比較する。参照方向判定部４４の参照判定処理部４４５は、符号化対象画像の特徴量ＶＬｔが参照面Ｌ０の特徴量ＶＬ０よりも参照面Ｌ１の特徴量ＶＬ１に近い場合にステップＳＴ１０３に進み、特徴量ＶＬｔが特徴量ＶＬ１よりも特徴量ＶＬ０に近い場合にステップＳＴ１０４に進む。また、参照判定処理部４４５は、特徴量ＶＬ０と特徴量ＶＬ１が等しい場合にステップＳＴ１０５に進む。
【０１５６】
ステップＳＴ１０３で参照方向判定部は参照面をＬ１方向とする。参照方向判定部４４の参照判定処理部４４５は、特徴量ＶＬ１が特徴量ＶＬｔに近いことから、参照面をＬ１方向とする。
【０１５７】
ステップＳＴ１０４で参照方向判定部は参照面をＬ０方向とする。参照方向判定部４４の参照判定処理部４４５は、特徴量ＶＬ０が特徴量ＶＬｔに近いことから、参照面をＬ０方向とする。
【０１５８】
ステップＳＴ１０５で参照方向判定部は参照面をＢｉＰ方向とする。参照方向判定部４４の参照判定処理部４４５は、特徴量ＶＬ０と特徴量ＶＬ１が等しいことから、参照面をＢｉＰ方向とする。
【０１５９】
このように参照面を選択すれば、参照距離に限らず画面内の輝度の特徴量に基づいて最適な画像を参照面として選択できるので、復号画像の画質低下を抑制しつつ、効率よく符号化を行うことができる。
【０１６０】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１６１】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１６２】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１６３】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０１６４】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  輝度変動区間に含まれる画像のピクチャを対象として、画像の符号化処理における時間方向予測の参照方向を、前記輝度変動区間に含まれる前記ピクチャ内のブロック毎に適応的に選択する参照方向判定部を備える画像処理装置。
（２）  前記参照方向判定部は、前記輝度変動区間に含まれる画像のピクチャのみを対象として、前記参照方向を、前記輝度変動区間に含まれる前記ピクチャ内のブロック毎に適応的に選択する（１）に記載の画像処理装置。
（３）  前記輝度変動区間は、シーンチェンジまたはフラッシュに相当する画像のピクチャを含む区間である（２）に記載の画像処理装置。
（４）  前記参照方向判定部は、輝度単調変動区間に含まれる画像のピクチャを対象として、前記参照方向を、前記輝度単調変動区間に含まれる前記ピクチャ内で一律に固定する（１）乃至（３）の何れかに記載の画像処理装置。
（５）  前記輝度単調変動区間において、予測画像と復元された差分画像を用いて生成された復号画像に対するサンプル適応オフセット処理の候補をバンドオフセットとするサンプル適応オフセットモード候補選択部を備える（４）に記載の画像処理装置。
（６）  前記輝度単調変動区間において、入力画像と予測画像の差分画像に対する直交変換処理を輝度の一律変化に適した直交変換モードとする直交変換モード候補選択部をさらに備える（４）または（５）に記載の画像処理装置。
（７）  前記輝度単調変動区間における参照画像リストに複数のインデックスがある場合、予測に用いる参照方向のインデックス値を符号量の少ないインデックス値に変更する情報変更処理部をさらに備える（４）乃至（６）の何れかに記載の画像処理装置。
（８）  前記参照方向判定部は、前記輝度変動区間および輝度単調変動区間に含まれない画像のピクチャを対象として、前記ピクチャ内で一律に固定または前記ピクチャ内のブロック毎に適応的に選択する処理の何れかとする（４）乃至（７）の何れかに記載の画像処理装置。
（９）  前記参照方向判定部は、前記参照方向を画面内で一律に固定する場合に、参照面をＬ０方向，Ｌ１方向，Ｌ０方向とＬ１方向の双方向の何れかに固定する（４）乃至（８）の何れかに記載の画像処理装置。
（１０）  前記参照方向判定部は、時間的位置関係に基づいて前記固定する参照面を選択する（９）に記載の画像処理装置。
（１１）  前記参照方向判定部は、参照距離が短い参照面を選択する（１０）に記載の画像処理装置。
（１２）  前記参照方向判定部は、前記時間的位置関係と階層関係に基づいて前記参照面を選択する（１１）に記載の画像処理装置。
（１３）  前記参照方向判定部は、階層の深い参照面よりも画質が良好である階層の浅い参照面を選択する（１２）に記載の画像処理装置。
（１４）  前記参照方向判定部は、前記参照方向を画面のピクチャ内で一律に固定する場合に、前記画像の特性に応じて前記参照方向を決定する（４）乃至（１３）の何れかに
に記載の画像処理装置。
（１５）  前記参照方向判定部は、前記画像と輝度の特性が近い画像の方向を前記参照方向として選択する（１４）に記載の画像処理装置。
（１６）  前記参照方向判定部は、前記入力画像を用いてオクルージョン領域の検出を行い、検出されたオクルージョン領域では前記参照方向を前記ブロック毎に適応的に選択する（１）乃至（１５）の何れかに記載の画像処理装置。
（１７）  前記参照方向判定部は、前記輝度変動区間に含まれる画像のピクチャを撮像制御情報に基づき検出する（１）乃至（１６）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１６５】
この技術の画像処理装置と画像処理方法によれば、輝度変動区間に含まれる画像のピクチャを対象として、画像の符号化処理における時間方向予測の参照方向を、参照方向判定部によって、輝度変動区間に含まれるピクチャ内のブロック毎に適応的に選択される。このため、時間方向予測の参照方向が適切な方向とされて、復号画像の画質低下を抑制しつつ、効率よく符号化を行えるようになる。したがって、動画の符号化を行う電子機器に適している。
【符号の説明】
【０１６６】
１０・・・画像処理装置
２１・・・画面並べ替えバッファ
２２，３３，２３２・・・演算部
２３・・・直交変換部
２４・・・量子化部
２５・・・可逆符号化部
２６・・・蓄積バッファ
２７・・・レート制御部
３１・・・逆量子化部
３２・・・逆直交変換部
３４・・・フィルタ処理部
３５・・・フレームメモリ
３６・・・選択部
４１・・・イントラ予測部
４２・・・動き予測・補償部
４３・・・予測選択部
４４・・・参照方向判定部
２３１・・・直交変換モード候補選択部
３４１・・・ＳＡＯモード候補選択部
３４２・・・ＳＡＯ部
４４１・・・画像メモリ
４４２，４４６・・・シーンチェンジ・フラッシュシーン検出部
４４３，４４７・・・輝度単調変動検出部
４４４・・・オクルージョン領域検出部
４４５・・・参照判定処理部
【図１】
2019093051.tif 000003
【図２】
2019093051.tif 000004
【図３】
2019093051.tif 000005
【図４】
2019093051.tif 000006
【図５】
2019093051.tif 000007
【図６】
2019093051.tif 000008
【図７】
2019093051.tif 000009
【図８】
2019093051.tif 000010
【図９】
2019093051.tif 000011
【図１０】
2019093051.tif 000012
【図１１】
2019093051.tif 000013
【図１２】
2019093051.tif 000014
【図１３】
2019093051.tif 000015
【図１４】
2019093051.tif 000016
【図１５】
2019093051.tif 000017
【図１６】
2019093051.tif 000018
【図１７】
2019093051.tif 000019
【図１８】
2019093051.tif 000020
【図１９】
2019093051.tif 000021
【図２０】
2019093051.tif 000022
【図２１】
2019093051.tif 000023
【図２２】
2019093051.tif 000024
【図２３】
2019093051.tif 000025
【図２４】
2019093051.tif 000026
【図２５】
2019093051.tif 000027
【図２６】
2019093051.tif 000028
【図２７】
2019093051.tif 000029
【図２８】
2019093051.tif 000030
【図２９】
2019093051.tif 000031
【図３０】
2019093051.tif 000032
【図３１】
2019093051.tif 000033
【図３２】
2019093051.tif 000034
【図３３】
2019093051.tif 000035
【国際調査報告】
2019093051.tif 000036
2019093051.tif 000037
2019093051.tif 000038
2019093051.tif 000039
2019093051.tif 000040
2019093051.tif 000041