(57)【要約】  本開示は、画質の低減を抑制することができるようにする画像処理装置および方法に関する。符号化されてフレームメモリに記憶され、そのフレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する。本開示は、例えば、画像処理装置または画像符号化装置等に適用することができる。
2018110270.tif 000002
【特許請求の範囲】
【請求項１】
符号化されてフレームメモリに記憶され、前記フレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する予測画像生成部
を備える画像処理装置。
【請求項２】
画像に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御する制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、カレントフレームとIピクチャとの距離に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御する
請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記フレームメモリに記憶する際の符号化の難易度のIピクチャからカレントフレームまでの積算値に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御する
請求項２に記載の画像処理装置。
【請求項５】
前記制約付きイントラ予測に関する制御情報を生成する制御情報生成部をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
前記過去フレームの画像は、符号化されて、ロングターム参照フレームまたはショートターム参照フレームの画像として前記フレームメモリに記憶され、
前記予測画像生成部は、前記フレームメモリから読みだされた後復号された前記ロングターム参照フレームまたは前記ショートターム参照フレームの画像を参照画像として用いるインター予測と、前記制約付きイントラ予測とを利用して予測画像を生成するように構成される
請求項１に記載の画像処理装置。
【請求項７】
前記ロングターム参照フレームは、前記ショートターム参照フレームより長い所定の周期で更新され、
前記予測画像生成部は、前記インター予測において、カレントフレームが前記周期毎のフレームの場合前記ロングターム参照フレームの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成される
請求項６に記載の画像処理装置。
【請求項８】
前記予測画像生成部は、カレントフレームが前記その他のフレームの場合、前記ショートターム参照フレームの画像を参照するかまたは前記ロングターム参照フレームの画像を参照するかを適応的に選択する
請求項７に記載の画像処理装置。
【請求項９】
前記予測画像生成部は、カレントフレームと直前のフレームとの差分が前記カレントフレームと前記ロングターム参照フレームとの差分以上である場合、前記ロングターム参照フレームの画像を参照する
請求項８に記載の画像処理装置。
【請求項１０】
前記周期の長さを制御する制御部をさらに備える
請求項７に記載の画像処理装置。
【請求項１１】
前記制御部は、カレントフレームと前記ロングターム参照フレームとの差分が所定の閾値以上である場合、前記周期を縮小する
請求項１０に記載の画像処理装置。
【請求項１２】
前記制御部は、カレントフレームと前記ロングターム参照フレームとの差分が所定の閾値より小さい場合、前記周期を拡大する
請求項１０に記載の画像処理装置。
【請求項１３】
前記ロングターム参照フレームは、Iピクチャに固定され、
前記予測画像生成部は、前記インター予測において、カレントフレームが前記ショートターム参照フレームより長い所定の周期毎のフレームの場合前記ロングターム参照フレームに設定されたIピクチャの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成される
請求項６に記載の画像処理装置。
【請求項１４】
前記予測画像生成部は、カレントフレームが前記その他のフレームの場合、前記ショートターム参照フレームの画像を参照するかまたは前記Iピクチャの画像を参照するかを適応的に選択する
請求項１３に記載の画像処理装置。
【請求項１５】
前記予測画像生成部は、カレントフレームと直前のフレームとの差分が前記カレントフレームと前記ロングターム参照フレームとの差分以上である場合、前記Iピクチャの画像を参照する
請求項１４に記載の画像処理装置。
【請求項１６】
前記ロングターム参照フレームが、前記ショートターム参照フレームより長い所定の周期で更新され、
前記予測画像生成部が、前記インター予測において、カレントフレームが前記周期毎のフレームの場合前記ロングターム参照フレームの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにするか、
前記ロングターム参照フレームは、Iピクチャに固定され、
前記予測画像生成部は、前記インター予測において、カレントフレームが前記ショートターム参照フレームより長い所定の周期毎のフレームの場合前記ロングターム参照フレームに設定されたIピクチャの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにするか
を適応的に選択する選択部をさらに備える
請求項６に記載の画像処理装置。
【請求項１７】
前記選択部は、カレントフレームとロングターム参照フレームとの差分が所定の閾値以上であるか否かに応じて選択する
請求項１６に記載の画像処理装置。
【請求項１８】
前記フレームメモリに記憶する前記過去フレームの画像を符号化するか否かを制御する制御部をさらに備え、
前記予測画像生成部は、前記制御部により前記過去フレームの画像を符号化するように制御される場合、前記フレームメモリから読みだされた後復号された前記ロングターム参照フレームまたは前記ショートターム参照フレームの画像を参照画像として用いるインター予測と、前記制約付きイントラ予測とを利用して予測画像を生成するように構成される
請求項６に記載の画像処理装置。
【請求項１９】
入力画像と前記予測画像生成部により生成された前記予測画像との差分画像を生成する差分画像生成部と、
前記差分画像生成部により生成された前記差分画像を符号化する第１の符号化部と、
前記第１の符号化部により得られた前記差分画像の符号化データを復号する第１の復号部と、
前記第１の復号部により得られた前記差分画像の復号画像を符号化する第２の符号化部と、
前記第２の符号化部により得られた前記復号画像の符号化データを、符号化された前記過去フレームの画像として記憶する前記フレームメモリと、
前記フレームメモリから読みだされた、符号化された前記過去フレームの画像を復号する第２の復号部と
をさらに備える請求項１に記載の画像処理装置。
【請求項２０】
符号化されてフレームメモリに記憶され、前記フレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、画質の低減を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
画像符号化をハードウエアにより実現する場合、参照フレームを保存するためのフレームメモリは、一般的に符号化用のLSI（Large Scale Integration）とは別の外部DRAM（Dynamic Random Access Memory）チップとして実装される事が多い。このようなフレームメモリには、参照フレームを複数保存したり、動き探索（ME（Motion Estimation））や動き補償（MC（Motion Compensation））などの処理で高速にアクセスしたりする必要があるため、データ保存容量が十分高く、またデータを入出力する帯域が十分に高い必要がある。【０００３】
しかしながら、近年の4Kテレビや画像データの高容量化により、画像符号化器で取り扱う必要のあるデータ量が増加する傾向にある。そのため、外部のDRAMチップにも、より高容量、広帯域のものが求められ、製品コスト増加の一因となっている。【０００４】
そのため、画像データを圧縮して記憶する方法が考えられた（例えば、非特許文献１および非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Madhukar Budagavi and Minhua Zhou, "VIDEO CODING USING COMPRESSED REFERENCE FRAMES"
【非特許文献２】Xuena Bao, Dajiang Zhou, and Satoshi Goto, "A Lossless Frame Recompression Scheme for Reducing DRAM Power in Video Encoding"
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献２に記載の方法では、可逆圧縮（可逆符号化）を適用しているため、参照メモリへのアクセス方法が煩雑となるおそれがあった。また、可逆圧縮は一般に非可逆圧縮（非可逆符号化）と比べ、圧縮率が低くDRAM容量や、メモリアクセスの帯域の削減効果が小さくなるおそれがあった。【０００７】
これに対して、非特許文献１に記載の方法では、固定長圧縮を用いて参照データを圧縮（非可逆符号化）しているため、フレームメモリへのデータ入出力を簡易に行うことができる。【０００８】
ただし、この場合、画質の低減が抑制するためには、画像の符号化データの復号においても、同様の参照データの非可逆圧縮を行う必要がある。一般的なHEVCのデコーダのように参照データの非可逆圧縮を行わない場合、符号化側の非可逆圧縮で発生する画質劣化がデコーダ（復号処理）のループにより画像の時間方向に蓄積され、増大するおそれがあった。【０００９】
本開示は、このような状況に鑑みてなされたものであり、画質の低減を抑制することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、符号化されてフレームメモリに記憶され、前記フレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する予測画像生成部を備える画像処理装置である。【００１１】
画像に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御する制御部をさらに備えるようにすることができる。【００１２】
前記制御部は、カレントフレームとIピクチャとの距離に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御することができる。【００１３】
前記制御部は、前記フレームメモリに記憶する際の符号化の難易度のIピクチャからカレントフレームまでの積算値に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御することができる。【００１４】
前記制約付きイントラ予測に関する制御情報を生成する制御情報生成部をさらに備えるようにすることができる。【００１５】
前記過去フレームの画像は、符号化されて、ロングターム参照フレームまたはショートターム参照フレームの画像として前記フレームメモリに記憶され、前記予測画像生成部は、前記フレームメモリから読みだされた後復号された前記ロングターム参照フレームまたは前記ショートターム参照フレームの画像を参照画像として用いるインター予測と、前記制約付きイントラ予測とを利用して予測画像を生成するように構成されるようにすることができる。【００１６】
前記ロングターム参照フレームは、前記ショートターム参照フレームより長い所定の周期で更新され、前記予測画像生成部は、前記インター予測において、カレントフレームが前記周期毎のフレームの場合前記ロングターム参照フレームの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにすることができる。【００１７】
前記予測画像生成部は、カレントフレームが前記その他のフレームの場合、前記ショートターム参照フレームの画像を参照するかまたは前記ロングターム参照フレームの画像を参照するかを適応的に選択することができる。【００１８】
前記予測画像生成部は、カレントフレームと直前のフレームとの差分が前記カレントフレームと前記ロングターム参照フレームとの差分以上である場合、前記ロングターム参照フレームの画像を参照することができる。【００１９】
前記周期の長さを制御する制御部をさらに備えるようにすることができる。【００２０】
前記制御部は、カレントフレームと前記ロングターム参照フレームとの差分が所定の閾値以上である場合、前記周期を縮小することができる。【００２１】
前記制御部は、カレントフレームと前記ロングターム参照フレームとの差分が所定の閾値より小さい場合、前記周期を拡大することができる。【００２２】
前記ロングターム参照フレームは、Iピクチャに固定され、前記予測画像生成部は、前記インター予測において、カレントフレームが前記ショートターム参照フレームより長い所定の周期毎のフレームの場合前記ロングターム参照フレームに設定されたIピクチャの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにすることができる。【００２３】
前記予測画像生成部は、カレントフレームが前記その他のフレームの場合、前記ショートターム参照フレームの画像を参照するかまたは前記Iピクチャの画像を参照するかを適応的に選択することができる。【００２４】
前記予測画像生成部は、カレントフレームと直前のフレームとの差分が前記カレントフレームと前記ロングターム参照フレームとの差分以上である場合、前記Iピクチャの画像を参照することができる。【００２５】
前記ロングターム参照フレームが、前記ショートターム参照フレームより長い所定の周期で更新され、前記予測画像生成部が、前記インター予測において、カレントフレームが前記周期毎のフレームの場合前記ロングターム参照フレームの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにするか、前記ロングターム参照フレームは、Iピクチャに固定され、前記予測画像生成部は、前記インター予測において、カレントフレームが前記ショートターム参照フレームより長い所定の周期毎のフレームの場合前記ロングターム参照フレームに設定されたIピクチャの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにするかを適応的に選択する選択部をさらに備えるようにすることができる。【００２６】
前記選択部は、カレントフレームとロングターム参照フレームとの差分が所定の閾値以上であるか否かに応じて選択することができる。【００２７】
前記フレームメモリに記憶する前記過去フレームの画像を符号化するか否かを制御する制御部をさらに備え、前記予測画像生成部は、前記制御部により前記過去フレームの画像を符号化するように制御される場合、前記フレームメモリから読みだされた後復号された前記ロングターム参照フレームまたは前記ショートターム参照フレームの画像を参照画像として用いるインター予測と、前記制約付きイントラ予測とを利用して予測画像を生成するように構成されるようにすることができる。【００２８】
入力画像と前記予測画像生成部により生成された前記予測画像との差分画像を生成する差分画像生成部と、前記差分画像生成部により生成された前記差分画像を符号化する第１の符号化部と、前記第１の符号化部により得られた前記差分画像の符号化データを復号する第１の復号部と、前記第１の復号部により得られた前記差分画像の復号画像を符号化する第２の符号化部と、前記第２の符号化部により得られた前記復号画像の符号化データを、符号化された前記過去フレームの画像として記憶する前記フレームメモリと、前記フレームメモリから読みだされた、符号化された前記過去フレームの画像を復号する第２の復号部とをさらに備えるようにすることができる。【００２９】
本技術の一側面の画像処理方法は、符号化されてフレームメモリに記憶され、前記フレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する画像処理方法である。【００３０】
本技術の一側面の画像処理装置および方法においては、符号化されてフレームメモリに記憶され、そのフレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像が生成される。
【発明の効果】
【００３１】
本開示によれば、画像を処理することができる。特に、画質の低減を抑制することができる。
【図面の簡単な説明】
【００３２】
【図１】画像符号化・復号の例を説明するための図である。
【図２】簡易圧縮を用いた画像符号化・復号の例を説明するための図である。
【図３】ドリフトの発生について説明するための図である。
【図４】ドリフト発生の様子の例を示す図である。
【図５】ドリフト発生の様子の例を示す図である。
【図６】ドリフト発生の様子の例を説明するための図である。
【図７】画像符号化装置の主な構成例を示すブロック図である。
【図８】GOP構成の例を示す図である。
【図９】GOP構成の例を示す図である。
【図１０】GOP構成の例を示す図である。
【図１１】画像符号化処理の流れの例を説明するフローチャートである。
【図１２】ロングターム参照フレームを利用するGOP構成の例を示す図である。
【図１３】画像符号化処理の流れの例を説明するフローチャートである。
【図１４】参照フレーム制御処理の流れの例を説明するフローチャートである。
【図１５】ロングターム参照フレームを利用するGOP構成の例を示す図である。
【図１６】参照フレーム制御処理の流れの例を説明するフローチャートである。
【図１７】ロングターム参照フレームを利用するGOP構成の例を示す図である。
【図１８】参照フレーム制御処理の流れの例を説明するフローチャートである。
【図１９】ロングターム参照フレームを利用するGOP構成の例を示す図である。
【図２０】参照フレーム制御処理の流れの例を説明するフローチャートである。
【図２１】GOP構成制御処理の流れの例を説明するフローチャートである。
【図２２】ロングターム参照フレーム周期制御処理の流れの例を説明するフローチャートである。
【図２３】画像符号化装置の主な構成例を示すブロック図である。
【図２４】画像符号化処理の流れの例を説明するフローチャートである。
【図２５】簡易圧縮制御処理の流れの例を説明するフローチャートである。
【図２６】参照フレーム制御処理の流れの例を説明するフローチャートである。
【図２７】参照フレーム制御処理の流れの例を説明するフローチャートである。
【図２８】画像符号化装置の主な構成例を示すブロック図である。
【図２９】HEVCの場合のシンタックスの例を示すブロック図である。
【図３０】HEVCの場合のシンタックスの例を示すブロック図である。
【図３１】AVCの場合のシンタックスの例を示すブロック図である。
【図３２】AVCの場合のシンタックスの例を示すブロック図である。
【図３３】画像符号化処理の流れの例を説明するフローチャートである。
【図３４】イントラ予測の例を説明するための図である。
【図３５】ドリフト発生の様子の例を示す図である。
【図３６】制約付きイントラ予測の例を説明するための図である。
【図３７】画像符号化処理の流れの例を説明するフローチャートである。
【図３８】制約付きイントラ予測制御処理の流れの例を説明するフローチャートである。
【図３９】制約付きイントラ予測制御処理の流れの例を説明するフローチャートである。
【図４０】HEVCの場合のシンタックスの例を示すブロック図である。
【図４１】AVCの場合のシンタックスの例を示すブロック図である。
【図４２】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．簡易符号化を用いる画像符号化・復号
２．第１の実施の形態（GOP構成が制御された画像符号化装置）
３．第２の実施の形態（ロングターム参照フレームを利用する画像符号化装置）
４．第３の実施の形態（簡易圧縮の実行を制御する画像符号化装置）
５．第４の実施の形態（HEVC/AVCの画像符号化装置）
６．第５の実施の形態（制約付きイントラ予測を行う画像符号化装置）
７．その他
【００３４】
＜１．簡易符号化を用いる画像符号化・復号＞
＜画像の符号化・復号＞
従来、画像データを圧縮して伝送し、伝送後に伸張する方法が考えられた。このようにすることにより、伝送時の情報量を低減することができる。このような画像データの圧縮・伸張の方法として、例えばMPEG2（Moving Picture Experts Group 2）、MPEG-4 Part10(以下、AVC（Advanced Video Coding）とも称する)、HEVC（High Efficiency Video Coding）等の符号化・復号方式の規格が標準化された。
【００３５】
これらの符号化・復号方式では、過去に処理されたフレームの画像を参照し、現在のフレームの符号化に利用することができる。例えば符号化の際に、図１のＡに示されるように、処理対象フレームの画像（入力画像）の予測画像を「動き補償」が生成し、「差分エンコード」が入力画像と予測画像の差分画像を符号化する。このようにすることにより、符号化データの符号量の増大を抑制することができる。そして、予測画像の生成は、過去に処理されたフレームの画像を利用して行う。この画像は、「差分エンコード」で符号化された画像を「差分デコード」で復号する等して得る。そしてその得られた画像を「フレームメモリ（Frame Memory）」に蓄積することにより、過去のフレームの画像として参照することができるようにする。
【００３６】
復号の際には、図１のＢに示されるように「差分デコード」が符号化データを復号して差分画像を得る。そして、符号化の場合と同様に過去に処理済みのフレームの画像から予測画像を生成し、差分画像と加算することにより復号画像を生成する。この復号画像を「フレームメモリ（Frame Memory）」に蓄積することにより、過去のフレーム画像として予測画像の生成に利用することができる。
【００３７】
しかしながら、近年、画像の高解像度化、高階調化、高フレームレート化等に伴い、画像のデータ量が増大している。そのため、上述のフレームメモリに必要なメモリ容量やメモリバンド幅も増大しており、実装が困難になってきている。フレームメモリには１フレーム分以上の画像データを蓄積する必要があるため、一般的には、容量が大きく安価なDRAM（Dynamic Random Access Memory）を用いて実現されることが多い。しかしながら、上述のように画像データ量が増大することにより、DRAMのメモリバスの帯域幅では、処理が破たんしないような速度でデータの読み書きを行うことが困難になってきている。
【００３８】
＜簡易圧縮・簡易伸長＞
そこで、特許文献１に記載の方法のように、フレームメモリに記憶する画像データを符号化（圧縮）することが考えられた。例えば符号化の場合、図２のＡのように簡易圧縮エンコーダ（Encoder）によってフレームメモリ（FrameMemory）に蓄積する画像データを符号化（圧縮）するようにし、簡易圧縮デコーダ（Decoder）によってフレームメモリから読みだされた画像データ（符号化された画像データ（すなわち画像データの符号化データ））を復号するようにする。また復号の場合も同様に、図２のＢのように簡易圧縮エンコーダ（Encoder）によってフレームメモリ（FrameMemory）に蓄積する画像データを符号化（圧縮）するようにし、簡易圧縮デコーダ（Decoder）によってフレームメモリから読みだされた画像データ（符号化された画像データ（すなわち画像データの符号化データ））を復号するようにする。このようにすることにより、フレームメモリに読み書きするデータ量を低減させることができるので、フレームメモリの容量増大を抑制することができるとともに、より高速なデータアクセス（読み書き）を実現することができる。したがって、実装コストを低減させることができる。
【００３９】
なお、このような符号化・復号は、AVCやHEVCのような符号化・復号方式の場合よりも簡易な方法でおこなうようにすることが望ましい。例えば、固定長圧縮を用いて画像データを非可逆に圧縮（非可逆符号化）する。非可逆圧縮とすることにより可逆圧縮の場合と比べてより簡易な方法で高効率な符号化を実現することができる。したがって、より低負荷かつ高速に符号化・復号を行うことができる。また、小型化も容易になり、実装コストを低減させることができる。また、符号化データを固定長とすることにより、符号化データの管理をより容易にすることができる。したがって、例えば符号化データを記憶させるDRAM等においても符号化データの管理がより容易になるので、読み出しや書き込み等の処理をより高速に行うことができるとともに、より低コストに実現することができる。
【００４０】
このような符号化を簡易符号化とも称する（簡易圧縮とも称する）。また、この簡易符号化に対応する復号を簡易復号とも称する（簡易伸長とも称する）。この簡易符号化とは、データ転送レートやメモリ帯域を削減するための画像符号化技術である。
【００４１】
＜ドリフト＞
しかしながら、このような方法の場合、一般的なHEVCのデコーダのように参照データの非可逆圧縮を行わない場合、符号化側の非可逆圧縮で発生する画質劣化がデコーダ（復号処理）のループにより画像の時間方向に蓄積され、増大するおそれがあった。つまり、復号側から出力される復号画像において、フレームメモリに蓄積する画像に対する簡易符号化に起因する画質劣化の増大（ドリフトとも称する）が発生するおそれがあった。
【００４２】
例えば、図３の上段に示されるように符号化側と復号側の両方においてフレームメモリに蓄積する画像に対する簡易符号化を行わない場合、復号側から出力される復号画像においてドリフトは発生しない。また、図３の中段に示されるように符号化側と復号側の両方においてフレームメモリに蓄積する画像に対する簡易符号化を行う場合も、復号側から出力される復号画像においてドリフトは発生しない。
【００４３】
これに対して、図３の下段に示されるように符号化側においてのみフレームメモリに蓄積する画像に対する簡易符号化を行う場合、復号側から出力される復号画像においてドリフトが発生するおそれがあった。
【００４４】
ドリフト発生の様子の例を図４および図５に示す。例えば図４の場合、画像全体においてドリフトが発生（ノイズの発生・増大）し、左側の画像が右側の画像のように画質劣化している。また、例えば図５の場合も、点線枠内においてドリフトが発生し、左側の画像が右側の画像のように画質劣化している。
【００４５】
このようなドリフトは、例えば、図６の例のように発生する。復号側においては、簡易圧縮により画質劣化（+1）が毎回発生するものの、復号部において予測画像の加算により修正されるので画質劣化は増大しない。これに対して、復号側において簡易圧縮を行わないと画質劣化（-1）がループの度に蓄積されて増大してしまう。
【００４６】
＜２．第１の実施の形態＞
＜GOP構成の制御＞
そこで、画像データの符号化のGOP（Group Of Picture）の長さ（フレーム数）を、ドリフトを抑制するような長さに制御するようにする。例えばIピクチャの間隔を、ドリフトを抑制するような長さに制御する。
【００４７】
＜画像符号化装置＞
図７は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図７に示される画像符号化装置１００は、動画像の画像データを符号化する装置である。図７に示されるように、画像符号化装置１００は、制御部１０１、演算部１１１、差分符号化部１１２、ハイレベルシンタックス生成部１１３、差分復号部１１４、演算部１１５、符号化部１１６、フレームメモリ１１７、復号部１１８、および予測画像生成部１１９を有する。
【００４８】
制御部１０１は、符号化の制御に関する処理を行う。例えば、制御部１０１は、差分符号化部１１２やフレームメモリ１１７を制御する（矢印１３２、矢印１３３）。また、例えば、制御部１０１は、符号化に関する情報をハイレベルシンタックス生成部１１３に供給する（矢印１３４）。また、例えば、制御部１０１は、ユーザ入力等の外部からの入力を受け付けることができる（矢印１３１）。また、制御部１０１は、差分符号化部１１２や予測画像生成部１１９から情報を取得することができる（矢印１３２、矢印１３５）。
【００４９】
演算部１１１は、入力画像（矢印１４１）と予測画像生成部１１９から供給される予測画像（矢印１４５）との差分（差分画像）を求める。演算部１１１は、その差分画像を差分符号化部１１２に供給する（矢印１４６）。
【００５０】
差分符号化部１１２は、制御部１０１の制御に従って、供給される差分画像（矢印１４６）を任意の符号化方式で符号化して差分画像の符号化データを生成する。差分符号化部１１２は、生成した符号化データをハイレベルシンタックス生成部１１３に供給する（矢印１４７）。差分符号化部１１２は、その符号化データを差分復号部１１４にも供給する（矢印１４８）。
【００５１】
ハイレベルシンタックス生成部１１３は、供給される符号化データ（矢印１４７）についてのハイレベルシンタックスを生成する。その際、ハイレベルシンタックス生成部１１３は、制御部１０１から供給される符号化に関する情報をそのハイレベルシンタックスに反映させる。つまり、ハイレベルシンタックス生成部１１３は、必要に応じて、制御部１０１から供給される符号化に関する情報をハイレベルシンタックスに含めたり、その符号化に関する情報に基づいて新たな情報を生成してハイレベルシンタックスに含めたりする。ハイレベルシンタックス生成部１１３は、生成したハイレベルシンタックスを符号化データに関連付ける。ハイレベルシンタックス生成部１１３は、そのハイレベルシンタックスおよび符号化データを画像符号化装置１００の外部に出力する（矢印１５３）。例えば、ハイレベルシンタックス生成部１１３は、ハイレベルシンタックスを含む符号化データをビットストリームとして画像符号化装置１００の外部に出力する。
【００５２】
差分復号部１１４は、供給される符号化データ（矢印１４８）を、差分符号化部１１２の符号化方式に対応する任意の復号方式で復号する。差分復号部１１４は、その復号により得られた差分画像を演算部１１５に供給する（矢印１４９）。
【００５３】
演算部１１５は、差分復号部１１４から供給される差分画像（矢印１４９）に、予測画像生成部１１９から供給される予測画像（矢印１５０）を加算し、入力画像に対応する復号画像を生成する。演算部１１５は、その復号画像を符号化部１１６に供給する（矢印１５１）。
【００５４】
符号化部１１６は、供給される復号画像（矢印１５１）を簡易符号化する。つまり、符号化部１１６は供給される復号画像に対して非可逆圧縮（非可逆符号化）を行う。例えば符号化部１１６は、供給される復号画像を固定長に圧縮（符号化）する。この簡易符号化の方法は任意であるが、例えば、画素値の下位側の一部のビットを削除するようにしてもよい。
【００５５】
このように簡易符号化（簡易圧縮）を行うことにより、符号化部１１６は、フレームメモリ１１７に読み書きするデータ量を低減させることができるので、フレームメモリ１１７の容量増大を抑制することができるとともに、より高速なデータアクセス（読み書き）を実現することができる。したがって、実装コストを低減させることができる。また、非可逆圧縮とすることにより可逆圧縮の場合と比べてより簡易な方法で高効率な符号化を実現することができる。したがって、符号化部１１６は、より低負荷かつ高速に符号化・復号を行うことができる。また、小型化も容易になり、実装コストを低減させることができる。また、符号化データを固定長とすることにより、符号化データの管理をより容易にすることができる。したがって、フレームメモリ１１７においても符号化データの管理がより容易になるので、読み出しや書き込み等の処理をより高速に行うことができるとともに、より低コストに実現することができる。
【００５６】
なお、この簡易符号化（簡易圧縮）は、画像データのブロック毎に独立して行われるようにしてもよい。このようにすることにより、ピクチャ全体の符号化・復号だけでなく、ピクチャの一部についてのみの符号化・復号にも対応することができる。つまり、ピクチャの一部のみを符号化したり、復号したりする場合に、不要なデータの符号化・復号を抑制することができ、より効率よく符号化・復号を行うことができる。すなわち、符号化・復号の負荷の不要な増大を抑制することができ、処理の高速化や低コスト化を実現することができる。なお、本明細書において、この「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されないものとする。例えば、この「ブロック」が、MPEG、AVC、HEVC等において用いられる、TU（Transform Unit）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）（CTB（Coding Tree Block））、サブブロック、マクロブロック、タイル、またはスライス等のデータ単位を示すようにしてもよいし、この符号化方式独自のデータ単位を示すようにしてもよい。
【００５７】
符号化部１１６は、簡易符号化された復号画像（復号画像の符号化データ）をフレームメモリ１１７に供給する（矢印１５２）。
【００５８】
フレームメモリ１１７は、供給された符号化データ（矢印１５２）を記憶する。フレームメモリ１１７は任意の記憶媒体により実現することができるが、例えば、DRAMを用いて実現するようにしてもよい。フレームメモリ１１７は、必要に応じて記憶している符号化データを読み出し、過去に処理されたフレーム（過去フレーム）の画像（参照画像）として復号部１１８に供給する（矢印１４３）。
【００５９】
復号部１１８は、フレームメモリ１１７から読みだされた復号画像の符号化データ（符号化された復号画像）を、符号化部１１６の簡易符号化の方式に対応する方式で簡易復号（簡易伸張）する。この簡易復号の方法は、符号化部１１６の簡易符号化方法に対応するものである限り任意である。復号部１１８は、簡易復号して得られた復号画像を参照画像として予測画像生成部１１９に供給する（矢印１４４）。
【００６０】
予測画像生成部１１９は、符号化処理の対象となる入力画像の予測画像を生成する。予測画像生成部１１９は、入力画像（矢印１４２）と参照画像（矢印１４４）とを取得し、それらを利用して予測画像を生成する。この予測画像の生成方法は任意であるが、例えば、予測画像生成部１１９は、その入力画像と予測画像を用いてAVCやHEVC等と同様のインター予測を行い、さらに、AVCやHEVC等と同様のイントラ予測を行い、それらの予測で生成された予測画像同士を比較し、最適な予測画像を選択する。予測画像生成部１１９は、生成した予測画像を演算部１１１に供給する（矢印１４５）。また、予測画像生成部１１９は、その予測画像を演算部１１５にも供給する（矢印１５０）。さらに、予測画像生成部１１９は、その予測画像に関する情報を制御部１０１に供給する。
【００６１】
＜GOPの長さの制御＞
AVCやHEVC等の画像符号化において、Iピクチャの符号量は一般的にPピクチャ等に比べて大きい。そのため符号化データのビットレートを低減させるためにGOPのフレーム数を増大させる手法が考えられた。例えば、図８に示されるGOP構成の場合、Iピクチャの間隔が３００フレームとされ、その他のフレームがすべてPピクチャとされている（M=1/N=300）。このような構成とすることにより、符号化効率を向上させることができる。したがって、例えば監視カメラ映像等のように低レート化が優先される用途に適している。また、Bピクチャを用いないため構成がより簡易になり、復号がより容易になる。
【００６２】
ただし、このGOP構成の場合、どのフレームを復号するのにもGOPの先頭フレーム（Iピクチャ）から各フレームを順に復号する必要があり、1GOPが長くなる（フレーム数が増大する）ため、ランダムアクセスがより困難になるおそれがあった。また参照関係が単純であり、かつ、1GOPの区間が長くなることにより、ドリフトが発生しやすく、画質が低減するおそれがあった。
【００６３】
そこで、画質劣化が許容範囲を超えないように、1GOPの長さ（フレーム数）を制限する。例えば図９に示されるGOP構成のように、Iピクチャの間隔を３０フレームとする（M=1/N=30）。Iピクチャの符号化・復号では他のフレームを参照しないのでドリフトがリセットされる。すなわち、Iピクチャの数を増大させることにより、画質劣化の増大を抑制することができる。なお、図９においては、Iピクチャの間隔を３０フレーム（M=30）としているが、このフレーム数は任意であり、30フレーム以外であってもよい。Iピクチャの間隔（N）が狭くなるほど（フレーム数が少ないほど）、画質劣化の増大は抑制される（ドリフトは起きにくい）が、符号化効率は低減される。なお、図８の場合よりも1GOPの長さが短い（フレーム数が少ない）ため、ランダムアクセスがより容易になる。
【００６４】
GOPを構成するフレームはIピクチャとPピクチャに限定されない。例えば図１０に示されるGOP構成のようにBピクチャも用いるようにしてもよい。この構成では、Iピクチャの間隔が３０フレーム、Pピクチャの間隔が３フレームとされ、残りのフレームにはBピクチャが用いられている（M=3/N=30）。一般的に、Bピクチャは符号量がより少ないため、このようなGOP構成とすることにより、図９の例の場合よりも符号化効率を向上させることができる。ただし、一般的に、Bピクチャを用いることで復号がより複雑になり、負荷が増大するおそれがある。
【００６５】
本実施の形態においては、図７を参照して説明した、フレームメモリ１１７に記憶する復号画像に対して簡易符号化・簡易復号を行う画像符号化装置１００において、図９や図１０に示されるようなGOP構成を適用するようにする。つまり、画像符号化装置１００において、制御部１０１が、画質劣化が許容範囲を超えないように1GOPの長さ（フレーム数）を制限してGOP構成を設定するようにする。このようにすることにより、画像符号化装置１００は、上述のようにドリフト（画質劣化の増大）を抑制することができ、画質の低減を抑制することができる。
【００６６】
＜画像符号化処理の流れ＞
その場合に画像符号化装置１００が入力画像を符号化するために実行する画像符号化処理の流れの例を、図１１のフローチャートを参照して説明する。
【００６７】
画像符号化処理が開始されると、画像符号化装置１００の制御部１０１は、ステップＳ１０１において、GOP構成をドリフトを抑制するような長さ（例えばN=30）に設定する。ステップＳ１０２において、ハイレベルシンタックス生成部１１３は、ステップＳ１０１の設定に従って、その設定を示す情報を含むようなシンタックスを生成する。
【００６８】
ステップＳ１０３において、復号部１１８は、ステップＳ１０１において設定されたGOP構成に従って、入力画像に対応する、簡易符号化された復号画像（復号画像の簡易符号化データ）をフレームメモリ１１７より読み出し、簡易復号する。
【００６９】
ステップＳ１０４において、予測画像生成部１１９は、イントラ予測と、ステップＳ１０３において簡易復号された復号画像を参照画像として用いるインター予測とを利用して予測処理を行い、入力画像に対応する予測画像を生成する。
【００７０】
ステップＳ１０５において、演算部１１１は、入力画像から予測画像を減算して差分画像を生成する。ステップＳ１０６において、差分符号化部１１２は、制御部１０１の制御に従って、その差分画像を符号化し、差分画像の符号化データを生成する。
【００７１】
ステップＳ１０７において、差分復号部１１４は、その差分画像の符号化データを、差分符号化部１１２の符号化方法に対応する復号方法で復号する。ステップＳ１０８において、演算部１１５は、その復号により得られた差分画像に、ステップＳ１０４において生成した予測画像を加算し、復号画像を生成する。
【００７２】
ステップＳ１０９において、符号化部１１６は、その復号画像を簡易符号化する。ステップＳ１１０において、フレームメモリ１１７は、その簡易符号化された復号画像（復号画像の簡易符号化データ）を記憶する。この復号画像は、その後処理されるフレームのインター予測において参照画像として利用される。
【００７３】
ステップＳ１１１において、ハイレベルシンタックス生成部１１３は、ステップＳ１０２において生成したハイレベルシンタックスを、ステップＳ１０６において生成された符号化データに関連付ける。そして、ハイレベルシンタックス生成部１１３は、その符号化データ（およびハイレベルシンタックス）を画像符号化装置１００の外部に出力する。
【００７４】
ステップＳ１１１の処理が終了すると、画像符号化処理が終了する。
【００７５】
以上のように画像符号化処理を行うことにより、GOP構成（GOPの長さ）によってドリフト（画質劣化の増大）を抑制することができるので、画質の低減を抑制することができる。
【００７６】
＜３．第２の実施の形態＞
＜ロングターム参照フレームの利用＞
なお、GOP構成（長さ）を制御する代わりに、ロングターム参照フレームを利用するようにしてもよい。例えば図１２に示されるGOP構成のように、Iピクチャの間隔は、図８のGOP構成において、AVCやHEVC等と同様のロングターム参照フレーム（Long Term Reference）を利用することができるようにする（M=1/N=300,Long Term Reference）。つまり、フレームメモリ１１７は、復号画像をショートターム参照フレームやロングターム参照フレームとして記憶し、ロングターム参照フレームは、ショートターム参照フレームよりも長期間記憶する。
【００７７】
図１２のGOP構成の場合、1GOPが300フレームとされており、矢印２０１や矢印２０２に示されるように、３０フレームおきにロングターム参照フレームが参照画像として適用される。そして、そのロングターム参照フレームは、３０フレーム毎に更新される。例えば、GOPの先頭フレームであるフレーム番号が０のフレームI0は、ロングターム参照フレームに設定される。また、フレーム番号が３０のフレームP30においては、ロングターム参照フレーム、すなわち、３０フレーム前のフレームI0が参照される（矢印２０１）。さらにそのフレームP30が新たなロングターム参照フレームとして設定される。同様に、フレーム番号が６０のフレームP60においては、ロングターム参照フレーム、すなわち、３０フレーム前のフレームP30が参照される（矢印２０２）。さらにそのフレームP60が新たなロングターム参照フレームとして設定される。そして、フレーム番号が２９９のフレームP299でGOPが終了し、フレーム番号が３００のフレームは、次のGOPのIピクチャとして設定される（I300）。
【００７８】
このようにロングターム参照フレームを利用すると、ショートターム参照フレーム、すなわち、直前のフレームを参照しないので、ドリフトが継続せず、画質劣化の増大が抑制される。したがって、画質の低減を抑制することができる。そして、この構成の場合、GOPの長さを短くしなくてもよいので、図９の場合と比較して符号化効率を向上させることができる。また、この構成の場合、Bピクチャを用いなくてもよいので、図１０の場合と比較して構成がより簡易になり、復号がより容易になる。さらに、上述のようにロングターム参照フレームを利用することにより、その間のPピクチャの復号を省略することができるので、図８の場合と比較してランダムアクセスがより容易になる。
【００７９】
本実施の形態においては、図７を参照して説明した、フレームメモリ１１７に記憶する復号画像に対して簡易符号化・簡易復号を行う画像符号化装置１００において、この図１２に示されるようなGOP構成を適用するようにする。つまり、画像符号化装置１００において、フレームメモリ１１７が、カレントフレームより前に処理された過去フレームの復号画像の簡易符号化データを、ロングターム参照フレームまたはショートターム参照フレームの画像として記憶し、予測画像生成部１１９が、フレームメモリ１１７から読みだされた後簡易復号されたロングターム参照フレームまたはショートターム参照フレームの画像を参照画像として用いるインター予測と、AVCやHEVC等と同様のイントラ予測とを利用して予測画像を生成するようにする。このようにすることにより、画像符号化装置１００は、上述のようにドリフト（画質劣化の増大）を抑制することができ、画質の低減を抑制することができる。
【００８０】
なお、図１２に示されるGOPの長さ（３００フレーム）、ロングターム参照フレームを参照する周期（３０フレーム）、ロングターム参照フレームを更新する周期（３０フレーム）は、一例であり、これらの値に限定されない。これらの値は矛盾が生じない限り任意である。例えば、ロングターム参照フレームを参照する周期やロングターム参照フレームを更新する周期は、ショートターム参照フレームの周期より長く、GOPの長さよりも短く設定するようにすればよい。また、このようにロングターム参照フレームを利用する場合も、図１０の例のように、Bピクチャを用いるようにしてもよい。これにより、符号化効率を向上させることができるが、復号がより複雑になる。
【００８１】
＜画像符号化処理の流れ＞
本実施の形態の場合に画像符号化装置１００が入力画像を符号化するために実行する画像符号化処理の流れの例を、図１３のフローチャートを参照して説明する。
【００８２】
画像符号化処理が開始されると、画像符号化装置１００の制御部１０１は、ステップＳ１３１において、ロングターム参照フレームを利用するように設定する。ステップＳ１３２において、ハイレベルシンタックス生成部１１３は、ステップＳ１３１の設定に従って、その設定を示す情報（例えばロングターム参照フレームに関する情報）を含むようなシンタックスを生成する。
【００８３】
ステップＳ１３３において、復号部１１８は、ステップＳ１３１の設定に従って、入力画像に対応する、ロングターム参照フレームまたはショートターム参照フレームの簡易符号化された復号画像（復号画像の簡易符号化データ）をフレームメモリ１１７より読み出し、簡易復号する。なお、ロングターム参照フレームおよびショートターム参照フレームのいずれを参照するかの制御については後述する。
【００８４】
ステップＳ１３４において、予測画像生成部１１９は、AVCやHEVC等と同様のイントラ予測と、ステップＳ１３３において簡易復号された復号画像を参照画像として用いるインター予測とを利用して予測処理を行い、入力画像に対応する予測画像を生成する。
【００８５】
ステップＳ１３５乃至ステップＳ１４１の各処理は、図１１のステップＳ１０５乃至ステップＳ１１１の各処理と同様に実行される。ステップＳ１４１の処理が終了すると、画像符号化処理が終了する。
【００８６】
＜参照フレーム制御処理の流れ＞
図１３のステップＳ１３３において、画像符号化装置１００は、参照フレーム制御処理を行って、ロングターム参照フレームを参照するかショートターム参照フレームを参照するかを制御する。図１４のフローチャートを参照して、この参照フレーム制御処理の流れの例を説明する。
【００８７】
参照フレーム制御処理が開始されると、復号部１１８は、ステップＳ１６１において、符号化の処理対象のフレームであるカレントフレームのフレーム番号が３０の倍数であるか否かを判定する。フレーム番号が３０の倍数であると判定された場合、処理はステップＳ１６２に進む。
【００８８】
ステップＳ１６２において、復号部１１８は、ロングターム参照フレーム、すなわち、３０枚前のフレームを参照する。つまり、復号部１１８は、３０枚前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。
【００８９】
ステップＳ１６３において、フレームメモリ１１７は、カレントフレームをロングターム参照フレームに設定する。すなわち、フレームメモリ１１７は、符号化部１１６から供給されるカレントフレームの簡易符号化データをロングターム参照フレームとして記憶する。ステップＳ１６３の処理が終了すると、参照フレーム制御処理が終了する。
【００９０】
また、ステップＳ１６１において、カレントフレームのフレーム番号が３０の倍数でないと判定された場合、処理はステップＳ１６４に進む。ステップＳ１６４において、復号部１１８は、ショートターム参照フレーム、すなわち、直前のフレームを参照する。つまり、復号部１１８は、直前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。ステップＳ１６４の処理が終了すると、参照フレーム制御処理が終了する。
【００９１】
以上のように各処理を行うことにより、ロングターム参照フレームによってドリフト（画質劣化の増大）を抑制することができるので、画質の低減を抑制することができる。
【００９２】
＜先頭フレームの参照＞
ロングターム参照フレームをGOP内において更新しないようにしてもよい。つまり、ロングターム参照フレームを参照する場合、常に、そのGOPの先頭フレーム（フレームIO）を参照するようにしてもよい。図１５のGOP構成の場合、1GOPが300フレームとされており、矢印２１１や矢印２１２に示されるように、３０フレームおきにロングターム参照フレームが参照画像として適用される。そして、そのロングターム参照フレームは、当該GOPの先頭フレーム（フレームI0）である。例えば、GOPの先頭フレームであるフレーム番号が０のフレームI0は、ロングターム参照フレームに設定される。また、フレーム番号が３０のフレームP30においては、ロングターム参照フレーム、すなわち、フレームI0が参照される（矢印２１１）。同様に、フレーム番号が６０のフレームP60においても、ロングターム参照フレーム、すなわち、フレームI0が参照される（矢印２１２）。そして、フレーム番号が２９９のフレームP299でGOPが終了し、フレーム番号が３００のフレームは、次のGOPのIピクチャとして設定される（I300）。
【００９３】
この構成の場合、図１２の構成と比較して、ドリフトはより発生しにくい（画質劣化が増大しにくい）ので、そのことによる画質の低減をより抑制することができる。ただし、この構成の場合、図１２の構成と比較して、参照画像が遠くなるので予測精度が低減する可能性がある。
【００９４】
このようなGOP構成を、図７の画像符号化装置１００において適用することにより、画像符号化装置１００は、上述のようにドリフト（画質劣化の増大）を抑制することができ、画質の低減を抑制することができる。
【００９５】
なお、図１５に示されるGOPの長さ（３００フレーム）、ロングターム参照フレームを参照する周期（３０フレーム）は、一例であり、これらの値に限定されない。これらの値は矛盾が生じない限り任意である。例えば、ロングターム参照フレームを参照する周期は、ショートターム参照フレームの周期より長く、GOPの長さよりも短く設定するようにすればよい。また、このようにロングターム参照フレームを利用する場合も、図１０の例のように、Bピクチャを用いるようにしてもよい。これにより、符号化効率を向上させることができるが、復号がより複雑になる。
【００９６】
＜参照フレーム制御処理の流れ＞
この場合も画像符号化処理は、図１３を参照して説明したのと同様に実行される。この場合の参照フレーム制御処理の流れの例を、図１６のフローチャートを参照して説明する。
【００９７】
参照フレーム制御処理が開始されると、復号部１１８は、ステップＳ１８１において、符号化の処理対象のフレームであるカレントフレームのフレーム番号が３０の倍数であるか否かを判定する。フレーム番号が３０の倍数であると判定された場合、処理はステップＳ１８２に進む。
【００９８】
ステップＳ１８２において、復号部１１８は、ロングターム参照フレーム、すなわち、GOPの最初のフレームを参照する。つまり、復号部１１８は、フレームI0の簡易符号化データをフレームメモリ１１７から読み出し、復号する。ステップＳ１８２の処理が終了すると、参照フレーム制御処理が終了する。
【００９９】
また、ステップＳ１８１において、カレントフレームのフレーム番号が３０の倍数でないと判定された場合、処理はステップＳ１８３に進む。ステップＳ１８３において、復号部１１８は、ショートターム参照フレーム、すなわち、直前のフレームを参照する。つまり、復号部１１８は、直前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。ステップＳ１８３の処理が終了すると、参照フレーム制御処理が終了する。
【０１００】
以上のように各処理を行うことにより、ロングターム参照フレームによってドリフト（画質劣化の増大）を抑制することができるので、画質の低減を抑制することができる。
【０１０１】
＜ロングターム参照フレームの適応的参照＞
以上においては、例えばフレーム番号が３０の倍数等、特定のフレームにおいてロングターム参照フレームを参照するように説明したが、それ以外のフレームにおいてもロングターム参照フレームを参照することができるようにしてもよい。例えば、フレーム番号が３０の倍数のフレーム（特定のフレーム）においては強制的にロングターム参照フレームを参照するようにし、それ以外のフレームにおいても適応的（アダプティブ）にロングターム参照フレームを参照する（参照対象を適応的に切り替える）ようにしてもよい。例えば、特定のフレーム以外のフレームにおいては、所定の条件を満たす場合にロングターム参照フレームを参照するようにし、その所定の条件を満たさない場合にショートターム参照フレームを参照するようにしてもよい。
【０１０２】
このような構成を、図１２のGOP構成に適用する場合の例を図１７に示す。図１７の例の場合も、図１２を参照して説明したように、1GOPが300フレームとされ、フレームP30やフレームP60等、フレーム番号が３０の倍数のフレームにおいて強制的にロングターム参照フレーム（３０枚前のフレーム）を参照するようになされている。ただし、図１７の例の場合、それら以外のフレームにおいて所定の条件を満たすときは、矢印２２１や矢印２２２のように、参照先がショートターム参照フレームからロングターム参照フレームに切り替えられる。すなわち、ロングターム参照フレームが参照される。
【０１０３】
このようにすることにより、ロングターム参照フレームを参照する機会が増大するので、ドリフトの発生（画質劣化の増大）をより抑制することができる。したがって、画質の低減をより抑制することができる。
【０１０４】
なお、この参照先の切り替えの条件の内容は任意である。例えば、カレントフレームの画像と直前のフレームの画像との差分と、カレントフレームの画像とロングターム参照フレームの画像との差分を比較し、直前のフレームとの差分がロングターム参照フレームとの差分以上であることを条件としてもよい。一般的に差分が小さい方が予測精度が高くなる。したがって、このような条件とすることにより、ロングターム参照フレームとショートターム参照フレームの内、予測精度が高い方を参照先として選択することができるようになるので、符号化効率を向上させることができる。
【０１０５】
このようなGOP構成を、図７の画像符号化装置１００において適用することにより、画像符号化装置１００は、上述のようにドリフト（画質劣化の増大）を抑制することができ、画質の低減を抑制することができる。
【０１０６】
なお、図１７に示されるGOPの長さ（３００フレーム）、ロングターム参照フレームを参照する周期（３０フレーム）、ロングターム参照フレームを更新する周期（３０フレーム）は、一例であり、これらの値に限定されない。これらの値は矛盾が生じない限り任意である。例えば、ロングターム参照フレームを参照する周期やロングターム参照フレームを更新する周期は、ショートターム参照フレームの周期より長く、GOPの長さよりも短く設定するようにすればよい。また、このようにロングターム参照フレームを利用する場合も、図１０の例のように、Bピクチャを用いるようにしてもよい。
【０１０７】
この場合も画像符号化処理は図１３のフローチャートと同様の流れで行われる。この場合の参照フレーム制御処理の流れの例を図１８のフローチャートを参照して説明する。
【０１０８】
参照フレーム制御処理が開始されると、復号部１１８は、ステップＳ２０１において、符号化の処理対象のフレームであるカレントフレームのフレーム番号が３０の倍数であるか否かを判定する。フレーム番号が３０の倍数でないと判定された場合、処理はステップＳ２０２に進む。
【０１０９】
ステップＳ２０２において、復号部１１８は、カレントフレームの画像と直前のフレームの画像との差分と、カレントフレームの画像とロングターム参照フレームの画像との差分を比較し、直前のフレームとの差分がロングターム参照フレームとの差分以上であるか否かを判定する。カレントフレームの画像と直前のフレームの画像との差分が、カレントフレームの画像とロングターム参照フレームの画像との差分以上であると判定された場合、処理はステップＳ２０３に進む。つまり、フレーム番号が３０の倍数でないフレームであっても条件を満たす場合は、処理がステップＳ２０３に進む。
【０１１０】
また、ステップＳ２０１において、フレーム番号が３０の倍数であると判定された場合、処理はステップＳ２０３に進む。ステップＳ２０３において、復号部１１８は、ロングターム参照フレーム、すなわち、３０枚前のフレームを参照する。つまり、復号部１１８は、３０枚前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。
【０１１１】
ステップＳ２０４において、フレームメモリ１１７は、カレントフレームをロングターム参照フレームに設定する。すなわち、フレームメモリ１１７は、符号化部１１６から供給されるカレントフレームの簡易符号化データをロングターム参照フレームとして記憶する。ステップＳ２０４の処理が終了すると、参照フレーム制御処理が終了する。
【０１１２】
また、ステップＳ２０２において、カレントフレームの画像と直前のフレームの画像との差分が、カレントフレームの画像とロングターム参照フレームの画像との差分より小さいと判定された場合、処理はステップＳ２０５に進む。つまり、フレーム番号が３０の倍数でないフレームであって、かつ、条件を満たさない場合、処理はステップＳ２０５に進む。ステップＳ２０５において、復号部１１８は、ショートターム参照フレーム、すなわち、直前のフレームを参照する。つまり、復号部１１８は、直前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。ステップＳ２０５の処理が終了すると、参照フレーム制御処理が終了する。
【０１１３】
以上のように各処理を行うことにより、ロングターム参照フレームによってドリフト（画質劣化の増大）を抑制することができるので、画質の低減を抑制することができる。
【０１１４】
このような構成を、図１５のGOP構成に適用する場合の例を図１９に示す。図１９の例の場合も、図１５を参照して説明したように、1GOPが300フレームとされ、フレームP30やフレームP60等、フレーム番号が３０の倍数のフレームにおいて強制的にロングターム参照フレーム（GOPの先頭フレーム）を参照するようになされている。ただし、図１９の例の場合、それら以外のフレームにおいて所定の条件を満たすときは、矢印２３１、矢印２３２、矢印２３３、矢印２３４のように、参照先がショートターム参照フレームからロングターム参照フレームに切り替えられる。すなわち、ロングターム参照フレームが参照される。
【０１１５】
このようにすることにより、ロングターム参照フレームを参照する機会が増大するので、ドリフトの発生（画質劣化の増大）をより抑制することができる。したがって、画質の低減をより抑制することができる。
【０１１６】
なお、この参照先の切り替えの条件の内容は任意である。例えば、上述のように、カレントフレームの画像と直前のフレームの画像との差分と、カレントフレームの画像とロングターム参照フレームの画像との差分を比較し、直前のフレームとの差分がロングターム参照フレームとの差分以上であることを条件としてもよい。
【０１１７】
このようなGOP構成を、図７の画像符号化装置１００において適用することにより、画像符号化装置１００は、上述のようにドリフト（画質劣化の増大）を抑制することができ、画質の低減を抑制することができる。
【０１１８】
なお、図１９に示されるGOPの長さ（３００フレーム）やロングターム参照フレームを参照する周期（３０フレーム）は、一例であり、これらの値に限定されない。これらの値は矛盾が生じない限り任意である。例えば、ロングターム参照フレームを参照する周期は、ショートターム参照フレームの周期より長く、GOPの長さよりも短く設定するようにすればよい。また、このようにロングターム参照フレームを利用する場合も、図１０の例のように、Bピクチャを用いるようにしてもよい。
【０１１９】
この場合も画像符号化処理は図１３のフローチャートと同様の流れで行われる。この場合の参照フレーム制御処理の流れの例を図２０のフローチャートを参照して説明する。
【０１２０】
参照フレーム制御処理が開始されると、復号部１１８は、ステップＳ２２１において、符号化の処理対象のフレームであるカレントフレームのフレーム番号が３０の倍数であるか否かを判定する。フレーム番号が３０の倍数でないと判定された場合、処理はステップＳ２２２に進む。
【０１２１】
ステップＳ２２２において、復号部１１８は、カレントフレームの画像と直前のフレームの画像との差分と、カレントフレームの画像とロングターム参照フレームの画像との差分を比較し、直前のフレームとの差分がロングターム参照フレームとの差分以上であるか否かを判定する。カレントフレームの画像と直前のフレームの画像との差分が、カレントフレームの画像とロングターム参照フレームの画像との差分以上であると判定された場合、処理はステップＳ２２３に進む。つまり、フレーム番号が３０の倍数でないフレームであっても条件を満たす場合は、処理がステップＳ２２３に進む。
【０１２２】
また、ステップＳ２２１において、フレーム番号が３０の倍数であると判定された場合、処理はステップＳ２２３に進む。ステップＳ２２３において、復号部１１８は、ロングターム参照フレーム、すなわち、GOPの最初のフレームを参照する。つまり、復号部１１８は、フレームI0の簡易符号化データをフレームメモリ１１７から読み出し、復号する。ステップＳ２２３の処理が終了すると、参照フレーム制御処理が終了する。
【０１２３】
また、ステップＳ２２２において、カレントフレームの画像と直前のフレームの画像との差分が、カレントフレームの画像とロングターム参照フレームの画像との差分より小さいと判定された場合、処理はステップＳ２２４に進む。つまり、フレーム番号が３０の倍数でないフレームであって、かつ、条件を満たさない場合、処理はステップＳ２２４に進む。ステップＳ２２４において、復号部１１８は、ショートターム参照フレーム、すなわち、直前のフレームを参照する。つまり、復号部１１８は、直前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。ステップＳ２２４の処理が終了すると、参照フレーム制御処理が終了する。
【０１２４】
以上のように各処理を行うことにより、ロングターム参照フレームによってドリフト（画質劣化の増大）を抑制することができるので、画質の低減を抑制することができる。
【０１２５】
＜ロングターム参照フレーム設定の切り替え＞
図１２および図１５等を参照して、ロングターム参照フレームの設定方式として、ロングターム参照フレームをGOP内において更新する方式としない方式とについて説明したが、これらの２方式を適応的に選択する（切り替える）ことができるようにしてもよい。例えば、所定の条件に基づいて、これらの２方式を選択する（切り替える）ことができるようにしてもよい。この条件は任意であるが、例えば、カレントフレームの画像とロングターム参照フレームの画像との差分を所定の閾値と比較し、その比較結果に応じて、ロングターム参照フレームの設定方式を切り替えるようにしてもよい。
【０１２６】
一般的に差分が大きいほど、予測精度が低減し、符号化効率が低減する。したがって、ロングターム参照フレームの設定方式を上述のように制御することにより、画像により適したロングターム参照フレームの設定方式を適用することができるようになるので、符号化効率の低減を抑制することができる。
【０１２７】
＜GOP構成制御理の流れ＞
その場合、画像符号化装置１００は、例えば、GOP構成制御処理を実行することにより、ロングターム参照フレームの方式を設定する（設定方式の切り替えを行う）。このGOP構成制御処理の流れの例を、図２１のフローチャートを参照して説明する。
【０１２８】
GOP構成制御処理が開始されると、制御部１０１は、ステップＳ２４１において、ロングターム参照フレームの設定方式が、ロングターム参照フレームをGOPの最初のフレームに固定する方式（GOP内においてロングターム参照フレームを更新しない方式）であるか否かを判定する。ロングターム参照フレームをGOPの最初のフレームに固定する方式であると判定された場合、処理はステップＳ２４２に進む。
【０１２９】
ステップＳ２４２において、制御部１０１は、カレントフレームの画像とロングターム参照フレームの画像との差分を所定の第１の閾値と比較し、その差分が第１の閾値以上であるか否かを判定する。差分が第１の閾値以上であると判定された場合、処理はステップＳ２４３に進む。
【０１３０】
ステップＳ２４３において、制御部１０１は、ロングターム参照フレームの設定方式を、カレントフレームをロングターム参照フレームに設定し、更新間隔を３０フレームとする方式、つまり、GOP内においてロングタームを更新する方式に切り替える。ステップＳ２４３の処理が終了するとGOP構成制御処理が終了する。つまりこの場合、図１２に示されるようなGOP構成に設定される。
【０１３１】
また、ステップＳ２４２において、カレントフレームの画像とロングターム参照フレームの画像との差分が第１の閾値より小さいと判定された場合、ロングターム参照フレームの設定方式が切り替えられずにGOP構成制御処理が終了する。つまりこの場合、図１５に示されるようなGOP構成に設定される。
【０１３２】
また、ステップＳ２４１において、GOP内においてロングターム参照フレームを更新する方式（ロングターム参照フレームを３０枚手前のフレームにする方式）であると判定された場合、処理はステップＳ２４４に進む。
【０１３３】
ステップＳ２４４において、制御部１０１は、カレントフレームの画像とロングターム参照フレームの画像との差分を所定の第２の閾値と比較し、その差分が第２の閾値以上であるか否かを判定する。差分が第２の閾値より小さいと判定された場合、処理はステップＳ２４５に進む。
【０１３４】
ステップＳ２４５において、制御部１０１は、ロングターム参照フレームの設定方式を、GOPの最初のフレームをロングターム参照フレームに固定する方式、つまり、GOP内においてロングタームを更新しない方式に切り替える。ステップＳ２４５の処理が終了するとGOP構成制御処理が終了する。つまりこの場合、図１５に示されるようなGOP構成に設定される。
【０１３５】
また、ステップＳ２４４において、カレントフレームの画像とロングターム参照フレームの画像との差分が第２の閾値以上であると判定された場合、ロングターム参照フレームの設定方式が切り替えられずにGOP構成制御処理が終了する。つまりこの場合、図１２に示されるようなGOP構成に設定される。
【０１３６】
以上のようにGOP構成制御処理を実行することにより、符号化効率の低減を抑制することができる。
【０１３７】
なお、以上に説明した第１の閾値および第２の閾値の大きさは任意である。第１の閾値と第２の閾値とを互いに同一の値としてもよいし、互いに異なる値としてもよい。
【０１３８】
また、上述のロングターム参照フレームの設定方式の制御（GOP構成制御）は、図１７に示すGOP構成と図１９に示すGOP構成との切り替えにも同様に適用することができる。
【０１３９】
＜ロングターム参照フレームの周期の制御＞
また、図１２、図１５、図１７、図１９に示されるGOP構成、すなわち、ロングターム参照フレームを利用するGOP構成の場合、そのロングターム参照フレームを参照する周期（フレーム数）を制御することができるようにしてもよい。つまり、以上においては、この周期が例えば３０フレーム等の固定値である場合について説明したが、この周期を可変とするようにしてもよい。
【０１４０】
例えば、所定の条件に基づいて、ロングターム参照フレームを参照する周期を制御する（設定する）ことができるようにしてもよい。この条件は任意であるが、例えば、カレントフレームの画像とロングターム参照フレームの画像との差分を所定の閾値と比較し、その比較結果に応じて、ロングターム参照フレームを参照する周期を制御するようにしてもよい。
【０１４１】
一般的に差分が大きいほど、予測精度が低減し、符号化効率が低減する。したがって、ロングターム参照フレームを参照する周期を上述のように制御することにより、画像により適した周期とすることができるようになるので、符号化効率の低減を抑制することができる。
【０１４２】
＜ロングターム参照フレーム周期制御処理の流れ＞
その場合、画像符号化装置１００は、例えば、ロングターム参照フレーム周期制御処理を実行することにより、ロングターム参照フレームを参照する周期を設定する。このロングターム参照フレーム周期制御処理の流れの例を、図２２のフローチャートを参照して説明する。
【０１４３】
ロングターム参照フレーム周期制御処理が開始されると、制御部１０１は、ステップＳ２６１において、カレントフレームの画像とロングターム参照フレームの画像との差分を所定の閾値と比較し、その差分が閾値以上であるか否かを判定する。差分が閾値以上であると判定された場合、処理はステップＳ２６２に進む。
【０１４４】
ステップＳ２６２において、制御部１０１は、ロングターム参照フレームを参照する周期を現在よりも縮小させる。すなわち、周期を短くする。これにより、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。ステップＳ２６２の処理が終了するとロングターム参照フレーム周期制御処理が終了する。
【０１４５】
また、ステップＳ２６１において、カレントフレームの画像とロングターム参照フレームの画像との差分が閾値より小さいと判定された場合、処理はステップＳ２６３に進む。
【０１４６】
ステップＳ２６３において、制御部１０１は、ロングターム参照フレームを参照する周期を現在よりも拡大させる。すなわち、周期を長くする。これにより、GOP構成をより簡易な構成とすることができ、復号の負荷の増大を抑制することができる。ステップＳ２６３の処理が終了するとロングターム参照フレーム周期制御処理が終了する。
【０１４７】
＜４．第３の実施の形態＞
＜簡易符号化・簡易復号の制御＞
以上においては、簡易符号化（簡易圧縮）と簡易復号（簡易伸張）とを行う場合について説明したが、この簡易符号化・簡易伸張の実行を制御することができるようにしてもよい。その場合、簡易符号化・簡易伸張を行うか否かに応じてロングターム参照フレームを利用するか否かも制御することができるようにしてもよい。
【０１４８】
＜画像符号化装置＞
図２３は、その場合の本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図２３に示される画像符号化装置３００は、画像符号化装置１００と同様に、動画像の画像データを符号化する装置である。図２５に示されるように、画像符号化装置３００は、画像符号化装置１００の制御部１０１の代わりに制御部３０１を有し、画像符号化装置１００と同様の演算部１１１乃至予測画像生成部１１９を有し、さらに、選択部３１１、フレームメモリ３１２、および選択部３１３を有する。
【０１４９】
制御部３０１は、符号化の制御に関する処理を行う。例えば、制御部３０１は、差分符号化部１１２やフレームメモリ１１７を制御する（矢印３３２、矢印３３３）。また、例えば、制御部３０１は、符号化に関する情報をハイレベルシンタックス生成部１１３に供給する（矢印３３４）。また、例えば、制御部３０１は、ユーザ入力等の外部からの入力を受け付けることができる（矢印３３１）。また、制御部３０１は、差分符号化部１１２や予測画像生成部１１９から情報を取得することができる（矢印３３２、矢印３３７）。
【０１５０】
さらに、制御部３０１は、選択部３１１、フレームメモリ３１２、および選択部３１３を制御する（矢印３３５、矢印３３６）。例えば、制御部３０１は、選択部３１１および選択部３１３を制御することにより、簡易符号化・簡易復号の実行を制御する。また、制御部３０１は、簡易符号化・簡易復号を実行させない場合、フレームメモリ３１２を制御して、簡易符号化されていない復号画像のデータを記憶させる。
【０１５１】
また、制御部３０１は、符号化部１１６から簡易符号化の難易度に関する情報を取得することができる（矢印３３８）。
【０１５２】
制御部３０１は、任意の情報に基づいて、簡易符号化・簡易復号の実行を制御することができる。例えば、制御部３０１が、ユーザや他の装置等の外部からの指示を受け付け、その指示に従って簡易符号化・簡易復号の実行を制御するようにしてもよい。また、制御部３０１が、入力画像に基づいて簡易符号化・簡易復号の実行を制御するようにしてもよい。例えば、制御部３０１が、入力画像のデータ量に基づいて簡易符号化・簡易復号の実行を制御するようにしてもよい。例えば、フレームメモリの容量や帯域幅に対して入力画像のデータ量が十分に小さい場合に簡易符号化・簡易復号を実行しないようにし、フレームメモリの容量や帯域幅に対して入力画像のデータ量が十分に小さくない場合に簡易符号化・簡易復号を実行するようにしてもよい。
【０１５３】
演算部１１１は、入力画像（矢印３４１）と予測画像生成部１１９から供給される予測画像（矢印３４７）との差分（差分画像）を求める。演算部１１１は、その差分画像を差分符号化部１１２に供給する（矢印３４８）。
【０１５４】
差分符号化部１１２は、制御部１０１の制御に従って、供給される差分画像（矢印３４８）を任意の符号化方式で符号化して差分画像の符号化データを生成する。差分符号化部１１２は、生成した符号化データをハイレベルシンタックス生成部１１３に供給する（矢印３４９）。差分符号化部１１２は、その符号化データを差分復号部１１４にも供給する（矢印３５０）。
【０１５５】
ハイレベルシンタックス生成部１１３は、供給される符号化データ（矢印３４９）についてのハイレベルシンタックスを生成する。その際、ハイレベルシンタックス生成部１１３は、制御部１０１から供給される符号化に関する情報をそのハイレベルシンタックスに反映させる。ハイレベルシンタックス生成部１１３は、生成したハイレベルシンタックスを符号化データに関連付ける。ハイレベルシンタックス生成部１１３は、そのハイレベルシンタックスおよび符号化データを画像符号化装置１００の外部に出力する（矢印３５７）。
【０１５６】
差分復号部１１４は、供給される符号化データ（矢印３５０）を、差分符号化部１１２の符号化方式に対応する任意の復号方式で復号する。差分復号部１１４は、その復号により得られた差分画像を演算部１１５に供給する（矢印３５１）。
【０１５７】
演算部１１５は、差分復号部１１４から供給される差分画像（矢印３５１）に、予測画像生成部１１９から供給される予測画像（矢印３５２）を加算し、入力画像に対応する復号画像を生成する。演算部１１５は、その復号画像を選択部３１１に供給する（矢印３５３）。
【０１５８】
選択部３１１は、制御部３０１の制御に基づいて、演算部１１５から供給される復号画像（矢印３５３）の供給先として、符号化部１１６またはフレームメモリ３１２のいずれか一方を選択する。例えば、制御部３０１が簡易符号化・簡易復号を行うように制御する場合、選択部３１１は、符号化部１１６を選択し、供給される復号画像をその符号化部１１６に供給する（矢印３５４）。また、逆に、制御部３０１が簡易符号化・簡易復号を行わないように制御する場合、選択部３１１は、フレームメモリ３１２を選択し、供給される復号画像をそのフレームメモリ３１２に供給する（矢印３５６）。
【０１５９】
符号化部１１６は、図７の場合と同様に、供給される復号画像（矢印３５４）を簡易符号化する。符号化部１１６は、簡易符号化された復号画像（復号画像の符号化データ）をフレームメモリ１１７に供給する（矢印３５５）。
【０１６０】
フレームメモリ１１７は、供給された符号化データ（矢印３５５）を記憶する。フレームメモリ１１７は、制御部３０１の制御に従って、供給された符号化データをロングターム参照フレームまたはショートターム参照フレームとして記憶する。フレームメモリ１１７は、必要に応じて記憶しているロングターム参照フレームまたはショートターム参照フレームの符号化データを読み出し、復号部１１８に供給する（矢印３４３）。
【０１６１】
復号部１１８は、図７の場合と同様に、フレームメモリ１１７から読みだされた復号画像の符号化データ（符号化された復号画像）（矢印３４３）を、符号化部１１６の簡易符号化の方式に対応する方式で簡易復号（簡易伸張）する。復号部１１８は、簡易復号して得られた復号画像を参照画像として選択部３１３に供給する（矢印３４４）。
【０１６２】
フレームメモリ３１２は、供給された復号画像（簡易符号化されていない復号画像）（矢印３５６）を記憶する。フレームメモリ３１２は、フレームメモリ１１７と同様、任意の記憶媒体により実現することができるが、例えば、安価で容量が大きいDRAMを用いて実現するようにしてもよい。フレームメモリ３１２は、制御部３０１の制御に従って、供給された復号画像をショートターム参照フレームとして記憶する。フレームメモリ３１２は、必要に応じて記憶している復号画像を読み出し、過去フレームの画像（参照画像）として選択部３１３に供給する（矢印３４５）。
【０１６３】
選択部３１３は、制御部３０１の制御に基づいて、予測画像生成部１１９に供給する参照画像の供給元として、復号部１１８またはフレームメモリ３１２のいずれか一方を選択する。例えば、制御部３０１が簡易符号化・簡易復号を行うように制御する場合、選択部３１３は、復号部１１８を選択し、その復号部１１８から供給される復号画像（矢印３４４）を予測画像生成部１１９に供給する（矢印３４６）。また、逆に、制御部３０１が簡易符号化・簡易復号を行わないように制御する場合、選択部３１３は、フレームメモリ３１２を選択し、そのフレームメモリ３１２から供給される復号画像（矢印３４５）を予測画像生成部１１９に供給する（矢印３４６）。
【０１６４】
予測画像生成部１１９は、符号化処理の対象となる入力画像の予測画像を生成する。予測画像生成部１１９は、入力画像（矢印３４２）と参照画像（矢印３４６）とを取得し、それらを利用して予測画像を生成する。この予測画像の生成方法は任意であるが、例えば、予測画像生成部１１９は、その入力画像と予測画像を用いてロングターム参照フレームを利用するインター予測またはロングターム参照フレームを利用しないインター予測を行い、さらに、AVCやHEVC等と同様のイントラ予測を行い、それらの予測で生成された予測画像同士を比較し、最適な予測画像を選択する。予測画像生成部１１９は、生成した予測画像を演算部１１１に供給する（矢印３４７）。また、予測画像生成部１１９は、その予測画像を演算部１１５にも供給する（矢印３５２）。さらに、予測画像生成部１１９は、その予測画像に関する情報を制御部１０１に供給する（矢印３３７）。
【０１６５】
このように、簡易符号化・簡易復号の実行を制御することにより、画像符号化装置３００は、不要な簡易符号化・簡易復号の実行を低減することができ、復号画像の画質の低減を抑制することができる。また、符号化・復号の負荷の増大を抑制することができる。また、その簡易符号化・簡易復号の実行に応じてロングターム参照フレームの利用を制御することにより、画像符号化装置３００は、簡易符号化・簡易復号を実行しない場合にロングターム参照フレームを利用しないようにすることができ、GOPをより簡易な構成とすることができる。これにより、復号をより容易にすることができ、負荷の増大を抑制することができる。また、簡易符号化・簡易復号を実行する場合には上述のようにロングターム参照フレームを利用することができるようにすることができる。したがって、ドリフトの発生を抑制することができ、復号画像の画質の低減を抑制することができる。
【０１６６】
＜画像符号化処理の流れ＞
この場合の画像符号化処理の流れの例を、図２４のフローチャートを参照して説明する。画像符号化処理が開始されると、画像符号化装置３００の制御部３０１は、ステップＳ２８１において、簡易圧縮制御処理を実行し、簡易圧縮およびロングターム参照フレームの設定を行う。この簡易圧縮制御処理の詳細は後述する。
【０１６７】
ステップＳ２８２において、ハイレベルシンタックス生成部１１３は、ステップＳ２８１の設定に従って、その設定を示す情報を含むようなシンタックスを生成する。
【０１６８】
ステップＳ２８３において、復号部１１８は、ステップＳ２８１の設定に従って、入力画像に対応する、簡易符号化された復号画像（復号画像の簡易符号化データ）をフレームメモリ１１７より読み出し、簡易復号する。なお、ステップＳ２８１において、簡易符号化・簡易復号を実行しないように制御される場合、この処理は省略される。
【０１６９】
ステップＳ２８４において、予測画像生成部１１９は、選択部３１３を介して復号部１１８またはフレームメモリ３１２から供給される復号画像と入力画像を用いるインター予測とイントラ予測とを利用する予測方法により予測画像を生成する。
【０１７０】
ステップＳ２８５乃至ステップＳ２８８の各処理は、図１３のステップＳ１３５乃至ステップＳ１３８の各処理と同様に実行される。
【０１７１】
ステップＳ２８９において、符号化部１１６は、ステップＳ２８１の設定に従って、ステップＳ２８８において得られた復号画像を簡易符号化する。なお、ステップＳ２８１において簡易符号化・簡易復号を実行しないように制御される場合、この処理は省略される。
【０１７２】
ステップＳ２９０において、ステップＳ２８１において簡易符号化・簡易復号を実行するように制御される場合、フレームメモリ１１７は、ステップＳ２８９において得られた復号画像の簡易符号化データを、ステップＳ２８１の設定に従って、ロングターム参照フレームまたはショートターム参照フレームとして記憶する。なお、ステップＳ２８１において簡易符号化・簡易復号を実行しないように制御される場合、フレームメモリ３１２は、ステップＳ２８８において得られた復号画像をショートターム参照フレームとして記憶する。
【０１７３】
ステップＳ２９１において、ハイレベルシンタックス生成部１１３は、ステップＳ２８２において生成したハイレベルシンタックスを、ステップＳ２８６において生成された符号化データに関連付ける。そして、ハイレベルシンタックス生成部１１３は、その符号化データ（およびハイレベルシンタックス）を画像符号化装置１００の外部に出力する。
【０１７４】
ステップＳ２９１の処理が終了すると、画像符号化処理が終了する。
【０１７５】
＜簡易圧縮制御処理の流れ＞
次に、図２４のステップＳ２８１において実行される簡易圧縮制御処理の流れの例を、図２５のフローチャートを参照して説明する。
【０１７６】
簡易圧縮制御処理が開始されると、制御部３０１は、ステップＳ３０１において、復号画像の簡易圧縮を行うか否かを判定する。任意の情報に基づいて復号画像の簡易圧縮を行うと判定された場合、処理はステップＳ３０２に進む。
【０１７７】
ステップＳ３０２において、制御部３０１は、簡易符号化・簡易復号を行うように選択部３１１および選択部３１３を制御する。ステップＳ３０３において、制御部３０１は、フレームメモリ１１７を制御し、ロングターム参照フレームを利用するように設定する。ステップＳ３０２の処理が終了すると、簡易圧縮制御処理が終了する。
【０１７８】
また、ステップＳ３０１において復号画像の簡易圧縮を行わないと判定された場合、処理はステップＳ３０４に進む。ステップＳ３０４において、制御部３０１は、簡易符号化・簡易復号を行わないように選択部３１１および選択部３１３を制御する。ステップＳ３０５において、制御部３０１は、フレームメモリ３１２を制御し、ロングターム参照フレームを利用しないように設定する。ステップＳ３０５の処理が終了すると、簡易圧縮制御処理が終了する。
【０１７９】
以上のように各処理を実行することにより、不要な簡易符号化・簡易復号の実行を低減することができ、復号画像の画質の低減を抑制することができる。
【０１８０】
＜参照フレーム制御処理の流れ１＞
このような場合、参照フレーム制御処理は、例えば図２６のフローチャートに示されるような流れで実行される。
【０１８１】
参照フレーム制御処理が開始されると、復号部１１８は、ステップＳ３２１において、簡易圧縮を行うか否かを判定する。簡易圧縮を行うと判定された場合、処理はステップＳ３２２に進む。ステップＳ３２２乃至ステップＳ３２４の各処理は、図１４のステップＳ１６１乃至ステップＳ１６３の各処理と同様に実行される。ステップＳ３２４の処理が終了すると参照フレーム制御処理が終了する。
【０１８２】
また、ステップＳ３２１において簡易圧縮を行わないと判定された場合、処理はステップＳ３２５に進む。また、ステップＳ３２２においてカレントフレームのフレーム番号が３０の倍数でないと判定された場合、処理はステップＳ３２５に進む。
【０１８３】
ステップＳ３２５の処理は、図１４のステップＳ１６４の処理と同様に実行される。ステップＳ３２５の処理が終了すると、参照フレーム制御処理が終了する。
【０１８４】
このように参照フレーム制御処理を実行することにより、簡易圧縮を行う場合のみロングターム参照フレームを参照することができる。
【０１８５】
＜参照フレーム制御処理の流れ２＞
さらに、ロングターム参照フレームを利用する場合のロングターム参照フレームを利用する周期を、簡易圧縮の難易度に基づいて設定するようにしてもよい。その場合の参照フレーム制御処理は、例えば図２７のフローチャートに示されるような流れで実行される。
【０１８６】
参照フレーム制御処理が開始されると、復号部１１８は、ステップＳ３４１において、簡易圧縮を行うか否かを判定する。簡易圧縮を行うと判定された場合、処理はステップＳ３４２に進む。
【０１８７】
ステップＳ３４２において、制御部３０１は、符号化部１１６から簡易圧縮に関する情報を取得し、その情報に基づいて簡易圧縮の難易度を求め、さらにその簡易圧縮の難易度に基づいて、ロングターム参照フレームを利用する周期（ロングターム参照フレーム周期Ｋ）を算出する。
【０１８８】
ステップＳ３４３において、復号部１１８は、カレントフレームとロングターム参照フレームとのフレーム番号の差分がロングターム参照フレーム周期Ｋと同一であるか否かを判定する。カレントフレームとロングターム参照フレームとのフレーム番号の差分がロングターム参照フレーム周期Ｋと同一であると判定された場合、処理はステップＳ３４４に進む。
【０１８９】
ステップＳ３４４において、復号部１１８は、ロングターム参照フレーム、すなわち、Ｋ枚前のフレームを参照する。つまり、復号部１１８は、Ｋ枚前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。
【０１９０】
ステップＳ３４５において、フレームメモリ１１７は、カレントフレームをロングターム参照フレームに設定する。すなわち、フレームメモリ１１７は、符号化部１１６から供給されるカレントフレームの簡易符号化データをロングターム参照フレームとして記憶する。ステップＳ３４５の処理が終了すると、参照フレーム制御処理が終了する。
【０１９１】
また、ステップＳ３４１において簡易圧縮を行わないと判定された場合、処理はステップＳ３４６に進む。また、ステップＳ３４３において、カレントフレームとロングターム参照フレームとのフレーム番号の差分がロングターム参照フレーム周期Ｋと同一でないと判定された場合、処理はステップＳ３４６に進む。
【０１９２】
ステップＳ３４６において、復号部１１８は、ショートターム参照フレーム、すなわち、直前のフレームを参照する。つまり、復号部１１８は、直前のフレームの簡易符号化データをフレームメモリ１１７から読み出し、復号する。ステップＳ３４６の処理が終了すると、参照フレーム制御処理が終了する。
【０１９３】
以上のように処理を行うことにより、画像の内容（簡易圧縮難易度）に基づいてロングターム参照フレームの周期Ｋ（周期の長さ）を設定することができる。したがって、符号化効率の低減を抑制することができる。
【０１９４】
なお、図２３などを参照して説明した簡易符号化・簡易復号の実行制御は、ロングターム参照フレームをGOP内で更新しない場合、ロングターム参照フレームを適応的に参照する場合、GOPの長さを制御する場合など、上述した他の例に適用するようにしてもよい。それらの場合も、本実施の形態と同様の効果を得ることができる。
【０１９５】
＜５．第４の実施の形態＞
＜HEVC/AVCへの適用＞
以上においては、差分符号化部１１２の符号化方式や差分復号部１１４の復号方式が任意であるように説明したが、この符号化方式・復号方式は、例えば、AVCやHEVCであってもよい。すなわち、AVCやHEVCの符号化装置に本技術を適用するようにしてもよい。
【０１９６】
その場合の画像符号化装置の主な構成例を図２８に示す。図２８に示される画像符号化装置４００は、AVCまたはHEVCにより入力画像を符号化する符号化装置である。この画像符号化装置４００は、図７の画像符号化装置１００と同様の処理を行う。
【０１９７】
図２８に示されるように、画像符号化装置４００は、制御部４０１、画面並べ替えバッファ４１１、演算部４１２、直交変換部４１３、量子化部４１４、符号化部４１５、蓄積バッファ４１６、逆量子化部４１７、逆直交変換部４１８、演算部４１９、イントラ予測部４２０、フィルタ４２１、符号化部４２２、フレームメモリ４２３、復号部４２４、インター予測部４２５、予測画像選択部４２６、およびレート制御部４２７を有する。
【０１９８】
制御部４０１は、符号化に関する制御処理を行う。例えば、制御部４０１は、各処理部に制御情報などを供給することにより、各部の動作を制御する（矢印４３１）。なお、制御部４０１は、各処理部から任意の情報を取得することができる。また、制御部４０１は、画像符号化装置４００の外部から入力される情報も取得することができる。そして、制御部４０１は、取得した情報に基づいて制御に関する処理を行うこともできる。
【０１９９】
画面並べ替えバッファ４１１は、入力画像（矢印４４１）の各フレームを、表示順から符号化順に並べ替え、その並び替えた順で入力画像の各フレームを演算部４１２、イントラ予測部４２０、インター予測部４２５等に供給する（矢印４４２、矢印４４３）。
【０２００】
演算部４１２は、画面並べ替えバッファ４１１から読み出された入力画像（矢印４４２）から、予測画像選択部４２６から供給された予測画像（矢印４４６）を減算し、入力画像と予測画像との差分画像を求める。演算部４１２は、その差分画像を直交変換部４１３に供給する（矢印４４７）。
【０２０１】
直交変換部４１３は、その差分画像（矢印４４７）を所定の方法で直交変換し、直交変換係数を得る。この直交変換の方法は任意である。直交変換部４１３は、生成した直交変換係数を量子化部４１４に供給する（矢印４４８）。
【０２０２】
量子化部４１４は、その直交変換係数（矢印４４８）を所定の方法で量子化し、量子化データを得る。この量子化の方法は任意である。量子化部４１４は、生成した量子化データを符号化部４１５や逆量子化部４１７に供給する（矢印４４９、矢印４５０）。
【０２０３】
符号化部４１５は、その量子化データ（矢印４４９）や最適な予測モードに関する情報等の、画像に関する情報（矢印４６６）を符号化し、符号化データを生成する。符号化部４１５は、その符号化データを蓄積バッファ４１６に供給する（矢印４６１）。
【０２０４】
蓄積バッファ４１６は、その符号化データ（矢印４６１）を、一時的に保持し、所定のタイミングにおいて例えばビットストリーム等として画像符号化装置４００の外部に出力する（矢印４６２）。また、蓄積バッファ４１６は、蓄積している符号化データの符号量に関する情報をレート制御部４２７に供給する（矢印４６３）。
【０２０５】
また、逆量子化部４１７は、量子化部４１４から供給された量子化データ（矢印４５０）を、量子化部４１４による量子化に対応する方法で逆量子化し、直交変換係数を復元する。逆量子化部４１７は、その直交変換係数を逆直交変換部４１８に供給する（矢印４５１）。
【０２０６】
逆直交変換部４１８は、その直交変換係数（矢印４５１）を、直交変換部４１３による直交変換処理に対応する方法で逆直交変換し、差分画像を復元する。逆直交変換部４１８は、その復元された差分画像を演算部４１９に供給する（矢印４５２）。
【０２０７】
演算部４１９は、その復元された差分画像（矢印４５２）に、予測画像選択部４２６から供給される予測画像（矢印４５３）を加算し、局所的に再構成された画像（再構成画像とも称する）を得る。演算部４１９はその再構成画像をイントラ予測部４２０やフィルタ４２１に供給する（矢印４５４、矢印４５５）。
【０２０８】
イントラ予測部４２０は、演算部４１９から参照画像として供給される再構成画像である処理対象ピクチャ内の画素値（矢印４５４）や、画面並べ替えバッファ４１１から供給される入力画像（矢印４４３）等を用いてイントラ予測（画面内予測）を行い、予測画像を生成する。このイントラ予測の方法は任意である。イントラ予測部４２０は、生成した予測画像やイントラ予測に関する情報等を予測画像選択部４２６に供給する（矢印４４４）。
【０２０９】
フィルタ４２１は、その再構成画像（矢印４５５）に対して、適宜、例えばデブロックフィルタ等のフィルタ処理を行い、復号画像を得る。このフィルタ処理の内容は任意であり、どのようなフィルタ処理を行うようにしてもよい。フィルタ４２１は、その復号画像を符号化部４２２に供給する（矢印４５６）。
【０２１０】
符号化部４２２は、その復号画像（矢印４５６）に対して簡易符号化（簡易圧縮）を行い、簡易符号化データを得る。符号化部４２２は、その復号画像の簡易符号化データをフレームメモリ４２３に供給する（矢印４５７）。
【０２１１】
フレームメモリ４２３は、その復号画像の簡易符号化データ（矢印４５７）を自身の記憶領域内に記憶する。フレームメモリ４２３は、DRAM等により構成され、大容量の記憶領域を有し、例えば複数フレーム分の復号画像（簡易符号化データ）を記憶することができる。この簡易符号化データは、インター予測部４２５等の要求に応じて、参照画像等として適宜読み出される。フレームメモリ４２３は、その読み出された簡易符号化データを復号部４２４に供給する（矢印４５８）。
【０２１２】
復号部４２４は、フレームメモリ４２３から読み出された簡易符号化データ（矢印４５８）に対して簡易復号（簡易伸長）を行い、復号画像を得る。復号部４２４は、その復号画像をインター予測部４２５に供給する（矢印４５９）。
【０２１３】
インター予測部４２５は、画面並べ替えバッファ４１１から供給される入力画像（矢印４４３）や、復号部４２４から供給された参照画像（復号画像）等を用いてインター予測処理（動き予測処理および補償処理）を行い、予測画像を生成する。このインター予測の方法は任意である。インター予測部４２５は、生成した予測画像やインター予測に関する情報などを予測画像選択部４２６に供給する（矢印４４５）。
【０２１４】
予測画像選択部４２６は、イントラ予測部４２０から供給される予測画像（矢印４４４）や、インター予測部４２５から供給される予測画像（矢印４４５）の中から最適な予測モードを選択する。予測画像選択部４２６は、その選択したモードの予測画像を演算部４１２や演算部４１９に供給する（矢印４４６、矢印４５３）。また、予測画像選択部４２６は、選択したモードの予測結果に関する情報（イントラ予測に関する情報やインター予測に関する情報等）の一部または全部を最適な予測モードに関する情報として符号化部４１５に供給する（矢印４６６）。
【０２１５】
レート制御部４２７は、蓄積バッファ４１６から供給される、蓄積バッファ４１６に蓄積された符号化データの符号量に関する情報（矢印４６３）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部４１４の量子化動作のレートを制御する（矢印４６４）。
【０２１６】
画像符号化装置１００の各処理部は、画像符号化装置４００の各処理部に対応する。例えば、制御部１０１は、制御部４０１に対応する。また、演算部１１１は、演算部４１２に対応する。また、差分符号化部１１２およびハイレベルシンタックス生成部１１３は、直交変換部４１３乃至蓄積バッファ４１６に対応する。また、差分復号部１１４および演算部１１５は、逆量子化部４１７、逆直交変換部４１８、演算部４１９、およびフィルタ４２１に対応する。また、符号化部１１６乃至復号部１１８は、符号化部４２２乃至復号部４２４に対応する。また、予測画像生成部１１９は、イントラ予測部４２０、インター予測部４２５、および予測画像選択部４２６に対応する。
【０２１７】
つまり、上述した各本技術は、AVCやHEVCの符号化装置に適用することができる。したがって、画像符号化装置４００においても、ドリフト（画質劣化の増大）を抑制し、画質の低減を抑制することができる。
【０２１８】
HEVCのシーケンスパラメータセットの例を図２９に示す。画像符号化装置４００の場合、符号化部４１５は、シーケンスパラメータセット（SPS（Sequence Parameter Set））において、枠５０１で囲まれる部分のように、ロングターム参照フレームに関する制御情報（例えばlong_term_ref_pics_present_flag等）をセットする。
【０２１９】
HEVCのスライスヘッダのシンタックスの例を図３０に示す。画像符号化装置４００の符号化部４１５は、スライスヘッダ（slice segment header()）において、枠５０２で囲まれる部分のように、ロングターム参照フレームに関する制御情報（例えばnum_long_term_spsやnum_long_term_pics等）をセットする。
【０２２０】
このようにすることにより、画像符号化装置４００は、HEVCのロングターム参照フレームに関する制御情報を復号側に伝送することができる。
【０２２１】
AVCのスライスヘッダの例を図３１および図３２に示す。画像符号化装置４００の場合、符号化部４１５は、図３１のスライスヘッダ（slice_header）において、枠５０３で囲まれる部分のように、ロングターム参照フレームに関する制御情報（例えばdec_ref_pic_marking等）をセットする。また、符号化部４１５は、そのロングターム参照フレームに関する制御情報の詳細についてのシンタックスを、図３２に示される例のようにセットする。
【０２２２】
このようにすることにより、画像符号化装置４００は、AVCのロングターム参照フレームに関する制御情報を復号側に伝送することができる。
【０２２３】
＜画像符号化処理の流れ＞
この場合の画像符号化処理の流れの例を、図３３のフローチャートを参照して説明する。画像符号化処理が開始されると、ステップＳ３６１において、制御部４０１は、各処理部を制御し、予測画像の生成において、ロングターム参照フレームを利用するように設定する。ステップＳ３６２において、符号化部４１５は、シンタックスを生成する。
【０２２４】
ステップＳ３６３において、画面並べ替えバッファ４１１は、ふれーむの並び順を表示順から符号化順に並べ替える。ステップＳ３６４において、イントラ予測部４２０はイントラ予測を行う。ステップＳ３６５において、復号部４２４は、ロングターム参照フレームまたはショートターム参照フレームの復号画像の簡易符号化データをフレームメモリ５２３から読み出し、復号する。ステップＳ３６６において、インター予測部４２５は、ステップＳ３６５において得られた復号画像を参照画像として利用してインター予測を行う。ステップＳ３６７において、予測画像選択部４２６は、ステップＳ３６４において得られた予測画像とステップＳ３６６において得られた予測画像の中から最適な予測モードの予測画像を選択する。
【０２２５】
ステップＳ３６８において、演算部４１２は、入力画像とステップＳ３６７において選択された予測画像の差分画像を生成する。ステップＳ３６９において、直交変換部４１３は、その差分画像を直交変換し、直交変換係数を得る。ステップＳ３７０において、量子化部４１４は、その直交変換係数を量子化し、量子化データを得る。
【０２２６】
ステップＳ３７１において、逆量子化部４１７は、その量子化データを逆量子化し、直交変換係数を復元する。ステップＳ３７２において、逆直交変換部４１８は、その直交変換係数を逆直交変換し、差分画像を復元する。ステップＳ３７３において、演算部４１９は、その差分画像にステップＳ３６７において選択された予測画像を加算し、再構成画像を得る。ステップＳ３７４において、フィルタ４２１は、その再構成画像に対してフィルタ処理を行い、復号画像を得る。ステップＳ３７５において、符号化部４２２は、その復号画像に対して簡易符号化を行い簡易符号化データを生成する。ステップＳ３７６において、フレームメモリ４２３は、その簡易符号化データを記憶する。
【０２２７】
ステップＳ３７７において、符号化部４１５は、ステップＳ３７０において得られた量子化データを符号化し、符号化データを生成する。ステップＳ３７８において蓄積バッファ４１６は、その符号化データを一時的に保持した後、画像符号化装置４００の外部に出力する。ステップＳ３７８の処理が終了すると、画像符号化処理が終了する。
【０２２８】
このように画像符号化処理を行うことにより、画像符号化装置４００は、AVCやHEVCの場合においても、ドリフト（画質劣化の増大）を抑制し、画質の低減を抑制することができる。
【０２２９】
なお、以上においては、ロングターム参照フレームを利用する場合について説明したが、上述した他の本技術も同様に、AVCやHEVCの符号化を行う画像符号化装置に適用することができる。
【０２３０】
＜６．第５の実施の形態＞
＜イントラ予測によるドリフトの拡大＞
AVCやHEVC等において行われるイントラ予測では、例えば図３４のＡに示されるように、処理対象であるカレントブロックの周辺画素を利用して予測が行われる。例えばHEVCの場合、予測方向は図３４のＢに示されるような候補の中から選択される。また例えばAVCの場合、予測方向は図３４のＣに示されるような候補の中から選択される。
【０２３１】
そのため、例えば図３４のＡに示されるように、復号画像内にノイズ（画質劣化）が蓄積されていると、イントラ予測によってそのノイズが図３５のＢに示されるように他の画素に伝搬し、画質劣化が増大してしまうおそれがあった。つまり、画質が低減するおそれがあった。
【０２３２】
＜制約付きイントラ予測＞
そこで、上述のようにフレームメモリに蓄積する復号画像に対して簡易符号化・簡易復号を行う場合、図３６に示されるように、制約付きイントラ予測（Constrained Intra Prediction）を適用するようにする。制約付きイントラ予測は、インター予測により生成した周辺画素を使用せずにイントラ予測を行う方法である。例えばAVCの場合、カレントブロックの周辺にインター予測のブロックが存在する場合、イントラ予測としてDC予測が行われる。また、例えばHEVCの場合、インター予測のブロックの周辺画素は、周辺のイントラ予測の画素値を用いて埋められる。
【０２３３】
このような制約付きイントラ予測を用いることにより、イントラ予測によってドリフトが拡大することを抑制することができる。したがって、画質の低減を抑制することができる。
【０２３４】
＜画像符号化処理の流れ＞
このような制約付きイントラ予測は、例えば、上述した画像符号化装置１００（図７）においても実現することができる。すなわち、上述の符号化方向は、画像符号化装置１００に適用することができる。その場合の画像符号化処理の流れの例を、図３７のフローチャートを参照して説明する。
【０２３５】
画像符号化処理が開始されると、ステップＳ３９１において、制御部１０１は、予測画像の生成の際に、イントラ予測として制約付きイントラ予測を利用するように設定する。ステップＳ３９２において、ハイレベルシンタックス生成部１１３は、ステップＳ３９１の設定に応じたシンタックスを生成する。
【０２３６】
ステップＳ３９３において、復号部１１８は、GOP構成に従って、復号画像の簡易符号化データをフレームメモリ１１７から取得し、簡易復号する。ステップＳ３９４において、予測画像生成部１１９は、制約付きイントラ予測と復号画像を参照画像として用いるインター予測とを利用して予測処理を行い、予測画像を生成する。
【０２３７】
ステップＳ３９５乃至ステップＳ４０１の各処理は、図１１のステップＳ１０５乃至ステップＳ１１１の各処理と同様に実行される。
【０２３８】
以上のように画像符号化処理を行うことにより、画像符号化装置１００は、イントラ予測によってドリフトが拡大することを抑制することができる。したがって、画質の低減を抑制することができる。
【０２３９】
＜制約付きイントラ予測の制御１＞
なお、制約付きイントラ予測の実行を制御するようにしてもよい。一般的に、制約付きイントラ予測は、通常のイントラ予測に比べて符号化効率が低減する。そこで、不要な制約付きイントラ予測の実行を抑制するように制約付きイントラ予測の実行を制御するようにしてもよい。例えば画像（または画像に関する情報）に基づいて制約付きイントラ予測の実行を制御するようにしてもよい。このようにすることにより、符号化効率の低減を抑制することができる。
【０２４０】
例えば、制約付きイントラ予測の実行制御はフレーム単位で行われるが、ドリフトの蓄積が少ないフレームの場合（画質劣化が少ない場合）、制約付きイントラ予測を行うことにより得られるメリットは、ドリフトの蓄積が多いフレームの場合に比べて少なくなる。そのため、そのようなフレームでは、制約付きイントラ予測を実行しないようにしてもよい。例えば、カレントピクチャとＩピクチャとの距離（フレーム数）に基づいて制約付きイントラ予測の実行を制御するようにしてもよい。例えば、Ｉピクチャから所定の距離（フレーム数）以上離れたフレームにおいてのみ制約付きイントラ予測が行われるようにしてもよい。
【０２４１】
＜制約付きイントラ予測制御処理の流れ＞
このような制御を行う制約付きイントラ予測制御処理の流れの例を、図３８のフローチャートを参照して説明する。
【０２４２】
制約付きイントラ予測制御処理が開始されると、制御部１０１は、ステップＳ４２１において、Ｉピクチャからカレントフレームまでの距離が閾値以上であるか否かを判定する。Ｉピクチャからカレントフレームまでの距離が閾値以上である（フレーム数が多い）と判定された場合、処理はステップＳ４２２に進む。
【０２４３】
ステップＳ４２２において、制御部１０１は、各処理部を制御し、カレントフレームにおいて、制約付きイントラ予測を利用するように設定する。ステップＳ４２２の処理が終了すると、制約付きイントラ予測制御処理が終了する。
【０２４４】
また、ステップＳ４２１において、Ｉピクチャからカレントフレームまでの距離が閾値より近い（フレーム数が少ない）と判定された場合、処理はステップＳ４２３に進む。ステップＳ４２３において、制御部１０１は、各処理部を制御し、カレントフレームにおいて、制約付きイントラ予測を利用しないように設定する。ステップＳ４２３の処理が終了すると、制約付きイントラ予測制御処理が終了する。
【０２４５】
このようにすることにより、ドリフトの蓄積が大きいと予想されるフレームに対してのみ制約付きイントラ予測を実行することができ、不要な制約付きイントラ予測の実行を抑制するので、符号化効率の低減を抑制することができる。
【０２４６】
＜制約付きイントラ予測の制御２＞
なお、Iピクチャからの距離だけでなく、簡易圧縮の難易度の積算値に基づいて、制約付きイントラ予測の実行を制御するようにしてもよい。一般的に、簡易圧縮の難易度が低ければ、簡易圧縮による画質劣化（ノイズの発生）は低減される。したがって、その場合、制約付きイントラ予測を行うことにより得られる効果が少なくなる。そこで、簡易圧縮の難易度のIピクチャからカレントフレームまでの積算値に基づいて制約付きイントラ予測の実行を制御するようにしてもよい。例えば、簡易圧縮の難易度の積算値が少ない場合に制約付きイントラ予測が行われないようにしてもよい。このようにすることにより、不要な制約付きイントラ予測の実行を抑制することができ、符号化効率の低減を抑制することができる。
【０２４７】
＜制約付きイントラ予測制御処理の流れ＞
このような制御を行う制約付きイントラ予測制御処理の流れの例を、図３９のフローチャートを参照して説明する。
【０２４８】
制約付きイントラ予測制御処理が開始されると、制御部１０１は、ステップＳ４４１において、Ｉピクチャからカレントフレームまでの簡易圧縮の難易度の積算値を求める。ステップＳ４４２において、制御部１０１は、ステップＳ４４１において求めた簡易圧縮の難易度の積算値が所定の閾値以上であるか否かを判定する。積算値が閾値以上であると判定された場合、処理はステップＳ４４３に進む。
【０２４９】
ステップＳ４４３において、制御部１０１は、各処理部を制御し、カレントフレームにおいて、制約付きイントラ予測を利用するように設定する。ステップＳ４４３の処理が終了すると、制約付きイントラ予測制御処理が終了する。
【０２５０】
また、ステップＳ４４２において、積算値が閾値より小さいと判定された場合、処理はステップＳ４４４に進む。ステップＳ４４４において、制御部１０１は、各処理部を制御し、カレントフレームにおいて、制約付きイントラ予測を利用しないように設定する。ステップＳ４４４の処理が終了すると、制約付きイントラ予測制御処理が終了する。
【０２５１】
このようにすることにより、ドリフトの蓄積が大きいと予想されるフレームに対してのみ制約付きイントラ予測を実行することができ、不要な制約付きイントラ予測の実行を抑制するので、符号化効率の低減を抑制することができる。
【０２５２】
＜適用例＞
以上においては、画像符号化装置１００を用いて説明したが、制約付きイントラ予測を利用して予測画像を生成する方法は、上述した各技術に適用することができる。つまり、例えば、画像符号化装置３００に適用することもできる。また、AVCやHEVCの画像符号化にも適用することができる。すなわち、画像符号化装置４００にも適用することができる。
【０２５３】
その場合のHEVCのピクチャパラメータセット（PPS（Picture Parameter Set））の例を図４０に示す。この場合符号化部４１５は、ピクチャパラメータセットにおいて、枠５５２で囲まれる部分のように、制約付きイントラ予測に関する制御情報（例えばConstrained_intra_pred_flag等）をセットする。
【０２５４】
このようにすることにより、画像符号化装置４００は、HEVCの制約付きイントラ予測に関する制御情報を復号側に伝送することができる。
【０２５５】
またこの場合のAVCのピクチャパラメータセット（PPS）の例を図４１に示す。この場合符号化部４１５は、図４１のピクチャパラメータセットにおいて、枠５５２で囲まれる部分のように、制約付きイントラ予測に関する制御情報（例えばConstrained_intra_pred_flag等）をセットする。
【０２５６】
このようにすることにより、画像符号化装置４００は、AVCの制約付きイントラ予測に関する制御情報を復号側に伝送することができる。
【０２５７】
＜７．その他＞
＜本技術の適用分野＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。
【０２５８】
例えば、本技術は、鑑賞の用に供される画像を伝送するシステムやデバイスにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
【０２５９】
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２６０】
図４２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２６１】
図４２に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０２６２】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０２６３】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０２６４】
以上のように構成されるコンピュータ８００では、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２６５】
コンピュータ８００が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【０２６６】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【０２６７】
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
【０２６８】
＜その他＞
なお、符号化データ（ビットストリーム）に関する各種情報は、符号化データに多重化されて伝送されまたは記録されるようにしてもよいし、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送されまたは記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０２６９】
また、上述したように、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０２７０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７１】
例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２７２】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２７３】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２７４】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０２７５】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７６】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２７７】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
【０２７８】
なお、本技術は以下のような構成も取ることができる。
（１）  符号化されてフレームメモリに記憶され、前記フレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する予測画像生成部
を備える画像処理装置。
（２）  画像に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御する制御部をさらに備える
（１）に記載の画像処理装置。
（３）  前記制御部は、カレントフレームとIピクチャとの距離に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御する
（２）に記載の画像処理装置。
（４）  前記制御部は、前記フレームメモリに記憶する際の符号化の難易度のIピクチャからカレントフレームまでの積算値に基づいて、イントラ予測として制約付きイントラ予測を行うか否かを制御する
（２）に記載の画像処理装置。
（５）  前記制約付きイントラ予測に関する制御情報を生成する制御情報生成部をさらに備える
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記過去フレームの画像は、符号化されて、ロングターム参照フレームまたはショートターム参照フレームの画像として前記フレームメモリに記憶され、
前記予測画像生成部は、前記フレームメモリから読みだされた後復号された前記ロングターム参照フレームまたは前記ショートターム参照フレームの画像を参照画像として用いるインター予測と、前記制約付きイントラ予測とを利用して予測画像を生成するように構成される
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記ロングターム参照フレームは、前記ショートターム参照フレームより長い所定の周期で更新され、
前記予測画像生成部は、前記インター予測において、カレントフレームが前記周期毎のフレームの場合前記ロングターム参照フレームの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成される
（６）に記載の画像処理装置。
（８）  前記予測画像生成部は、カレントフレームが前記その他のフレームの場合、前記ショートターム参照フレームの画像を参照するかまたは前記ロングターム参照フレームの画像を参照するかを適応的に選択する
（７）に記載の画像処理装置。
（９）  前記予測画像生成部は、カレントフレームと直前のフレームとの差分が前記カレントフレームと前記ロングターム参照フレームとの差分以上である場合、前記ロングターム参照フレームの画像を参照する
（８）に記載の画像処理装置。
（１０）  前記周期の長さを制御する制御部をさらに備える
（７）に記載の画像処理装置。
（１１）  前記制御部は、カレントフレームと前記ロングターム参照フレームとの差分が所定の閾値以上である場合、前記周期を縮小する
（１０）に記載の画像処理装置。
（１２）  前記制御部は、カレントフレームと前記ロングターム参照フレームとの差分が所定の閾値より小さい場合、前記周期を拡大する
（１０）に記載の画像処理装置。
（１３）  前記ロングターム参照フレームは、Iピクチャに固定され、
前記予測画像生成部は、前記インター予測において、カレントフレームが前記ショートターム参照フレームより長い所定の周期毎のフレームの場合前記ロングターム参照フレームに設定されたIピクチャの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成される
（６）に記載の画像処理装置。
（１４）  前記予測画像生成部は、カレントフレームが前記その他のフレームの場合、前記ショートターム参照フレームの画像を参照するかまたは前記Iピクチャの画像を参照するかを適応的に選択する
（１３）に記載の画像処理装置。
（１５）  前記予測画像生成部は、カレントフレームと直前のフレームとの差分が前記カレントフレームと前記ロングターム参照フレームとの差分以上である場合、前記Iピクチャの画像を参照する
（１４）に記載の画像処理装置。
（１６）    前記ロングターム参照フレームが、前記ショートターム参照フレームより長い所定の周期で更新され、
前記予測画像生成部が、前記インター予測において、カレントフレームが前記周期毎のフレームの場合前記ロングターム参照フレームの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにするか、
前記ロングターム参照フレームは、Iピクチャに固定され、
前記予測画像生成部は、前記インター予測において、カレントフレームが前記ショートターム参照フレームより長い所定の周期毎のフレームの場合前記ロングターム参照フレームに設定されたIピクチャの画像を参照し、カレントフレームがその他のフレームの場合前記ショートターム参照フレームの画像を参照するように構成されるようにするか
を適応的に選択する選択部をさらに備える
（６）に記載の画像処理装置。
（１７）  前記選択部は、カレントフレームとロングターム参照フレームとの差分が所定の閾値以上であるか否かに応じて選択する
（１６）に記載の画像処理装置。
（１８）  前記フレームメモリに記憶する前記過去フレームの画像を符号化するか否かを制御する制御部をさらに備え、
前記予測画像生成部は、前記制御部により前記過去フレームの画像を符号化するように制御される場合、前記フレームメモリから読みだされた後復号された前記ロングターム参照フレームまたは前記ショートターム参照フレームの画像を参照画像として用いるインター予測と、前記制約付きイントラ予測とを利用して予測画像を生成するように構成される
（６）乃至（１７）のいずれかに記載の画像処理装置。
（１９）  入力画像と前記予測画像生成部により生成された前記予測画像との差分画像を生成する差分画像生成部と、
前記差分画像生成部により生成された前記差分画像を符号化する第１の符号化部と、
前記第１の符号化部により得られた前記差分画像の符号化データを復号する第１の復号部と、
前記第１の復号部により得られた前記差分画像の復号画像を符号化する第２の符号化部と、
前記第２の符号化部により得られた前記復号画像の符号化データを、符号化された前記過去フレームの画像として記憶する前記フレームメモリと、
前記フレームメモリから読みだされた、符号化された前記過去フレームの画像を復号する第２の復号部と
をさらに備える（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）  符号化されてフレームメモリに記憶され、前記フレームメモリから読みだされた後復号される、カレントフレームより前に処理された過去フレームの画像を参照画像として用いるインター予測と、インター予測が行われた周辺画素を利用しない制約付きイントラ予測とを利用して予測画像を生成する
画像処理方法。
【符号の説明】
【０２７９】
１００  画像符号化装置，  １０１  制御部，  １１１  演算部，  １１２  差分符号化部，  １１３  ハイレベルシンタックス生成部，  １１４  差分復号部，  １１５  演算部，  １１６  符号化部，  １１７  フレームメモリ，  １１８  復号部，  １１９  予測画像生成部，  ３００  画像符号化装置，  ３０１  制御部，  ３１１  選択部，  ３１２  フレームメモリ，  ３１３  選択部，  ４００  画像符号化装置，  ４０１  制御部，  ４１１  画面並べ替えバッファ，  ４１２  演算部，  ４１３  直交変換部，  ４１４  量子化部，  ４１５  符号化部，  ４１６  蓄積バッファ，  ４１７  逆量子化部，  ４１８  逆直交変換部，  ４１９  演算部，  ４２０  イントラ予測部，  ４２１  フィルタ，  ４２２  符号化部，  ４２３  フレームメモリ，  ４２４  復号部，  ４２５  インター予測部，  ４２６  予測画像選択部，  ４２７  レート制御部，  ８００  コンピュータ
【図１】
2018110270.tif 000003
【図２】
2018110270.tif 000004
【図３】
2018110270.tif 000005
【図４】
2018110270.tif 000006
【図５】
2018110270.tif 000007
【図６】
2018110270.tif 000008
【図７】
2018110270.tif 000009
【図８】
2018110270.tif 000010
【図９】
2018110270.tif 000011
【図１０】
2018110270.tif 000012
【図１１】
2018110270.tif 000013
【図１２】
2018110270.tif 000014
【図１３】
2018110270.tif 000015
【図１４】
2018110270.tif 000016
【図１５】
2018110270.tif 000017
【図１６】
2018110270.tif 000018
【図１７】
2018110270.tif 000019
【図１８】
2018110270.tif 000020
【図１９】
2018110270.tif 000021
【図２０】
2018110270.tif 000022
【図２１】
2018110270.tif 000023
【図２２】
2018110270.tif 000024
【図２３】
2018110270.tif 000025
【図２４】
2018110270.tif 000026
【図２５】
2018110270.tif 000027
【図２６】
2018110270.tif 000028
【図２７】
2018110270.tif 000029
【図２８】
2018110270.tif 000030
【図２９】
2018110270.tif 000031
【図３０】
2018110270.tif 000032
【図３１】
2018110270.tif 000033
【図３２】
2018110270.tif 000034
【図３３】
2018110270.tif 000035
【図３４】
2018110270.tif 000036
【図３５】
2018110270.tif 000037
【図３６】
2018110270.tif 000038
【図３７】
2018110270.tif 000039
【図３８】
2018110270.tif 000040
【図３９】
2018110270.tif 000041
【図４０】
2018110270.tif 000042
【図４１】
2018110270.tif 000043
【図４２】
2018110270.tif 000044
【国際調査報告】
2018110270.tif 000045
2018110270.tif 000046
2018110270.tif 000047
2018110270.tif 000048