(57)【要約】  本開示は、画像符号化の負荷の増大を抑制することができるようにする画像処理装置および方法、並びに記録媒体に関する。本開示の画像処理装置は、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部と、前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部とを備える。本開示は画像処理装置に適用することができる。
2013146507.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部と、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部と
を備える画像処理装置。
【請求項２】
前記符号化パラメータは、GMV（Global Motion Vector）、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの１つまたは２つ以上を含む
請求項１に記載の画像処理装置。
【請求項３】
前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値である
請求項２に記載の画像処理装置。
【請求項４】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトする
請求項２に記載の画像処理装置。
【請求項５】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第１の画像のイントラ予測モードに応じて、前記第２の画像のイントラ予測モードの候補となる予測方向を制限する
請求項２に記載の画像処理装置。
【請求項６】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理する
請求項２に記載の画像処理装置。
【請求項７】
前記符号化部は、時分割方式により、複数の画像を符号化する
請求項１に記載の画像処理装置。
【請求項８】
前記第１の画像を符号化する第１画像符号化部をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
前記第１の画像の符号化パラメータを導出する導出部をさらに備え、
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第２の画像の符号化パラメータに変換する
請求項１に記載の画像処理装置。
【請求項１０】
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第１の画像が導出されたのと同タイミングの第２の画像の符号化パラメータに変換する
請求項９に記載の画像処理装置。
【請求項１１】
前記変換部および前記符号化部を、前記第１の画像以外の複数の画像のそれぞれに１つずつ有し、
各変換部は、前記第１の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、
各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化する
請求項１に記載の画像処理装置。
【請求項１２】
前記変換部は、前記第１の画像の画像情報と前記第２の画像の画像情報とを用いて、前記符号化パラメータを変換する
請求項１に記載の画像処理装置。
【請求項１３】
前記画像情報は、画角であり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画角の比を用いて、前記符号化パラメータを変換する
請求項１２に記載の画像処理装置。
【請求項１４】
前記画像情報は、画サイズであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換する
請求項１２に記載の画像処理装置。
【請求項１５】
前記画像情報は、フレームレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換する
請求項１２に記載の画像処理装置。
【請求項１６】
前記画像情報は、ビットレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換する
請求項１２に記載の画像処理装置。
【請求項１７】
前記第１の画像の画像情報を取得する第１画像情報取得部と、
前記第２の画像の画像情報を取得する第２画像情報取得部と
をさらに備える請求項１２に記載の画像処理装置。
【請求項１８】
時分割方式により、前記第１の画像の画像情報と、前記第２の画像の画像情報とを取得する画像情報取得部をさらに備える
請求項１２に記載の画像処理装置。
【請求項１９】
画像処理装置の画像処理方法であって、
変換部が、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換し、
第２画像符号化部が、変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する
画像処理方法。
【請求項２０】
コンピュータを、
第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法、並びに記録媒体に関し、特に、画像符号化の負荷の増大を抑制することができるようにした画像処理装置および方法、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、立体視用の多視点画像のように、複数の動画像を含むコンテンツが普及している。このような複数の動画像を含むコンテンツの符号化方式の１つとして、例えば、MPEG（Moving Picture Experts Group）4 AVC（Advanced Video Coding） H.264規格（H.264/AVC規格）を拡張したMVC(Multi-view Video Coding)規格がある。MVC規格では、Base viewvideoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている（例えば、特許文献１参照）。【０００３】
MVC規格では、各画像に対して、例えば、イントラ予測、インター予測、直交変換、量子化、可逆符号化、またはレートコントロール等、符号化に関する各種処理が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２１６９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような複数の動画像は、一般的に、互いの相関性が高い可能性が高いにも関わらず、従来の符号化方式の場合、動画像毎に、互いに独立した符号化処理が行われ、それぞれの処理において、各種符号化パラメータが導出されていた。【０００６】
この各種符号化パラメータの導出に関する処理は、いずれも処理量が多く、負荷の高い処理であるが、上述したように冗長して実行されるので、符号化処理の負荷が不要に増大してしまう恐れがあった。【０００７】
本開示は、このような状況に鑑みて提案されたものであり、画像符号化の負荷の増大を抑制することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一側面は、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部と、前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部とを備える画像処理装置である。【０００９】
前記符号化パラメータは、GMV（Global Motion Vector）、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの１つまたは２つ以上を含むようにすることができる。【００１０】
前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値であるようにすることができる。【００１１】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトすることができる。【００１２】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第１の画像のイントラ予測モードに応じて、前記第２の画像のイントラ予測モードの候補となる予測方向を制限することができる。【００１３】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理することができる。【００１４】
前記符号化部は、時分割方式により、複数の画像を符号化することができる。【００１５】
前記第１の画像を符号化する第１画像符号化部をさらに備えることができる。【００１６】
前記第１の画像の符号化パラメータを導出する導出部をさらに備え、前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第２の画像の符号化パラメータに変換することができる。【００１７】
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第１の画像が導出されたのと同タイミングの第２の画像の符号化パラメータに変換することができる。【００１８】
前記変換部および前記符号化部を、前記第１の画像以外の複数の画像のそれぞれに１つずつ有し、各変換部は、前記第１の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化することができる。【００１９】
前記変換部は、前記第１の画像の画像情報と前記第２の画像の画像情報とを用いて、前記符号化パラメータを変換することができる。【００２０】
前記画像情報は、画角であり、前記変換部は、前記第１の画像と前記第２の画像の、前記画角の比を用いて、前記符号化パラメータを変換することができる。【００２１】
前記画像情報は、画サイズであり、前記変換部は、前記第１の画像と前記第２の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換することができる。【００２２】
前記画像情報は、フレームレートであり、前記変換部は、前記第１の画像と前記第２の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換することができる。【００２３】
前記画像情報は、ビットレートであり、前記変換部は、前記第１の画像と前記第２の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換することができる。【００２４】
前記第１の画像の画像情報を取得する第１画像情報取得部と、前記第２の画像の画像情報を取得する第２画像情報取得部とをさらに備えることができる。【００２５】
時分割方式により、前記第１の画像の画像情報と、前記第２の画像の画像情報とを取得する画像情報取得部をさらに備えることができる。【００２６】
本開示の一側面は、また、画像処理装置の画像処理方法であって、変換部が、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換し、第２画像符号化部が、変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する画像処理方法である。【００２７】
本開示の一側面は、さらに、コンピュータを、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部、前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。【００２８】
本開示の他の側面においては、第１の画像の符号化に用いられる符号化パラメータが、第１の画像とは異なる、第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換され、変換されて得られた第２の画像の符号化パラメータを用いて、第２の画像が符号化される。
【発明の効果】
【００２９】
本開示によれば、画像を処理することが出来る。特に、画像符号化の負荷の増大を抑制することができる。
【図面の簡単な説明】
【００３０】
【図１】従来の画像符号化装置の主な構成例を示すブロック図である。
【図２】本開示の画像符号化装置の主な構成例を示すブロック図である。
【図３】本開示の画像符号化装置の他の構成例を示すブロック図である。
【図４】第１符号化部の主な構成例を示すブロック図である。
【図５】第２符号化部の主な構成例を示すブロック図である。
【図６】複数画像符号化処理の流れの例を示すフローチャートである。
【図７】符号化処理の流れの例を示すフローチャートである。
【図８】符号化パラメータ提供側のインター動き予測処理の流れの例を示すフローチャートである。
【図９】GMV導出処理の流れの例を説明するフローチャートである。
【図１０】符号化パラメータ提供側のインター動き予測処理の流れの例を示すフローチャートである。
【図１１】GMV変換処理の流れの例を示すフローチャートである。
【図１２】フィードフォワードの様子の例を説明する図である。
【図１３】動画像間で異なる画像情報の例を説明する図である。
【図１４】動画像間で異なる画像情報の例を説明する図である。
【図１５】第１符号化部の他の構成例を示すブロック図である。
【図１６】第２符号化部の他の構成例を示すブロック図である。
【図１７】符号化処理の流れの、他の例を説明するフローチャートである。
【図１８】符号化パラメータ提供側のレート制御処理の流れの例を説明するフローチャートである。
【図１９】符号化パラメータ取得側のレート制御処理の流れの例を説明するフローチャートである。
【図２０】符号化パラメータ提供側のレート制御処理の流れの、他の例を説明するフローチャートである。
【図２１】符号化パラメータ取得側のレート制御処理の流れの、他の例を説明するフローチャートである。
【図２２】フィードフォワードの様子の例を説明する図である。
【図２３】第１符号化部の、さらに他の構成例を示すブロック図である。
【図２４】第２符号化部の、さらに他の構成例を示すブロック図である。
【図２５】従来のMV導出部の主な構成例を示すブロック図である。
【図２６】MV導出部およびMV変換部の主な構成例を示すブロック図である。
【図２７】符号化パラメータ提供側のインター動き予測処理の流れの他の例を示すフローチャートである。
【図２８】符号化パラメータ提供側の動きベクトル探索処理の流れの例を示すフローチャートである。
【図２９】符号化パラメータ取得側のインター動き予測処理の流れの他の例を示すフローチャートである。
【図３０】符号化パラメータ取得側の動きベクトル探索処理の流れの例を示すフローチャートである。
【図３１】第１符号化部の、さらに他の構成例を示すブロック図である。
【図３２】第２符号化部の、さらに他の構成例を示すブロック図である。
【図３３】イントラ予測部の主な構成例を示すブロック図である。
【図３４】イントラ予測モードのシフトの例を説明する図である。
【図３５】符号化処理の流れの、さらに他の例を説明するフローチャートである。
【図３６】符号化パラメータ提供側のイントラ予測処理の流れの例を説明するフローチャートである。
【図３７】符号化パラメータ取得側のイントラ予測処理の流れの例を説明するフローチャートである。
【図３８】イントラ変換処理の流れの例を説明するフローチャートである。
【図３９】イントラ変換処理の流れの、他の例を説明するフローチャートである。
【図４０】イントラ変換処理の流れの、さらに他の例を説明するフローチャートである。
【図４１】イントラ変換処理の流れの、さらに他の例を説明するフローチャートである。
【図４２】イントラ変換処理の流れの、さらに他の例を説明するフローチャートである。
【図４３】本開示の画像復号装置の主な構成例を示すブロック図である。
【図４４】第１復号部の主な構成例を示すブロック図である。
【図４５】第２復号部の主な構成例を示すブロック図である。
【図４６】複数画像復号処理の流れの例を説明するフローチャートである。
【図４７】復号処理の流れの例を説明するフローチャートである。
【図４８】予測処理の流れの例を説明するフローチャートである。
【図４９】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置：符号化パラメータ）
２．第２の実施の形態（画像符号化装置：GMV）
３．第３の実施の形態（画像符号化装置：レートコントロールパラメータ）
４．第４の実施の形態（画像符号化装置：MV）
５．第５の実施の形態（画像符号化装置：イントラ予測モード）
６．第６の実施の形態（画像復号装置：イントラ予測モード）
７．第７の実施の形態（コンピュータ）
【００３２】
＜１．第１の実施の形態＞
［符号化パラメータ］
従来、複数の動画像を有するコンテンツを符号化する画像符号化装置がある。
【００３３】
（１）従来の画像符号化装置
図１に、２つの動画像を符号化する従来の画像符号化装置の主な構成例を示す。従来の画像符号化装置１０の場合、コンテンツが有する各動画像（第１画像と第２画像）を取得し、各画像を符号化してビットストリームとして出力する（第１のビットストリームおよび第２のビットストリーム）。
【００３４】
図１に示されるように、画像符号化装置１０は、第１符号化部１１および第２符号化部１２を有する。第１符号化部１１は、第１画像を符号化し、第１ストリームを生成する。第２符号化部１２は、第２画像を符号化し、第２ストリームを生成する。
【００３５】
第１符号化部１１は、符号化パラメータ導出部２１を有している。符号化パラメータ導出部２１は、第１符号化部１１において使用される各種符号化パラメータを導出する。
【００３６】
第２符号化部１２は、符号化パラメータ導出部２２を有している。符号化パラメータ導出部２２は、第２符号化部１２において使用される各種符号化パラメータを導出する。
【００３７】
第１符号化部と第２符号化部の符号化方式は基本的に、互いに同様であり、互いに同様の処理が行われる。また、第１画像と第２画像は、互いに同じコンテンツの動画像であり、互いに相関性が高い。すなわち、符号化パラメータ導出部２１において導出される符号化パラメータと、符号化パラメータ導出部２２において導出される符号化パラメータとの相関性も高い。
【００３８】
しかしながら、従来の画像符号化装置１０の場合、上述したように、第１画像と第２画像のそれぞれに対して、互いに独立に符号化パラメータが導出される。したがって、この処理は、冗長な部分を多く含み、非効率である。換言するに、この各画像に対する符号化パラメータの導出が、不要に符号化処理の負荷を増大させる恐れがあった。
【００３９】
（２）画像符号化装置（２視点）
そこで、複数画像に対する符号化処理における、このような不要な負荷の増大を抑制するために、ある画像に対して生成された符号化パラメータを、他の画像に対する符号化処理にも利用することができるようにする。
【００４０】
（２−１）構成
図２は、本開示の一実施形態に係る画像符号化装置１００の構成の一例を示すブロック図である。図２に示される画像符号化装置１００は、本技術を適用した画像処理装置である。
【００４１】
この画像符号化装置１００は、画像符号化装置１０と同様に、入力された２系統の動画像（第１画像と第２画像）をそれぞれ符号化し、得られた２系統の符号化データ（第１ストリームと第２ストリーム）を出力する。
【００４２】
図２に示されるように、画像符号化装置１００は、第１画像情報取得部１１１−１、第２画像情報取得部１１１−２、第１符号化部１１２−１、および第２符号化部１１２−２を有する。
【００４３】
第１画像情報取得部１１１−１は、例えば、画角、画サイズ、フレームレート、視差に関する情報、ビットレート、信号成分、および撮像条件等の、入力される第１画像に関する情報である第１画像情報を取得する。なお、第１画像情報の内容は、第１画像に関するものである限り任意であり、また、その数も任意である。したがって、例えば、第１画像情報に含まれる情報は、上述した例に限定されないし、上述した例の中の一部のみであってもよい。
【００４４】
第１画像情報取得部１１１−１は、例えば、入力される第１画像のヘッダから第１画像情報を抽出する。また、第１画像情報取得部１１１−１は、例えば、被写体を撮像して第１画像を得るカメラ（図示せず）と通信して第１画像情報を取得することもできる。もちろん、第１画像情報の取得元や取得方法は任意であり、第１画像情報取得部１１１−１は、上述した以外の場所から上述した以外の方法で第１画像情報を取得することができる。例えば、第１画像情報取得部１１１−１は、複数の場所から互いに異なる方法で第１画像情報を取得することもできる。
【００４５】
第１画像情報取得部１１１−１は、取得した第１画像情報を第１符号化部１１２−１に供給する。第１画像情報取得部１１１−１は、取得した第１画像情報を、第２画像情報取得部１１１−２に供給することもできる。
【００４６】
第２画像情報取得部１１１−２は、例えば、画角、画サイズ、フレームレート、視差に関する情報、ビットレート、信号成分、および撮像条件等の、入力される第２画像に関する情報である第２画像情報を取得する。なお、第２画像情報の内容は、第２画像に関するものである限り任意であり、また、その数も任意である。したがって、例えば、第２画像情報に含まれる情報は、上述した例に限定されないし、上述した例の中の一部のみであってもよい。
【００４７】
第２画像情報取得部１１１−２は、例えば、入力される第２画像のヘッダから第２画像情報を抽出する。また、第２画像情報取得部１１１−２は、例えば、被写体を撮像して第２画像を得るカメラ（図示せず）と通信して第２画像情報を取得することもできる。もちろん、第２画像情報の取得元や取得方法は任意であり、第２画像情報取得部１１１−２は、上述した以外の場所から上述した以外の方法で第２画像情報を取得することができる。例えば、第２画像情報取得部１１１−２は、複数の場所から互いに異なる方法で第２画像情報を取得することもできる。
【００４８】
第２画像情報取得部１１１−２は、取得した第２画像情報を第２符号化部１１２−２に供給する。また、第２画像情報取得部１１１−２は、第１画像情報取得部１１１−１から供給される第１画像情報を、第２画像情報取得部１１１−２に供給する。
【００４９】
第１符号化部１１２−１は、第１画像情報取得部１１１−１から供給される第１画像情報を適宜利用して、第１画像を符号化し、生成した第１ストリームを画像符号化装置１００の外部に出力する。
【００５０】
第１符号化部１１２−１は、符号化パラメータ導出部１２１−１を有している。符号化パラメータ導出部１２１−１は、第１画像の符号化に必要な符号化パラメータを、少なくとも１つ以上導出（生成）する。符号化パラメータ導出部１２１−１は、任意の数の、任意の種類の符号化パラメータを導出することができる。符号化パラメータの例としては、例えば、GMV（Global Motion Vector）、MV（Motion Vector）、ターゲットビット、Q値、およびイントラ予測モードがある。もちろん、符号化パラメータ導出部１２１−１は、これら以外の符号化パラメータを導出することができる。
【００５１】
第１符号化部１１２−１（符号化パラメータ導出部１２１−１）は、符号化パラメータ導出部１２１−１が導出（生成）した符号化パラメータの内、少なくともいずれか１つを、第２符号化部１１２−２に供給することができる。
【００５２】
第２符号化部１１２−２は、第２画像情報取得部１１１−２から供給される第１画像情報や第２画像情報を適宜利用して、第２画像を符号化し、生成した第２ストリームを画像符号化装置１００の外部に出力する。
【００５３】
第２符号化部１１２−２は、符号化パラメータ変換部１２１−２を有している。符号化パラメータ変換部１２１−２は、第１符号化部１１２−１（符号化パラメータ導出部１２１−１）から供給される符号化パラメータを取得する。
【００５４】
この符号化パラメータは、第１画像情報の符号化のために導出されたものであるので、第１画像に適した値に設定されている。そこで、符号化パラメータ変換部１２１−２は、取得した符号化パラメータの値を、第１画像情報や第２画像情報を用いて、第２画像情報に適した値に変換する。
【００５５】
第２符号化部１１２−２は、符号化パラメータ変換部１２１−２により値が変換された符号化パラメータを用いて、第２画像の符号化を行う。
【００５６】
このように、画像符号化装置１００は、第１画像の符号化のために生成された符号化パラメータを第２画像の符号化にも流用することができる。したがって、画像符号化装置１００は、負荷の大きな符号化パラメータの導出処理を低減させることができる。つまり、画像符号化装置１００は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
【００５７】
なお、第１符号化部１１２−１および第２符号化部１１２−２の符号化方式は、任意である。ただし、第１符号化部１１２−１および第２符号化部１１２−２は、互いに同一の符号化方式で符号化を行うものとする。もちろん、第１符号化部１１２−１と第２符号化部１１２−２とが互いに異なる符号化方式で符号化を行うようにすることは可能であるが、符号化方式を互いに同一とすることにより、上述したような符号化パラメータの流用が容易になる。
【００５８】
なお、第１画像情報取得部１１１−１と第２画像情報取得部１１１−２とを１つの画像情報取得部１１１とすることもできる。その場合、画像情報取得部１１１は、例えば時分割方式により、第１画像情報の取得と第２画像情報の取得の両方を行う。
【００５９】
また、例えば、第１符号化部１１２−１と第２符号化部１１２−２を１つの符号化部１１２とすることもできる。その場合、符号化部１１２は、例えば時分割方式により、第１画像の符号化と第２画像の符号化の両方を行う。
【００６０】
もちろん、画像符号化装置１００が、１系統の動画像を複数の符号化部を用いて符号化するようにしてもよいし、複数の画像情報取得部を用いて画像情報を取得するようにしてもよい。つまり、画像符号化装置１００が有する画像情報取得部および符号化部の数は、それぞれ、任意である。
【００６１】
なお、例えば入力される第１画像および第２画像の画像情報が既知である場合、画像情報取得部１１１（第１画像情報取得部１１１−１および第２画像情報取得部１１１−２）を省略することもできる。例えば、画像符号化装置１００が、MVC(Multi-view Video Coding)規格に準拠する符号化を行う場合、画像間の視差は既知であるので、画像情報取得部１１１（第１画像情報取得部１１１−１および第２画像情報取得部１１１−２）は省略することができる。
【００６２】
（２−２）画像
ここで、画像符号化装置１００が処理する動画像について説明する。
【００６３】
画像符号化装置１００に入力される第１画像および第２画像は、１つのコンテンツとして提供され得る動画像組である。第１画像と第２画像は、それぞれ、どのような動画像であってもよい。
【００６４】
例えば、第１画像および第２画像の生成方法は、それぞれ、任意である。例えば、カメラなどにより被写体を撮像して得られた動画像であっても良いし、他の画像を編集して生成された動画像であってもよいし、コンピュータグラフィックやアニメーション等のように撮像以外の方法で生成された動画像であってもよい。
【００６５】
また、撮像の場合、第１の画像および第２の画像が互いに同一のカメラで撮像されたものであっても良いし、互いに異なるカメラで撮像されたものであっても良い。また、第１の画像と第２の画像とで、被写体が互いに完全に同一若しくは略同一であってもよいし、全く異なっていてもよい。
【００６６】
第１画像および第２画像は、絵としての内容が、互いに全く異なるものであっても良いが、互いに相関性が高い方が、符号化パラメータの流用が容易になり望ましい。ただし、第１画像と第２画像は、完全に同一の画像ではなく、少なくとも１つ以上の何らかの画像情報が互いに異なる。
【００６７】
画像情報の種類は任意である。例えば、画角、画サイズ、フレームレート（fps）、視差、解像度、ビットレート等であってもよい。また、例えば、撮像時の環境（例えば、明るさ、温度、湿度、時刻、場所等）やカメラの設定（例えば、露出、シャッタースピード、カメラやメモリのデバイス情報等）等を含む撮像条件、編集に使用したアプリケーションや編集内容等を含む編集条件、プログレッシブかインターレースかを示す情報等であってもよい。もちろんこれら以外であっても良い。
【００６８】
第１画像と第２画像は、互いに相関性が高いものの完全に同一ではないので、例えば、互いに略同時に略同一の被写体を撮像して得られた動画像であるものとしてもよい。その際、各フレーム（若しくはフィールド）の撮像タイミングは互いに同一であってもよいし、異なっていても良いが、いずれの場合も、一般的には実質的に同時とみなすことができる。
【００６９】
第１画像と第２画像の表示方法は任意である。例えば、これらの動画像を互いに並行して（実質的に同時に）表示するようにしてもよい。その際、各フレーム（若しくはフィールド）の画像表示のタイミングは互いに同一であってもよいし、異なっていても良いが、いずれの場合も、一般的には実質的に同時とみなすことができる。
【００７０】
（３）画像符号化装置（Ｎ視点）
なお、処理する動画像の系統数は任意である。例えば、画像符号化装置１００が、図３に示されるようにＮ系統の画像（第１画像乃至第Ｎ画像）を符号化するようにしてもよい。その場合、図３に示されるように、動画像の系統毎に画像取得部と符号化部を設けるようにしてもよいが、時分割方式により、１つの画像取得部および符号化部によって複数系統の動画像を処理するようにしてもよい。
【００７１】
この場合も、いずれか１つ以上の符号化部に設けられた符号化パラメータ導出部が符号化パラメータを導出する。その他の符号化部には、符号化パラメータ変換部が設けられ、符号化パラメータ導出部により導出された符号化パラメータを変換して利用する。
【００７２】
したがって、画像符号化装置１００は、この場合も、負荷の大きな符号化パラメータ導出の処理を省略することができる。つまり、画像符号化装置１００は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
【００７３】
以下に、符号化パラメータの具体例について説明する。なお、以下においては、画像符号化装置１００が２系統の動画像を処理する場合（つまり、図２の例）について説明する。ただし、その説明は、矛盾が生じない限り、画像符号化装置１００が３系統以上の動画像を処理する場合（つまり図３の例）にも適用することができる。
【００７４】
＜２．第２の実施の形態＞
［GMV］
符号化パラメータの例として、GMV（Global Motion Vector）について説明する。GMVは、ピクチャ全体の動きを示す動きベクトルである。より具体的には、GMVは、例えばマクロブロック毎に生成される動きベクトルの、ピクチャ内において最も度数が多い動きベクトルである。
【００７５】
このGMVは、例えば、GMVが導出されたフレーム若しくはフィールドより時間的に後に処理されるフレーム若しくはフィールドの動き予測において、動きベクトル探索の起点の１つとして利用される。つまり、GMVは、動き予測の開始の時点で、ある程度の精度で動きベクトルを予測するものである。このようにGMVを利用することにより、動きベクトルの探索をより効率よく行うことが期待できる。
【００７６】
動きベクトルのヒストグラムをピクチャ全体で集計し、その度数が最も大きな動きベクトルがGMVとして選択される。このようなGMVの導出処理において、ヒストグラムの生成や、度数の多い動きベクトルの探索等の負荷が大きい。
【００７７】
画像符号化装置１００は、上述したように、第１符号化部１１２−１において導出されたGMVを、第２符号化部１１２−２の符号化処理に利用することにより、GMV導出に関する負荷の大きなこれらの処理を省略することができる。これにより、画像符号化装置１００は、負荷の増大の抑制を実現することができる。
【００７８】
（１）符号化部
図４は、この場合の第１符号化部１１２−１の主な構成例を示すブロック図である。
【００７９】
図４に示される第１符号化部１１２−１は、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式のように、予測処理を用いて画像データを符号化する。
【００８０】
図４に示されるように第１符号化部１１２−１は、A/D変換部１５１、画面並べ替えバッファ１５２、演算部１５３、直交変換部１５４、量子化部１５５、可逆符号化部１５６、および蓄積バッファ１５７を有する。また、第１符号化部１１２−１は、逆量子化部１５８、逆直交変換部１５９、演算部１６０、デブロックフィルタ１６１、フレームメモリ１６２、選択部１６３、イントラ予測部１６４、動き予測・補償部１６５、予測画像選択部１６６、およびレート制御部１６７を有する。
【００８１】
第１符号化部１１２−１は、さらに、GMV導出部１７１を有する。
【００８２】
A/D変換部１５１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１５２に供給し、記憶させる。画面並べ替えバッファ１５２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１５３に供給する。また、画面並べ替えバッファ１５２は、フレームの順番を並び替えた画像を、イントラ予測部１６４および動き予測・補償部１６５にも供給する。
【００８３】
演算部１５３は、画面並べ替えバッファ１５２から読み出された画像から、予測画像選択部１６６を介してイントラ予測部１６４若しくは動き予測・補償部１６５から供給される予測画像を減算し、その差分情報を直交変換部１５４に出力する。
【００８４】
例えば、インター符号化が行われる画像の場合、演算部１５３は、画面並べ替えバッファ１５２から読み出された画像から、動き予測・補償部１６５から供給される予測画像を減算する。
【００８５】
直交変換部１５４は、演算部１５３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１５４は、その変換係数を量子化部１５５に供給する。
【００８６】
量子化部１５５は、直交変換部１５４から供給される変換係数を量子化する。量子化部１５５は、レート制御部１６７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１５５は、量子化された変換係数を可逆符号化部１５６に供給する。
【００８７】
可逆符号化部１５６は、量子化部１５５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１６７の制御の下で量子化されているので、この符号量は、レート制御部１６７が設定した目標値となる（若しくは目標値に近似する）。
【００８８】
また、可逆符号化部１５６は、イントラ予測のモードを示す情報などをイントラ予測部１６４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部１６５から取得する。さらに、可逆符号化部１０６は、デブロックフィルタ１６１において使用されたフィルタ係数等を取得する。
【００８９】
可逆符号化部１５６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１５６は、符号化して得られた符号化データを蓄積バッファ１５７に供給して蓄積させる。
【００９０】
可逆符号化部１５６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【００９１】
蓄積バッファ１５７は、可逆符号化部１５６から供給された符号化データを、一時的に保持する。蓄積バッファ１５７は、所定のタイミングにおいて、保持している符号化データを、ビットストリームとして例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
【００９２】
また、量子化部１５５において量子化された変換係数は、逆量子化部１５８にも供給される。逆量子化部１５８は、その量子化された変換係数を、量子化部１５５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１５５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１５８は、得られた変換係数を、逆直交変換部１５９に供給する。
【００９３】
逆直交変換部１５９は、逆量子化部１５８から供給された変換係数を、直交変換部１５４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１５４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部１６０に供給される。
【００９４】
演算部１６０は、逆直交変換部１５９から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１６６を介してイントラ予測部１６４若しくは動き予測・補償部１６５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、デブロックフィルタ１６１またはフレームメモリ１６２に供給される。
【００９５】
デブロックフィルタ１６１は、演算部１６０から供給される復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１６１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１５６に供給し、それを符号化させるようにすることもできる。
【００９６】
デブロックフィルタ１６１は、フィルタ処理結果（フィルタ処理後の復号画像）をフレームメモリ１６２に供給する。なお、上述したように、演算部１６０から出力される復号画像は、デブロックフィルタ１６１を介さずにフレームメモリ１６２に供給することができる。つまり、デブロックフィルタ１６１によるフィルタ処理は省略することができる。
【００９７】
フレームメモリ１６２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１６３に供給する。
【００９８】
選択部１６３は、フレームメモリ１６２から供給される参照画像の供給先を選択する。例えば、インター予測の場合、選択部１６３は、フレームメモリ１６２から供給される参照画像を動き予測・補償部１６５に供給する。
【００９９】
イントラ予測部１６４は、選択部１６３を介してフレームメモリ１６２から供給される参照画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１６４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
【０１００】
イントラ予測部１６４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１５２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１６４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１６６に供給する。
【０１０１】
また、上述したように、イントラ予測部１６４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１５６に供給し、符号化させる。
【０１０２】
動き予測・補償部１６５は、画面並べ替えバッファ１５２から供給される入力画像と、選択部１６３を介してフレームメモリ１６２から供給される参照画像とを用いて動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１６５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。
【０１０３】
動き予測・補償部１６５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１６５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１６６に供給する。
【０１０４】
また、動き予測・補償部１６５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１５６に供給し、符号化させる。
【０１０５】
予測画像選択部１６６は、演算部１５３や演算部１６０に供給する予測画像の供給元を選択する。例えば、インター符号化の場合、予測画像選択部１６６は、予測画像の供給元として動き予測・補償部１６５を選択し、その動き予測・補償部１６５から供給される予測画像を演算部１５３や演算部１６０に供給する。
【０１０６】
レート制御部１６７は、蓄積バッファ１５７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５５の量子化動作のレートを制御する。
【０１０７】
GMV導出部１７１は、動き予測・補償部１６５の動き予測において探索の起点として利用されるGMVを導出する。より具体的には、GMV導出部１７１は、動き予測・補償部１６５において探索された各マクロブロックの動きベクトルを取得し、その動きベクトルを集計してヒストグラムを生成する。１ピクチャ分のヒストグラムを生成すると、GMV導出部１７１は、その中で度数の最も多い動きベクトルをGMVとして選択する。
【０１０８】
GMV導出部１７１は、導出したGMVを動き予測・補償部１６５に供給する。動き予測・補償部１６５は、GMV導出部１７１から供給されるGMVを起点の１つとして動き探索を行う。
【０１０９】
また、GMV導出部１７１は、導出したGMVを、第２符号化部１１２−２に供給する。
【０１１０】
この例において、符号化パラメータは、GMVである。すなわち、GMV導出部１７１は、図２の符号化パラメータ導出部１２１−１に対応する。
【０１１１】
図５は、第２符号化部１１２−２の主な構成例を示すブロック図である。図５に示されるように、第２符号化部１１２−２は、第１符号化部１１２−１（図４）と、基本的に同様の構成を有し、同様の処理を行う。
【０１１２】
ただし、第２符号化部１１２−２は、第１符号化部１１２−１のGMV導出部１７１の代わりに、GMV変換部１７２を有する。
【０１１３】
GMV変換部１７２は、GMV導出部（図４）から供給されるGMVを取得し、第２画像情報取得部１１１−１（図２）から供給される第１画像情報や第２画像情報に基づいて、そのGMVを、第２画像用の値に変換する。GMV変換部１７２は、変換後のGMVを動き予測・補償部１６５に供給する。動き予測・補償部１６５は、そのGMVを起点の１つとして動き探索を行う。
【０１１４】
このようにすることにより、第２符号化部１１２−２は、GMVの導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置１００は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
【０１１５】
（２）処理の流れ
次に、このような画像符号化装置１００により実行される処理の流れについて説明する。
【０１１６】
（２−１）複数画像符号化処理
図６のフローチャートを参照して、画像符号化装置１００により実行される複数画像符号化処理の流れの例を説明する。
【０１１７】
画像符号化装置１００の画像情報取得部１１１（第１画像情報取得部１１１−１および第２画像情報取得部１１１−２）は、ステップＳ１０１およびステップＳ１０２の各処理を行うことにより、それぞれの画像の画像情報を取得する。
【０１１８】
符号化部１１２（第１符号化部１１２−１および第２符号化部１１２−２）は、ステップＳ１０３およびステップＳ１０４の各処理を行うことにより、それぞれの画像を符号化する。
【０１１９】
（２−２）符号化処理
図７のフローチャートを参照して、図６のステップＳ１０３において実行される、各画像の符号化処理の流れの例を説明する。この処理は、各系統の動画像について行われる。すなわち、第１符号化部１１２−１および第２符号化部１１２−２がそれぞれ、この符号化処理を実行する。
【０１２０】
ステップＳ１２１において、A/D変換部１５１は入力された画像をA/D変換する。ステップＳ１２２において、画面並べ替えバッファ１５２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０１２１】
ステップＳ１２３において、イントラ予測部１６４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１２４において、動き予測・補償部１６５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
【０１２２】
ステップＳ１２５において、予測画像選択部１６６は、イントラ予測部１６４および動き予測・補償部１６５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、予測画像選択部１６６は、イントラ予測部１６４により生成された予測画像と、動き予測・補償部１６５により生成された予測画像のいずれか一方を選択する。
【０１２３】
ステップＳ１２６において、演算部１５３は、ステップＳ１２２の処理により並び替えられた画像と、ステップＳ１２５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１２４】
ステップＳ１２７において、直交変換部１５４は、ステップＳ１２６の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１２８において、量子化部１５５は、ステップＳ１２７の処理により得られた直交変換係数を量子化する。
【０１２５】
ステップＳ１２８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１２９において、逆量子化部１５８はステップＳ１２８の処理により量子化された直交変換係数を、ステップＳ１２８の量子化に対応する方法で逆量子化する。ステップＳ１３０において、逆直交変換部１５９は、ステップＳ１２９の処理により得られた直交変換係数を、ステップＳ１２７の処理に対応する方法で逆直交変換する。
【０１２６】
ステップＳ１３１において、演算部１６０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１５３への入力に対応する画像）を生成する。ステップＳ１３２において、デブロックフィルタ１６１は、ステップＳ１３１の処理により生成された画像に対してデブロックフィルタ処理を行う。これによりブロック歪み等が除去される。
【０１２７】
ステップＳ１３３において、フレームメモリ１６２は、ステップＳ１３２の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１６２にはデブロックフィルタ１６１によりフィルタ処理されていない画像も演算部１６０から供給され、記憶される。このフレームメモリ１６２に記憶された画像は、ステップＳ１２３の処理やステップＳ１２４の処理に利用される。
【０１２８】
ステップＳ１３４おいて、可逆符号化部１５６は、ステップＳ１２８の処理により量子化された変換係数を符号化し、符号化データを生成する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１２９】
なお、可逆符号化部１５６は、ステップＳ１２５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。例えば、イントラ予測モードが選択された場合、可逆符号化部１５６は、イントラ予測モード情報を符号化する。また、例えば、インター予測モードが選択された場合、可逆符号化部１５６は、インター予測モード情報を符号化する。これらの情報は、例えばヘッダ情報等として符号化データに付加（多重化）される。
【０１３０】
ステップＳ１３５において蓄積バッファ１５７は、ステップＳ１３４の処理により生成された符号化データを蓄積する。蓄積バッファ１５７に蓄積された符号化データは、適宜読み出され、任意の伝送路（通信路だけでなく記憶媒体等も含む）を介して復号側の装置に伝送される。
【０１３１】
ステップＳ１３６においてレート制御部１６７は、ステップＳ１３５の処理により蓄積バッファ１５７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５５の量子化動作のレートを制御する。
【０１３２】
ステップＳ１３６の処理が終了すると、符号化処理が終了される。
【０１３３】
（２−３）インター動き予測処理
図８のフローチャートを参照して、図７のステップＳ１２４において実行されるインター動き予測処理の流れの例を説明する。この処理は、第１符号化部１１２−１が第１画像について図７の符号化処理を実行した場合に実行される。
【０１３４】
第１符号化部１１２−１の動き予測・補償部１６５は、ステップＳ１５１において、第１画像の動き探索を行い、マクロブロック毎の動きベクトルを検出する。この動き予測・補償部１６５は、ステップＳ１５２において、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。
【０１３５】
ステップＳ１５３において、GMV導出部１７１は、ステップＳ１５１において検出されたマクロブロック毎の動きベクトルを用いて、GMV導出処理を行う。
【０１３６】
動き予測・補償部１６５は、ステップＳ１５１乃至ステップＳ１５４の処理を繰り返し、全てのマクロブロックについて処理を行う。
【０１３７】
（２−４）GMV導出処理
図９のフローチャートを参照して、図８のステップＳ１５３において実行されるGMV導出処理の流れの例を説明する。
【０１３８】
GMV導出部１７１は、ステップＳ１６１およびステップＳ１６２の処理を実行することにより、ピクチャ内の最初のマクロブロック（MB）を処理対象とする場合、動きベクトル（MV）収集用のヒストグラムを初期化する。
【０１３９】
GMV導出部１７１は、ステップＳ１６３において、処理中のマクロブロックの動きベクトルを、動き予測・補償部１６５から収集し、動きベクトル収集用のヒストグラムを更新する。
【０１４０】
GMV導出部１７１は、ステップＳ１６４およびステップＳ１６５の処理を実行することにより、ピクチャ内の最後のマクロブロックについて、動きベクトルを収集した後、ヒストグラム内の度数の多い箇所を探索し、その動きベクトルをGMVとする。GMV導出部１７１は、以上のように導出したGMVを、第２符号化部１１２−２に供給する。
【０１４１】
（２−５）インター動き予測処理
図１０のフローチャートを参照して、図７のステップＳ１２４において実行されるインター動き予測処理の流れの例を説明する。この処理は、第２符号化部１１２−２が第２画像について図７の符号化処理を実行した場合に実行される。
【０１４２】
第２符号化部１１２−２のGMV変換部１７２は、ステップＳ１７１において、GMV導出部１７１から供給されるGMVを取得し、そのGMVを第２画像用に変換するGMV変換処理を行う。
【０１４３】
第２符号化部１１２−２の動き予測・補償部１６５は、ステップＳ１７２において、ステップＳ１７１のGMV変換処理により生成された第２画像用のGMVを用いて、第２画像の動き探索を行い、マクロブロック毎の動きベクトルを検出する。この動き予測・補償部１６５は、ステップＳ１７３において、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。
【０１４４】
動き予測・補償部１６５は、ステップＳ１７１乃至ステップＳ１７４の処理を繰り返し、全てのマクロブロックについて処理を行う。
【０１４５】
（２−６）GMV導出処理
図１１のフローチャートを参照して、図１０のステップＳ１７１において実行されるGMV変換処理の流れの例を説明する。
【０１４６】
GMV変換部１７２は、ステップＳ１８１およびステップＳ１８２の処理を実行することにより、ピクチャ内の最初のマクロブロック（MB）を処理対象とする場合、GMV導出部１７１から供給されたGMVを、例えば第２画像情報取得部１１１−２から供給される第１画像情報および第２画像情報を用いて、処理中である第２画像のGMVに変換する。
【０１４７】
以上のように各処理を実行することにより、画像符号化装置１００は、第１画像用に生成されたGMVを他の画像（例えば第２画像）の符号化に利用することができる。つまり、画像符号化装置１００は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
【０１４８】
（３）フィードフォワード
なお、従来のように、動画像毎にGMVを導出する場合、そのGMVは、導出したタイミングより後のフレームにおいて利用される。例えば、図１２のＡに示されるように、フレーム（Ｍ＋１）において導出されたGMVは、フレーム（Ｍ＋２）において利用される。つまり、フィードバック制御となる。したがって、GMVの導出と利用のタイミングが異なるので、GMVの精度が低減する恐れがあった。
【０１４９】
これに対して、上述したように、他の動画像で導出されたGMVを利用する場合、GMVが導出されたフレームと同じタイミングのフレームにおいて利用することができる。例えば、図１２のＢに示されるように、第１画像のフレーム（Ｍ＋１）において導出されたGMVを第２画像のフレーム（Ｍ＋１）において利用することができる。つまり、フィードフォワード制御が可能になる。したがって、GMVの導出と利用のタイミングが一致若しくはより近似するので、画像符号化装置１００は、GMVの精度を向上させることができる。
【０１５０】
（４）画像情報
次に、より具体的な例について説明する。
【０１５１】
（４−１）画角
第１画像と第２画像とで差異のある画像情報が画角であるとする。例えば、図１３のＡに示されるように、第１画像がワイド側で第２画像がテレ側であるとする。この場合、第１画像と第２画像の被写体は基本的に同一であるが、第１画像の方が画角が広くなっている。
【０１５２】
第１画像情報取得部１１１−１が取得する第１画像の画角を画角［１］とし、第２画像情報取得部１１１−２が取得する第２画像の画角を画角［２］とする。また、GMV導出部１７１が導出する第１画像のGMVをGMV［１］とする。GMV変換部１７２は、以下の式（１）のように、第２画像のGMV［２］を容易に求めることができる。
【０１５３】
GMV［２］＝画角［２］／画角［１］×GMV［１］  ・・・（１）
【０１５４】
（４−２）画サイズ
第１画像と第２画像とで差異のある画像情報が画サイズであるとする。例えば、図１３のＢに示されるように、第１画像の画サイズが第２画像よりも大きいとする。この場合、第１画像と第２画像の被写体は基本的に同一であるが、第１画像の方が画像が大きくなっている。
【０１５５】
第１画像情報取得部１１１−１が取得する第１画像の画サイズを画サイズ［１］とし、第２画像情報取得部１１１−２が取得する第２画像の画サイズを画サイズ［２］とする。また、GMV導出部１７１が導出する第１画像のGMVをGMV［１］とする。GMV変換部１７２は、以下の式（２）のように、第２画像のGMV［２］を容易に求めることができる。
【０１５６】
GMV［２］＝画サイズ［２］／画サイズ［１］×GMV［１］  ・・・（２）
【０１５７】
（４−３）ＦＰＳ
第１画像と第２画像とで差異のある画像情報がフレームレート（FPS）であるとする。例えば、図１４のＡに示されるように、第１画像のフレームレートが第２画像の２倍であるとする。この場合、第１画像と第２画像とで画像は同一となるが、第２画像には、「Ｍ＋１」のタイミングのフレームは存在しない。
【０１５８】
第１画像情報取得部１１１−１が取得する第１画像のフレームレートをfps［１］とし、第２画像情報取得部１１１−２が取得する第２画像のフレームレートをfps［２］とする。また、GMV導出部１７１が導出する第１画像の「Ｍ＋２」のフレームのGMVをGMV［１、Ｍ＋２］とする。GMV変換部１７２は、以下の式（３）のように、第２画像の「Ｍ＋２」のフレームのGMV［２、Ｍ＋２］を容易に求めることができる。
【０１５９】
GMV［２、Ｍ＋２］＝fps［２］／fps［１］×GMV［１、Ｍ＋２］  ・・・（３）
【０１６０】
例えば、fps［１］＝６０ｉ、fps［２］＝３０ｐとすると、GMV変換部１７２は、以下のようにGMV［２、Ｍ＋２］を求めることができる。
【０１６１】
GMV［２、Ｍ＋２］＝GMV［１、Ｍ＋２］
【０１６２】
（４−４）視差
例えば、MVCの画像のように、第１画像と第２画像とで視差があるとする。例えば、図１４のＢに示されるように、第１画像が左眼用画像で、第２画像が右眼用画像であるとする。この場合、第１画像と第２画像の被写体は略同一であるが、第１画像と第２画像との間に視差が生じる。
【０１６３】
この場合、視差による画像の違いは極わずかであり、第１画像と第２画像は、略同一であるとみなすことができる。したがって、GMV変換部１７２は、以下の式（４）のように、第１画像のGMV［１］を用いて、第２画像のGMV［２］を容易に求めることができる。
【０１６４】
GMV［２］＝GMV［１］  ・・・（４）
【０１６５】
つまり、第１画像のGMVをそのまま第２画像に適用することができる。
【０１６６】
なお、画像情報がいずれの場合も、フィードフォワード制御を行うことができる。
【０１６７】
また、第１画像と第２画像とで差異のある画像情報が上述した例以外のものであってもよい。また、第１画像と第２画像とで差異のある画像情報が複数存在しても良い。
【０１６８】
＜３．第３の実施の形態＞
［レートコントロールパラメータ］
他の動画像に利用する符号化パラメータは、GMV以外であってもよい。例えば、レート制御に用いられるパラメータ（レートコントロールパラメータ）であってもよい。より具体的には、例えば、フレーム毎のターゲットビットで合っても良いし、Q値（量子化パラメータ）であってもよい。
【０１６９】
例えば、ターゲットビットは、ピクチャ単位で導出され、ターゲットビットが導出されたフレーム若しくはフィールドより時間的に後に処理されるフレーム若しくはフィールドのレート制御に利用される。ターゲットビットの導出方法は、例えば、MVCの場合、TM5（TestModel 5）により規定されているが、このターゲットビットの導出（TM5におけるステップ１）の負荷が大きい。
【０１７０】
画像符号化装置１００は、上述したように、第１符号化部１１２−１において導出されたターゲットビットを、第２符号化部１１２−２の符号化処理に利用することにより、ターゲットビット導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置１００は、負荷の増大の抑制を実現することができる。
【０１７１】
また、Q値は、マクロブロック毎に算出される。TM5においては、所定のQ値からの差分であるデルタQ値を算出することが規定されている（ステップ３）。この処理の負荷も大きい。
【０１７２】
画像符号化装置１００は、上述したように、第１符号化部１１２−１において導出されたデルタQ値を、第２符号化部１１２−２の符号化処理に利用することにより、デルタQ値導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置１００は、負荷の増大の抑制を実現することができる。
【０１７３】
（１）符号化部
図１５は、この場合の第１符号化部１１２−１の主な構成例を示すブロック図である。
【０１７４】
図１５の例の場合も、第１符号化部１１２−１は、基本的に図４の例の場合と同様の構成を有するが、図１５の場合、GMV導出部１７１は省略され、レート制御部１６７の代わりに、レート制御部２０１を有する。
【０１７５】
レート制御部２０１は、基本的にレート制御部１６７と同様の処理部であるが、レートコントロールパラメータ導出部２０２を有する。
【０１７６】
レートコントロールパラメータ導出部２０２は、例えばターゲットビットやデルタQ値等のレート制御に関する符号化パラメータ（レートコントロールパラメータ）を生成する。レート制御部２０１は、このレートコントロールパラメータ導出部２０２により導出されたレートコントロールパラメータを用いて、レート制御を行う。また、レート制御部２０１（レートコントロールパラメータ導出部２０２）は、導出された、例えばターゲットビットやデルタQ値等のレートコントロールパラメータを、第２符号化部１１２−２に供給する。
【０１７７】
図１６は、第２符号化部１１２−２の主な構成例を示すブロック図である。図１６に示されるように、第２符号化部は、第１符号化部１１２−１（図１５）と、基本的に同様の構成を有し、同様の処理を行う。
【０１７８】
ただし、第２符号化部１１２−２は、第１符号化部１１２−１のレート制御部２０１の代わりに、レート制御部２１１を有する。
【０１７９】
レート制御部２１１は、レート制御部２０１と同様にレート制御を行う処理部であるが、レートコントロールパラメータ変換部２１２を有する。
【０１８０】
レートコントロールパラメータ変換部２１２は、レート制御部２０１（レートコントロールパラメータ導出部２０２）（図１５）から供給された、例えばターゲットビットやデルタQ値等のレートコントロールパラメータを、第２画像情報取得部１１１−１（図２）から供給される第１画像情報や第２画像情報に基づいて、第２画像用のパラメータに変換する。レート制御部２１１は、変換されたレートコントロールパラメータを用いて、第２画像符号化のレート制御を行う。
【０１８１】
このようにすることにより、第２符号化部１１２−２は、レートコントロールパラメータの導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置１００は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
【０１８２】
（２）処理の流れ
次に、このような画像符号化装置１００により実行される処理の流れについて説明する。複数画像符号化処理は、図６の例と同様に実行される。
【０１８３】
（２−１）符号化処理
この場合の、符号化処理の流れの例を図１７に示す。図１７に示されるように、この場合も符号化処理は、図７の場合と同様に実行される。つまり、ステップＳ２０１乃至ステップＳ２１６の各処理は、基本的に、図７のステップＳ１２１乃至ステップＳ１３６の各処理と同様に実行される。ただし、図１７の例の場合、符号化パラメータの導出若しくは変換は、ステップＳ２０４のインター動き予測処理ではなく、ステップＳ２１６のレート制御の際に行われる。
【０１８４】
図１７に示される符号化処理も、図７の場合と同様に、各系統の動画像について行われる。すなわち、第１符号化部１１２−１および第２符号化部１１２−２がそれぞれ、この符号化処理を実行する。
【０１８５】
（２−２）レート制御処理
図１８のフローチャートを参照して、第1符号化部１１２−１により実行される図１７の符号化処理におけるステップＳ２１６において実行されるレート制御処理の流れの例を説明する。
【０１８６】
第１符号化部１１２−１のレートコントロールパラメータ導出部２０２は、ステップＳ２３１乃至ステップＳ２３３の処理を実行することにより、ピクチャ内の最初のマクロブロックの処理の際に、レートコントロールパラメータとして、ピクチャ単位のターゲットビットを求め、さらに、ピクチャ単位の発生ビット量を初期化する。
【０１８７】
レートコントロールパラメータ導出部２０２は、ステップＳ２３４において、レートコントロールパラメータとして、処理中のマクロブロックのＱ値（TM5におけるステップ３のデルタＱ値）を求める。
【０１８８】
レートコントロールパラメータ導出部２０２は、ステップＳ２３５において、処理中のマクロブロックの発生ビット量をピクチャ単位の発生ビット量に加算する。
【０１８９】
レートコントロールパラメータ導出部２０２は、ステップＳ２３６およびステップＳ２３７の処理を実行することにより、ピクチャ内の最後のマクロブロックに対する処理の際に、ピクチャで発生したビット量を求める。レート制御部２０１は、これらのレートコントロールパラメータを用いてレート制御を行う。
【０１９０】
（２−３）レート制御処理：ターゲットビット
図１９のフローチャートを参照して、第２符号化部１１２−２により実行される図１７の符号化処理におけるステップＳ２１６において実行される、レートコントロールパラメータがターゲットビットの場合の、レート制御処理の流れの例を説明する。
【０１９１】
レートコントロールパラメータ変換部２１２は、ステップＳ２４１乃至ステップＳ２４３の処理を実行することにより、ピクチャ内の最初のマクロブロックに対する処理の際に、レートコントロールパラメータ導出部２０２から供給された、レートコントロールパラメータであるターゲットビットを、処理中である第２画像のターゲットビットに変換し、ピクチャ単位の発生ビット量を初期化する。
【０１９２】
レート制御部２１１は、ステップＳ２４４において、処理中のマクロブロックのＱ値（TM５のステップ３のデルタＱ値）を求め、ステップＳ２４５において、処理中のマクロブロックの発生ビット量をピクチャ単位の発生ビット量に加算し、ステップＳ２４６およびステップＳ２４７の処理により、ピクチャ内の最後のマクロブロックに対する処理の場合、ピクチャで発生したビット量を求める。
【０１９３】
つまり、レートコントロールパラメータ導出部２０２が、第１画像の各ピクチャのターゲットビット［１］を導出し、レートコントロールパラメータ変換部２１２にそれを渡す。レートコントロールパラメータ変換部２１２は、第１画像情報として、第１画像のビットレート［１］を取得し、第２画像情報として、第２画像のビットレート［２］を取得する。レートコントロールパラメータ変換部２１２は、それらの画像情報を用いて、第１画像の各ピクチャのターゲットビット［１］から、第２画像の各ピクチャのターゲットビット［２］を、以下の式（５）のように、容易に求めることができる。
【０１９４】
ターゲットビット［２］
＝ビットレート［２］／ビットレート［１］×ターゲットビット［１］  ・・・（５）  
【０１９５】
これにより、第２符号化部１１２−２では、負荷の大きなピクチャのターゲットビットの導出（ステップ１）を行う必要がなく、ターゲットビット［２］を導出することができる。
【０１９６】
（２−４）レート制御処理：デルタＱ値
図２０のフローチャートを参照して、第２符号化部１１２−２により実行される図１７の符号化処理におけるステップＳ２１６において実行される、レートコントロールパラメータがデルタＱ値の場合の、レート制御処理の流れの例を説明する。
【０１９７】
レート制御部２１１は、ステップＳ２５１乃至ステップＳ２５３の処理を実行することにより、ピクチャ内の最初のマクロブロックに対する処理の際に、ピクチャ単位のターゲットビットを導出し、ピクチャ単位の発生ビット量を初期化する。
【０１９８】
レートコントロールパラメータ変換部２１２は、ステップＳ２５４において、レートコントロールパラメータ導出部２０２から供給された、レートコントロールパラメータである、処理中のマクロブロックのデルタＱ値（TM５のステップ３のデルタＱ値）を、処理中画像である第２画像の処理中のマクロブロックのデルタＱ値（TM５のステップ３のデルタＱ値）に変換する。
【０１９９】
レート制御部２１１は、ステップＳ２５５において、処理中のマクロブロックの発生ビット量をピクチャ単位の発生ビット量に加算し、ステップＳ２５６およびステップＳ２５７の処理により、ピクチャ内の最後のマクロブロックに対する処理の場合、ピクチャで発生したビット量を求める。
【０２００】
つまり、レートコントロールパラメータ導出部２０２が、第１画像の各マクロブロックについて、ステップ３のデルタＱ値［１］を導出し、レートコントロールパラメータ変換部２１２にそれを渡す。
【０２０１】
レートコントロールパラメータ変換部２１２は、第１画像情報として、第１画像の画角［１］を取得し、第２画像情報として、第２画像の画角［２］を取得する。レートコントロールパラメータ変換部２１２は、それらの画像情報を用いて、第１画像の処理中のマクロブロックの、ステップ３のデルタＱ値［１］から、第２画像の処理中のマクロブロックの、ステップ３のデルタＱ値［２］を、以下の式（６）のように、容易に求めることができる。
【０２０２】
ステップ３のデルタＱ値［２］
＝画角［２］／画角［１］×ステップ３のデルタＱ値［１］  ・・・（６）
【０２０３】
これにより、第２符号化部１１２−２は、従来と同様に各ＭＢでステップ２を行うものの、ステップ３の処理を省略することができる。つまり、負荷の大きな各マクロブロックのステップ３処理を行う必要がなく、各マクロブロックのデルタＱ値を導出することができる。
【０２０４】
（２−５）レート制御処理：フィードフォワード
図２１のフローチャートを参照して、第２符号化部１１２−２により実行される図１７の符号化処理におけるステップＳ２１６において実行される、レートコントロールパラメータがターゲットビットの場合の、レート制御処理の流れの例を説明する。図２１の例の場合、ターゲットビットの制御が、フィードフォワード制御で行われる。
【０２０５】
レートコントロールパラメータ変換部２１２は、ステップＳ２６１乃至ステップＳ２６３の処理を実行することにより、ピクチャ内の最初のマクロブロックに対する処理の際に、レートコントロールパラメータ導出部２０２から供給された、レートコントロールパラメータであるターゲットビットを、発生ビット量を用いて、処理中画像である第２画像のターゲットビットに変換し、ピクチャ単位の発生ビット量を初期化する。
【０２０６】
ステップＳ２６４乃至ステップＳ２６７の各処理は、図１９のステップＳ２４４乃至ステップＳ２４７の各処理と同様に実行される。
【０２０７】
つまり、レートコントロールパラメータ導出部２０２が、第１画像の各ピクチャのターゲットビット［１］と発生ビット量［１］を導出し、レートコントロールパラメータ変換部２１２にそれらを渡す。レートコントロールパラメータ変換部２１２は、第１画像情報として、第１画像のビットレート［１］を取得し、第２画像情報として、第２画像のビットレート［２］を取得する。レートコントロールパラメータ変換部２１２は、それらの画像情報を用いて、第１画像の各ピクチャのターゲットビット［１］と発生ビット量［１］から、第２画像の各ピクチャのターゲットビット［２］を、以下の式（７）のように、容易に求めることができる。
【０２０８】
ターゲットビット［２］
＝ビットレート［２］／ビットレート［１］
×（ターゲットビット［１］＋α（発生ビット量［１］−ターゲットビット［１］）  ・・・（７）
【０２０９】
これにより、第２符号化部１１２−２では、負荷の大きなピクチャのターゲットビットの導出（ステップ１）を行う必要がなく、ターゲットビット［２］を導出することができる。
【０２１０】
また、図２２のＡに示されるように、従来フィードバック制御であったが、このようにすることにより、図２２のＢに示されるように、第１画像のピクチャＭの結果を第２画像のピクチャＭに適用することができ、フィードフォワード処理ができ画質改善効果がある。
【０２１１】
上記、ピクチャ単位のターゲットビット導出、各ＭＢのステップ３処理、フィードフォワード処理は任意の組み合わせが可能である。
【０２１２】
（２−６）レート制御処理：画サイズ
なお、レートコントロールパラメータの変換に利用する画像情報は任意であり、上述した例に限らない。例えば、ステップ３のデルタＱ値の変換の際に、画サイズを用いるようにしてもよい。
【０２１３】
その場合のフローチャートは、図２０に示される例と同様である。
【０２１４】
つまり、レートコントロールパラメータ導出部２０２が、第１画像の各マクロブロックについて、ステップ３のデルタＱ値［１］を導出し、レートコントロールパラメータ変換部２１２にそれを渡す。
【０２１５】
レートコントロールパラメータ変換部２１２は、第１画像情報として、第１画像の画サイズ［１］を取得し、第２画像情報として、第２画像の画サイズ［２］を取得する。レートコントロールパラメータ変換部２１２は、それらの画像情報を用いて、第１画像の処理中のマクロブロックの、ステップ３のデルタＱ値［１］から、第２画像の処理中のマクロブロックの、ステップ３のデルタＱ値［２］を、以下の式（８）のように、容易に求めることができる。
【０２１６】
ステップ３のデルタＱ値［２］
＝画サイズ［２］／画サイズ［１］×ステップ３のデルタＱ値［１］  ・・・（８）
【０２１７】
これにより、第２符号化部１１２−２は、従来と同様に各ＭＢでステップ２を行うものの、ステップ３の処理を省略することができる。つまり、負荷の大きな各マクロブロックのステップ３処理を行う必要がなく、各マクロブロックのデルタＱ値を導出することができる。
【０２１８】
（２−７）レート制御処理：フレームレート
なお、レートコントロールパラメータの変換に利用する画像情報は任意であり、上述した例に限らない。例えば、ターゲットビットの変換の際に、フレームレート（fps）を用いるようにしてもよい。
【０２１９】
その場合のフローチャートは、図１９に示される例と同様である。
【０２２０】
つまり、レートコントロールパラメータ導出部２０２が、第１画像のピクチャのターゲットビット［１、Ｍ］、ピクチャ発生ビット量［１、Ｍ］、ピクチャのターゲットビット［１、Ｍ＋１］、およびピクチャ発生ビット量［１、Ｍ＋１］を導出し、レートコントロールパラメータ変換部２１２にそれらを渡す。レートコントロールパラメータ変換部２１２は、第１画像情報として、第１画像のfps［１］を取得し、第２画像情報として、第２画像のfps［２］を取得する。レートコントロールパラメータ変換部２１２は、それらの画像情報を用いて、第２画像の各ピクチャのターゲットビット［２、Ｍ］を、以下の式（９）のように、容易に求めることができる。
【０２２１】
ターゲットビット［２、Ｍ］
＝fps［２］／fps［１］
×（ターゲットビット［１、Ｍ］＋ターゲットビット［１、Ｍ＋１］）
・・・（９）
【０２２２】
なお、フィードフォワード制御を行う場合は、レートコントロールパラメータ変換部２１２は、第２画像の各ピクチャのターゲットビット［２、Ｍ］を、以下の式（１０）のように、容易に求めることができる。
【０２２３】
ターゲットビット［２、Ｍ］
＝fps［２］／fps［１］
×（ターゲットビット［１、Ｍ］＋ターゲットビット［１、Ｍ＋１］）
＋α（発生ビット量［１、Ｍ］＋発生ビット量［１、Ｍ＋１］
−ターゲットビット［１、Ｍ］＋ターゲットビット［１、Ｍ＋１］））
・・・（１０）
【０２２４】
上記、ピクチャ単位のターゲットビット導出、各ＭＢのステップ３処理、フィードフォワード処理は任意の組み合わせが可能である。
【０２２５】
また、画像情報としてビットレートを用いる場合と同様に、ステップ３のデルタＱ値の処理を第２符号化部１１２−２において省略することができる。
【０２２６】
なお、レートコントロールパラメータの変換に用いる画像情報は、上述した例に限らない。また、レートコントロールパラメータの変換に用いる画像情報の数も任意である。例えば、ビットレート、画角、画サイズ、およびfps等の複数の画像情報を組み合わせて使用することもできる。
【０２２７】
さらに、MVC規格の場合のように、第１画像と第２画像の視差を利用してレートコントロールパラメータの変換を行うようにしてもよい。この場合、第１画像と第２画像は、視差が若干あるのみでほとんど同一の画となる。そのため、画像情報としてビットレートを用いる場合と同様に、処理を行うことができる。これにより、ターゲットビット導出処理の軽減、ステップ３のデルタＱ値の導出の軽減、およびフィードフォワード処理による画質改善を行うことが可能である。
【０２２８】
＜４．第４の実施の形態＞
［MV］
他の動画像に利用する符号化パラメータは、例えば、動きベクトルであってもよい。動き予測・補償部１６５による動き予測は、整数精度や分数精度等、複数回行われることが多く、負荷が大きい。
【０２２９】
画像符号化装置１００は、上述したように、第１符号化部１１２−１において導出された動きベクトルを、第２符号化部１１２−２の符号化処理に利用することにより、動きベクトル導出に関する負荷の大きな処理を省略することができる。これにより、画像符号化装置１００は、負荷の増大の抑制を実現することができる。
【０２３０】
（１）符号化部
図２３は、この場合の第１符号化部１１２−１の主な構成例を示すブロック図である。
【０２３１】
図２３の例の場合も、第１符号化部１１２−１は、基本的に図４の例の場合と同様の構成を有するが、図２３の場合、GMV導出部１７１は省略されている。また、図２３の場合、第１符号化部１１２−１は、動き予測・補償部３０１を有する。この動き予測・補償部３０１は、動き予測・補償部１６５と同様の処理部である。動き予測・補償部３０１は、第１画像の動きベクトルを導出するMV導出部３０２を有する。
【０２３２】
MV導出部３０２は、第１符号化部１１２−１が符号化する第１画像のインター予測において、その第１画像の符号化済みの部分の画像を用いて、動き探索を行い、カレント部分の動きベクトルを導出する。
【０２３３】
図２４は、この場合の第２符号化部１１２−２の主な構成例を示すブロック図である。
【０２３４】
図２４の例の場合も、第２符号化部１１２−２は、基本的に図５の例の場合と同様の構成を有するが、図２４の場合、GMV判定部１７２は省略されている。また、図２４の場合、第２符号化部１１２−２は、動き予測・補償部１６５の代わりに、動き予測・補償部３１１を有する。この動き予測・補償部３１１は、MV導出部の代わりにMV変換部３１２を有する。
【０２３５】
MV変換部３１２は、MV導出部３０２が導出する第１画像の動きベクトルを変換して第２画像の動きベクトルを導出する。
【０２３６】
（２）MV導出部・変換部
従来の場合、図２５に示されるように、第１符号化部１１２−１にMV導出部３２１が設けられ、第２符号化部１１２−２にMV導出部３２２が設けられる。つまり、互いに独立にMVが導出される。
【０２３７】
MV導出部３２１は、原画像間引き回路３３１、参照画像間引き回路３３２、１段目縮小画像用整数精度動きベクトル探索部３３３、２段目非縮小画像用整数精度動きベクトル探索部３３４、および分数精度動きベクトル探索部３３５を有する。
【０２３８】
原画像間引き回路は、原画像を間引いて縮小原画像を生成する。参照画像間引き回路３３２は、参照画像を間引いて縮小参照画像を生成する。
【０２３９】
１段目縮小画像用整数精度動きベクトル探索部３３３は、原画像間引き回路から供給される縮小原画像と、参照画像間引き回路３３２から供給される縮小参照画像とを用いて、縮小画像用整数精度動きベクトルＭＶ１を生成する。
【０２４０】
２段目非縮小画像用整数精度動きベクトル探索部３３４は、縮小されていない原画像と参照画像を用いて、縮小画像用整数精度動きベクトルＭＶ１を、非縮小画像用整数精度動きベクトルＭＶ２に変換する。
【０２４１】
分数精度動きベクトル探索部３３５は、原画像と縮小画像とを用いて、非縮小画像用整数精度動きベクトルＭＶ２を、分数精度動きベクトルＭＶ３に変換する。分数精度動きベクトルＭＶ３は、動き予測・補償部３０１に供給される。
【０２４２】
MV導出部３２２は、原画像間引き回路３４１、参照画像間引き回路３４２、１段目縮小画像用整数精度動きベクトル探索部３４３、２段目非縮小画像用整数精度動きベクトル探索部３４４、および分数精度動きベクトル探索部３４５を有する。
【０２４３】
原画像間引き回路３４１乃至分数精度動きベクトル探索部３４５は、それぞれ、原画像間引き回路３３１乃至分数精度動きベクトル探索部３３５に対応し、同様の処理を行う。
【０２４４】
すなわち、従来の場合、動きベクトル生成に関して、冗長な処理が実行される。
【０２４５】
これに対して、第１符号化部１１２−１（動き予測・補償部３０１）は、MV導出部３０２を有し、第２符号化部１１２−２（動き予測・補償部３１１）は、MV変換部３１２を有する。MV導出部３０２およびMV変換部３１２の主な構成例を図２６に示す。
【０２４６】
図２６に示されるように、MV導出部３０２は、従来と同様に、原画像間引き回路３３１乃至分数精度動きベクトル探索部３３５を有する。MV変換部３１２は、原画像間引き回路３４１乃至１段目縮小画像用整数精度動きベクトル探索部３４３の代わりに、MV調整部３５１を有する。
【０２４７】
MV調整部３５１には、MV導出部３０２において生成された分数精度動きベクトルＭＶ３を取得する。MV調整部３５１は、供給された分数精度動きベクトルＭＶ３を、第１画像情報や第２画像情報等を用いて変換し、縮小画像用整数精度動きベクトルＭＶ４を導出する。この縮小画像用整数精度動きベクトルＭＶ４は、縮小画像用整数精度動きベクトルＭＶ１に相当する。
【０２４８】
MV調整部３５１は、上述したGMVの場合と同様に、例えば、画角、画サイズ、またはフレームレート等といった画像情報について、第１画像情報と第２画像情報の比を分数精度動きベクトルＭＶ３に乗算することにより、縮小画像用整数精度動きベクトルＭＶ４を導出する。つまり、縮小画像用整数精度動きベクトルＭＶ４は、例えば式（１）乃至式（４）のいずれかのように導出される。
【０２４９】
その後、従来と同様に、２段目非縮小画像用整数精度動きベクトル探索部３４４により非縮小画像用整数精度動きベクトルＭＶ５が導出され、分数精度動きベクトル探索部３４５により分数精度動きベクトルＭＶ６が導出される。分数精度動きベクトルＭＶ６は、MV変換部３１２の外部に出力される。
【０２５０】
このようにすることにより、動き予測・補償部３１１において、原画像間引き回路３３１、参照画像間引き回路３３２、および１段目縮小画像用整数精度動きベクトル探索部３３３の処理が省略される。つまり、冗長な処理の実行が抑制されるので、画像符号化装置１００は、負荷の増大の抑制を実現することができる。
【０２５１】
（３）処理の流れ
複数画像符号化処理は、図６の例と同様に実行される。符号化処理は、図７と同様に実行される。
【０２５２】
（３−１）インター動き予測処理
図２７のフローチャートを参照して、この場合の、図７のステップＳ１２４において実行されるインター動き予測処理の流れの例を説明する。この処理は、第１符号化部１１２−１が第１画像について図７の符号化処理を実行した場合に実行される。
【０２５３】
ステップＳ３０１において、MV導出部３０２は、第１画像の動き探索を行う。
【０２５４】
ステップＳ３０２において、動き予測・補償部３０１は、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。全てのマクロブロックが処理されるまで、ステップＳ３０１乃至ステップＳ３０３の各処理が繰り返し実行される。
【０２５５】
（３−２）動きベクトル探索処理
図２８のフローチャートを参照して、図２７のステップＳ３０１において実行される動きベクトル探索処理の流れの例を説明する。
【０２５６】
ステップＳ３２１において、原画像間引き回路３３１は、原画像の縮小画像を作成する。ステップＳ３２２において、参照画像間引き回路３３２は、参照画像の縮小画像を作成する。
【０２５７】
ステップＳ３２３において、１段目縮小画像用整数精度動きベクトル探索部３３３は、１段目縮小画像用整数精度動きベクトル探索を行い、縮小画像用整数精度動きベクトルＭＶ１を導出する。
【０２５８】
ステップＳ３２４において、２段目非縮小画像用整数精度動きベクトル探索部３３４は、原画像、参照画像、および縮小画像用整数精度動きベクトルＭＶ１を用いて、２段目非縮小画像用整数精度動きベクトル探索を行い、非縮小画像用整数精度動きベクトルＭＶ２を導出する。
【０２５９】
ステップＳ３２５において、分数精度動きベクトル探索部３３５は、原画像、参照画像、および、非縮小画像用整数精度動きベクトルＭＶ２を用いて、分数精度動きベクトル探索を行い、分数精度動きベクトルＭＶ３を生成する。
【０２６０】
ステップＳ３２６において、分数精度動きベクトル探索部３３５は、分数精度動きベクトルＭＶ３を、MV導出部３０２の外部に出力するとともに、MV変換部３１２に供給する。
【０２６１】
（３−３）インター動き予測処理
図２９のフローチャートを参照して、この場合の、図７のステップＳ１２４において実行されるインター動き予測処理の流れの例を説明する。この処理は、第２符号化部１１２−２が第２画像について図７の符号化処理を実行した場合に実行される。
【０２６２】
ステップＳ３４１において、MV変換部３１２は、MV導出部３０２から供給された動きベクトルを用いて、第２画像の動き探索を行う。
【０２６３】
ステップＳ３４２において、動き予測・補償部３１１は、動きベクトルを用いて参照画像に補償処理を行い、予測画像を生成する。全てのマクロブロックが処理されるまで、ステップＳ３４１乃至ステップＳ３４３の各処理が繰り返し実行される。
【０２６４】
（３−４）動きベクトル探索処理
図３０のフローチャートを参照して、図２９のステップＳ３４１において実行される動きベクトル探索処理の流れの例を説明する。
【０２６５】
ステップＳ３６１において、MV調整部３５１は、MV導出部３０２から供給された分数精度動きベクトルＭＶ３を取得する。ステップＳ３６２において、MV調整部３５１は、画像情報等に基づいて、動きベクトルを調整し、縮小画像用整数精度動きベクトルＭＶ４を導出する。
【０２６６】
ステップＳ３６３において、２段目非縮小画像用整数精度動きベクトル探索部３３４は、原画像、参照画像、および、縮小画像用整数精度動きベクトルＭＶ４を用いて、２段目非縮小画像用整数精度動きベクトル探索を行い、非縮小画像用整数精度動きベクトルＭＶ５を導出する。
【０２６７】
ステップＳ３６４において、分数精度動きベクトル探索部３３５は、原画像、参照画像、および、非縮小画像用整数精度動きベクトルＭＶ５を用いて、分数精度動きベクトル探索を行い、分数精度動きベクトルＭＶ６を導出する。分数精度動きベクトル探索部３４５は、生成した分数精度動きベクトルＭＶ６をMV変換部３１２の外部に出力する。
【０２６８】
以上のように各処理を実行することにより、画像符号化装置１００は、第１画像用に生成されたMVを他の画像（例えば第２画像）の符号化に利用することができる。つまり、画像符号化装置１００は、冗長な処理を低減させ、画像符号化の不要な負荷の増大を抑制することができる。
【０２６９】
なお、MV調整部３５１が縮小画像用整数精度動きベクトルＭＶ４を導出するのに利用する画像情報は、任意であり、上述した例以外であっても良い。
【０２７０】
また、以上においては、MV導出部３０２が生成した分数精度動きベクトルＭＶ３を調整して縮小画像用整数精度動きベクトルＭＶ４を導出するように説明したが、これに限らず、MV調整部３５１が分数精度動きベクトルＭＶ３を調整して非縮小画像用整数精度動きベクトルＭＶ５を導出するようにしてもよい。このようにすることにより、さらに、２段目非縮小画像用整数精度動きベクトル探索部３４４も省略することができる。
【０２７１】
さらに、MV調整部３５１が分数精度動きベクトルＭＶ３を調整して分数精度動きベクトルＭＶ６を導出するようにしてもよい。このようにすることにより、さらに、分数精度動きベクトル探索部３４５も省略することができる。
【０２７２】
ただし、処理を省略するほど、動きベクトルの精度が低減するので、実用的な範囲で省略する処理を決定するようにするのが望ましい。なお、MV調整部３５１が、状況に応じて、分数精度動きベクトルＭＶ３を、縮小画像用整数精度動きベクトルＭＶ４乃至分数精度動きベクトルＭＶ６のいずれに変換するかを選択することができるようにしてもよい。
【０２７３】
また、以上においては、分数精度動きベクトルＭＶ３が、MV導出部３０２からMV変換部３１２に供給されるように説明したが、これに限らず、縮小画像用整数精度動きベクトルＭＶ１、若しくは、非縮小画像用整数精度動きベクトルＭＶ５がMV導出部３０２からMV変換部３１２に供給されるようにしてもよい。また、いずれのベクトルがMV導出部３０２からMV変換部３１２に供給されるかを選択することができるようにしてもよい。
【０２７４】
＜５．第５の実施の形態＞
［イントラ予測モード］
例えば、MVC規格の動画像のように立体視用の動画像の場合、左右の画像（第１画像と第２画像）は、所定の視差を有するが、基本的に被写体は互いに略同一であり、絵としての内容は互いに略同一である。そのため、第１画像と第２画像のイントラ予測モードは、略同一になる。したがって、従来のようにこのイントラ予測モードも動画像毎に互いに独立して導出するのは冗長であり、負荷が不要に増大する恐れがある。
【０２７５】
そこで、画像符号化装置１００は、上述した他の実施の形態の場合と同様に、ある画像で生成したイントラ予測モードを、その他の画像に利用する。
【０２７６】
ただし、上述したように、第１画像と第２画像との間に視差が存在する。つまり、第１画像と第２画像とでは、視差を生成するために、画像が互いに水平方向にずれている。したがって、一方のイントラ予測モードを他方にそのまま適用することはできない。しかしながら、画像が水平方向にずれているのみであるので、そのズレ量分、イントラ予測モードをシフトさせることにより、一方のイントラ予測モードを他方に適用することができるようになる。つまり、容易に、一方のイントラ予測モードを他方に適用することができる。
【０２７７】
（１）符号化部
図３１は、この場合の第１符号化部１１２−１の主な構成例を示すブロック図である。
【０２７８】
図３１の例の場合も、第１符号化部１１２−１は、基本的に図４の例の場合と同様の構成を有するが、図３１の場合、GMV導出部１７１は省略されている。図３１に示されるイントラ予測部４０１は、イントラ予測部１６４と同様の処理部である。このイントラ予測部４０１は、第１画像のイントラ予測モードを導出するイントラ予測モード導出部４０２を有する。
【０２７９】
イントラ予測モード導出部４０２は、第１符号化部１１２−１が符号化する第１画像の符号化済み部分の画像を用いてカレント部分の予測を行い、第１画像のイントラ予測モードを導出する。
【０２８０】
図３２は、この場合の第２符号化部１１２−２の主な構成例を示すブロック図である。
【０２８１】
図３２の例の場合も、第２符号化部１１２−２は、基本的に図５の例の場合と同様の構成を有するが、図３２の場合、GMV判定部１７２は省略されている。また、図３２の例の場合、第２符号化部１１２−２は、イントラ予測部１６４の代わりに、イントラ予測部４１１を有する。このイントラ予測部４１１は、イントラ予測モード導出部の代わりに、イントラ予測モード変換部４１２を有する。
【０２８２】
イントラ予測モード変換部４１２は、イントラ予測モード導出部４０２が導出する第１画像のイントラ予測モードを変換して第２画像のイントラ予測モードを導出する。
【０２８３】
（２）イントラ予測部
図３３はイントラ予測部４０１およびイントラ予測部４１１の主な構成例を示すブロック図である。
【０２８４】
図３３に示されるように、イントラ予測部４０１は、イントラ予測モード導出部４０２と予測画像生成部４０３を有する。
【０２８５】
イントラ予測モード導出部４０２は、第１画像の原画像や参照画像を用いて、第１画像用のイントラ予測モードを導出する。イントラ予測モード導出部４０２は、導出したイントラ予測モードを予測画像生成部４０３に供給する。
【０２８６】
予測画像生成部４０３は、供給されたイントラ予測モードを用いて予測画像を生成し、それを予測画像選択部１６６に供給する。
【０２８７】
また、イントラ予測モード導出部４０２は、導出した第１画像のイントラ予測モードを、イントラ予測部４１１のイントラ予測モード変換部４１２に供給する。
【０２８８】
図３３に示されるように、イントラ予測部４１１は、イントラ予測モード変換部４１２および予測画像生成部４１３を有する。また、イントラ予測モード変換部４１２は、シフト量演算部４２１およびイントラ予測モード演算部４２２を有する。
【０２８９】
シフト量演算部４２１は、イントラ予測モード導出部４０２から供給されるイントラ予測モードや、外部から供給される、例えば撮像条件や設定情報等の撮像に関するカメラ情報を取得する。シフト量演算部４２１は、それらの情報や、第２画像情報取得部１１１−２から供給される第１画像情報および第２画像情報等に基づいて、第１画像と第２画像の視差量を特定し、イントラ予測モードのシフト量を導出し、導出したシフト量をイントラ予測モード演算部４２２に供給する。
【０２９０】
イントラ予測モード演算部４２２は、イントラ予測モード導出部４０２から供給される第１画像のイントラ予測モードを、シフト量演算部４２１により算出されたシフト量分シフトさせ、第２画像のイントラ予測モードを導出する。イントラ予測モード演算部４２２は、導出した第２画像のイントラ予測モードを予測画像生成部４１３に供給する。
【０２９１】
予測画像生成部４１３は、供給されたイントラ予測モードを用いて予測画像を生成し、それを予測画像選択部１６６に供給する。
【０２９２】
（３）シフト
例えば、第１画像（Lch）のイントラ予測モードと、第２画像（Rch）のイントラ予測モードが、図３４のＡに示されるような状態であるとする。この場合、両画像の黒枠で囲まれる部分は、図３４のＢに示されるように、互いに略同一である。
【０２９３】
したがって、第１画像（Lch）の黒枠で囲まれる部分を１マクロブロック分左にシフトさせ、右端のマクロブロックをDCモードとすると、図３４のＣに示されるように、図３４のＡの第２画像（Rch）のイントラ予測モードと略同一のイントラ予測モードが生成される。つまり、第１画像（Lch）のイントラ予測モードをシフトさせることにより、第２画像（Rch）のイントラ予測モードと略同様のイントラ予測モードを導出することができる。
【０２９４】
このように、画像符号化装置１００は、画像間の相関性の高さを利用して、ある画像に対して導出されたイントラ予測モードを、他の画像に利用する。これにより、画像符号化装置１００は、イントラ予測に関する負荷の大きな、冗長な処理を省略することができる。これにより、画像符号化装置１００は、負荷の増大の抑制を実現することができる。
【０２９５】
（４）処理の流れ
次に、このような画像符号化装置１００により実行される処理の流れについて説明する。複数画像符号化処理は、図６の例と同様に実行される。
【０２９６】
（４−１）符号化処理
この場合の、符号化処理の流れの例を図３５に示す。図３５に示されるように、この場合も符号化処理は、図７の場合と同様に実行される。つまり、ステップＳ４０１乃至ステップＳ４１６の各処理は、基本的に、図７のステップＳ１２１乃至ステップＳ１３６の各処理と同様に実行される。ただし、図３５の例の場合、符号化パラメータの導出若しくは変換は、ステップＳ４０４のインター動き予測処理ではなく、ステップＳ４０３のイントラ予測処理の際に行われる。
【０２９７】
図３５に示される符号化処理も、図７の場合と同様に、各系統の動画像について行われる。すなわち、第１符号化部１１２−１および第２符号化部１１２−２がそれぞれ、この符号化処理を実行する。
【０２９８】
（４−２）イントラ予測処理
図３６のフローチャートを参照して、図３５のステップＳ４０３において、イントラ予測部４０１が実行するイントラ予測処理の流れの例を説明する。
【０２９９】
ステップＳ４２１において、イントラ予測モード導出部４０２は、イントラ予測モードを導出する。ステップＳ４２２において、予測画像生成部４０３は、導出されたイントラ予測モードで予測画像を生成する。
【０３００】
ステップＳ４２３において、イントラ予測モード導出部４０２は、ステップＳ４２１において導出されたイントラ予測モードをイントラ予測モード変換部４１２に供給する。
【０３０１】
（４−３）イントラ予測処理
図３７のフローチャートを参照して、図３５のステップＳ４０３において、イントラ予測部４１１が実行するイントラ予測処理の流れの例を説明する。
【０３０２】
ステップＳ４３１において、イントラ予測モード変換部４１２は、第１画像のイントラ予測モードを取得する。
【０３０３】
ステップＳ４３２において、イントラ予測モード変換部４１２は、ステップＳ４３１において取得された第１画像のイントラ予測モードを第２画像のイントラ予測モードに変換するイントラ変換処理を行う。
【０３０４】
ステップＳ４３３において、予測画像生成部４１３は、変換されたイントラ予測モードで予測画像を生成する。
【０３０５】
（５）イントラ変換処理
次に、図３７のステップＳ４３２において実行されるイントラ変換処理について説明する。イントラ変換処理において、イントラ予測モード変換部４１２は、第１画像のイントラ予測モードのシフト量を決定し、そのシフト量分、第１画像のイントラ予測モードをシフトさせることにより、第２画像のイントラ予測モードを導出する。
【０３０６】
このシフト量の決定方法は任意である。例えば、シフト量が予め既知であってもよい。例えば、MVC規格の場合、画像間の視差が予め定められている。したがって、イントラ予測モードのシフトすべき量も固定値となる。
【０３０７】
そこで、このような場合、シフト量を固定値（例えば、所定ブロック分）としてもよい。つまり、この場合、シフト量演算部４２１は、省略することができる。
【０３０８】
その場合のイントラ変換処理の流れの例を、図３８のフローチャートを参照して説明する。
【０３０９】
ステップＳ４４１において、イントラ予測モード演算部４２２は、供給された第１画像のイントラ予測モードを、所定ブロック分水平方向にシフトする。
【０３１０】
イントラ予測モード演算部４２２は、ステップＳ４４２において、処理中のマクロブロックにシフトされたイントラ予測モードが存在するか否かを判定する。存在すると判定した場合、イントラ予測モード演算部４２２は、処理をステップＳ４４３に進め、シフトされたイントラ予測モードを処理中のマクロブロックのイントラ予測モードとする。
【０３１１】
また、ステップＳ４４２において、処理中のマクロブロックにシフトされたイントラ予測モードが存在しないと判定された場合、イントラ予測モード演算部４２２は、処理をステップＳ４４４に進め、任意の方法で、イントラ予測モードを導出する。
【０３１２】
このようにシフト量を固定値とすることにより、画像符号化装置１００は、イントラ予測モードを、より容易にシフトさせることができる。
【０３１３】
例えば、このようなマクロブロックのイントラ予測モードは、全てDCモードにされるようにしてもよいし、近傍のマクロブロックのイントラ予測モードが複製されるようにしてもよい。
【０３１４】
また、シフト量演算部４２１が、イントラ予測モードのシフト量を、カメラ情報に基づいて決定するようにしてもよい。
【０３１５】
図３９のフローチャートを参照して、その場合のイントラ変換処理の流れの例を説明する。
【０３１６】
シフト量演算部４２１は、ステップＳ４５１においてカメラ情報を取得し、ステップＳ４５２において、そのカメラ情報を用いてシフト量を決定する。
【０３１７】
ステップＳ４５３において、イントラ予測モード演算部４２２は、供給されたイントラ予測モードを、ステップＳ４５２において決定されたシフト量分、水平方向にシフトする。
【０３１８】
ステップＳ４５４乃至ステップＳ４５６の処理は、図３８のステップＳ４４２乃至ステップＳ４４４と同様に実行される。
【０３１９】
このようにシフト量を可変とすることにより、画像符号化装置１００は、より正確にシフト量を導出することができる。
【０３２０】
また、シフト量演算部４２１が、第２画像についてのイントラ予測モードを一部のマクロブロックについて算出し、その第２画像のイントラ予測モードと、第１画像のイントラ予測モードを比較することにより、シフト量を推定するようにしてもよい。例えば、シフト量演算部４２１が、第２画像のイントラ予測モードを１ブロックライン分導出し、その１ブロックラインで、第１画像のイントラ予測モードと第２画像のイントラ予測モードを比較する。シフト量演算部４２１は、その比較結果に基づいて第１画像と第２画像のズレを求め、シフト量を決定する。このようにしてシフト量が導出されるようにしても良い。
【０３２１】
その場合のイントラ変換処理の流れ例を、図４０のフローチャートを参照して説明する。
【０３２２】
シフト量演算部４２１は、ステップＳ４６１において、一部のマクロブロックについて第２画像のイントラ予測モードを導出する。ステップＳ４６２において、シフト量演算部４２１は、ステップＳ４６１において導出された第２画像のイントラ予測モードと、第１画像のイントラ予測モードとを比較し、その比較結果に従ってシフト量を導出する。
【０３２３】
ステップＳ４６３乃至ステップＳ４６６の各処理は、ステップＳ４５３乃至ステップＳ４５６の各処理と同様に実行される。
【０３２４】
このように第１画像のイントラ予測モードと第２画像のイントラ予測モードを実際に比較することにより、画像符号化装置１００は、より正確にシフト量を導出することができる。
【０３２５】
なお、イントラ予測モードを比較するブロック数は任意である。多いほど精度は向上するが、負荷低減のメリットは低減する。
【０３２６】
また、以上においては、シフト量決定のためにイントラ予測モードを比較するように説明したが、これに限らず、第１画像と第２画像とを比較し、その比較結果に基づいてシフト量を算出するようにしてもよい。
【０３２７】
また、以上に説明したいずれの場合も、シフト方向は、第１画像と第２画像のズレの方向に対応している限り、任意である。例えば、シフト方向が垂直方向であってもよいし、ななめ方向であってもよいし、回転方向であってもよい。また、シフト方向が、これらの複数の方向の内、いずれか２つ以上を組み合わせた方向としてもよい。
【０３２８】
また、シフトはせずに、第２画像のイントラ予測の際の、候補とする予測方向を限定するようにしてもよい。例えば、第１画像と第２画像の相関性が高いため、それらのイントラ予測モードの相関性も高いことが期待される。つまり、あるマクロブロックにおける、イントラ予測モード（予測方向）は、第１画像と第２画像とで類似し易いことが期待される。
【０３２９】
したがって、第１画像のイントラ予測モードを参考に、第２画像におけるイントラ予測の候補とする予測方向を限定するようにしてもよい。例えば、第１画像において予測方向が水平方向であるマクロブロックは、第２画像においても予測方向が水平方向となる可能性が高く、垂直方向とはなり難い。したがって、このような場合、第２画像のそのマクロブロックに対するイントラ予測において、垂直方向が予測方向の候補から外されるようにしてもよい。
【０３３０】
その場合のイントラ変換処理の流れの例を図４１のフローチャートを参照して説明する。
【０３３１】
ステップＳ４７１において、イントラ予測モード演算部４２２は、供給された第１画像のイントラ予測モードに応じて、第２画像のイントラ予測モードを限定する。
【０３３２】
ステップＳ４７２において、イントラ予測モード演算部４２２は、限定された予測モードの中からイントラ予測モードを導出する。
【０３３３】
このようにすることにより、画像符号化装置１００は、不要な候補を低減させることができ、第２画像のイントラ予測処理の負荷を低減させることができる。
【０３３４】
なお、上述した複数の方法の中から選択することができるようにしてもよい。
【０３３５】
図４２のフローチャートを参照して、その場合のイントラ変換処理の流れの例を説明する。
【０３３６】
シフト量演算部４２１は、ステップＳ４８１において、第２画像のイントラ予測モード導出のために、第１画像のイントラ予測モードをシフトするか否かを判定する。任意の条件に基づいて、シフトすると判定した場合、シフト量演算部４２１は、処理をステップＳ４８２に進める。
【０３３７】
ステップＳ４８２において、シフト量演算部４２１は、何らかの方法によりシフト量を決定する。このシフト量決定方法は任意である。例えば、上述したような方法であっても良い。
【０３３８】
ステップＳ４８３乃至ステップＳ４８６の各処理は、例えば、図４０のステップＳ４６３乃至ステップＳ４６６の各処理と同様に実行される。
【０３３９】
また、ステップＳ４８１において、シフトしないと判定された場合、イントラ予測モード演算部４２２は、処理をステップＳ４８７に進める。ステップＳ４８７およびステップＳ４８８の各処理は、例えば、図４１のステップＳ４７１およびステップＳ４７２の各処理と同様に実行される。
【０３４０】
このようにすることにより、第２画像のイントラ予測モード導出方法の選択の幅が広がるので、画像符号化装置１００は、第２画像のイントラ予測モードを、より適切な方法により導出することができる。
【０３４１】
＜６．第６の実施の形態＞
［イントラ予測モード］
なお、以上のようなイントラ予測モードの流用は、画像符号化装置１００に対応する画像復号装置においても実現可能である。
【０３４２】
例えば、画像符号化装置１００が、上述したように、第１画像のイントラ予測モードを用いて第２画像のイントラ予測を行う場合、第２画像で採用されたイントラ予測モードは、画像復号装置においても、第１画像のイントラ予測モードから求めることができる。
【０３４３】
つまり、第２画像のイントラ予測モードの伝送は、省略することができる。このようにすることにより、画像符号化装置１００は、符号化効率を向上させることができる。
【０３４４】
（１）画像復号装置
図４３は、図２に示される画像符号化装置１００に対応する画像復号装置５００の主な構成例を示すブロック図である。画像復号装置５００は、画像符号化装置１００により生成されたビットストリームを正しく復号することができる。
【０３４５】
つまり、画像復号装置５００は、入力された、画像符号化装置１００により生成された第１ストリームおよび第２ストリームを、それぞれ復号し、第１画像および第２画像を生成する。
【０３４６】
図４３に示されるように、画像復号装置５００は、復号部５０１を有する。復号部５０１は、第１ストリームを復号する第１復号部５０１−１と、第２ストリームを復号する第２復号部５０１−２とを有する。
【０３４７】
第１復号部５０１−１は、符号化パラメータ抽出部５０２−１を有する。符号化パラメータ抽出部５０２−１は、第１ストリームから符号化パラメータを抽出する。第１復号部５０１−１は、符号化パラメータ抽出部５０２−１により抽出された符号化パラメータを用いて第１ストリームの復号を行う。
【０３４８】
また、第１復号部５０１−１（符号化パラメータ抽出部５０２−１）は、第１ストリームより抽出された符号化パラメータを第２復号部５０１−２に供給する。
【０３４９】
第２復号部５０１−２は、第２ストリームの復号を行う。第２復号部５０１−２は、符号化パラメータ変換部５０２−２を有する。符号化パラメータ変換部５０２−２は、第１復号部５０１−１（符号化パラメータ抽出部５０２−１）から供給される第１画像の符号化パラメータを取得し、それを、第２画像の符号化パラメータに変換する。第２復号部５０１−２は、その変換後の符号化パラメータを用いて、第２ストリームの復号を行う。
【０３５０】
このように、画像復号装置５００は、第１ストリームから抽出された、第１画像用の符号化パラメータを第２ストリームの復号にも流用することができる。したがって、第２画像用の符号化パラメータの伝送が不要になる。つまり、画像復号装置５００は、符号化効率を向上させることができる。
【０３５１】
なお、図３の例のように、この画像復号装置５００も、３系統以上の（Ｎチャンネルの）ストリームを復号することができるようにしてもよい。
【０３５２】
（２）復号部
図４４は、この場合の第１復号部５０１−１の主な構成例を示すブロック図である。
【０３５３】
図４４に示されるように第１復号部５０１−１は、蓄積バッファ５５１、可逆復号部５５２、逆量子化部５５３、逆直交変換部５５４、演算部５５５、デブロックフィルタ５５６、画面並べ替えバッファ５５７、およびD/A変換部５５８を有する。また、第１復号部５０１−１は、フレームメモリ５５９、選択部５６０、イントラ予測部５７１、動き予測・補償部５６２、および選択部５６３を有する。
【０３５４】
蓄積バッファ５５１は、伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部５５２に供給する。可逆復号部５５２は、蓄積バッファ５５１より供給された、可逆符号化部１５６により符号化された情報を、可逆符号化部１５６の符号化方式に対応する方式で復号する。可逆復号部５５２は、復号して得られた差分画像の量子化された係数データを、逆量子化部５５３に供給する。
【０３５５】
また、可逆復号部５５２は、符号化データを復号して得られた最適な予測モードに関する情報を参照し、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定する。つまり、可逆復号部５５２は、伝送されてきた符号化データにおいて採用された予測モードが、イントラ予測であるか、インター予測であるかを判定する。
【０３５６】
可逆復号部５５２は、その判定結果に基づいて、その予測モードに関する情報を、イントラ予測部５７１若しくは動き予測・補償部５６２に供給する。例えば、画像符号化装置１００において最適な予測モードとしてイントラ予測モードが選択された場合、可逆復号部５５２は、符号化側から供給された、その選択されたイントラ予測モードに関する情報であるイントラ予測情報をイントラ予測部５７１に供給する。また、例えば、画像符号化装置１００において最適な予測モードとしてインター予測モードが選択された場合、可逆復号部５５２は、符号化側から供給された、その選択されたインター予測モードに関する情報であるインター予測情報を動き予測・補償部５６２に供給する。
【０３５７】
逆量子化部５５３は、可逆復号部５５２により復号されて得られた量子化された係数データを、量子化部１５５の量子化方式に対応する方式（逆量子化部１５８と同様の方式）で逆量子化を行う。逆量子化部５５３は、逆量子化された係数データを逆直交変換部５５４に供給する。
【０３５８】
逆直交変換部５５４は、直交変換部１５４の直交変換方式に対応する方式で逆量子化部５５３から供給される係数データを逆直交変換する。逆直交変換部５５４は、この逆直交変換処理により、画像符号化装置１００において直交変換される前の差分画像に対応する差分画像を得る。
【０３５９】
逆直交変換されて得られた差分画像は、演算部５５５に供給される。また、演算部５５５には、選択部５６３を介して、イントラ予測部５７１若しくは動き予測・補償部５６２から予測画像が供給される。
【０３６０】
演算部５５５は、差分画像と予測画像とを加算し、画像符号化装置１００の演算部１５３により予測画像が減算される前の画像に対応する再構成画像を得る。演算部５５５は、その再構成画像をデブロックフィルタ５５６に供給する。
【０３６１】
デブロックフィルタ５５６は、供給された再構成画像に対して、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。
【０３６２】
デブロックフィルタ５５６は、フィルタ処理結果である復号画像を画面並べ替えバッファ５５７およびフレームメモリ５５９に供給する。なお、このデブロックフィルタ５５６によるフィルタ処理は省略することもできる。つまり、演算部５５５の出力が、フィルタ処理されずに、フレームメモリ５５９に格納されるようにすることもできる。例えば、イントラ予測部５７１は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。
【０３６３】
画面並べ替えバッファ５５７は、供給された復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１５２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部５５８は、画面並べ替えバッファ５５７から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０３６４】
フレームメモリ５５９は、供給される再構成画像や復号画像を記憶する。また、フレームメモリ５５９は、所定のタイミングにおいて、若しくは、イントラ予測部５７１や動き予測・補償部５６２等の外部の要求に基づいて、記憶している再構成画像や復号画像を、選択部５６０を介してイントラ予測部５７１や動き予測・補償部５６２に供給する。
【０３６５】
イントラ予測部５７１は、イントラ予測部１６４と基本的に同様の処理を行う。ただし、イントラ予測部５７１は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。
【０３６６】
また、イントラ予測部５７１は、イントラ予測モード抽出部５７２を有する。イントラ予測モード抽出部５７２は、可逆復号部５５２から供給されるイントラ予測に関する情報の中から、第１画像のイントラ予測モードを示す情報を抽出する。イントラ予測部５７１（イントラ予測モード抽出部５７２）は、その第１画像のイントラ予測モードを、第２復号部５０１−２に供給する。
【０３６７】
この例において、符号化パラメータは、イントラ予測モードである。すなわち、イントラ予測モード抽出部５７２は、図４３の符号化パラメータ抽出部５０２−１に対応する。
【０３６８】
また、イントラ予測部５７１は、イントラ予測モード抽出部５７２により抽出された第１画像のイントラ予測モードを用いて、第１画像（第１ストリーム）に対するイントラ予測を行う。
【０３６９】
動き予測・補償部５６２は、可逆復号部５５２から供給されるインター予測情報に基づいてインター予測（動き予測や動き補償を含む）を行い、予測画像を生成する。なお、動き予測・補償部５６２は、可逆復号部５５２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、インター予測を行う。
【０３７０】
イントラ予測部５７１若しくは動き予測・補償部５６２は、予測処理単位の領域毎に、生成した予測画像を、選択部５６３を介して演算部５５５に供給する。
【０３７１】
選択部５６３は、イントラ予測部５７１から供給される予測画像、若しくは、動き予測・補償部５６２から供給される予測画像を演算部５５５に供給する。
【０３７２】
図４５は、第２復号部５０１−２の主な構成例を示すブロック図である。図４５に示されるように、第２復号部５０１−２は、第１復号部５０１−１（図４４）と、基本的に同様の構成を有し、同様の処理を行う。
【０３７３】
ただし、第２復号部５０１−２は、第１復号部５０１−１のイントラ予測部５７１の代わりに、イントラ予測部５８１を有する。
【０３７４】
イントラ予測部５８１は、イントラ予測モード変換部５８２を有する。イントラ予測モード変換部５８２は、第１復号部５０１−１のイントラ予測部５７１（イントラ予測モード抽出部５７２）から供給された、第１画像のイントラ予測モードを取得する。イントラ予測モード変換部５８２は、第１画像と第２画像の相関性の高さを利用して、その第１画像のイントラ予測モードを、所定の方法により、第２画像のイントラ予測モードに変換する。
【０３７５】
このようにすることにより、第２画像のイントラ予測モードの伝送が不要になるので、画像復号装置５００は、符号化効率を向上させることができる。
【０３７６】
なお、イントラ予測モード変換部５８２による、イントラ予測モードの変換方法は任意であるが、イントラ予測モード変換部４１２が行った変換方法と同様にするのが望ましい。
【０３７７】
なお、イントラ予測モード変換部５８２の構成は、イントラ予測モード変換部４１２の場合（図３３）と同様であってもよい。
【０３７８】
（３）処理の流れ
（３−１）複数画像復号処理
複数画像復号処理の流れの例を、図４６のフローチャートを参照して説明する。
【０３７９】
図４６に示されるように、復号部５０１は、ステップＳ５０１およびステップＳ５０２の処理を、各系統のストリームについて実行することにより、全ての系統のビットストリームを復号する。
【０３８０】
（３−２）復号処理
図４７のフローチャートを参照して、図４６のステップＳ５０１において実行される、各画像の復号処理の流れの例を説明する。この処理は、各系統のビットストリームについて行われる。すなわち、第１復号部５０１−１および第２復号部５０１−２がそれぞれ、この復号処理を実行する。
【０３８１】
復号処理が開始されると、ステップＳ５２１において、蓄積バッファ５５１は、伝送されてきた符号化データを蓄積する。ステップＳ５２２において、可逆復号部５５２は、蓄積バッファ５５１から供給される符号化データを復号する。すなわち、可逆符号化部１５６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
【０３８２】
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、量子化に関するパラメータ等の情報も復号される。
【０３８３】
ステップＳ５２３において、逆量子化部５５３は、ステップＳ５２３の処理により再構築された量子化パラメータを用いて、ステップＳ５２２の処理により得られた、量子化された直交変換係数を逆量子化する。
【０３８４】
ステップＳ５２４において逆直交変換部５５４は逆量子化部５５３により逆量子化されて得られた直交変換係数を、直交変換部１５４に対応する方法で逆直交変換する。これにより直交変換部１５４の入力（演算部１５３の出力）に対応する差分情報が復号されたことになる。
【０３８５】
ステップＳ５２５において、演算部５５５は、ステップＳ５２４の処理により得られた差分情報に、後述するステップＳ５２８の処理により得られた予測画像を加算する。これにより元の画像データが復号される。
【０３８６】
ステップＳ５２６において、デブロックフィルタ５５６は、ステップＳ５２５の処理により得られた再構成画像に対して、デブロックフィルタ処理を適宜行う。
【０３８７】
ステップＳ５２７において、フレームメモリ５５９は、デブロックフィルタ５５６によりフィルタ処理された再構成画像を記憶する。
【０３８８】
ステップＳ５２８において、イントラ予測部５７１、または動き予測・補償部５６２は、予測処理を行う。ステップＳ５２９において、選択部５６３は、予測画像を選択する。
【０３８９】
ステップＳ５３０において、画面並べ替えバッファ５５７は、復号画像データのフレームの並べ替えを行う。すなわち、画像符号化装置１００において並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０３９０】
ステップＳ５３１において、D/A変換部５５８は、画面並べ替えバッファ５５７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。
【０３９１】
（３−３）予測処理
図４８のフローチャートを参照して、図４７のステップＳ５２８において実行される、各画像の予測処理の流れの例を説明する。この処理は、各系統のビットストリームについて行われる。すなわち、第１復号部５０１−１および第２復号部５０１−２がそれぞれ、この予測処理を実行する。
【０３９２】
イントラ予測部５７１若しくはイントラ予測部５８１は、ステップＳ５５１において、イントラ符号化されているか否かを判定し、イントラ符号化されていると判定した場合、処理をステップＳ５５２に進める。
【０３９３】
ステップＳ５５２において、イントラ予測部５７１若しくはイントラ予測部５８１は、イントラ予測処理を行う。イントラ予測処理は、上述した符号化側の場合と同様であるので、その説明は省略する。
【０３９４】
また、ステップＳ５５１において、イントラ符号化されていないと判定された場合、動き予測・補償部５６２は、ステップＳ５５３乃至ステップＳ５５５の処理を行い、インター予測画像を生成する。
【０３９５】
以上のように、画像復号装置５００においても、画像符号化装置１００の場合と同様にイントラ予測を行うことができる。これにより、第２画像のイントラ予測モードを伝送する必要が無くなるので、符号化効率を向上させることができる。
【０３９６】
なお、以上において説明したイントラ予測モードのシフトは、ピクチャ全体で行う必要はない。イントラ予測モードをシフトするか否か、若しくは、そのシフト量の算出は、任意の単位毎に行うことができる。例えば、マクロブロック毎に、イントラ予測モードのシフト量制御を行うことができる。したがって、例えば、ピクチャ内の一部のマクロブロックのみイントラ予測モードをシフトさせることもできる。
【０３９７】
＜７．第７の実施の形態＞
［付記］
なお、以上においては、第１画像の符号化パラメータを他の画像の符号化処理に流用するように説明したが、どの画像の符号化パラメータを参照元とするかは任意である。例えば、複数系統の画像の符号化パラメータを、その他の画像の符号化処理に流用するようにしてもよい。また、負荷の増減や、符号化対象画像に応じて、どの系統の動画像の符号化パラメータを他の画像の符号化に流用させるかを選択することができるようにしてもよい。さらに、状況に応じて、切り替えることができるようにしてもよい。
【０３９８】
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図４９に示されるようなコンピュータとして構成されるようにしてもよい。
【０３９９】
図４９において、コンピュータ９００のCPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記憶部９１３からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４００】
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９１０も接続されている。
【０４０１】
入出力インタフェース９１０には、キーボード、マウス、タッチパネル、および入力端子などよりなる入力部９１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、およびOELD（Organic ElectroLuminescence Display）などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部９１２、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部９１３、モデム、LANインタフェース、USB（Universal Serial Bus）、並びにBluetooth（登録商標）等、有線や無線の任意の通信デバイスよりなる通信部９１４が接続されている。通信部９１４は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。
【０４０２】
入出力インタフェース９１０にはまた、必要に応じてドライブ９１５が接続される。そのドライブ９１５には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９２１が適宜装着される。ドライブ９１５は、例えばCPU９０１の制御に従って、自身に装着されたリムーバブルメディア９２１からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM９０３に供給される。また、リムーバブルメディア９２１から読み出されたコンピュータプログラムは、必要に応じて記憶部９１３にインストールされる。
【０４０３】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０４０４】
この記録媒体は、例えば、図４９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア９２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM９０２や、記憶部９１３に含まれるハードディスクなどで構成される。
【０４０５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４０６】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４０７】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０４０８】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４０９】
なお、本技術は以下のような構成も取ることができる。
（１）  第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部と、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部と
を備える画像処理装置。
（２）  前記符号化パラメータは、GMV（Global Motion Vector）、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの１つまたは２つ以上を含む
前記（１）に記載の画像処理装置。
（３）  前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値である
前記（２）に記載の画像処理装置。
（４）  前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトする
前記（２）または（３）に記載の画像処理装置。
（５）  前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第１の画像のイントラ予測モードに応じて、前記第２の画像のイントラ予測モードの候補となる予測方向を制限する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理する
前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記符号化部は、時分割方式により、複数の画像を符号化する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記第１の画像を符号化する第１画像符号化部をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）  前記第１の画像の符号化パラメータを導出する導出部をさらに備え、
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第２の画像の符号化パラメータに変換する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第１の画像が導出されたのと同タイミングの第２の画像の符号化パラメータに変換する
前記（９）に記載の画像処理装置。
（１１）  前記変換部および前記符号化部を、前記第１の画像以外の複数の画像のそれぞれに１つずつ有し、
各変換部は、前記第１の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、
各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記変換部は、前記第１の画像の画像情報と前記第２の画像の画像情報とを用いて、前記符号化パラメータを変換する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  前記画像情報は、画角であり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画角の比を用いて、前記符号化パラメータを変換する
前記（１２）に記載の画像処理装置。
（１４）  前記画像情報は、画サイズであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換する
前記（１２）または（１３）に記載の画像処理装置。
（１５）  前記画像情報は、フレームレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換する
前記（１２）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  前記画像情報は、ビットレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換する
前記（１２）乃至（１５）のいずれかに記載の画像処理装置。
（１７）  前記第１の画像の画像情報を取得する第１画像情報取得部と、
前記第２の画像の画像情報を取得する第２画像情報取得部と
をさらに備える前記（１２）乃至（１６）のいずれかに記載の画像処理装置。
（１８）  時分割方式により、前記第１の画像の画像情報と、前記第２の画像の画像情報とを取得する画像情報取得部をさらに備える
前記（１２）乃至（１７）のいずれかに記載の画像処理装置。
（１９）  画像処理装置の画像処理方法であって、
変換部が、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換し、
第２画像符号化部が、変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する
画像処理方法。
（２０）  コンピュータを、
第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【符号の説明】
【０４１０】
１００  画像符号化装置，  １１１  画像情報取得部，  １１１−１  第１画像情報取得部，  １１１−２  第２画像情報取得部，  １１２  符号化部，  １１２−１  第１符号化部，  １１２−２  第２符号化部，  １２１−１  符号化パラメータ導出部，  １２１−２  符号化パラメータ変換部，  １７１  GMV導出部，  １７２  GMV変換部，  ２０２  レートコントロールパラメータ導出部，  ２１２  レートコントロールパラメータ変換部，  ３０２  MV導出部，  ３１２  MV変換部，  ３５１  MV調整部，  ４０２  イントラ予測モード導出部，  ４１２  イントラ予測モード変換部，  ４２１  シフト量演算部，  ４２２  イントラ予測モード演算部，  ５００  画像復号装置，  ５０１  復号部，  ５０１−１  第１復号部，  ５０１−２  第２復号部，  ５０２−１  符号化パラメータ抽出部，  ５０２−２  符号化パラメータ変換部，  ５７２  イントラ予測モード抽出部，  ５８２  イントラ予測モード変換部
【図１】
2013146507.tif 000003
【図２】
2013146507.tif 000004
【図３】
2013146507.tif 000005
【図４】
2013146507.tif 000006
【図５】
2013146507.tif 000007
【図６】
2013146507.tif 000008
【図７】
2013146507.tif 000009
【図８】
2013146507.tif 000010
【図９】
2013146507.tif 000011
【図１０】
2013146507.tif 000012
【図１１】
2013146507.tif 000013
【図１２】
2013146507.tif 000014
【図１３】
2013146507.tif 000015
【図１４】
2013146507.tif 000016
【図１５】
2013146507.tif 000017
【図１６】
2013146507.tif 000018
【図１７】
2013146507.tif 000019
【図１８】
2013146507.tif 000020
【図１９】
2013146507.tif 000021
【図２０】
2013146507.tif 000022
【図２１】
2013146507.tif 000023
【図２２】
2013146507.tif 000024
【図２３】
2013146507.tif 000025
【図２４】
2013146507.tif 000026
【図２５】
2013146507.tif 000027
【図２６】
2013146507.tif 000028
【図２７】
2013146507.tif 000029
【図２８】
2013146507.tif 000030
【図２９】
2013146507.tif 000031
【図３０】
2013146507.tif 000032
【図３１】
2013146507.tif 000033
【図３２】
2013146507.tif 000034
【図３３】
2013146507.tif 000035
【図３４】
2013146507.tif 000036
【図３５】
2013146507.tif 000037
【図３６】
2013146507.tif 000038
【図３７】
2013146507.tif 000039
【図３８】
2013146507.tif 000040
【図３９】
2013146507.tif 000041
【図４０】
2013146507.tif 000042
【図４１】
2013146507.tif 000043
【図４２】
2013146507.tif 000044
【図４３】
2013146507.tif 000045
【図４４】
2013146507.tif 000046
【図４５】
2013146507.tif 000047
【図４６】
2013146507.tif 000048
【図４７】
2013146507.tif 000049
【図４８】
2013146507.tif 000050
【図４９】
2013146507.tif 000051
【手続補正書】
【提出日】平成27年2月24日(2015.2.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第１の画像と同タイミングの第２の画像の符号化パラメータに変換することができる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
第２画像情報取得部１１１−２は、取得した第２画像情報を第２符号化部１１２−２に供給する。また、第２画像情報取得部１１１−２は、第１画像情報取得部１１１−１から供給される第１画像情報を、第２符号化部１１２−２に供給する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
また、可逆符号化部１５６は、イントラ予測のモードを示す情報などをイントラ予測部１６４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部１６５から取得する。さらに、可逆符号化部１５６は、デブロックフィルタ１６１において使用されたフィルタ係数等を取得する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
GMV変換部１７２は、GMV導出部（図４）から供給されるGMVを取得し、第２画像情報取得部１１１−２（図２）から供給される第１画像情報や第２画像情報に基づいて、そのGMVを、第２画像用の値に変換する。GMV変換部１７２は、変換後のGMVを動き予測・補償部１６５に供給する。動き予測・補償部１６５は、そのGMVを起点の１つとして動き探索を行う。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１６８
【補正方法】変更
【補正の内容】
【０１６８】
＜３．第３の実施の形態＞
［レートコントロールパラメータ］
他の動画像に利用する符号化パラメータは、GMV以外であってもよい。例えば、レート制御に用いられるパラメータ（レートコントロールパラメータ）であってもよい。より具体的には、例えば、フレーム毎のターゲットビットであっても良いし、Q値（量子化パラメータ）であってもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１８０
【補正方法】変更
【補正の内容】
【０１８０】
レートコントロールパラメータ変換部２１２は、レート制御部２０１（レートコントロールパラメータ導出部２０２）（図１５）から供給された、例えばターゲットビットやデルタQ値等のレートコントロールパラメータを、第２画像情報取得部１１１−２（図２）から供給される第１画像情報や第２画像情報に基づいて、第２画像用のパラメータに変換する。レート制御部２１１は、変換されたレートコントロールパラメータを用いて、第２画像符号化のレート制御を行う。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０２０８
【補正方法】変更
【補正の内容】
【０２０８】
ターゲットビット［２］
＝ビットレート［２］／ビットレート［１］
×（ターゲットビット［１］＋α（発生ビット量［１］−ターゲットビット［１］））  ・・・（７）
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０２２３
【補正方法】変更
【補正の内容】
【０２２３】
ターゲットビット［２、Ｍ］
＝fps［２］／fps［１］
×（ターゲットビット［１、Ｍ］＋ターゲットビット［１、Ｍ＋１］）
＋α（発生ビット量［１、Ｍ］＋発生ビット量［１、Ｍ＋１］
−（ターゲットビット［１、Ｍ］＋ターゲットビット［１、Ｍ＋１］））
・・・（１０）
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２３４
【補正方法】変更
【補正の内容】
【０２３４】
図２４の例の場合も、第２符号化部１１２−２は、基本的に図５の例の場合と同様の構成を有するが、図２４の場合、GMV変換部１７２は省略されている。また、図２４の場合、第２符号化部１１２−２は、動き予測・補償部１６５の代わりに、動き予測・補償部３１１を有する。この動き予測・補償部３１１は、MV導出部の代わりにMV変換部３１２を有する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２６６
【補正方法】変更
【補正の内容】
【０２６６】
ステップＳ３６３において、２段目非縮小画像用整数精度動きベクトル探索部３４４は、原画像、参照画像、および、縮小画像用整数精度動きベクトルＭＶ４を用いて、２段目非縮小画像用整数精度動きベクトル探索を行い、非縮小画像用整数精度動きベクトルＭＶ５を導出する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２６７
【補正方法】変更
【補正の内容】
【０２６７】
ステップＳ３６４において、分数精度動きベクトル探索部３４５は、原画像、参照画像、および、非縮小画像用整数精度動きベクトルＭＶ５を用いて、分数精度動きベクトル探索を行い、分数精度動きベクトルＭＶ６を導出する。分数精度動きベクトル探索部３４５は、生成した分数精度動きベクトルＭＶ６をMV変換部３１２の外部に出力する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０２８１
【補正方法】変更
【補正の内容】
【０２８１】
図３２の例の場合も、第２符号化部１１２−２は、基本的に図５の例の場合と同様の構成を有するが、図３２の場合、GMV変換部１７２は省略されている。また、図３２の例の場合、第２符号化部１１２−２は、イントラ予測部１６４の代わりに、イントラ予測部４１１を有する。このイントラ予測部４１１は、イントラ予測モード導出部の代わりに、イントラ予測モード変換部４１２を有する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０４０９
【補正方法】変更
【補正の内容】
【０４０９】
なお、本技術は以下のような構成も取ることができる。
（１）  第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部と、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部と
を備える画像処理装置。
（２）  前記符号化パラメータは、GMV（Global Motion Vector）、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの１つまたは２つ以上を含む
前記（１）に記載の画像処理装置。
（３）  前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値である
前記（２）に記載の画像処理装置。
（４）  前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトする
前記（２）または（３）に記載の画像処理装置。
（５）  前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第１の画像のイントラ予測モードに応じて、前記第２の画像のイントラ予測モードの候補となる予測方向を制限する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理する
前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記符号化部は、時分割方式により、複数の画像を符号化する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記第１の画像を符号化する第１画像符号化部をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）  前記第１の画像の符号化パラメータを導出する導出部をさらに備え、
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第２の画像の符号化パラメータに変換する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第１の画像と同タイミングの第２の画像の符号化パラメータに変換する
前記（９）に記載の画像処理装置。
（１１）  前記変換部および前記符号化部を、前記第１の画像以外の複数の画像のそれぞれに１つずつ有し、
各変換部は、前記第１の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、
各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記変換部は、前記第１の画像の画像情報と前記第２の画像の画像情報とを用いて、前記符号化パラメータを変換する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  前記画像情報は、画角であり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画角の比を用いて、前記符号化パラメータを変換する
前記（１２）に記載の画像処理装置。
（１４）  前記画像情報は、画サイズであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換する
前記（１２）または（１３）に記載の画像処理装置。
（１５）  前記画像情報は、フレームレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換する
前記（１２）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  前記画像情報は、ビットレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換する
前記（１２）乃至（１５）のいずれかに記載の画像処理装置。
（１７）  前記第１の画像の画像情報を取得する第１画像情報取得部と、
前記第２の画像の画像情報を取得する第２画像情報取得部と
をさらに備える前記（１２）乃至（１６）のいずれかに記載の画像処理装置。
（１８）  時分割方式により、前記第１の画像の画像情報と、前記第２の画像の画像情報とを取得する画像情報取得部をさらに備える
前記（１２）乃至（１７）のいずれかに記載の画像処理装置。
（１９）  画像処理装置の画像処理方法であって、
変換部が、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換し、
第２画像符号化部が、変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する
画像処理方法。
（２０）  コンピュータを、
第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【手続補正１４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部と、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部と
を備える画像処理装置。
【請求項２】
前記符号化パラメータは、GMV（Global Motion Vector）、レートコントロールパラメータ、動きベクトル、または、イントラ予測モードのうちの１つまたは２つ以上を含む
請求項１に記載の画像処理装置。
【請求項３】
前記符号化パラメータが前記レートコントロールパラメータを含む場合、前記レートコントロールパラメータは、ターゲットビット、若しくは、デルタQ値である
請求項２に記載の画像処理装置。
【請求項４】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記イントラ予測モードをシフトする
請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、前記第１の画像のイントラ予測モードに応じて、前記第２の画像のイントラ予測モードの候補となる予測方向を制限する
請求項２乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記変換部は、前記符号化パラメータがイントラ予測モードの場合、一部のブロックについてのみ、前記イントラ予測モードを処理する
請求項２乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記符号化部は、時分割方式により、複数の画像を符号化する
請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記第１の画像を符号化する第１画像符号化部をさらに備える
請求項１乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記第１の画像の符号化パラメータを導出する導出部をさらに備え、
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第２の画像の符号化パラメータに変換する
請求項１乃至請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記変換部は、前記導出部により導出された前記第１の画像の符号化パラメータを、前記第１の画像と同タイミングの第２の画像の符号化パラメータに変換する
請求項９に記載の画像処理装置。
【請求項１１】
前記変換部および前記符号化部を、前記第１の画像以外の複数の画像のそれぞれに１つずつ有し、
各変換部は、前記第１の画像の符号化パラメータを、自身が対応する画像の符号化パラメータに変換し、
各符号化部は、自身が対応する画像を、前記画像の符号化パラメータを用いて符号化する
請求項１乃至請求項１０のいずれかに記載の画像処理装置。
【請求項１２】
前記変換部は、前記第１の画像の画像情報と前記第２の画像の画像情報とを用いて、前記符号化パラメータを変換する
請求項１乃至請求項１１のいずれかに記載の画像処理装置。
【請求項１３】
前記画像情報は、画角であり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画角の比を用いて、前記符号化パラメータを変換する
請求項１２に記載の画像処理装置。
【請求項１４】
前記画像情報は、画サイズであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記画サイズの比を用いて、前記符号化パラメータを変換する
請求項１２または請求項１３に記載の画像処理装置。
【請求項１５】
前記画像情報は、フレームレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記フレームレートの比を用いて、前記符号化パラメータを変換する
請求項１２乃至請求項１４のいずれかに記載の画像処理装置。
【請求項１６】
前記画像情報は、ビットレートであり、
前記変換部は、前記第１の画像と前記第２の画像の、前記ビットレートの比を用いて、前記符号化パラメータを変換する
請求項１２乃至請求項１５のいずれかに記載の画像処理装置。
【請求項１７】
前記第１の画像の画像情報を取得する第１画像情報取得部と、
前記第２の画像の画像情報を取得する第２画像情報取得部と
をさらに備える請求項１２乃至請求項１６のいずれかに記載の画像処理装置。
【請求項１８】
時分割方式により、前記第１の画像の画像情報と、前記第２の画像の画像情報とを取得する画像情報取得部をさらに備える
請求項１２乃至請求項１７のいずれかに記載の画像処理装置。
【請求項１９】
画像処理装置の画像処理方法であって、
変換部が、第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換し、
第２画像符号化部が、変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する
画像処理方法。
【請求項２０】
コンピュータを、
第１の画像の符号化に用いられる符号化パラメータを、前記第１の画像とは異なる、前記第１の画像と実質的に同時刻の第２の画像の符号化パラメータに変換する変換部、
前記変換部により変換されて得られた前記第２の画像の符号化パラメータを用いて、前記第２の画像を符号化する第２画像符号化部
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2013146507.tif 000052
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図２６
【補正方法】変更
【補正の内容】
【図２６】
2013146507.tif 000053
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図４５
【補正方法】変更
【補正の内容】
【図４５】
2013146507.tif 000054
【国際調査報告】
2013146507.tif 000055
2013146507.tif 000056
2013146507.tif 000057
2013146507.tif 000058