(57)【要約】【課題】画像の符号化による画質の低減を抑制することができるようにする。【解決手段】本開示の画像処理装置は、画像データの各ピクチャを複数系統に振り分ける振り分け部と、それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化する複数の符号化部と、前記複数の符号化部により各ピクチャが符号化されて得られた各系統のストリームを合成する合成部とを備え、前記符号化部は、カレントピクチャを符号化する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMVを用いてインター予測を行う。本開示は画像処理装置に適用することができる。【選択図】図７
2014241507.tif 000002
【特許請求の範囲】
【請求項１】
画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化する複数の符号化部と、
前記複数の符号化部により各ピクチャが符号化されて得られた各系統のストリームを合成する合成部と
を備え、
前記符号化部は、カレントピクチャを符号化する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いてインター予測を行う
画像処理装置。
【請求項２】
前記符号化部は、GMVの参照距離が最も短いピクチャの中で、最もカレントピクチャに近いピクチャが前記他の符号化部において処理中である場合、前記ピクチャの処理済みの部分の動き情報から前記第１のGMVを導出する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化部は、前記第１のGMVのピクチャが、カレントピクチャの符号化を開始する時点において処理中である場合、前記処理済みの部分の動き情報から前記第１のGMVを導出する
請求項２に記載の画像処理装置。
【請求項４】
前記符号化部は、前記第１のGMVを用いて前記インター予測のサーチエリアオフセットを導出する
請求項１に記載の画像処理装置。
【請求項５】
前記符号化部は、さらに、前記振り分け部により振り分けられる前の前記画像データにおいて前記第１のGMVのピクチャより前のピクチャであって、自分自身もしくは他の符号化部において符号化済みのピクチャの、全体の動き情報から導出されるGMVを用いて前記サーチエリアオフセットを導出する
請求項４に記載の画像処理装置。
【請求項６】
前記符号化部は、前記全体の動き情報から導出されるGMVとして、前記符号化済みのピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の動き情報から導出される第２のGMVと、その他の部分の動き情報から導出される第３のGMVとの両方を用いて前記サーチエリアオフセットを導出する
請求項５に記載の画像処理装置。
【請求項７】
前記符号化部は、前記第２のGMVと前記第３のGMVとの平均に、前記第１のGMVと前記第２のGMVとの差分を加算することにより前記サーチエリアオフセットを導出する
請求項６に記載の画像処理装置。
【請求項８】
前記振り分け部は、前記画像データのピクチャを、偶数番目のピクチャの系統と奇数番目のピクチャの系統との２系統に振り分け、
前記符号化部は、
自身に対応する系統の各ピクチャを、それぞれ２ピクチャ分の垂直同期期間中に符号化し、
その符号化の際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他方の符号化部において処理中のピクチャの、上半分の動き情報から前記第１のGMVを導出し、
前記振り分け部により振り分けられる前の前記画像データにおいて前記第１のGMVのピクチャより前のピクチャであって、自分自身もしくは前記他方の符号化部において符号化済みのピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出し、
前記第１のGMV乃至前記第３のGMVを用いて、カレントピクチャの前記サーチエリアオフセットを導出し、
導出した前記サーチエリアオフセットを用いて前記インター予測を行い、
前記合成部は、各符号化部により生成された偶数番目のピクチャの系統のストリームと、奇数番目のピクチャの系統のストリームとを合成し、出力ストリームを生成する
請求項７に記載の画像処理装置。
【請求項９】
前記符号化部は、
前記カレントピクチャの符号化を開始する際に処理中である、前記カレントピクチャの１つ前のピクチャの、上半分の動き情報から前記第１のGMVを導出し、
前記カレントピクチャの符号化を開始する際に処理済みである、前記カレントピクチャの２つ以上前のピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出する
請求項８に記載の画像処理装置。
【請求項１０】
前記符号化部は、前記カレントピクチャの３つ前のピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出する
請求項９に記載の画像処理装置。
【請求項１１】
前記符号化部は、前記第１のGMVを用いて、前記カレントピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の前記インター予測の投機実行点の開始点である第１の開始点を導出する
請求項１に記載の画像処理装置。
【請求項１２】
前記符号化部は、前記第１のGMVを前記第１の開始点とする
請求項１１に記載の画像処理装置。
【請求項１３】
前記符号化部は、前記カレントピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の処理後、さらに、前記第１のGMVのピクチャのその他の部分の動き情報から導出される第２のGMVを用いて、前記カレントピクチャの、前記第１のGMVのピクチャの前記その他の部分に対応する部分の前記インター予測の投機実行点の開始点である第２の開始点を導出する
請求項１１に記載の画像処理装置。
【請求項１４】
前記符号化部は、前記第２のGMVを前記第２の開始点とする
請求項１３に記載の画像処理装置。
【請求項１５】
前記振り分け部は、前記画像データのピクチャを、偶数番目のピクチャの系統と奇数番目のピクチャの系統との２系統に振り分け、
前記符号化部は、
自身に対応する系統の各ピクチャを、それぞれ２ピクチャ分の垂直同期期間中に符号化し、
その符号化のカレントピクチャに対する処理を開始する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他方の符号化部において処理中のピクチャの、上半分の動き情報から前記第１のGMVを導出し、
前記第１のGMVを用いて前記第１の開始点を導出し、
前記第１の開始点を用いて前記カレントピクチャの上半分について前記インター予測を行い、
上半分の処理後、処理が終了した前記第１GMVのピクチャの下半分の動き情報から前記第２のGMVを導出し、
前記第１のGMVを用いて前記第２の開始点を導出し、
前記第２の開始点を用いて前記カレントピクチャの下半分について前記インター予測を行い、
前記合成部は、各符号化部により生成された偶数番目のピクチャの系統のストリームと、奇数番目のピクチャの系統のストリームとを合成し、出力ストリームを生成する
請求項１３に記載の画像処理装置。
【請求項１６】
前記符号化部は、前記カレントピクチャの１つ前のピクチャの、上半分の動き情報から前記第１のGMVを導出し、下半分の動き情報から前記第２のGMVを導出する
請求項１５に記載の画像処理装置。
【請求項１７】
画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化し、
その各ピクチャの符号化において、振り分けられる前の前記画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測を行い、
各ピクチャが符号化されて得られた各系統のストリームを合成する
画像処理方法。
【請求項１８】
コンピュータに、
画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化し、
その各ピクチャの符号化において、振り分けられる前の前記画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測を行い、
各ピクチャが符号化されて得られた各系統のストリームを合成する
処理を実行させるためのプログラム。
【請求項１９】
被写体を撮像する撮像部と、
前記撮像部が前記被写体を撮像して得られた画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化する複数の符号化部と、
前記複数の符号化部により各ピクチャが符号化されて得られた各系統のストリームを合成する合成部と
を備え、
前記符号化部は、カレントピクチャを符号化する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いてインター予測を行う
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法、プログラム、並びに撮像装置に関し、特に、画像の符号化による画質の低減を抑制することができるようにした画像処理装置および方法、プログラム、並びに撮像装置に関する。
【背景技術】
【０００２】
従来、動画像の符号化において、複数のエンコーダを用い、例えばピクチャ単位で並列処理する方法があった（例えば、特許文献１乃至特許文献４参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２５３５１６号公報
【特許文献２】特開２００７−１６６１９２号公報
【特許文献３】特開平１０−３１３４６３号公報
【特許文献４】特開平８−２６５１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような並列化された符号化の場合、従来の方法では、あるエンコーダにおいて処理対象であるカレントピクチャより前のピクチャも、他のエンコーダにおいて符号化処理中である可能性がある。その場合、その符号化処理中のピクチャの動き情報を用いてGMV（Global Motion Vector）を導出することができず、それよりもさらに古いピクチャの動き情報を利用してGMVを導出しなければならない。そのため、GMVの精度が低減し、画質劣化が増大する恐れがあった。
【０００５】
本開示は、このような状況に鑑みて提案されたものであり、画像の符号化による画質の低減を抑制することができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一側面は、画像データの各ピクチャを複数系統に振り分ける振り分け部と、それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化する複数の符号化部と、前記複数の符号化部により各ピクチャが符号化されて得られた各系統のストリームを合成する合成部とを備え、前記符号化部は、カレントピクチャを符号化する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いてインター予測を行う画像処理装置である。
【０００７】
前記符号化部は、GMVの参照距離が最も短いピクチャの中で、最もカレントピクチャに近いピクチャが前記他の符号化部において処理中である場合、前記ピクチャの処理済みの部分の動き情報から前記第１のGMVを導出することができる。
【０００８】
前記符号化部は、前記第１のGMVのピクチャが、カレントピクチャの符号化を開始する時点において処理中である場合、前記処理済みの部分の動き情報から前記第１のGMVを導出することができる。
【０００９】
前記符号化部は、前記第１のGMVを用いて前記インター予測のサーチエリアオフセットを導出することができる。
【００１０】
前記符号化部は、さらに、前記振り分け部により振り分けられる前の前記画像データにおいて前記第１のGMVのピクチャより前のピクチャであって、自分自身もしくは他の符号化部において符号化済みのピクチャの、全体の動き情報から導出されるGMVを用いて前記サーチエリアオフセットを導出することができる。
【００１１】
前記符号化部は、前記全体の動き情報から導出されるGMVとして、前記符号化済みのピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の動き情報から導出される第２のGMVと、その他の部分の動き情報から導出される第３のGMVとの両方を用いて前記サーチエリアオフセットを導出することができる。
【００１２】
前記符号化部は、前記第２のGMVと前記第３のGMVとの平均に、前記第１のGMVと前記第２のGMVとの差分を加算することにより前記サーチエリアオフセットを導出することができる。
【００１３】
前記振り分け部は、前記画像データのピクチャを、偶数番目のピクチャの系統と奇数番目のピクチャの系統との２系統に振り分け、前記符号化部は、自身に対応する系統の各ピクチャを、それぞれ２ピクチャ分の垂直同期期間中に符号化し、その符号化の際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他方の符号化部において処理中のピクチャの、上半分の動き情報から前記第１のGMVを導出し、前記振り分け部により振り分けられる前の前記画像データにおいて前記第１のGMVのピクチャより前のピクチャであって、自分自身もしくは前記他方の符号化部において符号化済みのピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出し、前記第１のGMV乃至前記第３のGMVを用いて、カレントピクチャの前記サーチエリアオフセットを導出し、導出した前記サーチエリアオフセットを用いて前記インター予測を行い、前記合成部は、各符号化部により生成された偶数番目のピクチャの系統のストリームと、奇数番目のピクチャの系統のストリームとを合成し、出力ストリームを生成することができる。
【００１４】
前記符号化部は、前記カレントピクチャの符号化を開始する際に処理中である、前記カレントピクチャの１つ前のピクチャの、上半分の動き情報から前記第１のGMVを導出し、前記カレントピクチャの符号化を開始する際に処理済みである、前記カレントピクチャの２つ以上前のピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出することができる。
【００１５】
前記符号化部は、前記カレントピクチャの３つ前のピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出することができる。
【００１６】
前記符号化部は、前記第１のGMVを用いて、前記カレントピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の前記インター予測の投機実行点の開始点である第１の開始点を導出することができる。
【００１７】
前記符号化部は、前記第１のGMVを前記第１の開始点とすることができる。
【００１８】
前記符号化部は、前記カレントピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の処理後、さらに、前記第１のGMVのピクチャのその他の部分の動き情報から導出される第２のGMVを用いて、前記カレントピクチャの、前記第１のGMVのピクチャの前記その他の部分に対応する部分の前記インター予測の投機実行点の開始点である第２の開始点を導出することができる。
【００１９】
前記符号化部は、前記第２のGMVを前記第２の開始点とすることができる。
【００２０】
前記振り分け部は、前記画像データのピクチャを、偶数番目のピクチャの系統と奇数番目のピクチャの系統との２系統に振り分け、前記符号化部は、自身に対応する系統の各ピクチャを、それぞれ２ピクチャ分の垂直同期期間中に符号化し、その符号化のカレントピクチャに対する処理を開始する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他方の符号化部において処理中のピクチャの、上半分の動き情報から前記第１のGMVを導出し、前記第１のGMVを用いて前記第１の開始点を導出し、前記第１の開始点を用いて前記カレントピクチャの上半分について前記インター予測を行い、上半分の処理後、処理が終了した前記第１GMVのピクチャの下半分の動き情報から前記第２のGMVを導出し、前記第１のGMVを用いて前記第２の開始点を導出し、前記第２の開始点を用いて前記カレントピクチャの下半分について前記インター予測を行い、前記合成部は、各符号化部により生成された偶数番目のピクチャの系統のストリームと、奇数番目のピクチャの系統のストリームとを合成し、出力ストリームを生成することができる。
【００２１】
前記符号化部は、前記カレントピクチャの１つ前のピクチャの、上半分の動き情報から前記第１のGMVを導出し、下半分の動き情報から前記第２のGMVを導出することができる。
【００２２】
本開示の一側面は、また、画像データの各ピクチャを複数系統に振り分け、振り分けられた各系統のピクチャをそれぞれ符号化し、その各ピクチャの符号化において、振り分けられる前の前記画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測を行い、各ピクチャが符号化されて得られた各系統のストリームを合成する画像処理方法である。
【００２３】
本開示の一側面は、さらに、コンピュータに、画像データの各ピクチャを複数系統に振り分け、振り分けられた各系統のピクチャをそれぞれ符号化し、その各ピクチャの符号化において、振り分けられる前の前記画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測を行い、各ピクチャが符号化されて得られた各系統のストリームを合成する処理を実行させるためのプログラムである。
【００２４】
本開示の他の側面は、被写体を撮像する撮像部と、前記撮像部が前記被写体を撮像して得られた画像データの各ピクチャを複数系統に振り分ける振り分け部と、それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化する複数の符号化部と、前記複数の符号化部により各ピクチャが符号化されて得られた各系統のストリームを合成する合成部とを備え、前記符号化部は、カレントピクチャを符号化する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いてインター予測を行う撮像装置である。
【００２５】
本開示の一側面においては、画像データの各ピクチャが複数系統に振り分けられ、振り分けられた各系統のピクチャがそれぞれ符号化され、その各ピクチャの符号化において、振り分けられる前の画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測が行われ、各ピクチャが符号化されて得られた各系統のストリームが合成される。
【００２６】
本開示の他の側面においては、被写体が撮像され、その被写体の撮像により得られた画像データの各ピクチャが複数系統に振り分けられ、振り分けられた各系統のピクチャがそれぞれ符号化され、その各ピクチャの符号化において、振り分けられる前の画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測が行われ、各ピクチャが符号化されて得られた各系統のストリームが合成される。
【発明の効果】
【００２７】
本開示によれば、画像を処理することが出来る。特に、画像の符号化による画質の低減を抑制することができる。
【図面の簡単な説明】
【００２８】
【図１】Non-RefピクチャのGMV導出の様子の例を示す図である。
【図２】RefピクチャのGMV導出の様子の例を示す図である。
【図３】並列符号化の様子の例を説明する図である。
【図４】RefピクチャのGMV導出の様子の他の例を示す図である。
【図５】並列符号化の様子の他の例を説明する図である。
【図６】Non-RefピクチャのGMV導出の様子の他の例を示す図である。
【図７】RefピクチャのGMV導出の様子のさらに他の例を示す図である。
【図８】本開示の画像符号化装置の主な構成例を示すブロック図である。
【図９】第１符号化部の主な構成例を示すブロック図である。
【図１０】並列符号化処理の流れの例を示すフローチャートである。
【図１１】上半分GMV導出処理の流れの例を示すフローチャートである。
【図１２】符号化処理の流れの例を示すフローチャートである。
【図１３】下半分GMV導出処理の流れの例を示すフローチャートである。
【図１４】コンピュータの主な構成例を示すブロック図である。
【図１５】撮像装置の主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．GMV導出の様子の例の説明
２．第１の実施の形態（画像符号化装置）
３．第２の実施の形態（コンピュータ）
４．第３の実施の形態（撮像装置）
【００３０】
＜１．GMV導出の様子の例の説明＞
＜GMV導出例１＞
画像の符号化において、インター予測（画面間予測）により予測画像を生成する際に、GMV（Global Motion Vector）を利用する方法がある。
【００３１】
GMVは、ピクチャ全体の動きを示す動きベクトルである。より具体的には、GMVは、例えばマクロブロック毎に生成される動きベクトルの、ピクチャ内において最も度数が多い動きベクトルである。
【００３２】
このGMVは、例えば、GMVが導出されたフレーム若しくはフィールドより時間的に後に処理されるフレーム若しくはフィールドの動き予測において、動きベクトル探索の起点（投機実行点の開始点）や、動きベクトルの探索を行うサーチエリアの移動（オフセット）にも利用される。つまり、GMVは、動き予測の開始の時点で、ある程度の精度で動きベクトルを予測するものである。このようにGMVを利用することにより、動きベクトルの探索をより効率よく行うことが期待できる。
【００３３】
動きベクトルのヒストグラムをピクチャ全体で集計し、例えば、その度数が最も大きな動きベクトルがGMVとして選択される。このようなGMVの導出処理において、ヒストグラムの生成や、度数の多い動きベクトルの探索等の負荷が大きい。
【００３４】
GMVは、参照距離が近い、処理対象であるカレントピクチャにより近いピクチャの全体の動き情報を用いて導出する。
【００３５】
例えば、画像データにおいて、後続のピクチャから参照される参照ピクチャ（Ref P）と、参照されない非参照ピクチャ（Non-Ref P）とが交互に繰り返す場合、処理対象であるカレントピクチャ（CurP）が非参照ピクチャ（Ｎ）のとき、GMVは、図１Ａに示されるように、直前の非参照ピクチャ（Ｎ）のGMV（0）がそのまま適用される。つまり、図１Ｂに示されるように、直前の非参照ピクチャ（Ｎ）の全体の動き情報を用いてカレントピクチャのGMVが導出される。したがって、カレントピクチャの投機実行点の開始点（speculative_gmv）や、サーチエリアのオフセット（search_area_offset）には、その直前の非参照ピクチャ（Ｎ）のGMV（0）がそのまま適用される（直前の非参照ピクチャ（Ｎ）の全体の動き情報を用いて導出される）。
【００３６】
また、カレントピクチャ（CurP）が参照ピクチャ（Ｒ）のときは、GMVは、図２Ａに示されるように、直前の非参照ピクチャ（Ｎ）のGMV（0）を用いて導出される。つまり、図２Ｂに示されるように、直前の非参照ピクチャ（Ｎ）のGMV（0）をピクチャ間の距離に応じて調整する。すなわち、この場合も、直前の非参照ピクチャ（Ｎ）の全体の動き情報を用いてカレントピクチャのGMVが導出される。カレントピクチャの投機実行点の開始点（speculative_gmv）や、サーチエリアのオフセット（search_area_offset）も、同様に、その直前の非参照ピクチャ（Ｎ）のGMV（0）（直前の非参照ピクチャ（Ｎ）の全体の動き情報）を用いて導出される。
【００３７】
＜GMV導出例２＞
ところで、動画像の符号化においては、特許文献１乃至特許文献４に示されるように、複数のエンコーダを用い、例えばピクチャ単位で並列処理する方法があった。
【００３８】
例えば、図３に示されるように、第１符号化部と第２符号化部とを用いて、動画像の画像データの偶数番目のピクチャ（偶数画像とも称する）を第１符号化部に符号化させ、奇数番目のピクチャ（奇数画像とも称する）を第２符号化部に符号化させるとする。そして、第１符号化部および第２符号化部は、各ピクチャを２ピクチャ分の垂直同期期間（２Ｖ）内に符号化するとする。
【００３９】
この場合、図３に示されるように、カレントピクチャの処理を開始する時点において、カレントピクチャの直前のピクチャは処理中（符号化中）である。したがって、その直前のピクチャの全体の動き情報を用いてGMVを導出することはできない。例えば、３番目のピクチャ（Pic3）をカレントピクチャとする場合、２番目のピクチャ（Pic2）は処理中であるため、その全体の動き情報を用いてGMVを導出することはできない。仮に利用しようとすると、Pic2の処理が終了するまで待機する必要があり、不要な遅延が生じ、符号化処理が画像データ（フレームレート）に追い付かずに破綻してしまう恐れがあった。
【００４０】
これに対して、カレントピクチャより２ピクチャ以上前のピクチャは、カレントピクチャの処理を開始する時点において処理済み（符号化済み）であるため、そのピクチャ全体の動き情報を利用することができる。例えば、３番目のピクチャ（Pic3）をカレントピクチャとする場合、１番目のピクチャ（Pic1）や０番目のピクチャ（Pic0）は処理済みであるため、その全体の動き情報を用いてGMVを導出することができる。
【００４１】
つまり、カレントピクチャ（CurP）が非参照ピクチャ（Ｎ）のときは、図１の場合と同様にGMVを導出することができる。
【００４２】
しかしながら、カレントピクチャ（CurP）が参照ピクチャ（Ｒ）のときは、図４に示されるように、直前の非参照ピクチャ（Ｎ）のGMV（0）が完成していないため、GMVは、１つ前の非参照ピクチャ（Ｎ）のGMV（1）を用いて導出される。つまり、GMVの導出に利用する動き情報のピクチャがカレントピクチャから遠くなるので、GMVの精度が低減し、画質劣化が増大する恐れがあった。
【００４３】
＜GMV導出例３＞
そこで、このように画像の符号化を並列処理する場合、処理中のピクチャの、処理済みの部分の動き情報を用いてGMVを導出し、符号化に利用するようにする。例えば、図５に示されるように、図３の場合と同様に並列化して符号化を行う場合、カレントピクチャの直前のピクチャの動き情報を用いてGMVを導出するときは、直前のピクチャの、カレントピクチャの処理を開始する時点において処理済みの部分（例えば上半分）の動き情報を用いるようにする。換言するに、直前のピクチャの、カレントピクチャの処理を開始する時点において処理が終了していない部分の動き情報は用いずに、GMVを導出するようにする。
【００４４】
このようにすることにより、並列化して符号化を行う場合であっても、カレントピクチャにより近いピクチャの動き情報を用いてGMVを導出することができるので、GMVの精度の低減を抑制することができる。すなわち、符号化による画質の低減を抑制することができる。
【００４５】
なお、その際、処理中のピクチャの動き情報だけでなく、さらに、カレントピクチャより２ピクチャ以上前のピクチャの全体の動き情報も用いてGMVを導出するようにしてもよい。このようにすることにより、GMVの精度の低減をより抑制することができ、符号化による画質の低減をより抑制することができる。
【００４６】
例えば、画像データにおいて、カレントピクチャ（CurP）が非参照ピクチャ（Ｎ）のとき、直前の非参照ピクチャ（Ｎ）は処理済みである。したがって、カレントピクチャの上半分についてのGMV（GMV_t）は、図６Ａに示されるように、直前の非参照ピクチャ（Ｎ）の上半分のGMV（GMV_t（0））がそのまま適用される（直前の非参照ピクチャ（Ｎ）の上半分の動き情報を用いてカレントピクチャのGMV_tが導出される）。また、カレントピクチャの下半分についてのGMV（GMV_b）は、図６Ａに示されるように、直前の非参照ピクチャ（Ｎ）の下半分のGMV（GMV_b（0））がそのまま適用される（直前の非参照ピクチャ（Ｎ）の下半分の動き情報を用いてカレントピクチャのGMV_bが導出される）。
【００４７】
したがって、図６Ｂに示されるように、例えば、カレントピクチャの上半分についての投機実行点の開始点（speculative_gmv_t）は、その直前の非参照ピクチャ（Ｎ）のGMV_t（0）がそのまま適用される（直前の非参照ピクチャ（Ｎ）の上半分の動き情報を用いて導出される）。また、図６Ｂに示されるように、例えば、カレントピクチャの下半分についての投機実行点の開始点（speculative_gmv_b）は、その直前の非参照ピクチャ（Ｎ）のGMV_b（0）がそのまま適用される（直前の非参照ピクチャ（Ｎ）の下半分の動き情報を用いて導出される）。
【００４８】
そして、図６Ｂに示されるように、サーチエリアのオフセット（search_area_offset）は、その直前の非参照ピクチャ（Ｎ）のGMV_t（0）とGMV_b（0）の両方の平均が適用される（直前の非参照ピクチャ（Ｎ）の全体の動き情報（上半分の動き情報と下半分の動き情報の両方）を用いて導出される）。
【００４９】
これに対して、カレントピクチャ（CurP）が参照ピクチャ（Ｒ）のときは、直前の非参照ピクチャ（Ｎ）は処理中であるので全体の動き情報は利用できない。ただし、図５に示されるように、カレントピクチャの処理が開始する時点で上半分は処理済みである。したがって、カレントピクチャの上半分についてのGMV（GMV_t）は、図７Ａに示されるように、直前の非参照ピクチャ（Ｎ）の上半分のGMV（GMV_t（0））をそのまま適用することができる（直前の非参照ピクチャ（Ｎ）の上半分の動き情報を用いてカレントピクチャのGMV_tが導出される）。
【００５０】
また、図５に示されるように、カレントピクチャの下半分の処理を開始する時点で、直前の非参照ピクチャ（Ｎ）は処理済みとなる。したがって、カレントピクチャの下半分についてのGMV（GMV_b）も、直前の非参照ピクチャ（Ｎ）の下半分のGMV（GMV_b（0））をそのまま適用することができる（直前の非参照ピクチャ（Ｎ）の下半分の動き情報を用いてカレントピクチャのGMV_bが導出される）。
【００５１】
したがって、図７Ｂに示されるように、例えば、カレントピクチャの上半分についての投機実行点の開始点（speculative_gmv_t）は、その直前の非参照ピクチャ（Ｎ）のGMV_t（0）をそのまま適用することができる（直前の非参照ピクチャ（Ｎ）の上半分の動き情報を用いて導出される）。また、図７Ｂに示されるように、例えば、カレントピクチャの下半分についての投機実行点の開始点（speculative_gmv_b）も、その直前の非参照ピクチャ（Ｎ）のGMV_b（0）をそのまま適用することができる（直前の非参照ピクチャ（Ｎ）の下半分の動き情報を用いて導出される）。
【００５２】
これに対して、サーチエリアのオフセット（search_area_offset）は、カレントピクチャの開始時点で導出しなければならないので、直前の非参照ピクチャ（Ｎ）の下半分の動き情報を用いることができない。そこで、画質劣化の増大を抑制するために、直前の非参照ピクチャ（Ｎ）の上半分のGMV（GMV_t（0））（すなわち、処理中のピクチャの、処理済みの部分の動き情報）を用いて、サーチエリアのオフセットを導出するようにする。
【００５３】
より具体的には、GMVの精度をより向上させるために、図７Ａに示されるように、さらに、１つ前の非参照ピクチャ（Ｎ）の全体のGMV（GMV（1））（例えば、１つ前の非参照ピクチャ（Ｎ）の上半分のGMV（GMV_t（1））と、１つ前の非参照ピクチャ（Ｎ）の下半分のGMV（GMV_b（1）））も用いてサーチエリアのオフセットを導出するようにする。例えば、GMV_t（1）とGMV_b（1）の平均を、１つ前の非参照ピクチャ（Ｎ）の全体のGMVとして求め、その値を用いて、GMV_t（1）とGMV_t（0）との差分、すなわち、１つ前の非参照ピクチャ（Ｎ）と直前の非参照ピクチャ（Ｎ）との間の上半分の動きの差分を、ピクチャ全体に反映させるようにする。
【００５４】
より具体的には、図７Ｂに示されるように、GMV_t（1）とGMV_b（1）の平均に、GMV_t（1）とGMV_t（0）との差分を加算する。このようにサーチエリアのオフセット（search_area_offset）を導出することにより、GMVの精度の低減をより抑制することができ、符号化による画質の低減をより抑制することができる。
【００５５】
＜２．第１の実施の形態＞
＜画像符号化装置＞
次に、以上のような本技術を適用した画像処理装置について説明する。図８は、本開示の一実施形態に係る画像符号化装置１００の構成の一例を示すブロック図である。図８に示される画像符号化装置１００は、動画像である入力画像をピクチャ毎に２系統に並列化して符号化する。
【００５６】
図８に示されるように、画像符号化装置１００は、画像振分部１０１、第１符号化部１０２、第２符号化部１０３、およびストリーム合成部１０４を有する。
【００５７】
画像振分部１０１は、入力画像を交互に２系統に振り分ける。すなわち、画像振分部１０１は、入力画像の偶数番目のピクチャ（偶数画像）を第１符号化部１０２に供給し、奇数番目のピクチャ（奇数画像）を第２符号化部１０３に供給する。なお、以下において、入力画像とは、画像符号化装置１００に入力される、画像振分部１０１が振り分ける前の状態の１系統の動画像（若しくはそのピクチャ）を指すものとする。
【００５８】
第１符号化部１０２は、供給される偶数画像群を、１系統の動画像として符号化する。例えば、第１符号化部１０２は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等と同様のイントラ予測やインター予測等を行って予測画像を生成し、その予測画像と入力された偶数画像の差分画像に対して、直交変換や量子化等を行い、可逆符号化してストリーム（第１ストリーム）を生成する。第１符号化部１０２は、生成した第１ストリーム（偶数画像群の符号化データ）をストリーム合成部１０４に供給する。
【００５９】
第２符号化部１０３は、供給される奇数画像群に対して、第１符号化部１０２と同様の符号化を行い、第２ストリームを生成する。第２符号化部１０３は、生成した第２ストリーム（奇数画像群の符号化データ）をストリーム合成部１０４に供給する。
【００６０】
ストリーム合成部１０４は、供給された第１ストリームと第２ストリームとを合成し、１系統の出力ストリームを生成する。すなわち、ストリーム合成部１０４は、第１ストリームに含まれる各偶数画像の符号化データと、第２ストリームに含まれる各奇数画像の符号化データとを、入力画像における各ピクチャの並び順に並べ替えて１系統化する。その際、ストリーム合成部１０４は、第１ストリームのヘッダ情報と、第２ストリームのヘッダ情報とを適切に組み合わせ、かつ、適宜パラメータ変換を行って、出力ストリームのヘッダ情報を生成する。つまり、ストリーム合成部１０４は、第１ストリームと第２ストリームとを合成することにより、入力画像を並列化せずに符号化した場合と同様のストリームを生成する。ストリーム合成部１０４は、生成した出力ストリームを画像符号化装置１００の外部に出力する。
【００６１】
なお、第１符号化部１０２と第２符号化部１０３とは、互いに並列に処理を行うことができる。つまり、第１符号化部１０２が、入力画像のあるピクチャを符号化中に、第２符号化部１０３が入力画像のその次のピクチャの符号化を行うことができる。このようにすることにより、第１符号化部１０２および第２符号化部１０３は、それぞれ、１ピクチャの符号化に２ピクチャ分の垂直同期期間を使うことができる。換言するに、第１符号化部１０２および第２符号化部１０３が１ピクチャの符号化を２ピクチャ分の垂直同期期間内に行うことにより、リアルタイム（即時的）に、すなわち、入力画像のフレームレートに対応する速度で、オーバフローせずに出力ストリームを出力することができる。
【００６２】
つまり、第１符号化部１０２および第２符号化部１０３が並列に処理を行うことができることにより、符号化処理のためにより長時間を確保することができるようになるので、画像符号化装置１００は、入力画像が例えば４Ｋ画像のようなデータ量（画素数やビット深度等）が大きなピクチャであってもリアルタイムに符号化することができる。
【００６３】
また、第１符号化部１０２および第２符号化部１０３は、互いに、参照画像やGMVに関する情報等、符号化に関する情報を適宜授受することができる。すなわち、第１符号化部１０２および第２符号化部１０３は、他方で行われた符号化の情報を、自身が行う符号化に利用することができる。例えば、第１符号化部１０２および第２符号化部１０３は、他方の符号化部において過去に符号化されたピクチャの動き情報を用いてGMVを導出したり、そのGMVをカレントピクチャの符号化に利用したりすることができる。
【００６４】
＜第１符号化部＞
図９は、図８の第１符号化部１０２の主な構成例を示すブロック図である。
【００６５】
図９に示される第１符号化部１０２は、AVCやHEVCのように、予測処理を用いて画像データを符号化する。
【００６６】
図９に示されるように第１符号化部１０２は、A/D変換部１５１、画面並べ替えバッファ１５２、演算部１５３、直交変換部１５４、量子化部１５５、可逆符号化部１５６、および蓄積バッファ１５７を有する。また、第１符号化部１０２は、逆量子化部１５８、逆直交変換部１５９、演算部１６０、デブロックフィルタ１６１、フレームメモリ１６２、選択部１６３、イントラ予測部１６４、動き予測・補償部１６５、予測画像選択部１６６、およびレート制御部１６７を有する。
【００６７】
第１符号化部１０２は、さらに、GMV導出部１７１を有する。
【００６８】
A/D変換部１５１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１５２に供給し、記憶させる。画面並べ替えバッファ１５２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１５３に供給する。また、画面並べ替えバッファ１５２は、フレームの順番を並び替えた画像を、イントラ予測部１６４および動き予測・補償部１６５にも供給する。
【００６９】
演算部１５３は、画面並べ替えバッファ１５２から読み出された画像から、予測画像選択部１６６を介してイントラ予測部１６４若しくは動き予測・補償部１６５から供給される予測画像を減算し、その差分情報を直交変換部１５４に出力する。
【００７０】
例えば、インター符号化が行われる画像の場合、演算部１５３は、画面並べ替えバッファ１５２から読み出された画像から、動き予測・補償部１６５から供給される予測画像を減算する。
【００７１】
直交変換部１５４は、演算部１５３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１５４は、その変換係数を量子化部１５５に供給する。
【００７２】
量子化部１５５は、直交変換部１５４から供給される変換係数を量子化する。量子化部１５５は、レート制御部１６７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１５５は、量子化された変換係数を可逆符号化部１５６に供給する。
【００７３】
可逆符号化部１５６は、量子化部１５５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１６７の制御の下で量子化されているので、この符号量は、レート制御部１６７が設定した目標値となる（若しくは目標値に近似する）。
【００７４】
また、可逆符号化部１５６は、イントラ予測のモードを示す情報などをイントラ予測部１６４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部１６５から取得する。さらに、可逆符号化部１５６は、デブロックフィルタ１６１において使用されたフィルタ係数等を取得することもできる。
【００７５】
可逆符号化部１５６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１５６は、符号化して得られた符号化データを蓄積バッファ１５７に供給して蓄積させる。
【００７６】
可逆符号化部１５６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【００７７】
蓄積バッファ１５７は、可逆符号化部１５６から供給された符号化データを、一時的に保持する。蓄積バッファ１５７は、所定のタイミングにおいて、保持している符号化データを、ビットストリーム（第１ストリーム）として出力する。
【００７８】
また、量子化部１５５において量子化された変換係数は、逆量子化部１５８にも供給される。逆量子化部１５８は、その量子化された変換係数を、量子化部１５５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１５５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１５８は、得られた変換係数を、逆直交変換部１５９に供給する。
【００７９】
逆直交変換部１５９は、逆量子化部１５８から供給された変換係数を、直交変換部１５４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１５４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部１６０に供給される。
【００８０】
演算部１６０は、逆直交変換部１５９から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１６６を介してイントラ予測部１６４若しくは動き予測・補償部１６５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、デブロックフィルタ１６１またはフレームメモリ１６２に供給される。
【００８１】
デブロックフィルタ１６１は、演算部１６０から供給される復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１６１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１５６に供給し、それを符号化させるようにすることもできる。
【００８２】
デブロックフィルタ１６１は、フィルタ処理結果（フィルタ処理後の復号画像）をフレームメモリ１６２に供給する。なお、上述したように、演算部１６０から出力される復号画像は、デブロックフィルタ１６１を介さずにフレームメモリ１６２に供給することができる。つまり、デブロックフィルタ１６１によるフィルタ処理は省略することができる。
【００８３】
フレームメモリ１６２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１６３に供給する。
【００８４】
選択部１６３は、フレームメモリ１６２から供給される参照画像の供給先を選択する。例えば、インター予測の場合、選択部１６３は、フレームメモリ１６２から供給される参照画像を動き予測・補償部１６５に供給する。
【００８５】
イントラ予測部１６４は、選択部１６３を介してフレームメモリ１６２から供給される参照画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１６４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
【００８６】
イントラ予測部１６４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１５２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１６４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１６６に供給する。
【００８７】
また、上述したように、イントラ予測部１６４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１５６に供給し、符号化させる。
【００８８】
動き予測・補償部１６５は、画面並べ替えバッファ１５２から供給される入力画像と、選択部１６３を介してフレームメモリ１６２から供給される参照画像とを用いて動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１６５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。
【００８９】
動き予測・補償部１６５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１６５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１６６に供給する。
【００９０】
また、動き予測・補償部１６５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１５６に供給し、符号化させる。
【００９１】
予測画像選択部１６６は、演算部１５３や演算部１６０に供給する予測画像の供給元を選択する。例えば、インター符号化の場合、予測画像選択部１６６は、予測画像の供給元として動き予測・補償部１６５を選択し、その動き予測・補償部１６５から供給される予測画像を演算部１５３や演算部１６０に供給する。
【００９２】
レート制御部１６７は、蓄積バッファ１５７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５５の量子化動作のレートを制御する。
【００９３】
GMV導出部１７１は、処理対象であるカレントピクチャより前に符号化されたピクチャの動き情報を用いてGMVを導出し、さらにそのGMVを用いて動き予測・補償部１６５のインター予測に利用されるパラメータを導出し、そのパラメータを動き予測・補償部１６５に提供する。
【００９４】
例えば、過去に符号化された偶数画像の動き情報を利用する場合、GMV導出部１７１は、第１符号化部１０２の動き予測・補償部１６５からそのピクチャの動き情報を取得し、その動き情報からGMVを導出し、そのGMVを用いてインター予測の投機実行点の開始点やサーチエリアのオフセットを導出する。また、例えば、過去に符号化された奇数画像の動き情報を利用する場合、GMV導出部１７１は、第２符号化部１０３（の動き予測・補償部１６５）からそのピクチャの動き情報を取得し、その動き情報からGMVを導出し、そのGMVを用いてインター予測の投機実行点の開始点やサーチエリアのオフセットを導出する。
【００９５】
その際、＜GMV導出例３＞において上述したように、動き情報を取得する奇数画像が第２符号化部１０３において処理中である場合、GMV導出部１７１は、そのピクチャの符号化済みの部分（例えばピクチャの上半分）の動き情報を取得し、そのGMVを用いてインター予測の投機実行点の開始点やサーチエリアのオフセットを導出する。
【００９６】
また、GMV導出部１７１は、＜GMV導出例３＞において上述したように、必要に応じて、さらに、ピクチャ全体が符号化済みの参照距離が近いピクチャ（すなわち、参照距離が近いピクチャの中でカレントピクチャに２番目以降に近いピクチャ）の全体の動き情報も用いるようにしてもよい。例えば、GMV導出部１７１が、図７Ｂを参照して説明したような演算を行って、GMV_t(0)だけでなくGMV_t(1)やGMV_b(1)を用いて、サーチエリアのオフセットを導出するようにしてもよい。
【００９７】
動き予測・補償部１６５は、GMV導出部１７１により導出されたパラメータ（投機実行点の開始点やサーチエリアのオフセット）を用いてインター予測を行い、予測画像を生成する。なお、動き予測・補償部１６５は、第２符号化部１０３（のGMV導出部１７１）の要求に応じて、処理済みのピクチャの動き情報を提供する。
【００９８】
このようにすることにより、第１符号化部１０２は、GMVの精度の低減を抑制することができ、画像の符号化による画質の低減を抑制することができる。
【００９９】
＜第２符号化部＞
なお、第２符号化部１０３は、偶数画像の代わりに奇数画像を符号化する点以外、第１符号化部１０２と同様の処理部であり、第１符号化部１０２と同様の符号化を行う。つまり、第２符号化部１０３は、第１符号化部１０２と同様の構成（図９）を有する。したがって、図９は、第２符号化部１０３の説明にも利用することができるものとする。
【０１００】
例えば、第２符号化部１０３の場合であっても、GMV導出部１７１は、処理対象であるカレントピクチャより前に符号化されたピクチャの動き情報を用いてGMVを導出し、さらにそのGMVを用いて第２符号化部１０３の動き予測・補償部１６５のインター予測に利用されるパラメータを導出し、そのパラメータを第２符号化部１０３の動き予測・補償部１６５に提供する。
【０１０１】
例えば、第２符号化部１０３の場合も、過去に符号化された偶数画像の動き情報を利用するときは、GMV導出部１７１は、第１符号化部１０２の動き予測・補償部１６５からそのピクチャの動き情報を取得し、その動き情報からGMVを導出し、そのGMVを用いてインター予測の投機実行点の開始点やサーチエリアのオフセットを導出する。また、例えば、過去に符号化された奇数画像の動き情報を利用する場合、GMV導出部１７１は、第２符号化部１０３の動き予測・補償部１６５からそのピクチャの動き情報を取得し、その動き情報からGMVを導出し、そのGMVを用いてインター予測の投機実行点の開始点やサーチエリアのオフセットを導出する。
【０１０２】
その際、＜GMV導出例３＞において上述したように、動き情報を取得する偶数画像が第１符号化部１０２において処理中である場合、GMV導出部１７１は、そのピクチャの符号化済みの部分（例えばピクチャの上半分）の動き情報を取得し、そのGMVを用いてインター予測の投機実行点の開始点やサーチエリアのオフセットを導出する。
【０１０３】
また、GMV導出部１７１は、＜GMV導出例３＞において上述したように、必要に応じて、さらに、ピクチャ全体が符号化済みの参照距離が近いピクチャ（すなわち、参照距離が近いピクチャの中でカレントピクチャに２番目以降に近いピクチャ）の全体の動き情報も用いるようにしてもよい。例えば、GMV導出部１７１が、図７Ｂを参照して説明したような演算を行って、GMV_t(0)だけでなくGMV_t(1)やGMV_b(1)を用いて、サーチエリアのオフセットを導出するようにしてもよい。
【０１０４】
第２符号化部１０３の動き予測・補償部１６５は、この第２符号化部１０３のGMV導出部１７１により導出されたパラメータ（投機実行点の開始点やサーチエリアのオフセット）を用いてインター予測を行い、予測画像を生成する。なお、第２符号化部１０３の動き予測・補償部１６５は、第１符号化部１０２のGMV導出部１７１の要求に応じて、処理済みのピクチャの動き情報を提供する。
【０１０５】
このようにすることにより、第２符号化部１０３は、GMVの精度の低減を抑制することができ、画像の符号化による画質の低減を抑制することができる。以上のように第１符号化部１０２および第２符号化部１０３が、GMVの精度の低減を抑制することができるので、画像符号化装置１００は、画像の符号化による画質の低減を抑制することができる。
【０１０６】
＜処理の流れ＞
次に、このような画像符号化装置１００により実行される処理の流れについて説明する。
【０１０７】
＜並列符号化処理の流れ＞
図１０のフローチャートを参照して、画像符号化装置１００により実行される並列符号化処理の流れの例を説明する。
【０１０８】
画像符号化装置１００の画像振分部１０１は、ステップＳ１０１において、入力画像の各ピクチャを順次、偶数画像と奇数画像に振り分ける。偶数画像に対しては、ステップＳ１０２乃至ステップＳ１０８の処理が行われる。また、奇数画像に対しては、ステップＳ１０９乃至ステップＳ１１５の処理が行われる。偶数画像に対するステップＳ１０２乃至ステップＳ１０８の処理と、奇数画像に対するステップＳ１０９乃至ステップＳ１１５の処理は、互いに並列に実行することができる。
【０１０９】
ステップＳ１０２において、第１符号化部１０２のA/D変換部１５１は、入力された偶数画像をA/D変換する。ステップＳ１０３において、第１符号化部１０２の画面並べ替えバッファ１５２は、A/D変換された画像を記憶し、必要に応じてピクチャを、表示する順番から符号化する順番へ並べ替える。
【０１１０】
ステップＳ１０４において、第１符号化部１０２のGMV導出部１７１は、カレントピクチャの上半分の部分についてのGMVを導出するGMV導出処理を行う。ステップＳ１０５において、第１符号化部１０２は、カレントピクチャの上半分の部分について符号化を行う。
【０１１１】
ステップＳ１０６において、第１符号化部１０２のGMV導出部１７１は、カレントピクチャの下半分の部分についてのGMVを導出するGMV導出処理を行う。ステップＳ１０７において、第１符号化部１０２は、カレントピクチャの下半分の部分について符号化を行う。
【０１１２】
ステップＳ１０８において、第１符号化部１０２は、偶数画像群の系列の全てのピクチャ（すなわち、全ての偶数画像）を処理したか否かを判定する。未処理のピクチャが存在すると判定された場合、処理はステップＳ１０２に戻る。第１符号化部１０２は、各ピクチャについて、ステップＳ１０２乃至ステップＳ１０８の処理を実行する。そして、ステップＳ１０８において、全てのピクチャを処理したと判定された場合、処理はステップＳ１１６に進む。
【０１１３】
また、ステップＳ１０９において、第２符号化部１０３のA/D変換部１５１は、入力された奇数画像をA/D変換する。ステップＳ１１０において、第２符号化部１０３の画面並べ替えバッファ１５２は、A/D変換された画像を記憶し、必要に応じて、ピクチャの、表示する順番から符号化する順番への並べ替えを行う。
【０１１４】
ステップＳ１１１において、第２符号化部１０３のGMV導出部１７１は、カレントピクチャの上半分の部分についてのGMVを導出するGMV導出処理を行う。ステップＳ１１２において、第２符号化部１０３は、カレントピクチャの上半分の部分について符号化を行う。
【０１１５】
ステップＳ１１３において、第２符号化部１０３のGMV導出部１７１は、カレントピクチャの下半分の部分についてのGMVを導出するGMV導出処理を行う。ステップＳ１１４において、第２符号化部１０３は、カレントピクチャの下半分の部分について符号化を行う。
【０１１６】
ステップＳ１１５において、第２符号化部１０３は、奇数画像群の系列の全てのピクチャ（すなわち、全ての奇数画像）を処理したか否かを判定する。未処理のピクチャが存在すると判定された場合、処理はステップＳ１０９に戻る。第２符号化部１０３は、各ピクチャについて、ステップＳ１０９乃至ステップＳ１１５の処理を実行する。そして、ステップＳ１１５において、全てのピクチャを処理したと判定された場合、処理はステップＳ１１６に進む。
【０１１７】
ステップＳ１１６において、ストリーム合成部１０４は、ステップＳ１０２乃至ステップＳ１０８の処理により生成される第１ストリームと、ステップＳ１０９乃至ステップＳ１１５の処理により生成される第２ストリームとを合成し、出力ストリームを生成する。なお、ストリーム合成部１０４が、供給される各ピクチャのストリームを順次合成するようにしてもよい。つまり、ステップＳ１１６の処理は、繰り返し実行されるステップＳ１０２乃至ステップＳ１０８の処理、並びに、ステップＳ１０９乃至ステップＳ１１５の処理と並行して実行されるようにしてもよい。
【０１１８】
第１ストリームと第２ストリームが全て合成され、ステップＳ１１６の処理が終了すると、並列符号化処理が終了する。
【０１１９】
＜上半分GMV導出処理の流れ＞
次に、図１０のステップＳ１０４において実行される上半分GMV導出処理の流れの例を、図１１のフローチャートを参照して説明する。図１０に示されるように、この上半分GMV導出処理は、カレントピクチャに対する符号化を開始する際に実行される。
【０１２０】
上半分GMV導出処理が開始されると、第１符号化部１０２のGMV導出部１７１は、ステップＳ１３１において、GMV（動き情報）を利用するフレーム（ピクチャ）を特定し、そのピクチャが処理中（第２符号化部１０３により符号化中）であるか否かを判定する。GMV導出部１７１は、参照距離が近いピクチャの内、カレントピクチャに最も近いピクチャを、GMV（動き情報）を利用するピクチャと特定する。そしてGMV導出部１７１は、そのピクチャが例えばカレントピクチャの１つ前のピクチャであり、第２符号化部１０３により符号化中であるか否かを判定する。処理中であると判定された場合、処理は、ステップＳ１３２に進む。
【０１２１】
ステップＳ１３２において、GMV導出部１７１は、その処理中のピクチャの上半分の部分の動き情報（若しくはそのピクチャの上半分の部分のGMV_t（0））を用いて、例えば、図７Ｂに示されるような演算を行い、カレントピクチャの上半分の部分についてのインター予測の投機実行点の開始点（speculative_gmv_t）を導出する。
【０１２２】
ステップＳ１３３において、GMV導出部１７１は、その処理中のピクチャの上半分の部分の動き情報（若しくはそのピクチャの上半分の部分のGMV_t（0））に加え、参照距離が近いピクチャの中で処理中のピクチャの１つ前のピクチャの全体の動き情報（若しくはピクチャ全体のGMV(1)）、または、上半分の部分の動き情報（若しくは上半分の部分のGMV_t(1)）および下半分の部分の動き情報（若しくは下半分の部分のGMV_b(1)）を用いて、例えば図７に示されるような演算を行い、カレントピクチャの全体についてのインター予測のサーチエリアオフセット（search_area_offset）を導出する。
【０１２３】
ステップＳ１３３の処理が終了すると、上半分GMV導出処理が終了し、処理は、図１０に戻る。また、ステップＳ１３１において、GMV（動き情報）を利用するピクチャが処理中でないと判定された場合、処理はステップＳ１３４に進む。
【０１２４】
ステップＳ１３４において、GMV導出部１７１は、その処理済みのピクチャの上半分の部分の動き情報（若しくはそのピクチャの上半分の部分のGMV_t（0））を用いて、例えば、図６Ｂに示されるような演算を行い、カレントピクチャの上半分の部分についてのインター予測の投機実行点の開始点（speculative_gmv_t）を導出する。
【０１２５】
ステップＳ１３５において、GMV導出部１７１は、その処理済みのピクチャの全体の動き情報（若しくはピクチャ全体のGMV(0)）、または、上半分の部分の動き情報（若しくは上半分の部分のGMV_t(0)）および下半分の部分の動き情報（若しくは下半分の部分のGMV_b(0)）を用いて、例えば図６Ｂに示されるような演算を行い、カレントピクチャの全体についてのインター予測のサーチエリアオフセット（search_area_offset）を導出する。
【０１２６】
ステップＳ１３５の処理が終了すると、上半分GMV導出処理が終了し、処理は、図１０に戻る。
【０１２７】
なお、図１０のステップＳ１１１において、第２符号化部１０３のGMV導出部１７１は、図１１の場合と同様に、上半分GMV導出処理を実行する。
【０１２８】
＜上半分の部分についての符号化処理の流れ＞
次に、図１２のフローチャートを参照して、図１０のステップＳ１０５において実行されるカレントピクチャの符号化処理の流れの例を説明する。
【０１２９】
符号化処理が開始されると、ステップＳ１５１において、イントラ予測部１６４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１５２において、動き予測・補償部１６５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。このインター予測の際、動き予測・補償部１６５は、GMV導出部１７１が導出したGMV（インター予測の投機実行点の開始点（speculative_gmv_t）やインター予測のサーチエリアオフセット（search_area_offset））を用いる。
【０１３０】
ステップＳ１５３において、予測画像選択部１６６は、イントラ予測部１６４および動き予測・補償部１６５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、予測画像選択部１６６は、イントラ予測部１６４により生成された予測画像と、動き予測・補償部１６５により生成された予測画像のいずれか一方を選択する。
【０１３１】
ステップＳ１５４において、演算部１５３は、並び替えられた画像と、ステップＳ１５３の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１３２】
ステップＳ１５５において、直交変換部１５４は、ステップＳ１５４の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５６において、量子化部１５５は、ステップＳ１５５の処理により得られた直交変換係数を量子化する。
【０１３３】
ステップＳ１５６の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１５７において、逆量子化部１５８はステップＳ１５６の処理により量子化された直交変換係数を、ステップＳ１５６の量子化に対応する方法で逆量子化する。ステップＳ１５８において、逆直交変換部１５９は、ステップＳ１５７の処理により得られた直交変換係数を、ステップＳ１５５の処理に対応する方法で逆直交変換する。
【０１３４】
ステップＳ１５９において、演算部１６０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１５３への入力に対応する画像）を生成する。ステップＳ１６０において、デブロックフィルタ１６１は、ステップＳ１５９の処理により生成された画像に対してデブロックフィルタ処理を行う。これによりブロック歪み等が除去される。
【０１３５】
ステップＳ１６１において、フレームメモリ１６２は、ステップＳ１６０の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１６２にはデブロックフィルタ１６１によりフィルタ処理されていない画像も演算部１６０から供給され、記憶される。このフレームメモリ１６２に記憶された画像は、ステップＳ１５１の処理やステップＳ１５２の処理に利用される。
【０１３６】
ステップＳ１６２おいて、可逆符号化部１５６は、ステップＳ１５６の処理により量子化された変換係数を符号化し、符号化データを生成する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１３７】
なお、可逆符号化部１５６は、ステップＳ１５３の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。例えば、イントラ予測モードが選択された場合、可逆符号化部１５６は、イントラ予測モード情報を符号化する。また、例えば、インター予測モードが選択された場合、可逆符号化部１５６は、インター予測モード情報を符号化する。これらの情報は、例えばヘッダ情報等として符号化データに付加（多重化）される。
【０１３８】
ステップＳ１６３において蓄積バッファ１５７は、ステップＳ１６２の処理により生成された符号化データを蓄積する。蓄積バッファ１５７に蓄積された符号化データは、適宜読み出され、任意の伝送路（通信路だけでなく記憶媒体等も含む）を介して復号側の装置に伝送される。
【０１３９】
ステップＳ１６４においてレート制御部１６７は、ステップＳ１６３の処理により蓄積バッファ１５７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５５の量子化動作のレートを制御する。
【０１４０】
ステップＳ１６４の処理が終了すると、符号化処理が終了し、処理は図１０に戻る。第１符号化部１０２は、以上のような符号化処理を実行することにより、カレントピクチャの上半分の部分についての符号化を行う。
【０１４１】
なお、図１０のステップＳ１１２において、第２符号化部１０３は、図１２の場合と同様に、符号化処理を実行する。
【０１４２】
＜下半分GMV導出処理の流れ＞
次に、図１３のフローチャートを参照して、図１０のステップＳ１０６において実行される下半分GMV導出処理の流れの例を説明する。図１０に示されるように、この下半分GMV導出処理は、カレントピクチャの上半分の部分に対する符号化が終了した後に実行される。
【０１４３】
下半分GMV導出処理が開始されると、第１符号化部１０２のGMV導出部１７１は、ステップＳ１８１において、GMV（動き情報）を利用するフレーム（ピクチャ）を特定し、そのピクチャの下半分の部分の動き情報（若しくはそのピクチャの下半分の部分のGMV_b（0））を用いて、例えば、図７Ｂに示されるような演算を行い、カレントピクチャの下半分の部分についてのインター予測の投機実行点の開始点（speculative_gmv_b）を導出する。
【０１４４】
ステップＳ１８１の処理が終了すると、下半分GMV導出処理が終了し、処理は図１０に戻る。
【０１４５】
なお、図１０のステップＳ１１３において、第２符号化部１０３のGMV導出部１７１は、図１３の場合と同様に、下半分GMV導出処理を実行する。
【０１４６】
＜下半分の部分についての符号化処理の流れ＞
なお、図１０のステップＳ１０７において、第１符号化部１０２は、カレントピクチャの下半分の部分について、図１２の場合と同様に符号化処理を実行する。また、図１０のステップＳ１１４において、第２符号化部１０３は、カレントピクチャの下半分の部分について、図１２の場合と同様に符号化処理を実行する。
【０１４７】
以上のように各処理を実行することにより、画像符号化装置１００は、符号化による画質の低減をより抑制することができる。
【０１４８】
＜その他＞
以上においては、画像振分部１０１が入力画像を偶数画像と奇数画像の２系統に振り分け、第１符号化部１０２と第２符号化部１０３が各系統の画像を符号化するように説明したが、画像符号化装置１００は、互いに並列に処理を実行することができる符号化部を、任意の数、有することができる。つまり、画像振分部１０１が１系統の入力画像を任意の数の系統に振り分けることができる。
【０１４９】
また、入力画像における参照ピクチャと非参照ピクチャとの構成は、任意であり、図６や図７等に示される例に限らない。また、GMV導出部が動き情報を利用する、処理中のピクチャの処理済みの部分は任意であり、参照ピクチャと非参照ピクチャとの構成や符号化部の数（画像振分部１０１が入力画像を振り分ける系統の数）等に依存する。
【０１５０】
さらに、インター予測の投機実行点の開始点やサーチエリアオフセットを導出する演算方法は、図６や図７の例に限らず任意である。
【０１５１】
＜３．第２の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１４に示されるようなコンピュータとして構成されるようにしてもよい。
【０１５２】
図１４において、コンピュータ９００のCPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記憶部９１３からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５３】
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９１０も接続されている。
【０１５４】
入出力インタフェース９１０には、キーボード、マウス、タッチパネル、および入力端子などよりなる入力部９１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、およびOELD（Organic ElectroLuminescence Display）などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部９１２、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部９１３、モデム、LANインタフェース、USB（Universal Serial Bus）、並びにBluetooth（登録商標）等、有線や無線の任意の通信デバイスよりなる通信部９１４が接続されている。通信部９１４は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。
【０１５５】
入出力インタフェース９１０にはまた、必要に応じてドライブ９１５が接続される。そのドライブ９１５には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９２１が適宜装着される。ドライブ９１５は、例えばCPU９０１の制御に従って、自身に装着されたリムーバブルメディア９２１からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM９０３に供給される。また、リムーバブルメディア９２１から読み出されたコンピュータプログラムは、必要に応じて記憶部９１３にインストールされる。
【０１５６】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１５７】
この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア９２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM９０２や、記憶部９１３に含まれるハードディスクなどで構成される。
【０１５８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６０】
＜４．第３の実施の形態＞
＜撮像装置＞
上述した実施形態に係る画像符号化装置１００は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。
【０１６１】
図１５は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１６２】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。
【０１６３】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、および制御部９７０を相互に接続する。
【０１６４】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０１６５】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１６６】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１６７】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１６８】
外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。
【０１６９】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０１７０】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０１７１】
ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１７２】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図８）の機能を有する。それにより、撮像装置９６０での画像の符号化による画質の低減を抑制することができる。
【０１７３】
なお、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１７４】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７５】
なお、本技術は以下のような構成も取ることができる。
（１）  画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化する複数の符号化部と、
前記複数の符号化部により各ピクチャが符号化されて得られた各系統のストリームを合成する合成部と
を備え、
前記符号化部は、カレントピクチャを符号化する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いてインター予測を行う
画像処理装置。
（２）  前記符号化部は、GMVの参照距離が最も短いピクチャの中で、最もカレントピクチャに近いピクチャが前記他の符号化部において処理中である場合、前記ピクチャの処理済みの部分の動き情報から前記第１のGMVを導出する
（１）、（３）乃至（１６）のいずれかに記載の画像処理装置。
（３）  前記符号化部は、前記第１のGMVのピクチャが、カレントピクチャの符号化を開始する時点において処理中である場合、前記処理済みの部分の動き情報から前記第１のGMVを導出する
（１）、（２）、（４）乃至（１６）のいずれかに記載の画像処理装置。
（４）  前記符号化部は、前記第１のGMVを用いて前記インター予測のサーチエリアオフセットを導出する
（１）乃至（３）、（５）乃至（１６）のいずれかに記載の画像処理装置。
（５）  前記符号化部は、さらに、前記振り分け部により振り分けられる前の前記画像データにおいて前記第１のGMVのピクチャより前のピクチャであって、自分自身もしくは他の符号化部において符号化済みのピクチャの、全体の動き情報から導出されるGMVを用いて前記サーチエリアオフセットを導出する
（１）乃至（４）、（６）乃至（１６）のいずれかに記載の画像処理装置。
（６）  前記符号化部は、前記全体の動き情報から導出されるGMVとして、前記符号化済みのピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の動き情報から導出される第２のGMVと、その他の部分の動き情報から導出される第３のGMVとの両方を用いて前記サーチエリアオフセットを導出する
（１）乃至（５）、（７）乃至（１６）のいずれかに記載の画像処理装置。
（７）  前記符号化部は、前記第２のGMVと前記第３のGMVとの平均に、前記第１のGMVと前記第２のGMVとの差分を加算することにより前記サーチエリアオフセットを導出する
（１）乃至（６）、（８）乃至（１６）のいずれかに記載の画像処理装置。
（８）  前記振り分け部は、前記画像データのピクチャを、偶数番目のピクチャの系統と奇数番目のピクチャの系統との２系統に振り分け、
前記符号化部は、
自身に対応する系統の各ピクチャを、それぞれ２ピクチャ分の垂直同期期間中に符号化し、
その符号化の際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他方の符号化部において処理中のピクチャの、上半分の動き情報から前記第１のGMVを導出し、
前記振り分け部により振り分けられる前の前記画像データにおいて前記第１のGMVのピクチャより前のピクチャであって、自分自身もしくは前記他方の符号化部において符号化済みのピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出し、
前記第１のGMV乃至前記第３のGMVを用いて、カレントピクチャの前記サーチエリアオフセットを導出し、
導出した前記サーチエリアオフセットを用いて前記インター予測を行い、
前記合成部は、各符号化部により生成された偶数番目のピクチャの系統のストリームと、奇数番目のピクチャの系統のストリームとを合成し、出力ストリームを生成する
（１）乃至（７）、（９）乃至（１６）のいずれかに記載の画像処理装置。
（９）  前記符号化部は、
前記カレントピクチャの符号化を開始する際に処理中である、前記カレントピクチャの１つ前のピクチャの、上半分の動き情報から前記第１のGMVを導出し、
前記カレントピクチャの符号化を開始する際に処理済みである、前記カレントピクチャの２つ以上前のピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出する
（１）乃至（８）、（１０）乃至（１６）のいずれかに記載の画像処理装置。
（１０）  前記符号化部は、前記カレントピクチャの３つ前のピクチャの、上半分の動き情報から前記第２のGMVを、下半分の動き情報から前記第３のGMVを、それぞれ導出する
（１）乃至（９）、（１１）乃至（１６）のいずれかに記載の画像処理装置。
（１１）  前記符号化部は、前記第１のGMVを用いて、前記カレントピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の前記インター予測の投機実行点の開始点である第１の開始点を導出する
（１）乃至（１０）、（１２）乃至（１６）のいずれかに記載の画像処理装置。
（１２）  前記符号化部は、前記第１のGMVを前記第１の開始点とする
（１）乃至（１１）、（１３）乃至（１６）のいずれかに記載の画像処理装置。
（１３）  前記符号化部は、前記カレントピクチャの、前記第１のGMVのピクチャの前記処理済みの部分に対応する部分の処理後、さらに、前記第１のGMVのピクチャのその他の部分の動き情報から導出される第２のGMVを用いて、前記カレントピクチャの、前記第１のGMVのピクチャの前記その他の部分に対応する部分の前記インター予測の投機実行点の開始点である第２の開始点を導出する
（１）乃至（１２）、（１４）乃至（１６）のいずれかに記載の画像処理装置。
（１４）  前記符号化部は、前記第２のGMVを前記第２の開始点とする
（１）乃至（１３）、（１５）、（１６）のいずれかに記載の画像処理装置。
（１５）  前記振り分け部は、前記画像データのピクチャを、偶数番目のピクチャの系統と奇数番目のピクチャの系統との２系統に振り分け、
前記符号化部は、
自身に対応する系統の各ピクチャを、それぞれ２ピクチャ分の垂直同期期間中に符号化し、
その符号化のカレントピクチャに対する処理を開始する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他方の符号化部において処理中のピクチャの、上半分の動き情報から前記第１のGMVを導出し、
前記第１のGMVを用いて前記第１の開始点を導出し、
前記第１の開始点を用いて前記カレントピクチャの上半分について前記インター予測を行い、
上半分の処理後、処理が終了した前記第１GMVのピクチャの下半分の動き情報から前記第２のGMVを導出し、
前記第１のGMVを用いて前記第２の開始点を導出し、
前記第２の開始点を用いて前記カレントピクチャの下半分について前記インター予測を行い、
前記合成部は、各符号化部により生成された偶数番目のピクチャの系統のストリームと、奇数番目のピクチャの系統のストリームとを合成し、出力ストリームを生成する
（１）乃至（１４）、（１６）のいずれかに記載の画像処理装置。
（１６）  前記符号化部は、前記カレントピクチャの１つ前のピクチャの、上半分の動き情報から前記第１のGMVを導出し、下半分の動き情報から前記第２のGMVを導出する
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）  画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化し、
その各ピクチャの符号化において、振り分けられる前の前記画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測を行い、
各ピクチャが符号化されて得られた各系統のストリームを合成する
画像処理方法。
（１８）  コンピュータに、
画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化し、
その各ピクチャの符号化において、振り分けられる前の前記画像データにおいてカレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いて、カレントピクチャのインター予測を行い、
各ピクチャが符号化されて得られた各系統のストリームを合成する
処理を実行させるためのプログラム。
（１９）  被写体を撮像する撮像部と、
前記撮像部が前記被写体を撮像して得られた画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化する複数の符号化部と、
前記複数の符号化部により各ピクチャが符号化されて得られた各系統のストリームを合成する合成部と
を備え、
前記符号化部は、カレントピクチャを符号化する際に、前記振り分け部により振り分けられる前の前記画像データにおいて前記カレントピクチャより前のピクチャであって、他の符号化部において処理中のピクチャの、処理済みの部分の動き情報から導出される第１のGMV（Global Motion Vector）を用いてインター予測を行う
撮像装置。
【符号の説明】
【０１７６】
１００  画像符号化装置，  １０１  画像振分部，  １０２  第１符号化部，  １０３  第２符号化部，  １０４  ストリーム合成部，  １５１  A/D変換部，  １５２  画面並べ替えバッファ，  １５３  演算部，  １５４  直交変換部，  １５５  量子化部，  １５６  可逆符号化部，  １５７  蓄積バッファ，  １５８  逆量子化部，  １５９  逆直交変換部，  １６０  演算部，  １６１  デブロックフィルタ，  １６２  フレームメモリ，  １６３  選択部，  １６４  イントラ予測部，  １６５  動き予測・補償部，  １６６  予測画像選択部，  １６７  レート制御部，  １７１  GMV導出部，  ９００  パーソナルコンピュータ，  ９６０  撮像装置，  ９６４  画像処理部
【図１】
2014241507.tif 000003
【図２】
2014241507.tif 000004
【図３】
2014241507.tif 000005
【図４】
2014241507.tif 000006
【図５】
2014241507.tif 000007
【図６】
2014241507.tif 000008
【図７】
2014241507.tif 000009
【図８】
2014241507.tif 000010
【図９】
2014241507.tif 000011
【図１０】
2014241507.tif 000012
【図１１】
2014241507.tif 000013
【図１２】
2014241507.tif 000014
【図１３】
2014241507.tif 000015
【図１４】
2014241507.tif 000016
【図１５】
2014241507.tif 000017