(57)【要約】  本発明の画像符号化装置（３００）は、入力画像信号（３１０）に含まれる各ピクチャを第１符号化対象範囲（３１５Ａ）及び第２符号化対象範囲（３１５Ｂ）に分割する信号分割部（３０２）と、第１符号化対象範囲（３１５Ａ）を符号化することにより第１符号化信号（３１３Ａ）を生成する第１符号化部（３０３Ａ）と、第２符号化対象範囲（３１５Ｂ）を符号化することにより第２符号化信号（３１３Ｂ）を生成する第２符号化部（３０３Ｂ）と、第１符号化信号（３１３Ａ）と第２符号化信号（３１３Ｂ）を合成することにより出力符号化信号（３１４）を生成する信号合成部（３０７）とを備え、信号分割部（３０２）は、第１符号化部（３０３Ａ）の動きベクトル探索範囲を、第１符号化対象範囲（３１５Ａ）と第１重複領域（３１６Ａ）とを含む範囲に決定するとともに、第１重複領域（３１６Ａ）の大きさを所定の条件に応じて切り替える。
2009142003.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を符号化することにより出力符号化信号を生成する画像符号化装置であって、
前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、
前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、
前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、
前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える
画像符号化装置。
【請求項２】
前記信号分割部は、当該画像符号化装置が単位時間当たりに処理すべき画素数である画素レートが第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさに決定し、前記画素レートが前記第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
請求項１記載の画像符号化装置。
【請求項３】
前記各符号化部は、
対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
前記画像符号化装置は、さらに、
前記複数の符号化部にそれぞれ対応し、対応する前記符号化対象画像及び対応する前記重複領域の画像を原画像として記憶する原画像記憶部とを備え、
前記動き検出部は、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する
請求項２記載の画像符号化装置。
【請求項４】
前記画像符号化装置は、さらに、
前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶するローカルデコード画像記憶部を備え、
前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出し、前記画素レートが前記第２の閾値より小さい場合、前記ローカルデコード画像記憶部に記憶されている前記第１ローカルデコード画像及び前記第２ローカルデコード画像を用いて、前記動きベクトルを検出する
請求項３記載の画像符号化装置。
【請求項５】
前記各符号化部は、他の符号化部に前記第２ローカルデコード画像を要求し、
前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記要求に応じて前記他の符号化部により出力される前記第２ローカルデコード画像を当該符号化部が取得する前に、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する処理を開始する
請求項４記載の画像符号化装置。
【請求項６】
前記画像符号化装置は、さらに、
ユーザの操作により指定される前記画素レートを取得する画素レート取得部を備える
請求項２記載の画像符号化装置。
【請求項７】
前記画像符号化装置は、さらに、
前記入力画像信号に含まれる情報を用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する第１算出部と、
前記第１算出部により算出された前記画素サイズ及びフレームレートのうち少なくとも一方を用いて前記画素レートを算出する第２算出部とを備える
請求項２記載の画像符号化装置。
【請求項８】
前記第１算出部は、前記入力画像信号に含まれる、ピクセルクロック、水平同期信号、及び垂直同期信号のうち少なくとも一つを用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する
請求項７記載の画像符号化装置。
【請求項９】
前記画像符号化装置は、さらに、
前記複数の符号化部により生成された前記第１ローカルデコード画像を記憶する第１記憶部を備え、
前記信号分割部は、前記第１記憶部の空き容量が第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
請求項１記載の画像符号化装置。
【請求項１０】
前記第１記憶部は、
前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶する複数の第２記憶部を含み、
前記信号分割部は、前記複数の第２記憶部の空き容量のうち最も少ない空き容量が前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も少ない空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定する
請求項９記載の画像符号化装置。
【請求項１１】
前記各符号化部は、
対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
前記信号分割部は、前記動きベクトルが第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
請求項１記載の画像符号化装置。
【請求項１２】
前記信号分割部は、前記複数の符号化対象画像の境界をまたぐ前記動きベクトルのうち、最も大きい動きベクトルが前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も大きい動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定する
請求項１１記載の画像符号化装置。
【請求項１３】
前記各符号化部は、
対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
前記各符号化部は、対応する前記符号化対象画像と対応する前記重複領域と境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測し、予測した動きベクトルが前記境界の方向を示す場合、他の符号化部により生成された前記第２ローカルデコード画像を取得し、前記予測した動きベクトルが前記境界の方向を示さない場合、他の符号化部により生成された前記第２ローカルデコード画像を取得しない
請求項２記載の画像符号化装置。
【請求項１４】
入力画像信号を符号化することにより出力符号化信号を生成する画像符号化方法であって、
前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割ステップと、
前記複数の符号化対象画像にそれぞれ対応する複数の符号化部が、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する符号化ステップと、
前記符号化ステップで生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成ステップとを含み、
前記信号分割ステップでは、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
前記符号化ステップでは、前記各符号化部が、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
前記信号分割ステップでは、前記重複領域の大きさを所定の条件に応じて切り替える
画像符号化方法。
【請求項１５】
請求項１４記載の画像符号化方法をコンピュータに実行させる
プログラム。
【請求項１６】
入力画像信号を符号化することにより出力符号化信号を生成する集積回路であって、
前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、
前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、
前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、
前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関し、特に、各ピクチャを複数の画像に分割し、分割した画像をそれぞれ複数の符号化部で符号化する画像符号化装置に関する。
【背景技術】
【０００２】
従来、ＨＤＴＶ（高精細テレビジョン）画像等の高画素レートの映像信号を符号化する際に、処理速度を緩和させるため、ＨＤＴＶ画像を複数の分割領域に分割したうえで、分割した各画像信号を低画素レートの符号化部（圧縮符号化器）で符号化する技術が知られている。これにより、高画素レートに対応した画像符号化装置が実現できる（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の画像符号化装置１００の構成を示すブロック図である。【０００３】
図１に示す画像符号化装置１００は、画像信号入力端子１０１と、信号分割部１０２と、符号化部１０８と、信号合成部１０６と、符号化信号出力端子１０７とを備える。また、符号化部１０８は、第１符号化部１０３Ａと、第２符号化部１０３Ｂとを備える。【０００４】
画像信号入力端子１０１には、高画素レートの入力画像信号（映像信号）１１０が供給される。この高画素レートの入力画像信号１１０は、例えば、上述したようなハイビジョン信号のような順次信号である。【０００５】
信号分割部１０２は、入力画像信号１１０を、例えば上下に２分割することにより、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂを生成する。例えば、入力画像信号１１０の有効画枠が４８０ラインである場合、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂは、それぞれ２４０ライン分の画像信号である。【０００６】
第１符号化部１０３Ａ及び第２符号化部１０３Ｂは、低画素レート用の符号化器である。この第１符号化部１０３Ａは、第１分割画像信号１１１Ａを圧縮符号化することにより、第１符号化信号１１２Ａを生成する。第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂを圧縮符号化することにより、第２符号化信号１１２Ｂを生成する。【０００７】
また、第１符号化部１０３Ａ及び第２符号化部１０３Ｂは、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂの境界部分付近における画像に対して動き検出及び動き補償を行うときには、他方の符号化部で生成された、第１重複領域１１５Ａ又は第２重複領域１１５Ｂに対応したローカルデコード画像を利用する。【０００８】
図２Ａは、第１分割画像信号１１１Ａと、第１重複領域１１５Ａとを示す図である。図２Ｂは、第２分割画像信号１１１Ｂと、第２重複領域１１５Ｂとを示す図である。【０００９】
また、第１符号化部１０３Ａは、第１分割画像信号１１１Ａの符号化の際に、当該第１分割画像信号１１１Ａのローカルデコード画像を生成する。また、第１符号化部１０３Ａは、生成したローカルデコード画像のうち、第２符号化部１０３Ｂの第２探索範囲１１６Ｂに含まれる第２重複領域１１５Ｂに対応するローカルデコード画像１１３Ａを、第２符号化部１０３Ｂに出力する。【００１０】
同様に、第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂの符号化の際に、当該第２分割画像信号１１１Ｂのローカルデコード画像を生成する。また、第２符号化部１０３Ｂは、生成したローカルデコード画像のうち、第１符号化部１０３Ａの第１探索範囲１１６Ａに含まれる第１重複領域１１５Ａに対応するローカルデコード画像１１３Ｂを、第１符号化部１０３Ａに出力する。【００１１】
また、第１符号化部１０３Ａは、第１分割画像信号１１１Ａの動き検出及び動き補償をするときには、第１探索範囲１１６Ａに対応するローカルデコード画像を用いる。また、第１探索範囲１１６Ａに含まれる第１重複領域１１５Ａに対応するローカルデコード画像として、第２符号化部１０３Ｂにより出力されるローカルデコード画像１１３Ｂを用いる。【００１２】
また、第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂの動き検出及び動き補償をするときには、第２探索範囲１１６Ｂに対応するローカルデコード画像を用いる。また、第２探索範囲１１６Ｂに含まれる第２重複領域１１５Ｂに対応するローカルデコード画像として、第１符号化部１０３Ａにより出力されるローカルデコード画像１１３Ａを用いる。【００１３】
信号合成部１０６は、低画素レートに変換された第１符号化信号１１２Ａ及び第２符号化信号１１２Ｂを合成することにより、高画素レートの出力符号化信号１１４を生成し、生成した出力符号化信号１１４を符号化信号出力端子１０７に出力する。このように、特許文献１記載の画像符号化装置１００は、低画素レート用の第１符号化部１０３Ａ及び第２符号化部１０３Ｂを使用して、高画素レート用の画像符号化装置を実現している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平１０−１７８６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、特許文献１記載の画像符号化装置１００は、隣接する第１符号化部１０３Ａと第２符号化部１０３Ｂとの間で他方から参照されるローカルデコード画像１１３Ａ及び１１３Ｂを共有する必要がある。これにより、特許文献１記載の画像符号化装置１００は、入力画像信号１１０の画素レートが高くなればなるほど、ローカルデコード画像１１３Ａ及び１１３Ｂのデータ転送量が増加し、バンド幅が増加してしまうという課題を有する。【００１６】
さらに、複数の第１符号化部１０３Ａ及び第２符号化部１０３Ｂを個別の集積回路で実現した場合、集積回路間をつなぐ外部バスの転送は内部の符号化処理に比べ非常に遅く、低速な外バス経由の転送となる。これにより、従来の画像符号化装置１００は、ローカルデコード画像１１３Ａ及び１１３Ｂのデータ転送のレイテンシの増加が、符号化処理の速度のボトルネックとなるという課題を有する。【００１７】
本発明は、前記従来の課題を解決するものであり、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明に係る画像符号化装置は、入力画像信号を符号化することにより出力符号化信号を生成する画像符号化装置であって、前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える。【００１９】
この構成によれば、本発明に係る画像符号化装置は、例えば、符号化部間のデータ転送量が増加する場合には、重複領域を小さくすることにより、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる。これにより、符号化部間の通信バンド幅を削減できる。さらに、符号化部間のバンド幅削減により、本発明に係る画像符号化装置は、より高画素レートの入力画像信号を処理できる。【００２０】
また、前記信号分割部は、当該画像符号化装置が単位時間当たりに処理すべき画素数である画素レートが第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさに決定し、前記画素レートが前記第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。【００２１】
この構成によれば、本発明に係る画像符号化装置は、高画素レート時における、符号化部間で伝送される第２ローカルデコード画像のデータ量を削減できる。これにより、符号化部間の通信バンド幅を削減できる。さらに、符号化部間のバンド幅削減により、本発明に係る画像符号化装置は、より高画素レートの入力画像信号を処理できる。【００２２】
さらに、画素レートが高い場合、例えば、毎秒３０又は６０フレームより高いフレームレート（例えば毎秒３００フレーム）の場合、ピクチャ間の時間間隔が小さくなるため、撮影される被写体又は撮影部の動きが小さくなる。よって、動き補償処理の探索範囲の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートに対応できる。【００２３】
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記画像符号化装置は、さらに、前記複数の符号化部にそれぞれ対応し、対応する前記符号化対象画像及び対応する前記重複領域の画像を原画像として記憶する原画像記憶部とを備え、前記動き検出部は、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出してもよい。【００２４】
この構成によれば、本発明の画像符号化装置は、動き検出部が原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を取得できる。よって、本発明に係る画像符号化装置は、第２ローカルデコード画像を取得するまでの動き検出部の待ち時間を削減できるので、レイテンシを削減できる。これにより、本発明に係る画像符号化装置は、より高画素レートに対応できる。【００２５】
また、前記画像符号化装置は、さらに、前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶するローカルデコード画像記憶部を備え、前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出し、前記画素レートが前記第２の閾値より小さい場合、前記ローカルデコード画像記憶部に記憶されている前記第１ローカルデコード画像及び前記第２ローカルデコード画像を用いて、前記動きベクトルを検出してもよい。【００２６】
この構成によれば、本発明の画像符号化装置は、高画素レート時には、原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を取得することにより、レイテンシを削減できる。さらに、本発明の画像符号化装置は、低画素レート時には、ローカルデコード画像を用いて動きベクトルを算出することにより、画質の劣化を抑制できる。【００２７】
また、前記各符号化部は、他の符号化部に前記第２ローカルデコード画像を要求し、前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記要求に応じて前記他の符号化部により出力される前記第２ローカルデコード画像を当該符号化部が取得する前に、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する処理を開始してもよい。【００２８】
この構成によれば、本発明の画像符号化装置は、動き検出部が原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を他の符号化部から取得できる。よって、本発明に係る画像符号化装置は、第２ローカルデコード画像を取得するまでの動き検出部の待ち時間を削減できるので、レイテンシを削減できる。【００２９】
また、前記画像符号化装置は、さらに、ユーザの操作により指定される前記画素レートを取得する画素レート取得部を備えてもよい。【００３０】
また、前記画像符号化装置は、さらに、前記入力画像信号に含まれる情報を用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する第１算出部と、前記第１算出部により算出された前記画素サイズ及びフレームレートのうち少なくとも一方を用いて前記画素レートを算出する第２算出部とを備えてもよい。【００３１】
この構成によれば、本発明に係る画像符号化装置は、入力画像信号の画素レートを自動的に判定し、判定した画素レートに応じて、重複領域の大きさを変更できる。【００３２】
また、前記第１算出部は、前記入力画像信号に含まれる、ピクセルクロック、水平同期信号、及び垂直同期信号のうち少なくとも一つを用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出してもよい。【００３３】
また、前記画像符号化装置は、さらに、前記複数の符号化部により生成された前記第１ローカルデコード画像を記憶する第１記憶部を備え、前記信号分割部は、前記第１記憶部の空き容量が第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。【００３４】
この構成によれば、複数の符号化部のリソース及び処理状況に余裕が無くなった場合に、複数の符号化部による処理量を減らすことができる。【００３５】
また、前記第１記憶部は、前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶する複数の第２記憶部を含み、前記信号分割部は、前記複数の第２記憶部の空き容量のうち最も少ない空き容量が前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も少ない空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定してもよい。【００３６】
この構成によれば、複数の符号化部のいずれかが、リソース及び処理状況に余裕が無くなった場合に、当該符号化部による処理量を減らすことができる。【００３７】
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記信号分割部は、前記動きベクトルが第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。【００３８】
この構成によれば、本発明に係る画像符号化装置は、動きベクトルが小さい場合には、重複領域を小さくする。ここで、動きベクトルが小さい場合には、探索範囲の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの符号化処理に対応できる。【００３９】
また、前記信号分割部は、前記複数の符号化対象画像の境界をまたぐ前記動きベクトルのうち、最も大きい動きベクトルが前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も大きい動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定してもよい。【００４０】
この構成によれば、本発明に係る画像符号化装置は、重複領域の画像を用いて動き補償処理が行われる符号化対象画像の境界に隣接するブロックの動きベクトルに応じて、重複領域の大きさを変更する。これにより、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、符号化部間で転送されるデータ量を削減できる。【００４１】
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記各符号化部は、対応する前記符号化対象画像と対応する前記重複領域と境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測し、予測した動きベクトルが前記境界の方向を示す場合、他の符号化部により生成された前記第２ローカルデコード画像を取得し、前記予測した動きベクトルが前記境界の方向を示さない場合、他の符号化部により生成された前記第２ローカルデコード画像を取得しなくてもよい。【００４２】
この構成によれば、本発明に係る画像符号化装置は、第２ローカルデコード画像が必要ない場合には、当該第２ローカルデコード画像を取得しない。これにより、画像符号化装置は、符号化部間のデータ転送量をより削減できる。【００４３】
なお、本発明は、このような画像符号化装置として実現できるだけでなく、画像符号化装置に含まれる特徴的な手段をステップとする画像符号化方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。【００４４】
さらに、本発明は、このような画像符号化装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像符号化装置を備えるカメラとして実現したりできる。
【発明の効果】
【００４５】
以上より、本発明は、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる画像符号化装置及び画像符号化方法を提供できる。【００４６】
（本願の技術的背景に関する情報）
２００８年５月２０日に出願された出願番号２００８−１３１５０８の日本出願の明細書、図面および請求の範囲における開示は、その全体を参照により本願に取り込む。
【図面の簡単な説明】
【００４７】
【図１】図１は、従来の画像符号化装置のブロック図である。
【図２Ａ】図２Ａは、従来の画像符号化装置における画像例を示す図である。
【図２Ｂ】図２Ｂは、従来の画像符号化装置における画面例を示す図である。
【図３】図３は、本発明の実施の形態１に係る画像符号化装置のブロック図である。
【図４Ａ】図４Ａは、本発明の実施の形態１に係る画像符号化装置による画像分割例を示す図である。
【図４Ｂ】図４Ｂは、本発明の実施の形態１に係る画像符号化装置による画像分割例を示す図である。
【図５】図５は、本発明の実施の形態１に係る画像符号化装置による処理のフローチャートである。
【図６】図６は、本発明の実施の形態１に係る画像符号化装置による画像分割処理のフローチャートである。
【図７Ａ】図７Ａは、本発明の実施の形態１に係る画像符号化装置による高画素レート時の画像分割例を示す図である。
【図７Ｂ】図７Ｂは、本発明の実施の形態１に係る画像符号化装置による低画素レート時の画像分割例を示す図である。
【図８】図８は、本発明の実施の形態１に係る第１符号化部のブロック図である。
【図９】図９は、本発明の実施の形態１に係る画像符号化装置による符号化処理のフローチャートである。
【図１０】図１０は、本発明の実施の形態１に係る画像符号化装置における原画像とローカルデコードとの利用状況を示す図である。
【図１１】図１１は、本発明の実施の形態１に係る画像符号化装置による動き検出及び動き補償処理のフローチャートである。
【図１２】図１２は、本発明の実施の形態１に係る画像符号化装置における信号処理例を示すタイミングチャートである。
【図１３】図１３は、本発明の実施の形態１に係る画像符号化装置によるローカルデコード画像の要否判定処理のフローチャートである。
【図１４】図１４は、本発明の実施の形態１に係る画像符号化装置における動きベクトル予測処理を示す図である。
【図１５】図１５は、本発明の実施の形態２に係る画像符号化装置のブロック図である。
【図１６】図１６は、本発明の実施の形態２に係る画像符号化装置による処理のフローチャートである。
【図１７】図１７は、本発明の実施の形態３に係る画像符号化装置のブロック図である。
【図１８】図１８は、本発明の実施の形態３に係る画像符号化装置による処理のフローチャートである。
【図１９】図１９は、本発明の実施の形態３に係る画像符号化装置による画像分割処理のフローチャートである。
【図２０】図２０は、本発明の実施の形態４に係る画像符号化装置のブロック図である。
【図２１】図２１は、本発明の実施の形態４に係る画像符号化装置による処理のフローチャートである。
【図２２】図２２は、本発明の実施の形態４に係る画像符号化装置による画像分割処理のフローチャートである。
【発明を実施するための形態】
【００４８】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４９】
（実施の形態１）
本発明の実施の形態１に係る画像符号化装置３００は、動き検出処理及び動き補償処理の探索範囲として用いられる重複領域の大きさを、画素レートが高い場合には小さくする。これにより、高画素レート時に、符号化部間で転送されるローカルデコード画像のデータ量を削減できる。
【００５０】
まず、本発明の実施の形態１に係る画像符号化装置３００の構成を説明する。
【００５１】
図３は、本発明の実施の形態１に係る画像符号化装置３００の構成を示すブロック図である。
【００５２】
図３に示す画像符号化装置３００は、入力画像信号３１０を符号化することにより出力符号化信号３１４を生成する動画像符号化装置である。入力画像信号３１０は、複数のピクチャを含む順次信号であり、例えば、ハイビジョン画像信号、又は高速度撮影された画像信号である。ここで高速度撮影とは、通常のフレームレート（例えば、毎秒３０又は６０フレーム）より高いフレームレート（例えば、毎秒３００フレーム等）で行われる撮影である。
【００５３】
この画像符号化装置３００は、撮影方式切替部３０１と、信号分割部３０２と、第１符号化部３０３Ａと、第２符号化部３０３Ｂと、第１記憶領域連結部３０４Ａと、第２記憶領域連結部３０４Ｂと、第１外部連結部３０５Ａと、第２外部連結部３０５Ｂと、第１記憶部３０６Ａと、第２記憶部３０６Ｂと、信号合成部３０７とを備える。
【００５４】
撮影方式切替部３０１は、本発明の画素レート取得部に相当し、ユーザの操作により指定される画素レートを取得する。具体的には、撮影方式切替部３０１は、ユーザのスイッチ操作に応じて設定された、ｉ段階からなる画素レートのうちいずれかを取得する。また、撮影方式切替部３０１は、設定された画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【００５５】
ここで、画素レートとは、画像符号化装置３００が、単位時間当たりに符号化処理すべき画素数である。言い換えると、画素レートは、画像符号化装置３００が、単位時間当たりに符号化処理すべき処理量に相当する。具体的には、画素レートは、画像サイズとフレームレートとの積である。
【００５６】
信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを、一部重複領域を含んだ状態で例えば上下に２分割することにより、第１分割画像信号３１２Ａと第２分割画像信号３１２Ｂとを生成する。ここで、ピクチャとは、入力画像信号３１０に含まれる一枚の画像であり、フレーム又はフィールドである。
【００５７】
図４Ａは、第１分割画像信号３１２Ａの構成を示す図である。図４Ｂは、第２分割画像信号３１２Ｂの構成を示す図である。
【００５８】
図４Ａに示すように、第１分割画像信号３１２Ａは、第１符号化対象範囲３１５Ａと、第１重複領域３１６Ａとを含む。また、図４Ｂに示すように、第２分割画像信号３１２Ｂは、第２符号化対象範囲３１５Ｂと、第２重複領域３１６Ｂとを含む。
【００５９】
例えば、入力画像信号３１０の有効画枠が７２０ラインである場合、第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂは、入力画像信号３１０に含まれる各ピクチャを上下に等分した、それぞれ３６０ライン分の画像領域である。また、第１符号化対象範囲３１５Ａは、第１符号化部１０３Ａが符号化を行う画像領域であり、第２符号化対象範囲３１５Ｂは、第２符号化部１０３Ｂが符号化を行う画像領域である。
【００６０】
第１重複領域３１６Ａは、第２符号化対象範囲３１５Ｂに含まれ、かつ、第１符号化対象範囲３１５Ａに隣接するｎ（ｎは１以上の整数）ライン分の画像領域である。第２重複領域３１６Ｂは、第１符号化対象範囲３１５Ａに含まれ、かつ、第２符号化対象範囲３１５Ｂに隣接するｎ（ｎは１以上の整数）ライン分の画像領域である。
【００６１】
つまり、信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂに分割する。
【００６２】
また、第１分割画像信号３１２Ａ及び第２分割画像信号３１２Ｂは、それぞれ、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる動き検出処理及び動き補償処理の際の動きベクトル探索範囲に相当する。つまり、信号分割部３０２は、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる動き検出処理及び動き補償処理の際の動きベクトル探索範囲を決定する。
【００６３】
信号分割部３０２は、この第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを、撮影方式切替部３０１から出力される識別信号３１１に応じてｉ段階で変更する。具体的には、信号分割部３０２は、画素レートが所定の閾値より小さい場合、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを第１の大きさ（例えば３２ライン分）に決定し、画素レートが当該所定の閾値より大きい場合、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを第１の大きさより小さい第２の大きさ（例えば１６ライン分）に決定する。
【００６４】
また、信号分割部３０２は、生成した第１分割画像信号３１２Ａを第１符号化部１０３Ａに出力し、生成した第２分割画像信号３１２Ｂを第２符号化部１０３Ｂに出力する。
【００６５】
第１符号化部３０３Ａは、信号分割部３０２で２分割された第１分割画像信号３１２Ａに含まれる第１符号化対象範囲３１５Ａを符号化することにより、第１符号化信号３１３Ａを生成する。また、第１符号化部３０３Ａは、生成した第１符号化信号３１３Ａを信号合成部３０７に出力する。
【００６６】
第２符号化部３０３Ｂは、信号分割部３０２で２分割された第２分割画像信号３１２Ｂに含まれる第２符号化対象範囲３１５Ｂを符号化することにより、第２符号化信号３１３Ｂを生成する。また、第２符号化部３０３Ｂは、生成した第２符号化信号３１３Ｂを信号合成部３０７に出力する。
【００６７】
また、第１符号化部３０３Ａは、第１符号化対象範囲３１５Ａを符号化した後、復号することにより第１ローカルデコード画像３１７Ａを生成する。また、第２符号化部３０３Ｂは、第２符号化対象範囲３１５Ｂを符号化した後、復号することにより第１ローカルデコード画像３１７Ｂを生成する。つまり、ローカルデコード画像は、出力符号化信号３１４が復号装置により復号されることにより生成される画像と同じ画像である。
【００６８】
第１記憶部３０６Ａは、第１符号化部３０３Ａが符号化を行う際のラインメモリ又はフレームメモリとして使用される。この第１記憶部３０６Ａは、原画像（第１分割画像信号３１２Ａ）と、第１ローカルデコード画像３１７Ａ、及び第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａとを参照画像として記憶する。また、第１符号化部３０３Ａは、この第１記憶部３０６Ａから、過去の第１分割画像信号３１２Ａ、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを参照画像として読み出し、読み出した第１分割画像信号３１２Ａ、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて、現在のピクチャの符号化処理を行う。また、また、第１符号化部３０３Ａは、第１記憶部３０６Ａに、現在のピクチャの第１分割画像信号３１２Ａ及び第１ローカルデコード画像３１７Ａを、後続のピクチャの符号化処理に用いる参照画像として書き込む。
【００６９】
第２記憶部３０６Ｂは、第２符号化部３０３Ｂが符号化を行う際のラインメモリ又はフレームメモリとして使用される。この第２記憶部３０６Ｂは、原画像（第２分割画像信号３１２Ｂ）と、第１ローカルデコード画像３１７Ｂ、及び第２重複領域３１６Ｂに対応する第２ローカルデコード画像３１８Ｂとを参照画像として記憶する。また、第２符号化部３０３Ｂは、この第２記憶部３０６Ｂから、過去の第２分割画像信号３１２Ｂ、第１ローカルデコード画像３１７Ｂ及び第２ローカルデコード画像３１８Ｂを参照画像として読み出し、読み出した第２分割画像信号３１２Ｂ、第１ローカルデコード画像３１７Ｂ及び第２ローカルデコード画像３１８Ｂを用いて、現在のピクチャの符号化処理を行う。また、第２符号化部３０３Ｂは、第２記憶部３０６Ｂに、現在のピクチャの第２分割画像信号３１２Ｂ及び第１ローカルデコード画像３１７Ｂを、後続のピクチャの符号化処理に用いる参照画像として書き込む。
【００７０】
第１外部連結部３０５Ａは、第２記憶部３０６Ｂに記憶される第１ローカルデコード画像３１７Ｂに含まれる第２ローカルデコード画像３１８Ａを読み出し、読み出した第２ローカルデコード画像３１８Ａを第１記憶部３０６Ａに書き込む。第２外部連結部３０５Ｂは、第１記憶部３０６Ａに記憶される第１ローカルデコード画像３１７Ａに含まれる第２ローカルデコード画像３１８Ｂを読み出し、読み出した第２ローカルデコード画像３１８Ｂを第２記憶部３０６Ｂに書き込む。
【００７１】
第１記憶領域連結部３０４Ａは、第１符号化部３０３Ａと、第１記憶部３０６Ａと、第１外部連結部３０５Ａとの間のデータの受け渡しを行う。第２記憶領域連結部３０４Ｂは、第２符号化部３０３Ｂと、第２記憶部３０６Ｂと、第２外部連結部３０５Ｂとの間のデータの受け渡しを行う。
【００７２】
信号合成部３０７は、第１符号化部３０３Ａにより生成された第１符号化信号３１３Ａと、第２符号化部３０３Ｂにより生成された第２符号化信号３１３Ｂとを合成することにより、１つのビットストリームである出力符号化信号３１４を生成する。
【００７３】
次に、画像符号化装置３００の動作を説明する。まず、画像符号化装置３００による動作の流れの概略を説明する。
【００７４】
図５は、本発明の実施の形態１に係る画像符号化装置３００の動作の流れを示すフローチャートである。
【００７５】
図５に示すように、まず、撮影方式切替部３０１は、ユーザのスイッチ操作等に応じて設定された、ｉ段階からなる画素レートのうちいずれかを取得する（Ｓ１０１）。また、以下では、説明の単純化のために、画素レートが２段階で切り替えられる例を説明する。つまり、ｉ＝０の場合、画素レートが低い低画素レート撮影方式が設定され、ｉ＝１の場合、低画素レート撮影方式より画素レートが高い高画素レート撮影方式が設定される。
【００７６】
また、撮影方式切替部３０１は、設定された画素レートを示す識別信号３１１を生成する。
【００７７】
次に、信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを、２分割することにより、第１分割画像信号３１２Ａと第２分割画像信号３１２Ｂとを生成する（Ｓ１０２）。
【００７８】
次に、第１符号化部３０３Ａは、第１分割画像信号３１２Ａを符号化することにより、第１符号化信号３１３Ａを生成し、第２符号化部３０３Ｂは、第２分割画像信号３１２Ｂを符号化することにより、第２符号化信号３１３Ｂを生成する（Ｓ１０３）。
【００７９】
次に、信号合成部３０７は、第１符号化信号３１３Ａと第２符号化信号３１３Ｂとを合成することにより、出力符号化信号３１４を生成する（Ｓ１０４）。
【００８０】
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
【００８１】
図６は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。
【００８２】
図６に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、低画素レート撮影方式及び高画素レート撮影方式のうちいずれか設定されているかを判定する（Ｓ１２０）。
【００８３】
高画素レート撮影方式が設定されている場合（Ｓ１２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
【００８４】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【００８５】
一方、低画素レート撮影方式が設定されている場合（Ｓ１２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
【００８６】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【００８７】
図７Ａは、高画素レート撮影方式が設定されている場合の第１分割画像信号３１２Ａの一例を示す図である。また、図７Ｂは、低画素レート撮影方式が設定されている場合の第１分割画像信号３１２Ａの一例を示す図である。
【００８８】
図７Ａに示すように、高画素レート撮影方式が設定されている場合、例えば、第１重複領域３１６Ａのライン数ｎは、「１６」に設定される。また、図７Ｂに示すように、低画素レート撮影方式が設定されている場合、例えば、第１重複領域３１６Ａのライン数ｎは、「３２」に設定される。なお、第２重複領域３１６Ｂのライン数ｎの設定も同様である。
【００８９】
次に、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる符号化処理について説明する。
【００９０】
なお、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａと、第２符号化部３０３Ｂ、第２記憶領域連結部３０４Ｂ、第２外部連結部３０５Ｂ及び第２記憶部３０６Ｂとは、同一構成であるので、以下において、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａとの構成及び動作のみを説明する。
【００９１】
まず、第１符号化部３０３Ａの詳細な構成について説明する。
【００９２】
図８は、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａの構成を示すブロック図である。
【００９３】
図８に示すように、第１記憶部３０６Ａは、原画像記憶部７０２と、ローカルデコード画像記憶部７１２とを備える。
【００９４】
原画像記憶部７０２は、原画像（第１分割画像信号３１２Ａ）を記憶する。ローカルデコード画像記憶部７１２は、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを記憶する。
【００９５】
また、第１符号化部３０３Ａは、動き検出部７０１と、減算部７０３と、スイッチ７０４、７１１及び７１３と、変換部７０５と、量子化部７０６と、可変長符号化部７０７と、逆量子化部７０８と、逆変換部７０９と、加算部７１０と、動き補償部７１４とを備える。
【００９６】
スイッチ７１３は、原画像記憶部７０２に記憶される原画像（第１分割画像信号３１２Ａ）と、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａとのうち一方を動き検出部７０１に出力する。具体的には、スイッチ７１３は、識別信号３１１で高画素レート撮影方式が示される場合、第１分割画像信号３１２Ａを動き検出部７０１に出力し、識別信号３１１で高画素レート撮影方式が示される場合、原画像を動き検出部７０１に出力する。
【００９７】
ここで、第１分割画像信号３１２Ａは、Ｉピクチャ（イントラピクチャ）とＰピクチャ（インターピクチャ）とを含む。Ｉピクチャは、当該Ｉピクチャ内のデータを用いた画面内符号化が行われるピクチャであり、Ｐピクチャは、他のピクチャのデータを用いた画面間符号化が行われるピクチャである。
【００９８】
動き検出部７０１は、第１分割画像信号３１２Ａに含まれる処理対象のピクチャ（以下、対象ピクチャ）がＰピクチャである場合、他のピクチャを用いて、当該ピクチャに動き検出処理を行うことにより、動きベクトル７２５を生成する。ここで、他のピクチャとは、スイッチ７１３により出力される原画像又はローカルデコード画像（第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａ）に含まれるピクチャである。
【００９９】
具体的には、動き検出部７０１は、画素レートが所定の閾値より大きい場合、原画像記憶部７０２に記憶されている原画像を用いて、対象ピクチャの動きベクトル７２５を検出する。また、動き検出部７０１は、画素レートが当該所定の閾値より小さい場合、ローカルデコード画像記憶部７１２に記憶されている第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて、対象ピクチャの動きベクトル７２５を検出する。
【０１００】
ここで動き検出処理とは、対象ピクチャに含まれる画像ブロックごとに、当該画像ブロックの画像に近い、過去のピクチャの画像ブロックを探索したうえで、当該画像ブロックに含まれる画像が当該過去のピクチャから動いた動きの量及び方向（動きベクトル７２５）を算出する処理である。
【０１０１】
動き補償部７１４は、動き検出部７０１により生成された動きベクトル７２５と、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａに含まれる他のピクチャとを用いて、動き補償処理を行うことにより、予測画像７２６を生成する。
【０１０２】
ここで動き補償処理とは、過去のピクチャに含まれる画像を、動きベクトル７２５で示される動き量分、空間的にシフトさせることにより、対象ピクチャの画像に相当する予測画像７２６を生成する処理である。
【０１０３】
減算部７０３は、第１分割画像信号３１２Ａに含まれる対象ピクチャから、予測画像７２６を減算することにより、予測誤差信号７２１を生成する。
【０１０４】
スイッチ７０４は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、減算部７０３により生成された予測誤差信号７２１を変換部７０５に出力し、対象ピクチャがＩピクチャである場合、第１分割画像信号３１２Ａを変換部７０５に出力する。
【０１０５】
変換部７０５は、スイッチ７０４により出力された予測誤差信号７２１又は第１分割画像信号３１２ＡにＤＣＴ変換（直交変換）を行うことにより、ＤＣＴ係数７２２を生成する。ここでＤＣＴ変換とは、入力された信号を空間面から周波数面への変換する処理である。
【０１０６】
量子化部７０６は、変換部７０５により生成されたＤＣＴ係数７２２を量子化することにより、量子化係数７２３を生成する。具体的には、量子化部７０６は、ＤＣＴ係数７２２を、量子化値Ｑによって除算することにより、量子化係数７２３を生成する。
【０１０７】
可変長符号化部７０７は、量子化部７０６により生成された量子化係数７２３を、可逆な可変長符号化することにより、第１分割画像信号３１２Ａより情報量が圧縮された第１符号化信号３１３Ａを生成する。
【０１０８】
逆量子化部７０８は、量子化部７０６により生成された量子化係数７２３を逆量子化することにより、ＤＣＴ係数７２４を生成する。具体的には、逆量子化部７０８は、量子化係数７２３に量子化部７０６が使用した量子化値Ｑを乗算することにより、ＤＣＴ係数７２４を生成する。ここで、ＤＣＴ係数７２２を量子化すると必ず量子化誤差が発生する。これに対して、逆量子化部７０８において、逆量子化を行うことにより、ＤＣＴ係数７２２に量子化誤差を加えた信号、つまり、復号装置で復号される際のＤＣＴ係数と同じＤＣＴ係数７２４を生成できる。
【０１０９】
逆変換部７０９は、逆量子化部７０８により生成されたＤＣＴ係数７２４を逆ＤＣＴ変換することにより、元の第１分割映像信号３１２に量子化歪みを加えたローカルデコード信号７２７を生成する。
【０１１０】
スイッチ７１１は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、動き補償部７１４により生成された予測画像７２６を加算部７１０に供給し、対象ピクチャがＩピクチャである場合、当該スイッチ７１１は開放される。
【０１１１】
加算部７１０は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、逆変換部７０９により生成されたローカルデコード信号７２７と、スイッチ７１１により出力される予測画像７２６とを加算することにより、第１ローカルデコード画像３１７Ａを生成する。また、加算部７１０は、対象ピクチャがＩピクチャである場合、逆変換部７０９により生成されたローカルデコード信号７２７を第１ローカルデコード画像３１７Ａとして出力する。また、加算部７１０により生成された第１ローカルデコード画像３１７Ａは、ローカルデコード画像記憶部７１２に記憶される。
【０１１２】
次に、第１符号化部３０３Ａによる符号化処理（Ｓ１０３）の動作の流れについて説明する。
【０１１３】
図９は、第１分割画像信号３１２Ａに含まれる１枚の対象ピクチャに対する第１符号化部３０３Ａによる符号化処理（Ｓ１０３）の動作の流れを示すフローチャートである。
【０１１４】
図９に示すように、第１符号化部３０３Ａは、第１分割画像信号３１２Ａに含まれる対象ピクチャを、以降のピクチャで動きベクトル検出をするために用いる参照画像として、記憶領域連結部３０４を介して、原画像のまま原画像記憶部７０２に書き込む（Ｓ１３１）。なお、対象ピクチャを原画像記憶部７０２に書き込むタイミングは、図９に示すタイミングに限定されず、任意のタイミングで行ってよい。
【０１１５】
次に、第１符号化部３０３Ａは、第１分割画像信号３１２Ａに含まれる対象ピクチャが、ＩピクチャであるかＰピクチャであるかを判定する（Ｓ１３２）。
【０１１６】
対象ピクチャがＩピクチャの場合（Ｓ１３２でＮｏ）、第１分割画像信号３１２Ａは、動き検出部７０１に供給される。このとき、動き検出部７０１は、処理対象のピクチャに対してベクトル演算処理は行わない。
【０１１７】
また、Ｉピクチャの処理ではスイッチ７０４は、第１分割画像信号３１２Ａを変換部７０５に出力する。変換部７０５は、第１分割画像信号３１２Ａに含まれる対象ピクチャの第１符号化対象範囲３１５ＡをＤＣＴ係数７２２に変換する（Ｓ１３５）。
【０１１８】
次に、量子化部７０６は、ＤＣＴ係数７２２を量子化することにより量子化係数７２３を生成する（Ｓ１３６）。次に、可変長符号化部７０７は、量子化係数７２３を可変長符号化することにより第１符号化信号３１３Ａを生成する（Ｓ１３７）。
【０１１９】
以上の処理により、対象ピクチャの第１符号化対象範囲３１５Ａのデータ量が圧縮された第１符号化信号３１３Ａが生成される。
【０１２０】
一方で、逆量子化部７０８は、ステップＳ１３６で生成された量子化係数７２３を逆量子化することによりＤＣＴ係数７２４を生成する。次に、逆変換部７０９は、ＤＣＴ係数７２４逆ＤＣＴ変換することによりローカルデコード信号７２７を生成する。
【０１２１】
Ｉピクチャの処理の場合には、スイッチ７１１が開放されているので、逆ＤＣＴ変換されたローカルデコード信号７２７は、加算部７１０で加算処理されること無く、そのまま第１ローカルデコード画像３１７Ａとして、ローカルデコード画像記憶部７１２に、記憶領域連結部３０４を介して書き込まれる（Ｓ１３８）。
【０１２２】
図１０は、原画像及びローカルデコード画像の関係を示す図である。図１０に示すように、第１符号化部３０３Ａにより、対象ピクチャの原画像に含まれる第１符号化対象範囲３１５Ａに対応する第１ローカルデコード画像３１７Ａが生成され、第１符号化部３０３Ａのローカルデコード画像記憶部７１２に記憶される。また、第１ローカルデコード画像３１７Ａは、第２符号化部３０３Ｂで用いられる第２重複領域３１６Ｂに対応する第２ローカルデコード画像３１８Ｂを含む。
【０１２３】
なお、この第１ローカルデコード画像３１７Ａの作成処理（Ｓ１３８）と、可変長符号化処理（Ｓ１３７）との順序は任意でよい。また、第１ローカルデコード画像３１７Ａの作成処理（Ｓ１３７）と、可変長符号化処理（Ｓ１３８）とに含まれる少なくとも一部の処理を同時に行ってもよい。
【０１２４】
次にＰピクチャの符号化処理について説明する。
【０１２５】
ステップＳ１３２において、対象ピクチャがＰピクチャの場合（Ｓ１３２でＹｅｓ）、次に、動き検出部７０１は、対象ピクチャの動き検出処理及び動き補償処理を行う（Ｓ１３３）。
【０１２６】
図１１は、第１符号化部３０３Ａによる動き検出処理及び動き補償処理（Ｓ１３３）の流れを示すフローチャートである。
【０１２７】
まず、第１符号化部３０３Ａは、第１重複領域３１６Ａに対応するローカルデコード画像が必要か否かを判定する（Ｓ１５１）。なお、ステップＳ１５１の詳細については後述する。
【０１２８】
第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要な場合（Ｓ１５１でＹｅｓ）、第１符号化部３０３Ａは、第１外部連結部３０５Ａ及び第２外部連結部３０５Ｂを介して、第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２へ、当該ローカルデコード画像記憶部７１２が記憶している第１重複領域３１６Ａに相当する第２ローカルデコード画像３１８Ａの転送要求を出力する（Ｓ１５２）。
【０１２９】
次に、識別信号３１１で高画素レート撮影方式が示される場合（Ｓ１５３でＹｅｓ）、スイッチ７１３は、原画像記憶部７０２に記憶される原画像を動き検出部７０１に出力する。次に、動き検出部７０１は、スイッチ７１３により出力される原画像を用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５４）。また、この動き検出処理に用いられる探索範囲は、図１０に示すように、原画像の第１符号化対象範囲３１５Ａ（３６０ライン）と第１重複領域３１６Ａ（１６ライン）とを含む。
【０１３０】
一方で、第１符号化部３０３Ａは、ステップＳ１５２の転送要求に応じて第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２から出力された第２ローカルデコード画像３１８Ａを取得し、取得した第２ローカルデコード画像３１８Ａを参照画像としてローカルデコード画像記憶部７１２に記憶する（Ｓ１５５）。
【０１３１】
次に、動き補償部７１４は、図１０に示すように、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
【０１３２】
一方、識別信号３１１で低画素レート撮影方式が示される場合（Ｓ１５３でＮｏ）、まず、第１符号化部３０３Ａは、ステップＳ１５２の転送要求に応じて第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２から出力された第２ローカルデコード画像３１８Ａを取得し、取得した第２ローカルデコード画像３１８Ａを参照画像としてローカルデコード画像記憶部７１２に記憶する（Ｓ１５７）。
【０１３３】
ここで、スイッチ７１３は、原画像記憶部７０２に記憶される原画像を動き検出部７０１に出力する。なお、動き検出部７０１は、第１分割画像信号３１２Ａから直接原画像を取得してもよい。次に、動き検出部７０１は、スイッチ７１３により出力される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５８）。また、この動き検出処理に用いられる探索範囲は、図１０に示すように、第１符号化対象範囲３１５Ａ（３６０ライン）と第１重複領域３１６Ａ（３２ライン）とに対応する第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを含む。
【０１３４】
次に、動き補償部７１４は、図１０に示すように、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
【０１３５】
一方、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要でない場合（Ｓ１５１でＮｏ）、動き検出部７０１は、スイッチ７１３により出力される第１ローカルデコード画像３１７Ａを用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５８）。
【０１３６】
次に、動き補償部７１４は、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
【０１３７】
また、ステップＳ１５６の後、図９に示すように、次に、減算部７０３は、原画像から予測画像７２６を減算することにより予測誤差信号７２１を生成する（Ｓ１３４）。
【０１３８】
次に、量子化部７０６は、ＤＣＴ係数７２２を量子化することにより量子化係数７２３を生成する（Ｓ１３６）。次に、可変長符号化部７０７は、量子化係数７２３を可変長符号化することにより第１符号化信号３１３Ａを生成する（Ｓ１３７）。
【０１３９】
以上の処理により、対象ピクチャの第１符号化対象範囲３１５Ａのデータ量が圧縮された第１符号化信号３１３Ａが生成される。
【０１４０】
一方で、逆量子化部７０８は、ステップＳ１３６で生成された量子化係数７２３を逆量子化することによりＤＣＴ係数７２４を生成する。次に、逆変換部７０９は、ＤＣＴ係数７２４逆ＤＣＴ変換することによりローカルデコード信号７２７を生成する。
【０１４１】
Ｐピクチャの処理の場合には、スイッチ７１１は予測画像７２６を加算部７１０に出力する。加算部７１０は、ローカルデコード信号７２７と予測画像７２６とを加算することにより第１ローカルデコード画像３１７Ａを生成し、生成した第１ローカルデコード画像３１７Ａをローカルデコード画像記憶部７１２に、記憶領域連結部３０４を介して書き込む（Ｓ１３８）。
【０１４２】
図１２は、低画素レート時及び高画素レート時の処理時間を示す図である。
【０１４３】
図１２に示すように、高画素レート時には、動き検出部７０１は、ステップＳ１５２の要求に応じて第２符号化部３０３Ｂにより出力される第２ローカルデコード画像３１８Ａを第１符号化部３０３Ａが取得する前（Ｓ１５５の前）に、原画像記憶部７０２に記憶されている原画像を用いて、動きベクトルを検出する処理（Ｓ１５４）を開始する。このように、画像符号化装置３００は、第２ローカルデコード画像３１８Ａの取得を待たずに、第１記憶部３０６Ａに記憶されている原画像を用いて動き検出を行うことにより、処理速度を向上できる。
【０１４４】
次に、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要か否かを判定する処理（Ｓ１５１）について説明する。
【０１４５】
図１３は、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要か否かを判定する処理の流れを示すフローチャートである。なお、図１３に示す処理は、第１符号化対象範囲３１５Ａに含まれる処理ブロックごとに行われる。
【０１４６】
まず、第１符号化部３０３Ａは、処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれるか否かを判定する（Ｓ１６１）。
【０１４７】
処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれない場合（Ｓ１６１でＮｏ）、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが不要であると判定する（Ｓ１６４）。
【０１４８】
一方、処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれる場合（Ｓ１６１でＹｅｓ）、次に、第１符号化部３０３Ａは、算出済みの周囲の複数のブロック間の動きベクトルの相関が大きいか否かを判定する（Ｓ１６２）。具体的には、第１符号化部３０３Ａは、周囲の複数のブロック間の動きベクトルの相関が所定の閾値以上であるか否かを判定する。
【０１４９】
周囲の複数のブロック間の動きベクトルの相関が大きい場合（Ｓ１６２でＹｅｓ）、次に、第１符号化部３０３Ａは、第１符号化対象範囲３１５Ａと第１重複領域３１６Ａと境界である分割境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測する。次に、第１符号化部３０３Ａは、予測した動きベクトルが上向き（第１重複領域３１６Ａと逆方向）であるか否かを判定する（Ｓ１６３）。
【０１５０】
図１４は、第１符号化対象範囲３１５Ａと第１重複領域３１６Ａとの分割境界付近の動きベクトルの一例を示す図である。
【０１５１】
ここで、あるブロックの動きベクトルは、周囲のブロックの動きベクトルと強い相関があるため、周囲のブロックの動きベクトルを用いて、あるブロックの動きベクトルを予測することができる。例えば、図１４に示すように、処理対象の符号化ブロック９０１の動きベクトル９０２は、符号化ブロック９０１に隣接する隣接ブロック９０３、９０５及び９０７の動きベクトル９０４、９０６及び９０８を用いて予測できる。この場合は、第１符号化部３０３Ａは、隣接ブロックの動きベクトル９０４、９０６及び９０８の水平垂直成分の平均値を算出することにより、動きベクトル９０２の方向は上向きと予測する。
【０１５２】
予測した動きベクトルが上向きの場合（Ｓ１６３でＹｅｓ）、動き補償における動き先は、第１重複領域３１６Ａにならないため、自らが生成した第１ローカルデコード画像３１７Ａのみで動き補償処理を行える。よって、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが不要であると判定する（Ｓ１６４）。
【０１５３】
一方、周囲の複数のブロック間の動きベクトルの相関が小さい場合（Ｓ１６２でＮｏ）、又は、予測した動きベクトルが下向きの場合（Ｓ１６３でＮｏ）、動き補償における動き先は、第１重複領域３１６Ａ内になる可能があるので、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが必要であると判定する（Ｓ１６５）。
【０１５４】
このように、第１符号化部３０３Ａは、予測した動きベクトルが分割境界の方向を示す場合、第２符号化部３０３Ｂにより生成された第２ローカルデコード画像３１８Ａを取得し、予測した動きベクトルが分割境界の方向を示さない場合、第２符号化部３０３Ｂにより生成された第２ローカルデコード画像３１８Ａを取得しない。
【０１５５】
以上より、本発明の第１の実施形態に係る画像符号化装置３００は、入力画像信号３１０の画素レートが低い場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを大きくし、入力画像信号３１０の画素レートが高い場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを小さくする。
【０１５６】
これにより、画像符号化装置３００は、高画素レート時における、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間で伝送される第２ローカルデコード画像３１８Ａ及び３１８Ｂのデータ量を削減できる。これにより、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間の通信バンド幅を削減できる。さらに、取得した第２ローカルデコード画像３１８Ａ及び３１８Ｂを記憶するローカルデコード画像記憶部７１２の記憶容量を削減できる。さらに、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のバンド幅削減により、画像符号化装置３００は、より高画素レートの入力画像信号３１０を処理できる。
【０１５７】
ここで、画素レートが高い場合、例えば、毎秒３０又は６０フレームより高いフレームレート（例えば毎秒３００フレーム）の場合、ピクチャ間の時間間隔が小さくなるため、撮影される被写体又は撮影部の動きが小さくなる。これにより、入力画像信号３１０の動きベクトルも小さくなると想定される。よって、動き補償処理の探索範囲（第１重複領域３１６Ａ及び第２重複領域３１６Ｂ）の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明の第１の実施形態に係る画像符号化装置３００は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの入力画像信号３１０に対応できる。
【０１５８】
また、画像符号化装置３００は、高画素レート時よりも処理速度が要求されない低画素レート時には、動き補償処理の探索範囲を広げることにより、符号化効率及び画質を向上できる。
【０１５９】
また、画像符号化装置３００は、高画素レート時には、原画像を用いて動きベクトルを算出する。
【０１６０】
これにより、画像符号化装置３００は、一方の符号化部の動き検出部７０１が原画像を探索範囲として動きベクトルを算出している間に、他方の符号化部のローカルデコード画像記憶部７１２から、第１重複領域３１６Ａ又は第２重複領域３１６Ｂに相当する第２ローカルデコード画像３１８Ａ又は３１８Ｂを転送できる。よって、画像符号化装置３００は、相手側の第２ローカルデコード画像３１８Ａ又は３１８Ｂを取得するまでの動き検出部７０１の待ち時間を削減できるので、レイテンシを削減できる。
【０１６１】
また、画像符号化装置３００は、動きベクトル予測を行うことにより、第１重複領域３１６Ａ又は第２重複領域３１６Ｂの第２ローカルデコード画像３１８Ａ又は３１８Ｂが必要か否かを判定する。これにより、画像符号化装置３００は、第２ローカルデコード画像３１８Ａ又は３１８Ｂの転送量を削減できるので、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のバンド幅を削減できる。
【０１６２】
なお、上記説明では、ユーザのスイッチ操作により画素レートが設定されるとしたが、ユーザのスイッチ操作により画像サイズとフレームレートとが設定され、撮影方式切替部３０１は、当該画像サイズ及びフレームレートを用いて、画素レートを算出してもよい。
【０１６３】
さらに、ユーザのスイッチ操作により、画像サイズとフレームレートとのうち一方のみが設定されてもよい。この場合、上記説明における画素レートを、画像サイズ又はフレームレートと置き換えればよい。
【０１６４】
（実施の形態２）
本発明の実施の形態２では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態２に係る画像符号化装置３００Ａは、入力画像信号３１０に含まれる情報を用いて入力画像信号３１０の画素レートを判定し、判定した画素レートに応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
【０１６５】
まず、本発明の実施の形態２に係る画像符号化装置３００Ａの構成を説明する。
【０１６６】
図１５は、本発明の実施の形態２に係る画像符号化装置３００Ａの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【０１６７】
図１５に示す画像符号化装置３００Ａは、図３に示す画像符号化装置３００の構成に加え、画素レート監視部３０８を備える。また、撮影方式切替部３０１Ａの構成が異なる。
【０１６８】
画素レート監視部３０８は、本発明の第１算出部に相当し、撮像素子が出力する入力画像信号３１０に含まれる、ピクセルクロックと水平同期信号と垂直同期信号とを用いて、入力画像信号３１０の画像サイズ及びフレームレートを算出する。また、画素レート監視部３０８は、算出した画像サイズ及びフレームレートを含む監視結果３２０を撮影方式切替部３０１Ａに出力する。
【０１６９】
撮影方式切替部３０１Ａは、本発明の第２算出部に相当し、画素レート監視部３０８により生成された監視結果３２０を取得し、この監視結果３２０を用いて、ｉ段階からなる画素レートのうちいずれかを設定する。具体的には、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズとフレームレートとを乗算することにより、推定画素レートを算出する。撮影方式切替部３０１Ａは、算出した推定画素レートが大きいほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ａは、推定画素レートが所定の値より大きい場合に高フレームレート撮影方式を設定し、推定画素レートが当該所定の値より小さい場合に低フレームレート撮影方式を設定する。また、撮影方式切替部３０１Ａは、設定された画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ及び第２符号化部３０３Ｂに出力する。
【０１７０】
なお、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズ及びフレームレートのうち一方のみを用いて、ｉ段階からなる画素レートのうちいずれかを設定してもよい。具体的には、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズが大きいほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。また、撮影方式切替部３０１Ａは、監視結果３２０に含まれるフレームレートが高いほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。
【０１７１】
次に、画像符号化装置３００Ａの動作を説明する。
【０１７２】
図１６は、本発明の実施の形態２に係る画像符号化装置３００Ａの動作の流れを示すフローチャートである。なお、図５と同様の処理については同じ符号を用い、説明を省略する。
【０１７３】
まず、画素レート監視部３０８は、撮像素子から出力される入力画像信号３１０に含まれる情報から、入力画像信号３１０の画像サイズ及びフレームレートを取得する（Ｓ２０１）。具体的には、画素レート監視部３０８は、入力画像信号３１０に含まれるピクセルクロックと水平同期信号と垂直同期信号とを用いて監視結果３２０である画像サイズ及びフレームレートを算出する。
【０１７４】
次に、撮影方式切替部３０１Ａは、画素レート監視部３０８により生成された監視結果３２０を取得し、この監視結果３２０に含まれる画像サイズとフレームレートとに対応する画素レートを算出する（Ｓ２０２）。次に、撮影方式切替部３０１Ａは、算出した画素レートに基づき、撮影方式を決定する（Ｓ２０３）。また、撮影方式切替部３０１Ａは、決定した撮影方式を示す識別信号３１１を、信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０１７５】
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
【０１７６】
以上により、本発明の実施の形態２に係る画像符号化装置３００Ａは、上述した実施の形態１と同様の効果を得ることができる。
【０１７７】
さらに、本発明の実施の形態２に係る画像符号化装置３００Ａは、画素レート監視部３０８が、撮像素子から出力される入力画像信号３１０を直接監視することで、特定の撮像素子に依存せずに、動的又は適応的に撮像素子から出力される入力画像信号３１０の画像サイズ、及びフレームレートを識別できる。また、撮像素子は、制御マイコン等から出力されるコマンド等に従い、画像サイズ及びフレームレートが変更される。画像符号化装置３００Ａは、画素レート監視部３０８を備えることで、これらの変更に適応的に対応できる。
【０１７８】
このように、本発明の実施の形態２に係る画像符号化装置３００Ａは、撮像素子又は制御用マイコンの構成に依存せずに、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
【０１７９】
（実施の形態３）
本発明の実施の形態３では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態３に係る画像符号化装置３００Ｂは、第１記憶部３０６Ａ及び第２記憶部３０６Ｂの残りバッファ容量に応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
【０１８０】
まず、本発明の実施の形態３に係る画像符号化装置３００Ｂの構成を説明する。
【０１８１】
図１７は、本発明の実施の形態３に係る画像符号化装置３００Ｂの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【０１８２】
図１７に示す画像符号化装置３００Ｂは、図３に示す画像符号化装置３００の構成に加え、さらに、残りバッファ容量監視部３０９を備える。また、撮影方式切替部３０１Ｂの構成が異なる。
【０１８３】
残りバッファ容量監視部３０９は、所定の時間ごとに、第１符号化部３０３Ａがフレームバッファ又はラインバッファとして使用する第１記憶部３０６Ａの記憶領域のうち空いている領域である残りバッファ容量３２１Ａを取得する。また、残りバッファ容量監視部３０９は、第２符号化部３０３Ｂがフレームバッファ又はラインバッファとして使用する第２記憶部３０６Ｂの残りバッファ容量３２１Ｂを取得する。また、残りバッファ容量監視部３０９は、残りバッファ容量３２１Ａ及び３２１Ｂのうち少ない方の容量を示す残りバッファ容量３２２を生成し、生成した残りバッファ容量３２２を撮影方式切替部３０１Ｂに出力する。
【０１８４】
撮影方式切替部３０１Ｂは、残りバッファ容量監視部３０９により出力された残りバッファ容量３２２を取得する。また、撮影方式切替部３０１Ｂは、取得した残りバッファ容量３２２に応じて、ｉ段階からなる画素レートのうちいずれかを設定する。
【０１８５】
ここで、高画素レートの符号化処理時には、第１符号化部３０３Ａ及び第２符号化部３０３Ｂのリソース及び処理状況に余裕が無くなり、一般的に、残りバッファ容量３２１Ａ及び３２１Ｂが低画素レートの符号化処理時に比べ少なくなる。
【０１８６】
よって、撮影方式切替部３０１Ｂは、この残りバッファ容量３２１Ａ及び３２１Ｂを用いて画素レートを判別できる。
【０１８７】
具体的には、撮影方式切替部３０１Ｂは、残りバッファ容量３２２が大きいほど、画素レートを高く設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ｂは、残りバッファ容量３２２が所定の値より大きい場合に高画素レート撮影方式を設定し、残りバッファ容量が当該所定の値より小さい場合に低画素レート撮影方式を設定する。また、撮影方式切替部３０１Ｂは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０１８８】
なお、撮影方式切替部３０１Ｂは、残りバッファ容量３２２から画素レートを推定するのではなく、残りバッファ容量３２２が所定の値より大きいか否かを示す識別信号３１１を出力してもよい。
【０１８９】
また、この識別信号３１１は、第１重複領域３１６Ａ、第２重複領域３１６Ｂ、第２ローカルデコード画像３１８Ａ及び３１８Ｂの幅ｎの設定に使用される。具体的には、信号分割部３０２は、この識別信号３１１を用いて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの幅ｎを設定する。また、第１符号化部３０３Ａ及び第２符号化部３０３Ｂは、この識別信号３１１を用いて、動き探索範囲を決定する。
【０１９０】
次に、画像符号化装置３００Ｂの動作を説明する。
【０１９１】
図１８は、本発明の実施の形態３に係る画像符号化装置３００Ｂの動作の流れを示すフローチャートである。なお、図５と同様の処理については同じ符号を用い、説明を省略する。
【０１９２】
まず、残りバッファ容量監視部３０９は、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂがラインバッファ又はフレームバッファとして使用する第１記憶部３０６Ａ、及び第２記憶部３０６Ｂの残りバッファ容量３２１Ａ及び３２１Ｂを取得する（Ｓ３０１）。そして、残りバッファ容量監視部３０９は、残りバッファ容量３２１Ａ及び３２１Ｂのうち少ない方の容量を示す残りバッファ容量３２２を生成する。
【０１９３】
次に、撮影方式切替部３０１Ｂは、残りバッファ容量監視部３０９から出力された残りバッファ容量３２２を取得する。次に、撮影方式切替部３０１Ｂは、取得した残りバッファ容量３２２に応じて、画素レートを決定する。また、撮影方式切替部３０１Ｂは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０１９４】
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
【０１９５】
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
【０１９６】
図１９は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。      
【０１９７】
図１９に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、残りバッファ容量３２２（画素レート）が所定の値以下であるか否かを判定する（Ｓ３２０）。
【０１９８】
残りバッファ容量３２２が所定の値以下の場合（Ｓ３２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
【０１９９】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０２００】
一方、残りバッファ容量３２２が所定の値より大きい場合（Ｓ３２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
【０２０１】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０２０２】
以上により、本発明の実施の形態３に係る画像符号化装置３００Ｂは、残りバッファ容量監視部３０９が、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂによって、ラインバッファ又はフレームバッファとして使用される第１記憶部３０６Ａ及び第２記憶部３０６Ｂの残りバッファ容量３２１Ａ及び３２１Ｂの監視を行う。さらに、画像符号化装置３００Ｂは、その残りバッファ容量３２１Ａ及び３２１Ｂを用いて第１符号化部３０３Ａ及び第２符号化部３０３Ｂにおけるリソースの余裕度、及び符号化処理の状況の進捗を判断し、判断結果に応じて識別信号３１１を生成できる。
【０２０３】
このように、本発明の実施の形態３に係る画像符号化装置３００Ｂは、上述した実施の形態１と同様の効果を得ることができる。
【０２０４】
さらに、本発明の実施の形態３に係る画像符号化装置３００Ｂでは、残りバッファ容量３２１Ａ及び３２１Ｂが少なくなった際には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを、減少させることができる。こうすることで、画素レートの高低によらず、第１符号化部３０３Ａ及び第２符号化部３０３Ｂのリソース及び処理状況に余裕が無くなった場合に、当該第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる処理量を減らすことができる。
【０２０５】
このように、本発明の実施の形態３に係る画像符号化装置３００Ｂは、第１符号化部３０３Ａ及び第２符号化部３０３Ｂが備えるラインバッファ又はフレームバッファのリソース状況に合わせて記憶領域の削減が行いながら、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
【０２０６】
（実施の形態４）
本発明の実施の形態４では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトルに応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
【０２０７】
まず、本発明の実施の形態４に係る画像符号化装置３００Ｃの構成を説明する。
【０２０８】
図２０は、本発明の実施の形態４に係る画像符号化装置３００Ｃの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【０２０９】
図２０に示す画像符号化装置３００Ｃは、図３に示す画像符号化装置３００の構成に加え、さらに、動きベクトル監視部３３０を備える。また、撮影方式切替部３０１Ｃの構成が異なる。
【０２１０】
動きベクトル監視部３３０は、第１符号化部３０３Ａにより生成された動きベクトル３３１Ａ、及び第２符号化部３０３Ｂにより生成された動きベクトル３３１Ｂを取得する。そして、動きベクトル監視部３３０は、動きベクトル３３１Ａ及び３３１Ｂのうち最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。具体的には、動きベクトル監視部３３０は、動きベクトル３３１Ａ及び３３１Ｂに含まれる複数の動きベクトルのうち、例えば、分割境界（第１符号化対象範囲３１５Ａと第２符号化対象範囲３１５Ｂの境界）をまたぐ最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。
【０２１１】
また、例えば、動きベクトル３３１Ａ及び３３１Ｂは、動き検出部７０１により生成された１ピクチャ分の複数の動きベクトル７２５である。言い換えると、動きベクトル監視部３３０は、入力画像信号３１０に含まれるピクチャごとに最も大きい動きベクトル３３２を選択する。
【０２１２】
撮影方式切替部３０１Ｃは、動きベクトル監視部３３０により出力される動きベクトル３３２を取得する。また、撮影方式切替部３０１Ｃは、取得した動きベクトル３３２に応じて、ｉ段階からなる画素レートのうちいずれかを設定する。
【０２１３】
ここで、例えば、高画素レートである高速度撮影された画像信号の符号化処理時には、撮影される被写体又は撮影部の動きが小さくなる。よって、撮影方式切替部３０１Ｃは、動きベクトル３３２を用いて画素レートを判別できる。
【０２１４】
具体的には、撮影方式切替部３０１Ｃは、動きベクトル３３２が大きいほど、画素レートを低く設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ｃは、動きベクトル３３２が所定の値より大きい場合に低画素レート撮影方式を設定し、動きベクトル３３２が当該所定の値より小さい場合に高画素レート撮影方式を設定する。また、撮影方式切替部３０１Ｃは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０２１５】
次に、画像符号化装置３００Ｃの動作を説明する。
【０２１６】
図２１は、本発明の実施の形態４に係る画像符号化装置３００Ｃの動作の流れを示すフローチャートである。なお、図６と同様の処理については同じ符号を用い、説明を省略する。
【０２１７】
図２１に示すように、まず、動きベクトル監視部３３０は、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂにより生成された動きベクトル３３１Ａ及び３３１Ｂを取得する（Ｓ４０１）。そして動きベクトル監視部３３０は、取得した動きベクトル３３１Ａ及び３３１Ｂに含まれる複数の動きベクトルのうち、分割境界をまたぐ最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。
【０２１８】
次に、撮影方式切替部３０１Ｃは、動きベクトル監視部３３０により出力された動きベクトル３３２を取得する。次に、撮影方式切替部３０１Ｃは、取得した動きベクトル３３２に応じて画素レートを決定する。また、撮影方式切替部３０１Ｃは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ及び第２符号化部３０３Ｂに出力する。
【０２１９】
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
【０２２０】
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
【０２２１】
図２２は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。      
【０２２２】
図２２に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、動きベクトル３３２（画素レート）が所定の値以下であるか否かを判定する（Ｓ４２０）。
【０２２３】
動きベクトル３３２が所定の値以下の場合（Ｓ４２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
【０２２４】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０２２５】
一方、動きベクトル３３２が所定の値より大きい場合（Ｓ４２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
【０２２６】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０２２７】
以上により、本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトル３３１Ａ及び３３１Ｂの最大値を監視する。また、画像符号化装置３００Ｃは、動きベクトル３３１Ａ及び３３１Ｂの最大値に応じて、符号化処理の予測信号の状況を判断し、判定結果に応じた識別信号３１１を生成できる。
【０２２８】
このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、上述した実施の形態１と同様の効果を得ることができる。
【０２２９】
さらに、本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトルが小さい場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを減少させる。動きベクトルが小さい場合には、動き補償処理の探索範囲（第１重複領域３１６Ａ及び第２重複領域３１６Ｂ）の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明の第４の実施形態に係る画像符号化装置３００Ｃは、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの符号化処理に対応できる。
【０２３０】
また、本発明の実施の形態４に係る画像符号化装置３００Ｃは、画素レートの高低によらず、動きベクトルが小さい場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭くする。これにより、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のデータ転送量をより削減できる。
【０２３１】
このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、第１符号化部３０３Ａ及び第２符号化部３０３Ｂで生成される動きベクトル３３１Ａ及び３３１Ｂに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更することにより、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
【０２３２】
また、画像符号化装置３００Ｃは、分割境界（第１符号化対象範囲３１５Ａと第２符号化対象範囲３１５Ｂの境界）をまたぐ最も大きい動きベクトル３３２に応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。これにより、より適切な第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを設定できる。
【０２３３】
具体的には、ピクチャ全体での動きが大きい場合でも、分割境界付近において動きが小さい場合が想定される。このような場合には、分割境界付近において動きが小さいので、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさが小さくても、符号化効率及び画質が悪化する可能性は低い。これに対して、画像符号化装置３００Ｃは、このような場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを小さく設定できる。これにより、画像符号化装置３００Ｃは、符号化効率及び画質の悪化を抑制しつつ、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のデータ転送量をより削減できる。
【０２３４】
以上、本発明の実施の形態１〜４に係る画像符号化装置３００〜３００Ｃについて説明したが、本発明は、この実施の形態に限定されるものではない。
【０２３５】
例えば、上記実施の形態１〜４の説明では、画像符号化装置３００〜３００Ｃが、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを２段階で変更する例を述べたが、３段階以上で変更してもよい。この場合、画像符号化装置３００〜３００Ｃは、画素レートが高いほど、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを小さくすればよい。
【０２３６】
また、上記実施の形態１〜４の説明では、画像符号化装置３００〜３００Ｃが、入力画像信号３１０を上下に２分割する例を述べたが、左右に２分割してもよい。さらに、画像符号化装置３００〜３００Ｃは、入力画像信号３１０を３以上の画像に分割し、分割した画像をそれぞれ符号化する３以上の符号化部を備えてもよい。また、分割された画像（第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂ）の大きさは異なってもよい。また、第１重複領域３１６Ａと第２重複領域３１６Ｂとの大きさは異なってもよい。
【０２３７】
また、上記実施の形態１〜４の説明では、各画像符号化装置３００〜３００Ｃは、それぞれ、ユーザのスイッチ操作、入力画像信号３１０に含まれる情報、残りバッファ容量３２２及び動きベクトル３３２のいずれか一つに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更しているが、上記の４つのうちの２つ以上に応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更してもよい。
【０２３８】
例えば、画像符号化装置３００〜３００Ｃが残りバッファ容量３２２及び動きベクトル３３２に応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する場合、当該画像符号化装置３００〜３００Ｃは、残りバッファ容量３２２が所定の値より大きく、かつ、動きベクトル３３２が所定の値より大きい場合に、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広くし、（１）残りバッファ容量３２２が所定の値より小さい、及び、（２）動きベクトル３３２が所定の値より小さい、のうち少なくとも一方を満たす場合に、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭くする。なお、当該画像符号化装置は、残りバッファ容量３２２の大小と、動きベクトル３３２の大小の各組み合わせに応じて、３段階以上で、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更してもよい。
【０２３９】
また、上記実施の形態１の説明では、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを決定する画素レートの基準と、原画像とローカルデコード画像とのうちいずれを用いて動き検出処理を行うかを決定する画素レートの基準が同じであるが異なってもよい。言い換えると、画像符号化装置３００は、画素レートが第１の閾値より大きいか否かに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを決定し、画素レートが、第１閾値と異なる第２の閾値より大きいか否かに応じて、原画像とローカルデコード画像とのうちいずれを用いて動き検出処理を行うかを決定してもよい。
【０２４０】
また、上記実施の形態１〜４に係る画像符号化装置３００〜３００Ｃに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０２４１】
典型的には図３に示す処理部のうち、第１記憶部３０６Ａ及び第２記憶部３０６Ｂを除く、全ての処理部が１チップのＬＳＩとして実現される。
【０２４２】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２４３】
また、本発明の実施の形態１〜４に係る画像符号化装置３００〜３００Ｃの機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０２４４】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０２４５】
また、上記実施の形態１〜４に係る画像符号化装置３００〜３００Ｃ、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０２４６】
本発明は、符号化装置に適用できる。また、本発明は、高画素レートの符号化処理を必要とする高速度撮影、又は高精細な画像撮影を行うデジタルスチルカメラ及びデジタルビデオカメラに有用である。
【符号の説明】
【０２４７】
１００、３００、３００Ａ、３００Ｂ、３００Ｃ  画像符号化装置
１０１  画像信号入力端子
１０２、３０２  信号分割部
１０３Ａ、３０３Ａ  第１符号化部
１０３Ｂ、３０３Ｂ  第２符号化部
１０６、３０７  信号合成部
１０７  符号化信号出力端子
１０８  符号化部
１１０、３１０  入力画像信号
１１１Ａ、３１２Ａ  第１分割画像信号
１１１Ｂ、３１２Ｂ  第２分割画像信号
１１２Ａ、３１３Ａ  第１符号化信号
１１２Ｂ、３１３Ｂ  第２符号化信号
１１３Ａ、１１３Ｂ  ローカルデコード画像
１１４、３１４  出力符号化信号
１１５Ａ、３１６Ａ  第１重複領域
１１５Ｂ、３１６Ｂ  第２重複領域
１１６Ａ  第１探索範囲
１１６Ｂ  第２探索範囲
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ  撮影方式切替部
３０４Ａ  第１記憶領域連結部
３０４Ｂ  第２記憶領域連結部
３０５Ａ  第１外部連結部
３０５Ｂ  第２外部連結部
３０６Ａ  第１記憶部
３０６Ｂ  第２記憶部
３０８    画素レート監視部
３０９    残りバッファ容量監視部
３１１  識別信号
３１５Ａ  第１符号化対象範囲
３１５Ｂ  第２符号化対象範囲
３１７Ａ、３１７Ｂ  第１ローカルデコード画像
３１８Ａ、３１８Ｂ  第２ローカルデコード画像
３２０  監視結果
３２１Ａ、３２１Ｂ、３２２  残りバッファ容量
３３０    動きベクトル監視部
３３１Ａ、３３１Ｂ、３３２  動きベクトル
７０１  動き検出部
７０２  原画像記憶部
７０３  減算部
７０４、７１１、７１３  スイッチ
７０５  変換部
７０６  量子化部
７０７  可変長符号化部
７０８  逆量子化部
７０９  逆変換部
７１０  加算部
７１２  ローカルデコード画像記憶部
７１４  動き補償部
７２１  予測誤差信号
７２２、７２４  ＤＣＴ係数
７２３  量子化係数
７２５  動きベクトル
７２６  予測画像
７２７  ローカルデコード信号
９０１  符号化ブロック
９０２、９０４、９０６、９０８  動きベクトル
９０３、９０５、９０７  隣接ブロック
【図１】
2009142003.tif 000003
【図２Ａ】
2009142003.tif 000004
【図２Ｂ】
2009142003.tif 000005
【図３】
2009142003.tif 000006
【図４Ａ】
2009142003.tif 000007
【図４Ｂ】
2009142003.tif 000008
【図５】
2009142003.tif 000009
【図６】
2009142003.tif 000010
【図７Ａ】
2009142003.tif 000011
【図７Ｂ】
2009142003.tif 000012
【図８】
2009142003.tif 000013
【図９】
2009142003.tif 000014
【図１０】
2009142003.tif 000015
【図１１】
2009142003.tif 000016
【図１２】
2009142003.tif 000017
【図１３】
2009142003.tif 000018
【図１４】
2009142003.tif 000019
【図１５】
2009142003.tif 000020
【図１６】
2009142003.tif 000021
【図１７】
2009142003.tif 000022
【図１８】
2009142003.tif 000023
【図１９】
2009142003.tif 000024
【図２０】
2009142003.tif 000025
【図２１】
2009142003.tif 000026
【図２２】
2009142003.tif 000027
【手続補正書】
【提出日】平成21年10月30日(2009.10.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関し、特に、各ピクチャを複数の画像に分割し、分割した画像をそれぞれ複数の符号化部で符号化する画像符号化装置に関する。
【背景技術】
【０００２】
従来、ＨＤＴＶ（高精細テレビジョン）画像等の高画素レートの映像信号を符号化する際に、処理速度を緩和させるため、ＨＤＴＶ画像を複数の分割領域に分割したうえで、分割した各画像信号を低画素レートの符号化部（圧縮符号化器）で符号化する技術が知られている。これにより、高画素レートに対応した画像符号化装置が実現できる（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の画像符号化装置１００の構成を示すブロック図である。
【０００３】
図１に示す画像符号化装置１００は、画像信号入力端子１０１と、信号分割部１０２と、符号化部１０８と、信号合成部１０６と、符号化信号出力端子１０７とを備える。また、符号化部１０８は、第１符号化部１０３Ａと、第２符号化部１０３Ｂとを備える。
【０００４】
画像信号入力端子１０１には、高画素レートの入力画像信号（映像信号）１１０が供給される。この高画素レートの入力画像信号１１０は、例えば、上述したようなハイビジョン信号のような順次信号である。
【０００５】
信号分割部１０２は、入力画像信号１１０を、例えば上下に２分割することにより、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂを生成する。例えば、入力画像信号１１０の有効画枠が４８０ラインである場合、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂは、それぞれ２４０ライン分の画像信号である。
【０００６】
第１符号化部１０３Ａ及び第２符号化部１０３Ｂは、低画素レート用の符号化器である。この第１符号化部１０３Ａは、第１分割画像信号１１１Ａを圧縮符号化することにより、第１符号化信号１１２Ａを生成する。第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂを圧縮符号化することにより、第２符号化信号１１２Ｂを生成する。
【０００７】
また、第１符号化部１０３Ａ及び第２符号化部１０３Ｂは、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂの境界部分付近における画像に対して動き検出及び動き補償を行うときには、他方の符号化部で生成された、第１重複領域１１５Ａ又は第２重複領域１１５Ｂに対応したローカルデコード画像を利用する。
【０００８】
図２Ａは、第１分割画像信号１１１Ａと、第１重複領域１１５Ａとを示す図である。図２Ｂは、第２分割画像信号１１１Ｂと、第２重複領域１１５Ｂとを示す図である。
【０００９】
また、第１符号化部１０３Ａは、第１分割画像信号１１１Ａの符号化の際に、当該第１分割画像信号１１１Ａのローカルデコード画像を生成する。また、第１符号化部１０３Ａは、生成したローカルデコード画像のうち、第２符号化部１０３Ｂの第２探索範囲１１６Ｂに含まれる第２重複領域１１５Ｂに対応するローカルデコード画像１１３Ａを、第２符号化部１０３Ｂに出力する。
【００１０】
同様に、第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂの符号化の際に、当該第２分割画像信号１１１Ｂのローカルデコード画像を生成する。また、第２符号化部１０３Ｂは、生成したローカルデコード画像のうち、第１符号化部１０３Ａの第１探索範囲１１６Ａに含まれる第１重複領域１１５Ａに対応するローカルデコード画像１１３Ｂを、第１符号化部１０３Ａに出力する。
【００１１】
また、第１符号化部１０３Ａは、第１分割画像信号１１１Ａの動き検出及び動き補償をするときには、第１探索範囲１１６Ａに対応するローカルデコード画像を用いる。また、第１探索範囲１１６Ａに含まれる第１重複領域１１５Ａに対応するローカルデコード画像として、第２符号化部１０３Ｂにより出力されるローカルデコード画像１１３Ｂを用いる。
【００１２】
また、第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂの動き検出及び動き補償をするときには、第２探索範囲１１６Ｂに対応するローカルデコード画像を用いる。また、第２探索範囲１１６Ｂに含まれる第２重複領域１１５Ｂに対応するローカルデコード画像として、第１符号化部１０３Ａにより出力されるローカルデコード画像１１３Ａを用いる。
【００１３】
信号合成部１０６は、低画素レートに変換された第１符号化信号１１２Ａ及び第２符号化信号１１２Ｂを合成することにより、高画素レートの出力符号化信号１１４を生成し、生成した出力符号化信号１１４を符号化信号出力端子１０７に出力する。このように、特許文献１記載の画像符号化装置１００は、低画素レート用の第１符号化部１０３Ａ及び第２符号化部１０３Ｂを使用して、高画素レート用の画像符号化装置を実現している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平１０−１７８６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、特許文献１記載の画像符号化装置１００は、隣接する第１符号化部１０３Ａと第２符号化部１０３Ｂとの間で他方から参照されるローカルデコード画像１１３Ａ及び１１３Ｂを共有する必要がある。これにより、特許文献１記載の画像符号化装置１００は、入力画像信号１１０の画素レートが高くなればなるほど、ローカルデコード画像１１３Ａ及び１１３Ｂのデータ転送量が増加し、バンド幅が増加してしまうという課題を有する。
【００１６】
さらに、複数の第１符号化部１０３Ａ及び第２符号化部１０３Ｂを個別の集積回路で実現した場合、集積回路間をつなぐ外部バスの転送は内部の符号化処理に比べ非常に遅く、低速な外部バス経由の転送となる。これにより、従来の画像符号化装置１００は、ローカルデコード画像１１３Ａ及び１１３Ｂのデータ転送のレイテンシの増加が、符号化処理の速度のボトルネックとなるという課題を有する。
【００１７】
本発明は、前記従来の課題を解決するものであり、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明に係る画像符号化装置は、入力画像信号を符号化することにより出力符号化信号を生成する画像符号化装置であって、前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える。
【００１９】
この構成によれば、本発明に係る画像符号化装置は、例えば、符号化部間のデータ転送量が増加する場合には、重複領域を小さくすることにより、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる。これにより、符号化部間の通信バンド幅を削減できる。さらに、符号化部間のバンド幅削減により、本発明に係る画像符号化装置は、より高画素レートの入力画像信号を処理できる。
【００２０】
また、前記信号分割部は、当該画像符号化装置が単位時間当たりに処理すべき画素数である画素レートが第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさに決定し、前記画素レートが前記第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。
【００２１】
この構成によれば、本発明に係る画像符号化装置は、高画素レート時における、符号化部間で伝送される第２ローカルデコード画像のデータ量を削減できる。これにより、符号化部間の通信バンド幅を削減できる。さらに、符号化部間のバンド幅削減により、本発明に係る画像符号化装置は、より高画素レートの入力画像信号を処理できる。
【００２２】
さらに、画素レートが高い場合、例えば、毎秒３０又は６０フレームより高いフレームレート（例えば毎秒３００フレーム）の場合、ピクチャ間の時間間隔が小さくなるため、撮影される被写体又は撮影部の動きが小さくなる。よって、動き補償処理の探索範囲の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートに対応できる。
【００２３】
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記画像符号化装置は、さらに、前記複数の符号化部にそれぞれ対応し、対応する前記符号化対象画像及び対応する前記重複領域の画像を原画像として記憶する原画像記憶部とを備え、前記動き検出部は、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出してもよい。
【００２４】
この構成によれば、本発明の画像符号化装置は、動き検出部が原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を取得できる。よって、本発明に係る画像符号化装置は、第２ローカルデコード画像を取得するまでの動き検出部の待ち時間を削減できるので、レイテンシを削減できる。これにより、本発明に係る画像符号化装置は、より高画素レートに対応できる。
【００２５】
また、前記画像符号化装置は、さらに、前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶するローカルデコード画像記憶部を備え、前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出し、前記画素レートが前記第２の閾値より小さい場合、前記ローカルデコード画像記憶部に記憶されている前記第１ローカルデコード画像及び前記第２ローカルデコード画像を用いて、前記動きベクトルを検出してもよい。
【００２６】
この構成によれば、本発明の画像符号化装置は、高画素レート時には、原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を取得することにより、レイテンシを削減できる。さらに、本発明の画像符号化装置は、低画素レート時には、ローカルデコード画像を用いて動きベクトルを算出することにより、画質の劣化を抑制できる。
【００２７】
また、前記各符号化部は、他の符号化部に前記第２ローカルデコード画像を要求し、前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記要求に応じて前記他の符号化部により出力される前記第２ローカルデコード画像を当該符号化部が取得する前に、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する処理を開始してもよい。
【００２８】
この構成によれば、本発明の画像符号化装置は、動き検出部が原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を他の符号化部から取得できる。よって、本発明に係る画像符号化装置は、第２ローカルデコード画像を取得するまでの動き検出部の待ち時間を削減できるので、レイテンシを削減できる。
【００２９】
また、前記画像符号化装置は、さらに、ユーザの操作により指定される前記画素レートを取得する画素レート取得部を備えてもよい。
【００３０】
また、前記画像符号化装置は、さらに、前記入力画像信号に含まれる情報を用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する第１算出部と、前記第１算出部により算出された前記画像サイズ及びフレームレートのうち少なくとも一方を用いて前記画素レートを算出する第２算出部とを備えてもよい。
【００３１】
この構成によれば、本発明に係る画像符号化装置は、入力画像信号の画素レートを自動的に判定し、判定した画素レートに応じて、重複領域の大きさを変更できる。
【００３２】
また、前記第１算出部は、前記入力画像信号に含まれる、ピクセルクロック、水平同期信号、及び垂直同期信号のうち少なくとも一つを用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出してもよい。
【００３３】
また、前記画像符号化装置は、さらに、前記複数の符号化部により生成された前記第１ローカルデコード画像を記憶する第１記憶部を備え、前記信号分割部は、前記第１記憶部の空き容量が第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。
【００３４】
この構成によれば、複数の符号化部のリソース及び処理状況に余裕が無くなった場合に、複数の符号化部による処理量を減らすことができる。
【００３５】
また、前記第１記憶部は、前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶する複数の第２記憶部を含み、前記信号分割部は、前記複数の第２記憶部の空き容量のうち最も少ない空き容量が前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も少ない空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定してもよい。
【００３６】
この構成によれば、複数の符号化部のいずれかが、リソース及び処理状況に余裕が無くなった場合に、当該符号化部による処理量を減らすことができる。
【００３７】
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記信号分割部は、前記動きベクトルが第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。
【００３８】
この構成によれば、本発明に係る画像符号化装置は、動きベクトルが小さい場合には、重複領域を小さくする。ここで、動きベクトルが小さい場合には、探索範囲の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの符号化処理に対応できる。
【００３９】
また、前記信号分割部は、前記複数の符号化対象画像の境界をまたぐ前記動きベクトルのうち、最も大きい動きベクトルが前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も大きい動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定してもよい。
【００４０】
この構成によれば、本発明に係る画像符号化装置は、重複領域の画像を用いて動き補償処理が行われる符号化対象画像の境界に隣接するブロックの動きベクトルに応じて、重複領域の大きさを変更する。これにより、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、符号化部間で転送されるデータ量を削減できる。
【００４１】
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記各符号化部は、対応する前記符号化対象画像と対応する前記重複領域との境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測し、予測した動きベクトルが前記境界の方向を示す場合、他の符号化部により生成された前記第２ローカルデコード画像を取得し、前記予測した動きベクトルが前記境界の方向を示さない場合、他の符号化部により生成された前記第２ローカルデコード画像を取得しなくてもよい。
【００４２】
この構成によれば、本発明に係る画像符号化装置は、第２ローカルデコード画像が必要ない場合には、当該第２ローカルデコード画像を取得しない。これにより、画像符号化装置は、符号化部間のデータ転送量をより削減できる。
【００４３】
なお、本発明は、このような画像符号化装置として実現できるだけでなく、画像符号化装置に含まれる特徴的な手段をステップとする画像符号化方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００４４】
さらに、本発明は、このような画像符号化装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像符号化装置を備えるカメラとして実現したりできる。
【発明の効果】
【００４５】
以上より、本発明は、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる画像符号化装置及び画像符号化方法を提供できる。
【図面の簡単な説明】
【００４６】
【図１】図１は、従来の画像符号化装置のブロック図である。
【図２Ａ】図２Ａは、従来の画像符号化装置における画像例を示す図である。
【図２Ｂ】図２Ｂは、従来の画像符号化装置における画面例を示す図である。
【図３】図３は、本発明の実施の形態１に係る画像符号化装置のブロック図である。
【図４Ａ】図４Ａは、本発明の実施の形態１に係る画像符号化装置による画像分割例を示す図である。
【図４Ｂ】図４Ｂは、本発明の実施の形態１に係る画像符号化装置による画像分割例を示す図である。
【図５】図５は、本発明の実施の形態１に係る画像符号化装置による処理のフローチャートである。
【図６】図６は、本発明の実施の形態１に係る画像符号化装置による画像分割処理のフローチャートである。
【図７Ａ】図７Ａは、本発明の実施の形態１に係る画像符号化装置による高画素レート時の画像分割例を示す図である。
【図７Ｂ】図７Ｂは、本発明の実施の形態１に係る画像符号化装置による低画素レート時の画像分割例を示す図である。
【図８】図８は、本発明の実施の形態１に係る第１符号化部のブロック図である。
【図９】図９は、本発明の実施の形態１に係る画像符号化装置による符号化処理のフローチャートである。
【図１０】図１０は、本発明の実施の形態１に係る画像符号化装置における原画像とローカルデコードとの利用状況を示す図である。
【図１１】図１１は、本発明の実施の形態１に係る画像符号化装置による動き検出及び動き補償処理のフローチャートである。
【図１２】図１２は、本発明の実施の形態１に係る画像符号化装置における信号処理例を示すタイミングチャートである。
【図１３】図１３は、本発明の実施の形態１に係る画像符号化装置によるローカルデコード画像の要否判定処理のフローチャートである。
【図１４】図１４は、本発明の実施の形態１に係る画像符号化装置における動きベクトル予測処理を示す図である。
【図１５】図１５は、本発明の実施の形態２に係る画像符号化装置のブロック図である。
【図１６】図１６は、本発明の実施の形態２に係る画像符号化装置による処理のフローチャートである。
【図１７】図１７は、本発明の実施の形態３に係る画像符号化装置のブロック図である。
【図１８】図１８は、本発明の実施の形態３に係る画像符号化装置による処理のフローチャートである。
【図１９】図１９は、本発明の実施の形態３に係る画像符号化装置による画像分割処理のフローチャートである。
【図２０】図２０は、本発明の実施の形態４に係る画像符号化装置のブロック図である。
【図２１】図２１は、本発明の実施の形態４に係る画像符号化装置による処理のフローチャートである。
【図２２】図２２は、本発明の実施の形態４に係る画像符号化装置による画像分割処理のフローチャートである。
【発明を実施するための形態】
【００４７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４８】
（実施の形態１）
本発明の実施の形態１に係る画像符号化装置３００は、動き検出処理及び動き補償処理の探索範囲として用いられる重複領域の大きさを、画素レートが高い場合には小さくする。これにより、高画素レート時に、符号化部間で転送されるローカルデコード画像のデータ量を削減できる。
【００４９】
まず、本発明の実施の形態１に係る画像符号化装置３００の構成を説明する。
【００５０】
図３は、本発明の実施の形態１に係る画像符号化装置３００の構成を示すブロック図である。
【００５１】
図３に示す画像符号化装置３００は、入力画像信号３１０を符号化することにより出力符号化信号３１４を生成する動画像符号化装置である。入力画像信号３１０は、複数のピクチャを含む順次信号であり、例えば、ハイビジョン画像信号、又は高速度撮影された画像信号である。ここで高速度撮影とは、通常のフレームレート（例えば、毎秒３０又は６０フレーム）より高いフレームレート（例えば、毎秒３００フレーム等）で行われる撮影である。
【００５２】
この画像符号化装置３００は、撮影方式切替部３０１と、信号分割部３０２と、第１符号化部３０３Ａと、第２符号化部３０３Ｂと、第１記憶領域連結部３０４Ａと、第２記憶領域連結部３０４Ｂと、第１外部連結部３０５Ａと、第２外部連結部３０５Ｂと、第１記憶部３０６Ａと、第２記憶部３０６Ｂと、信号合成部３０７とを備える。
【００５３】
撮影方式切替部３０１は、本発明の画素レート取得部に相当し、ユーザの操作により指定される画素レートを取得する。具体的には、撮影方式切替部３０１は、ユーザのスイッチ操作に応じて設定された、ｉ段階からなる画素レートのうちいずれかを取得する。また、撮影方式切替部３０１は、設定された画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【００５４】
ここで、画素レートとは、画像符号化装置３００が、単位時間当たりに符号化処理すべき画素数である。言い換えると、画素レートは、画像符号化装置３００が、単位時間当たりに符号化処理すべき処理量に相当する。具体的には、画素レートは、画像サイズとフレームレートとの積である。
【００５５】
信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを、一部重複領域を含んだ状態で例えば上下に２分割することにより、第１分割画像信号３１２Ａと第２分割画像信号３１２Ｂとを生成する。ここで、ピクチャとは、入力画像信号３１０に含まれる一枚の画像であり、フレーム又はフィールドである。
【００５６】
図４Ａは、第１分割画像信号３１２Ａの構成を示す図である。図４Ｂは、第２分割画像信号３１２Ｂの構成を示す図である。
【００５７】
図４Ａに示すように、第１分割画像信号３１２Ａは、第１符号化対象範囲３１５Ａと、第１重複領域３１６Ａとを含む。また、図４Ｂに示すように、第２分割画像信号３１２Ｂは、第２符号化対象範囲３１５Ｂと、第２重複領域３１６Ｂとを含む。
【００５８】
例えば、入力画像信号３１０の有効画枠が７２０ラインである場合、第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂは、入力画像信号３１０に含まれる各ピクチャを上下に等分した、それぞれ３６０ライン分の画像領域である。また、第１符号化対象範囲３１５Ａは、第１符号化部３０３Ａが符号化を行う画像領域であり、第２符号化対象範囲３１５Ｂは、第２符号化部３０３Ｂが符号化を行う画像領域である。
【００５９】
第１重複領域３１６Ａは、第２符号化対象範囲３１５Ｂに含まれ、かつ、第１符号化対象範囲３１５Ａに隣接するｎ（ｎは１以上の整数）ライン分の画像領域である。第２重複領域３１６Ｂは、第１符号化対象範囲３１５Ａに含まれ、かつ、第２符号化対象範囲３１５Ｂに隣接するｎ（ｎは１以上の整数）ライン分の画像領域である。
【００６０】
つまり、信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂに分割する。
【００６１】
また、第１分割画像信号３１２Ａ及び第２分割画像信号３１２Ｂは、それぞれ、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる動き検出処理及び動き補償処理の際の動きベクトル探索範囲に相当する。つまり、信号分割部３０２は、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる動き検出処理及び動き補償処理の際の動きベクトル探索範囲を決定する。
【００６２】
信号分割部３０２は、この第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを、撮影方式切替部３０１から出力される識別信号３１１に応じてｉ段階で変更する。具体的には、信号分割部３０２は、画素レートが所定の閾値より小さい場合、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを第１の大きさ（例えば３２ライン分）に決定し、画素レートが当該所定の閾値より大きい場合、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを第１の大きさより小さい第２の大きさ（例えば１６ライン分）に決定する。
【００６３】
また、信号分割部３０２は、生成した第１分割画像信号３１２Ａを第１符号化部３０３Ａに出力し、生成した第２分割画像信号３１２Ｂを第２符号化部３０３Ｂに出力する。
【００６４】
第１符号化部３０３Ａは、信号分割部３０２で２分割された第１分割画像信号３１２Ａに含まれる第１符号化対象範囲３１５Ａを符号化することにより、第１符号化信号３１３Ａを生成する。また、第１符号化部３０３Ａは、生成した第１符号化信号３１３Ａを信号合成部３０７に出力する。
【００６５】
第２符号化部３０３Ｂは、信号分割部３０２で２分割された第２分割画像信号３１２Ｂに含まれる第２符号化対象範囲３１５Ｂを符号化することにより、第２符号化信号３１３Ｂを生成する。また、第２符号化部３０３Ｂは、生成した第２符号化信号３１３Ｂを信号合成部３０７に出力する。
【００６６】
また、第１符号化部３０３Ａは、第１符号化対象範囲３１５Ａを符号化した後、復号することにより第１ローカルデコード画像３１７Ａを生成する。また、第２符号化部３０３Ｂは、第２符号化対象範囲３１５Ｂを符号化した後、復号することにより第１ローカルデコード画像３１７Ｂを生成する。つまり、ローカルデコード画像は、出力符号化信号３１４が復号装置により復号されることにより生成される画像と同じ画像である。
【００６７】
第１記憶部３０６Ａは、第１符号化部３０３Ａが符号化を行う際のラインメモリ又はフレームメモリとして使用される。この第１記憶部３０６Ａは、原画像（第１分割画像信号３１２Ａ）と、第１ローカルデコード画像３１７Ａ、及び第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａとを参照画像として記憶する。また、第１符号化部３０３Ａは、この第１記憶部３０６Ａから、過去の第１分割画像信号３１２Ａ、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを参照画像として読み出し、読み出した第１分割画像信号３１２Ａ、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて、現在のピクチャの符号化処理を行う。また、第１符号化部３０３Ａは、第１記憶部３０６Ａに、現在のピクチャの第１分割画像信号３１２Ａ及び第１ローカルデコード画像３１７Ａを、後続のピクチャの符号化処理に用いる参照画像として書き込む。
【００６８】
第２記憶部３０６Ｂは、第２符号化部３０３Ｂが符号化を行う際のラインメモリ又はフレームメモリとして使用される。この第２記憶部３０６Ｂは、原画像（第２分割画像信号３１２Ｂ）と、第１ローカルデコード画像３１７Ｂ、及び第２重複領域３１６Ｂに対応する第２ローカルデコード画像３１８Ｂとを参照画像として記憶する。また、第２符号化部３０３Ｂは、この第２記憶部３０６Ｂから、過去の第２分割画像信号３１２Ｂ、第１ローカルデコード画像３１７Ｂ及び第２ローカルデコード画像３１８Ｂを参照画像として読み出し、読み出した第２分割画像信号３１２Ｂ、第１ローカルデコード画像３１７Ｂ及び第２ローカルデコード画像３１８Ｂを用いて、現在のピクチャの符号化処理を行う。また、第２符号化部３０３Ｂは、第２記憶部３０６Ｂに、現在のピクチャの第２分割画像信号３１２Ｂ及び第１ローカルデコード画像３１７Ｂを、後続のピクチャの符号化処理に用いる参照画像として書き込む。
【００６９】
第１外部連結部３０５Ａは、第２記憶部３０６Ｂに記憶される第１ローカルデコード画像３１７Ｂに含まれる第２ローカルデコード画像３１８Ａを読み出し、読み出した第２ローカルデコード画像３１８Ａを第１記憶部３０６Ａに書き込む。第２外部連結部３０５Ｂは、第１記憶部３０６Ａに記憶される第１ローカルデコード画像３１７Ａに含まれる第２ローカルデコード画像３１８Ｂを読み出し、読み出した第２ローカルデコード画像３１８Ｂを第２記憶部３０６Ｂに書き込む。
【００７０】
第１記憶領域連結部３０４Ａは、第１符号化部３０３Ａと、第１記憶部３０６Ａと、第１外部連結部３０５Ａとの間のデータの受け渡しを行う。第２記憶領域連結部３０４Ｂは、第２符号化部３０３Ｂと、第２記憶部３０６Ｂと、第２外部連結部３０５Ｂとの間のデータの受け渡しを行う。
【００７１】
信号合成部３０７は、第１符号化部３０３Ａにより生成された第１符号化信号３１３Ａと、第２符号化部３０３Ｂにより生成された第２符号化信号３１３Ｂとを合成することにより、１つのビットストリームである出力符号化信号３１４を生成する。
【００７２】
次に、画像符号化装置３００の動作を説明する。まず、画像符号化装置３００による動作の流れの概略を説明する。
【００７３】
図５は、本発明の実施の形態１に係る画像符号化装置３００の動作の流れを示すフローチャートである。
【００７４】
図５に示すように、まず、撮影方式切替部３０１は、ユーザのスイッチ操作等に応じて設定された、ｉ段階からなる画素レートのうちいずれかを取得する（Ｓ１０１）。また、以下では、説明の単純化のために、画素レートが２段階で切り替えられる例を説明する。つまり、ｉ＝０の場合、画素レートが低い低画素レート撮影方式が設定され、ｉ＝１の場合、低画素レート撮影方式より画素レートが高い高画素レート撮影方式が設定される。
【００７５】
また、撮影方式切替部３０１は、設定された画素レートを示す識別信号３１１を生成する。
【００７６】
次に、信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを、２分割することにより、第１分割画像信号３１２Ａと第２分割画像信号３１２Ｂとを生成する（Ｓ１０２）。
【００７７】
次に、第１符号化部３０３Ａは、第１分割画像信号３１２Ａを符号化することにより、第１符号化信号３１３Ａを生成し、第２符号化部３０３Ｂは、第２分割画像信号３１２Ｂを符号化することにより、第２符号化信号３１３Ｂを生成する（Ｓ１０３）。
【００７８】
次に、信号合成部３０７は、第１符号化信号３１３Ａと第２符号化信号３１３Ｂとを合成することにより、出力符号化信号３１４を生成する（Ｓ１０４）。
【００７９】
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
【００８０】
図６は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。
【００８１】
図６に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、低画素レート撮影方式及び高画素レート撮影方式のうちいずれか設定されているかを判定する（Ｓ１２０）。
【００８２】
高画素レート撮影方式が設定されている場合（Ｓ１２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
【００８３】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【００８４】
一方、低画素レート撮影方式が設定されている場合（Ｓ１２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
【００８５】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【００８６】
図７Ａは、高画素レート撮影方式が設定されている場合の第１分割画像信号３１２Ａの一例を示す図である。また、図７Ｂは、低画素レート撮影方式が設定されている場合の第１分割画像信号３１２Ａの一例を示す図である。
【００８７】
図７Ａに示すように、高画素レート撮影方式が設定されている場合、例えば、第１重複領域３１６Ａのライン数ｎは、「１６」に設定される。また、図７Ｂに示すように、低画素レート撮影方式が設定されている場合、例えば、第１重複領域３１６Ａのライン数ｎは、「３２」に設定される。なお、第２重複領域３１６Ｂのライン数ｎの設定も同様である。
【００８８】
次に、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる符号化処理について説明する。
【００８９】
なお、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａと、第２符号化部３０３Ｂ、第２記憶領域連結部３０４Ｂ、第２外部連結部３０５Ｂ及び第２記憶部３０６Ｂとは、同一構成であるので、以下において、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａとの構成及び動作のみを説明する。
【００９０】
まず、第１符号化部３０３Ａの詳細な構成について説明する。
【００９１】
図８は、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａの構成を示すブロック図である。
【００９２】
図８に示すように、第１記憶部３０６Ａは、原画像記憶部７０２と、ローカルデコード画像記憶部７１２とを備える。
【００９３】
原画像記憶部７０２は、原画像（第１分割画像信号３１２Ａ）を記憶する。ローカルデコード画像記憶部７１２は、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを記憶する。
【００９４】
また、第１符号化部３０３Ａは、動き検出部７０１と、減算部７０３と、スイッチ７０４、７１１及び７１３と、変換部７０５と、量子化部７０６と、可変長符号化部７０７と、逆量子化部７０８と、逆変換部７０９と、加算部７１０と、動き補償部７１４とを備える。
【００９５】
スイッチ７１３は、原画像記憶部７０２に記憶される原画像（第１分割画像信号３１２Ａ）と、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａとのうち一方を動き検出部７０１に出力する。具体的には、スイッチ７１３は、識別信号３１１で低画素レート撮影方式が示される場合、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを動き検出部７０１に出力し、識別信号３１１で高画素レート撮影方式が示される場合、原画像を動き検出部７０１に出力する。
【００９６】
ここで、第１分割画像信号３１２Ａは、Ｉピクチャ（イントラピクチャ）とＰピクチャ（インターピクチャ）とを含む。Ｉピクチャは、当該Ｉピクチャ内のデータを用いた画面内符号化が行われるピクチャであり、Ｐピクチャは、他のピクチャのデータを用いた画面間符号化が行われるピクチャである。
【００９７】
動き検出部７０１は、第１分割画像信号３１２Ａに含まれる処理対象のピクチャ（以下、対象ピクチャ）がＰピクチャである場合、他のピクチャを用いて、当該ピクチャに動き検出処理を行うことにより、動きベクトル７２５を生成する。ここで、他のピクチャとは、スイッチ７１３により出力される原画像又はローカルデコード画像（第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａ）に含まれるピクチャである。
【００９８】
具体的には、動き検出部７０１は、画素レートが所定の閾値より大きい場合、原画像記憶部７０２に記憶されている原画像を用いて、対象ピクチャの動きベクトル７２５を検出する。また、動き検出部７０１は、画素レートが当該所定の閾値より小さい場合、ローカルデコード画像記憶部７１２に記憶されている第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて、対象ピクチャの動きベクトル７２５を検出する。
【００９９】
ここで動き検出処理とは、対象ピクチャに含まれる画像ブロックごとに、当該画像ブロックの画像に近い、過去のピクチャの画像ブロックを探索したうえで、当該画像ブロックに含まれる画像が当該過去のピクチャから動いた動きの量及び方向（動きベクトル７２５）を算出する処理である。
【０１００】
動き補償部７１４は、動き検出部７０１により生成された動きベクトル７２５と、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａに含まれる他のピクチャとを用いて、動き補償処理を行うことにより、予測画像７２６を生成する。
【０１０１】
ここで動き補償処理とは、過去のピクチャに含まれる画像を、動きベクトル７２５で示される動き量分、空間的にシフトさせることにより、対象ピクチャの画像に相当する予測画像７２６を生成する処理である。
【０１０２】
減算部７０３は、第１分割画像信号３１２Ａに含まれる対象ピクチャから、予測画像７２６を減算することにより、予測誤差信号７２１を生成する。
【０１０３】
スイッチ７０４は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、減算部７０３により生成された予測誤差信号７２１を変換部７０５に出力し、対象ピクチャがＩピクチャである場合、第１分割画像信号３１２Ａを変換部７０５に出力する。
【０１０４】
変換部７０５は、スイッチ７０４により出力された予測誤差信号７２１又は第１分割画像信号３１２ＡにＤＣＴ変換（直交変換）を行うことにより、ＤＣＴ係数７２２を生成する。ここでＤＣＴ変換とは、入力された信号を空間面から周波数面への変換する処理である。
【０１０５】
量子化部７０６は、変換部７０５により生成されたＤＣＴ係数７２２を量子化することにより、量子化係数７２３を生成する。具体的には、量子化部７０６は、ＤＣＴ係数７２２を、量子化値Ｑによって除算することにより、量子化係数７２３を生成する。
【０１０６】
可変長符号化部７０７は、量子化部７０６により生成された量子化係数７２３を、可逆な可変長符号化することにより、第１分割画像信号３１２Ａより情報量が圧縮された第１符号化信号３１３Ａを生成する。
【０１０７】
逆量子化部７０８は、量子化部７０６により生成された量子化係数７２３を逆量子化することにより、ＤＣＴ係数７２４を生成する。具体的には、逆量子化部７０８は、量子化係数７２３に量子化部７０６が使用した量子化値Ｑを乗算することにより、ＤＣＴ係数７２４を生成する。ここで、ＤＣＴ係数７２２を量子化すると必ず量子化誤差が発生する。これに対して、逆量子化部７０８において、逆量子化を行うことにより、ＤＣＴ係数７２２に量子化誤差を加えた信号、つまり、復号装置で復号される際のＤＣＴ係数と同じＤＣＴ係数７２４を生成できる。
【０１０８】
逆変換部７０９は、逆量子化部７０８により生成されたＤＣＴ係数７２４を逆ＤＣＴ変換することにより、元の第１分割画像信号３１２Ａに量子化歪みを加えたローカルデコード信号７２７を生成する。
【０１０９】
スイッチ７１１は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、動き補償部７１４により生成された予測画像７２６を加算部７１０に供給し、対象ピクチャがＩピクチャである場合、当該スイッチ７１１は開放される。
【０１１０】
加算部７１０は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、逆変換部７０９により生成されたローカルデコード信号７２７と、スイッチ７１１により出力される予測画像７２６とを加算することにより、第１ローカルデコード画像３１７Ａを生成する。また、加算部７１０は、対象ピクチャがＩピクチャである場合、逆変換部７０９により生成されたローカルデコード信号７２７を第１ローカルデコード画像３１７Ａとして出力する。また、加算部７１０により生成された第１ローカルデコード画像３１７Ａは、ローカルデコード画像記憶部７１２に記憶される。
【０１１１】
次に、第１符号化部３０３Ａによる符号化処理（Ｓ１０３）の動作の流れについて説明する。
【０１１２】
図９は、第１分割画像信号３１２Ａに含まれる１枚の対象ピクチャに対する第１符号化部３０３Ａによる符号化処理（Ｓ１０３）の動作の流れを示すフローチャートである。
【０１１３】
図９に示すように、第１符号化部３０３Ａは、第１分割画像信号３１２Ａに含まれる対象ピクチャを、以降のピクチャで動きベクトル検出をするために用いる参照画像として、第１記憶領域連結部３０４Ａを介して、原画像のまま原画像記憶部７０２に書き込む（Ｓ１３１）。なお、対象ピクチャを原画像記憶部７０２に書き込むタイミングは、図９に示すタイミングに限定されず、任意のタイミングで行ってよい。
【０１１４】
次に、第１符号化部３０３Ａは、第１分割画像信号３１２Ａに含まれる対象ピクチャが、ＩピクチャであるかＰピクチャであるかを判定する（Ｓ１３２）。
【０１１５】
対象ピクチャがＩピクチャの場合（Ｓ１３２でＮｏ）、第１分割画像信号３１２Ａは、動き検出部７０１に供給される。このとき、動き検出部７０１は、処理対象のピクチャに対してベクトル演算処理は行わない。
【０１１６】
また、Ｉピクチャの処理ではスイッチ７０４は、第１分割画像信号３１２Ａを変換部７０５に出力する。変換部７０５は、第１分割画像信号３１２Ａに含まれる対象ピクチャの第１符号化対象範囲３１５ＡをＤＣＴ係数７２２に変換する（Ｓ１３５）。
【０１１７】
次に、量子化部７０６は、ＤＣＴ係数７２２を量子化することにより量子化係数７２３を生成する（Ｓ１３６）。次に、可変長符号化部７０７は、量子化係数７２３を可変長符号化することにより第１符号化信号３１３Ａを生成する（Ｓ１３７）。
【０１１８】
以上の処理により、対象ピクチャの第１符号化対象範囲３１５Ａのデータ量が圧縮された第１符号化信号３１３Ａが生成される。
【０１１９】
一方で、逆量子化部７０８は、ステップＳ１３６で生成された量子化係数７２３を逆量子化することによりＤＣＴ係数７２４を生成する。次に、逆変換部７０９は、ＤＣＴ係数７２４を逆ＤＣＴ変換することによりローカルデコード信号７２７を生成する。
【０１２０】
Ｉピクチャの処理の場合には、スイッチ７１１が開放されているので、逆ＤＣＴ変換されたローカルデコード信号７２７は、加算部７１０で加算処理されること無く、そのまま第１ローカルデコード画像３１７Ａとして、ローカルデコード画像記憶部７１２に、第１記憶領域連結部３０４Ａを介して書き込まれる（Ｓ１３８）。
【０１２１】
図１０は、原画像及びローカルデコード画像の関係を示す図である。図１０に示すように、第１符号化部３０３Ａにより、対象ピクチャの原画像に含まれる第１符号化対象範囲３１５Ａに対応する第１ローカルデコード画像３１７Ａが生成され、第１符号化部３０３Ａのローカルデコード画像記憶部７１２に記憶される。また、第１ローカルデコード画像３１７Ａは、第２符号化部３０３Ｂで用いられる第２重複領域３１６Ｂに対応する第２ローカルデコード画像３１８Ｂを含む。
【０１２２】
なお、この第１ローカルデコード画像３１７Ａの作成処理（Ｓ１３８）と、可変長符号化処理（Ｓ１３７）との順序は任意でよい。また、第１ローカルデコード画像３１７Ａの作成処理（Ｓ１３８）と、可変長符号化処理（Ｓ１３７）とに含まれる少なくとも一部の処理を同時に行ってもよい。
【０１２３】
次にＰピクチャの符号化処理について説明する。
【０１２４】
ステップＳ１３２において、対象ピクチャがＰピクチャの場合（Ｓ１３２でＹｅｓ）、次に、動き検出部７０１は、対象ピクチャの動き検出処理及び動き補償処理を行う（Ｓ１３３）。
【０１２５】
図１１は、第１符号化部３０３Ａによる動き検出処理及び動き補償処理（Ｓ１３３）の流れを示すフローチャートである。
【０１２６】
まず、第１符号化部３０３Ａは、第１重複領域３１６Ａに対応するローカルデコード画像が必要か否かを判定する（Ｓ１５１）。なお、ステップＳ１５１の詳細については後述する。
【０１２７】
第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要な場合（Ｓ１５１でＹｅｓ）、第１符号化部３０３Ａは、第１外部連結部３０５Ａ及び第２外部連結部３０５Ｂを介して、第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２へ、当該ローカルデコード画像記憶部７１２が記憶している第１重複領域３１６Ａに相当する第２ローカルデコード画像３１８Ａの転送要求を出力する（Ｓ１５２）。
【０１２８】
次に、識別信号３１１で高画素レート撮影方式が示される場合（Ｓ１５３でＹｅｓ）、スイッチ７１３は、原画像記憶部７０２に記憶される原画像を動き検出部７０１に出力する。次に、動き検出部７０１は、スイッチ７１３により出力される原画像を用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５４）。また、この動き検出処理に用いられる探索範囲は、図１０に示すように、原画像の第１符号化対象範囲３１５Ａ（３６０ライン）と第１重複領域３１６Ａ（１６ライン）とを含む。
【０１２９】
一方で、第１符号化部３０３Ａは、ステップＳ１５２の転送要求に応じて第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２から出力された第２ローカルデコード画像３１８Ａを取得し、取得した第２ローカルデコード画像３１８Ａを参照画像としてローカルデコード画像記憶部７１２に記憶する（Ｓ１５５）。
【０１３０】
次に、動き補償部７１４は、図１０に示すように、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
【０１３１】
一方、識別信号３１１で低画素レート撮影方式が示される場合（Ｓ１５３でＮｏ）、まず、第１符号化部３０３Ａは、ステップＳ１５２の転送要求に応じて第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２から出力された第２ローカルデコード画像３１８Ａを取得し、取得した第２ローカルデコード画像３１８Ａを参照画像としてローカルデコード画像記憶部７１２に記憶する（Ｓ１５７）。
【０１３２】
ここで、スイッチ７１３は、原画像記憶部７０２に記憶される原画像を動き検出部７０１に出力する。なお、動き検出部７０１は、第１分割画像信号３１２Ａから直接原画像を取得してもよい。次に、動き検出部７０１は、スイッチ７１３により出力される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５８）。また、この動き検出処理に用いられる探索範囲は、図１０に示すように、第１符号化対象範囲３１５Ａ（３６０ライン）と第１重複領域３１６Ａ（３２ライン）とに対応する第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを含む。
【０１３３】
次に、動き補償部７１４は、図１０に示すように、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
【０１３４】
一方、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要でない場合（Ｓ１５１でＮｏ）、動き検出部７０１は、スイッチ７１３により出力される第１ローカルデコード画像３１７Ａを用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５８）。
【０１３５】
次に、動き補償部７１４は、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
【０１３６】
また、ステップＳ１５６の後、図９に示すように、次に、減算部７０３は、原画像から予測画像７２６を減算することにより予測誤差信号７２１を生成する（Ｓ１３４）。
【０１３７】
次に、量子化部７０６は、ＤＣＴ係数７２２を量子化することにより量子化係数７２３を生成する（Ｓ１３６）。次に、可変長符号化部７０７は、量子化係数７２３を可変長符号化することにより第１符号化信号３１３Ａを生成する（Ｓ１３７）。
【０１３８】
以上の処理により、対象ピクチャの第１符号化対象範囲３１５Ａのデータ量が圧縮された第１符号化信号３１３Ａが生成される。
【０１３９】
一方で、逆量子化部７０８は、ステップＳ１３６で生成された量子化係数７２３を逆量子化することによりＤＣＴ係数７２４を生成する。次に、逆変換部７０９は、ＤＣＴ係数７２４を逆ＤＣＴ変換することによりローカルデコード信号７２７を生成する。
【０１４０】
Ｐピクチャの処理の場合には、スイッチ７１１は予測画像７２６を加算部７１０に出力する。加算部７１０は、ローカルデコード信号７２７と予測画像７２６とを加算することにより第１ローカルデコード画像３１７Ａを生成し、生成した第１ローカルデコード画像３１７Ａをローカルデコード画像記憶部７１２に、第１記憶領域連結部３０４Ａを介して書き込む（Ｓ１３８）。
【０１４１】
図１２は、低画素レート時及び高画素レート時の処理時間を示す図である。
【０１４２】
図１２に示すように、高画素レート時には、動き検出部７０１は、ステップＳ１５２の要求に応じて第２符号化部３０３Ｂにより出力される第２ローカルデコード画像３１８Ａを第１符号化部３０３Ａが取得する前（Ｓ１５５の前）に、原画像記憶部７０２に記憶されている原画像を用いて、動きベクトルを検出する処理（Ｓ１５４）を開始する。このように、画像符号化装置３００は、第２ローカルデコード画像３１８Ａの取得を待たずに、第１記憶部３０６Ａに記憶されている原画像を用いて動き検出を行うことにより、処理速度を向上できる。
【０１４３】
次に、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要か否かを判定する処理（Ｓ１５１）について説明する。
【０１４４】
図１３は、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要か否かを判定する処理の流れを示すフローチャートである。なお、図１３に示す処理は、第１符号化対象範囲３１５Ａに含まれる処理ブロックごとに行われる。
【０１４５】
まず、第１符号化部３０３Ａは、処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれるか否かを判定する（Ｓ１６１）。
【０１４６】
処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれない場合（Ｓ１６１でＮｏ）、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが不要であると判定する（Ｓ１６４）。
【０１４７】
一方、処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれる場合（Ｓ１６１でＹｅｓ）、次に、第１符号化部３０３Ａは、算出済みの周囲の複数のブロック間の動きベクトルの相関が大きいか否かを判定する（Ｓ１６２）。具体的には、第１符号化部３０３Ａは、周囲の複数のブロック間の動きベクトルの相関が所定の閾値以上であるか否かを判定する。
【０１４８】
周囲の複数のブロック間の動きベクトルの相関が大きい場合（Ｓ１６２でＹｅｓ）、次に、第１符号化部３０３Ａは、第１符号化対象範囲３１５Ａと第１重複領域３１６Ａとの境界である分割境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測する。次に、第１符号化部３０３Ａは、予測した動きベクトルが上向き（第１重複領域３１６Ａと逆方向）であるか否かを判定する（Ｓ１６３）。
【０１４９】
図１４は、第１符号化対象範囲３１５Ａと第１重複領域３１６Ａとの分割境界付近の動きベクトルの一例を示す図である。
【０１５０】
ここで、あるブロックの動きベクトルは、周囲のブロックの動きベクトルと強い相関があるため、周囲のブロックの動きベクトルを用いて、あるブロックの動きベクトルを予測することができる。例えば、図１４に示すように、処理対象の符号化ブロック９０１の動きベクトル９０２は、符号化ブロック９０１に隣接する隣接ブロック９０３、９０５及び９０７の動きベクトル９０４、９０６及び９０８を用いて予測できる。この場合は、第１符号化部３０３Ａは、隣接ブロックの動きベクトル９０４、９０６及び９０８の水平垂直成分の平均値を算出することにより、動きベクトル９０２の方向は上向きと予測する。
【０１５１】
予測した動きベクトルが上向きの場合（Ｓ１６３でＹｅｓ）、動き補償における動き先は、第１重複領域３１６Ａにならないため、自らが生成した第１ローカルデコード画像３１７Ａのみで動き補償処理を行える。よって、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが不要であると判定する（Ｓ１６４）。
【０１５２】
一方、周囲の複数のブロック間の動きベクトルの相関が小さい場合（Ｓ１６２でＮｏ）、又は、予測した動きベクトルが下向きの場合（Ｓ１６３でＮｏ）、動き補償における動き先は、第１重複領域３１６Ａ内になる可能性があるので、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが必要であると判定する（Ｓ１６５）。
【０１５３】
このように、第１符号化部３０３Ａは、予測した動きベクトルが分割境界の方向を示す場合、第２符号化部３０３Ｂにより生成された第２ローカルデコード画像３１８Ａを取得し、予測した動きベクトルが分割境界の方向を示さない場合、第２符号化部３０３Ｂにより生成された第２ローカルデコード画像３１８Ａを取得しない。
【０１５４】
以上より、本発明の実施の形態１に係る画像符号化装置３００は、入力画像信号３１０の画素レートが低い場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを大きくし、入力画像信号３１０の画素レートが高い場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを小さくする。
【０１５５】
これにより、画像符号化装置３００は、高画素レート時における、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間で伝送される第２ローカルデコード画像３１８Ａ及び３１８Ｂのデータ量を削減できる。これにより、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間の通信バンド幅を削減できる。さらに、取得した第２ローカルデコード画像３１８Ａ及び３１８Ｂを記憶するローカルデコード画像記憶部７１２の記憶容量を削減できる。さらに、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のバンド幅削減により、画像符号化装置３００は、より高画素レートの入力画像信号３１０を処理できる。
【０１５６】
ここで、画素レートが高い場合、例えば、毎秒３０又は６０フレームより高いフレームレート（例えば毎秒３００フレーム）の場合、ピクチャ間の時間間隔が小さくなるため、撮影される被写体又は撮影部の動きが小さくなる。これにより、入力画像信号３１０の動きベクトルも小さくなると想定される。よって、動き補償処理の探索範囲（第１重複領域３１６Ａ及び第２重複領域３１６Ｂ）の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明の実施の形態１に係る画像符号化装置３００は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの入力画像信号３１０に対応できる。
【０１５７】
また、画像符号化装置３００は、高画素レート時よりも処理速度が要求されない低画素レート時には、動き補償処理の探索範囲を広げることにより、符号化効率及び画質を向上できる。
【０１５８】
また、画像符号化装置３００は、高画素レート時には、原画像を用いて動きベクトルを算出する。
【０１５９】
これにより、画像符号化装置３００は、一方の符号化部の動き検出部７０１が原画像を探索範囲として動きベクトルを算出している間に、他方の符号化部のローカルデコード画像記憶部７１２から、第１重複領域３１６Ａ又は第２重複領域３１６Ｂに相当する第２ローカルデコード画像３１８Ａ又は３１８Ｂを転送できる。よって、画像符号化装置３００は、相手側の第２ローカルデコード画像３１８Ａ又は３１８Ｂを取得するまでの動き検出部７０１の待ち時間を削減できるので、レイテンシを削減できる。
【０１６０】
また、画像符号化装置３００は、動きベクトル予測を行うことにより、第１重複領域３１６Ａ又は第２重複領域３１６Ｂの第２ローカルデコード画像３１８Ａ又は３１８Ｂが必要か否かを判定する。これにより、画像符号化装置３００は、第２ローカルデコード画像３１８Ａ又は３１８Ｂの転送量を削減できるので、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のバンド幅を削減できる。
【０１６１】
なお、上記説明では、ユーザのスイッチ操作により画素レートが設定されるとしたが、ユーザのスイッチ操作により画像サイズとフレームレートとが設定され、撮影方式切替部３０１は、当該画像サイズ及びフレームレートを用いて、画素レートを算出してもよい。
【０１６２】
さらに、ユーザのスイッチ操作により、画像サイズとフレームレートとのうち一方のみが設定されてもよい。この場合、上記説明における画素レートを、画像サイズ又はフレームレートと置き換えればよい。
【０１６３】
（実施の形態２）
本発明の実施の形態２では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態２に係る画像符号化装置３００Ａは、入力画像信号３１０に含まれる情報を用いて入力画像信号３１０の画素レートを判定し、判定した画素レートに応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
【０１６４】
まず、本発明の実施の形態２に係る画像符号化装置３００Ａの構成を説明する。
【０１６５】
図１５は、本発明の実施の形態２に係る画像符号化装置３００Ａの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【０１６６】
図１５に示す画像符号化装置３００Ａは、図３に示す画像符号化装置３００の構成に加え、画素レート監視部３０８を備える。また、撮影方式切替部３０１Ａの構成が異なる。
【０１６７】
画素レート監視部３０８は、本発明の第１算出部に相当し、撮像素子が出力する入力画像信号３１０に含まれる、ピクセルクロックと水平同期信号と垂直同期信号とを用いて、入力画像信号３１０の画像サイズ及びフレームレートを算出する。また、画素レート監視部３０８は、算出した画像サイズ及びフレームレートを含む監視結果３２０を撮影方式切替部３０１Ａに出力する。
【０１６８】
撮影方式切替部３０１Ａは、本発明の第２算出部に相当し、画素レート監視部３０８により生成された監視結果３２０を取得し、この監視結果３２０を用いて、ｉ段階からなる画素レートのうちいずれかを設定する。具体的には、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズとフレームレートとを乗算することにより、推定画素レートを算出する。撮影方式切替部３０１Ａは、算出した推定画素レートが大きいほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ａは、推定画素レートが所定の値より大きい場合に高フレームレート撮影方式を設定し、推定画素レートが当該所定の値より小さい場合に低フレームレート撮影方式を設定する。また、撮影方式切替部３０１Ａは、設定された画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ及び第２符号化部３０３Ｂに出力する。
【０１６９】
なお、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズ及びフレームレートのうち一方のみを用いて、ｉ段階からなる画素レートのうちいずれかを設定してもよい。具体的には、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズが大きいほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。また、撮影方式切替部３０１Ａは、監視結果３２０に含まれるフレームレートが高いほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。
【０１７０】
次に、画像符号化装置３００Ａの動作を説明する。
【０１７１】
図１６は、本発明の実施の形態２に係る画像符号化装置３００Ａの動作の流れを示すフローチャートである。なお、図５と同様の処理については同じ符号を用い、説明を省略する。
【０１７２】
まず、画素レート監視部３０８は、撮像素子から出力される入力画像信号３１０に含まれる情報から、入力画像信号３１０の画像サイズ及びフレームレートを取得する（Ｓ２０１）。具体的には、画素レート監視部３０８は、入力画像信号３１０に含まれるピクセルクロックと水平同期信号と垂直同期信号とを用いて監視結果３２０である画像サイズ及びフレームレートを算出する。
【０１７３】
次に、撮影方式切替部３０１Ａは、画素レート監視部３０８により生成された監視結果３２０を取得し、この監視結果３２０に含まれる画像サイズとフレームレートとに対応する画素レートを算出する（Ｓ２０２）。次に、撮影方式切替部３０１Ａは、算出した画素レートに基づき、撮影方式を決定する（Ｓ２０３）。また、撮影方式切替部３０１Ａは、決定した撮影方式を示す識別信号３１１を、信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０１７４】
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
【０１７５】
以上により、本発明の実施の形態２に係る画像符号化装置３００Ａは、上述した実施の形態１と同様の効果を得ることができる。
【０１７６】
さらに、本発明の実施の形態２に係る画像符号化装置３００Ａは、画素レート監視部３０８が、撮像素子から出力される入力画像信号３１０を直接監視することで、特定の撮像素子に依存せずに、動的又は適応的に撮像素子から出力される入力画像信号３１０の画像サイズ、及びフレームレートを識別できる。また、撮像素子は、制御マイコン等から出力されるコマンド等に従い、画像サイズ及びフレームレートが変更される。画像符号化装置３００Ａは、画素レート監視部３０８を備えることで、これらの変更に適応的に対応できる。
【０１７７】
このように、本発明の実施の形態２に係る画像符号化装置３００Ａは、撮像素子又は制御用マイコンの構成に依存せずに、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
【０１７８】
（実施の形態３）
本発明の実施の形態３では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態３に係る画像符号化装置３００Ｂは、第１記憶部３０６Ａ及び第２記憶部３０６Ｂの残りバッファ容量に応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
【０１７９】
まず、本発明の実施の形態３に係る画像符号化装置３００Ｂの構成を説明する。
【０１８０】
図１７は、本発明の実施の形態３に係る画像符号化装置３００Ｂの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【０１８１】
図１７に示す画像符号化装置３００Ｂは、図３に示す画像符号化装置３００の構成に加え、さらに、残りバッファ容量監視部３０９を備える。また、撮影方式切替部３０１Ｂの構成が異なる。
【０１８２】
残りバッファ容量監視部３０９は、所定の時間ごとに、第１符号化部３０３Ａがフレームバッファ又はラインバッファとして使用する第１記憶部３０６Ａの記憶領域のうち空いている領域である残りバッファ容量３２１Ａを取得する。また、残りバッファ容量監視部３０９は、第２符号化部３０３Ｂがフレームバッファ又はラインバッファとして使用する第２記憶部３０６Ｂの残りバッファ容量３２１Ｂを取得する。また、残りバッファ容量監視部３０９は、残りバッファ容量３２１Ａ及び３２１Ｂのうち少ない方の容量を示す残りバッファ容量３２２を生成し、生成した残りバッファ容量３２２を撮影方式切替部３０１Ｂに出力する。
【０１８３】
撮影方式切替部３０１Ｂは、残りバッファ容量監視部３０９により出力された残りバッファ容量３２２を取得する。また、撮影方式切替部３０１Ｂは、取得した残りバッファ容量３２２に応じて、ｉ段階からなる画素レートのうちいずれかを設定する。
【０１８４】
ここで、高画素レートの符号化処理時には、第１符号化部３０３Ａ及び第２符号化部３０３Ｂのリソース及び処理状況に余裕が無くなり、一般的に、残りバッファ容量３２１Ａ及び３２１Ｂが低画素レートの符号化処理時に比べ少なくなる。
【０１８５】
よって、撮影方式切替部３０１Ｂは、この残りバッファ容量３２１Ａ及び３２１Ｂを用いて画素レートを判別できる。
【０１８６】
具体的には、撮影方式切替部３０１Ｂは、残りバッファ容量３２２が大きいほど、画素レートを高く設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ｂは、残りバッファ容量３２２が所定の値より大きい場合に高画素レート撮影方式を設定し、残りバッファ容量が当該所定の値より小さい場合に低画素レート撮影方式を設定する。また、撮影方式切替部３０１Ｂは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０１８７】
なお、撮影方式切替部３０１Ｂは、残りバッファ容量３２２から画素レートを推定するのではなく、残りバッファ容量３２２が所定の値より大きいか否かを示す識別信号３１１を出力してもよい。
【０１８８】
また、この識別信号３１１は、第１重複領域３１６Ａ、第２重複領域３１６Ｂ、第２ローカルデコード画像３１８Ａ及び３１８Ｂの幅ｎの設定に使用される。具体的には、信号分割部３０２は、この識別信号３１１を用いて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの幅ｎを設定する。また、第１符号化部３０３Ａ及び第２符号化部３０３Ｂは、この識別信号３１１を用いて、動き探索範囲を決定する。
【０１８９】
次に、画像符号化装置３００Ｂの動作を説明する。
【０１９０】
図１８は、本発明の実施の形態３に係る画像符号化装置３００Ｂの動作の流れを示すフローチャートである。なお、図５と同様の処理については同じ符号を用い、説明を省略する。
【０１９１】
まず、残りバッファ容量監視部３０９は、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂがラインバッファ又はフレームバッファとして使用する第１記憶部３０６Ａ、及び第２記憶部３０６Ｂの残りバッファ容量３２１Ａ及び３２１Ｂを取得する（Ｓ３０１）。そして、残りバッファ容量監視部３０９は、残りバッファ容量３２１Ａ及び３２１Ｂのうち少ない方の容量を示す残りバッファ容量３２２を生成する。
【０１９２】
次に、撮影方式切替部３０１Ｂは、残りバッファ容量監視部３０９から出力された残りバッファ容量３２２を取得する。次に、撮影方式切替部３０１Ｂは、取得した残りバッファ容量３２２に応じて、画素レートを決定する。また、撮影方式切替部３０１Ｂは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０１９３】
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
【０１９４】
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
【０１９５】
図１９は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。
【０１９６】
図１９に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、残りバッファ容量３２２（画素レート）が所定の値以下であるか否かを判定する（Ｓ３２０）。
【０１９７】
残りバッファ容量３２２が所定の値以下の場合（Ｓ３２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
【０１９８】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０１９９】
一方、残りバッファ容量３２２が所定の値より大きい場合（Ｓ３２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
【０２００】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０２０１】
以上により、本発明の実施の形態３に係る画像符号化装置３００Ｂは、残りバッファ容量監視部３０９が、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂによって、ラインバッファ又はフレームバッファとして使用される第１記憶部３０６Ａ及び第２記憶部３０６Ｂの残りバッファ容量３２１Ａ及び３２１Ｂの監視を行う。さらに、画像符号化装置３００Ｂは、その残りバッファ容量３２１Ａ及び３２１Ｂを用いて第１符号化部３０３Ａ及び第２符号化部３０３Ｂにおけるリソースの余裕度、及び符号化処理の状況の進捗を判断し、判断結果に応じて識別信号３１１を生成できる。
【０２０２】
このように、本発明の実施の形態３に係る画像符号化装置３００Ｂは、上述した実施の形態１と同様の効果を得ることができる。
【０２０３】
さらに、本発明の実施の形態３に係る画像符号化装置３００Ｂでは、残りバッファ容量３２１Ａ及び３２１Ｂが少なくなった際には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを、減少させることができる。こうすることで、画素レートの高低によらず、第１符号化部３０３Ａ及び第２符号化部３０３Ｂのリソース及び処理状況に余裕が無くなった場合に、当該第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる処理量を減らすことができる。
【０２０４】
このように、本発明の実施の形態３に係る画像符号化装置３００Ｂは、第１符号化部３０３Ａ及び第２符号化部３０３Ｂが備えるラインバッファ又はフレームバッファのリソース状況に合わせて記憶領域の削減を行いながら、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
【０２０５】
（実施の形態４）
本発明の実施の形態４では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトルに応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
【０２０６】
まず、本発明の実施の形態４に係る画像符号化装置３００Ｃの構成を説明する。
【０２０７】
図２０は、本発明の実施の形態４に係る画像符号化装置３００Ｃの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【０２０８】
図２０に示す画像符号化装置３００Ｃは、図３に示す画像符号化装置３００の構成に加え、さらに、動きベクトル監視部３３０を備える。また、撮影方式切替部３０１Ｃの構成が異なる。
【０２０９】
動きベクトル監視部３３０は、第１符号化部３０３Ａにより生成された動きベクトル３３１Ａ、及び第２符号化部３０３Ｂにより生成された動きベクトル３３１Ｂを取得する。そして、動きベクトル監視部３３０は、動きベクトル３３１Ａ及び３３１Ｂのうち最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。具体的には、動きベクトル監視部３３０は、動きベクトル３３１Ａ及び３３１Ｂに含まれる複数の動きベクトルのうち、例えば、分割境界（第１符号化対象範囲３１５Ａと第２符号化対象範囲３１５Ｂの境界）をまたぐ最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。
【０２１０】
また、例えば、動きベクトル３３１Ａ及び３３１Ｂは、動き検出部７０１により生成された１ピクチャ分の複数の動きベクトル７２５である。言い換えると、動きベクトル監視部３３０は、入力画像信号３１０に含まれるピクチャごとに最も大きい動きベクトル３３２を選択する。
【０２１１】
撮影方式切替部３０１Ｃは、動きベクトル監視部３３０により出力される動きベクトル３３２を取得する。また、撮影方式切替部３０１Ｃは、取得した動きベクトル３３２に応じて、ｉ段階からなる画素レートのうちいずれかを設定する。
【０２１２】
ここで、例えば、高画素レートである高速度撮影された画像信号の符号化処理時には、撮影される被写体又は撮影部の動きが小さくなる。よって、撮影方式切替部３０１Ｃは、動きベクトル３３２を用いて画素レートを判別できる。
【０２１３】
具体的には、撮影方式切替部３０１Ｃは、動きベクトル３３２が大きいほど、画素レートを低く設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ｃは、動きベクトル３３２が所定の値より大きい場合に低画素レート撮影方式を設定し、動きベクトル３３２が当該所定の値より小さい場合に高画素レート撮影方式を設定する。また、撮影方式切替部３０１Ｃは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
【０２１４】
次に、画像符号化装置３００Ｃの動作を説明する。
【０２１５】
図２１は、本発明の実施の形態４に係る画像符号化装置３００Ｃの動作の流れを示すフローチャートである。なお、図６と同様の処理については同じ符号を用い、説明を省略する。
【０２１６】
図２１に示すように、まず、動きベクトル監視部３３０は、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂにより生成された動きベクトル３３１Ａ及び３３１Ｂを取得する（Ｓ４０１）。そして動きベクトル監視部３３０は、取得した動きベクトル３３１Ａ及び３３１Ｂに含まれる複数の動きベクトルのうち、分割境界をまたぐ最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。
【０２１７】
次に、撮影方式切替部３０１Ｃは、動きベクトル監視部３３０により出力された動きベクトル３３２を取得する。次に、撮影方式切替部３０１Ｃは、取得した動きベクトル３３２に応じて画素レートを決定する。また、撮影方式切替部３０１Ｃは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ及び第２符号化部３０３Ｂに出力する。
【０２１８】
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
【０２１９】
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
【０２２０】
図２２は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。      
【０２２１】
図２２に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、動きベクトル３３２（画素レート）が所定の値以下であるか否かを判定する（Ｓ４２０）。
【０２２２】
動きベクトル３３２が所定の値以下の場合（Ｓ４２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
【０２２３】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０２２４】
一方、動きベクトル３３２が所定の値より大きい場合（Ｓ４２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
【０２２５】
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
【０２２６】
以上により、本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトル３３１Ａ及び３３１Ｂの最大値を監視する。また、画像符号化装置３００Ｃは、動きベクトル３３１Ａ及び３３１Ｂの最大値に応じて、符号化処理の予測信号の状況を判断し、判定結果に応じた識別信号３１１を生成できる。
【０２２７】
このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、上述した実施の形態１と同様の効果を得ることができる。
【０２２８】
さらに、本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトルが小さい場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを減少させる。動きベクトルが小さい場合には、動き補償処理の探索範囲（第１重複領域３１６Ａ及び第２重複領域３１６Ｂ）の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの符号化処理に対応できる。
【０２２９】
また、本発明の実施の形態４に係る画像符号化装置３００Ｃは、画素レートの高低によらず、動きベクトルが小さい場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭くする。これにより、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のデータ転送量をより削減できる。
【０２３０】
このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、第１符号化部３０３Ａ及び第２符号化部３０３Ｂで生成される動きベクトル３３１Ａ及び３３１Ｂに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更することにより、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
【０２３１】
また、画像符号化装置３００Ｃは、分割境界（第１符号化対象範囲３１５Ａと第２符号化対象範囲３１５Ｂの境界）をまたぐ最も大きい動きベクトル３３２に応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。これにより、より適切な第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを設定できる。
【０２３２】
具体的には、ピクチャ全体での動きが大きい場合でも、分割境界付近において動きが小さい場合が想定される。このような場合には、分割境界付近において動きが小さいので、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさが小さくても、符号化効率及び画質が悪化する可能性は低い。これに対して、画像符号化装置３００Ｃは、このような場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを小さく設定できる。これにより、画像符号化装置３００Ｃは、符号化効率及び画質の悪化を抑制しつつ、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のデータ転送量をより削減できる。
【０２３３】
以上、本発明の実施の形態１〜４に係る画像符号化装置３００〜３００Ｃについて説明したが、本発明は、この実施の形態に限定されるものではない。
【０２３４】
例えば、上記実施の形態１〜４の説明では、画像符号化装置３００〜３００Ｃが、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを２段階で変更する例を述べたが、３段階以上で変更してもよい。この場合、画像符号化装置３００〜３００Ｃは、画素レートが高いほど、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを小さくすればよい。
【０２３５】
また、上記実施の形態１〜４の説明では、画像符号化装置３００〜３００Ｃが、入力画像信号３１０を上下に２分割する例を述べたが、左右に２分割してもよい。さらに、画像符号化装置３００〜３００Ｃは、入力画像信号３１０を３以上の画像に分割し、分割した画像をそれぞれ符号化する３以上の符号化部を備えてもよい。また、分割された画像（第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂ）の大きさは異なってもよい。また、第１重複領域３１６Ａと第２重複領域３１６Ｂとの大きさは異なってもよい。
【０２３６】
また、上記実施の形態１〜４の説明では、各画像符号化装置３００〜３００Ｃは、それぞれ、ユーザのスイッチ操作、入力画像信号３１０に含まれる情報、残りバッファ容量３２２及び動きベクトル３３２のいずれか一つに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更しているが、上記の４つのうちの２つ以上に応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更してもよい。
【０２３７】
例えば、画像符号化装置３００〜３００Ｃが残りバッファ容量３２２及び動きベクトル３３２に応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する場合、当該画像符号化装置３００〜３００Ｃは、残りバッファ容量３２２が所定の値より大きく、かつ、動きベクトル３３２が所定の値より大きい場合に、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広くし、（１）残りバッファ容量３２２が所定の値より小さい、及び、（２）動きベクトル３３２が所定の値より小さい、のうち少なくとも一方を満たす場合に、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭くする。なお、当該画像符号化装置は、残りバッファ容量３２２の大小と、動きベクトル３３２の大小の各組み合わせに応じて、３段階以上で、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更してもよい。
【０２３８】
また、上記実施の形態１の説明では、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを決定する画素レートの基準と、原画像とローカルデコード画像とのうちいずれを用いて動き検出処理を行うかを決定する画素レートの基準が同じであるが異なってもよい。言い換えると、画像符号化装置３００は、画素レートが第１の閾値より大きいか否かに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを決定し、画素レートが、第１閾値と異なる第２の閾値より大きいか否かに応じて、原画像とローカルデコード画像とのうちいずれを用いて動き検出処理を行うかを決定してもよい。
【０２３９】
また、上記実施の形態１〜４に係る画像符号化装置３００〜３００Ｃに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０２４０】
典型的には図３に示す処理部のうち、第１記憶部３０６Ａ及び第２記憶部３０６Ｂを除く、全ての処理部が１チップのＬＳＩとして実現される。
【０２４１】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２４２】
また、本発明の実施の形態１〜４に係る画像符号化装置３００〜３００Ｃの機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０２４３】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０２４４】
また、上記実施の形態１〜４に係る画像符号化装置３００〜３００Ｃ、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０２４５】
本発明は、符号化装置に適用できる。また、本発明は、高画素レートの符号化処理を必要とする高速度撮影、又は高精細な画像撮影を行うデジタルスチルカメラ及びデジタルビデオカメラに有用である。
【符号の説明】
【０２４６】
１００、３００、３００Ａ、３００Ｂ、３００Ｃ  画像符号化装置
１０１  画像信号入力端子
１０２、３０２  信号分割部
１０３Ａ、３０３Ａ  第１符号化部
１０３Ｂ、３０３Ｂ  第２符号化部
１０６、３０７  信号合成部
１０７  符号化信号出力端子
１０８  符号化部
１１０、３１０  入力画像信号
１１１Ａ、３１２Ａ  第１分割画像信号
１１１Ｂ、３１２Ｂ  第２分割画像信号
１１２Ａ、３１３Ａ  第１符号化信号
１１２Ｂ、３１３Ｂ  第２符号化信号
１１３Ａ、１１３Ｂ  ローカルデコード画像
１１４、３１４  出力符号化信号
１１５Ａ、３１６Ａ  第１重複領域
１１５Ｂ、３１６Ｂ  第２重複領域
１１６Ａ  第１探索範囲
１１６Ｂ  第２探索範囲
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ  撮影方式切替部
３０４Ａ  第１記憶領域連結部
３０４Ｂ  第２記憶領域連結部
３０５Ａ  第１外部連結部
３０５Ｂ  第２外部連結部
３０６Ａ  第１記憶部
３０６Ｂ  第２記憶部
３０８    画素レート監視部
３０９    残りバッファ容量監視部
３１１  識別信号
３１５Ａ  第１符号化対象範囲
３１５Ｂ  第２符号化対象範囲
３１７Ａ、３１７Ｂ  第１ローカルデコード画像
３１８Ａ、３１８Ｂ  第２ローカルデコード画像
３２０  監視結果
３２１Ａ、３２１Ｂ、３２２  残りバッファ容量
３３０    動きベクトル監視部
３３１Ａ、３３１Ｂ、３３２  動きベクトル
７０１  動き検出部
７０２  原画像記憶部
７０３  減算部
７０４、７１１、７１３  スイッチ
７０５  変換部
７０６  量子化部
７０７  可変長符号化部
７０８  逆量子化部
７０９  逆変換部
７１０  加算部
７１２  ローカルデコード画像記憶部
７１４  動き補償部
７２１  予測誤差信号
７２２、７２４  ＤＣＴ係数
７２３  量子化係数
７２５  動きベクトル
７２６  予測画像
７２７  ローカルデコード信号
９０１  符号化ブロック
９０２、９０４、９０６、９０８  動きベクトル
９０３、９０５、９０７  隣接ブロック
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像信号を符号化することにより出力符号化信号を生成する画像符号化装置であって、
前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、
前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、
前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、
前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える
画像符号化装置。
【請求項２】
前記信号分割部は、当該画像符号化装置が単位時間当たりに処理すべき画素数である画素レートが第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさに決定し、前記画素レートが前記第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
請求項１記載の画像符号化装置。
【請求項３】
前記各符号化部は、
対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
前記画像符号化装置は、さらに、
前記複数の符号化部にそれぞれ対応し、対応する前記符号化対象画像及び対応する前記重複領域の画像を原画像として記憶する原画像記憶部とを備え、
前記動き検出部は、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する
請求項２記載の画像符号化装置。
【請求項４】
前記画像符号化装置は、さらに、
前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶するローカルデコード画像記憶部を備え、
前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出し、前記画素レートが前記第２の閾値より小さい場合、前記ローカルデコード画像記憶部に記憶されている前記第１ローカルデコード画像及び前記第２ローカルデコード画像を用いて、前記動きベクトルを検出する
請求項３記載の画像符号化装置。
【請求項５】
前記各符号化部は、他の符号化部に前記第２ローカルデコード画像を要求し、
前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記要求に応じて前記他の符号化部により出力される前記第２ローカルデコード画像を当該符号化部が取得する前に、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する処理を開始する
請求項４記載の画像符号化装置。
【請求項６】
前記画像符号化装置は、さらに、
ユーザの操作により指定される前記画素レートを取得する画素レート取得部を備える
請求項２記載の画像符号化装置。
【請求項７】
前記画像符号化装置は、さらに、
前記入力画像信号に含まれる情報を用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する第１算出部と、
前記第１算出部により算出された前記画像サイズ及びフレームレートのうち少なくとも一方を用いて前記画素レートを算出する第２算出部とを備える
請求項２記載の画像符号化装置。
【請求項８】
前記第１算出部は、前記入力画像信号に含まれる、ピクセルクロック、水平同期信号、及び垂直同期信号のうち少なくとも一つを用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する
請求項７記載の画像符号化装置。
【請求項９】
前記画像符号化装置は、さらに、
前記複数の符号化部により生成された前記第１ローカルデコード画像を記憶する第１記憶部を備え、
前記信号分割部は、前記第１記憶部の空き容量が第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
請求項１記載の画像符号化装置。
【請求項１０】
前記第１記憶部は、
前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶する複数の第２記憶部を含み、
前記信号分割部は、前記複数の第２記憶部の空き容量のうち最も少ない空き容量が前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も少ない空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定する
請求項９記載の画像符号化装置。
【請求項１１】
前記各符号化部は、
対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
前記信号分割部は、前記動きベクトルが第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
請求項１記載の画像符号化装置。
【請求項１２】
前記信号分割部は、前記複数の符号化対象画像の境界をまたぐ前記動きベクトルのうち、最も大きい動きベクトルが前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も大きい動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定する
請求項１１記載の画像符号化装置。
【請求項１３】
前記各符号化部は、
対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
前記各符号化部は、対応する前記符号化対象画像と対応する前記重複領域との境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測し、予測した動きベクトルが前記境界の方向を示す場合、他の符号化部により生成された前記第２ローカルデコード画像を取得し、前記予測した動きベクトルが前記境界の方向を示さない場合、他の符号化部により生成された前記第２ローカルデコード画像を取得しない
請求項２記載の画像符号化装置。
【請求項１４】
入力画像信号を符号化することにより出力符号化信号を生成する画像符号化方法であって、
前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割ステップと、
前記複数の符号化対象画像にそれぞれ対応する複数の符号化部が、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する符号化ステップと、
前記符号化ステップで生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成ステップとを含み、
前記信号分割ステップでは、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
前記符号化ステップでは、前記各符号化部が、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
前記信号分割ステップでは、前記重複領域の大きさを所定の条件に応じて切り替える
画像符号化方法。
【請求項１５】
請求項１４記載の画像符号化方法をコンピュータに実行させる
プログラム。
【請求項１６】
入力画像信号を符号化することにより出力符号化信号を生成する集積回路であって、
前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、
前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、
前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、
前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009142003.tif 000028
【図２Ａ】
2009142003.tif 000029
【図２Ｂ】
2009142003.tif 000030
【図３】
2009142003.tif 000031
【図４Ａ】
2009142003.tif 000032
【図４Ｂ】
2009142003.tif 000033
【図５】
2009142003.tif 000034
【図６】
2009142003.tif 000035
【図７Ａ】
2009142003.tif 000036
【図７Ｂ】
2009142003.tif 000037
【図８】
2009142003.tif 000038
【図９】
2009142003.tif 000039
【図１０】
2009142003.tif 000040
【図１１】
2009142003.tif 000041
【図１２】
2009142003.tif 000042
【図１３】
2009142003.tif 000043
【図１４】
2009142003.tif 000044
【図１５】
2009142003.tif 000045
【図１６】
2009142003.tif 000046
【図１７】
2009142003.tif 000047
【図１８】
2009142003.tif 000048
【図１９】
2009142003.tif 000049
【図２０】
2009142003.tif 000050
【図２１】
2009142003.tif 000051
【図２２】
2009142003.tif 000052
【国際調査報告】
2009142003.tif 000053
2009142003.tif 000054
2009142003.tif 000055
2009142003.tif 000056