(57)【特許請求の範囲】
【請求項１】
入力画像をｎ（ｎ≧２）個の分割画像に分割する分割ステップと、
当該分割された各分割画像を、ｎ個の符号化単位手段により符号化する符号化ステップと、
当該符号化された各分割画像の符号化画像データを結合する結合ステップとを有する画像符号化方法であって、
前記符号化ステップは、前記少なくとも１個の符号化単位手段に入力される分割画像を、当該少なくとも１個の符号化単位手段で、動きべクトルを求めて符号化する第１のステップと、
前記第１のステップで探索された動きベクトルにより、画面のパンニング量とチルト量の少なくとも一方を算出する第２のステップと、
前記少なくとも１個の符号化単位手段以外の符号化単位手段に入力される分割画像を、当該少なくとも１個以外の符号化単位手段で、前記第２のステップにより算出されたパンニング量とチルト量の少なくとも一方の量だけ探索原点をずらして、動きべクトルを求めて符号化する第３のステップとを有することを特徴とする画像符号化方法。
【請求項２】
前記第３のステップにおける、前記少なくとも１個の符号化単位手段以外の符号化単位手段の動きベクトル探索範囲は、前記第１のステップにおける、前記少なくとも１個の符号化単位手段の動きベクトル探索範囲より狭いことを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記分割ステップにおける、前記分配手段から前記少なくとも１個の符号化単位手段以外の符号化単位手段に入力される分割画像の割合が、前記分割ステップにおける、前記分配手段から前記少なくとも１個の符号化単位手段に入力される分割画像の割合よりも大きいことを特徴とする請求項１または請求項２に記載の画像符号化方法。
【請求項４】
入力画像をｎ（ｎ≧２）個の分割画像に分割する分配手段と、
前記分配手段から出力される各分割画像を、動きベクトルを求めて符号化するｎ個の符号化単位手段と、
前記ｎ個の符号化単位手段から出力される各分割画像の符号化画像データを結合する結合手段とを備えた画像符号化装置であって、
前記少なくとも１個の符号化単位手段から、前記少なくとも１個の符号化単位手段で探索された動きベクトルが入力され、当該入力された動きベクトルに基づき、画面のパンニング量とチルト量の少なくとも一方を算出し、当該算出された前記画面のパンニング量とチルト量の少なくとも一方を前記少なくとも１個の符号化単位手段以外の符号化単位手段に出力する算出手段を有し、
前記少なくとも１個の符号化単位手段以外の符号化単位手段は、前記算出手段で算出されたパンニング量とチルト量の少なくとも一方の量だけ探索原点をずらして、動きベクトルを求めて符号化することを特徴とする画像符号化装置。
【請求項５】
前記少なくとも１個の符号化単位手段以外の符号化単位手段は、その動きベクトル探索範囲が、前記少なくとも１個の符号化単位手段の動きベクトル探索範囲より狭いことを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記分配手段から前記少なくとも１個の符号化単位手段以外の符号化単位手段に入力される分割画像の割合が、前記分配手段から前記少なくとも１個の符号化単位手段に入力される分割画像の割合よりも大きいことを特徴とする請求項４または請求項５に記載の画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化方法および画像符号化装置に係わり、特に、画像符号化装置全体を大規模化、複雑化することなく、パンニング量、またはチルト量、あるいはその両方が大きい場合でも、画面全体を広い領域で探索することができる画像符号化方法および画像符号化装置に関する。
【０００２】
【従来の技術】
動画像データ（以下、単に動画像と称する。）をリアルタイムで符号化して伝送する場合、単位時間当たりの処理データ量が非常に多いため、速い符号化伝送速度が必要となる。
そのため、１つの入力画像の符号化処理を、１つの符号化処理ユニットで実行する方法では、非常に高速な処理系が必要となり、技術的あるいはコスト的に実現が困難となる。
そこで、ハードウェアの処理能力の限界を考慮して、画像を複数の画像に分割し、符号化単位処理ユニットを複数個使用することにより、並列化した符号化および復号化処理が行なわれている。
【０００３】
図６は、符号化単位回路を複数個使用して構成される従来の画像符号化装置の概略構成を示すブロック図である。
同図において、１は入力画像、２は分配回路、５〜８は符号化単位回路、１２は結号回路、１３は画像符号化装置の出力である符号化画像データである。
ここで、符号化単位回路（５〜８）は、所定の探索範囲の動きべクトル探索機能を持つ符号化単位回路である。
図７は、図６に示す符号化装置の符号化処理を説明するための図である。
以下、図７を用いて、図６に示す従来の符号化装置の符号化処理を説明する。符号化装置に入力される入力画像（動画像）１は、分配回路２に入力され、分配回路２において、入力画像１は、図７に示すように、左上、右上、左下、および右下のように、空間的に４つの画像に分割される。
そして、この分割された４つの画像は、それぞれ符号化単位回路（５〜８）に入力され、符号化単位回路（５〜８）で符号化される。
符号化単位回路（５〜８）は、入力された動画像を、ある探索範囲（例えば、Ｘ方向：−ＸＬ〜＋ＸＬ，Ｙ方向：−ＹＬ〜＋ＹＬ）で動きべクトルを求めて符号化する。なお、図６において、１４ないし１７は探索原点を示す。
符号化単位回路（５〜８）で、それぞれ符号化された分割画像の符号化画像データは、結合回路１２により結合（多重化）され、符号化画像データ１３として、画像符号化装置から復号化側に伝送される。
【０００４】
【発明が解決しようとする課題】
一般に、動きベクトルの大きさは、動画像中の物体の移動量（Ａ）と、動画像を撮影したときのカメラのパンニング量とチルト量の少なくとも一方、即ち、パンニング量、またはチルト量、あるいはパンニング量とチルト量（Ｂ）の和（Ｃ）で表される。
ここで、パンニングおよびチルトとは、カメラ視線が水平および垂直方向に移動することを意味する。
各符号化単位回路（５〜８）における、動きべクトルを求めるための探索範囲が、物体の移動量（Ａ）とパンニング量とチルト量の少なくとも一方（Ｂ）の和（Ｃ）より大きければ、動きベクトルの探索に成功し、画像符号化装置の符号化効率は高くなる。
しかし、物体の移動量（Ａ）が小さくても、パンニング量とチルト量の少なくとも一方（Ｂ）が大きく、各符号化単位回路（５〜８）における、動きべクトルを求めるための探索範囲が、物体の移動量（Ａ）とパンニング量とチルト量の少なくとも一方（Ｂ）の和（Ｃ）より小さい場合は、動きベクトルの探索に失敗する確率が高くなり、画像符号化装置の符号化効率も低下する。
したがって、各符号化単位回路（５〜８）における、動きべクトルを求めるための探索範囲は、物体の移動量（Ａ）とパンニング量とチルト量の少なくとも一方（Ｂ）の和（Ｃ）と同程度に設計されることが多い。
しかしながら、全ての各符号化単位回路（５〜８）における、動きべクトルを求めるための探索範囲を、物体の移動量（Ａ）とパンニング量とチルト量の少なくとも一方（Ｂ）の和（Ｃ）と同程度に設計した場合には、画像符号化装置全体が大規模化、複雑化するという問題点があった。
【０００５】
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、画像符号化方法および画像符号化装置において、画像符号化装置全体を大規模化、複雑化することなく、パンニング量、またはとチルト量、あるいはその両方が大きい場合でも、画面全体を広い領域で探索することが可能となる技術を提供することにある。
【０００６】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００７】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
即ち、本発明は、入力画像をｎ（ｎ≧２）個の分割画像に分割する分割ステップと、当該分割された各分割画像を、ｎ個の符号化単位手段により符号化する符号化ステップと、当該符号化された各分割画像の符号化画像データを結合する結合ステップとを有する画像符号化方法であって、前記符号化ステップは、前記少なくとも１個の符号化単位手段に入力される分割画像を、当該少なくとも１個の符号化単位手段で、動きべクトルを求めて符号化する第１のステップと、前記第１のステップで探索された動きベクトルにより、画面のパンニング量とチルト量の少なくとも一方を算出する第２のステップと、前記少なくとも１個の符号化単位手段以外の符号化単位手段に入力される分割画像を、当該少なくとも１個以外の符号化単位手段で、前記第２のステップにより算出されたパンニング量とチルト量の少なくとも一方の量だけ探索原点をずらして、動きべクトルを求めて符号化する第３のステップとを有することを特徴とする。
【０００８】
また、本発明は、入力画像をｎ（ｎ≧２）個の分割画像に分割する分配手段と、前記分配手段から出力される各分割画像を、動きベクトルを求めて符号化するｎ個の符号化単位手段と、前記ｎ個の符号化単位手段から出力される各分割画像の符号化画像データを結合する結合手段とを備えた画像符号化装置であって、前記少なくとも１個の符号化単位手段から、前記少なくとも１個の符号化単位手段で探索された動きベクトルが入力され、当該入力された動きベクトルに基づき、画面のパンニング量とチルト量の少なくとも一方を算出し、当該算出された前記画面のパンニング量とチルト量の少なくとも一方を前記少なくとも１個の符号化単位手段以外の符号化単位手段に出力する算出手段を有し、前記少なくとも１個の符号化単位手段以外の符号化単位手段は、前記算出手段で算出されたパンニング量とチルト量の少なくとも一方の量だけ探索原点をずらして、動きベクトルを求めて符号化することを特徴とする。
【０００９】
また、本発明は、前記少なくとも１個の符号化単位手段以外の符号化単位手段の動きベクトル探索範囲が、前記少なくとも１個の符号化単位手段の動きベクトル探索範囲より狭いことを特徴とする。
また、本発明は、前記分配手段から前記少なくとも１個の符号化単位手段以外の符号化単位手段に入力される分割画像の割合が、前記分配手段から前記少なくとも１個の符号化単位手段に入力される分割画像の割合よりも大きいことを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１１】
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１２】
［実施の形態１］
図１は、本発明の実施の形態１の画像符号化装置の概略構成を示すブロック図である。
同図において、１は入力画像、２は分配回路、３，４は符号化単位回路群、３１，３２は符号化単位回路群３の広い探索範囲の動きベクトル探索機能を持つ符号化単位回路、４１，４２は符号化単位回路群４の狭い探索範囲の動きベクトル探索機能を持つ符号化単位回路、９は動きベクトル、１０はパンニング／チルト量算出回路、１１はパンニング量／チルト量、１２は結号回路、１３は画像符号化装置の出力である符号化画像データである。
【００１３】
図２は、本実施の形態の符号化装置の符号化処理手順を説明するフローチャートである。
以下、図２を用いて、本実施の形態の符号化装置の符号化処理手順を説明する。
始めに、分配回路２により、入力画像１を、１／４に分割し、４個の分割画像を生成する（ステップ１０１）。
【００１４】
即ち、本実施の形態の符号化装置においても、入力画像１は、分配回路２に入力され、分配回路２は、例えば、図３に示すように、入力画像１を１／４に分割し、Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）ないしＤ（ｉ，ｊ）の分割画像を生成し、それぞれの分割画像を、符号化単位回路（３１，３２）と、符号化単位回路（４１，４２）に入力する。
【００１５】
次に、符号化単位回路（３１，３２）により、入力された分割画像を所定の探索範囲で、動きべクトルを求めて符号化する（ステップ１０２）。
即ち、符号化単位回路（３１，３２）は、入力した動画像信号を広い探索範囲（例えば、Ｘ方向：−ＸＬ〜＋ＸＬ，Ｙ方向：−ＹＬ〜＋ＹＬ）で、符号化し、得られた分割画像の符号化画像データを結合回路１２へ出力する。なお、図１において、１４，１５は探索原点を示す。
同時に、この符号化の処理に含まれる動きベクトル探索の結果である複数の動きベクトル９をパンニング／チルト量算出回路１０に出力する。
【００１６】
次に、符号化単位回路（３１，３２）で探索された複数の動きベクトル９から、画面のパンニング量とチルト量の少なくとも一方を算出する（ステップ１０３）。
即ち、符号化単位回路（３１，３２）から複数の動きベクトル９が入力されたパンニング／チルト量算出回路１０は、当該複数の動きベクトル９からパンニング量、またはチルト量、あるいはパンニング量とチルト量（Ｘ方向：Ｘｏｆｆｓｅｔ，Ｙ方向：Ｙｏｆｆｓｅｔ）（１１）を算出し、符号化単位回路（４１，４２）へ出力する。
パンニング／チルト量算出回路１０でのパンニング量、あるいはチルト量の算出は、動きベクトルの平均値を用いる方法や出現頻度の最も高い動きベクトルを用いる方法で算出する。
【００１７】
次に、符号化単位回路（４１，４２）により、入力された分割画像を、前記算出されたパンニング量、またはチルト量、あるいはパンニング量とチルト量（１１）だけ探索原点をずらして、動きべクトルを求めて、符号化する（ステップ１０４）。
即ち、符号化単位回路（４１，４２）は、探索原点（Ｘ方向：Ｘｏｆｆｓｅｔ，Ｙ方向：Ｙｏｆｆｓｅｔ）を中心に、動きベクトル探索を含む符号化処理を行い、得られた分割画像の符号化画像データを結合回路１２へ出力する。
このとき、前記算出されたパンニング量、またはチルト量、あるいはパンニング量とチルト量（１１）だけシフトした領域、つまり動きベクトルが存在する可能性の高い領域を探索するため、狭い探索範囲（例えば、Ｘ方向：−ＸＳ＋Ｘｏｆｆｓｅｔ〜＋ＸＳ＋Ｘｏｆｆｓｅｔ、Ｙ方向：−ＹＳ＋Ｙｏｆｆｓｅｔ〜＋ＹＳ＋Ｙｏｆｆｓｅｔ，ただしＸＳ＜ＸＬ，ＹＳ＜ＹＬ）でも、正しい動きベクトルが得られる可能性が高く、効率の高い符号化処理ができる。
最後に、各分割画像の符号化画像データを結合し、符号化画像データ１３として復号化側に伝送する（ステップ１０５）。
即ち、符号化単位回路（３１，３２）および符号化単位回路（４１，４２）から出力された分割画像の符号化画像データは、結合回路１２により結合され、符号化画像データ１３として、画像符号化装置から復号化側に伝送される。
【００１８】
このように、本実施の形態の符号化装置においては、符号化単位回路（４１，４２）が、画面のパンニング量とチルト量の少なくとも一方（１１）の量だけ探索原点をずらして動きベクトルの探索を行うようにしたので、動きベクトルの存在する可能性の高い領域を中心に探索するため、探索原点を固定した場合に比ベ、より狭い探索範囲でも、正しい動きベクトルを検出する確率が高くなる。
そのため、複数の符号化単位回路（３１，３２，４１，４２）のうち、その一部の符号化単位回路（４１，４２）を、より狭い探索範囲の、即ち、回路規模の小さい符号化単位回路が使用でき、このため、画像符号化装置全体の回路規模を削減することができる。
【００１９】
なお、本実施の形態の符号化装置では、符号化単位回路群３を構成する符号化単位回路の個数を２、符号化単位回路群４を構成する符号化単位回路の個数を２としているが、両者は等しい必要はなく、１以上の整数であれば、本発明は実施可能である。
【００２０】
また、本実施の形態では、分配回路２の画像分割を、左上、右上、左下、右下の４つに分割する方法で説明したが、本発明はこれに限定されるものではなく、例えば、画像をＸ方向のみで分割する方法やＹ方向のみで分割する方法、あるいはそれらを組合わせた分割方法でも、本願発明は実施可能である。
【００２１】
［実施の形態２］
図４は、本発明の実施の形態２の画像符号化装置の概略構成を示すブロック図である。
以下、本実施の形態の画像符号化装置について、前記実施の形態１との相違点を中心に説明する。
本実施の形態の画像符号化装置においても、入力画像１は、分配回路２に入力され、分配回路２は、入力画像１を４分割し、Ａ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、Ｃ（ｉ，ｊ）ないしＤ（ｉ，ｊ）の分割画像を生成する。
しかしながら、本実施の形態の分配回路２では、例えば、図５に示すように、入力画像１を１／８に分割して、Ａ（ｉ，ｊ）とＢ（ｉ，ｊ）の分割画像を生成し、また、入力画像１を３／８に分割して、Ｃ（ｉ，ｊ）とＤ（ｉ，ｊ）の分割画像を生成する。
そして、このＡ（ｉ，ｊ）とＢ（ｉ，ｊ）の分割画像は、それぞれ符号化単位回路（３１，３２）に、また、Ｃ（ｉ，ｊ）とＤ（ｉ，ｊ）の分割画像は、それぞれ符号化単位回路（４１，４２）に入力される。
【００２２】
符号化単位回路（３１，３２）は、符号化単位回路（４１，４２）に比ベ、割り当てられた入力画像１が小さいので、求めるべき動きベクトル探索処理の回数が小さくなる。
このため、符号化単位回路（３１，３２）が、符号化単位回路（４１，４２）と同程度の回路規模であっても、１回の動きベクトル探索に利用することができる時間が長くなり、前記実施の形態１と同様に、入力された分割画像を広い探索範囲（例えば、Ｘ方向：−ＸＬ〜＋ＸＬ，Ｙ方向：−ＹＬ〜＋ＹＬ）で、動きベクトルを求めて、符号化することができる。なお、図４において、１４，１５は探索原点を示す。
また、符号化単位回路（３１，３２）での符号化の処理に含まれる動きベクトル探索の結果である複数の動きベクトル９は、パンニング／チルト量算出回路１０に入力され、パンニング／チルト量算出回路１０は、入力された動きベクトルからパンニング量とチルト量の少なくとも一方（例えば、Ｘ方向：Ｘｏｆｆｓｅｔ，Ｙ方向：Ｙｏｆｆｓｅｔ）を算出する。
パンニング／チルト量算出回路１０でのパンニング量、あるいはチルト量の算出は、前記実施の形態と同様、動きベクトルの平均値を用いる方法や出現頻度の最も高い動きベクトルを用いる方法で算出する。
【００２３】
符号化単位回路（４１，４２）は、探索原点（Ｘ方向：Ｘｏｆｆｓｅｔ，Ｙ方向：Ｙｏｆｆｓｅｔ）を中心に、動きベクトル探索を含む符号化処理を行なう。このとき、前記算出されたパンニング量、またはチルト量、あるいはパンニング量とチルト量（１１）だけシフトした領域、つまり動きベクトルが存在する可能性の高い領域を探索するため、狭い探索範囲（例えば、Ｘ方向：−ＸＳ＋Ｘｏｆｆｓｅｔ〜＋ＸＳ＋Ｘｏｆｆｓｅｔ、Ｙ方向：−ＹＳ＋Ｙｏｆｆｓｅｔ〜＋ＹＳ＋Ｙｏｆｆｓｅｔ，ただしＸＳ＜ＸＬ，ＹＳ＜ＹＬ）でも、正しい動きベクトルが得られる可能性が高く、効率の高い符号化処理を行うことができる。
符号化単位回路（３１，３２）および符号化単位回路（４１，４２）で得られた分割画像の符号化画像データは、結合回路１２により結合され、符号化画像データ１３として、画像符号化装置から復号化側に伝送される。
【００２４】
このように、本実施の形態の符号化装置においては、符号化単位回路（３１，３２）が、符号化単位回路（４１，４２）と同程度の回路規模であっても、１回の動きベクトル探索に利用することができる時間が長くなる。
そのため、複数の符号化単位回路（３１，３２，４１，４２）として、従来より回路規模の小さい符号化単位回路が使用でき、画像符号化装置全体の回路規模を削減することができる。
なお、本実施の形態では、符号化単位回路群３を構成する符号化単位回路の個数を２、符号化単位回路群４を構成する符号化単位回路の個数を２としているが、両者は等しい必要はなく、１以上の整数であれば、本発明は実施可能である。また、本実施の形態では、分配回路２の画像分割を、左上、右上、左下、右下の４つに分割する方法で説明したが、本発明はこれに限定されるものではなく、例えば、画像をＸ方向のみで分割する方法やＹ方向のみで分割する方法、あるいはそれらを組合わせた分割方法でも、本願発明は実施可能である。
【００２５】
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００２６】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００２７】
（１）本発明によれば、少なくとも１個の符号化単位手段により求められた複数の動きベクトルにより、画面のパンニング量とチルト量の少なくとも一方を算出し、少なくとも１個の符号化単位手段以外の符号化単位手段において、前記算出されたパンニング量とチルト量の少なくとも一方の量だけ探索原点をずらして動きベクトルの探索を行うようにしたので、少なくとも１個の符号化単位手段以外の符号化単位手段として、回路規模の小さい符号化単位回路が使用でき、画像符号化装置全体の回路規模を削減することが可能となる。
（２）本発明によれば、入力画像の狭い範囲を符号化する少なくとも１個の符号化単位手段により求められた複数の動きベクトルにより、画面のパンニング量とチルト量の少なくとも一方を算出し、少なくとも１個の符号化単位手段以外の符号化単位手段において、前記算出されたパンニング量とチルト量の少なくとも一方の量だけ探索原点をずらして動きベクトルの探索を行うようにしたので、複数の符号化単位手段として、従来より、回路規模の小さい符号化単位回路が使用でき、画像符号化装置全体の回路規模を削減することが可能となる。
（３）本発明によれば、画像符号化装置全体を大規模化、複雑化することなく、パンニング量、またはチルト量、あるいはパンニング量とチルト量が大きい場合でも、画面全体を広い領域で探索することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像符号化装置の概略構成を示すブロック図である。
【図２】本実施の形態１の画像符号化装置の符号化処理を説明するためのフローチャートである。
【図３】本実施の形態１の画像符号化装置の符号化処理を説明するための図である。
【図４】本発明の実施の形態２の画像符号化装置の概略構成を示すブロック図である。
【図５】本実施の形態２の画像符号化装置の符号化処理を説明するための図である。
【図６】符号化単位回路を複数個使用して構成される従来の画像符号化装置の概略構成を示すブロック図である。
【図７】図６に示す画像符号化装置の符号化処理を説明するための図である。
【符号の説明】
１…入力画像、２…分配回路、３，４…符号化単位回路群、５〜８…符号化単位回路、９…動きベクトル、１０…パンニング／チルト量算出回路、１１…パンニング量／チルト量、１２…結号回路、１３…符号化画像データ、３１，３２…符号化単位回路群３の広い探索範囲の動きベクトル探索機能を持つ符号化単位回路、４１，４２…符号化単位回路群４の狭い探索範囲の動きベクトル探索機能を持つ符号化単位回路。
【図１】
0003606304.tif 000002
【図２】
0003606304.tif 000003
【図３】
0003606304.tif 000004
【図４】
0003606304.tif 000005
【図５】
0003606304.tif 000006
【図６】
0003606304.tif 000007
【図７】
0003606304.tif 000008