(57)【要約】【課題】フレーム間予測符号化を行う動画像符号化装置において、画像サイズの拡大に伴い参照画像のメモリトラフィック増大が大きな問題となっている。【解決手段】符号化と連動して必要な参照画像を必要な時に随時生成する符号化連動完全復号方式参照画像生成部と、複数のフレームの符号化を並列に行う複数フレーム並列処理方式フレーム間予測符号化部を持つ。これにより、参照画像を画像としてメモリに記憶しておく必要がないのでメモリ容量とメモリトラフィックを大幅に削減することができ、一度に複数のフレームの符号化を並列に行うため、符号化連動完全復号方式参照画像生成部での復号化処理量を抑えるとともにさらにメモリトラフィックを削減できる。【選択図】図１
2009267689.tif 000002
【特許請求の範囲】
【請求項１】
動画像のフレーム間相関を利用して圧縮を行う動画像符号化装置であって、
連続する複数の入力フレームを記憶する入力画像バッファと、
前記入力フレームバッファ内の複数の入力フレームに対し同時並列的に所謂フレーム間予測符号化処理を行う複数フレーム並列処理方式フレーム間予測符号化部と、
符号化された複数のフレームの符号データを記憶する符号データバッファと、
前記符号データバッファから参照画像の復号に必要な全てのフレームの符号データを読み出し、前記フレーム間予測符号化処理と同時並列的に前記全ての符号データを復号化することで、前記フレーム間予測符号化処理に必要な領域の参照画像を必要な時に生成する符号化連動完全復号方式参照画像生成部と、を備えたこと特徴とする動画像符号化装置。
【請求項２】
前記複数フレーム並列処理方式フレーム間予測符号化部は、
複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、
前記符号化連動完全復号方式参照画像生成部から出力された前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファと、を備えたことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記複数フレーム並列処理方式フレーム間予測符号化部は、
複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、
前記符号化連動完全復号方式参照画像生成部から出力された前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファと、
入力フレームを参照画像として使用するために前記ピクチャ符号化部の出力を復号して参照画像を生成する局所復号化部と、
前記局所復号化部にて生成した参照画像を記憶するための局所復号化参照画像バッファと、を備えたことを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
前記符号化連動完全復号方式参照画像生成部は、
参照画像の復号に必要な全てのフレームの符号データを読み込み、前記全てのフレームの復号化を同時並列的に実施する複数のピクチャ復号化部と、
前記ピクチャ復号化部が使用するために必要な参照画像を記憶する複数の復号化用参照画像バッファと、を備えたことを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
前記複数フレーム並列処理方式フレーム間予測符号化部を構成する前記ピクチャ符号化部は、
フレーム内符号化のみ施されたＩ（Intra）ピクチャもしくは前方予測フレーム間予測符号化を施されたＰ（Predictive）ピクチャの符号化を行う少なくとも一つのＩ／Ｐピクチャ符号化部と、
両方向予測フレーム間予測符号化を施されたＢ（Bidirectionally predictive）ピクチャの符号化を行う複数のＢピクチャ符号化部と、から構成されることを特徴とする請求項１または２または３に記載の動画像符号化装置。
【請求項６】
少なくとも前記複数フレーム並列処理方式フレーム間予測符号化部と前記符号化連動完全復号方式参照画像生成部は１つの半導体チップ（ＬＳＩ）内に構成されることを特徴とする請求項１記載の動画符号化装置。
【請求項７】
請求項１〜５のいずれかの動画符号化装置を備えたデジタルスチルカメラ、ビデオムービー、カメラ付き携帯電話機、監視カメラ等の撮像装置。
【請求項８】
動画像の時間相関を利用して圧縮を行うため、入力フレームと相関のある画像を参照画像として生成する参照画像生成ステップと、入力フレームと前記参照画像から所謂フレーム間予測符号化を行い符号データを出力するフレーム間予測符号化ステップとから構成される動画像符号化方法であって、
前記参照画像生成ステップは、前記フレーム間予測符号化ステップの出力した符号を記憶する符号データ記憶ステップと、前記符号データ記憶ステップで記憶された参照画像を復号するために必要な全ての符号データを復号することで参照画像を生成する参照画像復号ステップとから構成されることを特徴とし、
前記フレーム間予測符号化ステップは、連続する複数の入力フレームを記憶する入力画像記憶ステップと、前記入力画像記憶ステップで記憶された複数の入力フレームに対し同時並列的にフレーム間予測符号化を行う複数のフレーム間予測符号化ステップとから構成されることを特徴とした動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を圧縮して符号化するための動画像符号化装置および方法に関する。近年、ビデオムービーに加え、デジタルスチルカメラやカメラ付き携帯電話機が大きく普及し、手軽に画像を扱えるようになってきている。静止画に比べてデータ量の多い動画も圧縮技術の進展により扱いが容易になり、従来のビデオムービーだけでなく、デジタルスチルカメラやカメラ付き携帯電話でも動画が扱えるようになっている。動画の圧縮には通常、フレーム間の相関を利用したフレーム間予測符号化を用いて圧縮率を高めているが、そのためには少なくとも１フレーム分の画像を参照用の画像（以降、参照画像と記す）として記憶しておく必要がある。また、フレーム間予測符号化を効果的に行うためには画像の動きを検出し、それに合わせて画像の最も相関の高い部分を検出して符号化する動き補償を行う必要があるが、それにより参照画像へのアクセスが増大する。デジタルスチルカメラやカメラ付き携帯電話のような小型の携帯機器においては、この参照画像へのアクセスの増大が大きな問題となってきている。本発明は、動画像符号化におけるフレーム間予測符号化での参照画像アクセスの増大に関する課題を解決すること目的とする。
【背景技術】
【０００２】
図８は、動画像符号化装置を備えた撮像装置の例として用意したデジタルスチルカメラの構成図である。
【０００３】
図８において、８０１はＣＣＤ等のイメージセンサ、８０２はイメージセンサ８０１を駆動するＴＧ（Timing Generator）、８０３はイメージセンサ８０１の出力信号をアナログ処理するＡＦＥ（Analog Front End）、８０４はアナログ信号をデジタル信号に変換するＡＤコンバータ、８０５はカメラ画像処理装置である。カメラ画像処理装置８０５は、カメラ信号処理部８０６、動画像符号化部８０７、表示部８０８、メモリカード制御部８０９、メモリコントローラ８１０、ＣＰＵ８１１から構成される。８１２はＳＤＲＡＭ等のメモリであり、８１３はメモリカードである。なお、カメラ画像処理装置８０５は、一つの半導体チップ（ＬＳＩ）で構成されることが一般的である。
【０００４】
イメージセンサ８０１から出力された信号はＡＦＥ８０３、ＡＤコンバータ８０４を通じてデジタル信号に変換され、カメラ画像処理装置８０５のカメラ信号処理部８０６で輝度信号と色信号に変換され、動画像符号化部８０７でデータ量を圧縮するために符号化される。符号化されたデータは、メモリカード制御部８０９を通じて外部のメモリカード８１３等に保存される。また、表示部８０８により画像が表示される。カメラ信号処理部８０６、動画像符号化部８０７、表示部８０８等は、メモリコントローラ８１０を通じてメモリ８１２に必要なデータを格納し、処理を行う。ＣＰＵ８１１は、これらの全体の処理を制御する。
【０００５】
前記デジタルカメラの動画像符号化部８０７に採用される従来の動画像符号化装置の構成を図９に示す。
【０００６】
図９において、カメラ信号処理部８０６からの入力画像は、メモリコントローラ８１０を通じてメモリ８１２の入力画像バッファ領域９０１に記憶される。通常、動画像符号化の処理は、マクロブロックと呼ぶ矩形の小領域単位で処理される。そのデータが揃うまで入力画像は記憶される。また、フレーム間予測符号化において、未来のフレームを参照して予測する場合があり、その時は入力画像の符号化の順番が入力フレームの時刻順とは異なるために、1フレーム以上の記憶が必要となる。
【０００７】
次に、フレーム間予測符号化部９０２において、時間相関のある参照画像との差分を取ることでデータ量を圧縮する。この時、画像の動きに合わせて最も相関の高い所を検出することで圧縮効率を上げるようにする。これを動き補償と言う。このため、メモリ８１２に記憶されている参照画像から所定のエリアを参照画像バッファ９０３に入力し、動きベクトル探索部９０４にて、参照画像バッファ９０３内の画像と入力画像を使って動きベクトル探索を行う。動きベクトル探索は公知のブロックマッチング法等を使用して行われる。動きベクトル探索部９０４により動きベクトルが決定されると、それに従い予測画像生成部９０５において予測画像が生成される。予測画像は、動きベクトルの精度が整数精度の場合は参照画像の一部の切り出しとなり、少数精度の場合は所定のフィルタ処理により補間された画像が生成される。続いて差分画像生成部９０６において、予測画像と入力画像の差分画像が生成される。
【０００８】
次に、差分画像はフレーム内符号化部９０７において、フレーム内符号化が行われる。フレーム内符号化では、まずＤＣＴ（Discrete Cosine Transform）部９０８において、画像データを周波数成分に変換する。周波数成分に変換することで画像を圧縮しやすい形態にすることができるからである。一般に画像の高周波成分は、元の画像から変化しても人間には感知されにくい。そこで画像を周波数成分に変換し、量子化部９０９において量子化してデータ量を削減する。最後に可変長符号化部９１０において、可変長符号化が行われる。可変長符号化は、発生頻度の多いデータに短い符号を充てることで符号量を削減する符号化方式である。一般的にはハフマン符号化や算術符号化が用いられる。
【０００９】
次に、次フレーム以降の入力フレームの予測符号化のための参照画像の生成を参照画像生成部９１１にて行う。参照画像は復号化装置での復号化にも用いられるため、符号データを復号化して生成するが、可変長符号化は可逆符号化なので、量子化まで行われた符号を復号して生成する。すなわち逆量子化部９１２で逆量子化が行われ、逆ＤＣＴ部９１３で逆ＤＣＴが行われて差分画像が復号化され、最後に画像加算部９１４にて予測画像が加算されて参照画像となる復号化された画像が生成される。参照画像はメモリコントローラ８１０を介してメモリ８１２の参照画像バッファ領域９１５に記憶される。なお、生成された符号データはメモリコントローラ８１０を介してメモリ８１２の符号データバッファ領域９１６に記憶される。
【００１０】
このように、従来の動画像符号化装置では、フレーム間予測符号化のために、少なくとも1フレームの画像データを参照画像としてメモリ８１２に記憶しておく必要がある。今後、扱う画像サイズはさらに大きくなることが予想され、ＨＤＴＶレベルの動画像を扱う場合、参照画像記憶のために必要なメモリ、及び、メモリへの書き込みと読み出しのメモリトラフィックの増大は、デジタルカメラのような小型かつ低消費電力が要求される携帯機器を実現するにあたって大きな問題となってきている。
【００１１】
これまでに参照画像のメモリ容量やメモリトラフィックを低減するためにいくつかの提案がなされている。
【００１２】
特許文献１においては、参照画像をアダマール変換により圧縮する方法が提案されている。特許文献２においては、参照画像を画像として記憶しておかず、既に符号化された画像の符号データを復号することで必要な参照画像領域のみを符号化の際に随時得ることで、参照画像を記憶するメモリとそのメモリトラフィックを削減している。
【特許文献１】特許第３５６８３９２号公報
【特許文献２】特開２００３−０７００００号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
特許文献１においては、アダマール変換は非可逆圧縮であり、参照画像にそれを施すと復号化装置側とのミスマッチが発生し画質を損なう問題ある。特許文献１ではそれを軽減するために符号データのＡＣ係数を一部削減し高域成分を除去すること行なっているが、画像の解像度が低下してしまう。特許文献２においては、ミスマッチは発生しないが、参照画像を復号するためにはフレーム間予測符号化を最初に行ったフレームを含めて符号化に使用した全フレームの復号を行なう必要があるため、毎フレームの符号化において予測回数分の複数の復号化処理を行うこととなり、復号化処理量が膨大なものになってしまう問題がある。そのため、実現のためには予測回数を抑えるなどの制約が必要となり、符号化効率が低下してしまう。
【課題を解決するための手段】
【００１４】
本願発明は、動画像のフレーム間相関を利用して圧縮を行う動画像符号化装置であって、連続する複数の入力フレームを記憶する入力画像バッファと、前記入力フレームバッファ内の複数の入力フレームに対し同時並列的に所謂フレーム間予測符号化処理を行う複数フレーム並列処理方式フレーム間予測符号化部と、符号化された複数のフレームの符号データを記憶する符号データバッファと、前記符号データバッファから参照画像の復号に必要な全てのフレームの符号データを読み出し、前記フレーム間予測符号化処理と同時並列的に前記全ての符号データを復号化することで、前記フレーム間予測符号化処理に必要な領域の参照画像を必要な時に生成する符号化連動完全復号方式参照画像生成部とを備えたものである。
【００１５】
前記複数フレーム並列処理方式フレーム間予測符号化部は、複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、前記符号化連動完全復号方式参照画像生成部から出力された前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファとを備える。
【００１６】
また、前記複数フレーム並列処理方式フレーム間予測符号化部は、複数フレームのフレーム間予測符号化を同時並列的に実施する複数のピクチャ符号化部と、前記符号化連動完全復号方式参照画像生成部から出力された前記ピクチャ符号化部が使用するために必要な領域の参照画像を記憶する符号化用参照画像バッファと、入力フレームを参照画像として使用するために前記ピクチャ符号化部の出力を復号して参照画像を生成する局所復号化部と、前記局所復号化部にて生成した参照画像を記憶するための局所復号化参照画像バッファとを備える。
【００１７】
前記符号化連動完全復号方式参照画像生成部は、参照画像の復号に必要な全てのフレームの符号データを読み込み、前記全てのフレームの復号化を同時並列的に実施する複数のピクチャ復号化部と、前記ピクチャ復号化部が使用するために必要な参照画像を記憶する複数の復号化用参照画像バッファとを備える。
【００１８】
前記複数フレーム並列処理方式フレーム間予測符号化部を構成する前記ピクチャ符号化部は、フレーム内符号化のみ施されたＩ（Intra）ピクチャもしくは前方予測フレーム間予測符号化を施されたＰ（Predictive）ピクチャの符号化を行う少なくとも一つのＩ／Ｐピクチャ符号化部と、両方向予測フレーム間予測符号化を施されたＢ（Bidirectionally predictive）ピクチャの符号化を行う複数のＢピクチャ符号化部とから構成される。
【００１９】
また、少なくとも前記複数フレーム並列処理方式フレーム間予測符号化部と前記符号化連動完全復号方式参照画像生成部は１つの半導体チップ（ＬＳＩ）内に構成される。
【００２０】
本願発明の撮像装置は、上記動画符号化装置を備えたデジタルスチルカメラ、ビデオムービー、カメラ付き携帯電話機、監視カメラ等である。
【００２１】
本願発明は、動画像の時間相関を利用して圧縮を行うため、入力フレームと相関のある画像を参照画像として生成する参照画像生成ステップと、入力フレームと前記参照画像から所謂フレーム間予測符号化を行い符号データを出力するフレーム間予測符号化ステップとから構成される動画像符号化方法であって、前記参照画像生成ステップは、前記フレーム間予測符号化ステップの出力した符号を記憶する符号データ記憶ステップと、前記符号データ記憶ステップで記憶された参照画像を復号するために必要な全ての符号データを復号することで参照画像を生成する参照画像復号ステップとから構成されることを特徴とし、前記フレーム間予測符号化ステップは、連続する複数の入力フレームを記憶する入力画像記憶ステップと、前記入力画像記憶ステップで記憶された複数の入力フレームに対し同時並列的にフレーム間予測符号化を行う複数のフレーム間予測符号化ステップとから構成されることを特徴とするものである。
【００２２】
本願発明の動画像符号化装置、及び動画像符号化方法によると、符号化と連動して必要な参照画像を必要な時に随時生成する符号化連動完全復号方式参照画像生成部により、参照画像を画像としてメモリに記憶しておく必要がなく、メモリ容量とメモリトラフィックを大幅に削減することができる。さらに、複数のフレームを並列に符号化を行う複数フレーム並列処理方式フレーム間予測符号化部により、一度に複数のフレームの符号化を行うため、符号化連動完全復号方式参照画像生成部での復号化処理を１枚のフレーム単位で行う必要がなく、予測回数の増加による復号化処理の増大を抑えることができ、予測回数を必要十分な回数までに増加させても現実的な回路規模での実現が容易となる。加えて、複数のフレームに対して符号化連動完全復号方式参照画像生成部での符号データ読み込みが1回分で済むため、メモリトラフィックもさらに減少する。したがって、小型で低消費電力が要求されるデジタルスチルカメラやカメラ付き携帯電話機の動画符号化装置のさらなる低消費電力化や、電力増大を抑えつつＨＤＴＶレベルの動画像を扱う等の性能強化が可能となる。
【発明の効果】
【００２３】
符号データバッファから符号化連動完全復号方式参照画像生成部によって参照画像を生成することにより参照画像を画像としてメモリに記憶する必要がないため、参照画像用メモリとそのメモリトラフィックを大幅に削減できるとともに、複数フレーム並列処理方式フレーム間予測符号化部により、複数の入力フレームを同時に符号化できるため、符号化連動完全復号方式参照画像生成部での複数フレームの復号化をフレーム毎に毎回ではなく、複数フレームに対し一括して1回のみ行なうので、１フレーム当たりの処理量を削減することができ、予測回数を必要十分な回数までに増加させても実現が容易となる。
【発明を実施するための最良の形態】
【００２４】
次に本発明の実施の形態を、図１〜７に基づいて説明する。
【００２５】
まず、フレーム間予測符号化を行う場合の各フレーム間の参照関係の例を図４に示す。これはＧＯＰ（Group of pictures）と呼ばれるフレーム間予測符号化を行う複数のフレームのまとめた単位であり、ＭＰＥＧ（Moving Picture coding Experts Group）が規格化した動画像符号化規格ＭＰＥＧ−２を使用したＤＶＤなどで見られる一般的な形式を例としている。Ｉはイントラピクチャ（Intra picture）のことであり、フレーム内での符号化のみを行っており、どのフレームも参照せず、ＧＯＰ内の全てのフレームの元となるものである。Ｐは前方予測ピクチャ（Predictive picture）のことであり、時間的に過去のフレームを参照画像とし、そこから予測して符号化を行う。Ｂは両方向予測ピクチャ（Bidirectionally predictive picture）のことであり、過去と未来のフレームを参照画像とする。Ｂは未来のフレームを参照するために実際のフレームの時刻関係と符号化順が異なる。図４（ａ）が時刻順であり、図４（ｂ）が符号化処理順である。
【００２６】
まず、Ｉ１が符号化される。これは前述の通り参照画像を必要としない。次に時刻的にＩ１の過去に位置するＢ１、Ｂ２がＩ１を参照画像として予測符号化される。説明を簡単にするために、この例のＧＯＰはClosed GOPと呼ばれる一つのＧＯＰ内で符号化が完結し、他のＧＯＰを必要としないものである。そのためＢ１、Ｂ２は本ＧＯＰのＩ１からのみ予測符号化される。次にＰ１がＩ１から予測符号化される。その後Ｉ１とＰ１を参照画像として両方向予測ピクチャであるＢ３、Ｂ４が予測符号化される。続いてＰ２がＰ１を参照画像として予測符号化され、その後Ｐ１とＰ２を参照画像とするＢ５、Ｂ６が予測符号化される。続いて同様にＰ３がＰ２から予測符号化され、その後Ｂ７とＢ８がＰ２とＰ３から予測符号化される。さらに同様にＰ４がＰ３から予測符号化され、その後Ｂ９とＢ１０がＰ３とＰ４から予測符号化される。
【００２７】
次に図１を用い、本発明の実施の形態を説明する。図１は本発明の動画像符号化装置の構成図である。従来例の図８の撮像装置（デジタルスチルカメラ）の動画符号化装置に置き換わるものであり、同一の構成要素は同一の符号としている。
【００２８】
本実施の形態の動画像符号化装置は大きく分けて２つの部分から構成される。一つは複数フレーム並列処理方式フレーム間予測符号化部１０１であり、もう一つは符号化連動完全復号方式参照画像生成部１０２である。これら複数フレーム並列処理方式フレーム間予測符号化部１０１と符号化連動完全復号方式参照画像生成部１０２からなる動画像符号化部８０７は、１つの半導体チップ（ＬＳＩ）内に構成される。
【００２９】
複数フレーム並列処理方式フレーム間予測符号化部１０１は、複数のフレームの符号化を並列に実施し、複数フレーム期間をかけて複数フレームの符号データを出力するものである。複数のフレームを並列に複数フレーム並列処理方式フレーム間予測符号化部１０１に入力するために、メモリ８１２内に入力画像バッファ領域１０３が設けられる。入力画像バッファ領域１０３に連続する複数の入力フレームが一旦記憶され、複数フレーム並列処理方式フレーム間予測符号化部１０１に複数のフレームが並列に出力される。なお、通常、メモリ８１２とメモリコントローラ８１０は別チップ（ＬＳＩ）で構成され、両者の物理的な接続を複数設けることは困難であるため、実際は、画像フレームを小さなデータ単位で区切り、順番に異なるフレームのデータを送ることで並列化を実現している。
【００３０】
符号化連動完全復号方式参照画像生成部１０２は、符号化に必要な参照画像を符号化と連動して随時生成するものである。そのため、参照画像を従来のように1フレーム分記憶しておくための参照画像バッファ領域９１５（図９）は必要無い。参照画像を符号化と連動して随時生成するために、生成対象の参照画像の符号化に使用された全てのフレームを符号データから復号化することで参照画像を生成する。そのため、必要な全てのフレームの符号データをメモリ８１２内の符号データバッファ領域１０４に記憶する。このように参照画像を生成するためには符号データを読み込めば良く、従来の動画像符号化装置のように画像を読み込む必要が無いためメモリトラフィックは大幅に減少する。
【００３１】
次に、複数フレーム並列処理方式フレーム間予測符号化部１０１の内部構成を説明する。本実施の形態は、前述の図４で示したＧＯＰ構造に最適化を図っており、連続する１つのＩピクチャと２つのＢピクチャ、もしくは１つのＰピクチャと２つのＢピクチャを並列に処理する。すなわち、図４におけるＩ１、Ｂ１、Ｂ２を最初に並列処理し、次にＰ１、Ｂ３、Ｂ４を並列処理し、以下同様に１つのＰと２つのＢを並列処理していく。そのために１つのＩピクチャもしくはＰピクチャを符号化するＩ／Ｐピクチャ符号化部１０５と、２つのＢピクチャ符号化部である第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７を備える。また、Ｐピクチャの符号化のために必要な参照画像を、符号化連動完全復号方式参照画像生成部１０２から得て記憶しておく第１符号化用参照画像バッファ１０８を備える。ＢピクチャはＩ／Ｐピクチャ符号化部１０５にて符号化を行ったＰピクチャを後方予測用の参照画像として使用するために、Ｉ／Ｐピクチャ符号化部１０５から可逆圧縮工程前までの符号化途中のデータを得て局所復号化する局所復号化部１０９と、局所復号化部１０９で復号された画像を参照画像として使用するために記憶しておく局所復号化参照画像バッファ１１０を備える。また、ＢピクチャはＰピクチャと同様に、符号化連動完全復号方式参照画像生成部１０２から得た参照画像を前方予測用に使用するが、符号化のタイミングが必然的にＰピクチャの後になるためそこまで記憶しておくための第２符号化用参照画像バッファ１１１を備える。
【００３２】
次に、符号化連動完全復号方式参照画像生成部１０２の内部構成例について説明する。同様に図４のＧＯＰ構成に対応することを考える。後で詳しく述べるが、図４のＧＯＰ構成では最終段ではＰ４、Ｂ９、Ｂ１０を並列に符号化する。そのためには、Ｐ３を参照画像として生成する必要がある。すなわち、Ｉ１、Ｐ１、Ｐ２、Ｐ３の復号が必要となる。そのために符号化連動完全復号方式参照画像生成部１０２は、１つのＩピクチャ復号化部１１２と、３つのＰピクチャ復号化部である第１Ｐピクチャ復号化部１１３、第２Ｐピクチャ復号化部１１４、第３Ｐピクチャ復号化部１１５を備える。また、３つのＰピクチャの復号化に必要な参照画像を記憶する３つの復号化用参照画像バッファとして第１復号化用参照画像バッファ１１６、第２復号化用参照画像バッファ１１７、第３復号化用参照画像バッファ１１８を備える。なお、セレクタ１１９は、複数フレーム並列処理方式フレーム間予測符号化部１０１が必要とする参照画像を選択するものである。例えば、図４のＧＯＰ構成で最初はＩ１を復号化するのみで良いので、Ｉピクチャ復号化部１１２のみ動作し、それにより得られた参照画像を複数フレーム並列処理方式フレーム間予測符号化部１０１へ出力する。
【００３３】
次に、各構成要素のさらなる内部構成について説明する。まず、複数フレーム並列処理方式フレーム間予測符号化部１０１内の各構成要素の内部構成について説明する。図２は、Ｉ／Ｐピクチャ符号化部１０５と局所復号化部１０９の構成図である。基本的に従来例（図９）と構成は変わらないことが判る。そのため、各構成要素は従来例と同じ番号で示し、詳細な説明は省略する。同様に、Ｂピクチャ符号化部１０６，１０７も従来と同じ構成であり、Ｉ／Ｐピクチャ符号化部１０５と基本的に同じ構成である。参照画像が前方予測用と後方予測用の２フレームが入力される点だけが異なる。
【００３４】
次に、符号化連動完全復号方式参照画像生成部１０２の各構成要素の内部構成について説明する。図３がＰピクチャ復号化部１１３〜１１５の構成図である。大きく分けてフレーム内復号化部３０１とフレーム間予測復号化部３０２から構成される。フレーム内復号化部３０１は、さらに可変長符号復号化部３０３と逆量子化部３０４と逆ＤＣＴ部３０５から構成される。これによりフレーム内の復号化が行なわれ、フレーム間予測符号化が行われたフレーム間予測符号化画像が得られる。次に、フレーム間予測復号化部３０２により前記フレーム間予測符号化画像の復号化が行われる。フレーム間予測復号化部３０２は参照画像から予測画像を生成する予測画像生成部３０６と、予測画像とフレーム間予測符号化画像を加算して復号されたＰピクチャを得る画像加算部３０７から構成される。また、参照画像から予測画像を生成するために可変長符号復号化部３０３から動きベクトルが予測画像生成部３０６に送られる。なお、Ｉピクチャ復号化部はフレーム内復号化部のみを持ち、フレーム内復号化部だけでＩピクチャの復号が完了する。
【００３５】
次に、本実施の形態の動画像符号化装置の動作について説明する。図５は、図４で示したＧＯＰの符号化を行う場合に、図１で示した各構成要素が行なっている処理を示したシーケンス図である。３つのフレームを並列に符号化するため、３フレームの処理を１つにまとめた５つのステージから構成される。
【００３６】
第１ステージではＩ１、Ｂ１、Ｂ２が並列に符号化される。まず、Ｉ／Ｐピクチャ符号化部１０５でＩ１が符号化される。そして、所定量の符号化が行われると局所復号化部１０９でＢ１、Ｂ２の符号化に必要な参照画像が復号化され局所復号化参照画像バッファ１１０に記憶される。そして、局所復号化参照画像バッファ１１０に記憶された参照画像を使用して第１Ｂピクチャ符号化部１０６でＢ１の符号化が行われ、第２Ｂピクチャ符号化部１０７でＢ２の符号化が行われる。
【００３７】
第２ステージではＰ１、Ｂ３、Ｂ４が並列に符号化される。まず、Ｉピクチャ復号化部１１２でＩ１が復号化され、Ｐ１の符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。続いてＩ／Ｐピクチャ符号化部１０５でＰ１が符号化される。そして、Ｉ１と同様に所定量の符号化が行われると局所復号化部１０９でＢ３、Ｂ４の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。この参照画像はＢピクチャの前方符号化のために必要なものだが、Ｂピクチャの符号化はＰ１の符号化の後に行われるため、その時間的な差を埋めるために記憶されるものである。そして、局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して第１Ｂピクチャ符号化部１０６でＢ３の符号化が、第２Ｂピクチャ符号化部１０７でＢ４の符号化が行われる。
【００３８】
第３ステージではＰ２、Ｂ５、Ｂ６が並列に符号化される。まず、Ｉピクチャ復号化部１１２で再びＩ１が復号化され、Ｐ１の復号化に必要な参照画像が生成され、第１復号化用参照画像バッファ１１６に記憶される。続いて第１Ｐピクチャ復号化部１１３で第１復号化用参照画像バッファ１１６に記憶された参照画像を使用してＰ１の復号化が行われ、符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。続いてＩ／Ｐピクチャ符号化部１０５でＰ２が符号化される。そして、Ｐ１の符号化時と同様に所定量の符号化が行われると局所復号化部１０９でＢ５、Ｂ６の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。そして、Ｂ３とＢ４の符号化時と同様に局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して、第１Ｂピクチャ符号化部１０６でＢ５の符号化が、第２Ｂピクチャ符号化部１０７でＢ６の符号化が行われる。
【００３９】
第４ステージではＰ３、Ｂ７、Ｂ８が並列に符号化される。まず、Ｉピクチャ復号化部１１２で再びＩ１が復号化され、Ｐ１の復号化に必要な参照画像が生成され、第１復号化用参照画像バッファ１１６に記憶される。続いて第１Ｐピクチャ復号化部１１３で第１復号化用参照画像バッファ１１６に記憶された参照画像を使用してＰ１の復号化が行われ、Ｐ２の復号化に必要な参照画像が生成されて第２復号化用参照画像バッファ１１７に記憶される。次に第２Ｐピクチャ復号化部１１４で第２復号化用参照画像バッファ１１７に記憶された参照画像を使用してＰ２の復号化が行われ、符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。次にＩ／Ｐピクチャ符号化部１０５でＰ３が符号化される。そして、Ｐ２の符号化時と同様に所定量の符号化が行われると局所復号化部１０９でＢ７、Ｂ８の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。そして、Ｂ５とＢ６の符号化時と同様に局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して、第１Ｂピクチャ符号化部１０６でＢ７の符号化が、第２Ｂピクチャ符号化部１０７でＢ８の符号化が行われる。
【００４０】
第５ステージではＰ４、Ｂ９、Ｂ１０が並列に符号化される。まず、Ｉピクチャ復号化部１１２でＩ１が復号化され、Ｐ１の復号化に必要な参照画像が生成され、第１復号化用参照画像バッファ１１６に記憶される。続いて第１Ｐピクチャ復号化部１１３で第１復号化用参照画像バッファ１１６に記憶された参照画像を使用してＰ１の復号化が行われ、Ｐ２の復号化に必要な参照画像が生成されて第２復号化用参照画像バッファ１１７に記憶される。次に第２Ｐピクチャ復号化部１１４で第２復号化用参照画像バッファ１１７に記憶された参照画像を使用してＰ２の復号化が行われ、Ｐ３の復号化に必要な参照画像が生成され、第３復号化用参照画像バッファ１１８に記憶される。次に第３Ｐピクチャ復号化部１１５で第３復号化用参照画像バッファ１１８に記憶された参照画像を使用してＰ３の復号化が行われ、符号化に必要な参照画像が生成される。生成された符号化に必要な参照画像はセレクタ１１９を通じて複数フレーム並列処理方式フレーム間予測符号化部１０１に送られ、第１符号化用参照画像バッファ１０８に記憶される。次にＩ／Ｐピクチャ符号化部１０５でＰ４が符号化される。そして、Ｐ３の符号化時と同様に所定量の符号化が行われると局所復号化部１０９でＢ９、Ｂ１０の符号化に必要な参照画像が復号化され、局所復号化参照画像バッファ１１０に記憶される。一方、第１符号化用参照画像バッファ１０８に記憶された参照画像は第２符号化用参照画像バッファ１１１に送られる。そして、Ｂ７とＢ８の符号化時と同様に局所復号化参照画像バッファ１１０と第２符号化用参照画像バッファ１１１に記憶された参照画像を使用して、第１Ｂピクチャ符号化部１０６でＢ９の符号化が、第２Ｂピクチャ符号化部１０７でＢ１０の符号化が行われる。
【００４１】
また、各ステージの処理量を一番下に示している。一番処理量の大きい第５ステージでは３フレーム期間において符号化を３フレーム分、復号化を５フレーム分行う。通常の処理では１フレーム期間において、符号化と復号化を１フレーム分行うので、通常処理と比較して符号化においては同等、復号化においては５／３倍となり、全体で４／３倍の処理量となっているが、実現困難なレベルではない。
【００４２】
次に、さらに細かい時間的尺度で動作を説明する。一番処理の多い第５ステージを説明する。図６は、第５ステージの動作をマクロブロックライン単位で示したシーケンス図である。マクロブロックラインとは、符号化の基本単位となるマクロブロックが水平方向に符号化されるフレーム一杯に並んだものであり、動き補償予測符号化のために垂直方向の動き補償範囲分のマクロブロックラインを参照画像として用意する必要がある。それを示したのが図７である。図７の例では、動き補償のための動きベクトル探索範囲を水平方向は±３２画素（２マクロブロック分）、垂直方向は±１６画素（１マクロブロック分）としている。したがって、動き探索範囲内のマクロブロックは水平５個、垂直３個となり、その領域の参照画像は動きベクトル探索の処理中保持しておく必要がある。図７から判るように、少なくとも２マクロブロックライン＋水平探索領域分の参照画像を参照画像バッファ内に保持することが必要である。
【００４３】
上記を前提に図６の説明を行う。Ｔ１〜Ｔ７は１マクロブロックラインを処理する期間を表している。まず、Ｉピクチャ復号化部１１２でＩ１の復号化が行われ、Ｐ１の復号に必要な参照画像が生成される。Ｐ１の１番目のマクロブロックラインの復号化には、Ｉ１の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が参照画像として必要である。すなわち、期間Ｔ１において、Ｉ１の１番目のマクロブロックラインが復号化され、期間Ｔ２において、２番目のマクロブロックラインの水平方向の動き補償分が復号化されると、第１Ｐピクチャ復号化部１１３におけるＰ１の１番目のマクロブロックラインの復号化が開始できる。図６はマクロブロックライン単位で時間を表記しているので、Ｉ１の２番目のマクロブロックラインの復号化とＰ１の１番目のマクロブロックラインの復号化が同じ期間のＴ２に実施される。なお、第１復号化用参照画像バッファ１１６内には、Ｉ１の１番目のマクロブロックラインと２番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。続いてＰ１の２番目のマクロブロックラインの復号には、Ｉ１の１番目のマクロブロックラインから３番目のマクロブロックラインの画像が参照画像として必要である。期間Ｔ２でのＩ１の２番目のマクロブロックラインの復号化に続いて、期間Ｔ３にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ１の２番目のマクロブロックラインの復号化が開始でき、Ｉ１の３番目のマクロブロックラインの復号化とＰ１の２番目のマクロブロックラインの復号化が同じ期間Ｔ３に実施される。また、第１復号化用参照画像バッファ１１６内には、Ｉ１の１番目のマクロブロックラインから３番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。以下、同様にＰ１の３番目以降のマクロブロックラインの復号化が行われる。
【００４４】
次に、Ｐ２の復号化が第２Ｐピクチャ復号化部１１４にて行われる。Ｐ１の復号化と同様に、Ｐ２の１番目のマクロブロックラインの復号にはＰ１の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が必要である。すなわち、期間Ｔ２にてＰ１の１番目のマクロブロックラインが復号化され、期間Ｔ３にて２番目のマクロブロックラインの水平方向の動き補償分が復号化されると、第２Ｐピクチャ復号化部１１４におけるＰ２の１番目のマクロブロックラインの復号化が開始でき、Ｐ１の２番目のマクロブロックラインの復号化とＰ２の１番目のマクロブロックラインの復号化が同じ期間Ｔ３に実施される。また、第２復号化用参照画像バッファ１１７内には、Ｐ１の１番目のマクロブロックラインと２番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。続いてＰ２の２番目のマクロブロックラインの復号には、Ｐ１の１番目のマクロブロックラインから３番目のマクロブロックラインの画像が必要である。期間Ｔ４にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ２の２番目のマクロブロックラインの復号化が開始でき、Ｐ１の３番目のマクロブロックラインの復号化とＰ２の２番目のマクロブロックラインの復号化が同じ期間Ｔ４に実施される。また、第２復号化用参照画像バッファ１１７内には、Ｐ１の１番目のマクロブロックラインから３番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。以下、同様にＰ２の３番目以降のマクロブロックラインの復号化が行われる。
【００４５】
次に、Ｐ３の復号化が第３Ｐピクチャ復号化部１１５にて行われる。Ｐ２の復号化と同様に、Ｐ３の１番目のマクロブロックラインの復号には、Ｐ２の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が参照画像として必要である。すなわち、期間Ｔ３にてＰ２の１番目のマクロブロックラインが復号化され、期間Ｔ４にて２番目のマクロブロックラインの水平方向の動き補償分が復号化されると、第３Ｐピクチャ復号化部１１５におけるＰ３の１番目のマクロブロックラインの復号化が開始でき、Ｐ２の２番目のマクロブロックラインの復号化とＰ３の１番目のマクロブロックラインの復号化が同じ期間Ｔ４に実施される。また、第３復号化用参照画像バッファ１１８内には、Ｐ２の１番目のマクロブロックラインと２番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。続いてＰ３の２番目のマクロブロックラインの復号には、Ｐ２の１番目のマクロブロックラインから３番目のマクロブロックラインの画像が必要である。期間Ｔ５にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ３の２番目のマクロブロックラインの復号化が開始でき、Ｐ２の３番目のマクロブロックラインの復号化とＰ３の２番目のマクロブロックラインの復号化が同じ期間Ｔ５に実施される。また、第３復号化用参照画像バッファ１１８内には、Ｐ２の１番目のマクロブロックラインから３番目のマクロブロックラインにおいて動き補償に必要な領域が記憶されている。以下、同様にＰ３の３番目以降のマクロブロックラインの復号化が行われる。なお、第３Ｐピクチャ復号化部１１５で復号化されたＰ３の画像は第１符号化用参照画像バッファ１０８に記憶される。
【００４６】
次に、Ｐ４の符号化がＩ／Ｐピクチャ符号化部１０５にて行われる。期間Ｔ４にてＰ３の１番目のマクロブロックラインが復号化され、期間Ｔ５にて２番目のマクロブロックラインの水平方向の動き補償分が復号化され、第１符号化用参照画像バッファ１０８に記憶されると、Ｉ／Ｐピクチャ符号化部１０５において、Ｐ４の１番目のマクロブロックラインの符号化が開始できる。すなわち、期間Ｔ５においてＰ４の１番目のマクロブロックラインの符号化が行われる。続いて、期間Ｔ６にて３番目のマクロブロックラインの水平方向の動き補償分が復号されると、Ｐ４の２番目のマクロブロックラインの符号化が開始でき、Ｐ３の３番目のマクロブロックラインの復号化とＰ４の２番目のマクロブロックラインの復号化が同じ期間Ｔ６に実施される。
【００４７】
続いて、Ｂ９とＢ１０の後方予測符号化のための参照画像を、局所復号化部１０９にてＰ４を復号化することで生成する。すなわち、同じ期間Ｔ５においてＰ４の１番目のマクロブロックラインの復号化が行われ、Ｂ９とＢ１０の後方予測符号化のための参照画像の１番目のマクロブロックラインが生成される。同様に期間Ｔ６においてＰ４の２番目のマクロブロックラインの復号化が行われる。これらの参照画像は局所復号化参照画像バッファ１１０に記憶される。
【００４８】
次にＢ９とＢ１０の符号化がそれぞれ、第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７にて行われる。Ｂ９とＢ１０の１番目のマクロブロックラインの符号化には、Ｐ３の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が前方予測用の参照画像として必要であり、Ｐ４の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が後方予測用の参照画像として必要である。前述のように、期間Ｔ５にてＰ４の１番目のマクロブロックラインが復号化され、期間Ｔ６にてＰ４の２番目のマクロブロックラインの水平方向の動き補償分が復号化され局所復号化参照画像バッファ１１０に記憶されると、Ｂ９とＢ１０の１番目のマクロブロックラインの後方予測符号化が開始できる。同じ期間Ｔ６で前方予測符号化を行うために、第１符号化用参照画像バッファ１０８に記憶された前方予測符号化用の参照画像としてのＰ３の画像が第２符号化用参照画像バッファ１１１に転送される。第２符号化用参照画像バッファ１１１は、第１符号化用参照画像バッファ１０８の１Ｔ前の内容を記憶する。すなわち期間Ｔ６において第２符号化用参照画像バッファ１１１には、Ｐ３の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が前方予測用の参照画像として記憶され、局所復号化参照画像バッファ１１０にはＰ４の１番目のマクロブロックラインと２番目のマクロブロックラインの画像が後方予測用の参照画像として記憶される。そして、両者を使用してＢ９とＢ１０の符号化がそれぞれ、第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７にて期間Ｔ６の間に行われる。続いて同様に、Ｂ９とＢ１０の２番目のマクロブロックラインの符号化が行われる。２番目のマクロブロックラインの符号化には、Ｐ３の１番目から３番目のマクロブロックラインの画像が前方予測用の参照画像として必要であり、Ｐ４の１番目から３番目のマクロブロックラインの画像が後方予測用の参照画像として必要である。期間Ｔ７において、Ｐ３の１番目から３番目のマクロブロックラインの画像が第２符号化用参照画像バッファ１１１に記憶され、Ｐ４の１番目から３番目のマクロブロックラインの画像が局所復号化参照画像バッファ１１０に記憶され、Ｂ９とＢ１０の２番目のマクロブロックラインの符号化がそれぞれ第１Ｂピクチャ符号化部１０６と第２Ｂピクチャ符号化部１０７にて行われる。以下、同様にＢ９とＢ１０の３番目以降のマクロブロックラインの符号化が行われる。
【００４９】
このように本実施の形態では、１マクロブロックライン分の時間差を持ちながら順次復号化と符号化が行われる。なお、垂直方向の動き補償範囲がさらに広くなるとバッファに記憶すべき参照画像が増え、各復号化と符号化の時間差も拡大する。
【００５０】
また、本実施の形態では符号化の並列数を３とし、Ｐピクチャは１つしか符号化しなかったが、並列数をさらに増大させることや、複数のＰピクチャに対応させるなど、本発明の思想、主要な特長を逸脱しない範囲で変形や拡張を施して実施することが可能である。
【産業上の利用可能性】
【００５１】
本発明は、小型で低消費電力が要求されるデジタルスチルカメラ、ビデオムービー、カメラ付き携帯電話機、監視カメラ等の撮像装置における動画符号化装置として有用である。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態の動画像符号化装置の構成図
【図２】本発明の実施の形態のＩ／Ｐピクチャ符号化部と局所復号化部の構成図
【図３】本発明の実施の形態のＰピクチャ復号化部の構成図
【図４】本発明の実施の形態の動画像符号化装置が扱うＧＯＰの例
【図５】本発明の実施の形態における図４のＧＯＰの例の処理内容の説明図
【図６】本発明の実施の形態のより詳細な処理内容の説明図
【図７】本発明の実施の形態の参照画像バッファの記憶内容の説明図
【図８】動画像符号化装置を備えたデジタルスチルカメラの構成図
【図９】従来例の動画像符号化装置の構成図
【符号の説明】
【００５３】
１０１  複数フレーム並列処理方式フレーム間予測符号化部
１０２  符号化連動完全復号方式参照画像生成部
１０３  入力画像バッファ領域
１０４  符号データバッファ領域
１０５  Ｉ／Ｐピクチャ符号化部
１０６  第１Ｂピクチャ符号化部
１０７  第２Ｂピクチャ符号化部
１０８  第１符号化用参照画像バッフ
１０９  局所復号化部
１１０  局所復号化参照画像バッファ
１１１  第２符号化用参照画像バッフ
１１２  Ｉピクチャ復号化部
１１３  第１Ｐピクチャ復号化部
１１４  第２Ｐピクチャ復号化部
１１５  第３Ｐピクチャ復号化部
１１６  第１復号化用参照画像バッファ
１１７  第２復号化用参照画像バッファ
１１８  第３復号化用参照画像バッファ
１１９  セレクタ
【図１】
2009267689.tif 000003
【図２】
2009267689.tif 000004
【図３】
2009267689.tif 000005
【図４】
2009267689.tif 000006
【図５】
2009267689.tif 000007
【図６】
2009267689.tif 000008
【図７】
2009267689.tif 000009
【図８】
2009267689.tif 000010
【図９】
2009267689.tif 000011