(57)【要約】  動画像信号を複数のマクロブロックに分割し、当該分割したそれぞれのマクロブロックと動き補償予測画像との差分を符号化する動画像符号化装置（１２００）は、複数の動画像信号について予測処理を行う予測処理部（１２２０）と、予測処理部に対して、第１の動画像信号についての予測処理および第１の動画像信号よりもフレームレートが小さい第２の動画像信号についての予測処理を同時に行う場合に、第１の動画像信号についてのみ予測処理に係る演算量を低減する指示をする制御部（１２１４）とを備えている。
2012060030.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を複数のマクロブロックに分割し、当該分割したそれぞれのマクロブロックと動き補償予測画像との差分を符号化する動画像符号化方法であって、
第１の動画像信号についての予測処理および前記第１の動画像信号よりもフレームレートが小さい第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信号についてのみ演算量を低減して予測処理を行う
ことを特徴とする動画像符号化方法。
【請求項２】
請求項１の動画像符号化方法において、
前記第１の動画像信号のＰピクチャ予測処理と前記第２の動画像信号についての予測処理とを同時に行わないように、前記Ｐピクチャ予測処理に係るＧＯＰの構造を変化させるステップを備えている
ことを特徴とする動画像符号化方法。
【請求項３】
請求項２の動画像符号化方法において、
前記ＧＯＰの構造を変化させるステップでは、前記第１の動画像信号のフレームレートを前記第１および第２の動画像信号のフレームレートの最大公約数で乗算した値に基づいて前記Ｐピクチャ予測処理のタイミングが決定される
ことを特徴とする動画像符号化方法。
【請求項４】
請求項１の動画像符号化方法において、
前記第１および第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信号についてのみ参照画像の枚数を低減して予測処理を行う
ことを特徴とする動画像符号化方法。
【請求項５】
請求項４の動画像符号化方法において、
前記第１の動画像信号に係る動き判定を行うステップと、
前記動き判定の結果および前記参照画像の枚数に基づいて、前記第１の動画像信号についての以後の予測処理で参照すべき参照画像を決定するステップとを備えている
ことを特徴とする動画像符号化方法。
【請求項６】
請求項４の動画像符号化方法において、
前記参照画像に含まれる複数のマクロブロックのうち予測処理で参照されたマクロブロックの個数と、前記参照画像の時間的な位置関係と、前記参照画像の枚数とに基づいて、前記第１の動画像信号についての以後の予測処理で参照すべき参照画像を決定するステップを備えている
ことを特徴とする動画像符号化方法。
【請求項７】
請求項１の動画像符号化方法において、
前記第１および第２の動画像信号ついての予測処理を同時に行う場合に、前記第１の動画像信号についてのみマクロブロックに関する動きベクトルの算出に係る探索範囲を制限して予測処理を行う
ことを特徴とする動画像符号化方法。
【請求項８】
請求項１の動画像符号化方法において、
前記第１および第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信号についてのみブロック化に係るマクロブロックサイズの選択範囲を制限して予測処理を行う
ことを特徴とする動画像符号化方法。
【請求項９】
請求項１の動画像符号化方法において、
前記第１および第２の動画像信号ついての予測処理を同時に行う場合に、前記第１の動画像信号についてのみイントラ予測に係る予測モードの選択範囲を制限して予測処理を行う
ことを特徴とする動画像符号化方法。
【請求項１０】
動画像信号を複数のマクロブロックに分割し、当該分割したそれぞれのマクロブロックと動き補償予測画像との差分を符号化する動画像符号化装置であって、
複数の動画像信号について予測処理を行う予測処理部と、
前記予測処理部に対して、第１の動画像信号についての予測処理および前記第１の動画像信号よりもフレームレートが小さい第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信号についてのみ予測処理に係る演算量を低減する指示をする制御部とを備えている
ことを特徴とする動画像符号化装置。
【請求項１１】
請求項１０の動画像符号化装置において、
前記制御部は、前記第１の動画像信号のＰピクチャ予測処理と第２の動画像信号についての予測処理とを同時に行わないように、前記Ｐピクチャ予測処理に係るＧＯＰの構造を変化させる機能を有する
ことを特徴とする動画像符号化装置。
【請求項１２】
請求項１１の動画像符号化装置において、
前記制御部は、前記第１の動画像信号のフレームレートを前記第１および第２の動画像信号のフレームレートの最大公約数で乗算した値に基づいて前記Ｐピクチャ予測処理のタイミングを決定する
ことを特徴とする動画像符号化装置。
【請求項１３】
請求項１０の動画像符号化装置において、
前記制御部は、前記予測処理部に対して、前記第１および第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信号についてのみ予測処理における参照画像の枚数を低減する指示をする
ことを特徴とする動画像符号化装置。
【請求項１４】
請求項１３の動画像符号化装置において、
前記予測処理部は、前記第１の動画像信号に係る動き判定を行い、前記動き判定結果および前記参照画像の枚数に基づいて、前記第１の動画像信号についての以後の予測処理における参照画像を決定する参照画像決定部を有する
ことを特徴とする動画像符号化装置。
【請求項１５】
請求項１３の動画像符号化装置において、
前記予測処理部は、前記参照画像に含まれるマクロブロックのうち予測処理で参照されたマクロブロックの個数と、前記参照画像の時間的な位置関係と、前記参照画像の枚数とに基づいて、前記第１の動画像信号についての以後の予測処理における参照画像を決定する参照画像決定部を有する
ことを特徴とする動画像符号化装置。
【請求項１６】
請求項１０の動画像符号化装置において、
前記予測処理部は、前記第１および第２の動画像信号のマクロブロックの動きベクトルを用いて予測処理を行うものであり、
前記制御部は、前記予測処理部に対して、前記第１および第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信号についてのみ動きベクトルの算出に係る探索範囲を制限する指示をする
ことを特徴とする動画像符号化装置。
【請求項１７】
請求項１０の動画像符号化装置において、
前記予測処理部は、前記第１および第２の動画像信号の複数のマクロブロックサイズから選択したサイズのマクロブロックを用いて予測処理を行うものであり、
前記制御部は、前記予測処理部に対して、前記第１および第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信についてのみブロック化に係るマクロブロックサイズの選択範囲を制限する指示をする
ことを特徴とする動画像符号化装置。
【請求項１８】
請求項１０の動画像符号化装置において、
前記予測処理部は、イントラ予測に係る複数の予測モードから選択した予測モードに従って予測処理を行うイントラ予測部を有するものであり、
前記制御部は、前記イントラ予測部に対して、前記第１および第２の動画像信号についての予測処理を同時に行う場合に、前記第１の動画像信についてのみ予測モードの選択範囲を制限する指示をする
ことを特徴とする動画像符号化装置。
【請求項１９】
コンピュータに請求項１乃至９のうちいずれか１つの動画像符号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２０】
請求項１０乃至１８のうちいずれか１つの動画像符号化装置を備えている
ことを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化方法に関し、特に、複数の動画像信号を圧縮符号化する動画像符号化方法、および動画像符号化装置に関する。
【背景技術】
【０００２】
動画像信号を符号化する方法として、フレーム内符号化とフレーム間符号化とがある。フレーム内符号化は、１つのフレーム内の空間的冗長性を取り除いて圧縮を行うものであり、イントラ符号化とも呼ばれる。フレーム間符号化は、複数のフレーム間の時間的冗長性を取り除いて圧縮を行うものであり、インター符号化とも呼ばれる。【０００３】
イントラ符号化は、通常マクロブロック単位に実施され、符号化対象のマクロブロックの周辺画像から予測モードに従って、それぞれ、予測画像を生成し、差分が一番小さくなる予測モードを決定し、その差分を符号化して空間的冗長性を取り除くものである。したがって、予測モードの種類が多いと処理量が増加する。【０００４】
インター符号化は、通常マクロブロック単位に実施され、符号化対象のマクロブロックと少なくとも１フィールド以上はなれた画像からなる参照画像との間でマクロブロック毎のブロックマッチングを行い、差分が少ないマクロブロックを探索し、その差分を符号化して時冗長性を取り除くものである。この探索には非常に多くの演算処理が必要である。【０００５】
このように、予測画像を精度よく生成することで予測画像が当たり、画質向上に寄与することになるが、代わりに、イントラ符号化、インター符号化にかかわらず、多くの演算処理量が必要である。【０００６】
また、複数の動画像信号を同時に圧縮する必要があるアプリケーションが増えてきている。複数の動画像信号を扱う場合には、それぞれの動画像信号に対して、上記処理を同時に行う必要があり、予測処理の処理量は扱う動画像信号の本数に応じて増加し、最悪の場合には、予測処理が間に合わず、予測画像が生成されないといったことが起こるおそれがある。【０００７】
このような事態を避けるために、複数の動画像信号を取り扱う場合には、それぞれの動画像信号の圧縮処理量を制御する必要があるという課題がある。【０００８】
特許文献１ではこの課題に対する提案がなされている。図１４に示すように、複数の動画信号を圧縮符号化する動画像符号化装置１４００は、任意の本数の入力動画像信号に対応し、符号化対象の動画像信号の本数を取得する本数取得部１４１０と、符号化対象の１又は複数の動画像信号を取得する動画取得部１４２０と、符号化処理の演算量に影響を与える符号化処理の処理方式、例えば参照画像フレーム数上限、動きベクトル探索範囲等に係る処理方式を、本数取得部１４１０により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定部１４３０と、動画取得部１４２０により取得された動画像信号を対象として符号化処理を行い、取得された動画像信号が複数であれば各動画像信号を対象として時分割で符号化処理を行う符号化部１４４０とを備え、符号化部１４４０は、処理方式特定部１４３０により特定された処理方式で符号化処理を行うものである。【０００９】
動き予測部１４４２では動き予測処理特定部１４３１からの探索範囲で動き予測が行われる。この際、探索範囲は本数取得部１４１０からの本数が多くなると探索範囲が小さく制限される。【００１０】
イントラ符号化部１４４３ではイントラ符号化処理方式特定部１４３２からのイントラ予測モードに従いイントラ予測が行われる。この際、イントラ予測モードは本数が多くなるほど少ないモードに制限される。【００１１】
量子化部１４４５では量子化ステップサイズ特定部１４３３からの量子化ステップで実行される。この際、量子化ステップは本数が多くなると小さくなるように制限される。【００１２】
可変長符号化部１４４６は可変長符号化処理特定部１４３４からの符号化モードで動作する。この際、本数が多くなると可変長符号化を行わない符号化モードで動作する。【００１３】
以上のように、本数が多くなると予測処理量を削減すべく、制限されたモードで符号化処理が実行される（例えば、特許文献１参照）。【００１４】
これらの技術は複数のテレビチャンネルを同時に録画するＤＶＤ（Digital Versatile Disc）などの録画機器に対するものであり、取り扱う入力動画像信号のフレームレートは同一であるとされており、それぞれの入力動画像信号に画質の優先度がない場合での処理方法であるため、全ての動画像信号に対して予測処理の演算量が削減されてしまう。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】国際公開第２００６／０３３２２７号
【発明の概要】
【発明が解決しようとする課題】
【００１６】
近年では、防犯意識の高まり、コミュニケーションの要望の高まりから、ネットワークカメラや監視カメラの設置が家庭内に浸透し始めてきている。これらのアプリケーションには、複数の表示機器に対して動画像信号を配信する、もしくは、複数の動画像信号を一つの表示機器に表示するという機能があり、複数の動画像信号を圧縮する必要があるといった特徴がある。また、メインとなる動画像信号については高画質を維持するためフレームレートが高く設定されており、その他のサブとなる動画像信号については画角も小さく、フレームレートも小さく設定されている場合が多い。【００１７】
しかしながら、特許文献１に記載の方法では、同一の画角、同一のフレームレートの動画像信号を扱うことが想定されており、異なるフレームレートの動画像信号が入力される場合に、特許文献１の方法を適用すると、同時に扱う全ての動画像信号に対する予測処理の処理量が削減されることになってしまい、メインとなる動画像信号については高画質を保ち、サブとなる動画像信号についての画質はそれほど問われないようなアプリケーションには対応できないという課題がある。【００１８】
かかる点に鑑みて、本発明は、圧縮符号化される動画像信号の画質を良好に保ちつつ、複数の動画像信号を同時に圧縮符号化することを課題とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するため本発明によって次のような解決手段を講じた。例えば、動画像信号を複数のマクロブロックに分割し、当該分割したそれぞれのマクロブロックと動き補償予測画像との差分を符号化する動画像符号化方法において、第１の動画像信号についての予測処理および第１の動画像信号よりもフレームレートが小さい第２の動画像信号についての予測処理を同時に行う場合に、第１の動画像信号についてのみ演算量を低減して予測処理を行う。【００２０】
これによると、２つの動画像信号についての予測処理のタイミングが重った場合でも、フレームレートの小さい方の動画像信号については、通常の演算量で予測処理を行うことができる。また、予測処理のタイミングが重ならない場合に、フレームレートの大きい方の動画像信号については、通常の演算量で予測処理を行うことができる。したがって、複数の動画像信号を同時に圧縮符号化する場合でも、圧縮符号化される動画像信号の画質を良好に保つことができる。【００２１】
例えば、上記動画像符号化方法は、第１の動画像信号のＰピクチャ予測処理と第２の動画像信号についての予測処理とを同時に行わないように、Ｐピクチャ予測処理に係るＧＯＰ（Group Of Pictures）の構造を変化させるステップを備えている。【００２２】
これによると、フレームレートが大きい方の動画像信号において、Ｐピクチャについては通常の演算量で予測処理が行われるため、Ｐピクチャについての画質の劣化を抑制することができる。
【発明の効果】
【００２３】
本発明によると、圧縮符号化される動画像信号の画質を良好に保ちつつ、複数の動画像信号を同時に圧縮符号化することができる。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の予測制御処理に係る一例を示す概要図である。
【図２】図２は、入力されるストリームの例を示す図である。
【図３】図３は、図１の予測制御処理の模式図である。
【図４】図４は、本発明の予測制御処理に係る別の例を示す概要図である。
【図５】図５は、図４の予測制御処理に係る模式図である。
【図６】図６は、本発明の予測制御処理に係るさらに別の例を示す概要図である。
【図７】図７は、予測処理において使用される予測モードテーブルの一例を示す図である。
【図８】図８は、本発明の参照画像決定処理に係る一例を示す概要図である。
【図９】図９は、図８の参照画像決定処理の模式図である。
【図１０】図１０は、本発明の参照画像決定処理に係る別の例を示す概要図である。
【図１１】図１１は、図１０の参照画像決定処理の模式図である。
【図１２】図１２は、第１の実施形態に係る動画像符号化装置のブロック図である。
【図１３】図１３は、第２の実施形態に係る撮像システムのブロック図である。
【図１４】図１４は、従来の動画像符号化装置のブロック図である。
【発明を実施するための形態】
【００２５】
以下に本発明に係る予測処理における予測制御処理および参照画像決定処理について、図面を参照しながら説明する。
【００２６】
＜第１の予測制御処理＞
図１は、本発明の予測制御処理に係る一例を示す概要図である。図１に示すように、予測制御処理は、予測処理に必要な参照画像の要求枚数を計算し、要求参照画像枚数１０２を出力する要求参照画像枚数取得ステップ１０１と、同時に予測処理が行われる動画像信号（以下、ストリームと称する。）の本数を取得し、同時処理ストリーム本数１０４を出力するストリーム本数取得ステップ１０３と、同時処理ストリーム本数１０４を入力とし、予測処理において参照可能な参照画像の最大枚数である最大参照画像枚数を計算し、ストリームあたりの最大参照画像枚数１０６を出力する最大参照画像枚数取得ステップ１０５と、要求参照画像枚数１０２とストリームあたりの最大参照画像枚数１０６を入力とし、参照画像枚数１０８を出力する参照画像枚数決定ステップ１０７から構成される。
【００２７】
ここで、図２（ａ）に示すように３０ｆｐｓ（Frame Per Second）のフレームレートで、フィールド構造であり、ＧＯＰ構造がＰピクチャが２フィールド、Ｂピクチャが４フィールドで構成され、Ｐピクチャの参照画像枚数が「２枚」で、Ｂピクチャの参照画像枚数が「４枚」の第１のストリームを圧縮符号化している場合に、図２（ｂ）に示すように１５ｆｐｓのフレームレートで、フィールド構造であり、ＧＯＰ構造がＰピクチャが２フィールド、Ｂピクチャが４フィールドで構成され、Ｐピクチャの参照画像枚数が「１枚」で、Ｂピクチャの参照画像枚数が「２枚」の第２のストリームを圧縮符号化する要求が来た場合を例として説明する。
【００２８】
最大参照画像枚数取得ステップ１０５では、予測処理の開始前に、最大参照画像枚数として、Ｐピクチャの場合は「２枚」が設定されており、Ｂピクチャの場合は「４枚」が設定されている。この枚数は、ＲＯＭ（Read Only Memory）に保持していてもよいし、外部より可変できるレジスタに設定してもよい。
【００２９】
図３は、予測処理において参照画像枚数が変化した場合を示す図であり、第２のストリームの要求があった際の、第１のストリームの参照画像枚数の変化を示している。以下に、図３における各処理時刻における参照画像枚数決定方法を説明する。
【００３０】
まず、処理時刻ｔ＝０,ｔ＝６での処理を説明する。ここでは、第１のストリームのＰピクチャと第２のストリームのＰピクチャとについて同時に予測処理が行われるため、同時処理ストリーム本数１０４として「２本」が出力される。
【００３１】
最大参照画像枚数取得ステップ１０５では、Ｐピクチャの最大参照画像枚数は「２枚」で、「２本」のストリームについて同時に予測処理が行われるため、ストリームあたりの最大参照画像枚数１０６として「１枚」が出力される。
【００３２】
第１のストリームのＰピクチャについて予測処理が行われる場合には、要求参照画像枚数取得ステップ１０１から要求参照画像枚数１０２として「２枚」が入力される。しかし、最大参照画像枚数１０６は「１枚」であるため、参照画像枚数１０８は「１枚」に削減される。
【００３３】
第２のストリームのＰピクチャについて予測処理が行われる場合には、要求参照画像枚数１０２として「１枚」が入力される。最大参照画像枚数１０６は「１枚」であるので、参照画像枚数１０８として「１枚」が出力される。
【００３４】
次に、処理時刻ｔ＝１，ｔ＝５での処理を説明する。ここでは、第１のストリームのＢピクチャだけについて予測処理が行われるので、同時処理ストリーム本数１０４として「１本」が出力される。
【００３５】
最大参照画像枚数取得ステップ１０５では、Ｂピクチャの最大参照画像枚数は「４枚」で、「１本」のストリームだけについて予測処理が行われるので、ストリームあたりの最大参照画像枚数１０６として「４枚」が出力される。
【００３６】
第１のストリームのＢピクチャについて予測処理が行われる場合には、要求参照画像枚数取得ステップ１０１から要求参照画像枚数１０２として「４枚」が入力される。最大参照画像枚数１０６は「４枚」であるため、参照画像枚数１０８として「４枚」が出力される。
【００３７】
処理時刻ｔ＝２，ｔ＝４での処理を説明する。ここでは、第１のストリームのＢピクチャと第２のストリームのＢピクチャとについて同時に予測処理が行われるため、同時処理ストリーム本数１０４として「２本」が出力される。
【００３８】
最大参照画像枚数取得ステップ１０５では、Ｂピクチャの最大参照画像枚数は「４枚」で、「２本」のストリームについて同時に予測処理が行われるため、ストリームあたりの最大参照画像枚数１０６として「２枚」が出力される。
【００３９】
第１のストリームのＢピクチャについて予測処理が行われる場合には、要求参照画像枚数取得ステップ１０１から要求参照画像枚数１０２として「４枚」が入力される。しかし、最大参照画像枚数１０６は「２枚」であるため、参照画像枚数１０８は「２枚」に削減される。
【００４０】
第２のストリームのピクチャについて予測処理が行われる場合には、要求参照画像枚数１０２として「２枚」が入力される。最大参照画像枚数１０６は「２枚」であるので、参照画像枚数１０８として「２枚」が出力される。
【００４１】
処理時刻ｔ＝３での処理を説明する。ここでは、第１のストリームのＰピクチャだけについて予測処理が行われるため、ストリームあたりの最大参照画像枚数１０６として「２枚」が出力される。
【００４２】
第１のストリームのＰピクチャについて予測処理が行われる場合には、要求参照画像枚数取得ステップ１０１から要求参照画像枚数１０２として「２枚」が入力される。最大参照画像枚数１０６は「２枚」であるため、参照画像枚数１０８として「２枚」が出力される。
【００４３】
以上のような予測制御処理によって、同一時刻に予測処理が行われる場合は、参照画像枚数が削減されるが、それ以外の場合には、参照画像枚数が削減されなくなるため、画質劣化を最小限に抑えてストリームの圧縮符号化を実現することができる。
【００４４】
＜第２の予測制御処理＞
図４は予測制御処理の別の例を示すもので特にＧＯＰ構造を変化させる処理を示す概要図である。図４に示すように、予測制御処理は、予測処理が行われるピクチャを含むＧＯＰ構造を取得し、ＧＯＰ構造４０２を出力する要求ＧＯＰ構造取得ステップ４０１と、各ストリームのフレームレートを取得し、フレームレート４０４を出力するフレームレート取得ステップ４０３と、ＧＯＰ構造４０２とフレームレート４０４とに基づいて、再構成したＧＯＰ構造４０６を出力とするＧＯＰ構造決定ステップ４０５と、再構成後のＧＯＰ構造４０６を入力とし、Ｐピクチャについての予測処理の実行タイミングであるＰピクチャ実行タイミング４０８を出力するＰピクチャ実行タイミング決定ステップ４０７とから構成される。
【００４５】
ここで、図２（ａ）に示すように３０ｆｐｓのフレームレートで、フィールド構造であり、ＧＯＰ構造がＰピクチャが２フィールド、Ｂピクチャが４フィールドで構成され、Ｐピクチャの参照画像枚数が「２枚」で、Ｂピクチャの参照画像枚数が「４枚」の第１のストリームを圧縮符号化している場合に、図２（ｂ）に示すように１５ｆｐｓのフレームレートで、フィールド構造であり、ＧＯＰ構造がＰピクチャが２フィールド、Ｂピクチャが４フィールドで構成され、Ｐピクチャの参照画像枚数が「１枚」で、Ｂピクチャの参照画像枚数が「２枚」の第２のストリームを圧縮符号化する要求が来た場合を例として説明する。
【００４６】
まず、要求ＧＯＰ構造取得ステップ４０１では、図２（ａ）および（ｂ）に示すようなＧＯＰ構造４０２が取得される。フレームレート取得ステップ４０３では、各ストリームのフレームレート４０４が取得される。第１のストリームの場合には「３０」が出力され、第２のストリームの場合には「１５」が出力される。
【００４７】
次にＧＯＰ構造決定ステップ４０５での処理を説明する。まず、入力されたフレームレート４０４から同時に予測処理が行われる時刻の間隔が算出される。具体的に、各フレームレートの最大公約数を求める。この場合、フレームレート４０４はそれぞれ「３０」と「１５」であるため、最大公約数は「１５」となる。次にフレームレートの大きい第１のストリームを処理する場合において、予測処理が同時に行われる間隔として「同時処理するピクチャ間隔」が求められる。これは、３０／１５＝２と計算され、２ピクチャに１回の割合で予測処理が同時に行われることが求められる。
【００４８】
そして、ＧＯＰに含まれるＰピクチャの間隔を「同時処理するピクチャ間隔」の「整数倍」になるように、ＧＯＰ構造が決定される。この場合、「同時処理するピクチャ間隔」は「２」であるため、「ＰＢＰＢ…」、「ＰＢＢＢＰＢＢＢ…」、…のいずれかに再構成されたＧＯＰ構造４０６が出力される。あわせて、Ｐピクチャ予測処理が「同時処理しない」タイミングで実行されることにより、第１のストリームのＰピクチャについて予測処理が行われる時は必ず、第１のストリームのみが処理されるようにＧＯＰを構成することができる。さらに、第１の予測制御処理を実行して参照画像枚数を決定することで、第１のストリームのＰピクチャの参照画像枚数は削減されなくなる。
【００４９】
図５に、第１のストリームのＰピクチャ間隔が「４」の場合、すなわちＧＯＰ構造が「ＰＢＢＢＰＢＢＢ」に再構成された場合の予測処理を示す。時刻ｔ＝０，ｔ＝４，ｔ＝８では、Ｐピクチャについての予測処理が行われているが、いずれの時刻においても、第１のストリームのみについて予測処理が行われており、第１の予測制御処理で取得される参照画像枚数１０８を「２枚」から削減する必要がないことが分かる。
【００５０】
以上のように、被参照画像となりうるＰピクチャの参照画像枚数を削減しないことで、Ｐピクチャの画質劣化を抑えることができ、これによって、ストリーム全体の画質劣化を抑えることに寄与する。
【００５１】
なお、上記第１および第２の予測制御処理において、フィールド構造の画像について例を挙げて説明したが、フレーム構造の画像の場合についても同様の考えで実現できることは言うまでもない。
【００５２】
＜第３の予測制御処理＞
図６は、予測制御処理のさらに別の例を示す概要図である。図６に示すように、予測制御処理は、同時に予測処理を行うストリーム本数を取得し、ストリーム本数を出力するストリーム本数取得ステップ６０１と、ストリーム本数６０２を入力とし、例えば図７に示す予測処理テーブルから予測モード（探索範囲、イントラ予測モード、マクロブロックサイズ）を読み出し、読み出された予測モード６０４を出力する予測処理制限ステップ６０３と、決定された予測モード６０４で予測処理を行う予測処理ステップ６０５とで構成される。
【００５３】
ストリーム本数取得ステップ６０１では、同時に予測処理が行われるストリーム本数が取得され、取得されたストリーム本数６０２（例えば２本）が出力される。予測処理制限ステップ６０３では、図７に示す予測処理テーブルに基づいて、入力されたストリーム本数に対応した予測モード６０４が出力される。図７に示す予測処理テーブルは、行方向にストリーム本数が示されており、列方向にストリーム本数に対応した予測モードが示されている。
【００５４】
予測制御処理では、同時に予測処理される複数のストリームのうちフレームレートの大きい方のストリームについて、図７に示すように、探索範囲は動き探索にかかる処理量が少なくなるように、ストリーム本数が増加するにつれて探索範囲の面積が小さくなるように制限される。また、マクロブロックサイズは出力される動きベクトルの本数が少なくなるように、ストリーム本数が増加するにつれて、選択可能なマクロブロックサイズの種類が少なくなるように制限される。イントラ予測モードではイントラ予測にかかる演算処理量が少なくなるように、ストリーム本数が増加するにつれて、選択可能なイントラ予測モードの種類が少なくなるように制限される。
【００５５】
以上のように、同時に予測処理が行われるストリーム本数が増加するにつれて、演算処理量が少なくなるように、フレームレートの大きい方のストリームについて、図７に示す各予測モードの選択範囲が制限されるため、ストリーム全体の画質劣化が抑制される。
【００５６】
なお、第１の予測制御処理でも述べたように、同時に予測処理を行わないピクチャについては、ストリーム本数は１本であるため、予測処理の演算量を制限することなく圧縮符号化することができるため、画質劣化を最小限に抑えることができる。
【００５７】
次に、予測処理における参照画像決定処理について図面を参照しながら説明する。
【００５８】
＜第１の参照画像決定処理＞
図８は、本発明の参照画像決定処理の一例を示す概要図である。参照画像決定処理は、は、マクロブロックごとの動きベクトルを取得するマクロブロック動きベクトル取得ステップ８０１と、出力されたマクロブロック動きベクトル８０２から画像が静止しているか動いているかを判定する画像動き判定ステップ８０３と、第１の予測制御処理から得られる参照画像枚数１０８と画像動き判定ステップ８０３からの画像動き判定結果８０４とを入力とし、参照画像８０６を決定する参照画像決定ステップ８０５とから構成される。
【００５９】
マクロブロック動きベクトル取得ステップ８０１では、現在予測処理が行われているピクチャよりも少なくとも１ピクチャ前に算出されたマクロブロック動きベクトル８０２を読み出す。この際、例えば、１フレーム前に算出されたマクロブロック動きベクトルを保持する図示しない動きベクトルメモリから読み出してもよい。
【００６０】
次に画像動き判定ステップ８０３において、入力されるマクロブロック動きベクトル８０２から、１ピクチャの平均動きベクトルを算出する。マクロブロック動きベクトル８０２の水平成分をｘ０，ｘ１，…,ｘｎとし、垂直成分をｙ０，ｙ１，…,ｙｎとすると、平均動きベクトル（ＭＶａｖｅ）は、
ＭＶａｖｅ＝（（ｘ０＋ｘ１＋…＋ｘｎ）／（ｎ＋１），（ｙ０＋ｙ１＋…ｙｎ）／（ｎ＋１）） として求めることができる。そして、ＭＶａｖｅの絶対値と別途定義される閾値Ｔｈｒとが比較される。｜ＭＶａｖｅ｜≧Ｔｈｒならば画像が動いていると判定され、画像動き判定結果として「動きのある画像」が出力される。｜ＭＶａｖｅ｜＜Ｔｈｒならば、画像は静止していると判定され、画像動き判定結果８０４として「動きのない画像」が出力される。
【００６１】
次に、参照画像決定ステップ８０５では、参照画像枚数１０８と画像動き判定結果８０４とに基づいて参照画像８０６が決定される。具体的に、画像動き判定結果８０４として「動きのある画像」が入力された場合には、予測処理が行われるピクチャと時間的に近い順に参照枚数分の参照画像８０６が選択される。画像動き判定結果８０４として「動きのない画像」が入力された場合には、予測処理が行われるピクチャと同相の画像のうち、時間的に近い順に参照枚数分の参照画像８０６が選択される。
【００６２】
図９にＢピクチャについての予測処理を行う場合の一例を示す。図９（ａ）に、画像動き判定結果８０４が「動きのある画像」であり、参照画像枚数１０８が「２枚」の場合を示す。この場合、「Ｂ４」から時間的にもっとも近い「Ｐ１」が選択される。次に時間的に近い「Ｐ０」が選択される。こうして、参照画像８０６は「Ｐ１」，「Ｐ０」と決定される。
【００６３】
図９（ｂ）に、画像動き判定結果８０４が「動きのない画像」であり、参照画像枚数１０８が「２枚」の場合を示す。この場合、「Ｂ４」はＴＯＰフィールドの画像であるので、同相のＴＯＰフィールドにある画像の「Ｐ０」および「Ｐ２］の「２枚」が参照画像８０６として決定される。
【００６４】
＜第２の参照画像決定処理＞
図１０は、参照画像決定処理の別の例を示す概要図である。参照画像決定処理は、参照画像として選択された参照画像位置を集計し、参照画像位置順位１００２を出力する参照画像位置集計ステップ１００１と、第１の予測制御処理から得られる参照画像枚数１０８と参照画像位置集計ステップ１００１からの参照画像位置順位１００２とを入力とし、参照画像位置１００４を決定する参照画像位置決定ステップ１００３とから構成される。
【００６５】
参照画像位置集計ステップ１００１では、現在予測処理が行われているピクチャよりも少なくとも１ピクチャ前についての予測処理における参照画像について、マクロブロックで選択された参照画像の時間的な位置を読み出し、その参照画像に含まれるマクロブロックのうち実際に参照されたマクロブロックの個数を集計する。この際、例えば、１フレーム前に算出された参照画像位置１００４を保持する図示しない参照画像位置メモリから読み出してもよい。
【００６６】
参照画像位置集計ステップ１００１では、図１１（ａ）に示すように、「Ｂ４」に対して後方で同相の「Ｐ０」の位置が「Ｌ０−０」、逆相の「Ｐ１」の位置が「Ｌ０−１」、前方で同相の「Ｐ２」の位置が「Ｌ１−０」、逆相の「Ｐ３」の位置が「Ｌ１−１」としてそれぞれ参照画像位置１００４が定義される。次に各ピクチャ内のマクロブロックのうち、予測処理において選択されたマクロブロックの個数がカウントされ、個数の多い順に参照位置順位が順序付けられる。
【００６７】
次に参照画像位置決定ステップ１００３では、入力された参照位置順位１００２の順番で「参照枚数」分の参照画像が選択される。図１１（ｂ）に参照画像位置とその順位の例を示す。
【００６８】
以上、第１および第２の参照画像決定処理によると、予測処理が行われる画像とより似た参照画像を決定することができ、動き探索が当たる可能性が高くなり、画質劣化を抑えることが可能となる。
【００６９】
なお、上述した３つの予測制御処理および２つの参照画像決定処理を行うプログラムを半導体メモリやハードディスクなどの記録媒体に記録し、当該記録媒体からプログラムを読み出してコンピュータ上でＣＰＵ処理してもよい。
【００７０】
＜第１の実施形態＞
図１２は、第１の実施形態に係る動画像符号化装置のブロック図である。本実施形態に係る動画像符号化装置１２００は、入力ストリームに対してブロック毎に分割を行うブロック化部１２０１と、動き補償部１２１１で生成された動き予測補償画像とイントラ予測部１２１２で生成された予測画像とのいずれかをイントラインター判定により選択するセレクタ１２１３と、セレクタ１２１３で選択された画像とブロック化されたストリームとの差分を求める差分器１２０２と、その差分の直交変換を行う直交変換部１２０３と、直交変換部１２０３で得られた変換係数に対して量子化を行う量子化部１２０４と、量子化部１２０３で得られた量子化係数と動き検出部１２１０からの動きベクトルを可変長符号化する可変長符号化部１２０５と、量子化部１２０４で得られた量子化係数の逆量子化を行う逆量子化部１２０６と、逆量子化部１２０６で得られた変換係数を逆直交変換する逆直交変換部１２０７と、逆直交変換部１２０７で得られた画像とセレクタ１２１３で選択された予測画像とを加算する加算器１２０８と、加算器１２０８から出力される画像を記憶するメモリ１２０９と、メモリ１２０９に記憶された複数の画像から参照画像を決定する参照画像決定部１２１５と、参照画像決定部１２１５によって決定された参照画像内の画素を用いて動き検出を行う動き検出部１２１０と、動き検出部１２１０で検出された動きベクトルに基づいて動き補償を行い、動き予測補償画像を出力する動き補償部１２１１とから構成される。予測処理部１２２０は、メモリ１２０９と、動き検出部１２１０と、動き補償部１２１１と、イントラ予測部１２１２と、セレクタ１２１３と、参照画像決定部１２１５とから構成される。
【００７１】
動画像符号化装置１２００において、予測処理制御部１２１４は、上述した予測制御処理を行い、予測処理部１２２０に対して、フレームレートの大きい方のストリームについてのみ、予測処理において演算量を低減するように指示をする。予測処理部１２２０は、その指示に従って、予測処理および上述した参照画像決定処理を行う。具体的に、予測処理制御部１２１４は、イントラ予測部１２１２に対して、予測モードの選択範囲の制限を指示する。また、予測処理制御部１２１４は、動き検出部１２１０および動き補償部１２１１に対して、動きベクトルの算出に係る探索範囲、マクロブロックサイズの選択範囲の制限を指示する。さらに、予測処理制御部１２１４は、参照画像決定部１２１５に対して、参照画像の枚数の低減を指示する。
【００７２】
以上、本実施形態によると、複数のストリームを同時に圧縮符号化する場合でも、画質の劣化を極力抑えることができる。
【００７３】
なお、動画像符号化装置１２００は典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。動画像符号化装置１２００の各構成要素は個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩとしてもよい。
【００７４】
また、集積化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【００７５】
＜第２の実施形態＞
図１３は、第２の実施形態に係る撮像システムの一例を示すブロック図である。本実施形態に係る撮像システム（映像システム）は、上記で説明した動画像符号化方法を利用したネットワークカメラ等に適用可能である。
【００７６】
図１３に示す撮像システムにおいて、光学系１３０１を通って入射した画像光はセンサー１３０２上に結像され光電変換される。光電変換によって得られたアナログ信号はＡ／Ｄ（Analog／Digital）変換回路１３０３によりデジタル値に変換された後、例えば図１２に示した動画像符号化装置１２００を含む画像処理回路１３０４に入力される。画像処理回路（画像処理部）１３０４においては、Ｙ／Ｃ（Luminance／Color）処理、エッジ処理、画像の拡大縮小、及びＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）等の画像圧縮／伸張処理、画像圧縮されたストリームの制御等が行われる。画像処理された信号は、記録系／転送系１３０５によってメディアへ記録されたり、インターネット等を介して伝送される。記録又は転送された信号は再生系１３０６により再生される。センサー１３０２及び画像処理回路１３０４はタイミング制御回路１３０７により制御され、光学系１３０１、記録系／転送系１３０５、再生系１３０６及びタイミング制御回路１３０７はそれぞれ、システム制御回路１３０８により制御される。
【００７７】
なお、図１３に示した撮像システムでは、光学系１３０１からの画像光をセンサー１３０２で光電変換してＡ／Ｄ変換回路１３０３に入力したカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のＡＶ（Audio Visual）機器のアナログ映像入力を直接にＡ／Ｄ変換回路１３０３に入力してもよい。
【産業上の利用可能性】
【００７８】
本発明に係る動画像符号化方法および装置は、ネットワークカメラや監視カメラ等で複数の動画像信号を同時に圧縮することが必要であるカメラシステム等に有用である。
【符号の説明】
【００７９】
１２００    動画像符号化装置
１２１２    イントラ予測部
１２１４    予測処理制御部（制御部）
１２１５    参照画像決定部
１２２０    予測処理部
【図１】
2012060030.tif 000003
【図２】
2012060030.tif 000004
【図３】
2012060030.tif 000005
【図４】
2012060030.tif 000006
【図５】
2012060030.tif 000007
【図６】
2012060030.tif 000008
【図７】
2012060030.tif 000009
【図８】
2012060030.tif 000010
【図９】
2012060030.tif 000011
【図１０】
2012060030.tif 000012
【図１１】
2012060030.tif 000013
【図１２】
2012060030.tif 000014
【図１３】
2012060030.tif 000015
【図１４】
2012060030.tif 000016
【国際調査報告】
2012060030.tif 000017
2012060030.tif 000018
2012060030.tif 000019
2012060030.tif 000020