(57)【要約】【課題】撮像部の状態に拘らず、復号時における画質の劣化を抑止する。【解決手段】レート制御部は、符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整し、直交変換部、量子化部、及び可変長符号化部は、調整された目標符号量に応じて、符号化対象画像を符号化する。本開示は、例えば、撮像部の撮像により得られた各画像を符号化する符号化装置に適用できる。【選択図】図１
2012244542.tif 000002
【特許請求の範囲】
【請求項１】
符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整する調整部と、
調整された前記目標符号量に応じて、前記符号化対象画像を符号化する符号化部と
を含む符号化装置。
【請求項２】
前記調整部は、前記撮像部の状態に基づいて、前記符号化対象画像を予測して得られる予測画像を参照して符号化される第１の前記符号化対象画像、又は前記予測画像として参照される第２の前記符号化対象画像の一方に多くの前記目標符号量を割り当てるように調整する
請求項１に記載の符号化装置。
【請求項３】
前記調整部は、前記符号化対象画像の撮像時における前記撮像部のズームの状態に基づいて、前記目標符号量を調整する
請求項２に記載の符号化装置。
【請求項４】
前記調整部は、
前記ズームが所定の閾値以上の速さで行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、
前記所定の閾値以上の速さで行われている前記ズームが終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する
請求項３に記載の符号化装置。
【請求項５】
前記調整部は、前記符号化対象画像の撮像時における前記撮像部のフォーカスの状態に基づいて、前記目標符号量を調整する
請求項２に記載の符号化装置。
【請求項６】
前記調整部は、
前記フォーカスの変更が行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、
前記フォーカスの変更が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する
請求項５に記載の符号化装置。
【請求項７】
前記調整部は、前記符号化対象画像の撮像時における前記撮像部の移動時の状態に基づいて、前記目標符号量を調整する
請求項２に記載の符号化装置。
【請求項８】
前記調整部は、
前記撮像部が所定の閾値以上の速さで移動している場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、
前記所定の閾値以上の速さで行われている前記撮像部の移動が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する
請求項７に記載の符号化装置。
【請求項９】
前記調整部は、前記符号化対象画像の撮像時における前記撮像部の露出の状態に基づいて、前記目標符号量を調整する
請求項２に記載の符号化装置。
【請求項１０】
前記調整部は、
前記露出の変更が行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、
前記露出の変更が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する
請求項９に記載の符号化装置。
【請求項１１】
前記撮像部に対するユーザ操作に応じて、前記符号化対象画像の撮像時における撮像部の状態を検出する検出部をさらに含み、
前記調整部は、検出された前記撮像部の状態に基づいて、前記目標符号量を調整する
請求項２に記載の符号化装置。
【請求項１２】
画像を符号化する符号化装置の符号化方法において、
前記符号化装置による、
符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整する調整ステップと、
調整された前記目標符号量に応じて、前記符号化対象画像を符号化する符号化ステップと
を含む符号化方法。
【請求項１３】
コンピュータを、
符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整する調整部と、
調整された前記目標符号量に応じて、前記符号化対象画像を符号化する符号化部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、符号化装置、符号化方法、及びプログラムに関し、特に、例えば、符号化時における符号量を制御するようにして、復号時における画質の劣化を抑止できるようにした符号化装置、符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、符号化対象とされる各画像間の相関を利用して画像を符号化するMPEG（moving picture expert group）等の符号化方式において、各画像の符号化時における符号量を制御して、復号時における画質の劣化を抑止するようにした符号量制御技術が存在する。
【０００３】
この符号量制御技術によれば、各画像をそれぞれ符号化して得られた符号量、及び符号化の際に用いた量子化スケール等のパラメータ等をフィードバックするようにして、符号化時における各画像毎の符号量が制御される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１１８０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば、符号化対象とされる各画像が、撮像部の撮像により得られる画像である場合、撮像時における撮像部の状態に応じて、各画像間の相関が変化するものとなる。
【０００６】
すなわち、例えば、撮像部による急激なズームイン又はズームアウト（以下、単にズームという）等が行われている場合、各画像間の相関は比較的小さくなる。
【０００７】
この場合、上述の符号量制御技術において、復号時における画質の劣化を抑止するためには、符号化対象とされた画像を予測し、その結果得られる予測画像を参照して符号化される画像（例えば、MPEGの場合、Pピクチャ及びBピクチャ）の符号量が多くなるように制御する必要がある。
【０００８】
また、例えば、撮像部による急激なズーム等が行われていない場合、各画像間の相関は比較的大きなものとなる。
【０００９】
この場合、上述の符号量制御技術において、復号時における画質の劣化を抑止するためには、予測画像として参照される画像（例えば、MPEGの場合、Iピクチャ及びPピクチャ）の符号量が多くなるように制御する必要がある。
【００１０】
しかしながら、上述の符号量制御技術では、撮像部の状態に基づいて、符号量を制御するようにはしていない。このため、撮像部による急激なズーム等が行われた場合、撮像部による急激なズーム等に追従して符号量を制御することができず、ひいては復号時における画質の劣化が生じ得る。
【００１１】
本開示は、このような状況に鑑みてなされたものであり、撮像部の状態に拘らず、復号時における画質の劣化を抑止できるようにするものである。
【課題を解決するための手段】
【００１２】
本開示の一側面の符号化装置は、符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整する調整部と、調整された前記目標符号量に応じて、前記符号化対象画像を符号化する符号化部とを含む符号化装置である。
【００１３】
前記調整部では、前記撮像部の状態に基づいて、前記符号化対象画像を予測して得られる予測画像を参照して符号化される第１の前記符号化対象画像、又は前記予測画像として参照される第２の前記符号化対象画像の一方に多くの前記目標符号量を割り当てるように調整することができる。
【００１４】
前記調整部では、前記符号化対象画像の撮像時における前記撮像部のズームの状態に基づいて、前記目標符号量を調整することができる。
【００１５】
前記調整部では、前記ズームが所定の閾値以上の速さで行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記所定の閾値以上の速さで行われている前記ズームが終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整することができる。
【００１６】
前記調整部では、前記符号化対象画像の撮像時における前記撮像部のフォーカスの状態に基づいて、前記目標符号量を調整することができる。
【００１７】
前記調整部では、前記フォーカスの変更が行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記フォーカスの変更が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整することができる。
【００１８】
前記調整部では、前記符号化対象画像の撮像時における前記撮像部の移動時の状態に基づいて、前記目標符号量を調整することができる。
【００１９】
前記調整部では、前記撮像部が所定の閾値以上の速さで移動している場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記所定の閾値以上の速さで行われている前記撮像部の移動が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整することができる。
【００２０】
前記調整部では、前記符号化対象画像の撮像時における前記撮像部の露出の状態に基づいて、前記目標符号量を調整することができる。
【００２１】
前記調整部では、前記露出の変更が行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記露出の変更が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整することができる。
【００２２】
前記撮像部に対するユーザ操作に応じて、前記符号化対象画像の撮像時における撮像部の状態を検出する検出部をさらに設けることができ、前記調整部では、検出された前記撮像部の状態に基づいて、前記目標符号量を調整することができる。
【００２３】
本開示の一側面の符号化方法は、画像を符号化する符号化装置の符号化方法であり、前記符号化装置による、符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整する調整ステップと、調整された前記目標符号量に応じて、前記符号化対象画像を符号化する符号化ステップとを含む符号化方法である。
【００２４】
本開示の一側面のプログラムは、コンピュータを、符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整する調整部と、調整された前記目標符号量に応じて、前記符号化対象画像を符号化する符号化部として機能させるためのプログラムである。
【００２５】
本開示の一側面によれば、符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量が調整され、調整された前記目標符号量に応じて、前記符号化対象画像が符号化される。
【発明の効果】
【００２６】
本開示によれば、撮像部の状態に拘らず、復号時における画質の劣化を抑止することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本実施の形態であるデジタルビデオカメラの構成例を示すブロック図である。
【図２】撮像部の状態に応じて、各ピクチャに割り当てる目標符号量を調整する様子の一例を示す図である。
【図３】デジタルビデオカメラが行う圧縮符号化処理を説明するためのフローチャートである。
【図４】レート制御処理の詳細を説明するためのフローチャートである。
【図５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（撮像部の状態に応じて、各ピクチャに割り当てる目標符号量を調整する場合の一例）
２．変形例
【００２９】
＜１．本実施の形態＞
[デジタルビデオカメラ１の構成例]
図１は、本実施の形態であるデジタルビデオカメラ１の構成例を示している。
【００３０】
このデジタルビデオカメラ１は、撮像部２１、並べ替え部２２、切替スイッチ２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、加算部２８、接続スイッチ２９、フレームメモリ３０aを内蔵する動き補償予測部３０、差分算出部３１、可変長符号化部３２、バッファ部３３、出力端子３４、レート制御部３５、及び操作部３６から構成される。
【００３１】
なお、このデジタルビデオカメラ１は、撮像部２１の撮像時における急激なズーム等に応じて、MPEG等の符号化方式を用いた符号化（以下、圧縮符号化ともいう）時における各画像の符号量を制御するようにして、復号時における画質の劣化を抑止できるようにするものである。
【００３２】
なお、デジタルビデオカメラ１では、ズーム等の他、撮像時におけるフォーカスや露出の変更、撮像部２１の動き(パンやチルト、手振れ等)等に応じて、圧縮符号化時における各画像の符号量を制御することができる。但し、本実施の形態では、説明を簡単にするために、撮像時におけるズームに応じて、符号量を制御する場合について説明する。その他の説明については、変形例として説明する。
【００３３】
撮像部２１は、被写体を撮像し、その撮像により得られるフレーム（画像）を、並べ替え部２２に供給する。
【００３４】
並べ替え部２２は、撮像部２１から表示の順序で供給されるフレームをピクチャとし、例えば１５枚のピクチャにより構成されるGOP（Group of Picture）構造に応じて、圧縮のためのピクチャの順序に並べ替える。
【００３５】
並べ替え部２２は、並べ替えた順序に応じて、フレームとしての各ピクチャを、Iピクチャ、Pピクチャ、又はBピクチャのいずれかとする。そして、並べ替え部２２は、各フレームを、例えば１６×１６画素により構成されるマクロブロック単位で出力する。
【００３６】
ここで、Ｉピクチャとは、他のピクチャを参照せずにイントラ符号化されるフレームをいう。また、Ｐピクチャとは、時間的に先に表示されるＩピクチャ又はＰピクチャを参照し、その参照されるピクチャから生成（予測）される予測画像を用いて予測符号化されるフレームをいう。さらに、Ｂピクチャとは、時間的に先に表示されるＩピクチャ又はＰピクチャと、時間的に後に表示されるＩピクチャ又はＰピクチャとの一方又は両方を参照して、その参照されるピクチャから生成される予測画像を用いて予測符号化されるフレームをいう。なお、ＩピクチャとＰピクチャは、他のピクチャの予測符号化の際に参照されるが、Ｂピクチャは、他のピクチャの予測符号化にあたって参照されない。
【００３７】
具体的には、例えば、並べ替え部２２は、Iピクチャを出力する場合、切替スイッチ２３の一端を接続端子Aに接続させ、接続スイッチ２９を接続端子Cに接続させない。そして、並べ替え部２２は、Iピクチャを、複数のマクロブロックIMBに分割し、接続端子A及び切替スイッチ２３を介して直交変換部２４に供給する。
【００３８】
また、例えば、並べ替え部２２は、Pピクチャを出力する場合、切替スイッチ２３の一端を接続端子Bに接続させ、接続スイッチ２９を接続端子Cに接続させる。そして、並べ替え部２２は、Pピクチャを、複数のマクロブロックPMBに分割し、動き補償予測部３０及び差分算出部３１に供給する。
【００３９】
並べ替え部２２は、Bピクチャを出力する場合、同様にして、切替スイッチ２３の一端を接続端子Bに接続させ、接続スイッチ２９を接続端子Cに接続させる。そして、並べ替え部２２は、Bピクチャを、複数のマクロブロックBMBに分割し、動き補償予測部３０及び差分算出部３１に供給する。
【００４０】
切替スイッチ２３は、その一端を接続端子A又は接続端子Bの一方に接続可能であり、並べ替え部２２からの制御にしたがって、一端を接続端子A又は接続端子Bの一方に接続する。なお、切替スイッチ２３の他端は、直交変換部２４と接続されている。
【００４１】
直交変換部２４は、並べ替え部２２から接続端子A及び切替スイッチ２３を介して供給されるマクロブロックIMBに対して、例えばDCT（discrete cosine transform、離散コサイン変換）等の直交変換を施し、その結果得られる変換係数f(IMB)を量子化部２５に供給する。
【００４２】
なお、直交変換部２４では、例えば、１６×１６画素のマクロブロックIMBが、８×８画素の各ブロック毎に分割され、分割により得られた各ブロック毎に直交変換が施される。また、直交変換は、DCTに限定されず、その他、例えば、K-L(karhunen-loeve)変換や離散ウェーブレット変換等を採用することができる。
【００４３】
さらに、直交変換部２４は、差分算出部３１から接続端子B及び切替スイッチ２３を介して供給される予測残差PMBDに対して、直交変換を施し、その結果得られる変換係数f(PMBD)を量子化部２５に供給する。
【００４４】
なお、予測残差PMBDとは、マクロブロックPMBと、動き補償予測部３０が行う動き補償によりマクロブロックPMBを予測して得られる予測マクロブロックPMB'との差分(PMB-PMB')を表す。
【００４５】
さらに、直交変換部２４は、差分算出部３１から接続端子B及び切替スイッチ２３を介して供給される予測残差BMBDに対して、直交変換を施し、その結果得られる変換係数f(BMBD)を量子化部２５に供給する。
【００４６】
なお、予測残差BMBDとは、マクロブロックBMBと、動き補償予測部３０が行う動き補償によりマクロブロックBMBを予測して得られる予測マクロブロックBMB'との差分(BMB-BMB')を表す。
【００４７】
量子化部２５は、レート制御部３５からの量子化スケールに基づいて、直交変換部２４からの変換係数f(IMB)を量子化し、その結果得られる量子化変換係数F(IMB)を、逆量子化部２６及び可変長符号化部３２に供給する。
【００４８】
また、量子化部２５は、レート制御部３５からの量子化スケールに基づいて、直交変換部２４からの変換係数f(PMBD)を量子化し、その結果得られる量子化変換係数F(PMBD)を、逆量子化部２６及び可変長符号化部３２に供給する。
【００４９】
さらに、量子化部２５は、レート制御部３５からの量子化スケールに基づいて、直交変換部２４からの変換係数f(BMBD)を量子化し、その結果得られる量子化変換係数F(BMBD)を、可変長符号化部３２に供給する。
【００５０】
逆量子化部２６は、量子化部２５からの量子化変換係数F(IMB)を逆量子化し、その結果得られる変換係数f(IMB)を、逆直交変換部２７に供給する。また、逆量子化部２６は、量子化部２５からの量子化変換係数F(PMBD)を逆量子化し、その結果得られる変換係数f(PMB)を、逆直交変換部２７に供給する。
【００５１】
逆直交変換部２７は、逆量子化部２６からの変換係数f(IMB)を逆直交変換し、その結果得られるマクロブロックIMBを、加算部２８を介して、動き補償予測部３０に供給する。
【００５２】
逆直交変換部２７は、逆量子化部２６からの変換係数f(PMBD)を逆直交変換し、その結果得られる予測残差PMBDを、加算部２８に供給する。
【００５３】
加算部２８は、逆直交変換部２７からのマクロブロックIMBを、そのまま、動き補償予測部３０に供給する。
【００５４】
また、加算部２８は、逆直交変換部２７からの予測残差PMBD(=PMB-PMB')と、動き補償予測部３０から接続スイッチ２９を介して供給される予測マクロブロックPMB'とを加算する。そして、加算部２８は、その加算により得られるマクロブロックPMBを、動き補償予測部３０に供給する。
【００５５】
接続スイッチ２９は、その一端を、並べ替え部２２からの制御にしたがって、接続端子Cを介して加算部２８と接続される。
【００５６】
動き補償予測部３０は、フレームメモリ３０aを内蔵し、内蔵するフレームメモリ３０aに、加算部２８からのマクロブロックIMB及びPMBを、予測マクロブロックPMB'又はBMB'を生成するために参照される参照マクロブロックとして保持する。
【００５７】
また、例えば、動き補償予測部３０は、フレームメモリ３０aに保持されている参照マクロブロックIMBに基づいて、並べ替え部２２からのマクロブロックPMBの動きを表す動きベクトルPMVを検出し、可変長符号化部３２に供給する。
【００５８】
さらに、例えば、動き補償予測部３０は、検出した動きベクトルPMV、及びフレームメモリ３０aに保持されている参照マクロブロックIMBに基づいて、マクロブロックPMBを動き補償する。動き補償予測部３０は、その動き補償により得られる予測マクロブロックPMB'を、接続スイッチ２９及び差分算出部３１に供給する。
【００５９】
また、例えば、動き補償予測部３０は、フレームメモリ３０aに保持されている参照マクロブロックIMBや参照マクロブロックPMBに基づいて、並べ替え部２２からのマクロブロックBMBの動きを表す動きベクトルBMVを検出し、可変長符号化部３２に供給する。
【００６０】
そして、動き補償予測部３０は、検出した動きベクトルBMV、及びフレームメモリ３０aに保持されている参照マクロブロックIMBや参照マクロブロックPMBに基づいて、マクロブロックBMBを動き補償する。動き補償予測部３０は、その動き補償により得られる予測マクロブロックBMB'を、差分算出部３１に供給する。
【００６１】
差分算出部３１は、並べ替え部２２からのマクロブロックPMBと、動き補償予測部３０からの予測マクロブロックPMB'との差分を表す予測残差PMBD(=PMB-PMB')を算出し、出力端子B及び切替スイッチ２３を介して、直交変換部２４に供給する。
【００６２】
また、差分算出部３１は、並べ替え部２２からのマクロブロックBMBと、動き補償予測部３０からの予測マクロブロックBMB'との差分を表す予測残差BMBD(=BMB-BMB')を算出し、出力端子B及び切替スイッチ２３を介して、直交変換部２４に供給する。
【００６３】
可変長符号化部３２は、量子化部２５からの量子化変換係数F(IMB)を可変長符号化し、その結果得られる符号EN(I)を、バッファ部３３に供給して保持させる。
【００６４】
また、可変長符号化部３２は、量子化部２５からの量子化変換係数F(PMBD)、及び動き補償予測部３０からの動きベクトルPMVを可変長符号化し、その結果得られる符号EN(P)を、バッファ部３３に供給して保持させる。
【００６５】
さらに、可変長符号化部３２は、量子化部２５からの量子化変換係数F(BMBD)、及び動き補償予測部３０からの動きベクトルBMVを可変長符号化し、その結果得られる符号EN(B)を、バッファ部３３に供給して保持させる。
【００６６】
バッファ部３３は、可変長符号化部３２からの符号を一時的に保持し、出力端子３４に出力する。
【００６７】
また、バッファ部３３は、可変長符号化部３２からの符号EN(I)に基づいて、符号EN(I)の符号量を表す発生符号量Siを算出し、レート制御部３５に供給する。
【００６８】
バッファ部３３は、同様にして、可変長符号化部３２からの符号EN(P)に基づいて、符号EN(P)の符号量を表す発生符号量Spを算出し、レート制御部３５に供給する。また、バッファ部３３は、可変長符号化部３２からの符号EN(B)に基づいて、符号EN(B)の符号量を表す発生符号量Sbを算出し、レート制御部３５に供給する。
【００６９】
出力端子３４は、バッファ部３３に保持されている符号を、MPEG圧縮符号化の符号化結果として、例えば、図示せぬハードディスク等に出力するための端子である。
【００７０】
レート制御部３５は、例えば、TM5における符号量制御アルゴリズムを用いて、1GOPにおける符号化レートを制御する。具体的には、例えば、レート制御部３５は、1GOPにおける各ピクチャ毎の量子化スケールを算出し、量子化部２５に供給する。
【００７１】
TM5における符号量制御アルゴリズムによるレート制御には、バッファ部３３からレート制御部３５に供給される発生符号量Si,Sp,Sb、及びレート制御部３５において算出された平均量子化スケールQi,Qp,Qbが用いられる。
【００７２】
なお、TM5の詳細は後述する。また、TM5は、特開２００９−１１８０９７号公報や「http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html」等にも記載されている。
【００７３】
さらに、レート制御部３５は、操作部３６からの操作信号に応じて、撮像部２１の状態（例えば、撮像部２１において、速いズームが行われているか等）を検出する。
【００７４】
そして、レート制御部３５は、検出した撮像部２１の状態に基づいて、符号量制御アルゴリズムで用いるパラメータ（後述するR,Kb又はKp等）を変更するようにして、各ピクチャを圧縮符号化する際に目標とされる発生符号量を表す目標符号量を調整する。
【００７５】
すなわち、例えば、レート制御部３５は、撮像部２１の状態として、撮像部２１において急激なズーム等が行われていないことを検出した場合、撮像部２１の撮像により得られるフレーム（ピクチャ）の予測残差が大きくならないと判定する。
【００７６】
レート制御部３５は、予測残差が大きくならないと判定した場合、図２Aに示されるように、Iピクチャの目標符号量Ti及びPピクチャの目標符号量Tpを多くし、Bピクチャの目標符号量Tbを少なくするように、目標符号量Ti,Tp,Tbの算出に用いるパラメータを変更する。
【００７７】
ここで、目標符号量Tiとは、1GOPに含まれるIピクチャを圧縮符号化する際に目標とされる発生符号量Siを表す。また、目標符号量Tpとは、1GOPに含まれるPピクチャを圧縮符号化する際に目標とされる発生符号量Spを表す。さらに、目標符号量Tbとは、1GOPに含まれるBピクチャを符号化する際に目標とされる発生符号量Sbを表す。
【００７８】
また、レート制御部３５は、撮像部２１の状態として、例えば、撮像部２１において急激なズーム等が行われていることを検出した場合、予測残差が大きくなると判定する。
【００７９】
レート制御部３５は、予測残差が大きくなると判定した場合、図２Bに示されるように、Iピクチャの目標符号量Tiを少なくし、Pピクチャの目標符号量Tp及びBピクチャの目標符号量Tbを多くするように、パラメータを変更する。
【００８０】
なお、図２Bに示した目標符号量Tiは、例えば図２Aに示した目標符号量Tiの0.7倍程度とされ、図２Bに示した目標符号量Tpは、例えば図２Aに示した目標符号量Tpの1.1倍程度とされ、図２Bに示した目標符号量Tbは、例えば図２Aに示した目標符号量Tbの1.2倍程度とされる。
【００８１】
レート制御部３５は、パラメータが変更された場合、符号量制御アルゴリズムにおいて、変更後のパラメータを用いた符号量制御アルゴリズムを行う。
【００８２】
すなわち、例えば、レート制御部３５は、TM5における第１のステップにより、上述のパラメータを用いて、1GOPにおける目標符号量Ti，Tp,Tbを算出する。
【００８３】
そして、レート制御部３５は、TM5における第２及び第３のステップにおいて、第１のステップで算出した目標符号量Ti,Tp,Tbに基づいて、符号化対象ピクチャの各マクロブロック毎に量子化スケールmquantjを決定し、量子化部２５に供給する。
【００８４】
つまり、レート制御部３５は、1GOP当りのI,P,Bピクチャが、それぞれ、第１のステップで算出した目標符号量Ti,Tp,Tbで圧縮符号化される量子化スケールmquantjで、量子化部２５による量子化を行わせるようにして、符号化レートを制御する。
【００８５】
操作部３６は、撮像部２１のズーム等を行わせる際に操作されるボタン等により構成され、ユーザにより操作される。操作部３６は、例えば、ユーザにより操作されたことに対応して、対応する操作信号を、レート制御部３５に供給する。
【００８６】
[TM5における第１乃至第３のステップの詳細]
次に、TM5の詳細について説明する。TM5は、以下に示す第１乃至第３のステップにより行われる。
【００８７】
（第１のステップ）1GOPにおいて、1GOP当りのIピクチャに割り当てる目標符号量Ti、1GOP当りのPピクチャに割り当てる目標符号量Tp、及び1GOP当りのBピクチャに割り当てる目標符号量Tbを決定するステップ
（第２のステップ）第１のステップで決定された目標符号量Ti,Tp,Tbに基づいて、符号化対象ピクチャのj番目のマクロブロックにおける便宜的な量子化スケールQjを決定する第２のステップ
（第３のステップ）第２のステップで決定された便宜的な量子化スケールQjに基づいて、最終的な量子化スケールmquantjを決定する第３のステップ
【００８８】
レート制御部３５は、第１のステップにおいて、１ピクチャの圧縮符号化が行われる毎に、Iピクチャを圧縮符号化する際の難易度（global complexity measure）Xi、Pピクチャを圧縮符号化する際の難易度Xp、及びBピクチャを圧縮符号化する際の難易度Xbを更新する。
【００８９】
なお、難易度Xi,Xp,Xbの初期値は、それぞれ、次式（１）乃至（３）により算出される。
Xi=(160×bit_rate)/115      ・・・（１）
Xp=(60×bit_rate)/115       ・・・（２）
Xb=(42×bit_rate)/115       ・・・（３）
【００９０】
ここで、ビットレートbit_rate(bit/s)は、撮像部２１の撮像モードや、出力端子３４から出力される符号をハードディスク等に書き込む際の書き込みレートなどに応じて予め決定されるものであり、可変長符号化部３２から出力される符号の符号化レートを表す。
【００９１】
すなわち、例えば、レート制御部３５は、第１のステップにおいて、Iピクチャの圧縮符号化が行われる毎に、難易度Xiを、次式（４）により更新する。ここで、発生符号量Siは、Iピクチャの圧縮符号化により生成された符号EN(I)の符号量を表す。また、平均量子化スケールQiは、Iピクチャを構成する各マクロブロックIMBを量子化する際に用いた量子化スケールの平均を表す。
Xi = Si×Qi              ・・・（４）
【００９２】
また、例えば、レート制御部３５は、第１のステップにおいて、Pピクチャの圧縮符号化が行われる毎に、難易度Xpを、次式（５）により更新する。ここで、発生符号量Spは、Pピクチャの圧縮符号化により生成された符号EN(P)の符号量を表す。また、平均量子化スケールQpは、Pピクチャを構成する各マクロブロックの予測残差PMBDを量子化する際に用いた量子化スケールの平均を表す。
Xp = Sp×Qp              ・・・（５）
【００９３】
さらに、例えば、レート制御部３５は、第１のステップにおいて、Bピクチャの圧縮符号化が行われる毎に、難易度Xbを、次式（６）により更新する。ここで、発生符号量Sbは、Bピクチャの圧縮符号化により生成された符号EN(B)の符号量を表す。また、平均量子化スケールQbは、Bピクチャを構成する各マクロブロックの予測残差BMBDを量子化する際に用いた量子化スケールの平均を表す。
Xb = Sb×Qb              ・・・（６）
【００９４】
また、レート制御部３５は、第１のステップにおいて、１枚のピクチャが圧縮符号化される毎に、1GOPを圧縮符号化する際に目標とされる符号量を表すGOP目標符号量Rを更新する。なお、GOP目標符号量Rは、次式（７）により表される。
R = G + Rpre              ・・・（７）
【００９５】
ここで、初期目標符号量Gは、1GOPを構成するピクチャの枚数をNとすれば、例えば、G = N×bit_rate/picture_rateと表される。また、GOP目標符号量Rpreは、前回の1GOPにおけるGOP目標符号量Rの残り（余り）を表す。なお、GOP目標符号量Rpreの初期値は０とされる。さらに、ピクチャレートpicture_rate(pic/s)は、撮像部２１の撮像モードや、出力端子３４から出力される符号をハードディスク等に書き込む際の書き込みレートなどに応じて予め決定されるものであり、可変長符号化部３２から出力される符号に対応する各ピクチャのピクチャレートを表す。
【００９６】
すなわち、例えば、レート制御部３５は、第１のステップにおいて、Iピクチャの圧縮符号化が行われる毎に、GOP目標符号量Rから、Iピクチャを圧縮符号化して得られる符号EN(I)の発生符号量Siを減算して、GOP目標符号量Rを更新する。
【００９７】
また、例えば、レート制御部３５は、第１のステップにおいて、Pピクチャの圧縮符号化が行われる毎に、GOP目標符号量Rから、Pピクチャを圧縮符号化して得られる符号EN(P)の発生符号量Spを減算して、GOP目標符号量Rを更新する。
【００９８】
さらに、例えば、レート制御部３５は、第１のステップにおいて、Bピクチャの圧縮符号化が行われる毎に、GOP目標符号量Rから、Bピクチャを圧縮符号化して得られる符号EN(B)の発生符号量Sbを減算して、GOP目標符号量Rを更新する。
【００９９】
そして、レート制御部３５は、第１のステップにおいて、難易度Xi,Xp,Xb及びGOP目標符号量Rを更新後、次式（８）により、目標符号量Tiを算出する。
Ti = max{R/(1+((Np×Xp)/(Xi×Xp))+((Nb×Xb)/(Xi×Kb))),bit_rate/(8×picture_rate)}                  ・・・（８）
【０１００】
なお、残り枚数Npは、1GOPにおいて、まだ圧縮符号化されていないPピクチャの残り枚数を表す。また、残り枚数Nbは、1GOPにおいて、まだ圧縮符号化されていないBピクチャの残り枚数を表す。さらに、定数Kbは、例えば1.4とされる。
【０１０１】
レート制御部３５は、第１のステップにおいて、難易度Xi,Xp,Xb及びGOP目標符号量Rを更新後、同様にして、次式（９）及び（１０）により、目標符号量Tp及び目標符号量Tbを算出する。なお、定数Kpは、例えば1.0とされる。
Tp = max{R/(Np+((Nb×Kp×Xb)/(Kb×Xp))),bit_rate/(8×picture_rate)}                                ・・・（９）
Tb = max{R/(Nb+((Np×Kb×Xp)/(Kp×Xb))),bit_rate/(8×picture_rate)}                              ・・・（１０）
【０１０２】
これにより、レート制御部３５における第１のステップは終了される。
【０１０３】
レート制御部３５は、第２のステップにおいて、次式（１１）により、j番目のマクロブロックIMBにおける便宜的な量子化スケールQjを算出する。
Qj=(dj×31/r)        ・・・（１１）
【０１０４】
ここで、r=2×bit_rate/picture_rateであり、dj=d0i+Bj-1-(Ti×(j-1)/MB_cnt)とされ、d0i=10×r/31とされる。なお、MB_cntは、1ピクチャにおけるマクロブロックの総数を表す。また、例えば、発生符号量Bj-1は、ラスタスキャン順でj-1番目までのマクロブロックIMBにおいて発生した符号量を表す。
【０１０５】
さらに、レート制御部３５は、第２のステップにおいて、j番目のマクロブロックPMBにおける便宜的な量子化スケールQjを算出する場合にも同様にして、式（１１）により量子化スケールQjを算出する。この場合、dj=d0p+Bj-1-(Tp×(j-1)/MB_cnt)とされ、d0p=Kp×d0iとされる。
【０１０６】
また、レート制御部３５は、第２のステップにおいて、j番目のマクロブロックBMBにおける便宜的な量子化スケールQjを算出する場合にも同様にして、式（１１）により量子化スケールQjを算出する。この場合、dj=d0b+Bj-1-(Tb×(j-1)/MB_cnt)とされ、d0b=Kb×d0iとされる。
【０１０７】
これにより、レート制御部３５における第２のステップは終了される。
【０１０８】
レート制御部３５は、第２のステップの終了後、第３のステップにおいて、次式（１２）により、マクロブロックIMB毎に、j番目のマクロブロックIMBにおける画像の複雑さを表す空間アクティビティactjを算出する。
actj = 1+min(vblk1,vblk2,…,vblk8)                                                              ・・・（１２）
【０１０９】
ここで、vblnknは、次式（１３）により表される。
vblnkn = (1/64)×Σ64k=1(Pnk  P_meank)2                                      ・・・（１３）
【０１１０】
また、P_meankは次式（１４）により表される。
P_meank = (1/64)×Σ64k=1Pnk                                                                      ・・・（１４）
【０１１１】
なお、Pnkは、マクロブロックIMBにおけるn番目の８×８画素のブロックの各画素のうち、k番目の画素の画素値を表す。
【０１１２】
また、レート制御部３５は、第３のステップにおいて、空間アクティビティactjを次式（１５）により正規化し、正規化後の空間アクティビティN_actjを算出する。
N_actj = {(2×actj)+avg_act}/{actj+(2×avg_act)}                                              ・・・（１５）
【０１１３】
なお、avg_actは、直前に圧縮符号化されたピクチャ（例えば、いまの場合、マクロブロックIMBにより構成されるIピクチャの直前に圧縮符号化されたピクチャ）を構成する各マクロブロックの空間アクティビティactjの平均を表す。また、圧縮符号化されたピクチャが未だ存在しない場合、avg_actは例えば400とされる。
【０１１４】
そして、レート制御部３５は、第３のステップにおいて、次式（１６）により、j番目のマクロブロックIMBを量子化する際に用いる量子化スケールmquantjを算出する。
mquantj = Qj × N_actj・・・（１６）
【０１１５】
また、レート制御部３５は、同様にして、第３のステップにおいて、j番目のマクロブロックPMBに対応する予測残差PMBDを量子化する際に用いる量子化スケール、及びj番目のマクロブロックBMBに対応する予測残差BMBDを量子化する際に用いる量子化スケールを算出する。
【０１１６】
[デジタルビデオカメラ１の動作説明]
次に、図３のフローチャートを参照して、デジタルビデオカメラ１が行う圧縮符号化処理について説明する。
【０１１７】
この圧縮符号化処理は、例えば、ユーザが、操作部３６を用いて、撮像部２１の撮像を開始するための操作を行ったときに開始される。
【０１１８】
ステップＳ１において、撮像部２１は、被写体を撮像し、その撮像により得られるフレーム（画像）を、並べ替え部２２に供給する。
【０１１９】
ステップＳ２において、並べ替え部２２は、撮像部２１から表示の順序で供給されるフレームとしてのピクチャを、GOP（Group of Picture）構造に応じて、圧縮のためのピクチャの順序に並べ替える。
【０１２０】
ステップＳ３において、並べ替え部２２は、並べ替えたピクチャの順序に応じて、各ピクチャを順次、注目ピクチャにする。
【０１２１】
ステップＳ４において、レート制御部３５は、注目ピクチャを構成する各マクロブロックの量子化スケールを算出するレート制御処理を行い、その結果得られる量子化スケールを、量子化部２５に供給する。なお、レート制御処理の詳細は、図４のフローチャートを参照して詳述する。
【０１２２】
ステップＳ５において、並べ替え部２２は、並べ替えたピクチャの順序に応じて、注目ピクチャがIピクチャであるか否かを判別し、注目ピクチャがIピクチャあると判別した場合、処理をステップＳ６に進める。
【０１２３】
ステップＳ６において、並べ替え部２２は、切替スイッチ２３の一端を接続端子Aに接続させ、接続スイッチ２９を接続端子Cに接続させないようにする。そして、並べ替え部２２は、注目ピクチャとしてのIピクチャを、複数のマクロブロックIMBに分割し、接続端子A及び切替スイッチ２３を介して直交変換部２４に供給する。
【０１２４】
ステップＳ７において、直交変換部２４は、並べ替え部２２から接続端子A及び切替スイッチ２３を介して供給されるマクロブロックIMBに対して、例えばDCT（discrete cosine transform、離散コサイン変換）等の直交変換を施し、その結果得られる変換係数f(IMB)を量子化部２５に供給する。
【０１２５】
なお、直交変換部２４は、注目ピクチャがＰピクチャである場合、差分算出部３１から接続端子Ｂを介して供給される予測残差PMBDに対して直交変換を施し、その結果得られる変換係数f(PMBD)を量子化部２５に供給する。また、直交変換部２４は、注目ピクチャがＢピクチャである場合、差分算出部３１から接続端子Ｂを介して供給される予測残差BMBDに対して直交変換を施し、その結果得られる変換係数f(BMBD)を量子化部２５に供給する。
【０１２６】
ステップＳ８において、量子化部２５は、レート制御部３５からの、マクロブロックIMBに対応する量子化スケールに基づいて、直交変換部２４からの変換係数f(IMB)を量子化する。そして、量子化部２５は、その結果得られる量子化変換係数F(IMB)を、逆量子化部２６及び可変長符号化部３２に供給する。
【０１２７】
なお、量子化部２５は、注目ピクチャがＰピクチャである場合、レート制御部３５からの、マクロブロックPMB（の予測残差PMBD）に対応する量子化スケールに基づいて、直交変換部２４からの変換係数f(PMB)を量子化する。そして、量子化部２５は、その結果得られる量子化変換係数F(PMB)を、逆量子化部２６及び可変長符号化部３２に供給する。
【０１２８】
また、量子化部２５は、注目ピクチャがＢピクチャである場合、レート制御部３５からの、マクロブロックBMB（の予測残差BMBD）に対応する量子化スケールに基づいて、直交変換部２４からの変換係数f(BMB)を量子化する。そして、量子化部２５は、その結果得られる量子化変換係数F(BMB)を、可変長符号化部３２に供給する。
【０１２９】
ステップＳ９において、可変長符号化部３２は、量子化部２５からの量子化変換係数F(IMB)を可変長符号化し、その結果得られる符号EN(I)を、バッファ部３３に供給して保持させる。
【０１３０】
なお、可変長符号化部３２は、注目ピクチャがＰピクチャである場合、量子化部２５からの量子化変換係数F(PMB)、及び動き補償予測部３０からの動きベクトルPMVを可変長符号化し、その結果得られる符号EN(P)を、バッファ部３３に供給して保持させる。また、可変長符号化部３２は、注目ピクチャがＢピクチャである場合、量子化部２５からの量子化変換係数F(BMB)、及び動き補償予測部３０からの動きベクトルBMVを可変長符号化し、その結果得られる符号EN(B)を、バッファ部３３に供給して保持させる。
【０１３１】
ステップＳ１０において、バッファ部３３は、可変長符号化部３２からの符号EN(I)に基づいて、符号EN(I)の発生符号量Siを算出し、レート制御部３５に供給する。
【０１３２】
なお、バッファ部３３は、注目ピクチャがＰピクチャである場合、可変長符号化部３２からの符号EN(P)に基づいて、符号EN(P)の発生符号量Spを算出し、レート制御部３５に供給する。また、バッファ部３３は、注目ピクチャがＢピクチャである場合、可変長符号化部３２からの符号EN(B)に基づいて、符号EN(B)の発生符号量Sbを算出し、レート制御部３５に供給する。
【０１３３】
ステップＳ１１において、逆量子化部２６は、量子化部２５からの量子化変換係数F(IMB)を逆量子化し、その結果得られる変換係数f(IMB)を、逆直交変換部２７に供給する。
【０１３４】
なお、逆量子化部２６は、注目ピクチャがＰピクチャである場合、量子化部２５からの量子化変換係数F(PMB)を逆量子化し、その結果得られる変換係数f(PMB)を、逆直交変換部２７に供給する。また、注目ピクチャがＢピクチャである場合、ステップＳ１１乃至ステップＳ１３の処理はスキップされる。
【０１３５】
ステップＳ１２において、逆直交変換部２７は、逆量子化部２６からの変換係数f(IMB)を逆直交変換し、その結果得られるマクロブロックIMBを、加算部２８を介して、動き補償予測部３０に供給する。
【０１３６】
なお、逆直交変換部２７は、注目ピクチャがＰピクチャである場合、逆量子化部２６からの変換係数f(PMB)を逆直交変換し、その結果得られるマクロブロックPMBの予測残差PMBDを、加算部２８に供給する。
【０１３７】
加算部２８は、逆直交変換部２７からの予測残差PMBD(=PMB-PMB')と、動き補償予測部３０から接続スイッチ２９を介して供給される予測マクロブロックPMB'との対応する画素値どうしを加算する。そして、加算部２８は、その加算により得られるマクロブロックPMBを、動き補償予測部３０に供給する。
【０１３８】
ステップＳ１３において、動き補償予測部３０は、内蔵するフレームメモリ３０aに、逆直交変換部２７から加算部２８を介して供給されるマクロブロックIMBを、予測マクロブロックPMB'又はBMB'を生成するために参照される参照マクロブロックとして保持する。
【０１３９】
なお、動き補償予測部３０は、注目ピクチャがＰピクチャである場合、内蔵するフレームメモリ３０aに、加算部２８から供給されるマクロブロックPMBを、予測マクロブロックBMB'を生成するために参照される参照マクロブロックとして保持する。
【０１４０】
ステップＳ１４において、並べ替え部２２は、1GOPを構成する各ピクチャ全てを注目ピクチャとしたか否かを判別し、1GOPを構成する各ピクチャ全てを注目ピクチャとしていないと判別した場合、処理をステップＳ３に戻す。
【０１４１】
そして、ステップＳ３では、並べ替え部２２は、1GOPを構成する各ピクチャのうち、まだ注目ピクチャとされていないピクチャを、新たな注目ピクチャとし、処理をステップＳ４に進める。
【０１４２】
ステップＳ４では、レート制御部３５は、操作部３６からの操作信号の他、直前のステップＳ１０の処理により、バッファ部３３から供給される発生符号量Si等に基づいて、レート制御処理を行い、ステップＳ５以降において、同様の処理が行われる。
【０１４３】
また、ステップＳ１４において、並べ替え部２２は、1GOPを構成する各ピクチャ全てを注目ピクチャとしたと判別した場合、処理をステップＳ２に戻して、それ以降同様の処理が行われる。
【０１４４】
なお、ステップＳ５において、並べ替え部２２は、注目ピクチャがIピクチャではないと判別した場合、処理をステップＳ１５に進める。
【０１４５】
ステップＳ１５では、並べ替え部２２は、例えば、注目ピクチャがPピクチャであると判別した場合、切替スイッチ２３の一端を接続端子Bに接続させ、接続スイッチ２９を接続端子Cに接続させる。
【０１４６】
そして、並べ替え部２２は、注目ピクチャとしてのPピクチャを、複数のマクロブロックPMBに分割し、動き補償予測部３０及び差分算出部３１に供給する。
【０１４７】
ステップＳ１６では、動き補償予測部３０は、フレームメモリ３０aに保持されている参照マクロブロックIMBに基づいて、並べ替え部２２からのマクロブロックPMBの動きを表す動きベクトルPMVを検出し、可変長符号化部３２に供給する。
【０１４８】
また、例えば、動き補償予測部３０は、検出した動きベクトルPMV、及びフレームメモリ３０aに保持されている参照マクロブロックIMB基づいて、マクロブロックPMBを動き補償する。そして、動き補償予測部３０は、その結果得られる予測マクロブロックPMB'を、接続スイッチ２９及び差分算出部３１に供給する。
【０１４９】
ステップＳ１７では、差分算出部３１は、並べ替え部２２からのマクロブロックPMBと、動き補償予測部３０からの予測マクロブロックPMB'との差分を表す予測残差PMBD(=PMB-PMB')を算出し、出力端子B及び切替スイッチ２３を介して、直交変換部２４に供給し、処理はステップＳ７に進められる。
【０１５０】
ステップＳ７において、直交変換部２４は、差分算出部３１から接続端子B及び切替スイッチ２３を介して供給される予測残差PMBDに対して、直交変換を施し、その結果得られる変換係数f(PMBD)を量子化部２５に供給し、それ以降、同様の処理が行われる。
【０１５１】
なお、ステップＳ１５において、並べ替え部２２は、例えば、注目ピクチャがBピクチャであると判別した場合、切替スイッチ２３の一端を接続端子Bに接続させ、接続スイッチ２９を接続端子Cに接続させる。
【０１５２】
そして、並べ替え部２２は、注目ピクチャとしてのBピクチャを、複数のマクロブロックBMBに分割し、動き補償予測部３０及び差分算出部３１に供給する。
【０１５３】
ステップＳ１６において、動き補償予測部３０は、フレームメモリ３０aに保持されている参照マクロブロックIMBや参照マクロブロックPMBに基づいて、並べ替え部２２からのマクロブロックBMBの動きを表す動きベクトルBMVを検出し、可変長符号化部３２に供給する。
【０１５４】
また、例えば、動き補償予測部３０は、検出した動きベクトルBMV、フレームメモリ３０aに保持されている参照マクロブロックIMBや参照マクロブロックPMB基づいて、マクロブロックBMBを動き補償する。そして、動き補償予測部３０は、その結果得られる予測マクロブロックBMB'を、差分算出部３１に供給する。
【０１５５】
ステップＳ１７では、差分算出部３１は、並べ替え部２２からのマクロブロックBMBと、動き補償予測部３０からの予測マクロブロックBMB'との差分を表す予測残差BMBD(=BMB-BMB')を算出し、出力端子B及び切替スイッチ２３を介して、直交変換部２４に供給して、処理をステップＳ７に進める。
【０１５６】
ステップＳ７において、直交変換部２４は、差分算出部３１から接続端子B及び切替スイッチ２３を介して供給される予測残差BMBDに対して、直交変換を施し、その結果得られる変換係数f(BMBD)を量子化部２５に供給し、それ以降、同様の処理が行われる。
【０１５７】
なお、この圧縮符号化処理は、例えば、ユーザが、操作部３６を用いて、撮像部２１の撮像を停止するための操作を行ったときに終了される。
【０１５８】
[レート制御処理の詳細]
次に、図４のフローチャートを参照して、図３のステップＳ４におけるレート制御処理の詳細を説明する。
【０１５９】
ステップＳ３１において、レート制御部３５は、操作部３６からの操作信号に基づいて、注目ピクチャを撮像時の撮像部２１の状態を検出する。
【０１６０】
すなわち、例えば、ユーザが、操作部３６を用いて、撮像部２１によるズームを行わせるズーム操作を行った場合、操作部３６は、ユーザのズーム操作に対応する操作信号をレート制御部３５に供給する。
【０１６１】
そして、レート制御部３５は、操作部３６からの操作信号に基づいて、注目ピクチャを撮像時の撮像部２１におけるズームの状態（例えば、どのくらいの速さでズームが行われているか等）を検出する。
【０１６２】
なお、レート制御部３５は、操作部３６から操作信号が供給されない場合、注目ピクチャの撮像時の撮像部２１において、例えば、ズーム等が行われていない状態であるとして、撮像部２１の状態を検出する。
【０１６３】
ところで、ステップＳ３１では、レート制御部３５は、操作部３５からの操作信号に基づいて、撮像部２１の状態を検出するようにしたが、撮像部２１の状態を検出する検出方法は、これに限定されない。すなわち、例えば、撮像部２１が、注目ピクチャを撮像時の状態を表す撮像時情報を生成してレート制御部３５に供給するようにし、レート制御部３５は、撮像部２１から供給される撮像時情報に基づいて、撮像部２１の状態を検出するようにしてもよい。
【０１６４】
ステップＳ３２では、レート制御部３５は、検出したズームの状態に基づいて、予め決められた所定の閾値th1以上の速さで行われる速いズームが開始されたか否かを判定する。
【０１６５】
レート制御部３５は、検出したズームの状態に基づいて、速いズームが開始されたと判定した場合、処理をステップＳ３３に進める。
【０１６６】
ステップＳ３３では、レート制御部３５は、現在のパラメータR,Kb又はKpの少なくとも１つを変更するようにして、参照フレーム（を構成する参照マクロブロック）を参照して圧縮符号化されるPピクチャ及びBピクチャそれぞれの目標符号量Tp及びTbが多くなるように調整する。
【０１６７】
そして、ステップＳ３４では、レート制御部３５は、ステップＳ３３の処理で変更されたパラメータR,Kb又はKp等を用いて、TM5による第１のステップにより、注目ピクチャの目標符号量Tを算出する。すなわち、例えば、レート制御部３５は、注目ピクチャがIピクチャである場合、式（１）又は式（４）により、目標符号量Tiを算出する。
【０１６８】
なお、ステップＳ３４では、パラメータR,Kb又はKpが、ステップＳ３３の処理で変更されたことに対応して、レート制御部３５は、注目ピクチャがIピクチャである場合、図２Bに示されるような目標符号量Tiを算出することとなる。
【０１６９】
また、レート制御部３５は、注目ピクチャがPピクチャである場合には、図２Bに示されるような目標符号量Tpを算出し、注目ピクチャがBピクチャである場合には、図２Bに示されるような目標符号量Tbを算出することとなる。
【０１７０】
ステップＳ３５では、レート制御部３５は、ステップＳ３４で算出された目標符号量Tに基づいて、TM5における第２及び第３のステップにより、注目ピクチャにおける量子化スケールを算出し、量子化部２５に供給する。
【０１７１】
なお、ステップＳ３２において、レート制御部３５は、検出したズームの状態に基づいて、速いズームが開始されていないと判定した場合、処理をステップＳ３６に進め、ステップＳ３６及びステップＳ３７をスキップして、処理をステップＳ３４に進める。
【０１７２】
ステップＳ３４では、レート制御部３５は、現在のパラメータR,Kb又はKp等を用いて、TM5による第１のステップにより、注目ピクチャの目標符号量Tを算出して、それ以降、同様の処理が行われる。
【０１７３】
また、ステップＳ３２において、レート制御部３５は、速いズームが開始されたとの判定後、速いズームが終了されたと判定されてステップＳ３７の処理が行われるまで、処理をステップＳ３６に進める。
【０１７４】
ステップＳ３６において、レート制御部３５は、検出したズームの状態に基づいて、速いズームが終了されたか否かを判定する。
【０１７５】
そして、レート制御部３５は、検出したズームの状態に基づいて、速いズームが終了されておらず、速いズームが行われていると判定した場合、処理をステップＳ３４に進める。
【０１７６】
ステップＳ３４では、レート制御部３５は、速いズームが開始されたときにステップＳ３３の処理で変更済みのパラメータR,Kb又はKp等を用いて、TM5による第１のステップにより、注目ピクチャの目標符号量Tを算出して、処理をステップＳ３５に進める。
【０１７７】
これにより、速いズームが行われている場合には、ステップＳ３４において、レート制御部３５は、参照フレームを参照して圧縮符号化されるPピクチャ及びBピクチャそれぞれの目標符号量Tp及びTbを、多めに算出することとなる。
【０１７８】
また、ステップＳ３６において、レート制御部３５は、検出したズームの状態に基づいて、速いズームが終了されたと判定した場合、処理をステップＳ３７に進める。
【０１７９】
ステップＳ３７では、レート制御部３５は、現在のパラメータR,Kb又はKpの少なくとも１つを変更するようにして、参照フレームとして参照されるIピクチャ及びPピクチャそれぞれの目標符号量Ti及びTpが多くなるように調整して、処理をステップＳ３４に進める。
【０１８０】
そして、ステップＳ３４では、レート制御部３５は、ステップＳ３７の処理で変更されたパラメータR,Kb又はKp等を用いて、TM5による第１のステップにより、注目ピクチャの目標符号量Tを算出する。
【０１８１】
すなわち、例えば、ステップＳ３４では、パラメータR,Kb又はKpが、ステップＳ３７の処理で変更されたことに対応して、レート制御部３５は、注目ピクチャがIピクチャである場合、図２Aに示されるような目標符号量Tiを算出する。
【０１８２】
また、レート制御部３５は、注目ピクチャがPピクチャである場合、図２Aに示されるような目標符号量Tpを、注目ピクチャがBピクチャである場合、図２Aに示されるような目標符号量Tbをそれぞれ算出することとなる。
【０１８３】
これにより、速いズームが終了した場合には、ステップＳ３４において、レート制御部３５は、参照フレームとして参照されるIピクチャ及びPピクチャそれぞれの目標符号量Ti及びTpを多めに算出することとなる。
【０１８４】
ステップＳ３４の処理の終了後、処理はステップＳ３４に進められ、それ以降、同様の処理が行われる。
【０１８５】
以上で、レート制御処理は終了され、処理は、図３のステップＳ４にリターンされてステップＳ５に進められる。
【０１８６】
以上説明したように、圧縮符号化処理におけるレート制御処理によれば、撮像部２１において、速いズームが行われている場合、レート制御部３５は、参照フレームを参照して圧縮符号化されるPピクチャ及びBピクチャそれぞれの目標符号量Tp及びTbを多めに算出するようにした。
【０１８７】
このため、撮像部２１において、速いズームが行われているために、予測残差PMB及びBMBが大きくなる場合でも、例えば、量子化時におけるPピクチャ及びBピクチャにおける画像情報の損失を抑制することができるようになるので、復号時における画質の劣化を抑止することが可能となる。
【０１８８】
また、例えば、撮像部２１において、速いズームが行われていないために、予測残差PMB及びBMBが小さくなる場合には、レート制御部３５は、参照フレームとして参照されるIピクチャ及びPピクチャそれぞれの目標符号量Ti及びTpを多めに算出するようにした。
【０１８９】
このため、参照フレームとして参照されるIピクチャ及びPピクチャにおいて、量子化時における画像情報の損失を抑制することができるようになる。また、そのような参照フレームを参照して圧縮符号化されるPピクチャ及びBピクチャそれぞれの予測残差PMB及びBMBを、より小さくすることができるようになり、ひいては復号時における画質の劣化を抑止することが可能となる。
【０１９０】
＜２．変形例＞
本実施の形態では、注目ピクチャの撮像時における撮像部２１のズームの状態に応じて、目標符号量Ti,Tp,Tbを調整するようにしたが、目標符号量Ti,Tp,Tbを調整する際に参照される撮像部２１の状態は、これに限定されない。
【０１９１】
すなわち、例えば、注目ピクチャの撮像時における撮像部２１の状態としては、撮像部２１のズームの状態、撮像部２１のフォーカスの状態（例えば、フォーカスの変更が行われているか等）、撮像部２１の移動（パン、チルト、手振れ等）時の状態（例えば、移動した速さ等）、撮像部２１の露出の状態（例えば、露出が行われているか等）等の少なくとも１つを採用することができる。
【０１９２】
これらの状態は、例えば、操作部３６からの操作信号に応じて、レート制御部３５により検出される。また、撮像部２１が移動したときの状態については、撮像部２１に加速度センサなどを設けるようにしておき、撮像部２１に設けられた加速度センサで検出された加速度から、撮像部２１が移動したときの状態（例えば、移動時の速さ等）を算出するようにしてもよい。
【０１９３】
具体的には、例えば、撮像部２１のフォーカスの状態を、撮像部２１の状態として採用する場合、ステップＳ３１において、フォーカスの状態が検出される。そして、検出したフォーカスの状態に応じて、ステップＳ３２では、フォーカスの変更が開始されたか否かが判定され、ステップＳ３６では、フォーカスの変更が終了されたか否かが判定される。この場合、フォーカスの変更が開始されたと判定された場合、ステップＳ３３の処理が行われ、フォーカスの変更が終了されたと判定された場合、ステップＳ３７の処理が行われる。
【０１９４】
また、例えば、撮像部２１の移動時の状態を、撮像部２１の状態として採用する場合、ステップＳ３１において、撮像部２１の移動時の状態が検出される。そして、撮像部２１の移動時の状態に応じて、ステップＳ３２では、予め決められた所定の閾値th2以上の速さでの撮像部２１の移動が開始されたかが判定され、ステップＳ３６では、所定の閾値th2以上の速さでの移動が終了されたかが判定される。この場合、所定の閾値th2以上の速さでの移動が開始されたと判定された場合、ステップＳ３３の処理が行われ、所定の閾値th2以上の速さでの移動が終了されたと判定された場合、ステップＳ３７の処理が行われる。
【０１９５】
さらに、例えば、撮像部２１の露出の状態を、撮像部２１の状態として採用する場合、ステップＳ３１において、撮像部２１の露出の状態が検出される。そして、露出の状態に応じて、ステップＳ３２では、露出の変更が開始されたか否かが判定され、ステップＳ３６では、露出の変更が終了されたか否かが判定される。この場合、露出の変更が開始されたと判定された場合、ステップＳ３３の処理が行われ、露出の変更が終了されたと判定された場合、ステップＳ３７の処理が行われる。
【０１９６】
なお、例えば、撮像部２１の状態として、複数の状態を採用する場合、ステップＳ３２において、複数の状態毎に、ステップＳ３３の処理を実行すべきか否かを判定する。そして、複数の状態のいずれか１つの状態に基づいて、ステップＳ３３の処理を実行すべきとの判定結果を得た場合、ステップＳ３３の処理を実行する。
【０１９７】
具体的には、例えば、ステップＳ３２では、撮像部２１による処理（例えば、速いズーム、フォーカスの変更、撮像部２１の移動、又は露出の変更等の少なくとも１つの処理）が開始されたと判定された場合に、ステップＳ３３の処理が行われる。
【０１９８】
そして、ステップＳ３６では、撮像部２１において開始された処理の全てが終了したと判定された場合（例えば、速いズーム、フォーカスの変更、撮像部２１の移動、又は露出の変更等のいずれも行われていないと判定された場合）に、処理はステップＳ３７に進められることとなる。
【０１９９】
本実施の形態において、デジタルビデオカメラ１は、MPEG符号化方式を用いて、フレームを圧縮符号化するようにしたが、フレームの圧縮符号化方法は、MPEG符号化方式に限定されず、例えば、AVC（advanced video coding）等を用いるようにしてもよい。
【０２００】
なお、AVCにおいては、例えば、Iピクチャ、Pピクチャの他に、Bピクチャも参照フレームとされる。この場合、図４のステップＳ３３では、目標符号量Tiが少なくなり、目標符号量Tp,Tbのいずれも多くなるように、パラメータが変更される。そして、図４のステップＳ３７では、目標符号量Ti,Tp,Tbのいずれも多くなるように、パラメータが変更される。
【０２０１】
また、フレームの他、フィールドを対象として圧縮符号化するようにすることができる。
【０２０２】
本実施の形態では、効率的に可変長符号化できるように、直交変換を行うようにして、変換係数に偏りが生じるようにしたが、変換係数に偏りを生じさせるための処理は、直交変換に限定されない。
【０２０３】
すなわち、例えば、直交変換に代えて、画素の予測値を周囲の画素から算出し、予測値と画素の画素値との差分を、変換係数として算出するDPCM(differential pulse code modulation)符号化を行うようにしてもよい。なお、予測値は、各画素の差分に偏りが生じる値とされる。
【０２０４】
また、本実施の形態では、レート制御部３５が、TM5によるアルゴリズムにより量子化スケールを算出するようにした。しかしながら、量子化スケールを算出するためのアルゴリズムは、TM5に限定されず、他のアルゴリズムを採用することができる。
【０２０５】
本実施の形態では、本技術をデジタルビデオカメラに適用した場合を説明したが、本技術は、その他の電子機器に適用することができる。すなわち、本技術は、撮像により得られた画像を、少なくとも予測残差として圧縮符号化するものであれば、どのような装置にも適用することができる。
【０２０６】
なお、本技術は以下のような構成もとることができる。
（１）符号化の対象とされる符号化対象画像の撮像時における撮像部の状態に基づいて、前記符号化対象画像を符号化したときの符号量の目標とされる目標符号量を調整する調整部と、調整された前記目標符号量に応じて、前記符号化対象画像を符号化する符号化部とを含む符号化装置。
（２）前記調整部は、前記撮像部の状態に基づいて、前記符号化対象画像を予測して得られる予測画像を参照して符号化される第１の前記符号化対象画像、又は前記予測画像として参照される第２の前記符号化対象画像の一方に多くの前記目標符号量を割り当てるように調整する前記（１）に記載の符号化装置。
（３）前記調整部は、前記符号化対象画像の撮像時における前記撮像部のズームの状態に基づいて、前記目標符号量を調整する前記（２）に記載の符号化装置。
（４）前記調整部は、前記ズームが所定の閾値以上の速さで行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記所定の閾値以上の速さで行われている前記ズームが終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する前記（３）に記載の符号化装置。
（５）前記調整部は、前記符号化対象画像の撮像時における前記撮像部のフォーカスの状態に基づいて、前記目標符号量を調整する前記（２）に記載の符号化装置。
（６）前記調整部は、前記フォーカスの変更が行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記フォーカスの変更が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する前記（５）に記載の符号化装置。
（７）前記調整部は、前記符号化対象画像の撮像時における前記撮像部の移動時の状態に基づいて、前記目標符号量を調整する前記（２）に記載の符号化装置。
（８）前記調整部は、前記撮像部が所定の閾値以上の速さで移動している場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記所定の閾値以上の速さで行われている前記撮像部の移動が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する前記（７）に記載の符号化装置。
（９）前記調整部は、前記符号化対象画像の撮像時における前記撮像部の露出の状態に基づいて、前記目標符号量を調整する前記（２）に記載の符号化装置。
（１０）前記調整部は、前記露出の変更が行われている場合、前記第１の符号化対象画像に多くの前記目標符号量を割り当てるように調整し、前記露出の変更が終了した場合、前記第２の符号化対象画像に多くの前記目標符号量を割り当てるように調整する前記（９）に記載の符号化装置。
（１１）前記撮像部に対するユーザ操作に応じて、前記符号化対象画像の撮像時における撮像部の状態を検出する検出部をさらに含み、前記調整部は、検出された前記撮像部の状態に基づいて、前記目標符号量を調整する前記（２）乃至（１０）に記載の符号化装置。
【０２０７】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０８】
[コンピュータの構成例]
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０９】
CPU（Central Processing Unit）５１は、ROM（Read Only Memory）５２、又は記憶部５８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５３には、CPU５１が実行するプログラムやデータ等が適宜記憶される。これらのCPU５１、ROM５２、及びRAM５３は、バス５４により相互に接続されている。
【０２１０】
CPU５１にはまた、バス５４を介して入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウス、マイクロホン等よりなる入力部５６、ディスプレイ、スピーカ等よりなる出力部５７が接続されている。CPU５１は、入力部５６から入力される指令に対応して各種の処理を実行する。そして、CPU５１は、処理の結果を出力部５７に出力する。
【０２１１】
入出力インタフェース５５に接続されている記憶部５８は、例えばハードディスクからなり、CPU５１が実行するプログラムや各種のデータを記憶する。通信部５９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２１２】
また、通信部５９を介してプログラムを取得し、記憶部５８に記憶してもよい。
【０２１３】
入出力インタフェース５５に接続されているドライブ６０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア６１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部５８に転送され、記憶される。
【０２１４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア６１、又は、プログラムが一時的もしくは永続的に格納されるROM５２や、記憶部５８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部５９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２１５】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２１６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２１７】
なお、本開示は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２１８】
１  デジタルビデオカメラ，  ２１  撮像部，  ２２  並べ替え部，  ２３  切替スイッチ，  ２４  直交変換部，  ２５  量子化部，  ２６  逆量子化部，  ２７  逆直交変換部，  ２８  加算部，  ２９  接続スイッチ，  ３０  動き補償予測部，  ３０a  フレームメモリ，  ３１  差分算出部，  ３２  可変長符号化部，  ３３  バッファ，  ３４  出力端子，  ３５  レート制御部，  ３６  操作部
【図１】
2012244542.tif 000003
【図２】
2012244542.tif 000004
【図３】
2012244542.tif 000005
【図４】
2012244542.tif 000006
【図５】
2012244542.tif 000007