(57)【特許請求の範囲】
【請求項１】
所定の動画像を、画面内予測符号化を用いて生成する第１ピクチャおよび画面間予測符号化を用いて生成する第２ピクチャを混合させて、符号化する符号化部と、
前記第２ピクチャから前記第１ピクチャへの切り替わりの際に生じる画質変動が小さくなるように、前記第１ピクチャと前記第２ピクチャとの混合比率を変化させるために前記符号化部を制御する制御部と、
を備え、
前記制御部は、前記第１ピクチャと第２ピクチャとの混合比率を変化させる条件として、可変制御される量子化スケールが第１閾値を上回るか否か、隣接するピクチャ間における画像の相関度が第２閾値を下回るか否か、特定ピクチャ内における複数の動きベクトルの相関度が第３閾値を下回るか否か、および隣接する前記第１ピクチャの符号量と前記第２ピクチャの符号量の差が第４閾値を上回るか否か、のうち少なくとも一つを適用するものであり、
前記符号化部により符号化されるピクチャが前記第１ピクチャと第２ピクチャとの混合比率を変化させる条件を満たした数と、前記混合比率とを関連付けたテーブルをさらに備え、
前記制御部は、前記テーブルを参照して前記混合比率を決定することを特徴とする画像処理装置。
【請求項２】
所定の動画像を、画面内予測符号化を用いて生成する第１ピクチャおよび画面間予測符号化を用いて生成する第２ピクチャを混合させて、符号化する符号化部と、
前記第２ピクチャから前記第１ピクチャへの切り替わりの際に生じる画質変動を検出するための処理を実行し、その結果に応じて、前記第１ピクチャと前記第２ピクチャとの混合比率が変化するよう前記符号化部を制御する制御部と、
を備え、
前記制御部は、前記画質変動を検出するための条件として、可変制御される量子化スケールが第１閾値を上回るか否か、隣接するピクチャ間における画像の相関度が第２閾値を下回るか否か、特定ピクチャ内における複数の動きベクトルの相関度が第３閾値を下回るか否か、および隣接する前記第１ピクチャの符号量と前記第２ピクチャの符号量の差が第４閾値を上回るか否か、のうち少なくとも一つを適用するものであり、
前記符号化部により符号化されるピクチャが前記画質変動を検出するための条件を満たした数と、前記混合比率とを関連付けたテーブルをさらに備え、
前記制御部は、前記テーブルを参照して前記混合比率を決定することを特徴とする画像処理装置。
【請求項３】
前記制御部は、前記第１ピクチャおよび前記第２ピクチャを少なくともそれぞれ一枚含むピクチャ群を単位として、前記ピクチャ群における前記混合比率を制御することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御部は、前記画質変動が大きいほど前記第１ピクチャの比率を高めることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記可変制御される量子化スケールが第１閾値を上回るか否か、が少なくとも前記条件として含まれることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
動画像を取得する撮像部と、
前記撮像部により取得される動画像を処理する請求項１から５のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内予測符号化技術および画面間予測符号化技術を利用して、動画像を符号化する画像処理装置、およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
デジタルムービーカメラが普及してきている。デジタルムービーカメラは、年々、高画質化しており、フルＨＤ（high definition）画質に対応したものも実用化されている。また、それに伴い画像圧縮効率も高まっており、Ｈ．２６４／ＡＶＣ規格で圧縮符号化が可能なものも実用化されている。
【０００３】
特許文献１は画質改善装置を開示する。この画質改善装置は、両方向予測を用いた符号化方式により符号化された信号の復号画像のレベル変動を検出し、そのレベル変動に基づき復号画質を改善する。特許文献２は符号化装置を開示する。この符号化装置は、マクロブロック毎に、画像データによる画像の平坦度を示すアクティビティを計算し、そのアクティビティにより、符号化効率を示すコスト関数によるコスト値を補正する。これに基づいて、複数のイントラ予測モード、複数のインター予測モードから最適モードをマクロブロック毎に検出する。
【特許文献１】特開平９−２２４２５０号公報
【特許文献２】特開２００６−９４０８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように高画質化および高圧縮化が進展するなか、フリッカなどの画質変動の問題が大きく顕在化してきており、主観画質にまで影響を与えてきている。とくに、画面間予測符号化されたピクチャ（以下適宜、第２ピクチャまたはＰピクチャという）から、画面内予測符号化されたピクチャ（以下適宜、第１ピクチャまたはＩピクチャという）に切り替わる際に発生するフリッカが目立ちやすい。
【０００５】
このフリッカ発生の大きな原因として量子化誤差が挙げられる。量子化誤差は、ＤＣＴ（Discrete Cosine Transform)係数などの直交変換係数を量子化することにより発生する誤差である。量子化する際の量子化スケールを大きくすると、圧縮効率を向上させることができるが、量子化誤差が大きくなってしまう。符号化ストリームにおいて、Ｐピクチャが続く限り、参照ピクチャの量子化誤差の影響を引きずることになるため、量子化誤差が累積されていくことになる。そこで、Ｉピクチャが出現すると、Ｉピクチャは参照ピクチャの影響を受けないため、蓄積された量子化誤差がリセットされることになる。このＰピクチャとＩピクチャとが切り替わる際に発生する量子化誤差のリセットが、フリッカの大きな要因となる。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、画質変動を抑制することができる画像処理装置、およびそれを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の画像処理装置は、所定の動画像を、画面内予測符号化を用いて生成する第１ピクチャおよび画面間予測符号化を用いて生成する第２ピクチャを混合させて、符号化する符号化部と、第２ピクチャから第１ピクチャへの切り替わりの際に生じる画質変動が小さくなるように、第１ピクチャと第２ピクチャとの混合比率を変化させるために符号化部を制御する制御部と、を備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、画質変動を抑制することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、実施の形態に係る画像処理装置２００を搭載した撮像装置３００の構成を示す図である。撮像装置３００は、撮像部１００および画像処理装置２００を備える。画像処理装置２００は、符号化部２０、バッファ３０、制御部４０、およびテーブル５０を備える。
【００１１】
画像処理装置２００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１２】
撮像部１００は、動画像を取得し画像処理装置２００に供給する。撮像部１００は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの図示しない撮像素子、およびその素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。
【００１３】
画像処理装置２００は、撮像部１００により取得された動画像を処理する。より具体的には、その動画像を所定の規格にしたがい圧縮符号化する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。
【００１４】
符号化部２０は、所定の動画像を、画面内予測符号化を用いて生成する第１ピクチャおよび画面間予測符号化を用いて生成する第２ピクチャを混合させて、符号化する。ＭＰＥＧシリーズの規格では、第１ピクチャはＩピクチャ、第２ピクチャはＰピクチャおよびＢピクチャに対応する。
【００１５】
符号化部２０は、画面分割部２１、直交変換部２２、量子化部２３、画面内予測符号化部２４、画面間予測符号化部２５、可変長符号化部２６および相関度算出部２７を含む。
画面分割部２１は、フレーム画像ごとに複数の領域に分割する。以下、本実施の形態ではマクロブロックに分割するものとする。
【００１６】
直交変換部２２は、各フレーム画像をマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ変換し、ＤＣＴ係数を生成する。
【００１７】
量子化部２３は、直交変換部２２で生成されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化する。量子化テーブルは、各ＤＣＴ係数を割るべき量子化スケールを規定したものである。量子化テーブルは、ＤＣＴ係数のうち低周波成分に対応する量子化スケールを小さく、高周波成分に対応する量子化スケールを大きく設定する。これにより、高周波成分ほど省略を大きくする。なお、量子化テーブルに規定される全部または一部の量子化スケールは、制御部４０により適応的に可変制御される。この処理の詳細は後述する。
【００１８】
量子化部２３は、制御部４０からの指示にしたがい、マクロブロック単位で量子化したＤＣＴ係数を画面内予測符号化部２４または画面間予測符号化部２５に供給する。具体的には、制御部４０からＩピクチャとして符号化すべきと指定されたものを画面内予測符号化部２４に供給し、制御部４０からＰピクチャまたはＢピクチャとして符号化すべきと指定されたものを画面間予測符号化部２５に供給する。
【００１９】
画面内予測符号化部２４は、ＩピクチャのＤＣＴ係数を画面内予測符号化する。ここでは、ＭＰＥＧシリーズで規定された画面内予測符号化を用いることができる。
画面間予測符号化部２５は、ＰピクチャまたはＢピクチャのＤＣＴ係数を画面間予測符号化する。ここでも、ＭＰＥＧシリーズで規定された画面間予測符号化を用いることができる。すなわち、動き補償技術を利用することができる。
【００２０】
具体的には、画面間予測符号化部２５は、各マクロブロックについて、過去または未来の参照ピクチャ内から誤差の最も小さい予測領域を探索し、その予測領域へのずれを示す動きベクトルを求める。そして、その動きベクトルを用いてマクロブロックごとに動き補償を行い、予測誤差信号を生成する。なお、動き補償処理はＤＣＴ係数ではなく画素値に対して施されるが、ここでは説明を簡略化するため、図１では逆量子化および逆直交変換する系を省略して描いている。
【００２１】
可変長符号化部２６は、画面内予測符号化部２４および画面間予測符号化部２５により生成された、ＤＣＴ係数、予測誤差信号、動きベクトル、およびその他のパラメータをエントロピー符号化する。このようにして、撮像部１００で取得された動画像は、圧縮符号化され、符号化ストリームに変換される。
【００２２】
相関度算出部２７は、隣接するピクチャ間の、画像の相関度を算出する。たとえば、隣接するピクチャ間にて、対応する画素値ごとに差分を算出し、その差分の絶対値和や二乗和を算出して相関度を表す評価値とすることができる。相関度算出部２７は、その評価値を制御部４０に供給する。なお、図１では画素値を基礎に相関度を算出する例を示しているが、量子化前または量子化後のＤＣＴ係数を基礎に相関度を算出してもよい。なお、当該相関度を求めるべき二枚のピクチャは、直接隣接していてもよいし、一枚または数枚のピクチャを介して隣接していてもよい。また、ピクチャ内のすべての画素について上記差分を算出しなくてもよく、その算出処理を適宜間引くことができる。
【００２３】
また、相関度算出部２７は、特定ピクチャ内の、複数の動きベクトルの相関度を算出する。たとえば、画面間予測符号化部２５から、ピクチャ単位で複数の動きベクトルを受け、それらの角度および長さの少なくとも一方のバラツキ度合い、たとえば分散値や標準偏差値を、相関度を表す評価値とすることができる。なお、動きベクトルの相関度をすべてのピクチャについて求めてもよいし、適宜間引かれたピクチャについて求めてもよい。
【００２４】
バッファ３０は、符号化部２０により生成された符号化ストリームを一時記憶し、所定のタイミングでメモリカードやハードディスクや光ディスクなどの、図示しない記録媒体に記録するか、ネットワークに送出する。また、バッファ３０は、符号化ストリームの符号量または符号化ストリームによるバッファ占有量を制御部４０に与える。これらの情報は、上記量子化スケールを決定する際の判断材料となる。
【００２５】
制御部４０は、第２ピクチャから第１ピクチャへの切り替わりの際に生じる画質変動が小さくなるように、第１ピクチャと第２ピクチャとの混合比率を変化させるために符号化部２０を制御する。具体的には、当該画質変動を検出するための処理を実行し、その結果に応じて、当該混合比率が変化するよう符号化部２０を制御する。当該混合比率を適応的に制御してもよい。たとえば、符号化部２０により符号化されるピクチャを、当該画質変動を検出するための条件に適用し、その判定結果に応じて、当該混合比率を変化させる。この処理を適応的に実行することができる。制御部４０は、第１ピクチャおよび第２ピクチャを少なくともそれぞれ一枚含むピクチャ群を単位として、ピクチャ群における当該混合比率を制御することができる。ＭＰＥＧシリーズでは、ＧＯＰ(Group Of Picture)における、Ｉピクチャと、ＰピクチャおよびＢピクチャとの混合比率を適応的に制御する。なお、適用するピクチャは、符号化ストリーム内のすべてのピクチャでもよいし、適宜間引かれた、一部のピクチャでもよい。
【００２６】
制御部４０は、当該画質変動が大きいほど第１ピクチャの比率を高めるよう制御することができる。逆に、当該画質変動が小さいほど第１ピクチャの比率を低めるよう制御することができる。また、符号化部２０により符号化されたピクチャを、後述する複数の条件に適用し、満たした条件の数が多いほど、第１ピクチャの比率を高めてもよい。
【００２７】
上記第１ピクチャと第２ピクチャとの混合比率を変化させる条件として、
（１）可変制御される量子化スケールが第１閾値を上回るか否か。
（２）隣接するピクチャ間の画像の相関度が第２閾値を下回るか否か。
（３）特定ピクチャ内における複数の動きベクトルの相関度が第３閾値を下回るか否か。
（４）隣接する第１ピクチャの符号量と第２ピクチャの符号量の差が第４閾値を上回るか否か。
（１）〜（４）のうち少なくとも一つを採用することができる。このように上記条件は一つでも複数でもよい。複数の条件を適用するほど、フリッカ発生の有無またはそれが発生した場合の程度を、精度よく予測または検出することができる。
上述した、第１閾値、第２閾値、第３閾値および第４閾値は、それぞれ設計者による実験やシミュレーションに基づき設定されることが可能である。各閾値を厳しく設定すれば、画質変動をより抑制することができるが、画像圧縮効率が低下する。緩和的に設定すればその逆になる。
【００２８】
制御部４０は、バッファ３０から、上記符号化ストリームの符号量または上記符号化ストリームによるバッファ占有量を受け、上記量子化テーブル内の一つ以上の量子化スケールを所定の基準にしたがい適応的に変化させる。所定の基準も、設計者による実験やシミュレーションに基づき設定されることが可能である。一般に、上記符号量または上記バッファ占有量が多くなると上記量子化スケールを大きくし、上記符号量または上記バッファ占有量が少なくなると上記量子化スケールを小さくするよう制御する。これにより、ピクチャ間の符号量を平準化することができる。ここで、このように可変制御される量子化スケールが第１閾値を超えた場合、そのピクチャの符号量が大きく省略され、つぎに第１ピクチャが出現すると、大きなフリッカが起こりやすい状態と判定することができる。
【００２９】
制御部４０は、相関度算出部２７から、隣接するピクチャ間における画像の相関度を表す評価値を受け、それが第２閾値を下回るか否か判定する。第２閾値を下回った場合、隣接するピクチャ間で相関度が低く、フリッカが発生しやすい状態と判定することができる。
【００３０】
同様に、制御部４０は、相関度算出部２７から、動きベクトルの相関度を表す評価値を受け、それが第３閾値を下回るか否か判定する。第３閾値を下回った場合、画像内においてランダムな動きが多く発生し、フリッカが発生しやすい状態と判定することができる。
【００３１】
制御部４０は、画面内予測符号化部２４から第１ピクチャの符号量を、画面間予測符号化部２５から第２ピクチャの符号量を受け、隣接する第１ピクチャと第２ピクチャの符号量の差を算出し、それが第４閾値を下回るか否か判定する。第１ピクチャとの差を算出すべき第２ピクチャは、一枚前または一枚後ものであってもよいし、数枚前または数枚後のものであってもよい。当該差が第４閾値を上回る場合、第１ピクチャと第２ピクチャ間で相関度が低く、フリッカが発生しやすい状態と判定することができる。
【００３２】
テーブル５０は、上記複数の条件を符号化部２０により符号化されるピクチャが満たした数と、上記混合比率とを関連付けて管理する。制御部４０は、このテーブル５０を参照して当該混合比率を決定することができる。
【００３３】
図２は、実施の形態に係るテーブル５０の一例を示す図である。
当該テーブル５０は、上述した四つの条件のうち対象ピクチャが満たす該当個数、およびＩピクチャとＰピクチャとの混合比率を関連付ける。ここでは、フレームレートが３０ｆｐｓの例を示している。すなわち、１秒間に撮像されるフレーム数が３０枚の例である。また、以下の説明ではＰピクチャはＢピクチャも含む概念として説明する。すなわち、画面間予測符号化されるピクチャをＰピクチャと総称する。
【００３４】
制御部４０は、上記四つの条件の該当個数が０〜１の場合、Ｉピクチャが１枚およびＰピクチャが２９枚の混合比率になるよう制御する。すなわち、１秒あたりのＩピクチャの挿入枚数が１枚、Ｉピクチャの挿入間隔が３０枚に１枚、およびＧＯＰの枚数が３０枚である。つぎに、該当個数が２の場合、Ｉピクチャが２枚およびＰピクチャが２８枚の混合比率になるよう制御する。すなわち、１秒あたりのＩピクチャの挿入枚数が２枚、Ｉピクチャの挿入間隔が１５枚に１枚、およびＧＯＰの枚数が１５枚である。
【００３５】
つぎに、該当個数が３の場合、Ｉピクチャが３枚およびＰピクチャが２７枚の混合比率になるよう制御する。すなわち、１秒あたりのＩピクチャの挿入枚数が３枚、Ｉピクチャの挿入間隔が１０枚に１枚、およびＧＯＰの枚数が１０枚である。最後に、該当個数が４の場合、Ｉピクチャが５枚およびＰピクチャが２５枚の混合比率になるよう制御する。すなわち、１秒あたりのＩピクチャの挿入枚数が５枚、Ｉピクチャの挿入間隔が６枚に１枚、およびＧＯＰの枚数が６枚である。
【００３６】
図３は、本実施の形態に係る画像処理装置２００により生成される符号化ストリームの一例を示す図である。
符号化ストリームは、１枚のＩピクチャと複数のＰピクチャを含むＧＯＰの連なりで構成される。図３にて、第１ＧＯＰ５１および第２ＧＯＰ５２は３０枚のピクチャを含むＧＯＰである。図２に示したテーブル５０にあてはめると、上記四つの条件の該当個数が０〜１の場合である。つぎに、第２ＧＯＰ５２に含まれるピクチャを符号化中に、上記四つの条件の該当個数が２に遷移すると、つぎの第３ＧＯＰ５３は１５枚のピクチャを含むＧＯＰとなる。すなわち、Ｉピクチャの挿入頻度が２倍に遷移する。
【００３７】
つぎに、第４ＧＯＰ５４に含まれるピクチャを符号化中に、上記四つの条件の該当個数が０〜１に遷移すると、つぎの第５ＧＯＰ５５は３０枚のピクチャを含むＧＯＰに戻る。このように、制御部４０はＩピクチャの挿入頻度を適応的に制御する。
【００３８】
以上説明したように本実施の形態によれば、フリッカなどの画質変動の発生が予測または検出されると、Ｉピクチャの挿入頻度を高めることにより、画質変動を抑制することができる。とくに、ＰピクチャからＩピクチャに切り替わる際に発生するフリッカを抑制することができる。すなわち、Ｐピクチャが長く続くことによる量子化誤差の蓄積を抑制し、当該フリッカを目立ちにくくすることができる。よって、主観画質を向上させることができる。
【００３９】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４０】
上述した実施の形態では、符号化されたピクチャが、画質変動を検出するための条件を満たすと、Ｉピクチャの比率を高めるとした。この点、分割されたすべての領域（たとえば、マクロブロック）、または分割された略すべての領域が画面内予測符号化されるＰピクチャの比率を高めてもよい。これによっても、上述した実施の形態と実質的に同様の効果を得ることができる。なお、当該Ｐピクチャは本明細書における第１ピクチャとみなすことができる。
【図面の簡単な説明】
【００４１】
【図１】実施の形態に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】実施の形態に係るテーブルの一例を示す図である。
【図３】本実施の形態に係る画像処理装置により生成される符号化ストリームの一例を示す図である。
【符号の説明】
【００４２】
２０  符号化部、  ２１  画面分割部、  ２２  直交変換部、  ２３  量子化部、  ２４  画面内予測符号化部、  ２５  画面間予測符号化部、  ２６  可変長符号化部、  ２７  相関度算出部、  ３０  バッファ、  ４０  制御部、  ５０  テーブル、  １００  撮像部、  ２００  画像処理装置、  ３００  撮像装置。  
【図１】
0004911625.tif 000002
【図２】
0004911625.tif 000003
【図３】
0004911625.tif 000004