(57)【要約】      （修正有）【課題】ブロック歪みによる画質の劣化の度合、及びピクチャの視覚的な統計情報から、目標符号量を制御する。【解決手段】符号化部１０５は、複数画素で構成されるブロック単位に符号化し、符号化データを生成する。符号量検出部１０７は、符号化部１０５で生成されたピクチャの符号化データ量を検出する。符号化歪み検出部１０４は、符号化データを復号して得られたピクチャと、符号化前のピクチャとの間の、ブロックの境界位置における歪み量をピクチャ歪み量として算出する。統計情報算出部１０１は、着目ピクチャから、当該ピクチャの符号化処理する場合の、前記ブロック境界位置の歪みに影響を与える属性の統計情報を算出する。そして、第１のピクチャ目標符号量算出部１０３は、シーケンス目標符号量、符号化データ量、統計情報、及び、ピクチャ歪み量に基づき、着目ピクチャに後続するピクチャの符号化パラメータを生成し、符号化部１０５に設定する。【選択図】図１
2009094645.tif 000002
【特許請求の範囲】
【請求項１】
連続して入力されるピクチャを、目標ビットレートから定まるシーケンス目標符号量内で符号化する動画像符号化装置であって、
時間軸に並んだピクチャで構成される動画像を、予め設定された複数個のピクチャで構成されるシーンに分割する分割手段と、
与えられた量子化スケールを決定する符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成されたピクチャの符号化データ量を検出する符号量検出手段と、
着目ピクチャより得られた符号化データを復号する復号手段と、
前記復号手段により復号して得られたピクチャと、符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出する歪み量算出手段と、
着目ピクチャから、当該ピクチャの符号化処理する場合の、前記ブロック境界位置の歪みに影響を与える属性の統計情報を算出する統計情報算出手段と、
前記シーケンス目標符号量、前記符号量検出手段で検出された符号化データ量、前記統計情報算出手段で算出された統計情報、及び、前記歪み量算出手段で算出されたピクチャ歪み量に基づき、着目ピクチャに後続するピクチャの符号化パラメータを生成し、前記符号化手段に設定する設定手段と
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記統計情報算出手段は、前記ブロック毎の、肌色であるか否かを示す情報、彩度情報、輝度情報、輝度の分散を示す情報を算出し、更に、算出した各情報からピクチャ全体に対するピクチャ重要度を示す情報を算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記設定手段は、
着目シーンの先頭ピクチャについては、着目シーンよりも前のシーンを構成する各ピクチャのブロック歪み量の平均値及びピクチャ重要度を用いて、前記符号化パラメータを決定し、
着目シーンの２番目以降のピクチャについては、予め設定されたシーン目標符号量と、着目シーン内の既に符号化されたピクチャの符号化データ量と、着目シーンの未符号化のピクチャ数に基づき、前記符号化パラメータを決定する
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
連続して入力されるピクチャを、目標ビットレートから定まるシーケンス目標符号量内で符号化する動画像符号化装置の制御方法であって、
時間軸に並んだピクチャで構成される動画像を、予め設定された複数個のピクチャで構成されるシーンに分割する分割工程と、
与えられた量子化スケールを決定する符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化工程と、
前記符号化工程で生成されたピクチャの符号化データ量を検出する符号量検出工程と、
着目ピクチャより得られた符号化データを復号する復号工程と、
前記復号工程により復号して得られたピクチャと、符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出する歪み量算出工程と、
着目ピクチャから、当該ピクチャの符号化処理する場合の、前記ブロック境界位置の歪みに影響を与える属性の統計情報を算出する統計情報算出工程と、
前記シーケンス目標符号量、前記符号量検出工程で検出された符号化データ量、前記統計情報算出工程で算出された統計情報、及び、前記歪み量算出工程で算出されたピクチャ歪み量に基づき、着目ピクチャに後続するピクチャの符号化パラメータを生成し、前記符号化工程に設定する設定工程と
を備えることを特徴とする動画像符号化装置の制御方法。
【請求項５】
連続して入力されるピクチャを、目標ビットレートから定まるシーケンス目標符号量内に符号化する動画像符号化装置であって、
与えられた量子化スケールを決定する符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成された符号化データの符号量を検出する符号量検出手段と、
前記符号化手段で生成された符号化データを復号する復号手段と、
前記復号手段により復号して得られたピクチャと、符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出する歪み量算出手段と、
着目ピクチャから、当該ピクチャの符号化処理する場合の、前記ブロック境界位置の歪みに影響を与える属性の統計情報を算出する統計情報算出手段と、
該統計情報算出手段で算出した統計情報に基づき、着目ピクチャの重要度を算出し、算出した重要度を予め設定された複数の閾値と比較することで、複数のクラス値のいずれかに分類し、前記着目ピクチャ及び着目ピクチャの以前の予め設定された複数のピクチャそれぞれのクラス値の加重平均を、ピクチャ画質重要度として算出するピクチャ画質重要度算出手段と、
該ピクチャ画質重要度算出手段で算出したピクチャ画質重要度が、予め設定した上限数以下で、連続して同じである１以上のピクチャをシーンとして分割するシーン分割手段と、
前記ピクチャ画質重要度算出手段で算出された各ピクチャのピクチャ画質重要度から、前記シーンのシーン画質重要度を算出するシーン画質重要度算出手段と、
前記シーケンス目標符号量、前記符号量検出手段で検出された符号化データ量、前記歪み量算出手段で算出されたピクチャ歪み量、前記シーン画質重要度算出手段で算出されたシーン画質重要度に応じて、シーン目標符号量を算出するシーン目標符号量算出手段と、
該シーン目標符号量算出手段で算出されたシーン目標符号量に基づき、着目ピクチャに後続するピクチャの符号化パラメータを生成し、前記符号化手段に設定する設定手段と
を備えることを特徴とする動画像符号化装置。
【請求項６】
前記統計情報算出手段は、前記ブロック毎の、肌色であるか否かを示す情報、彩度情報、輝度情報、輝度の分散を示す情報を算出し、更に、算出した各情報からピクチャ全体に対するピクチャ重要度を示す情報を算出することを特徴とする請求項５に記載の動画像符号化装置。
【請求項７】
更に、
撮像手段と、
撮像手段で撮像した撮像制御情報を算出する撮像制御情報算出手段とを備え、
前記ピクチャ画質重要度算出手段は、前記撮像制御情報算出手段で算出された撮像制御情報に応じてピクチャ画質重要度を算出することを特徴とする請求項５に記載の動画像符号化装置。
【請求項８】
前記ピクチャ画質重要度算出手段は、前記撮像手段の撮像モードに応じて、前記撮像制御情報、前記統計情報、前記歪み量の重み付けを適用的に変更して、ピクチャ画質重要度を算出することを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
連続して入力されるピクチャを、目標ビットレートから定まるシーケンス目標符号量内に符号化する動画像符号化装置の制御方法であって、
与えられた量子化スケールを決定する符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化工程と、
前記符号化工程で生成された符号化データの符号量を検出する符号量検出工程と、
前記符号化工程で生成された符号化データを復号する復号工程と、
前記復号工程により復号して得られたピクチャと、符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出する歪み量算出工程と、
着目ピクチャから、当該ピクチャの符号化処理する場合の、前記ブロック境界位置の歪みに影響を与える属性の統計情報を算出する統計情報算出工程と、
該統計情報算出工程で算出した統計情報に基づき、着目ピクチャの重要度を算出し、算出した重要度を予め設定された複数の閾値と比較することで、複数のクラス値のいずれかに分類し、前記着目ピクチャ及び着目ピクチャの以前の予め設定された複数のピクチャそれぞれのクラス値の加重平均を、ピクチャ画質重要度として算出するピクチャ画質重要度算出工程と、
該ピクチャ画質重要度算出工程で算出したピクチャ画質重要度が、予め設定した上限数以下で、連続して同じである１以上のピクチャをシーンとして分割するシーン分割工程と、
前記ピクチャ画質重要度算出工程で算出された各ピクチャのピクチャ画質重要度から、前記シーンのシーン画質重要度を算出するシーン画質重要度算出工程と、
前記シーケンス目標符号量、前記符号量検出工程で検出された符号化データ量、前記歪み量算出工程で算出されたピクチャ歪み量、前記シーン画質重要度算出工程で算出されたシーン画質重要度に応じて、シーン目標符号量を算出するシーン目標符号量算出工程と、
該シーン目標符号量算出工程で算出されたシーン目標符号量に基づき、着目ピクチャに後続するピクチャの符号化パラメータを生成し、前記符号化工程に設定する設定工程と
を備えることを特徴とする動画像符号化装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可変ビットレートでリアルタイム符号化する動画像符号化技術に関するものである。
【背景技術】
【０００２】
近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャは圧縮符号化処理が施され、そのデータ量が大幅に削減される。この圧縮符号化処理として代表的な手法の一つが、例えばＭＰＥＧ（Moving Picture Experts Group）方式である。
【０００３】
ＭＰＥＧ方式に準拠して一連のピクチャを一定のビットレートという条件下で圧縮符号化する場合に、複数ピクチャからなるシーン、ピクチャの空間周波数特性、ピクチャ間の相関、及び量子化スケール値に応じて符号量が大きく異なる。この様な符号化特性をもつ装置を実現する上で符号化歪みを最小限にするための重要な技術が符号量制御である。
【０００４】
符号量制御を実現するためのアルゴリズムは、固定ビットレート符号化方式(以後ＣＢＲ方式)、及び、可変ビットレート符号化方式(ＶＢＲ方式)の２つに大別出来る。一般にＶＢＲ方式では符号化難易度に応じて符号を適応的に割り当てるため、ＣＢＲ方式に比べて、復号ピクチャの画質が良い事が知られている。符号の適応的な割り当て方は、例えば符号化難易度が高いシーンには高いビットレートを割り当て、符号化難易度が低いシーンには低いビットレートを割り当てる事により実現される。
【０００５】
ＣＢＲ方式としては、ＭＰＥＧ−２符号化方式の標準化の過程で提案されたＴＭ５（Test Model 5(Test Model Editing Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993))）や特許文献１などの方式が知られている。
【０００６】
リアルタイムで（すなわち１パスで）ＶＢＲ方式を実現する技術として、特許文献２、３が知られている。更には、シーンに応じて適応的に符号量を割り当てる技術として、撮像制御情報を用いて実現を試みている特許文献４が知られている。次に、それぞれの従来技術について説明する。
【０００７】
特許文献２、３では図２に示す通りに、複数のピクチャからなるピクチャ群及び符号化対象であるピクチャに対して、符号化難易度算出部(２０１及び２０２)と称する符号化難易度を検出する手段を用いる。これにより、フィード・フォワード型のVBR方式を実現している。この方法によれば、複数ピクチャからなるピクチャ群をピクチャ群分割部２００で分割し、シーケンス全体に対する、ピクチャ群の符号化難易度を符号化難易度情報算出部２０１において算出している。この算出した符号化難易度に応じて、該ピクチャ群の目標符号量を可変に割り当てる事で復号ピクチャの画質のばらつきが抑えている。
【０００８】
特許文献４では、図３に示す通りに、撮像機器における符号化部３０２に対して撮像制御情報を用いる事によりピクチャの目標符号量を可変に割り当てている。この方法によれば特に、マイクロコンピュータ３０４が、撮像制御情報算出部３０１からのフォーカス情報及びズーム位置から得られる合焦条件を確認する。そして、マイクロコンピュータ３０４は、現在撮影中のピクチャが、ワイド端でかつ画像焦点が合いやすい場合にはピクチャ符号量を多く割り当てる事でＶＢＲ方式を実現している。この方式によれば、撮像制御情報のみを用いてピクチャ目標符号量を制御出来るので、従来のＶＢＲ方式よりも簡易に実現できるとしている。
【特許文献１】特許第３１１２０３５号公報
【特許文献２】特許第３２６５８１８号公報
【特許文献３】特許第３３９９４７２号公報
【特許文献４】特開２００３−１８５２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記特許文献２乃至４においては、それぞれ以下の問題を有している。
【００１０】
先ず、特許文献２によれば、符号化難易度情報算出部２０１及び２０２には、符号化部２０５と同様な符号化手段が必要となり、処理負荷が非常に重い。
【００１１】
また、特許文献３には、更に符号化難易度として空間アクティビティを用いる事が開示されているが、空間アクティビティでは符号化部２０５における符号化難易度を予測するには不十分である。更には、符号化難易度に応じてのみピクチャ目標符号量を制御しているので、ピクチャの視覚的な情報は一切考慮しておらず、シーンに応じて適応的な符号量の割り当てを行っているとは言い難い。
【００１２】
また、特許文献４であるが、これによると、ズーム情報からシーンに応じて適応的は符号量の割り当てを行っている。しかし、この提案においてもピクチャの視覚的な情報は一切考慮しておらず、ワイド端でかつ画像焦点が合いやすい場合にのみ符号量を増加させているのみである。更には、符号化難易度が一切考慮されおらず、撮影開始時に与えられる目標ビットレートから定まるシーケンス目標符号量内で符号化する事が困難でもある。
【００１３】
本発明は、上記問題に鑑みなされたものである。すなわち、本発明は、符号化難易度から得られる画質の劣化具合及びピクチャの視覚的な統計情報から得られるシーンの画質重要度を考慮する。そして、本発明は、シーンに対する目標符号量を制御する事で、与えられた目標ビットレートの条件下において良好な画質の符号化動画像データを得る技術を提供するものである。
【課題を解決するための手段】
【００１４】
かかる課題を解決するため、例えば本発明の動画像符号化装置は以下の構成を備える。すなわち、
連続して入力されるピクチャを、目標ビットレートから定まるシーケンス目標符号量内で符号化する動画像符号化装置であって、
時間軸に並んだピクチャで構成される動画像を、予め設定された複数個のピクチャで構成されるシーンに分割する分割手段と、
与えられた量子化スケールを決定する符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成されたピクチャの符号化データ量を検出する符号量検出手段と、
着目ピクチャより得られた符号化データを復号する復号手段と、
前記復号手段により復号して得られたピクチャと、符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出する歪み量算出手段と、
着目ピクチャから、当該ピクチャの符号化処理する場合の、前記ブロック境界位置の歪みに影響を与える属性の統計情報を算出する統計情報算出手段と、
前記シーケンス目標符号量、前記符号量検出手段で検出された符号化データ量、前記統計情報算出手段で算出された統計情報、及び、前記歪み量算出手段で算出されたピクチャ歪み量に基づき、着目ピクチャに後続するピクチャの符号化パラメータを生成し、前記符号化手段に設定する設定手段とを備える。
【発明の効果】
【００１５】
本発明によれば、ブロック歪みによる画質の劣化の度合、及びピクチャの視覚的な統計情報に従い、シーンに対する目標符号量を制御する事で、与えられた目標ビットレートの条件下において良好な画質の符号化動画像データを得る事が可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１７】
［第１の実施形態］
図１は、実施形態における時間軸に並んだピクチャで構成される動画像を符号化する動画像符号化装置のブロック構成図である。実施形態では、符号化方式としてＭＰＥＧ−４を例にして説明する。
【００１８】
符号化部１０５は、符号化パラメータとして与えられるピクチャ目標符号量Ｒｐ以下になる様に入力ピクチャをＭＰＥＧ−４符号化（ＤＣＴ変換、量子化、エントロピー符号化）する。つまり、符号化部１０５は、与えられたパラメータに従い符号化ストリームを生成し、出力する。一般に、生成される符号量の制御は、量子化処理における量子化ステップ値に依存するので、ピクチャ目標符号量Ｒｐは量子化ステップ（もしくは量子化スケール）を決定するためのパラメータと言うこともできる。また、局所復号化部１０６は、該符号化ストリームを入力としてＭＰＥＧ−４復号化を行い、局所復号ピクチャを出力する。詳細は後述する説明から明らかになるが、ＤＣＴ変換は複数画素（８×８画素）で構成されるブロック単位に行なう。このため、この局所復号化部１０６は、８×８画素のブロック内の境界の画素を復号する（境界より１画素分内側の６×６画素の復号処理は行なわない）。
【００１９】
符号量検出部１０７は、符号化部１０５で生成された１ピクチャ分の符号化データ量を検出し、検出した結果を後述の第１のピクチャ目標符号量算出部１０３に出力する。
【００２０】
符号化歪み検出部は、ＭＰＥＧ−４符号化方式における符号化歪みとして代表的なブロック歪みを検出する。ブロック歪みの程度を表すスカラー値であるブロック歪み量をＢｐは、符号化部１０５に供給される符号化前のピクチャ、及び、局所復号化部１０６から出力される局所復号ピクチャを用いて次の通りに算出する。
【００２１】
符号化部１０５の、入力ピクチャの水平方向の画素数をx_siz、垂直方向の画素数をy_sizとする。図４で示す通りに、水平方向の座標をＪ、垂直方向の座標をIとした際、符号化前の座標（Ｉ，Ｊ）の画素値をＣＩＮ（Ｉ，Ｊ）とする。同様に、局所復号化部１０６より得られた復号画像中の座標（Ｉ，Ｊ）の画素値をＣＯＵＴ（Ｉ，Ｊ）とする。符号化部１０５は、基本的に８×８画素のブロック単位に符号化することになるので、ブロック歪みは、８×８画素のブロックの境界位置に発生する。従って、画像全体に対するブロック歪み量（ピクチャ歪み量）Ｂｐは次に示すアルゴリズムによって求めることができる。
for (I＝0；I  <  y_size -1; I++){
for (J= 0; J  <  x_size -1; J++){
if (J % 8 == 7){
EDGEin   = ABS (CIN(J,I) - CIN(J,I+1));
EDGEout  =ABS (COUT(J,I) - COUT(J,I+1));
MSEblk ++ = POWER(EDGEin - EDGEout));}
else{
if( I % 8 == 7){
EDGEin   = ABS(CIN(J,I) - CIN(J+1,I));
EDGEout  =ABS(COUT(J,I) - COUT(J+1,I));
MSEblk++ = POWER(EDGEin - EDGEout));}
} }
Bp= MSEblk/MSEall;                                          …（１）
上記において、MSEallはCIN(J,I)とCOUT(J,I)とのピクチャ全体における差分二乗和である。また、「X % Y」は、整数Ｘを整数Ｙで除算した際の余りを返す関数である。また、ブロック歪み量Ｂｐは、ブロックの境界の画素値のみを参照して算出するので、ブロック境界よりも内側の６×６画素は参照しない。先に説明したように、局所復号化部１０６が復号するのが、ブロック内の境界の画素値とするのは、この理由による。
【００２２】
ここで上記アルゴリズムについて簡単に説明する。先に説明したように、ブロック境界位置は、画像の水平、垂直とも８の整数倍の座標位置である。画像の左上隅の座標は一般に原点（０，０）と表現するから、隣接する２つのブロックの境界に位置する画素の座標位置は、座標を８で除算した際に、余りが７となる座標と、その座標＋１となる。上記のアルゴリズによると、オリジナル（符号化前）の画像の２つのブロック境界に位置する２つの画素の差と復号後のブロック境界に位置する２つの画素の差の差分が、隣接する２つのブロック歪みを表わす指標値と言える。隣接するブロックは水平方向、垂直方向の２種類が存在するので、それぞれにおいて歪み値を累積することで、画像全体に対するブロック歪み量Ｂｐが算出できることになる。
【００２３】
従って、ブロック歪み量Ｂｐが大きければ、復号した画像がオリジナルの画像に対して画質劣化が激しく符号化歪みが大きいといえることは明らかである。本実施形態においては、MPEG-4符号化方式を対象としたので、上記アルゴリズムでは８の整数倍の座標でブロック歪みを求めたが、ブロックのサイズが８×８以外の場合には、それに応じて求めればよい。
【００２４】
上記のようにして符号化歪み検出部１０４は、着目ピクチャのブロック歪み量Ｂｐを算出する。そして、符号化歪み検出部１０４は、算出したブロック歪み長Ｂｐを符号化パラメータ算出部１０３に出力する。
【００２５】
統計情報算出部１０１は、ブロック境界位置の歪みに影響を与える属性の統計情報を算出する。本実施形態では、ピクチャ内の画素を８×８画素で構成されるブロック毎に、以下に説明する４つの統計情報Ｐh、Ｐs、Ｐy，Ｐaを算出する。前提として、符号化対象の画像データの各画素は、輝度（Ｙ）、クロマ（Ｃｂ，Ｃｒ）の３つの成分で構成されるものとする。なお、サブサンプルが４−２−０であるＭＰＥＧ−４プロファイルの場合には、クロマのブロックとしては４×４画素ブロックである。
【００２６】
以下、本実施形態の統計情報算出部１０１が算出する統計情報を構成する情報Ｐh、Ｐs、Ｐy，Ｐaについて説明する。
【００２７】
［統計情報Ｐh］
情報Ｐhは、該ブロックが肌色であるか否かを示す情報である。
【００２８】
人間の視覚特性が、肌色の色相に対しては非常に敏感である事が知られている。よって、ピクチャ画質重要度算出部１０２におけるピクチャ画質重要度を算出する情報の一つとして、入力ピクチャ内に肌色の色相に相当するブロック数がどの程度存在するかを算出する。
【００２９】
肌色であるか否かの判定は、図５に示すＣｂ−Ｃｒの２次元座標を用いる事により実現される。入力ピクチャのブロック内の、Ｃｂの平均値をＣｂ’、Ｃｒの平均値をＣｒ’として、図５上の座標をＰｂｒ（Ｃｂ’，Ｃｒ’）とすれば、当該ブロックの色相Ｈθは以下の式で得られる。
Ｈθ  ＝  ｔａｎ（Ｃｂ／Ｃｒ）-1            …（２）
【００３０】
肌色の色相は、Ｃｂ−Ｃｒ空間では、１２３度近辺である事が知られているが、本実施形態では肌色の色相として１００乃至１５０度の区間（角度範囲）を予め定義しておき、色相Ｈθが該区間内の角度であるか否かを判定する。
【００３１】
この判定結果をＰｈとし、ブロックが肌色であればＰh ＝１、そうでなければＰh＝０とする。
【００３２】
［統計情報Ｐs］
情報Ｐsは、該ブロックの彩度情報である。彩度情報Ｐsも、図５に示すＣｂ−Ｃｒの２次元座標を用いる事により算出できる。人間の視覚特性は、彩度が比較的低い領域（無彩色に近い領域）におけるブロック歪み対して敏感である。それ故、ピクチャ画質重要度算出部１０２におけるピクチャ画質重要度を算出する情報の一つとして、入力ピクチャ内の各ブロックの彩度情報Ｐsを算出する。
【００３３】
彩度情報Ｐsは、座標Pbrの原点からの距離を算出すればよい。
Ｐs＝√（Ｃｂ’2＋Ｃｒ’2）    …（３）
［統計情報Ｐy］
情報Ｐyは、ブロック内の輝度情報（Ｙ）の平均値である。人間の視覚特性が、輝度Ｙが比較的高い領域におけるブロック歪みに対して敏感である。それ故、ピクチャ画質重要度算出部１０３におけるピクチャ画質重要度を算出する情報の一つとして、入力ピクチャ内の、ブロックの輝度Ｙの平均値Ｐyを算出する。１つのブロックは８×８画素であるので、各画素の輝度をＹi（ｉ＝0,1,2,…,63）とするなら、輝度平均値は次式で求めることができる。
Ｐy＝｛ΣＹi｝／６４                        …（４）
【００３４】
［統計情報Ｐa］
情報Ｐaは、ブロック中の各画素の輝度情報Ｙの値から求まる分散値情報である。
【００３５】
人間の視覚特性は、空間周波数が比較的低い領域におけるブロック歪みに対して敏感である。それ故、ピクチャ画質重要度算出部１０２におけるピクチャ画質重要度を算出する情報の一つとして、入力ピクチャ内の、各ブロックにおける輝度Yの分散値を算出する。ブロックの各画素の輝度の平均値をＹ’として、ブロック内の各画素の輝度Ｙの値をＹi（ｉ＝0,1,2,…,63）とすれば、次式で得られる。
Ｐa＝Σ（Ｙi−Ｙ’）2                …（５）
なお、厳密には、分散は、上記式（５）を標本数（実施形態では８×８＝６４）で除算するものであるが、分散の指標値が判ればよいので、除算することは行なっていない。
【００３６】
以上、実施形態における統計情報算出部１０１で生成する４つの統計情報を説明した。
【００３７】
例えば、図４の入力ピクチャの水平方向の画素数x_sizeが“６４０”、垂直方向の画素数y_sizが“４８０”とすれば、この画像中には４８００個（＝（６４０／８）×（４８０／８））のブロックが存在することになる。図６は、或るピクチャのブロック分割例を示している。先頭のブロックの番号を０とし、その先頭ブロックをブロック＃０と表わすと、ブロック＃０乃至ブロック＃４７９９について、統計情報算出部１０１が上記４つの統計情報を算出することになる。各ブロックの統計情報は、配列Ｐh[N],Ｐs[N],Ｐy[N],Ｐa[N]（Ｎ＝0,1,2,…,4799）と表わせる。
【００３８】
次に、ピクチャ画質重要度算出部１０２について説明する。ピクチャ画質重要度算出部１０２は、統計情報算出部１０１から入力される統計情報Ｐh[N],Ｐs[N],Ｐy[N],Ｐa[N]、及び、図１６に示す予め定めた視覚感度テーブルを用いて、入力ピクチャのピクチャ画質重要度Ｐｉを算出する。視覚感度テーブルは、重み付け係数Ｃｗ[k]及び正規化係数Ｃｄ[k](k=0〜3)を、４つの統計情報それぞれについて定義している。つまり、ｋ＝０の重み付け係数Ｃｗ[０]及び正規化係数Ｃｄ[０]は、統計情報Ｐh[N]に対するものである。ｋ＝１の重み付け係数Ｃｗ[１]及び正規化係数Ｃｄ[１]は、統計情報Ｐs[N]に対するものである。ｋ＝２の重み付け係数Ｃｗ[２]及び正規化係数Ｃｄ[２]は、統計情報Ｐy[N]に対するものである。そして、ｋ＝３は、重み付け係数Ｃｗ[３]及び正規化係数Ｃｄ[３]は、統計情報Ｐa[N]に対するものである。
【００３９】
ピクチャ画質重要度算出部１０２は、ピクチャ内の各々ブロックの、統計情報Ｐh[N]を除く、３つの統計情報と正規化係数Ｃｄ[ｋ]を乗算し、“１”以下の値にクリップする。統計情報Ｐh［N］は、既に０、１の２値の値に正規化済みである点に注意されたい。例えば、彩度情報Ｐs [N]については、以下の処理により正規化された彩度情報Ｐs’[N]を得る。
for(N = 0; N < 48000; N++) {
Ps’[N] = Ps[N] × Cd[1];
if(Ps’[N] > 1){
Ps’[N] = 1;
}
}                                                …（６）
【００４０】
同様に、Ｐy [N]及びＰa [N]についても処理を行い、正規化された統計情報であるＰy'[N]及びＰa'[N]を算出する。
【００４１】
次にピクチャ画質重要度算出部１０２は、Ｐh[N]及び式（６）で求めた正規化された統計情報Ｐs'[N]、ＰY'[N]及びＰa'[N]に基づき、以下の処理を行なうことで、ピクチャ画質重要度Ｐｉを求める。なお、ピクチャ画質重要度Ｐｉを求める際、Ｐｉを“０”に初期化する。
for(N = 0; N < 48000; N++) {
Pi  ＝  Pi  +  Ph[N]×Cw[0]  +  Ps’[N]×Cw[1]  +  PY’[N]×Cw[2]  +  Pa’[N]×Cw[3];
｝                                                …（７）
【００４２】
つまり、ピクチャ画質重要度Ｐｉは、着目ピクチャの各ブロック毎の４つの正規化された統計情報それぞれの、重み付け係数を適用した合算値と言うことができる。
【００４３】
次に第１のピクチャ目標量算出部１０３について説明する。ここで、本実施形態の動画像符号化装置に与えられる目標ビットレートを「Ｔｓ」であるものとする。第１のピクチャ目標量算出部１０３は、この目標ビットレートＴｓ、符号化歪み算出部１０４から入力されるブロック歪み量Ｂｐ、及び、ピクチャ画質重要度算出部から入力されるピクチャ画質重要度Ｐｉから、次のピクチャ（後続するピクチャ）に対する符号化部１０５のピクチャ目標符号量Ｒｐ（符号化パラメータ）を算出する。ピクチャ目標符号量Ｒｐの算出方法について、図７を用いて説明する。
【００４４】
本実施形態の動画像符号化装置において、予め設定された複数個のピクチャから構成されるシーンの目標符号量Ｒｓを次式により求める。なお、実施形態での１シーンは１５個のピクチャ（Ｎｓ＝１５）であるものとする。ここでシーンの先頭のピクチャはＩピクチャとする。入力ピクチャのフレームレートを３０ｆｐｓとすれば、シーン目標符号量Ｒｓ（１５フレームの目標符号量）を、次式（８）に従って算出する。
Ｒｓ＝Ｔｓ×１／２                  …（８）
【００４５】
更に、本動画像符号化装置に入力される着目ピクチャが、着目シーン内の先頭ピクチャ以外である場合（２番目以降のピクチャの場合）、例えば、図７中のピクチャＰ５であるとすると、ピクチャＰ５のピクチャ目標符号量の初期値Ｒｐ’を次式（９）から求める。
Ｒｐ’＝（Ｒｓ−Ｒｆ）／Ｎｒ        …（９）
ここで、Ｎｒは、シーケンス内のピクチャＰ５を含む残りピクチャ数（未符号化のピクチャ数）であり、Ｒｆはシーン内におけるピクチャＰ１からピクチャＰ４までの総発生符号量である。
【００４６】
ここで、シーンの初期のピクチャ目標符号量Ｒｐ’を、ブロック歪み量Ｂｐ及びピクチャ画質重要度Ｐｉに応じて、図８に示す処理フローにより増減させることで、最終的なピクチャ目標符号量Ｒｐを算出する。
【００４７】
図８の処理において、Ｂｐ’及びＰｉ’は、直前のシーンを構成する全てのピクチャのブロック歪み量Ｂｐ及びピクチャ画質重要度Ｐｉの平均値である。図８における、ステップＳ８００において、ブロック歪み量Ｂｐと予め定めた閾値Ｂminとを比較する。このステップＳ８００における比較の結果、ブロック歪み量Ｂｐが閾値Ｂminより小さい場合には、次にステップＳ８０１において初期値Ｒｐ’を減少させるか否かを判定する。閾値Bminには、再構成ピクチャにおいて視覚特性の観点から認識困難なブロック歪み量の限界値を予め定義する。ステップＳ８０１において、ピクチャＰ５のピクチャ画質重要度Ｐｉと直前のシーンのＰｉ平均値であるピクチャ重要度Ｐｉ’とを比較し、ピクチャ画質重要度Ｐｉの方が小さい場合には、初期値Ｒｐ’をステップＳ８０７の式に従い減少させる。ステップＳ８０７における式中のβは、予め定めた0.0以上の小数点を含む定数である。
【００４８】
一方、ステップＳ８００における比較の結果、ブロック歪み量Ｂｐが閾値Ｂmin以上の場合には、ステップＳ８０２及びＳ８０３において初期値Ｒｐ’を増加させるか否かの判定を行う。ステップＳ８０２において、ピクチャＰ５のピクチャ画質重要度Ｐｉが直前のシーンのＰｉの平均値であるピクチャ重要度Ｐｉ’より大きく、かつブロック歪み量Ｂｐが直前のシーンのＢｐ平均値であるブロック歪み量Ｂｐ’より大きく、更にステップＳ８０４において“Ｒｅ＞０”である場合に、初期値Ｒｐ’をステップＳ８０５の式に従い増加させる。ここで“Ｒｅ”は、直前のシーンまで符号化した結果得られた、目標ビットレートＴｓに対する余剰符号量に相当するＲｒから、現在のシーン内で初期値Ｒｐ’を増加させた符号量を減算した符号量である。Ｒｒ及びＲｅはシーンの符号化が完了する毎に次式を演算する事により得られる。
Ｒｒ＝Ｒｒ＋Ｒｓ−Ｒｓ’
Ｒｅ＝Ｒｒ                                  …（１０）
ただし、Ｒｓ’はシーン内において発生したシーン発生符号量である。式（１０）で求めたＲｅをシーンの先頭ピクチャに用いる初期値とし、更にステップＳ８０５において随時更新する。
【００４９】
次に図９を用いて、本実施形態における動画像の符号化処理を説明する。図９には、動画像の先頭から連続する３つのシーンに対する本実施形態によるピクチャ目標符号量Ｒｐの推移を示している。
【００５０】
シーン０においては、シーケンスの先頭シーンであるので、直前のシーンのＰｉ平均値であるピクチャ重要度Ｐｉ’及び直前のシーンのＢｐ平均値であるブロック歪み量Ｂｐ’の算出が出来ない。よって、図８中のステップＳ８０６の処理のみが実施されピクチャ目標符号量の初期値Ｒｐ’がそのままピクチャ目標符号量Ｒｐとして符号化部１０５に与えられる。
【００５１】
次にシーン１においては、ステップＳ８０６に加えて、ピクチャ目標符号量の初期値Ｒｐ’に対して符号量を減少させるステップＳ８０７の処理が行われる。一方、符号量を増加させるステップＳ８０５の処理はシーン１では行われない。これは、図９においてシーン０の符号化結果においてシーン目標符号量Ｒｓがシーン発生符号量Ｒｓ’と等しくＲｒが０であるからである。勿論、シーン０において、ステップＳ８０７の処理において積極的に符号量の減少を行わなくとも、式（１０）によりＲｒ＞０と判定された場合には、ステップＳ８０５の処理をシーン１において実行する事が可能である。図９中のシーン１において、ピクチャＰ２、Ｐ３及ぶＰ４においてステップＳ８０７の処理が行われている事がわかる。
【００５２】
次にシーン２においては、ステップＳ８０６、ステップＳ８０７に加えてステップＳ８０５の処理が行われている。これはシーン２の符号化に先立ち演算する式（１０）の演算結果により、Ｒｒ＞０が得られたからである。これは、シーン１におけるピクチャＰ２、Ｐ３及びＰ４に対するステップＳ８０７の処理により発生した余剰符号量に相当する。シーン２のピクチャＰ０、Ｐ１及びＰ２、更にはピクチャＰ７、Ｐ８、及びＰ９に対してステップＳ８０５の処理により、ピクチャ目標符号量の初期値Ｒｐ’に対して符号量が増加させる事によりピクチャ目標符号量Ｒｐが算出されている事がわかる。
【００５３】
なお、本実施形態においては、変数Ｐｉ’及びＢｐ’を求めるに際して、直前のシーンのピクチャ画質重要度Ｐｉ及びブロック歪み量Ｂｐを用いたが、直前の複数ピクチャのピクチャ画質重要度Ｐｉ及びブロック歪み量Ｂｐを用いても良い。この場合には、例えば入力ピクチャがＰ５の場合には、現在のシーンのピクチャＩ及びピクチャＰ０乃至Ｐ４及び直前のシーンの、ピクチャＰ５乃至Ｐ１３のピクチャ画質重要度Ｐｉ及びブロック歪み量Ｂｐを用いる事となる。
【００５４】
［第２の実施形態］
第２の実施形態を説明する。図１０は本第２の実施形態における動画像符号化装置のブロック構成図である。第１の実施形態と同様の構成については、同じ参照符号を付した。従って、本第２の実施形態における符号化部１０５は、第１の実施形態と同様、ＭＰＥＧ−４に準拠した符号化処理を行なうものとなる。
【００５５】
図１０は、図１の構成に、シーン画質重要度算出部１０００と、シーン分割手段１００１、シーン目標符号量算出部１００２、及び符号化パラメータ算出部１００３を追加したものと言える。なお、図１０において、上記新たに追加された４つの処理部以外は、第１の実施形態と同様の処理を行うものであり、ここでの詳述は省略する。
【００５６】
第２の実施形態と第１の実施形態で実現される処理の比較を図１７のテーブルに示す。本第２の実施形態において、符号量を制御する対象はシーン目標符号量Ｒｓであり、ピクチャ目標符号量Ｒｉを制御する第１の実施形態とはこの点で異なる。
【００５７】
シーン画質重要度算出部１０００の処理を、図１１及び図１２を用いて説明する。シーン画質重要度算出部１０００ではピクチャ画質重要度Ｐｉを用いてシーン画質重要度を算出する。
【００５８】
まず、シーン画質重要度算出部１０００は、先に示した式（７）から得られる、小数点を含むスカラー値であるピクチャ画質重要度Ｐｉを、値の大きさに応じて複数のクラス値のいずれか分類する。分類するクラスの数は実施形態に応じて最適な数を選択する事が可能であるが、本実施形態におけるクラスの数は“５”であるものとして説明する。
【００５９】
図１１（ａ）、（ｂ）には、横軸をピクチャ画質重要度算出部１０２から入力されるピクチャ画質重要度Ｐｉを、縦軸を分割後のピクチャ画質重要度クラス番号Ｃｐを示したものである。５つのクラスに分割するために、予め４つの閾値Ｔ１乃至Ｔ４を定義する。ここで、必ずピクチャ画質重要度Ｐｉを等間隔に分割する必要はない。図１１（ａ）は、本実施形態の動画像符号化装置の符号化モードとして画質安定重視型を定義した場合の符号化モードにおける閾値Ｔ１乃至Ｔ４の設定例を示している。同図（ｂ）は、画質メリハリ重視型を定義した場合における、符号化モードの閾値Ｔ１乃至Ｔ４の設定例である。
【００６０】
更に、シーン画質重要度算出部１０００は、分割したピクチャ画質重要度クラス番号Ｃｐを用いてシーン画質重要度Ｓｉを算出する。シーン画質重要度Ｓｉは、過去に符号化した複数のピクチャ及び入力ピクチャのピクチャ画質重要度クラス番号Ｃｐを重み付け加算後に平均する事で求める。参照する過去のピクチャ数は、実施形態に応じて選択する事が可能であり、本実施形態では、説明を簡単にするためにピクチャ数を“５”とする。
【００６１】
図１２に、シーン画質重要度Ｃｉ及びピクチャ画質重要度クラス番号Ｃｐの推移を示す。ここで、ピクチャ画質重要度クラスＣｐの過去の５ピクチャを格納した配列をArrayCp[N](N=0〜4)とすれば、シーン画質重要度Ｓｉは次式で求める事が可能である。ただし、Ｎ＝０は直前のピクチャの、Ｎ＝４は５ピクチャ前のピクチャ画質重要度クラスCpを格納するとする。
【００６２】
Ｓi=  (Cwp0×Ci  +   Cwp1×ArrayPi[0]  +   Cwp2×ArrayPi[1]+ Cwp3×ArrayPi[2]  +  Cwp4×ArrayPi[3]  +   Cwp5×ArrayPi[4]  )/(Cwp0+ Cwp1+ Cwp2+ Cwp3+ Cwp4  + Cwp5  )    …（１１）
ただし、Cwp0〜Cwp5は予め定めた重み付け係数であり、１以上の整数である。本実施形態においては、Cwp0〜Cwp4はすべて値“１”とする。式（１１）の処理をピクチャ毎にピクチャ画質重要度算出部１０２からピクチャ画質重要度Ｐｉが入力される毎に行う。すなわち、式（１１）で求めるシーン画質重要度Ｓｉは直前に符号化した複数ピクチャのピクチャ画質重要度Ｐｉの傾向を重み付け加算により求めている事になる。なお、図１２において、ピクチャ番号１〜５までは、シーン画質重要度が“１”である。これは、それ以前の５つ全てのピクチャが存在しないためであり、５つ全てのピクチャが出揃うまで、式（１１）では、ピクチャ番号０のピクチャ画質重要度を用いるようにしたためである。
【００６３】
シーン分割部１００１は、シーン画質重要度算出部１０００からシーンを適応的に構成する。本第２の実施形態においては、シーン分割部１００１によって分割されたシーンを対象として符号量制御を行う。シーンは複数ピクチャから構成されるが、予めシーンの最大ピクチャ数を定義する。シーンを構成するピクチャ数Ｎｓを、予め設定されたＮｍａｘ以下になるようにする（１シーンに含まれるピクチャの数は、この上限数以下にする）。本第２の実施形態においては説明を簡単にするためにＮｍａｘ＝１５とする。シーン分割部１００１において、式（１１）によって得られたシーン画質重要度Ｓｉが同じである連続するピクチャ群を、１つのシーンを構成するピクチャとする。ここでシーン画質重要度算出部１０００から入力されるシーン画質重要度Ｓｉは小数点を含むスカラー値を、小数点第１位を四捨五入する事で整数としたものをシーン画質重要度クラスＣｓとする。このシーン画質重要度クラスＣｓが同じで連続するピクチャをシーンとして構成する。シーン画質重要度クラスＣｓ及びシーンの構成を示した図を図１３に示す。
【００６４】
次にシーン目標符号量算出部１００２について説明する。シーン目標符号量算出部１００２はシーン画質重要度算出部１０００から入力されるシーン画質重要度Ｓｉ、シーン分割部１００１から入力されるシーンの切り替わりを示す情報、及び、符号化歪み算出部１０４から入力されるブロック歪み量Ｂｐからシーン目標符号量Ｒｓを算出する。シーン目標符号量Ｒｓは、シーンの先頭ピクチャを符号化するに先立ち算出されるのみである。シーン目標符号量Ｒｓを算出する際には、次に示す式（１２）で示される目標ビットレートＴｓ及びフレームレートＦｒ及びＮｍａｘから得られるＣＢＲ符号量Ｒｃｂｒを基準として増減させる。
Rcbr  =  Ts  ×  Nmax  ×  1／Fr      …（１２）
【００６５】
シーン目標符号量をＣＢＲ符号量Ｒｃｂｒから減少させる状況は、ブロック歪み量Ｂｐが小さくかつ、シーン画質重要度Ｓｉが小さいシーンの場合である。ただし、シーン目標符号量Ｒｓはシーンを符号化するに先立ち算出する必要があるために、これから符号化するシーンのブロック歪み量Ｂｐ及びシーン画質重要度Ｓｉの予測を行う必要がある。そこで、本第２の実施形態においては、次に示す方法を用いて、この予測を実現する。
【００６６】
ブロック歪み量Ｂｐの予測においては、直前に符号化した複数ピクチャのブロック歪み量Ｂｐから重み加算平均（加重平均）を算出する事により、シーンのブロック歪み量Ｂｐを予測する。予測するブロック歪み量Ｂｓは、過去５ピクチャのブロック歪み量Ｂｐを格納した配列をArrayBp[N](N=0〜4)とすれば、次式（１３）で求めることができる。
Bs  =  (Cwb0×ArrayBp[0]  +Cwb1×ArrayBp[1]+ Cwp2×ArrayBp[2]  +  Cwb3×ArrayBp[3]  +   Cwp4×ArrayBp[4]  )/( Cwb0+ Cwb1+ Cwb2+ Cwb3+ Cwb4)            …（１３）
ただし、Cwb0〜Cwb4は予め定めた重み付け係数でありCwb0=４、及びCwb1〜Cwb4=１とする。
【００６７】
次にシーン画質重要度Ｓｉの予測は、シーン分割部１００１のシーン分割方法に準ずれば良い。すなわち、シーン画質重要度Ｓｉを四捨五入したシーン画質重要度クラスＣｓが同じピクチャ同士をシーンとして分割するので、シーンのシーン画質重要度Ｓｉは対応するシーン画質重要度クラスＣｓとすれば良い。
【００６８】
次にシーン目標符号量Ｒｓの算出方法について図１４を用いて説明する。
【００６９】
まず、ステップＳ１４００において、予測したブロック歪み量Ｂｓが予め定めた定数Ｂminより小さいか否かを判定する。更に、ステップＳ１４０１において、予測したシーン画質重要度クラスＣｓが、予め定めた定数ＣＳminより小さいか否かを判定する。２つの判定結果が真(Ｙｅｓ)である場合には、ＣＢＲ符号量Ｒcbrから予測したシーン画質重要度クラスＣｓ及びブロック歪み量Ｂｓに応じて減少させた符号量をシーン目標符号量Ｒｓとする。
【００７０】
一方、ステップＳ１４０２において予測したブロック歪み量Ｂｓが予め定めた定数Ｂminより大きい場合には、ステップＳ１４０３において、直前シーンを符号化した結果得られた目標ビットレートＴｓに対する余剰符号量に相当するＲrが０より大きい場合には、ＣＢＲ符号量Ｒcbrに対して符号量を増加させてシーン目標符号量Ｒｒとする。
【００７１】
なお、ステップＳ１４０６中のγ及びステップＳ１４０４中のθは予め定めた定数である。
【００７２】
最後に第２のピクチャ目標符号量算出部段の処理について説明する。シーン目標符号量Ｒsを入力として、符号化部１０５に対してピクチャ目標符号量Ｒpを出力する。第２の実施形態においては、ピクチャ目標符号量Ｒｐを算出する処理は従来技術を用いる事で実現する事が可能であり、例えば前記ＴＭ５アルゴリズムを用いる事によって次の様に実現する。
【００７３】
I、P及びBピクチャ毎に、符号化部１０５における符号化結果からピクチャの複雑度Ｘi、Ｘp及びＸb（それぞれＩ，Ｐ，Ｂピクチャに対応する）を次式で求める。
Ｘi=ＲＡi×Ｑi
Ｘp=ＲＡp×Ｑp
Ｘb=ＲＡb×Ｑb        …（１４）
ただし、ＲＡi,ＲＡp,ＲＡbはそれぞれＩ，Ｐ及びＢピクチャを符号化した結果得られる符号量を示し、Ｑi,Ｑp及びＱbは、それぞれＩ，Ｐ及びＢピクチャ内のすべてのマクロブロックに対するＱスケールの平均値である。式（１４）から、次式（１５）を用いて、Ｉ，Ｐ及びＢピクチャそれぞれについてピクチャ目標符号量Ｔi、Ｔp及びＴbを求めて、符号化部5で符号化するピクチャタイプに応じて、ピクチャ目標符号量Ｔi，Ｔp，Ｔbから選択し、符号化部に出力する。
【００７４】
【数１５】
2009094645.tif 000003
ただし、Ｋp＝１．０、Ｋb＝１．４である。
【００７５】
［第３の実施形態］
図１５は、第３の実施形態における動画像符号化装置のブロック構成図である。図１５の動画像符号化装置は、第２の実施形態の動画像符号化装置に対して、新たに撮像制御情報算出部１５００及び動き情報算出部１５０１が追加されたものでもある。ここで、先ず、撮像制御情報算出部１５００が算出する撮像制御情報（ＡＥ情報Ｐae、ＡＦ情報Ｐaf）について説明する。
【００７６】
・撮影制御情報：ＡＥ情報Ｐae
これは、図示しない被写体から撮像し、本第３の実施形態の動画像符号化装置に対して入力ピクチャを与える、撮像手段の露出及びシャッタースピードを調整するための情報である。撮像制御情報算出部１５００は、入力ピクチャの輝度（Ｙ）を用いて算出する事によってＡＥ情報Ｐaeを得る。ここで、ＡＥ情報Ｐaeは、撮像制御情報算出部１５００において、入力ピクチャが露出オーバー或いは露出アンダーである状況下であると判断した場合にはＰae＞０であり、露出オーバー及びアンダーの度合いが数値として表される。Ｐaeの値が大きければ露出オーバー及びアンダーが激しい状況である事を示す。それ以外はＰae＝０を、ピクチャ画質重要度算出部１０２に出力する。
【００７７】
・撮影制御情報：ＡＦ情報Ｐaf
図示しない撮像手段のレンズ位置を制御する事によって焦点距離を調整するための情報である。撮像制御情報算出部１５００においては、入力ピクチャの輝度（Ｙ）を用いて算出する事によってＡＦ情報Ｐafを得る。撮像制御情報算出部１５００において、入力ピクチャが焦点距離を調整中のピクチャであると判断した場合には、Ｐaf＝１であり、それ以外はＰaf＝０をピクチャ画質重要度算出部１０２に出力する。
【００７８】
次にピクチャ重要度算出部１０２の処理について説明する。第１の実施形態で示した式（６）及び式（７）の右辺に、前記ＡＥ情報Ｐae及びＡＦ情報Ｐafを追加する事で、第１の実施形態で示したピクチャ目標符号量Ｒｐ及び第２の実施形態で示したシーケンス目標符号量Ｒｓを同様に算出することが出来る。第１の実施形態で示した視覚感度テーブルは、重み付け係数Ｃｗ[k]及び正規化係数Ｃｄ[k](k=0〜3)であったが、ｋの取り得る範囲を０乃至５として、重み付け係数Ｃｗ[4]及び正規化係数Ｃｄ[4]をそれぞれ、AE情報Ｐaeに対応する値を定義し、更に重み付け係数Ｃｗ[5]及び正規化係数Ｃｄ[5]をそれぞれ、ＡＦ情報Ｐafに対応する値を定義すれば良い。
【００７９】
更に、撮像モードに応じて重み付け係数Ｃｗ[k](k=0〜5)を予め定めた複数の組み合わせから適用的に選択、変更する事も可能である。重み付け係数Ｃｗ[k](k=0〜5)の設定例を図１８に示す。第２の実施形態で説明した図１１で示される画質安定重視型及び画質メリハリ重視型に応じたピクチャ画質重要度クラスＣｐの算出方法と同時に組み合わせる事も可能である。
【００８０】
以上説明したように本実施形態によれば、ブロック歪みによる画質の劣化の度合、及びピクチャの視覚的な統計情報から得られるシーンの画質重要度に従い、シーンに対する目標符号量を制御する。この結果、与えられた目標ビットレートの条件下において良好な画質の符号化動画像データを得る事が可能となる。
【００８１】
また、更には、シーンの画質重要度に、撮像手段の撮像制御情報を考慮し撮影状況に応じたシーンに対する目標符号量の制御を行う事で、与えられた目標ビットレートの条件下において良好な画質の符号化動画像データを得る事が可能となる。
【図面の簡単な説明】
【００８２】
【図１】第１の実施形態における動画像符号化装置のブロック構成図である。
【図２】従来の動画像符号化装置のブロック構成図である。
【図３】従来の動画像符号化装置のブロック構成図である。
【図４】符号化歪み検出部１０４の動作を説明するための図である。
【図５】Ｃｂ−Ｃｒ座標を用いた肌色検出の原理を説明するための図である。
【図６】画像をブロック分割した例を示す図である。
【図７】シーンの構成を説明した図
【図８】第１のピクチャ目標符号量算出部の処理内容を示すフローチャートである。
【図９】ピクチャ目標符号量の推移を示す図である。
【図１０】第２の実施形態における動画像符号化装置のブロック構成図である。
【図１１】第２の実施形態におけるピクチャ画質重要度のクラス分類の例を示す図である。
【図１２】ピクチャ画質重要度クラスの推移を示す図である。
【図１３】シーン画質重要度クラスの推移を示す図である。
【図１４】シーン目標符号量算出部の処理内容を示すフローチャートである。
【図１５】第３の実施形態における動画像符号化装置のブロック構成図である。
【図１６】第１の実施形態における視覚感度テーブルの例を示す図である。
【図１７】第１、第２の実施形態の符号化処理に用いる情報の対応関係を示すテーブルを示す図である。
【図１８】第３の実施形態における重み付け係数Ｃｗの設定のためのテーブルの例を示す図である。
【図１】
2009094645.tif 000004
【図２】
2009094645.tif 000005
【図３】
2009094645.tif 000006
【図４】
2009094645.tif 000007
【図５】
2009094645.tif 000008
【図６】
2009094645.tif 000009
【図７】
2009094645.tif 000010
【図８】
2009094645.tif 000011
【図９】
2009094645.tif 000012
【図１０】
2009094645.tif 000013
【図１１】
2009094645.tif 000014
【図１２】
2009094645.tif 000015
【図１３】
2009094645.tif 000016
【図１４】
2009094645.tif 000017
【図１５】
2009094645.tif 000018
【図１６】
2009094645.tif 000019
【図１７】
2009094645.tif 000020
【図１８】
2009094645.tif 000021