(57)【要約】【課題】限られた符号量で量子化パラメータおよびフレームレートを適切に制御することにより、主観動画像品質を向上させる。【解決手段】動画像を構成する画像素材に対して第1符号化を行なうステップと、前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定するステップと、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定するステップと、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定するステップと、前記判定の結果に応じて、フレームレートを変更するステップと、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なうステップと、を含む。【選択図】図２
2010074783.tif 000002
【特許請求の範囲】
【請求項１】
フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化方法であって、
動画像を構成する画像素材に対して第1符号化を行なうステップと、
前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定するステップと、
前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定するステップと、
前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定するステップと、
前記判定の結果に応じて、フレームレートを変更するステップと、
前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なうステップと、を含むことを特徴とする動画像符号化方法。
【請求項２】
前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第1の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第1の閾値未満である場合、前記第1の閾値未満であるフレームを除外することによりフレームレートを下げることを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第１の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴とする請求項１記載の動画像符号化方法。
【請求項５】
前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第２の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴とする請求項１記載の動画像符号化方法。
【請求項６】
前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第２の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴とする請求項１記載の動画像符号化方法。
【請求項７】
前記変更後のフレームレートに基づいて、前記フレーム毎の割り当て符号量が要求画像品質を満たすかどうかを再度判定するステップを、更に含むことを特徴とする請求項１から請求項６のいずれかに記載の動画像符号化方法。
【請求項８】
フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化装置であって、
動画像を構成する画像素材に対して第1符号化を行なう第１符号化部と、
前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する符号量推定部と、
前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する割り当て符号量決定部と、
前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する判定部と、
前記判定の結果に応じて、フレームレートを変更するフレームレート変更部と、
前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なう第２符号化部と、を備えることを特徴とする動画像符号化装置。
【請求項９】
フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化プログラムであって、
動画像を構成する画像素材に対して第1符号化を行なう処理と、
前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する処理と、
前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する処理と、
前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する処理と、
前記判定の結果に応じて、フレームレートを変更する処理と、
前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なう処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することにより、主観動画像品質を向上させる技術に関する。
【背景技術】
【０００２】
従来から、種々の画像符号化技術が提案されている。例えば、特許文献１には、ビットレートと画像品質が最適と考えられるフレームレートの対応を、主観品質評価実験により予め用意し、これに基づいて画像品質が最適となるフレームレートを決定する技術が開示されている。また、特許文献２に開示されている技術は、符号化データの出力時の遅延量を超えない範囲で、符号量と符号化するフレーム数を決定し、画質に応じたフレームレートを決定する。さらに、特許文献３には、画像の性質が再生時刻によって変化した場合、コマ落ちやフレーム数の急激な変化による画像の滑らかさが損なわれることを回避するため、画像の変化度合いを示す画質パラメータ値を予め定義し、目標コマ落ち範囲内に収まるよう制御する技術が開示されている。
【特許文献１】特開平０６−０９０４４１号公報
【特許文献２】特許第３６５１７０６号公報
【特許文献３】特開平０９−２６１６３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画面内の複雑さや動きの速さといった符号化する画像シーケンスの性質は様々であることから、特許文献１に開示されている技術では、ビットレートと最適フレームレートとを一意に対応付けることは困難である。また、特許文献２では、符号化データの出力時の遅延量の制約を守るために、十分な符号量を割り当てることができず、画像品質が十分でないことが生じ得ると考えられる。さらに、特許文献３では、ＶＢＶ（Video Buffer Verifier）に代表される仮想バッファやビットレートの制約があるために、画質パラメータを、目的とする範囲内に収める制御ができない場合がある。
【０００４】
また、一般的な動画像符号化装置では、仮想バッファやビットレートの制約を満たすため、次の順番で制御を実施する。
（１）量子化パラメータ（ＱＰ）を増加する。
（２）フレームスキップを行なう。
【０００５】
しかしながら、（２）のフレームスキップが実施される時点では、量子化パラメータは最大値を取ることとなる。これでは画像フレームの品質が最低となってしまう。
【０００６】
さらに、Ｈ．２６４に代表される高圧縮の符号化方式では、量子化パラメータの制御範囲内で仮想バッファやビットレートの制約を満たすことが多くの場合で可能であるが、量子化パラメータ値が高いと、十分な画像品質を達成できない場合がある。一方、ビットレートが高く、各フレームの画像品質が必要以上に十分な場合では、指定したフレームレートよりも高いフレームレートで符号化することにより、時間解像度（動きの滑らかさ）を向上させる方が主観画質を向上させることが可能となる。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することにより、主観動画像品質を向上させることができる動画像符号化方法、動画像符号化装置および動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の動画像符号化方法は、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化方法であって、動画像を構成する画像素材に対して第１符号化を行なうステップと、前記第１符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定するステップと、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定するステップと、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定するステップと、前記判定の結果に応じて、フレームレートを変更するステップと、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なうステップと、を含むことを特徴としている。
【０００９】
このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。
【００１０】
（２）また、本発明の動画像符号化方法は、前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第１の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴としている。
【００１１】
このように、画像シーケンス全体の画像品質が、要求画像品質を示す第１の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げるので、各画像フレームで一定以上の画像品質を高めることにより、主観画像を向上させることができる。
【００１２】
（３）また、本発明の動画像符号化方法は、前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第１の閾値未満である場合、前記第１の閾値未満であるフレームを除外することによりフレームレートを下げることを特徴としている。
【００１３】
このように、決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第１の閾値未満である場合、第１の閾値未満であるフレームを除外することによりフレームレートを下げるので、各画像フレームで一定以上の画像品質を高めることにより、主観画像を向上させることができる。
【００１４】
（４）また、本発明の動画像符号化方法は、前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第１の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴としている。
【００１５】
このように、決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第１の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げるので、各画像フレームで一定以上の画像品質を高めることにより、主観画像を向上させることができる。
【００１６】
（５）また、本発明の動画像符号化方法は、前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第２の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴としている。
【００１７】
このように、画像シーケンス全体の画像品質が、要求画像品質を示す第２の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げるので、必要以上に十分であった画像品質を下げて、時間解像度を上げることができる。これにより、主観画質を向上させることができる。
【００１８】
（６）また、本発明の動画像符号化方法は、前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第２の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴としている。
【００１９】
このように、決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第２の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げるので、必要以上に十分であった画像品質を下げて、時間解像度を上げることができる。これにより、主観画質を向上させることができる。
【００２０】
（７）また、本発明の動画像符号化方法は、前記変更後のフレームレートに基づいて、前記フレーム毎の割り当て符号量が要求画像品質を満たすかどうかを再度判定するステップを、更に含むことを特徴としている。
【００２１】
このように、変更後のフレームレートに基づいて、前記フレーム毎の割り当て符号量が要求画像品質を満たすかどうかを再度判定するので、再帰的に処理を繰り返すことができる。これにより、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。
【００２２】
（８）また、本発明の動画像符号化装置は、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化装置であって、動画像を構成する画像素材に対して第１符号化を行なう第１符号化部と、前記第１符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する符号量推定部と、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する割り当て符号量決定部と、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する判定部と、前記判定の結果に応じて、フレームレートを変更するフレームレート変更部と、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なう第２符号化部と、を備えることを特徴としている。
【００２３】
このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。
【００２４】
（９）また、本発明の動画像符号化プログラムは、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化プログラムであって、動画像を構成する画像素材に対して第１符号化を行なう処理と、前記第１符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する処理と、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する処理と、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する処理と、前記判定の結果に応じて、フレームレートを変更する処理と、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なう処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴としている。
【００２５】
このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。
【発明の効果】
【００２６】
本発明によれば、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。
【発明を実施するための最良の形態】
【００２７】
本発明は、限られた符号量で量子化パラメータおよびフレームレートを適切に制御し、生成する映像ストリームの主観動画像品質を向上させる。このため、第１段階目の符号化で画像フレームの符号化難易度の特徴を分析し、その分析結果に基づいて、適宜フレームレートを変更し、第２段階目の符号化を実施する２パス動画像符号化方法を採用する。以下、図面を参照して本発明を詳細に説明する。
【００２８】
図１は、本実施形態に係る動画像符号化装置の概略構成を示すブロック図である。動画像符号化装置１０は、データベース１１から、入出力インタフェース１２を介して画像素材を入力する。第１符号化部１３は、動画像を構成する画像素材に対して第１符号化を行なう。符号量推定部１４は、第１符号化された画像データに基づいて、符号化難易度を分析し、全量子化パラメータにおける各フレームの発生符号量を推定する。割り当て符号量決定部１５は、符号量推定部１４が推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量（ビットアロケーション）を決定する。
【００２９】
判定部１６は、割り当て符号量決定部１５が決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する。フレームレート変更部１７は、判定部１６の判定の結果に応じて、フレームレートを変更する。さらに、ＶＢＶチェック部１８は、受信バッファの状態をモデル化し、正常に動画像が再生できるかどうかを判定する（ＶＢＶチェック）。また、この判定（ＶＢＶチェック）の結果、フレーム単位の符号量の再割り当てが必要であると判定された場合は、割り当て符号量修正部１９は、ＶＢＶの条件を満たすフレーム単位の割り当て符号量を決定する。第２符号化部２０は、上記フレームレートの変更により、決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行ない、最終的に映像ストリームが出力される。なお、これらの構成要素は、制御バス３０に接続され、相互にデータを送受信することができるように構成されている。
【００３０】
図２は、本実施形態に係る動画像符号化装置の動作を示すフローチャートである。本実施形態で示す２パス動画像符号化方法は、まず、データベース１１から符号化する画像素材を取得し、取得した画像素材に対して第１符号化を行なう（ステップＳ１）。次に、第１符号化の結果取得したデータから符号化難易度を分析し、全量子化パラメータにおける各フレームの発生符号量を推定する（ステップＳ２）。次に、ステップＳ２で推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定するビットアロケーションを行なう（ステップＳ３）。
【００３１】
次に、ステップＳ３で決定したフレーム単位の割り当て符号量が、要求画像品質を満たすかどうかを判定する（ステップＳ４）。すなわち、画像品質は適切であるかどうかを判断する。ステップＳ４における判定方法は、次のようなものがある。
【００３２】
＜ＰＳＮＲ値を用いた判定方法＞
図３は、ＰＳＮＲ（Peak Signal-to-Noise Ratio）値を用いた判定方法を示す図である。図３において、丸１は、符号化する画像シーケンス全体の平均ＰＳＮＲ値を用いる方法を示している。本方法では、画像シーケンス全体の平均ＰＳＮＲ値に対し、画像品質が十分でないと判定するための閾値１と、画像品質が必要以上に十分であると判定するための閾値２の２つの閾値を用いる。これらの２つの閾値を用いることにより、平均ＰＳＮＲ値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、画像シーケンス全体に対して判定される。例えば、図３に示す例では、平均ＰＳＮＲ値が２７．５［ｄＢ］である。
【００３３】
［閾値１を３０［ｄＢ］、閾値２を３５［ｄＢ］に設定する場合］
この場合は、平均ＰＳＮＲ値が閾値１を下回るため、要求画像品質を満たさないと判定される。
【００３４】
［閾値１を２５［ｄＢ］、閾値２を３０［ｄＢ］に設定する場合］
この場合は、平均ＰＳＮＲ値が閾値１を上回り、且つ閾値２を下回るため、要求画像品質を満たす、つまり画像品質は適切であると判定される。
【００３５】
［閾値１を２０［ｄＢ］、閾値２を２５［ｄＢ］に設定する場合］
この場合は、平均ＰＳＮＲ値が閾値２を上回るため、要求画像品質を必要以上に十分満たすと判定される。
【００３６】
また、図３において、丸２は、各フレームのＰＳＮＲ値を用いる方法を示している。本方法では、各フレームのＰＳＮＲ値に対し、画像品質が十分でないと判定するための閾値１と、画像品質が必要以上に十分であると判定するための閾値２の２つの閾値を用いる。これらの２つの閾値を用いることにより、各フレームのＰＳＮＲ値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、フレーム毎に判定される。
【００３７】
［閾値１を２５［ｄＢ］、閾値２を３０［ｄＢ］に設定する場合］
この場合は、フレーム１、２は要求画像品質を必要以上に十分満たすと判定され、フレーム３、４は要求画像品質を満たす、つまり画像品質は適切であると判定され、フレーム５、６は要求画像品質を満たさないと判定される。
【００３８】
＜ＱＰ値を用いた判定方法＞
図４は、ＱＰ（Quantization Parameter）値を用いた判定方法を示す図である。図４において、丸１は、符号化する画像シーケンス全体の平均ＱＰ値を用いる方法を示す。本方法では、画像シーケンス全体の平均ＱＰ値に対し、画像品質が十分でないと判定するための閾値１と、画像品質が必要以上に十分であると判定するための閾値２の２つの閾値を用いる。これらの２つの閾値を用いることにより、平均ＱＰ値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、画像シーケンス全体に対して判定される。ここで、ＱＰ値は、量子化の粗さを規定するパラメータであり、値が小さい程、量子化が細かくなり、品質が向上する。逆に、値が大きい程、量子化が粗くなり、品質が劣化する、という性質がある。図３に示す例では、平均ＱＰ値は３５である。
【００３９】
［閾値１を３０、閾値２を２０に設定する場合］
この場合は、平均ＱＰ値が閾値１を上回るため、要求画像品質を満たさないと判定される。
【００４０】
［閾値１を４０、閾値２を３０に設定する場合」
この場合は、平均ＱＰ値が閾値１を下回り、且つ閾値２を上回るため、要求画像品質を満たす、つまり画像品質は適切であると判定される。
【００４１】
［閾値１を５０、閾値２を４０に設定する場合」
この場合は、平均ＱＰ値が閾値２を下回るため、要求画像品質を必要以上に十分満たすと判定される。
【００４２】
また、図４において、丸２は、各フレームのＱＰ値を用いる方法を示している。本方法では、各フレームのＱＰ値に対し、画像品質が十分でないと判定するための閾値１と、画像品質が必要以上に十分であると判定するための閾値２の２つの閾値を用いる。これらの２つの閾値を用いることにより、各フレームのＱＰ値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、フレーム毎に判定される。
【００４３】
［閾値１を４０、閾値２を３０に設定する場合］
この場合は、フレーム１、２は要求画像品質を必要以上に十分満たすと判定され、フレーム３、４は要求画像品質を満たす、つまり画像品質は適切であると判定され、フレーム５、６は要求画像品質を満たさないと判定される。
【００４４】
次に、図２に示すステップＳ４において、画像品質は適切でない場合は、画像品質が低いかどうかを判断する（ステップＳ５）。画像品質が低い場合は、フレームレートを下げて（ステップＳ６）、ステップＳ４に遷移する。ステップＳ６において、フレームレートを下げるには、以下の方法がある。
【００４５】
＜フレームレートを下げる場合＞
図５は、フレームレートを下げる場合の方法を示す図である。図５において、丸１は、符号化する画像シーケンスで一律にフレームレートを下げる方法を示している。本方法では、画像シーケンスで一律にフレームレートを下げる、つまりフレームレートを１／２、１／３等に下げる。図５では、フレームレートを１／２に下げる例を示しており、例えば、３０ｆｐｓを１５ｆｐｓに、１０ｆｐｓを５ｆｐｓに下げる。図５において、丸２は、要求画像品質を満たさないと判定されたフレームのみをスキップする方法を示している。要求画像品質をフレーム毎に判定する場合において、本方法では要求画像品質を満たさないと判定されたフレームのみをスキップする。図５では、フレーム２、３、５、７、８が要求画像品質を満たさないと判定され、これらのフレームを除外している。なお、フレームレートを下げる方法として、上記以外の方法を用いてもよい。
【００４６】
ステップＳ４とステップＳ５を介して、ステップＳ６において、フレームレートを下げる場合は、種々のバリエーションが考えられる。例えば、画像シーケンス全体で要求画像品質を満たすかどうかを判断し、または、フレーム毎に要求画像品質を満たすかどうかを判断して、フレームレートを下げる手法がある。また、フレーム毎に要求画像品質を満たすかどうかを判断して、要求画像品質を満たさないフレームのみを除外（スキップ）することにより、フレームレートを下げる手法もある。さらに、フレーム毎に要求画像品質を満たすかどうかを判断して、所定割合以上（例えば、半数以上）のフレームで要求画像品質を満たさない場合は、フレームレートを下げ、または、要求画像品質を満たさないフレームのみを除外（スキップ）することにより、フレームレートを下げる手法もある。なお、この他の実施方法決定アルゴリズムを規定しても良い。
【００４７】
次に、図２に示すステップＳ５において、画像品質が低くない場合は、フレームレートを上げて（ステップＳ７）、ステップＳ４へ遷移する。ステップＳ７において、フレームレートを上げるには、以下の方法がある。
【００４８】
＜フレームレートを上げる場合＞
図６は、フレームレートを上げる場合の方法を示す図である。但し、フレームレートの上限は、符号化する画像素材のフレームレートである。図６において、丸１は、符号化する画像シーケンスで一律にフレームレートを上げる方法を示している。本方法では、画像シーケンスで一律にフレームレートを上げる、つまりフレームレートを２倍、３倍等に上げる。図６では、フレームレートを２倍に上げる例を示している。例えば、１５ｆｐｓを３０ｆｐｓに、５ｆｐｓを１０ｆｐｓに上げる。なお、フレームレートを上げる方法として、上記以外の方法を用いてもよい。
【００４９】
ステップＳ４とステップＳ５を介して、ステップＳ７において、フレームレートを上げる場合は、種々のバリエーションが考えられる。例えば、画像シーケンス全体で要求画像品質を満たすかどうかを判断し、または、フレーム毎に要求画像品質を満たすかどうかを判断して、フレームレートを上げる手法がある。例えば、要求画像品質を満たすフレームがひとつでも存在する場合、または、所定割合以上（例えば、半数以上）のフレームで要求画像品質を満たす場合に、フレームレートを上げることが考えられる。
【００５０】
次に、図２に示すステップＳ４において、画像品質が適切である場合は、受信バッファの状態をモデル化し、正常に動画像が再生できるか判定するＶＢＶチェックを行なう（ステップＳ８）。ステップＳ８におけるＶＢＶチェックの結果、ＯＫとならずにフレーム単位の符号量再割り当てが必要であると判定された場合は、再度ビットアロケーション修正を行ない（ステップＳ９）、ステップＳ８に遷移する。一方、ステップＳ８におけるＶＢＶチェックの結果、ＯＫである場合は、決定したフレーム単位の符号量に従って第２符号化を実施して（ステップＳ１０）、最終的な出力映像ストリームを得る。
【００５１】
なお、本実施形態では、ステップＳ４〜ステップＳ７を規定するものであり、その他構成要素については、従来の２パス動画像符号化方法を用いることができる。また、上記のステップＳ４〜ステップＳ７で規定する要求画像品質の判定方式およびフレームレート変更方式は、各ステップの実施毎に任意に選択可能である。さらに、ステップＳ４〜ステップＳ７がループとなっているように、一度要求画像品質を判定し、フレームレートの変更を実施した後、再び要求画像品質を判定し、２回目以降のフレームレートの変更を実施するといった再帰的な処理も可能である。
【００５２】
以上のような本発明の特徴的な動作は、コンピュータにプログラムを実行させることによりおこなうことができる。すなわち、本発明の動画像符号化プログラムは、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化プログラムであって、動画像を構成する画像素材に対して第１符号化を行なう処理と、前記第１符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する処理と、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する処理と、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する処理と、前記判定の結果に応じて、フレームレートを変更する処理と、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第２符号化を行なう処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴としている。
【００５３】
このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。
【００５４】
以上説明したように、本実施形態によれば、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。
【図面の簡単な説明】
【００５５】
【図１】本実施形態に係る動画像符号化装置の概略構成を示すブロック図である。
【図２】本実施形態に係る動画像符号化装置の動作を示すフローチャートである。
【図３】ＰＳＮＲ値を用いた判定方法を示す図である。
【図４】ＱＰ値を用いた判定方法を示す図である。
【図５】フレームレートを下げる場合の方法を示す図である。
【図６】フレームレートを上げる場合の方法を示す図である。
【符号の説明】
【００５６】
１０  動画像符号化装置
１１  データベース
１２  入出力インタフェース
１３  第１符号化部
１４  符号量推定部
１５  割り当て符号量決定部
１６  判定部
１７  フレームレート変更部
１８  ＶＢＶチェック部
１９  割り当て符号量修正部
２０  第２符号化部
３０  制御バス
【図１】
2010074783.tif 000003
【図２】
2010074783.tif 000004
【図３】
2010074783.tif 000005
【図４】
2010074783.tif 000006
【図５】
2010074783.tif 000007
【図６】
2010074783.tif 000008