(57)【要約】【課題】動画像データを符号化する際のフレームレート及びビットレートを適切に制御できる動画像符号化装置を提供する。【解決手段】動画像符号化装置１は、動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更するフレームレート変更部１２と、フレームレートが変更された所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化する符号化部１３と、所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値の比を算出する符号量比算出部１４と、フレームレートの設定値の推移及び符号量の累計値の比の推移に基づいて符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて次の期間に適用するフレームレートの設定値及びビットレートの設定値を求めるレート制御部１５とを有する。【選択図】図１
2019114905.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを符号化する動画像符号化装置であって、
前記動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更するフレームレート変更部と、
フレームレートが変更された前記所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化する符号化部と、
前記所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出し、前記ピクチャの種類ごとの符号量の累計値の比を算出する符号量比算出部と、
前記フレームレートの設定値の推移、及び、前記符号量の累計値の比の推移に基づいて、前記所定の期間の次の期間に含まれる各ピクチャの符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求めるレート制御部と、
を有する動画像符号化装置。
【請求項２】
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも高くなると推定されると、前記次の期間に適用するフレームレートの設定値を、前記所定の期間についてのフレームレートの設定値よりも低下させる、請求項１に記載の動画像符号化装置。
【請求項３】
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも低くなると推定されると、前記次の期間に適用するビットレートの設定値を、前記所定の期間についてのビットレートの設定値よりも増加させる、請求項１または２に記載の動画像符号化装置。
【請求項４】
前記レート制御部は、符号化された前記動画像データが伝送される通信路の伝送帯域幅に対応する許容ビットレートと前記所定の期間についてのビットレートの設定値との差が所定値未満である場合、前記次の期間に適用するビットレートの設定値を、前記所定の期間についてのビットレートの設定値に設定する、請求項３に記載の動画像符号化装置。
【請求項５】
符号化された前記動画像データが伝送される通信路について、符号化された前記動画像データの伝送に利用可能な伝送帯域幅を推定する帯域幅推定部をさらに有し、
前記レート制御部は、推定された前記伝送帯域幅の増減傾向及び前記推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求める、請求項１に記載の動画像符号化装置。
【請求項６】
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも高くなると推定され、かつ、前記次の期間における前記伝送帯域幅が前記所定の期間の前記伝送帯域幅以下となると推定されると、前記次の期間に適用するフレームレートの設定値を、前記所定の期間についてのフレームレートの設定値よりも低下させる、請求項５に記載の動画像符号化装置。
【請求項７】
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも低くなると推定され、かつ、前記次の期間における前記伝送帯域幅が前記所定の期間の前記伝送帯域幅以上となると推定されると、前記次の期間に適用するビットレートの設定値を、前記所定の期間についてのビットレートの設定値よりも増加させる、請求項５または６に記載の動画像符号化装置。
【請求項８】
動画像データを符号化する動画像符号化方法であって、
前記動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更し、
フレームレートが変更された前記所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化し、
前記所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出し、前記ピクチャの種類ごとの符号量の累計値の比を算出し、
前記フレームレートの設定値の推移、及び、前記符号量の累計値の比の推移に基づいて、前記所定の期間の次の期間に含まれる各ピクチャの符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求める、
ことを含む動画像符号化方法。
【請求項９】
動画像データを符号化する動画像符号化方法であって、
前記動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更し、
フレームレートが変更された前記所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化し、
前記所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出し、前記ピクチャの種類ごとの符号量の累計値の比を算出し、
前記フレームレートの設定値の推移、及び、前記符号量の累計値の比の推移に基づいて、前記所定の期間の次の期間に含まれる各ピクチャの符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求める、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、Advanced Video Coding（MPEG-4 AVC|ITU-T H.264）及びHigh Efficiency Video Coding（HEVC|ITU-T H.265）が策定されている。
【０００３】
動画像符号化装置は、符号化された動画像データを通信路を介して動画像復号装置へ伝送する際、通信路の伝送帯域幅に応じて、動画像データのフレームレート及び符号量に対応するビットレートを適切に設定することが求められる。伝送帯域幅に対して過剰なビットレートが設定されると、動画像データに含まれる何れかのピクチャについて、復号される予定の時刻までにそのピクチャの符号化データが動画像復号装置のバッファに蓄積されていない、いわゆるアンダーフローが生じることがある。アンダーフローが生じると、動画像復号装置は、そのピクチャを、復号される予定の時刻において復号できない。一方、伝送帯域幅に対して過少なビットレートまたはフレームレートが設定されている場合、符号化された動画像データを復号して得られる復号動画像データの画質を向上できるにもかかわらず、画質が低下したままとなる。そこで、動画像符号化装置において、フレームレートまたはビットレートを制御する技術が提案されている（例えば、特許文献１〜３を参照）。
【０００４】
上記の技術の一例では、送信する動画データがフレームごとに変化の大きい画像であるか否かに応じて、フレームレートが調整される。また、上記の技術の他の一例では、受信端末の接続環境と現在の帯域とから一定期間将来の帯域変動が予測され、予測された帯域変動と受信端末で利用可能なリソースとに基づいて最適なビットレートが決定される。上記の技術のさらに他の一例では、配信サーバが、複数の映像ストリームデータをグループに分類し、同一グループ内の特定のストリームデータのビットレートを低くする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１９３９９０号公報
【特許文献２】国際公開第２００８／１０８３７９号
【特許文献３】特開２００７−３２５１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画像データに含まれるピクチャ上に表されたシーンの複雑さ、あるいは、再生順におけるピクチャ間のシーンの変化の度合いなどに応じて、ピクチャごとに符号化の難易度は変化する。符号化の難易度が高いピクチャほど、復号された動画像データにおいてそのピクチャについて一定の画質を担保するために要求される符号量は増加する。そのため、動画像符号化装置は、最適なフレームレート及びビットレートを設定するために、伝送帯域幅だけでなく、動画像データに含まれる各ピクチャの符号化の難易度も考慮することが好ましい。しかし、動画像データの符号化処理を実行する符号化エンジンによっては、符号化エンジンの外部から、各ピクチャのシーンに関する情報を得ることができず、かつ、フレームレート及びビットレートを制御するためのアルゴリズムのパラメータの設定を変更できないことがある。そのため、上記の技術では、動画像符号化装置は、最適なビットレート及びフレームレートを適切に設定できないことがある。
【０００７】
一つの側面では、本発明は、動画像データを符号化する際のフレームレート及びビットレートを適切に制御できる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの実施形態によれば、動画像データを符号化する動画像符号化装置が提供される。この動画像符号化装置は、動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更するフレームレート変更部と、フレームレートが変更された所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化する符号化部と、所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出し、ピクチャの種類ごとの符号量の累計値の比を算出する符号量比算出部と、フレームレートの設定値の推移、及び、符号量の累計値の比の推移に基づいて、所定の期間の次の期間に含まれる各ピクチャの符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて次の期間に適用するフレームレートの設定値及びビットレートの設定値を求めるレート制御部とを有する。
【発明の効果】
【０００９】
一つの側面では、動画像データを符号化する際のフレームレート及びビットレートを適切に制御できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態による動画像符号化装置の概略構成図である。
【図２】予め設定されるフレームレートとビットレートの関係と、符号化処理の結果として得られる符号量に応じたビットレートの一例を示す図である。
【図３】フレームレート変更の概要の説明図である。
【図４】符号量比算出の動作フローチャートである。
【図５】符号量比の推移及びフレームレートの推移と次の期間について推定される符号化の難易度の変化傾向との関係を表すテーブルの一例を示す図である。
【図６】レート制御処理を含む動画像符号化処理の動作フローチャートである。
【図７】レート制御処理を含む動画像符号化処理の動作フローチャートである。
【図８】第２の実施形態による動画像符号化装置の概略構成図である。
【図９】許容ビットレートの推移と次の期間について推定される伝送帯域幅の変化傾向との関係を表すテーブルの一例を示す図である。
【図１０】第２の実施形態による、レート制御処理を含む、動画像符号化処理の動作フローチャートである。
【図１１】第２の実施形態による、レート制御処理を含む、動画像符号化処理の動作フローチャートである。
【図１２】実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１１】
以下、図を参照しつつ、動画像符号化装置について説明する。この動画像符号化装置は、動画像データを符号化する際に適用するフレームレート及びビットレートを、所定の周期ごとに調整するよう制御する。ここで、符号化エンジンによっては、符号化エンジンの外部から、各ピクチャのシーンに関する情報を得ることができないことがある。さらに、符号化エンジンによっては、フレームレート及びビットレートを制御するためのアルゴリズムのパラメータの設定を変更できず、ただ単に、フレームレートまたはビットレートそのものを指定することしかできないことがある。
【００１２】
そこで、この動画像符号化装置は、そのような符号化エンジンを用いても、フレームレート及びビットレートを最適化できるように、フレームレートの推移及び符号化されたピクチャの種類ごとの符号量の比の推移に基づいて、符号化の難易度の変化傾向を推定する。そしてこの動画像符号化装置は、推定された難易度の変化傾向に応じて、フレームレートまたはビットレートを調整する。
【００１３】
図１は、第１の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、メモリ１１と、フレームレート変更部１２と、符号化部１３と、符号量比算出部１４と、レート制御部１５とを有する。動画像符号化装置１が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置１に実装される。あるいは、動画像符号化装置１が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。あるいはまた、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
【００１４】
動画像符号化装置１は、動画像データを符号化する際、所定の周期ごとにフレームレート及びビットレートを制御して、符号化された動画像データが伝送される動画像復号装置でのアンダーフローの発生、及び、復号される動画像データの画質の劣化を抑制する。
【００１５】
図２は、予め設定されるフレームレートとビットレートの関係と、符号化処理の結果として得られる符号量に応じたビットレートの一例を示す図である。図２において、横軸はフレームレートを表し、縦軸はビットレートを表す。グラフ２００は、予め設定される、フレームレートとビットレートの関係を表す。なお、グラフ２００に示される、フレームレートとビットレートとの関係は、例えば、復号された動画像データについて一定の画質（以下、設計画質と呼ぶことがある）が担保されるビットレートを、統計的にフレームレートごとに求めることで決定される。
【００１６】
例えば、フレームレートがfr1に設定されているとすると、グラフ２００においてフレームレートfr1に相当するビットレートの範囲２０１が、設計画質が担保されるビットレートの範囲である。したがって、フレームレートがfr1に設定されている場合において、動画像符号化処理の結果として得られる符号量に応じたビットレートが範囲２０１に含まれていれば、復号された動画像データについて設計画質が担保される。また、得られた符号量に応じたビットレートが符号化された動画像データが伝送される通信路の伝送帯域幅に対応する許容ビットレート以下であれば、動画像復号装置においてアンダーフローが生じない。
【００１７】
しかし、動画像データに含まれるピクチャの符号化の難易度が想定される難易度よりも高い場合、動画像処理の結果として得られる符号量に応じたビットレートが、範囲２０１よりも高い範囲２０２に含まれることがある。このような場合、フレームレートを変更せずにビットレートの設定値だけを低下させると、復号された動画像データに含まれる各ピクチャの画質が設計画質よりも劣化する。そこで、動画像符号化装置１は、矢印２１１で示されるように、フレームレートを低下させる。これにより、ピクチャ間のシーンの連続性が低下するものの、個々のピクチャに割り当て可能な符号量が増加するので、復号された動画像データに含まれる各ピクチャの画質の劣化が抑制される。
【００１８】
一方、動画像データに含まれるピクチャの符号化の難易度が想定される難易度よりも低い場合、動画像処理の結果として得られる符号量に応じたビットレートが、範囲２０１よりも低い範囲２０３に含まれることがある。このような場合には、伝送帯域幅に余裕があるので、動画像符号化装置１は、矢印２１２で示されるように、ビットレートの設定値を高くする。これにより、個々のピクチャに割り当て可能な符号量が増加するので、復号された動画像データに含まれる各ピクチャの画質が向上する。
【００１９】
以下、動画像符号化装置１の各部の詳細について説明する。
【００２０】
メモリ１１は、記憶部の一例であり、動画像符号化装置１により実行されるレート制御処理の実行に用いられる各種データ及びレート制御処理の実行中に生成される各種のデータを記憶する。例えば、メモリ１１は、フレームレートとビットレートの関係を示すレート参照テーブル（例えば、図２におけるグラフ２００に相当）、ピクチャタイプごとの符号量の累計値及びその比、現在または過去におけるフレームレートの設定値などを記憶する。
【００２１】
フレームレート変更部１２は、レート制御部１５によりフレームレートの設定値が通知される度に、動画像データのフレームレートを通知されたフレームレートの設定値に変更する。例えば、フレームレート変更部１２は、フレームレートの設定値がオリジナルの動画像データのフレームレートよりも低い場合、単位時間当たりのピクチャの数がフレームレートの設定値に応じた数となるよう、オリジナルの動画像データからピクチャを間引く。そしてフレームレート変更部１２は、間引かれたピクチャの代わりに、例えば、再生順で直前の間引かれていないピクチャをコピーして、そのコピーされたピクチャを挿入する。
【００２２】
図３は、フレームレート変更の概要の説明図である。図３において、実線で表された各ブロックは、それぞれ、一つのピクチャを表し、ブロック内の数字は、ピクチャの再生順を表す。オリジナルの動画像データ３０１のフレームレートが30fpsであり、フレームレートの設定値も30fpsである場合、レート変更後の動画像データ３０２では、オリジナルの動画像データに含まれる各ピクチャがそのまま出力される。一方、フレームレートの設定値が15fpsであり、オリジナルの動画像データのフレームレートの半分である場合には、レート変更後の動画像データ３０３では、１枚置きにピクチャが間引かれる。この例では、オリジナルの動画像データに含まれるピクチャのうち、ピクチャ２、ピクチャ４、及びピクチャ６が間引かれる。その代わりに、ピクチャ１、ピクチャ３、及びピクチャ５がそれぞれコピーされ、ピクチャ２、ピクチャ４、ピクチャ６の代わりに挿入される。また、フレームレートの設定値が10fpsであり、オリジナルの動画像データのフレームレートの1/3である場合には、レート変更後の動画像データ３０４では、３枚のうちの２枚ずつピクチャが間引かれる。この例では、オリジナルの動画像データに含まれるピクチャのうち、ピクチャ２、ピクチャ３、ピクチャ５及びピクチャ６が間引かれる。その代わりに、ピクチャ１及びピクチャ４がそれぞれコピーされ、ピクチャ２、ピクチャ３、ピクチャ５及びピクチャ６の代わりに挿入される。なお、コピーされたピクチャは、符号化部１３により、スキップフレームとして符号化されるので、コピーされたピクチャに対する符号量は、スキップフレームであることを表すフラグの符号量程度となる。
【００２３】
上記のようにピクチャの間引き及びコピーを行うことで、フレームレート変更部１２は、受信側の動画像復号装置の機能的あるいは運用規定などによる制約のために固定のフレームレートでの伝送しか許可されない場合でも、疑似的にフレームレートを変更できる。
【００２４】
なお、受信側の動画像復号装置について可変フレームレートでの伝送が許可される場合には、フレームレート変更部１２は、他のフレームレート変更方法にしたがって、オリジナルの動画像データのフレームレートを、設定されたフレームレートに変更してもよい。例えば、フレームレート変更部１２は、単位時間当たりのピクチャの数が設定されたフレームレートに対応する数となるように、オリジナルの動画像データに含まれるピクチャの何れかを間引いてもよい。あるいは、フレームレート変更部１２は、オリジナルの動画像データに含まれる、再生順に並んだ複数のピクチャを用いた補間処理を実行することで得られた合成ピクチャを、その複数のピクチャの代わりに動画像データに含めてもよい。
【００２５】
フレームレート変更部１２は、フレームレート変更後の動画像データの各ピクチャを符号化部１３へ出力する。
【００２６】
符号化部１３は、フレームレート変更後の動画像データの各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化する。符号化部１３は、例えば、MPEG-2、MPEG-4、H.264/MPEG-4 AVCあるいはH.265といった様々な符号化標準の何れかに従って、フレームレート変更後の動画像データに含まれる各ピクチャを符号化すればよい。例えば、符号化部１３は、着目するピクチャを複数のブロックに分割し、ブロックごとに、適用可能な予測符号化モードに従って符号化済みの他のピクチャまたは着目するピクチャの符号化済みの領域からそのブロックの予測ブロックを生成する。そして符号化部１３は、ブロックごとに、そのブロックと予測ブロックの対応画素間の差分値を予測誤差信号として算出し、予測誤差信号を直交変換して直交変換係数を算出し、直交変換係数を量子化する。その際、符号化部１３は、設定されたビットレートに応じた目標情報量にしたがって、量子化スケールを規定する量子化パラメータを設定し、設定された量子化パラメータに応じて直交変換係数を量子化すればよい。さらに、符号化部１３は、ブロックごとに、量子化された直交変換係数、量子化パラメータ及び予測ブロックを生成するために必要な各種パラメータなどをエントロピー符号化する。そして符号化部１３は、ブロックごとのエントロピー符号化された直交変換係数、量子化パラメータ及び各種パラメータを着目するピクチャの符号化データに含める。さらに、符号化部１３は、各ブロックについて、符号化順で後のブロックまたはピクチャが参照可能なように、量子化された直交変換係数を逆量子化及び逆直交変換して予測誤差信号を復元する。そして符号化部１３は、各ブロックについて、復元された予測誤差信号に対応する予測ブロックの対応画素の値を加算してそのブロックを復号する。
【００２７】
なお、符号化部１３は、例えば、MPEG-2の標準テストモデル5に従って、ピクチャごとに、設定されたビットレートに応じた目標情報量及び量子化パラメータを設定すればよい。なお、目標情報量及び量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。あるいは、符号化部１３は、他のビットレート制御手法に従って、目標情報量及び量子化パラメータを設定してもよい。
【００２８】
符号化部１３は、符号化された各ピクチャのデータを含む、符号化された動画像データを、動画像符号化装置１が有するバッファ（図示せず）に出力する。そして符号化された動画像データは、利用可能な伝送帯域幅に応じた許容ビットレートで、通信路を介して動画像復号装置へ伝送される。
【００２９】
符号量比算出部１４は、所定の周期に応じた期間ごとに、符号化部１３から出力される符号化された各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出する。そして符号量比算出部１４は、ピクチャの種類ごとの符号量の累計値の比を算出する。
【００３０】
本実施形態では、符号量比算出部１４は、イントラ予測符号化モードが適用されるIピクチャと、イントラ予測符号化モードだけでなく、インター予測符号化モードも適用可能なPピクチャ及びBピクチャのそれぞれについて符号量の累計値を求める。そして符号量比算出部１４は、Iピクチャについての符号量の累計値に対する、Pピクチャ及びBピクチャについての符号量の累計値の比を算出する。なお、イントラ予測符号化モードは、符号化対象ピクチャ内の情報のみを用いてその符号化対象ピクチャを符号化する符号化方式である。また、インター予測符号化モードは、符号化済みの他のピクチャの情報を用いて符号化対象ピクチャを符号化する符号化方式である。Pピクチャは、片方向のみの予測が行われるピクチャであり、Bピクチャは、双方向の予測が行われるピクチャである。なお、遅延の制約あるいは演算量の制約により、Bピクチャが用いられない場合には、符号量比算出部１４は、Iピクチャについての符号量の累計値に対する、Pピクチャについての符号量の累計値の比を算出すればよい。
【００３１】
Iピクチャについての符号量の累計値に対する、Pピクチャ及びBピクチャについての符号量の累計値の比（以下、便宜上、符号量比と呼ぶ）は、ピクチャの符号化の難易度の変化傾向の推定に利用される。一般に、イントラ予測符号化モードが適用されるピクチャの符号量よりも、インター予測符号化モードが適用されるピクチャの符号量の方が少なくなる。また、着目するピクチャの符号化対象ブロックについてインター予測符号化モードが適用され、動き予測により、符号化済みの他のピクチャ上でそのブロックと類似する領域があれば、予測誤差信号は小さくなるので、Pピクチャ及びBピクチャの符号量は少なくなる。逆に、動き予測によっても符号化対象ブロックと類似する領域が符号化済みの他のピクチャ上で見つからない場合、あるいは、符号化対象ブロックにイントラ予測符号化モードが適用される場合、Pピクチャ及びBピクチャの符号量は増加する。また、ピクチャ上のシーンが複雑なほど、一般に、そのピクチャの符号量は増加する。また一般に、一定の期間当たりのIピクチャの枚数よりも、Pピクチャ及びBピクチャの枚数の方が多い。したがって、符号量比が小さいほど、符号量比が算出された期間の各ピクチャの符号化の難易度は低いと想定される。
【００３２】
なお、コピーピクチャについての符号量は非常に少ないので、符号量比算出部１４は、コピーピクチャについての符号量を除いて符号量比を算出してもよい。また、符号量比算出部１４は、符号量比を算出する単位となる所定の期間を、例えば、Group Of Pictures(GOP)に相当する期間、アクセスユニット(Access Unit, AU)に相当する期間、あるいは複数のAUに相当する期間とすることができる。
【００３３】
図４は、符号量比算出の動作フローチャートである。
符号量比算出部１４は、所定の期間が開始されると、ピクチャタイプごとの符号量の累計値を０にリセットし、所定の期間の先頭のピクチャを着目するピクチャに設定する（ステップＳ１０１）。なお、所定の期間の開始は、例えば、GOPであれば、Iピクチャの符号化データが出力されたタイミングとすることができ、あるいは、アクセスユニットであれば、符号化された動画像データにAUデリミタが現れるタイミングとすることができる。
【００３４】
符号量比算出部１４は、着目するピクチャのタイプがIピクチャか否か判定する（ステップＳ１０２）。着目するピクチャのタイプがIピクチャであれば（ステップＳ１０２−Ｙｅｓ）、符号量比算出部１４は、Iピクチャについての符号量の累計値SIに着目するピクチャの符号量を加算する（ステップＳ１０３）。
【００３５】
一方、着目するピクチャのタイプがIピクチャでなければ（ステップＳ１０２−Ｎｏ）、符号量比算出部１４は、着目するピクチャのタイプがPピクチャまたはBピクチャであるか否か判定する（ステップＳ１０４）。着目するピクチャのタイプがPピクチャまたはBピクチャであれば（ステップＳ１０４−Ｙｅｓ）、符号量比算出部１４は、Pピクチャ及びBピクチャについての符号量の累計値SPBに着目するピクチャの符号量を加算する（ステップＳ１０５）。一方、着目するピクチャのタイプがPピクチャ及びBピクチャの何れでもなければ（ステップＳ１０４−Ｎｏ）、すなわち、着目するピクチャがコピーピクチャであれば、符号量比算出部１４は、着目するピクチャの符号量を何れの累計値にも加算しない。
【００３６】
ステップＳ１０３またはＳ１０５の後、あるいは、ステップＳ１０４にて着目するピクチャのタイプがPピクチャ及びBピクチャの何れでもない場合（ステップＳ１０４−Ｎｏ）、符号量比算出部１４は、所定の期間が終了したか否か判定する（ステップＳ１０６）。
【００３７】
所定の期間が終了していなければ（ステップＳ１０６−Ｎｏ）、符号量比算出部１４は、符号化順で着目するピクチャの次のピクチャを着目するピクチャに設定する（ステップＳ１０７）。その後、符号量比算出部１４は、ステップＳ１０２以降の処理を繰り返す。
【００３８】
一方、所定の期間が終了していれば（ステップＳ１０６−Ｙｅｓ）、符号量比算出部１４は、Iピクチャについての符号量の累計値SIに対する、PピクチャまたはBピクチャについての符号量の累計値SPBの比を符号量比として算出する（ステップＳ１０８）。そして符号量比算出部１４は、直前の期間について算出され、メモリ１１に記憶されている符号量比を前期間の符号量比とし、ステップＳ１０８にて算出された符号量比を現期間の符号量比としてメモリ１１に記憶する。そして符号量比算出部１４は、符号量比算出処理を終了する。
【００３９】
レート制御部１５は、所定の周期ごとに、符号量比の推移、及び、フレームレートの推移に基づいて、フレームレート及びビットレートを設定する。
【００４０】
図５は、符号量比の推移及びフレームレートの推移と次のフレームレート及びビットレートの設定値の適用期間について推定される符号化の難易度の変化傾向との関係を表すテーブルの一例を示す。図５に示されたテーブル５００において、記号Ａ〜Ｃは、符号化の難易度の変化傾向を表す。この例では、記号Ａは、次の期間において現期間よりも難易度が高くなることを表し、記号Ｂは、次の期間において現期間から難易度が変化しないことを表す。記号Ｃは、次の期間において現期間よりも難易度が低くなることを表す。
【００４１】
テーブル５００の各行は、符号量比の推移に対する、次の期間について推定される難易度の変化傾向を表す。一番上の行は、前期間の符号量比よりも現期間の符号量比の方が低い場合、すなわち、動き予測の精度が高くなるか、あるいは、シーンが簡単化している場合の難易度の変化傾向を表す。また、上から２番目の行は、前期間の符号量比と現期間の符号量比とが等しい場合、すなわち、動き予測の精度及びシーンの複雑さが変化していない場合の難易度の変化傾向を表す。そして一番下の行は、前期間の符号量比よりも現期間の符号量比の方が高い場合、すなわち、動き予測の精度が低下しているか、あるいは、シーンが複雑化している場合の難易度の変化傾向を表す。
【００４２】
また、テーブル５００において、各列は、フレームレートの推移に対する次の期間について推定される難易度の変化傾向を表す。すなわち、一番左の列は、現期間のフレームレートよりも現期間について、伝送帯域幅に応じた許容ビットレートに対応するフレームレート（以下、設定フレームレートと呼ぶ）の方が低い場合に対応する。なお、許容ビットレートに対応する設定フレームレートは、レート参照テーブルを参照することで求められる。この場合、フレームレートに応じて想定されるビットレートと実際に符号化された各ピクチャのビットレートとの差が大きくなる傾向にある。また、中央の列は、現期間のフレームレートと設定フレームレートが同一である場合に対応する。この場合、フレームレートに応じて想定されるビットレートと実際に符号化された各ピクチャのビットレートとの差は、次の期間においても同程度である傾向にある。そして一番右の列は、現期間のフレームレートよりも設定フレームレートの方が高い場合に対応する。この場合、フレームレートに応じて想定されるビットレートと実際に符号化された各ピクチャのビットレートとの差が小さくなる傾向にある。
【００４３】
上記のように、符号量比が高いほど、ピクチャの符号化の難易度が高いと想定される。したがって、テーブル５００に示されるように、前期間における符号量比と比較して、現期間における符号量比の方が高ければ、前期間に含まれるピクチャよりも、現期間に含まれるピクチャの方が符号化の難易度が高いと推定される。したがって、フレームレートの推移に関わらず、現期間の次の期間に含まれるピクチャの符号化の難易度は高くなる傾向にあると推定される。逆に、前期間における符号量比と比較して、現期間における符号量比の方が低いか、同等であれば、フレームレートの推移に応じて難易度の変化傾向が推定される。すなわち、この場合には、現期間について設定されたフレームレートよりも、伝送帯域幅に基づく設定フレームレートが低ければ、難易度は高くなる傾向にあると推定される。また、現期間について設定されたフレームレートと伝送帯域幅に基づく設定フレームレートが同一であれば、難易度は変化しない傾向にあると推定される。そして現期間について設定されたフレームレートよりも、伝送帯域幅に基づく設定フレームレートが高ければ、難易度は低くなる傾向にあると推定される。
【００４４】
レート制御部１５は、次の期間について推定される符号化の難易度の変化傾向がＡまたはＢ、すなわち、符号化の難易度が高くなるか、現期間と同程度の難易度と推定される場合、次の期間についてフレームレートの設定値を低下させる。一方、レート制御部１５は、次の期間について推定される符号化の難易度の変化傾向がＣまたはＢ、すなわち、符号化の難易度が低くなるか、現期間と同程度の難易度と推定される場合、次の期間についてビットレートの設定値を高くする。
【００４５】
図６及び図７は、動画像符号化装置１により実行される、レート制御処理を含む動画像符号化処理の動作フローチャートである。動画像符号化装置１は、以下に示される動作フローチャートに従って、所定の周期に相当する期間ごとに動画像符号化処理を実行する。なお、以下に示される動作フローチャートのうち、ステップＳ２０３〜Ｓ２１４がレート制御処理に相当する。
【００４６】
フレームレート変更部１２は、オリジナルの動画像データのフレームレートを、前期間においてレート制御部１５から通知されたフレームレートに変更する（ステップＳ２０１）。そしてフレームレート変更部１２は、変更されたフレームレートの動画像データの各ピクチャを符号化部１３へ出力する。
【００４７】
符号化部１３は、フレームレート変更部１２から受信した動画像データの各ピクチャを、前期間においてレート制御部１５から通知されたビットレートに従って符号化する（ステップＳ２０２）。そして符号化部１３は、各ピクチャの符号化データをバッファ（図示せず）へ出力する。
【００４８】
符号量比算出部１４は、各ピクチャの符号化データを参照して、符号量比を算出する（ステップＳ２０３）。
【００４９】
レート制御部１５は、現期間のフレームレート（現fps）が伝送帯域幅に基づく設定フレームレート（設定fps）よりも高いか否か判定する（ステップＳ２０４）。現fpsが設定fpsよりも高い場合（ステップＳ２０４−Ｙｅｓ）、レート制御部１５は、次期間についての符号化の難易度の傾向T1をＡ（すなわち、難易度が高くなる）と推定する（ステップＳ２０５）。
【００５０】
一方、現fpsが設定fps以下である場合（ステップＳ２０４−Ｎｏ）、レート制御部１５は、前期間の符号量比（前R）が現期間の符号量比（現R）よりも低いか否か判定する（ステップＳ２０６）。前期間の符号量比が現期間の符号量比よりも低い場合（ステップＳ２０６−Ｙｅｓ）、レート制御部１５は、次期間についての符号化の難易度の傾向T1をＡと推定する（ステップＳ２０５）。
【００５１】
一方、前期間の符号量比が現期間の符号量比以上である高い場合（ステップＳ２０６−Ｎｏ）、レート制御部１５は、現fpsが設定fpsよりも低いか否か判定する（ステップＳ２０７）。現fpsが設定fpsよりも低ければ（ステップＳ２０７−Ｙｅｓ）、レート制御部１５は、次期間についての符号化の難易度の傾向T1をＣ（すなわち、難易度が低下する）と推定する（ステップＳ２０８）。一方、現fpsと設定fpsが同一であれば（ステップＳ２０７−Ｎｏ）、レート制御部１５は、次期間についての符号化の難易度の傾向T1をＢ（すなわち、難易度は変化しない）と推定する（ステップＳ２０９）。
【００５２】
図７に示されるように、ステップＳ２０５、Ｓ２０８またはＳ２０９の後、レート制御部１５は、推定された難易度の傾向T1がＡまたはＢか否か判定する（ステップＳ２１０）。推定された難易度の傾向T1がＡまたはＢである場合（ステップＳ２１０−Ｙｅｓ）、レート制御部１５は、現期間のフレームレートよりも次期間のフレームレートを低下させるよう、フレームレートを設定する（ステップＳ２１１）。例えば、レート制御部１５は、次式に従って、次期間について設定するビットレートを求める。そしてレート制御部１５は、レート参照テーブルを参照して、その設定されたビットレートに対応するフレームレートを特定し、特定されたフレームレートを、次期間についてのフレームレートの設定値とする。
【数１】
2019114905.tif 000003
【００５３】
ステップＳ２１１の後、レート制御部１５は、推定された難易度の傾向T1がＢか否か判定する（ステップＳ２１２）。推定された難易度の傾向T1がＢである場合（ステップＳ２１２−Ｙｅｓ）、レート制御部１５は、次期間について設定するビットレートを増加させる（ステップＳ２１３）。ステップＳ２１０にて推定された難易度の傾向T1がＣである場合（ステップＳ２１０−Ｎｏ）も、レート制御部１５は、ステップＳ２１３の処理を実行する。例えば、レート制御部１５は、次式に従って、次期間についてのビットレートを設定する。
【数２】
2019114905.tif 000004
【００５４】
ステップＳ２１２にて推定された難易度の傾向T1がＡである場合（ステップＳ２１２−Ｎｏ）、あるいはステップＳ２１３の後、レート制御部１５は、設定したフレームレート及びビットレートをメモリ１１に記憶する。さらに、レート制御部１５は、設定したフレームレートをフレームレート変更部１２へ通知し、設定したビットレートを符号化部１３へ通知する（ステップＳ２１４）。そして動画像符号化装置１は、動画像符号化処理を終了する。
【００５５】
なお、レート制御部１５は、二つの期間について符号量比が算出されるまでは、伝送帯域幅に対応する許容ビットレートを設定ビットレートとし、レート参照テーブルを参照して、許容ビットレートに対応するフレームレートを設定すればよい。また、変形例によれば、レート制御部１５は、推定された難易度の傾向T1がＢの場合には、フレームレート及びビットレートを変更せずに維持してもよい。また、フレームレートまたはビットレートが急激に変化しないように、(bmc-bsc)が所定の上限値を超える場合、レート制御部１５は、（１）式または（２）式において(bmc-bsc)の代わりにその上限値を用いることで、次期間について設定するビットレートを求めてもよい。
【００５６】
また他の変形例によれば、レート制御部１５は、推定された難易度の傾向T1がＡまたはＢの場合、現期間について設定されているフレームレートよりも予め指定された所定のレートだけフレームレートを低下させてもよい。この場合には、レート制御部１５は、上記の実施形態とは逆に、レート参照テーブルを参照して、低下後のフレームレートに対応するビットレートを特定し、特定したビットレートを次期間についてのビットレートの設定値としてもよい。
【００５７】
あるいは、レート制御部１５は、推定された難易度の傾向T1がＢまたはＣの場合、現期間についての実際のビットレートと現期間について設定されたビットレートの差の絶対値を算出してもよい。そしてレート制御部１５は、その差の絶対値に現期間について設定されたビットレートに加算した値を次期間についてのビットレートに設定してもよい。
【００５８】
なお、レート制御部１５は、推定された難易度がＢまたはＣの場合であっても、現期間について設定されたビットレートと許容ビットレートの差が所定の閾値以下となる場合には、次期間についてのビットレートを現期間についてのビットレートのまま維持してもよい。これにより、動画像復号装置においてアンダーフローが生じることが抑制される。
【００５９】
また、レート制御部１５は、現期間についての実際の符号量に相当するビットレートと現期間について設定されたビットレートの差の絶対値が所定の許容範囲以内であれば、次期間についてのフレームレート及びビットレートを変更しなくてもよい。なお、所定の許容範囲は、例えば、現期間について設定されたビットレートに対する±1〜2％の範囲とすることができる。
【００６０】
以上に説明してきたように、この動画像符号化装置は、ピクチャタイプごとの符号量の比の推移及び設定されたフレームレートの推移に基づいて、現時点以降の符号化の難易度の変化傾向を推定する。そしてこの動画像符号化装置は、難易度が高くなると推定される場合には、フレームレートを低下させ、一方、難易度が低くなると推定される場合には、ビットレートを増加させる。これにより、この動画像符号化装置は、符号化対象となる動画像データの各ピクチャのシーンを調べること、及び、ビットレート制御用のパラメータを調整できない場合でも、フレームレート及びビットレートを適切に制御できる。さらに、フレームレート及びビットレートの設定値の変更を符号化部へ通知してから実際にその変更が反映されるまでにある程度のタイムラグが存在することがある。しかし、このような場合でも、この動画像符号化装置は、現時点以降の推定される符号化の難易度の変化傾向に基づいてフレームレート及びビットレートを制御するので、実際の符号量に相当するビットレートと設定されたビットレートの差が大きくなることを抑制できる。
【００６１】
なお、符号化された動画像データが伝送される通信路に関して、動画像データの伝送に利用可能な伝送帯域幅が変動することがある。例えば、その通信路と接続される他の機器から送信される、符号化された動画像データ以外の他のデータが増加すると、すなわち、トラフィックが増加すると、利用可能な伝送帯域幅は減少する。そこで、動画像符号化装置は、符号化の難易度の変化傾向だけでなく、利用可能な伝送帯域幅の変動の傾向を推定し、その推定結果に基づいて、フレームレート及びビットレートを設定してもよい。
【００６２】
図８は、第２の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置２は、メモリ１１と、フレームレート変更部１２と、符号化部１３と、符号量比算出部１４と、レート制御部１５と、帯域幅推定部１６とを有する。動画像符号化装置２が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置２に実装される。あるいは、動画像符号化装置２が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像符号化装置２に実装されてもよい。あるいはまた、動画像符号化装置２が有するこれらの各部は、動画像符号化装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
【００６３】
第２の実施形態による動画像符号化装置２は、第１の実施形態による動画像符号化装置１と比較して、帯域幅推定部１６を有する点、及び、レート制御部１５の処理が異なる。そこで以下では、帯域幅推定部１６及びレート制御部１５について説明する。動画像符号化装置２の他の各部については、動画像符号化装置１の対応する構成要素の説明を参照されたい。
【００６４】
帯域幅推定部１６は、所定の周期ごとに、符号化された動画像データが伝送される通信路について利用可能な伝送帯域幅を推定する。
【００６５】
例えば、帯域幅推定部１６は、動画像符号化装置２から動画像復号装置（図示せず）間の遅延量、エラーレート、再送回数などを所定の期間ごとに測定する。そして、帯域幅推定部１６は、遅延量、エラーレートあるいは再送回数と伝送帯域幅との関係を表す帯域幅参照テーブルを参照して、それらの測定値に対応する伝送帯域幅を特定する。そして帯域幅推定部１６は、特定した伝送帯域幅を、その期間における、利用可能な伝送帯域幅として推定する。なお、帯域幅推定部１６が伝送帯域幅を推定する周期と、フレームレート及びビットレートの制御を行う周期とは同一であってもよく、あるいは異なっていてもよい。
帯域幅推定部１６は、推定した、利用可能な伝送帯域幅をメモリ１１に記憶する。
【００６６】
レート制御部１５は、利用可能な伝送帯域幅の増減傾向及び符号化の難易度の変化傾向に応じて、次の期間に適用されるフレームレートの設定値及びビットレートの設定値を求める。
【００６７】
図９は、許容ビットレートの推移と次の期間について推定される伝送帯域幅の変動との関係を表すテーブルの一例を示す。図９に示されたテーブル９００において、記号Ａ〜Ｃは、伝送帯域幅の増減傾向を表す。この例では、記号Ａは、伝送帯域幅が狭くなることを表し、記号Ｂは、伝送帯域幅が変化しないことを表し、記号Ｃは、伝送帯域幅が広くなることを表す。
【００６８】
テーブル９００の各行は、許容ビットレートの推移に対する、次の期間について推定される伝送帯域幅の増減傾向を表す。すなわち、一番上の行は、前期間の許容ビットレートよりも現期間の許容ビットレートの方が低い場合、伝送帯域幅が狭くなる傾向であると推定されることを表す。また、上から２番目の行は、前期間の許容ビットレートと現期間の許容ビットレートとが等しい場合、伝送帯域幅が変化しないと推定されることを表す。そして一番下の行は、前期間の許容ビットレートよりも現期間の許容ビットレートの方が高い場合、伝送帯域幅が広くなる傾向であると推定されることを表す。
【００６９】
レート制御部１５は、符号化の難易度だけでなく、伝送帯域幅の増減傾向に応じてビットレートを増加するか否か、及び、フレームレートを低下させるか否かを判定する。例えば、レート制御部１５は、符号化の難易度が高くなるか、または変化しない（図５における難易度ＡまたはＢ）であっても、伝送帯域幅が広くなる傾向（図８における増減傾向Ｃ）であると推定される場合には、フレームレートを低下させない。これは、レート制御部１５がフレームレートを低下させなくても、伝送帯域幅の増加に伴って許容ビットレートが増加することで、動画像復号装置においてアンダーフローが生じることが抑制されると想定されるためである。また、フレームレートが維持されることで、復号される動画像データの画質の劣化が抑制される。
【００７０】
また、レート制御部１５は、符号化の難易度が低くなるか、または変化しない（図５における難易度ＣまたはＢ）であっても、伝送帯域幅が狭くなる傾向（図８における増減傾向Ａ）であると推定される場合には、ビットレートを増加させない。これは、レート制御部１５がビットレートを増加させると、伝送帯域幅の減少に伴って許容ビットレートが低下し、符号化部１３から実際に出力される符号量に応じたビットレートが許容ビットレートを超える可能性があるためである。
【００７１】
なお、レート制御部１５は、上記の符号化の難易度と伝送帯域幅の増減傾向の組み合わせ以外については、第１の実施形態と同様に、難易度の変化傾向にしたがってフレームレートまたはビットレートを制御すればよい。
【００７２】
図１０及び図１１は、動画像符号化装置２により実行される、レート制御処理を含む、動画像符号化処理の動作フローチャートである。動画像符号化装置２は、以下に示される動作フローチャートに従って、所定の期間ごとに動画像符号化処理を実行する。なお、ステップＳ３０３〜ステップＳ３１７が、レート制御処理に相当する。
【００７３】
フレームレート変更部１２は、オリジナルの動画像データのフレームレートを、前期間においてレート制御部１５から通知されたフレームレートに変更する（ステップＳ３０１）。そしてフレームレート変更部１２は、変更されたフレームレートの動画像データの各ピクチャを符号化部１３へ出力する。
【００７４】
符号化部１３は、フレームレート変更部１２から受信した動画像データの各ピクチャを、前期間においてレート制御部１５から通知されたビットレートに従って符号化する（ステップＳ３０２）。そして符号化部１３は、各ピクチャの符号化データをバッファ（図示せず）へ出力する。
【００７５】
符号量比算出部１４は、各ピクチャの符号化データを参照して、符号量比を算出する（ステップＳ３０３）。
【００７６】
帯域幅推定部１６は、符号化された動画像データが伝送される通信路について利用可能な伝送帯域幅を推定する（ステップＳ３０４）。そしてレート制御部１５は、現期間における伝送帯域幅と前期間における伝送帯域幅の差に基づいて、伝送帯域幅の増減傾向T2を推定する（ステップＳ３０５）。
【００７７】
また、レート制御部１５は、現期間のフレームレート（現fps）が現期間について推定された伝送帯域幅に基づく設定フレームレート（設定fps）よりも高いか否か判定する（ステップＳ３０６）。現fpsが設定fpsよりも高い場合（ステップＳ３０６−Ｙｅｓ）、レート制御部１５は、次期間についての符号化の難易度の変化傾向T1をＡ（すなわち、難易度が高くなる）と推定する（ステップＳ３０７）。
【００７８】
一方、現fpsが設定fps以下である場合（ステップＳ３０６−Ｎｏ）、レート制御部１５は、前期間の符号量比（前R）が現期間の符号量比（現R）よりも低いか否か判定する（ステップＳ３０８）。前期間の符号量比が現期間の符号量比よりも低い場合（ステップＳ３０８−Ｙｅｓ）、レート制御部１５は、次期間についての符号化の難易度の変化傾向T1をＡと推定する（ステップＳ３０７）。
【００７９】
一方、前期間の符号量比が現期間の符号量比以上である場合（ステップＳ３０８−Ｎｏ）、レート制御部１５は、現fpsが設定fpsよりも低いか否か判定する（ステップＳ３０９）。現fpsが設定fpsよりも低ければ（ステップＳ３０９−Ｙｅｓ）、レート制御部１５は、次期間についての符号化の難易度の変化傾向T1をＣ（すなわち、難易度は低くなる）と推定する（ステップＳ３１０）。一方、現fpsと設定fpsが同一であれば（ステップＳ３０９−Ｎｏ）、レート制御部１５は、次期間についての符号化の難易度の変化傾向T1をＢ（すなわち、難易度は変化しない）と推定する（ステップＳ３１１）。
【００８０】
図１１に示されるように、ステップＳ３０７、Ｓ３１０またはＳ３１１の後、レート制御部１５は、推定された難易度の変化傾向T1がＡまたはＢであり、かつ、増減傾向T2が減少または維持か否か判定する（ステップＳ３１２）。推定された難易度の変化傾向T1がＡまたはＢであり、かつ、増減傾向T2が減少または維持である場合（ステップＳ３１２−Ｙｅｓ）、レート制御部１５は、現期間のフレームレートよりも次期間のフレームレートを低下させるよう、フレームレートを設定する（ステップＳ３１３）。例えば、レート制御部１５は、（１）式に従って、次期間について設定するビットレートを設定する。そしてレート制御部１５は、レート参照テーブルを参照して、その設定されたビットレートに対応するフレームレートを特定し、特定されたフレームレートを、次期間についてのフレームレートとする。
【００８１】
ステップＳ３１３の後、レート制御部１５は、推定された難易度の変化傾向T1がＢか否か判定する（ステップＳ３１４）。推定された難易度の変化傾向T1がＢである場合（ステップＳ３１４−Ｙｅｓ）、レート制御部１５は、推定された難易度の変化傾向T1がＣまたはＢであり、かつ、増減傾向T2が増加または維持か否か判定する（ステップＳ３１５）。また、レート制御部１５は、ステップＳ３１２にて、推定された難易度の変化傾向T1がＣ、または、増減傾向T2が増加傾向である場合も、ステップＳ３１５の処理を実行する。
【００８２】
推定された難易度の変化傾向T1がＣまたはＢであり、かつ、増減傾向T2が増加または維持である場合（ステップＳ３１５−Ｙｅｓ）、レート制御部１５は、次期間について設定するビットレートを増加させる（ステップＳ３１６）。例えば、レート制御部１５は、（２）式に従って、次期間についてのビットレートを設定する。
【００８３】
ステップＳ３１４にて推定された難易度の変化傾向T1がＡである場合（ステップＳ３１４−Ｎｏ）、あるいはステップＳ３１６の後、レート制御部１５は、設定したフレームレート及びビットレートをメモリ１１に記憶する。また、ステップＳ３１５にて、推定された難易度の変化傾向T1がＡであるか、または、増減傾向T2が減少傾向である場合も、レート制御部１５は、設定したフレームレート及びビットレートをメモリ１１に記憶する。さらに、レート制御部１５は、設定したフレームレートをフレームレート変更部１２へ通知し、設定したビットレートを符号化部１３へ通知する（ステップＳ３１７）。そして動画像符号化装置１は、動画像符号化処理を終了する。
【００８４】
なお、第２の実施形態においても、レート制御部１５は、推定された難易度がＢの場合には、フレームレート及びビットレートを変更せずに維持してもよい。
【００８５】
第２の実施形態によれば、動画像符号化装置は、符号化された動画像データが伝送される通信路についての利用可能な伝送帯域幅の増減傾向を推定し、符号化の難易度だけでなく、その増減傾向に応じてフレームレート及びビットレートを制御する。そのため、この動画像符号化装置は、フレームレート及びビットレートをより適切に設定できる。さらに、この動画像符号化装置は、通信路についての利用可能な伝送帯域幅の増減傾向を予測して、実際に伝送帯域幅が変化する前にフレームレート及びビットレートを制御する。そのため、この動画像符号化装置は、伝送帯域幅が変化してからフレームレート及びビットレートが変更されるまでのタイムラグを少なくすることができる。
【００８６】
第２の実施形態の変形例によれば、レート制御部１５は、帯域幅推定部１６により推定された通信路の伝送帯域幅を、伝送帯域幅の増減傾向の予測に利用しなくてもよい。この場合には、推定された通信路の伝送帯域幅は、難易度の変化傾向を推定する際の伝送帯域幅に基づく設定フレームレートの導出に利用されればよい。またこの場合、図１０及び図１１に示される動作フローチャートにおいて、ステップＳ３０５の処理は省略されてもよい。さらに、レート制御部１５は、ステップＳ３１２〜Ｓ３１７の処理の代わりに、図７に示される、ステップＳ２１０〜Ｓ２１４の処理を実行すればよい。
【００８７】
上記の実施形態または変形例において、レート制御部１５は、３以上の期間の符号量比に基づいて、次期間の符号化の難易度の変化傾向を推定してもよい。この場合、レート制御部１５は、例えば、３以上の期間の符号量比に対して最小二乗法を適用することで符号量比の増減傾向を表す１次または２次以上の多項式を求めてもよい。そしてレート制御部１５は、その多項式に従って、次期間における符号量比が増加傾向にあるか、減少傾向にあるかを判定してもよい。そしてレート制御部１５は、図５に示されるテーブルにおいて、前期間の符号量比と現期間の符号量比の大小関係の代わりに、符号量比の増減傾向を参照して、符号化の難易度の変化傾向を推定すればよい。例えば、符号量比が増加傾向にある場合、レート制御部１５は、前期間のフレームレートと現期間のフレームレートの大小関係に関わらず、符号化の難易度の変化傾向をＡと推定してもよい。また、符号量比が減少傾向にある場合、レート制御部１５は、図５に示されるテーブルの一番上の行に示されるように、前期間のフレームレートと現期間のフレームレートの大小関係に応じて、符号化の難易度の変化傾向を推定してもよい。
【００８８】
同様に、レート制御部１５は、３以上の期間の利用可能な伝送帯域幅に基づいて、利用可能な伝送帯域幅の増減傾向を推定してもよい。この場合も、レート制御部１５は、例えば、３以上の期間の伝送帯域幅に対して最小二乗法を適用することで伝送帯域幅の増減傾向を表す１次または２次以上の多項式を求めてもよい。そしてレート制御部１５は、その多項式に従って、次期間における伝送帯域幅が増加傾向にあるか、減少傾向にあるかを判定してもよい。
【００８９】
上述した実施形態またはその変形例による動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、映像送信装置、テレビ電話システム、仮想デスクトップシステム、コンピュータ、あるいは携帯電話機などに組み込まれる。
【００９０】
図１２は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【００９１】
コンピュータ１００は、ユーザインターフェース１０１と、通信インターフェース１０２と、メモリ１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース１０１、通信インターフェース１０２、メモリ１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００９２】
ユーザインターフェース１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース１０１は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ１０５へ出力する。
【００９３】
通信インターフェース１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
【００９４】
さらに、通信インターフェース１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
【００９５】
この場合には、通信インターフェース１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、それらのデータをプロセッサ１０５へ渡す。また通信インターフェース１０２は、プロセッサ１０５から受け取った、符号化動画像データを、通信ネットワークを介して他の機器へ出力してもよい。この場合、通信ネットワークの伝送帯域幅に応じて、プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理を実行すればよい。
【００９６】
メモリ１０３は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ１０３は、プロセッサ１０５上で実行される、動画像符号化処理及びレート制御処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
【００９７】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理及びレート制御処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【００９８】
プロセッサ１０５は、１個以上のCPUを有する。プロセッサ１０５は、数値演算プロセッサをさらに有してもよい。そしてプロセッサ１０５は、入力された動画像データに対して上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データをメモリ１０３に保存し、または通信インターフェース１０２を介して他の機器へ出力する。
【００９９】
なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【０１００】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【０１０１】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データを符号化する動画像符号化装置であって、
前記動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更するフレームレート変更部と、
フレームレートが変更された前記所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化する符号化部と、
前記所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出し、前記ピクチャの種類ごとの符号量の累計値の比を算出する符号量比算出部と、
前記フレームレートの設定値の推移、及び、前記符号量の累計値の比の推移に基づいて、前記所定の期間の次の期間に含まれる各ピクチャの符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求めるレート制御部と、
を有する動画像符号化装置。
（付記２）
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも高くなると推定されると、前記次の期間に適用するフレームレートの設定値を、前記所定の期間についてのフレームレートの設定値よりも低下させる、付記１に記載の動画像符号化装置。
（付記３）
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも低くなると推定されると、前記次の期間に適用するビットレートの設定値を、前記所定の期間についてのビットレートの設定値よりも増加させる、付記１または２に記載の動画像符号化装置。
（付記４）
前記レート制御部は、符号化された前記動画像データが伝送される通信路の伝送帯域幅に対応する許容ビットレートと前記所定の期間についてのビットレートの設定値との差が所定値未満である場合、前記次の期間に適用するビットレートの設定値を、前記所定の期間についてのビットレートの設定値に設定する、付記３に記載の動画像符号化装置。
（付記５）
符号化された前記動画像データが伝送される通信路について、符号化された前記動画像データの伝送に利用可能な伝送帯域幅を推定する帯域幅推定部をさらに有し、
前記レート制御部は、推定された前記伝送帯域幅の増減傾向及び前記推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求める、付記１に記載の動画像符号化装置。
（付記６）
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも高くなると推定され、かつ、前記次の期間における前記伝送帯域幅が前記所定の期間の前記伝送帯域幅以下となると推定されると、前記次の期間に適用するフレームレートの設定値を、前記所定の期間についてのフレームレートの設定値よりも低下させる、付記５に記載の動画像符号化装置。
（付記７）
前記レート制御部は、前記次の期間における前記難易度が前記所定の期間における難易度よりも低くなると推定され、かつ、前記次の期間における前記伝送帯域幅が前記所定の期間の前記伝送帯域幅以上となると推定されると、前記次の期間に適用するビットレートの設定値を、前記所定の期間についてのビットレートの設定値よりも増加させる、付記５または６に記載の動画像符号化装置。
（付記８）
前記ビットレートと前記フレームレートの対応関係を表すテーブルを記憶する記憶部をさらに有し、
前記レート制御部は、前記所定の期間についての前記ビットレートの設定値と、前記所定の期間についての前記各ピクチャの符号量に対応するビットレートとの差を前記所定の期間についての前記フレームレートの設定値で除した値だけ、前記所定の期間についての前記ビットレートの設定値から減じた値に対応するフレームレートの値を前記テーブルを参照して特定し、特定されたフレームレートの値を前記次の期間における前記フレームレートの設定値とする、付記２または６に記載の動画像符号化装置。
（付記９）
前記符号量比算出部は、他のピクチャを参照せずに符号化されるピクチャについての符号量の累計値に対する、他のピクチャを参照可能に符号化されるピクチャについての符号量の累計値の比を、前記ピクチャの種類ごとの符号量の累計値の比として算出する、付記１〜８の何れかに記載の動画像符号化装置。
（付記１０）
動画像データを符号化する動画像符号化方法であって、
前記動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更し、
フレームレートが変更された前記所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化し、
前記所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出し、前記ピクチャの種類ごとの符号量の累計値の比を算出し、
前記フレームレートの設定値の推移、及び、前記符号量の累計値の比の推移に基づいて、前記所定の期間の次の期間に含まれる各ピクチャの符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求める、
ことを含む動画像符号化方法。
（付記１１）
動画像データを符号化する動画像符号化方法であって、
前記動画像データの所定の期間におけるフレームレートを通知されたフレームレートの設定値に変更し、
フレームレートが変更された前記所定の期間に含まれる各ピクチャを、通知されたビットレートの設定値に応じた符号量となるように符号化し、
前記所定の期間に含まれる各ピクチャについて、適用可能な符号化処理が異なるピクチャの種類ごとの符号量の累計値を算出し、前記ピクチャの種類ごとの符号量の累計値の比を算出し、
前記フレームレートの設定値の推移、及び、前記符号量の累計値の比の推移に基づいて、前記所定の期間の次の期間に含まれる各ピクチャの符号化の難易度の変化傾向を推定し、推定した難易度の変化傾向に応じて前記次の期間に適用するフレームレートの設定値及びビットレートの設定値を求める、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【符号の説明】
【０１０２】
１、２    動画像符号化装置
１１    メモリ
１２    フレームレート変更部
１３    符号化部
１４    符号量比算出部
１５    レート制御部
１６    帯域幅推定部
１００    コンピュータ
１０１    ユーザインターフェース
１０２    通信インターフェース
１０３    メモリ
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
2019114905.tif 000005
【図２】
2019114905.tif 000006
【図３】
2019114905.tif 000007
【図４】
2019114905.tif 000008
【図５】
2019114905.tif 000009
【図６】
2019114905.tif 000010
【図７】
2019114905.tif 000011
【図８】
2019114905.tif 000012
【図９】
2019114905.tif 000013
【図１０】
2019114905.tif 000014
【図１１】
2019114905.tif 000015
【図１２】
2019114905.tif 000016