(57)【要約】【課題】映像符号化パラメータの調整を精度よく簡易に行う。【解決手段】映像符号化装置１０１の制御部１０４は、複数回ループ再生されるテスト映像を構成する各シーンを符号化する際に使用された異なる映像符号化パラメータ値を取得する。ＲＤコスト計算部１０５は、制御部１０４が取得した映像符号化パラメータ値を使用して映像符号化部１０３がシーンの映像に行った符号化のＲＤコストを計算する。最適パラメータ判定部１０６は、ＲＤコストと映像符号化パラメータ値との関連に基づいて、符号化に適した映像符号化パラメータ値を判定する。【選択図】図１
2019097128.tif 000002
【特許請求の範囲】
【請求項１】
大映像に含まれる複数の小映像それぞれを符号化する際に使用された異なる映像符号化パラメータ値を取得する取得部と、
前記小映像毎に、前記映像符号化パラメータ値を使用して前記小映像に行った符号化の評価を所定の指標に基づいて行う評価部と、
前記評価と前記映像符号化パラメータ値との関連に基づいて、符号化に適した映像符号化パラメータ値を判定する判定部と、
を備える映像符号化パラメータ調整装置。
【請求項２】
前記大映像は、ループ再生される前記小映像を含み、
前記大映像の映像特徴量に基づいて、ループの先頭を検出する検出部と、
前記検出部が検出した前記ループの先頭において、前記小映像を符号化する際に使用される前記映像符号化パラメータ値を変更する変更部と、
前記検出部が検出した前記ループの先頭においてＧＯＰ（Group of Picture）位相を初期化し、前記ループ毎に、前記変更部により変更された前記映像符号化パラメータ値を用いてＧＯＰの先頭から前記小映像を符号化する符号化部とを備える、
請求項１に記載の映像符号化パラメータ調整装置。
【請求項３】
前記評価部は、ピクチャ種別ごとに、前記映像符号化パラメータ値を使用して前記小映像に含まれるピクチャに行った符号化の評価を所定の前記指標に基づいて行い、
前記判定部は、前記ピクチャ種別毎の前記評価と前記映像符号化パラメータ値との関連に基づいて、前記ピクチャ種別毎に符号化に適した映像符号化パラメータ値を判定する、
請求項１に記載の映像符号化パラメータ調整装置。
【請求項４】
前記大映像は、ループ再生される前記小映像を含み、
前記所定の指標は、発生符号量Ｒと符号化劣化Ｄを線形結合したＲＤコストであり、
前記評価部は、前記大映像に含まれる２回分のループの前記小映像に、調整対象の量子化パラメータ値の前後の量子化パラメータ値を使用して符号化を行ったときの発生符号量Ｒ及び符号化劣化Ｄに基づいてＲＤ特性曲線の傾きを求め、求めた前記傾きに基づいて、ＲＤコストの算出に用いるラグランジュ係数を決定する、
請求項１に記載の映像符号化パラメータ調整装置。
【請求項５】
前記大映像は、ループ再生される複数の前記小映像を含み、
前記検出部は、前記大映像の映像特徴量に基づいて、前記小映像の先頭を検出し、
前記符号化部は、前記検出部が検出した前記小映像の先頭においてＧＯＰ（Group of Picture）位相を初期化し、前記小映像毎に、前記変更部により変更された前記映像符号化パラメータ値を用いてＧＯＰの先頭から符号化を行い、
前記判定部は、前記小映像毎の前記評価と前記映像符号化パラメータ値との関連に基づいて、前記小映像毎に符号化に適した映像符号化パラメータ値を判定する、
請求項２に記載の映像符号化パラメータ調整装置。
【請求項６】
大映像に含まれる複数の小映像それぞれを符号化する際に使用された異なる映像符号化パラメータ値を取得する取得ステップと、
前記小映像毎に、前記映像符号化パラメータ値を使用して前記小映像に行った符号化の評価を所定の指標に基づいて行う評価ステップと、
前記評価と前記映像符号化パラメータ値との関連に基づいて、符号化に適した映像符号化パラメータ値を判定する判定ステップと、
を有する映像符号化パラメータ調整方法。
【請求項７】
コンピュータを、請求項１から請求項５のいずれか一項に記載の映像符号化パラメータ調整装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化パラメータ調整装置、映像符号化パラメータ調整方法及びプログラムに関する。
【背景技術】
【０００２】
通常、映像符号化システムや映像符号化装置には、符号化効率を決定づける映像符号化パラメータ（以下、「符号化パラメータ」とも記載）が複数存在している。これら符号化パラメータを、符号化条件や入力映像の特性に応じて調整することが、圧縮時の符号化効率や画質向上につながる。そのため、符号化パラメータの調整は、重要な課題である。例えば、リアルタイム符号化処理を行う映像符号化装置においては、調整対象となる符号化パラメータの値を少しずつ変化させた設定データもしくはファームウェアを複数用意しておき、それらを用いて同じテスト映像を符号化したときの符号化結果の優劣に基づいて符号化パラメータの値を決定する。
【０００３】
具体的には、符号化時のログもしくは採取した符号化ストリームから各ピクチャの符号量Ｒを求める。さらに、デコード映像と原画像との差分を専用装置またはソフトウェア処理によって求めて、各ピクチャの符号化歪量Ｄを求める。これらを基に、符号量Ｒと符号化歪量Ｄとを線形結合した指標であるＲＤコスト、Ｄ＋λＲが最小となるような符号化パラメータの値を最適なパラメータ値として決定する（例えば、非特許文献１参照）。ここでλは、ラグランジュ係数と呼ばれる値であり、（ＲＤ特性曲線の接線の傾き）×（−１）に相当する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】監修  大久保榮，「H.265/HEVC教科書」，p.232-239，発行  インプレスジャパン，2013年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に符号化パラメータの多くは、量子化パラメータの大小によって、その設定値や最適値が異なる。そこで、固定ビットレート制御を行った通常の符号化ではなく、固定的な量子化パラメータ設定で符号化を行い、その時の符号量Ｒ、符号化歪量ＤからＲＤコストを求めて最適なパラメータを判定する。これにより、その量子化パラメータに対応するパラメータの最適値を求めることができる。また、最適なパラメータ値は、一般にピクチャ種別、例えばＩピクチャやＰピクチャ、Ｂピクチャといったピクチャタイプや、ＧＯＰ（Group of Picture）内の参照関係の階層を表すTemporal_IDなどによっても異なる（例えば、非特許文献１参照）。そのため、各ピクチャタイプや各Temporal_IDのそれぞれに対してＲＤコストの集計を行ってパラメータ値を調整する必要がある。これらの作業は、映像入力、符号化、ストリーム採取、デコード映像の取得、各種ログの集計・分析といった作業に多くの時間と手間がかかるという問題があった。
【０００６】
また、上記のような方法の作業を効率化する方法として、映像符号化装置や映像符号化システムを模擬するソフトウェアを用意し、パラメータ調整をする方法もある。例えば、異なるパラメータ設定の設定ファイルを多数用意しておく。そして、計算機によりそれら各設定ファイルを用いた符号化を並列もしくは順次行い、ＲＤコストを集計するまでをソフトウェアで自動実行する。これにより、効率的な調整が可能である。しかしながら、この方法は、非常に多くの計算機リソースが必要となるという問題や、模擬ソフトウェアの実行速度が遅いという問題、模擬ソフトウェアと映像符号化装置の動作の不一致により精度が低いといった問題があった。
【０００７】
上記事情に鑑み、本発明は、映像符号化パラメータの調整を精度よく簡易に行うことができる映像符号化パラメータ調整装置、映像符号化パラメータ調整方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様は、大映像に含まれる複数の小映像それぞれを符号化する際に使用された異なる映像符号化パラメータ値を取得する取得部と、前記小映像毎に、前記映像符号化パラメータ値を使用して前記小映像に行った符号化の評価を所定の指標に基づいて行う評価部と、前記評価と前記映像符号化パラメータ値との関連に基づいて、符号化に適した映像符号化パラメータ値を判定する判定部と、を備える映像符号化パラメータ調整装置である。
【０００９】
本発明の一態様は、上述の映像符号化パラメータ調整装置であって、前記大映像は、ループ再生される前記小映像を含み、前記大映像の映像特徴量に基づいて、ループの先頭を検出する検出部と、前記検出部が検出した前記ループの先頭において、前記小映像を符号化する際に使用される前記映像符号化パラメータ値を変更する変更部と、前記検出部が検出した前記ループの先頭においてＧＯＰ（Group of Picture）位相を初期化し、前記ループ毎に、前記変更部により変更された前記映像符号化パラメータ値を用いてＧＯＰの先頭から前記小映像を符号化する符号化部とを備える映像符号化パラメータ調整装置である。
【００１０】
本発明の一態様は、上述の映像符号化パラメータ調整装置であって、前記評価部は、ピクチャ種別ごとに、前記映像符号化パラメータ値を使用して前記小映像に含まれるピクチャに行った符号化の評価を所定の前記指標に基づいて行い、前記判定部は、前記ピクチャ種別毎の前記評価と前記映像符号化パラメータ値との関連に基づいて、前記ピクチャ種別毎に符号化に適した映像符号化パラメータ値を判定する。
【００１１】
本発明の一態様は、上述の映像符号化パラメータ調整装置であって、前記大映像は、ループ再生される前記小映像を含み、前記所定の指標は、発生符号量Ｒと符号化劣化Ｄを線形結合したＲＤコストであり、前記評価部は、前記大映像に含まれる２回分のループの前記小映像に、調整対象の量子化パラメータ値の前後の量子化パラメータ値を使用して符号化を行ったときの発生符号量Ｒ及び符号化劣化Ｄに基づいてＲＤ特性曲線の傾きを求め、求めた前記傾きに基づいて、ＲＤコストの算出に用いるラグランジュ係数を決定する。
【００１２】
本発明の一態様は、上述の映像符号化パラメータ調整装置であって、前記大映像は、ループ再生される複数の前記小映像を含み、前記検出部は、前記大映像の映像特徴量に基づいて、前記小映像の先頭を検出し、前記符号化部は、前記検出部が検出した前記小映像の先頭においてＧＯＰ（Group of Picture）位相を初期化し、前記小映像毎に、前記変更部により変更された前記映像符号化パラメータ値を用いてＧＯＰの先頭から符号化を行い、前記判定部は、前記小映像毎の前記評価と前記映像符号化パラメータ値との関連に基づいて、前記小映像毎に符号化に適した映像符号化パラメータ値を判定する。
【００１３】
本発明の一態様は、大映像に含まれる複数の小映像それぞれを符号化する際に使用された異なる映像符号化パラメータ値を取得する取得ステップと、前記小映像毎に、前記映像符号化パラメータ値を使用して前記小映像に行った符号化の評価を所定の指標に基づいて行う評価ステップと、前記評価と前記映像符号化パラメータ値との関連に基づいて、符号化に適した映像符号化パラメータ値を判定する判定ステップと、を有する映像符号化パラメータ調整方法である。
【００１４】
本発明の一態様は、コンピュータを、上述したいずれかの映像符号化パラメータ調整装置として機能させるプログラムである。
【発明の効果】
【００１５】
本発明により、映像符号化パラメータの調整を精度よく簡易に行うことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態による映像符号化装置の構成を示す機能ブロック図である。
【図２】同実施形態による入力映像の構成を示す図である。
【図３】同実施形態による符号化パラメータ自動調整処理を示すフロー図である。
【図４】同実施形態によるＧＯＰ位相の初期化を示す図である。
【図５】第２の実施形態による符号化パラメータ自動調整処理を示すフロー図である。
【図６】同実施形態による発生符号量Ｒと符号化歪みＤの関係を用いたλの算出を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本実施形態では、映像符号化装置又は映像符号化システムに、映像符号化パラメータ（符号化パラメータとも記載）の調整を行うパラメータ調整機能を追加し、テスト映像をループで繰り返し入力する。パラメータ調整機能は、そのループの周期に合わせて符号化パラメータ値の変更、変更した符号化パラメータ値を用いた映像符号化及びＲＤコスト集計を行う。そして、得られた符号化パラメータ値とＲＤコストとの関係に基づいて、自動的に最適な符号化パラメータ値を順次決定する。以下に、詳細な実施形態を説明する。
【００１８】
［第１の実施形態］
図１は、本実施形態による映像符号化装置１０１の構成を示す機能ブロック図である。映像符号化装置１０１は、映像符号化パラメータ調整装置の一例である。同図では、本実施形態と関係する機能ブロックのみを抽出して示してある。同図に示すように、映像符号化装置１０１は、映像入力部１０２、映像符号化部１０３、制御部１０４、ＲＤコスト計算部１０５、最適パラメータ判定部１０６及びメモリ１０７を備える。
【００１９】
映像入力部１０２は、映像信号を入力する。映像符号化部１０３は、映像信号を符号化する。制御部１０４は、映像符号化部１０３が符号化の際に用いる符号化パラメータ値を変更する。ＲＤコスト計算部１０５は、映像符号化部１０３による符号化のＲＤコストを算出する。最適パラメータ判定部１０６は、符号化パラメータ値とＲＤコストとの関係に基づいて最適な符号化パラメータ値を決定する。メモリ１０７は、各種データを記憶する。メモリ１０７は、符号化パラメータ値と、ＲＤコスト計算部１０５が算出したＲＤコストとを対応付けて記憶する。
【００２０】
映像符号化装置１０１は、通常の映像符号化用の動作モードとは別に、パラメータ調整用の動作モードを有する。通常の映像符号化用の動作モードにおいて、映像符号化１０３は、所定の符号化パラメータ値を用いるなどして、入力映像に対して従来技術と同様の符号化を行う。以下に、パラメータ調整用の動作モードを説明する。
【００２１】
図２は、パラメータ調整に用いられる入力映像の構成を示す図である。パラメータ調整用の動作モードにおいては、外部の装置がテスト映像を繰り返しループ再生して映像符号化装置１０１に入力する。入力映像におけるテスト映像のｎ回目のループ（ｎは１以上の整数）をループ＃ｎと記載する。テスト映像は複数のシーンの映像から構成される。テスト映像に含まれるＳ個（Ｓは１以上の整数）のシーンを順にシーン＃０、シーン＃１、…、シーン＃（Ｓ−１）と記載する。各シーンは、１ＧＯＰ（Group of Picture）より長いフレーム数を有する。また、各ループのテスト映像の末尾（もしくは冒頭直前）には、ループ先頭検出用の黒画像が付加されている。
【００２２】
図３は、本実施形態による符号化パラメータ調整処理を示すフロー図である。
映像入力部１０２は、入力した映像信号（入力映像）を映像符号化装置１０１の内部に画像データとして取り込む。映像入力部１０２は、画像データとして取り込んだピクチャ毎に、直前フレームとのフレーム間差分値を算出し、制御部１０４に出力する。フレーム間差分値は、ピクチャと、そのピクチャの直前フレームとの同画素位置における輝度値の差分の絶対値の総和である。さらに、映像入力部１０２は、ピクチャ毎の輝度値の累算であるピクチャ内輝度値累算値等の入力映像特徴量を算出し、制御部１０４に出力する。また、映像入力部１０２は、入力映像を映像符号化部１０３に出力する。映像符号化部１０３は、入力映像の符号化を行う。
【００２３】
制御部１０４は、映像入力部１０２から受信したフレーム間差分値及びその変化量に基づいて、入力映像におけるシーンチェンジを検出する。また、制御部１０４は、シーンチェンジかつピクチャ内輝度値累算値が閾値以下である等の条件を満たすフレームを、ループの先頭のフレームとして識別する（ステップＳ１０１）。制御部１０４は、ループの先頭を検出した場合に映像符号化部１０３に通知する。
【００２４】
制御部１０４は、映像符号化部１０３による入力映像の映像符号化開始後、最初のループの先頭を識別した時点で、以下の通り符号化パラメータの調整を開始する。
【００２５】
まず、制御部１０４は、映像符号化部１０３が映像符号化の際に用いる特定の符号化パラメータの値を、ループの先頭ごとに順次変更して、映像符号化部１０３に伝達する。例えば、各ＣＵ（coding unit）のモード判定時に選択肢となるモードのコストｃｏｓｔ＿ｍｏｄｅは、以下の式（１）により算出される。
【００２６】
ｃｏｓｔ＿ｍｏｄｅ＝ＳＡＴＤ＿ｍｏｄｅ＋λ＿ｍｏｄｅ＊Ｒ＿ｍｏｄｅ  …（１）
【００２７】
ここでは、上記の式（１）に用いるλ＿ｍｏｄｅの最適値を求める例について示す。なお、Ｒ＿ｍｏｄｅは、各ＣＵにおいて選択肢となるモードの推定符号量であり、ＳＡＴＤ＿ｍｏｄｅは、その予測誤差をアダマール変換して総和を取った値である。
【００２８】
λ＿ｍｏｄｅについては、量子化パラメータＱＰ及びピクチャ種別ｐｔに応じて異なる初期設定値λ’＿ｍｏｄｅ［ｐｔ］［ＱＰ］が事前に定められている。そこで、制御部１０４は、処理対象となる量子化パラメータＱＰを設定する（ステップＳ１０２）。制御部１０４は、ループのｎ回目（ｎは１以上Ｎ以下の整数、Ｎは予め決められた上限値）において、量子化パラメータＱＰ及びピクチャ種別ｐｔであるときに、式（１）におけるλ＿ｍｏｄｅとして、以下の式（２）により算出したλ＿ｍｏｄｅ［ｐｔ］［ＱＰ］を用いて符号化を行うよう、映像符号化部１０３に伝達する（ステップＳ１０３）。
【００２９】
λ＿ｍｏｄｅ［ｐｔ］［ＱＰ］＝λ’＿ｍｏｄｅ［ｐｔ］［ＱＰ］＊（０．５＋０．１＊ｎ）      …（２）
【００３０】
従って、λ＿ｍｏｄｅは、ループ内でピクチャ種別毎に異なる値を取る。
【００３１】
映像符号化部１０３は、ｎ回目のループのテスト映像を、制御部１０４から通知されたλ＿ｍｏｄｅ［ｐｔ］［ＱＰ］を使用して符号化する（ステップＳ１０４）。このとき、映像符号化部１０３は、制御部１０４による通常の固定ビットレート制御の符号化ではなく、あらかじめ設定された固定的な量子化パラメータで符号化を行う。例えば、Ｉピクチャでの量子化パラメータがＱＰｉであるとすると、映像符号化部１０３は、それ以外のピクチャ種別については、そのピクチャ種別に応じて量子化パラメータを固定的に＋１〜＋３し、入力映像を符号化する。たとえば、ＳＯＰ（Structure Of Pictures）サイズ８（以下、Ｍ＝８と呼ぶ）のＧＯＰ構造の場合、映像符号化部１０３は、ｔｅｍｐｏｒａｌ＿ＩＤ＝０のＢピクチャ（以下、Ｂ０ピクチャ）についてはＱＰｉ＋１、ｔｅｍｐｏｒａｌ＿ＩＤ＝１，２のＢピクチャ（以下、Ｂ１、Ｂ２ピクチャ）についてはＱＰｉ＋２、ｔｅｍｐｏｒａｌ＿ＩＤ＝３のＢピクチャ（以下、Ｂ３ピクチャ）についてはＱＰｉ＋３で符号化を行う。
【００３２】
また、映像符号化部１０３は、制御部１０４から符号化対象ピクチャがループの先頭であることを示す情報を受けると、ＧＯＰの位相を初期化する。図４は、ＧＯＰ位相の初期化を示す図である。映像符号化部１０３は、ループの先頭をＧＯＰ先頭のＩピクチャとし、このＩピクチャから符号化する。これにより、毎回同じピクチャを、同じピクチャ種別で符号化することとなり、ＲＤコストの比較を正確に行うことができる。なお、映像符号化部１０３は、制御部１０４から符号化対象ピクチャがシーンの先頭であることを示す情報を受け取った場合も、ＧＯＰの位相を初期化し、ＧＯＰ先頭をＩピクチャとする。
【００３３】
なお、映像符号化部１０３の機能の制約によりＧＯＰの位相を初期化できない場合には、テスト映像の１ループ分のピクチャ数をＧＯＰのピクチャ数の整数倍とすることで、ループ毎にＧＯＰ位相がずれることを回避することができる。
【００３４】
映像符号化部１０３は、図３のステップＳ１０４において１ループ分の符号化を行うと、ピクチャ毎の発生符号量Ｒと符号化歪みＤを算出し、ＲＤコスト計算部１０５に伝達する。符号化歪みＤは、原画と復号画像の画素値差分の２乗和とする。制御部１０４は、各ピクチャのピクチャ種別と、ループ先頭を検出したときにはループ先頭フラグとをＲＤコスト計算部１０５に出力している。ＲＤコスト計算部１０５は、ループ内でピクチャ毎に符号量Ｒ、符号化歪みＤを用いて以下の式（３）によりＲＤコストを算出する。
【００３５】
ＲＤｃｏｓｔ＝Ｄ＋λ＊Ｒ      …（３）
【００３６】
なお、λは量子化パラメータＱＰとピクチャ種別ｐｔに応じて異なる値が事前に定められている（例えば、非特許文献１参照）。ＲＤコスト計算部１０５は、最適パラメータ判定部１０６にＲＤコスト（ＲＤｃｏｓｔ）を出力する。
【００３７】
最適パラメータ判定部１０６は、ループ＃ｎ内の同じピクチャ種別ｐｔについてＲＤコスト（ＲＤｃｏｓｔ）の総和を算出し、ＲＤｃｏｓｔ＿Ｓｕｍ［ｎ］［ｐｔ］としてメモリ１０７に保存する（ステップＳ１０５）。このとき、最適パラメータ判定部１０６は、ＲＤｃｏｓｔ＿Ｓｕｍ［ｎ］［ｐｔ］に、使用したλ＿ｍｏｄｅ［ｐｔ］［ＱＰ］を対応付けてメモリ１０７に保存する。
映像符号化装置１０１は、上記の処理をＮ回のループそれぞれについて実施する（ステップＳ１０６）。
【００３８】
Ｎ回のループの終了後、最適パラメータ判定部１０６は、メモリ１０７に保存されたＲＤｃｏｓｔ＿Ｓｕｍ［ｎ］［ｐｔ］を元に、それぞれのピクチャ種別毎にＲＤｃｏｓｔ＿Ｓｕｍが最小となるループ番号ｎ＿ｍｉｎを確定し、そのときのλ＿ｍｏｄｅをλ＿ｍｏｄｅ［ｎ＿ｍｉｎ］［ｐｔ］とする（ステップＳ１０７）。最適パラメータ判定部１０６は、ピクチャ種別毎のλ＿ｍｏｄｅ［ｎ＿ｍｉｎ］［ｐｔ］を、最適パラメータセットとして出力する。
【００３９】
以上により、ある量子化パラメータ値における各ピクチャ種別のλ＿ｍｏｄｅのセットを最適化することができる。映像符号化装置１０１は、以上の処理を、量子化パラメータの値を順に変えて実施する（ステップＳ１０８）。これにより、λ＿ｍｏｄｅを、初期設定値λ'＿ｍｏｄｅ［ＱＰ］［ｐｔ］から、ＲＤコストにより最適化した値に置き換えることが可能となる。
【００４０】
映像符号化装置１０１に、３２フレームで構成されるシーンが７つ含まれるテスト映像を、２１回ループ再生する映像信号が入力されると仮定する。映像符号化装置１０１は、上記処理を行って、テスト映像１ループごとに符号化パラメータを少しずつ変更させながら符号化を行う。例えば、映像符号化装置１０１は、６つの異なる値の量子化パラメータ、８つのピクチャ種別に対して、各ループごとに異なる２１通りのλ＿ｍｏｄｅを用いて７つのシーンそれぞれを符号化し、ＲＤコストの総和が最小となる符号化パラメータを順次決定する。この場合、映像入力から符号化パラメータの決定までに要する時間は、（ＱＰの数）６×（ピクチャ種別の数）８×（ループ回数）２１×（シーンの数）７×（１フレームの秒数）３２／６０＝３７６３秒である。このように、従来映像入力、符号化、ストリーム採取、デコード映像の取得、各種ログの集計・分析といった作業やシミュレータ等で実施していたパラメータ調整を大幅に効率化することができる。
【００４１】
［第２の実施形態］
本実施形態では、符号化パラメータの自動調整方法の他の例について説明する。本実施形態では、映像符号化装置１０１は、ピクチャ種別毎に、ピクチャの参照順に従ってパラメータ調整を行い、さらに、ＲＤコスト算出用のラグランジュ係数λをシーン毎に算出する。そのため、より精度の高いパラメータ調整を行うことができる。
【００４２】
図５は、本実施形態による符号化パラメータ自動調整処理を示すフロー図である。まず、映像入力部１０２は、映像のループ先頭が来るまで待つ（ステップＳ２０１）。その間は、映像符号化装置１０１は、通常の映像符号化を行い、パラメータ調整の処理は行わない。映像のループの先頭は、黒画像からのシーンチェンジになっている。制御部１０４は、入力映像のフレーム間差分の値および変化量と映像の輝度累積値からループ先頭を識別し、映像符号化部１０３にループの先頭フラグを通知する。
【００４３】
制御部１０４は、まだ処理対象としていない量子化パラメータの値（以下、ＱＰと記載）の中から、符号化に用いる新たなＱＰを映像符号化部１０３に設定する（ステップＳ２０２）。本実施形態では、ＱＰによって値の異なるパラメータを調整することを考慮し、調整するＱＰを７，１２，１７，２２，２７，３２，３７，４２，４７と順に変化させていく。取りうるＱＰ全てについて全て調整してもよいが、実用上は離散的なＱＰについて得られたパラメータ値を補間することで、全てのＱＰに対するパラメータ値を得れば問題ない。また、一般にＱＰはＩピクチャをベースとしてピクチャ種別によって＋１〜＋３されるため、本実施形態でもそのようにＱＰを変えて符号化する。
【００４４】
制御部１０４は、まだ処理対象として選択していないピクチャ種別の中から、これから調整対象、集計対象とするピクチャ種別を決定する（ステップＳ２０３）。ここでピクチャ種別とは、ＧＯＰ内で参照関係が類似しているピクチャのことである。Ｍ＝８のＧＯＰ構造では、ピクチャ種別は、Ｉ，Ｂ０，Ｂ１，Ｂ２，Ｂ３などである。Ｂｎはｔｅｍｐｏｒａｌ＿ｉｄ＝ｎのＢピクチャを表す。
【００４５】
続いて、ステップＳ２０４〜Ｓ２０６において、映像符号化装置１０１は、ＲＤコスト算出用のλをシーン毎に算出する。まず、映像符号化部１０３は、ＱＰ−１で入力映像に含まれる最初の１ループ分のテスト映像を符号化する。ＲＤコスト計算部１０５は、集計対象のピクチャ種別または全てのピクチャ種別について、ピクチャ毎の発生符号量Ｒと符号化歪みＤを算出し、シーン＃ｓ毎に発生符号量Ｒの累積値Ｒ［ＱＰ−１］［ｓ］と符号化歪みＤの累積値Ｄ［ＱＰ−１］［ｓ］を求める（ステップＳ２０４）。ここでｓはシーン番号である。
【００４６】
続いて、映像符号化装置１０１は、ＱＰ＋１について同様の処理を行う（ステップＳ２０５）。すなわち、映像符号化部１０３は、入力映像に含まれる次の１ループ分のテスト映像をＱＰ＋１で符号化する。ＲＤコスト計算部１０５は、集計対象のピクチャ種別または全てのピクチャ種別について、ピクチャ毎との発生符号量Ｒと符号化歪みＤを算出し、シーン＃ｓ毎に発生符号量Ｒの累積値Ｒ［ＱＰ＋１］［ｓ］と符号化歪みＤの累積値Ｄ［ＱＰ＋１］［ｓ］を求める。
【００４７】
図６は、発生符号量Ｒと符号化歪みＤの関係を用いたλの算出を示す図である。同図に示すＲＤ特性曲線に基づいて、ＲＤコスト計算部１０５は、以下の式（４）のとおり、シーン＃ｓ毎のＲＤコスト算出用λ［ｓ］を求める。
【００４８】
λ［ｓ］＝（−１）＊（Ｒ［ＱＰ＋１］［ｓ］−Ｒ［ＱＰ−１］［ｓ］）／（Ｄ［ＱＰ＋１］［ｓ］−Ｄ［ＱＰ−１］［ｓ］）    …（４）
【００４９】
図５において、制御部１０４は、次のループのテスト映像を符号化する際に用いる符号化パラメータの値を変更し、映像符号化部１０３に出力する（ステップＳ２０７）。例えば、動き探索時には、以下の式（５）により、各ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）の各探索点のコストｃｏｓｔ＿ｍｅを算出する。
【００５０】
ｃｏｓｔ＿ｍｅ＝ＳＡＤ＋λ＿ｍｅ＊Ｒ    …（５）
【００５１】
符号化パラメータとして、上記の式（５）に用いるλ＿ｍｅの最適値を求める例について示す。なお、Ｒは探索点のＭＶ（動きベクトル）を符号化するのに必要な推定符号量であり、ＳＡＤは予測誤差の絶対値の和である。
【００５２】
一般にλ＿ｍｅは、ピクチャ種別、ＱＰ毎に異なる初期設定値がある。そこで、制御部１０４は、ループ＃ｎ（ｎは１以上Ｎ以下の整数、Ｎは予め決められた上限値）においては、式（５）におけるλ＿ｍｅを、以下の式（６）により算出される値とする。
【００５３】
λ＿ｍｅ［ｎ］＝λ＿ｍｅ＊（０．５＋０．１＊ｎ）    …（６）
【００５４】
映像符号化部１０３は、１ループ分のテスト映像を符号化し、ＲＤコスト計算部１０５は、集計対象のピクチャ種別について、ピクチャ毎の発生符号量Ｒと符号化歪みＤを算出し、その１ループ分の発生符号量Ｒの累積値Ｒ［ｎ］と符号化歪みＤの累積値Ｄ［ｎ］を求める。ＲＤコスト計算部１０５は、ループ＃ｎのシーン＃ｓについてのＲＤコストを、以下の式（７）により求める（ステップＳ２０８）。
【００５５】
ｃｏｓｔ［ｓ］［ｎ］＝Ｄ［ｎ］＋λ［ｓ］＊Ｒ［ｎ］    …（７）
【００５６】
最適パラメータ判定部１０６は、集計対象のピクチャ種別と、ＲＤコスト計算部１０５が算出したＲＤコストｃｏｓｔ［ｓ］［ｎ］と、λ＿ｍｅ［ｎ］とを対応付けてメモリ１０７に書き込む。
【００５７】
制御部１０４は、ループの回数がＮに達したか否かを判定する（ステップＳ２０９）。制御部１０４が、ループの回数はＮ未満であると判定した場合、映像符号化装置１０１は、再度、ステップＳ２０７に戻り、次のループについて符号化パラメータを変更し、１ループ分の符号化を行い、ＲＤコストを集計する。
【００５８】
制御部１０４が、ループの回数はＮに達したと判定した場合（ステップＳ２０９）、最適パラメータ判定部１０６は、シーン毎に集計対象のピクチャ種別についてＲＤコストが最小となる符号化パラメータを決定する（ステップＳ２１０）。具体的には、最適パラメータ判定部１０６は、メモリ１０７を参照し、集計対象のピクチャ種別についてシーン＃ｓ毎に算出されたＲＤコストｃｏｓｔ［ｓ］［ｎ］が最小となるループ番号ｎ＿ｍｉｎ［ｓ］を特定する。最適パラメータ判定部１０６は、メモリ１０７から、特定したループ番号ｎ＿ｍｉｎ［ｓ］と対応付けられたλ＿ｍｅ［ｎ］であるパラメータλ＿ｍｅ［ｎ＿ｍｉｎ［ｓ］］を取得する。
【００５９】
本実施形態ではさらに、最適パラメータ判定部１０６は、集計対象のピクチャ種別について全シーンで求められたλ＿ｍｅの平均を取り、算出した平均を当該ＱＰ、ピクチャ種別でのλ＿ｍｅの調整値として出力する。またこの値は、それ以降のピクチャ種別のパラメータ調整の際の符号化において用いる。これにより、参照画像は調整済みの値で調整することができ、より高い精度での調整が可能となる。
【００６０】
また別の実施形態として、最適パラメータ判定部１０６は、集計対象のピクチャ種別について各シーンのλ＿ｍｅ［ｎ＿ｍｉｎ［ｓ］］を求めた後、それらを当該ＱＰ、ピクチャ種別での各シーンのλ＿ｍｅの調整値として出力するとともに、それ以降のピクチャ種別のパラメータ調整の際の各シーンの符号化において用いることができる。これにより、ほぼ同様の手順でシーン毎のパラメータ調整を行うことが可能である。
【００６１】
制御部１０４は、全てのピクチャ種別について処理を終了したか否かを判定する（ステップＳ２１１）。制御部１０４は、未処理のピクチャ種別があると判定した場合（ステップＳ２１１：ＮＯ）、ステップＳ２０３に戻り、新たなピクチャ種別を選択してパラメータ調整を始める。制御部１０４は、全てのピクチャ種別について処理を終了したと判定した場合（ステップＳ２１１：ＹＥＳ）、ステップＳ２１２の判定を行う。
【００６２】
制御部１０４は、全てのＱＰについて処理を終了したか否かを判定する（ステップＳ２１２）。制御部１０４は、未処理のＱＰがあると判定した場合（ステップＳ２１２：ＮＯ）、ステップＳ２０２に戻り、新たなＱＰを用いてパラメータ調整を始める。制御部１０４は、全てのＱＰについて処理を終了したと判定した場合（ステップＳ２１２：ＹＥＳ）、図５に示す処理全体を終了する。
【００６３】
上記では、映像符号化装置１０１にパラメータ調整機能を追加する例を示したが、複数装置から構成される映像符号化システムにパラメータ調整機能を追加してもよい。
【００６４】
以上説明した実施形態によれば、映像符号化パラメータ調整装置は、取得部と、評価部と、判定部とを備える。例えば、映像符号化パラメータ調整装置は、映像符号化装置１０１であり、取得部は制御部１０４であり、評価部はＲＤコスト計算部１０５であり、判定部は最適パラメータ判定部である。取得部は、大映像に含まれる複数の小映像それぞれを符号化する際に使用された異なる映像符号化パラメータ値を取得する。例えば、大映像は、映像符号化装置１０１の入力映像であり、小映像は、ループ再生されるテスト映像に含まれる１以上の各シーンである。評価部は、小映像毎に、映像符号化パラメータ値を使用して小映像に行った符号化の評価を所定の指標に基づいて行う。所定の指標は、例えば、ＲＤコストである。判定部は、評価と映像符号化パラメータ値との関連に基づいて、符号化に適した映像符号化パラメータ値を判定する。
【００６５】
映像符号化パラメータ調整装置は、検出部と、変更部と、符号化部とをさらに備えてもよい。例えば、検出部及び変更部は、制御部１０４であり、符号化部は、映像符号化部１０３である。検出部は、大映像の映像特徴量に基づいてループの先頭を検出する。変更部は、検出部が検出したループの先頭において、小映像を符号化する際に使用される映像符号化パラメータ値を変更する。符号化部は、検出部が検出したループの先頭においてＧＯＰ位相を初期化し、ループ毎に、変更部により変更された映像符号化パラメータ値を用いてＧＯＰの先頭から小映像を符号化する。
【００６６】
また、変更部は、ＧＯＰ内の参照関係の順序に従って対象とするピクチャ種別を順次変更させる。評価部は、ピクチャ種別ごとに、映像符号化パラメータ値を使用して小映像に含まれるピクチャに行った符号化の評価を所定の指標に基づいて行ってもよい。判定部は、ピクチャ種別毎の評価と映像符号化パラメータ値との関連に基づいて、前記ピクチャ種別毎に符号化に適した映像符号化パラメータ値を判定する。
【００６７】
所定の指標が、発生符号量Ｒと符号化劣化Ｄを線形結合したＲＤコストである場合、評価部は、大映像に含まれる２回分のループの小映像に、調整対象の量子化パラメータ値（ＱＰ）の前後の量子化パラメータ値を使用して符号化を行ったときの発生符号量Ｒ及び符号化劣化Ｄに基づいてＲＤ特性曲線の傾きを求め、求めた傾きに基づいて、ＲＤコストの算出に用いるラグランジュ係数を決定してもよい。
【００６８】
また、検出部は、大映像の映像特徴量に基づいて、各ループに含まれる複数の小映像それぞれの先頭を検出してもよい。符号化部は、検出部が検出した小映像の先頭においてＧＯＰ位相を初期化し、小映像毎に、変更部により変更された映像符号化パラメータ値を用いてＧＯＰの先頭から符号化を行う。判定部は、小映像毎の評価と映像符号化パラメータ値との関連に基づいて、小映像毎に符号化に適した映像符号化パラメータ値を判定する。
【００６９】
上述した実施形態によれば、従来の手法に比べて、より効率的かつ正確に映像符号化パラメータの最適化及び調整を行うことができる。また、上述した実施形態によれば、テスト映像のループ先頭・シーン先頭の識別と、それに合わせたＧＯＰ位相の初期化、ピクチャ種別毎やシーン毎のＲＤコストの集計、ＲＤコスト算出に用いるラグランジュ係数の自動算出、等によって、映像符号化パラメータの調整を高い精度で行うことができる。
【００７０】
上述した映像符号化装置１０１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、映像符号化パラメータ調整プログラムを実行することによって映像入力部１０２、映像符号化部１０３、制御部１０４、ＲＤコスト計算部１０５及び最適パラメータ判定部１０６を備える装置として機能する。なお、映像入力部１０２、映像符号化部１０３、制御部１０４、ＲＤコスト計算部１０５及び最適パラメータ判定部１０６の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。映像符号化パラメータ調整プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。映像符号化パラメータ調整プログラムは、電気通信回線を介して送信されても良い。
【００７１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７２】
１０１…映像符号化装置，  １０２…映像入力部，  １０３…映像符号化部，  １０４…制御部，  １０５…ＲＤコスト計算部，  １０６…最適パラメータ判定部，  １０７…メモリ
【図１】
2019097128.tif 000003
【図２】
2019097128.tif 000004
【図３】
2019097128.tif 000005
【図４】
2019097128.tif 000006
【図５】
2019097128.tif 000007
【図６】
2019097128.tif 000008