(57)【要約】  動画像符号化装置は、動画像を符号化する符号化パラメータを補正するパラメータ補正部と、動画像の符号化に用いるブロック情報を決定するブロック配置決定部と、動画像を符号化する符号化部と、を備え、ブロック配置決定部は、補正後の符号化パラメータを取得してブロック情報を決定して出力し、符号化部は、補正前の符号化パラメータとブロック配置決定部が出力したブロック情報とを用いて動画像を符号化する。
2020194507.tif 000002
【特許請求の範囲】
【請求項１】
動画像を符号化する符号化パラメータを補正するパラメータ補正部と、
前記動画像の符号化に用いるブロック情報を決定するブロック配置決定部と、
前記動画像を符号化する符号化部と、
を備え、
前記ブロック配置決定部は、補正後の前記符号化パラメータを取得して前記ブロック情報を決定して出力し、
前記符号化部は、補正前の前記符号化パラメータと前記ブロック配置決定部が出力した前記ブロック情報とを用いて前記動画像を符号化する、
ことを特徴とする動画像符号化装置。
【請求項２】
前記パラメータ補正部は、前記符号化部における過去の符号化履歴情報を用いて前記符号化パラメータを補正する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記パラメータ補正部で補正する符号化パラメータはＱＰ（Quantization Parameter）であって、
前記ブロック配置決定部が出力する前記ブロック情報は、ブロックモードとブロックサイズを含み、
前記ＱＰを補正することで前記ブロックモードと前記ブロックサイズとを補正する、
ことを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
動き予測処理における双方向予測を実行する補正部、をさらに備え、
前記補正部は、前記ブロック配置決定部が、動き予測処理における片方向予測によって算出した前記ブロック情報を取得し、前記双方向予測を含むブロック情報に補正し、
前記符号化部は、前記補正部が出力する前記ブロック情報を用いて符号化する、請求項１から請求項３の何れか１項に記載の動画像符号化装置。
【請求項５】
前記パラメータ補正部は、前記ブロック配置決定部が双方向予測を実行せずに出力するブロック情報が、双方向予測を実行したときのブロック情報と類似するように前記符号化パラメータを補正する、
ことを特徴とする請求項１から請求項４の何れか１項に記載の動画像符号化装置。
【請求項６】
動画像を符号化する符号化パラメータを補正するパラメータ補正部と、
前記動画像の符号化に用いるブロック情報を決定するブロック配置決定部と、
を備え、
前記ブロック配置決定部は、前記パラメータ補正部が補正した前記符号化パラメータを用いて、動き予測処理における双方向予測を実行したときのブロック情報と類似する前記ブロック情報を、双方向予測を実行せずに出力する、
動画像圧縮装置。
【請求項７】
動画像の符号化に用いる符号化パラメータを補正するステップと、
補正後の前記符号化パラメータを取得して、前記動画像の符号化に用いるブロック情報を決定するステップと、
補正前の前記符号化パラメータと、前記ブロック情報とを用いて前記動画像を符号化するステップと、
を有する動画像符号化方法。
【請求項８】
コンピュータに、
動画像の符号化に用いる符号化パラメータを補正する処理と、
補正後の前記符号化パラメータを取得して、前記動画像の符号化に用いるブロック情報を決定する処理と、
補正前の前記符号化パラメータと、前記ブロック情報とを用いて前記動画像を符号化する処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像圧縮装置、動画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
動画像を圧縮する規格としてＨ.２６４／ＡＶＣ(Advanced Video Codec)が広く用いられている。また、４Ｋ／８Ｋといった高解像度動画像圧縮向けの次世代動画像圧縮規格としてＨ.２６５／ＨＥＶＣ(High Efficiency Video Codec)が知られている。
これら動画像圧縮技術は、（１）フレーム間またはフレーム内の冗長度を下げる予測処理と、（２）予測残差信号の空間成分を周波数成分に変換し量子化することで空間的冗長度を下げる変換量子化処理と、（３）データの発生頻度に応じて可変長符号化を動的に割り当てるエントロピー符号化と、から構成される。【０００３】
予測処理には、フレーム内の空間的冗長度を削減するイントラ予測と、フレーム間の時間的冗長度を削減するインター予測の２つが用いられる。インター予測には、片方向予測と双方向予測がある。片方向予測では、時間的に過去、または未来のいずれかのフレームを用いてフレームの予測を行う。双方向予測では、過去と未来両方のフレームを用いてフレームの予測を行う。双方向予測を用いると片方向予測より高精度な予測が実現可能であり、より冗長度が削減できるため圧縮率が向上する。【０００４】
また前述のＡＶＣとＨＥＶＣは、ブロックを基準とした符号化を行うため、１フレームの画像は複数のブロックに分割されて処理される。ブロックは、複数のモード及びサイズが選択可能である。したがって、動画像符号化装置は、前述のイントラ予測及びインター予測のブロックモード及びブロックサイズを決定する機能を有する必要がある。【０００５】
非特許文献１には、ＨＥＶＣを対象とした動画像符号化装置が記載されている。図７に非特許文献１に開示された動画像符号化装置１ａを示す。動画像符号化装置１ａは、ブロック配置決定部１０ａと符号化部２０とを含む。ブロック配置決定部１０ａは、双方向予測部１０１と、過去のフレームに基づいて前方予測を行う単方向予測部１０２と、未来のフレームに基づいて後方予測を行う単方向予測部１０３と、イントラ予測部１０４と、ブロック配置判定部１０５ａとを含む。以下、前方予測を単方向予測１、後方予測を単方向予測２と呼ぶ場合がある。【０００６】
ブロック配置決定部１０ａは、映像とQuantization Parameter（ＱＰ）を入力として、フレーム上のブロックモード及びブロックサイズを決定し、ブロック情報として出力する。ここでブロックモードとして双方向予測、過去のフレームを用いる単方向予測１、未来のフレームを用いる単方向予測２、及びイントラ予測の例を示したが、ＨＥＶＣのフォーマットに従うと、厳密にはこの例に限らず、マージモードやスキップモードも選択可能である。符号化部２０は、ブロック配置判定部１０５ａから出力されたブロック情報（ブロックモード及びブロックサイズ）と、ＱＰと、映像と、を入力としてブロック情報に従って映像を符号化する。【０００７】
非特許文献１に記載の動画像符号化装置の動作例を図８に示す。まず初めに単方向予測部１０２が、映像とＱＰを入力として、過去のフレームを用いて単方向予測１を行う（ステップＳ１）。次に単方向予測部１０３が、映像とＱＰを入力として、未来のフレームを用いて単方向予測２を行う（ステップＳ２）。次に双方向予測部１０１が、映像とＱＰを入力として、過去と未来のフレームを用いた双方向予測を行う（ステップＳ３）。次にイントラ予測部１０４が、映像とＱＰを入力として、イントラ予測を行う（ステップＳ４）。次にブロック配置判定部１０５ａが、ブロックごとに最適なブロックモード及びブロックサイズを選択する（ステップＳ５）。ブロック配置判定部１０５ａは、例えば、後述するＲＤコストＪを最小化するブロックモード及びブロックサイズを選択する。次に、符号化部２０が、映像とＱＰを入力として、各ブロックを符号化する（ステップＳ６）。符号化部２０は、符号化された圧縮データ（ビットストリーム）を出力する。なお、双方向予測（ステップＳ３）、単方向予測（ステップＳ１，Ｓ２）、イントラ予測（ステップＳ４）の順序はこれに限らず、また並列処理も可能である。【０００８】
一般にブロック配置（１フレームに含まれる各ブロックにどのブロックモードを割り当て、ブロックサイズをどのように設定するか）は、ＲＤ(Rate Distortion)最適化によって画質とビットレートのトレードオフ関係を考慮して判定される。ＲＤ最適化では、画質劣化ＤとビットレートＲ、ラグランジュ乗数λを用い、以下の式（１）であらわされるＲＤコストＪを最小化するブロックモード及びブロックサイズを最適解として用いる。
Ｊ＝Ｄ＋λＲ  ・・・（１）
ＱＰは、量子化に用いられるパラメータであるが、ＲＤ最適化においては、λの導出にも用いられる。【０００９】
双方向予測は、より高い圧縮率が実現できるものの、動画像符号化装置に必須の機能ではない。従って、高機能要求のない民生向けの動画像符号化装置は、双方向予測機能を備えていない場合がある。例えば、非特許文献２に記載のＮＶＩＤＩＡ社のＧＰＵ（Graphics Processing Unit）に搭載するハードウェアコーデックであるＮＶＥＮＣは、Ｖｏｌｔａ世代のＧＰＵまでは双方向予測をサポートしていない。双方向予測を備えていない符号化装置の出力を用いて双方向予測機能を実現するためには、双方向予測を実現する補正処理または再圧縮するトランスコードが必要になる。補正双方向予測を実現する動画像符号化装置の一例を図９に示す。【００１０】
図９に示すように、動画像符号化装置１ｂは、ブロック配置決定部１０ｂと、補正部１５ｂと、符号化部２０とを含む。動画像符号化装置１ｂは、図７に示す動画像符号化装置１ａと比較して、ブロック配置決定部１０ｂに双方向予測部１０１及び単方向予測部１０３が含まれない点、補正部１５ｂを含む点が異なる。それ以外の構成は、図７の動画像符号化装置１ａと同様である。
ブロック配置決定部１０ｂは、単方向予測部１０２と、イントラ予測部１０４と、単方向予測１またはイントラ予測のいずれかのブロックモードを選択するブロック配置判定部１０５ｂを含む。ブロック配置判定部１０５ｂは、単方向予測１またはイントラ予測の何れかを示す情報及びブロックサイズを含むブロック情報１を補正部１５ｂへ出力する。
補正部１５ｂは、双方向予測部１０１と、単方向予測部１０３と、ブロック配置判定部１０６ｂとを含む。ブロック配置判定部１０６ｂは、ブロック情報１、単方向予測２及び双方向予測の選択を行い、それらのうちの何れかを示すブロックモード及びブロックサイズを含むブロック情報２を符号化部２０へ出力する。【００１１】
動画像符号化装置１ｂの動作例を図１０に示す。図１０において単方向予測２、双方向予測、ブロック配置の再決定以外の処理は、図８を参照して説明した動画像符号化装置１ａの動作例と同様である（ステップＳ１１〜Ｓ１３）。ブロック配置決定部１０ｂが出力したブロック情報１に単方向予測１のブロックが含まれる場合（ステップＳ１４；Ｙｅｓ）、補正部１５ｂでは、単方向予測部１０３が単方向予測２を行い（ステップＳ１５）、双方向予測部１０１が双方向予測を行う（ステップＳ１６）。このとき、双方向予測部１０１は、単方向予測部１０２や単方向予測部１０３の処理結果を利用することができる。
補正部１５ｂのブロック配置判定部１０６ｂは、単方向予測１、単方向予測２、双方向予測のいずれかを選択し、ブロック配置を再決定する（ステップＳ１７）。また、ブロック配置決定部１０ｂがイントラ予測をブロック情報１として出力した場合（ステップＳ１４；Ｎｏ）、ブロック配置判定部１０６ｂは、イントラ予測を選択する。補正部１５ｂは、１フレームに含まれる各ブロックについてブロック配置判定部１０６ｂが決定したブロック情報２を、符号化部２０へ出力する。符号化部２０は、映像と、ＱＰと、ブロック情報２を入力し、映像を符号化する。符号化部２０は、符号化後のビットストリームを出力する。【００１２】
図９に例示するように、双方向予測ができない動画像符号化装置でも、双方向予測部１０１を有する補正部１５ｂを追加することによって、少ない演算量で圧縮率を向上することができる。また、ブロック配置決定部１０ｂと、補正部１５ｂと、符号化部２０とが異なるデバイスで実行される場合、符号化処理をパイプライン化することができ、動画像符号化処理のスループットが向上する。例えば、動画像符号化装置１ｂの構成は、ブロック配置決定部１０ｂをＮＶＥＮＣで、補正部１５をＧＰＵのプロセッサコアで、符号化部２０をＣＰＵ（Central Processing Unit）で実現することができる。【００１３】
特許文献１には、符号化されたビデオ情報のビットレートを高速に変換する変換装置が開示されている。特許文献２には、画像データを符号化する画像符号化装置において、複雑な画像が連続するときには画質が劣化するという課題に対し、視覚特性を考慮した画像内の良好な符号量分布を実現する処理が開示されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０１０−１６１８１８号公報
【特許文献２】特開２００９−０７１５２０号公報
【非特許文献】
【００１５】
【非特許文献１】JTCVC-S1002,“High efficiency video coding (HEVC) test model 16 (HM16) improved encoder description”
【非特許文献２】NVIDIA、”NVIDIA VIDEO CODEC SDK”、[online]、[平成30年12月20日検索]、インターネット(URL: https://developer.nvidia.com/nvidia-video-codec-sdk)
【非特許文献３】L.Haglund、“The SVT high definition multi format test set”, 2006.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
図９、図１０を参照して説明したように、補正部１５ｂによる補正処理によって、双方向予測を実現することができる。しかしながら、図９に例示する動画像符号化装置１ｂにおいて符号化部２０へ出力されるブロック情報２と、図７に例示する動画像符号化装置１ａのように双方向予測部１０１を備える装置が出力するブロック情報とでは異なる傾向がみられる。つまり、初めから、双方向予測部１０１によって、未来のフレームを用いたフレーム間予測を考慮して処理する場合と、そうでない場合（図１０で説明した単方向予測部１０２の処理結果を利用する場合）とでは、ブロック配置の構成が異なる。【００１７】
次に図１１を参照して、このブロック配置の違いを説明する。図１１に非特許文献３に記載の映像データを図７に例示する動画像符号化装置１ａで符号化した際の双方向予測の有無によるブロック配置の差異の様子を示す。図１１より、双方向予測を行った場合は、双方向予測を行わなかった場合と比較して、（ａ）イントラ予測のブロックが少ない点、（ｂ）大きいブロックが多い点、で異なることが分かる。（ａ）のイントラ予測ブロックの数に関しては、双方向予測が利用できることでよりオクルージョンに強固になるため減少すると考えられる。また、（ｂ）のブロックサイズに関しては、双方向予測によって予測画像の精度が向上するため、大きなブロックを選択しても画質の劣化が生じにくくなるためと考えられる。図１１に示すようなブロック配置の差異は、図９に例示する構成を用いた場合回避できず、動画像符号化装置１ａによって符号化した場合に比べ、圧縮率の低下を生じる。【００１８】
なお、補正部１５ｂで、単方向予測部１０２の処理結果や単方向予測部１０３の処理結果を利用しない場合、改めて双方向予測を行う必要があり、大きな計算量の増加が発生する。【００１９】
本発明は、上述の課題を解決することのできる動画像符号化装置、動画像圧縮装置、動画像符号化方法、及びプログラムを提供する。
【課題を解決するための手段】
【００２０】
本発明の一つの態様によれば、動画像符号化装置は、動画像を符号化する符号化パラメータを補正するパラメータ補正部と、前記動画像の符号化に用いるブロック情報を決定するブロック配置決定部と、前記動画像を符号化する符号化部と、を備え、前記ブロック配置決定部は、補正後の前記符号化パラメータを取得して前記ブロック情報を決定して出力し、前記符号化部は、補正前の前記符号化パラメータと前記ブロック配置決定部が出力した前記ブロック情報とを用いて前記動画像を符号化する、ことを特徴とする。【００２１】
本発明の一つの態様によれば、動画像圧縮装置は、動画像を符号化する符号化パラメータを補正するパラメータ補正部と、前記動画像の符号化に用いるブロック情報を決定するブロック配置決定部と、を備え、前記ブロック配置決定部は、前記パラメータ補正部が補正した前記符号化パラメータを用いて、動き予測処理における双方向予測を実行したときのブロック情報と類似する前記ブロック情報を、双方向予測を実行せずに出力する。【００２２】
本発明の一つの態様によれば、動画像符号化方法は、動画像の符号化に用いる符号化パラメータを補正するステップと、補正後の前記符号化パラメータを取得して、前記動画像の符号化に用いるブロック情報を決定するステップと、補正前の前記符号化パラメータと、前記ブロック情報とを用いて前記動画像を符号化するステップと、を有する。【００２３】
本発明の一つの態様によれば、プログラムは、コンピュータに、動画像の符号化に用いる符号化パラメータを補正する処理と、補正後の前記符号化パラメータを取得して、前記動画像の符号化に用いるブロック情報を決定する処理と、補正前の前記符号化パラメータと、前記ブロック情報とを用いて前記動画像を符号化する処理と、を実行させる。
【発明の効果】
【００２４】
上記した動画像符号化装置、動画像符号化方法、及びプログラムによれば、処理速度を低下させることなく動画像の圧縮率の向上が可能になる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る動画像符号化装置の一例を示すブロック図である。
【図２】双方向予測無しの場合のＱＰとブロック配置の関係を示す説明図である。
【図３】本発明の一実施形態に係る動画像符号化装置の動作例を示す流れ図である。
【図４】本発明の一実施形態に係る動画像符号化装置の他の例を示すブロック図である。
【図５】本発明の一実施形態に係る動画像符号化装置の機能を実現可能な情報処理装置の構成例を示すブロック図である。
【図６】本発明の一実施形態に係る動画像圧縮装置の最小構成を示す図である。
【図７】一般的な動画画像符号化装置を示すブロック図である。
【図８】図７に記載の動画像符号化装置の動作を示す流れ図である。
【図９】一般的な動画画像符号化装置を示すブロック図である。
【図１０】図９に記載の動画像符号化装置の動作を示す流れ図である。
【図１１】双方向予測の有無によるブロック配置の差異を示す説明図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施形態について図面を参照して説明する。
（構成の説明）
図１は、本発明の一実施形態に係る動画像符号化装置の一例を示すブロック図である。
図１に示すように動画像符号化装置１は、ブロック配置決定部１０と、補正部１５と、符号化部２０と、パラメータ補正部３０と、を含む。
ブロック配置決定部１０は、単方向予測部１０２と、イントラ予測部１０４と、ブロック配置判定部１０５とを含む。
単方向予測部１０２は、補正後のＱＰと映像を入力として、過去のフレームに基づいて前方予測を行う。補正後のＱＰについては、後述する。
イントラ予測部１０４は、補正後のＱＰと映像を入力として、イントラ予測を行う。
ブロック配置判定部１０５は、単方向予測１またはイントラ予測のいずれかを選択する。ブロック配置判定部１０５は、選択したブロックモード（単方向予測１またはイントラ予測）及びブロックサイズ（８×８、１６×１６、３２×３２、６４×６４など）をブロック情報１として出力する。
【００２７】
補正部１５は、双方向予測部１０１と、単方向予測部１０３と、ブロック配置判定部１０６とを含む。
双方向予測部１０１は、過去のフレーム及び未来のフレームに基づいて双方向予測を行う。双方向予測部１０１は、ブロック配置決定部１０が出力した単方向予測１が選択されたブロック情報を補正して（単方向予測部１０２の処理結果を利用して）、双方向予測を行うことができる。
単方向予測部１０３は、未来のフレームに基づいて後方予測を行う。
ブロック配置判定部１０６ｂは、イントラ予測、単方向予測１、単方向予測２、双方向予測の何れかを選択し、それらのうちの何れか及びブロックサイズを含むブロック情報２を符号化部２０へ出力する。
【００２８】
符号化部２０は、補正部１５から出力されたブロック情報２と、ＱＰと、映像と、を入力として、ブロック情報２が示すブロック配置情報に従って映像を符号化する。
【００２９】
パラメータ補正部３０は、符号化に必要なパラメータと符号化部２０の符号化履歴情報を入力として、ブロック配置決定部１０に入力するパラメータを計算する。符号化に必要なパラメータの例としてＱＰがある。ＱＰは本来量子化に用いるパラメータであり、ビットレートを調整するためのものであるが、ＱＰを変化させるとブロック配置も変化する。次に図２を用いて、パラメータの補正とブロック配置の関係について説明する。
【００３０】
図２に非特許文献３に記載の映像データを動画像符号化装置１ａで符号化した際のＱＰとブロック配置の関係を示す。なお、Ｌ１ｄｉｆｆは、ブロック配置の類似性を評価する指標として用いており、「双方向予測あり」のときと「双方向予測なし」のときの各ブロックの面積の差のＬ１ノルムを表し、ブロックの面積をａとしたときに以下の式で表される。
Ｌ１ｄｉｆｆ＝ａｂｓ（ａ双方向ありｉｎｔｒａ−ａ双方向なしｉｎｔｒａ）＋
ａｂｓ（ａ双方向ありｉｎｔｅｒ６４×６４−ａ双方向なしｉｎｔｅｒ６４×６４）＋
ａｂｓ（ａ双方向ありｉｎｔｅｒ３２×３２−ａ双方向なしｉｎｔｅｒ３２×３２）＋
ａｂｓ（ａ双方向ありｉｎｔｅｒ１６×１６−ａ双方向なしｉｎｔｅｒ１６×１６）＋
ａｂｓ（ａ双方向ありｉｎｔｅｒ８×８−ａ双方向なしｉｎｔｅｒ８×８）・・・（２）
【００３１】
図２を参照すると、ＱＰを＋２オフセットした際に各面積の差が最も小さくなり、ブロック配置の傾向も類似性を示すことがわかる。なお、最適なオフセット量は入力映像によって異なるため、入力映像の特徴や符号化履歴といった入力映像特有の特徴量を用いて推定する。ブロック配置決定部１０に与えるＱＰを適切にオフセットすると出力されるブロック配置を双方向ありのときと類似するものにできる。これは、最適に補正したＱＰを与えて単方向予測を実行させることで、双方向予測を行う場合と同様に圧縮率を向上できることを示す。
【００３２】
（動作の説明）
次に図３を参照して本実施形態の動画像符号化装置１の動作を説明する。
図３は、本発明の一実施形態に係る動画像符号化装置の動作例を示す流れ図である。
まず、パラメータ補正部３０でパラメータと符号化履歴を入力として、ブロック配置決定部１０に入力するパラメータ（ＱＰ）を補正する（ステップＳ２１）。パラメータ補正部３０の詳細な動作は後述する。
【００３３】
次に単方向予測部１０２が単方向予測１を行う（ステップＳ２２）。例えば、単方向予測１は、過去のフレームを用いたフレーム間予測（前方予測）である。
次にイントラ予測部１０４がイントラ予測を行う（ステップＳ２３）。なお、単方向予測１とイントラ予測の順序はこの限りではなく、逆でもよい。また、単方向予測１とイントラ予測は、並列処理も可能である。
【００３４】
次にブロック配置判定部１０５が、単方向予測１またはイントラ予測を選択しブロック配置を決定する（ステップＳ２４）。ブロック配置判定部１０５は、決定したブロック配置の情報を含むブロック情報１を出力する。ブロックモードの選択には、例えば、式（１）を用い、ＲＤコストを最小化するブロックモードを選択してもよい。あるいは、より簡易的に、ＲＤコストのうち画質指標を示すＤのみを用いてコストを最小化するブロックモードを選択してもよい。
【００３５】
ブロック配置決定部１０で単方向予測１が選択された場合（ステップＳ２５：Ｙｅｓ）、補正部１５での補正処理に進む。イントラ予測が選択された場合（ステップＳ２５：Ｎｏ）、ステップＳ２９の符号化処理に進む。
【００３６】
ブロック配置決定部１０で単方向予測１が選択された場合、単方向予測部１０３が単方向予測２を実行する（ステップＳ２６）。例えば、単方向予測２は未来のフレームを用いたフレーム間予測（後方予測）である。
【００３７】
次に、双方向予測部１０１が双方向予測を実行する（ステップＳ２７）。なお、双方向予測を最初から計算する場合、単方向予測２と双方向予測の順序はこの限りではなく、並列処理も可能である。双方向予測において、ステップＳ２２の単方向予測１とステップＳ２６の単方向予測２の処理結果（動きベクトル等）を用いて途中から計算する場合は、図３に例示する順序である必要がある。単方向予測１と単方向予測２の処理結果を用いて双方向予測を行う場合、計算量を低減することができる。
【００３８】
次に補正部１５において、ブロック配置判定部１０６は、単方向予測１、単方向予測２、双方向予測のいずれかを選択し、ブロック配置を再決定する（ステップＳ２６）。ブロックモードの選択は、ブロック配置決定部１０と同様にＲＤコストまたはそれに準ずるコスト最小化で実現される。ブロック配置決定部１０でイントラ予測が選択された場合、ブロック配置判定部１０６は、そのブロックについてはイントラ予測を選択する。
【００３９】
補正部１５は、ブロック毎のブロックモード及びブロックサイズを含むブロック情報２を符号化部２０へ出力する。符号化部２０は、ブロック情報２を取得して符号化処理を行う。
【００４０】
本実施形態によれば、双方向予測が使えないブロック配置決定部１０が出力するブロック配置を双方向予測があるときと類似するものにできる。これにより、映像の圧縮率を向上することができる。また、パラメータＱＰの算出は、計算量が少なく、さらに補正部１５では、ブロック判定（インター予測）をやり直すことなく、ブロック配置決定部１０が出力したブロック配置を補正できるため、処理速度を低下させることなく圧縮率を向上することができる。
【００４１】
次にパラメータ補正処理について説明する。単方向予測のみが利用可能なブロック配置決定部１０の出力は、双方向予測が利用可能なブロック配置決定部の出力するブロック配置と異なる。しかし、図２を用いて説明したように符号化パラメータ（例えばＱＰ）を補正してブロック配置決定部１０に与えることにより、その出力を、双方向予測を行った場合のブロック配置決定部１０ａの出力に近づけることができる。最適なオフセット幅は入力情報によって異なるため、パラメータ補正部３０は最適なオフセット幅を計算する必要がある。
【００４２】
入力情報によって最適値が異なるオフセット値を計算する方法として、例えば、機械学習を利用する方法がある。例えば、ブロックサイズ、ブロックモードやビット量等の符号化履歴を説明変数、ＱＰの値又はオフセット幅を目的変数として線形重回帰分析によって求めることができる。例えば、学習データ（例えば、映像の特徴や種類別に、ブロックサイズ、ブロックモードやビット量等の符号化履歴情報、双方向予測を行わなくても双方向予測を行ったときと類似するブロック構成（図２）となるようなＱＰの値）を蓄積し、これらの関係を学習しておく。線形重回帰分析の場合、予測関数は線形となり、実際に動画を符号化する場面でも、パラメータ補正部３０は、軽量な計算量でパラメータの補正を行うことができる。
【００４３】
なお、双方向予測を行わなくても双方向予測を行ったときと類似するブロック構成とは、例えば、双方向予測を行ったときの「Ｉｎｔｒａ」、「Ｉｎｔｅｒ６４ｘ６４」、「Ｉｎｔｅｒ３２ｘ３２」、「Ｉｎｔｅｒ１６ｘ１６」、「Ｉｎｔｅｒ８ｘ８」の構成比率と、双方向予測を行わないときのそれらの構成比率との差が、所定の許容範囲内となることをいう。
【００４４】
（他の構成例）
なお、図１の構成例では、ブロック配置決定部１０が単方向予測部１０２と、イントラ予測部１０４とを有し、補正部１５が単方向予測部１０３と、双方向予測部１０１とを有することとした。しかし、これに限定されず、ブロック配置決定部１０が単方向予測部１０３と、イントラ予測部１０４とを有し、補正部１５が単方向予測部１０２と、双方向予測部１０１とを有する構成としてもよい。この構成の場合の動作は、図３のステップＳ２２とステップＳ２６とが交換になるだけで他の処理は図３で説明したものと同様である。
【００４５】
また、図４に例示するように、動画像符号化装置１´が、ブロック配置決定部１０´と、補正部１５´と、符号化部２０と、パラメータ補正部３０と、を含み、ブロック配置決定部１０´が単方向予測部１０２と、単方向予測部１０３と、イントラ予測部１０４とを含み、補正部１５´が双方向予測部１０１とを含む構成としてもよい。
この構成の場合の動作は、まず、パラメータ補正部３０がＱＰを補正し、ブロック配置決定部１０´へ出力する。ブロック配置決定部１０´では、単方向予測部１０２、単方向予測部１０３、イントラ予測部１０４が任意の順序で、または、並行処理により、それぞれ単方向予測１、単方向予測２、イントラ予測を行う。次にブロック配置判定部１０５が、ＲＤコストなどに基づいて何れかのブロックモードを選択し、ブロック情報１を補正部１５´へ出力する。単方向予測１又は単方向予測２が選択された場合、補正部１５´では双方向予測部１０１が双方向予測を行う。補正部１５´は、各ブロックについて、単方向予測１、単方向予測２、双方向予測、イントラ予測の何れかを選択し、ブロック情報２を符号化部２０へ出力する。
なお、図１、図４に例示する何れの構成の場合も、ブロック配置決定部１０，１０´は、イントラ予測部１０４を備えていなくてもよい。
【００４６】
（効果の説明）
本実施形態では、片方向予測しか利用できないブロック配置決定部１０に入力するパラメータをパラメータ補正部３０で補正する。これにより、ブロック配置決定部１０が決定するブロック配置が、双方向予測が利用可能なブロック配置決定部１０ａが決定するブロック配置に類似するようになり、図９に示す一般的な技術を用いた動画像符号化装置１ｂと比較して圧縮率を向上できる。
また、本実施形態では、パラメータ補正部３０によるパラメータの補正は軽量な計算量で実現されており、ブロック配置決定部１０と、それ以外の構成要素が別のデバイスで実行される場合、パイプラインを組むことができ、図７に示す一般的な動画像符号化装置１ａと比較して、処理を高速化できる。
【００４７】
次に、動画像符号化装置１の具体的な構成例を説明する。
図５は、本発明による動画像符号化装置の機能を実現可能な情報処理装置の構成例を示すブロック図である。
図５に示す情報処理装置は、アクセラレータ１００、プロセッサ２００、プログラムメモリ３００、入力の動画像と出力のビットストリームと計算途中のデータを格納するための記憶媒体４００を備える。
図５に示された情報処理装置において、アクセラレータ１００は図１に示されたブロックのうちブロック配置決定部１０の機能を有し、プログラムメモリ３００にはそれ以外の機能を実現するためのプログラムが格納される。そして、アクセラレータ１００がブロック配置決定処理を実行し、プログラムメモリ３００に格納されているプログラムに従ってプロセッサ２００が処理を実行することで、図１に示された動画像符号化装置の機能を実現する。ここで、プログラムメモリ３００とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４８】
なお、ブロック配置決定部１０を実現する装置としてアクセラレータ１００を用いる例を示したが、ブロック配置決定部１０と補正部１５及び符号化部２０が別のデバイスであればこれに限らない。
【００４９】
図６は、本発明の一実施形態に係る動画像圧縮装置の最小構成を示す図である。
図６に示すように動画像圧縮装置４０は、少なくともパラメータ補正部４１と、ブロック配置決定部４２とを含む。
パラメータ補正部４１は、動画像を符号化する符号化パラメータを補正する。例えば、パラメータ補正部４１は、符号化する動画像の特徴や種類（風景、人物、対象が動いている等）別の符号化履歴情報（ブロックサイズ、ブロックモード、ビット量、ブロック配置の構成）に基づいて、符号化パラメータＱＰを補正する。
ブロック配置決定部４２は、動画像を符号化するブロック情報を決定し、出力する。ブロック配置決定部４２は、パラメータ補正部４１が補正した符号化パラメータを用いて、双方向予測を実行したときのブロック情報と類似するブロック配置を有するブロック情報を、双方向予測を実行すること無く出力する。
この動画像圧縮装置４０によれば、符号化パラメータを最適化することで演算量を増加させること無く動画像の圧縮率を向上することができる。より具体的には、双方向予測の有無によるブロック配置の差異を演算量の増加なしに解決し、圧縮率を向上させることができる。
【００５０】
また、動画像圧縮装置４０が出力するブロック情報に対して、双方向予測を実行することができる補正部１５で補正を行い、補正後のブロック配置情報に従って符号化部２０にて符号化することで、図９に例示する動画像符号化装置１ｂよりも高い圧縮率のビットストリームを出力することができる。
動画像圧縮装置４０は、計算量を増加させることなく圧縮率の向上が可能になるため、高解像度処理が要求される撮像システムやトランスコードシステムなどに好適に適用可能である。
【００５１】
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【産業上の利用可能性】
【００５２】
上記した動画像符号化装置、動画像符号化方法、及びプログラムによれば、処理速度を低下させることなく動画像の圧縮率の向上が可能になる。
【符号の説明】
【００５３】
１、１ａ、１ｂ      動画像符号化装置
１０、１０´、１０ａ、１０ｂ      ブロック配置決定部
１０１      双方向予測部
１０２      単方向予測部
１０３      単方向予測部
１０４      イントラ予測部
１０５、１０５ａ、１０５ｂ      ブロック配置判定部
１５、１５´、１５ｂ      補正部
１０６、１０６ｂ      ブロック配置判定部
２０      符号化部
３０      パラメータ補正部
４０      動画像圧縮装置
４１      パラメータ補正部
４２      ブロック配置決定部
１００      アクセラレータ
２００      プロセッサ
３００      プログラムメモリ
４００      記憶媒体
【図１】
2020194507.tif 000003
【図２】
2020194507.tif 000004
【図３】
2020194507.tif 000005
【図４】
2020194507.tif 000006
【図５】
2020194507.tif 000007
【図６】
2020194507.tif 000008
【図７】
2020194507.tif 000009
【図８】
2020194507.tif 000010
【図９】
2020194507.tif 000011
【図１０】
2020194507.tif 000012
【図１１】
2020194507.tif 000013
【国際調査報告】
2020194507.tif 000014
2020194507.tif 000015
2020194507.tif 000016
2020194507.tif 000017