(57)【要約】  イントラスライスを利用する映像符号化装置に備える量子化制御装置であって、  類似度を２つの異なるイントラスライスの画像が類似するほど大きな値を取る指標とし、符号化対象ピクチャのイントラスライス領域と、複数の符号化済みピクチャのイントラスライス領域の各々との類似度を求める類似度計算手段と、前記類似度計算手段により求めた前記類似度に基づいて複数の符号化済みピクチャから類似度が最大となるピクチャを選択するピクチャ選択手段と、前記ピクチャ選択手段によって選択された前記ピクチャの符号化情報に基づいて前記符号化対象ピクチャの符号化に利用する量子化ステップを決定する量子化ステップ決定手段とを備えた。
2012121211.tif 000002
【特許請求の範囲】
【請求項１】
イントラスライスを利用する映像符号化装置に備える量子化制御装置であって、
類似度を２つの異なるイントラスライスの画像が類似するほど大きな値を取る指標とし、符号化対象ピクチャのイントラスライス領域と、複数の符号化済みピクチャのイントラスライス領域の各々との類似度を求める類似度計算手段と、
前記類似度計算手段により求めた前記類似度に基づいて複数の符号化済みピクチャから類似度が最大となるピクチャを選択するピクチャ選択手段と、
前記ピクチャ選択手段によって選択された前記ピクチャの符号化情報に基づいて前記符号化対象ピクチャの符号化に利用する量子化ステップを決定する量子化ステップ決定手段と
を備えたことを特徴とする量子化制御装置。
【請求項２】
前記ピクチャ選択手段によって選択された前記選択ピクチャの類似度が所定の閾値より大きいか否かを判定する閾値判定手段をさらに備え、
前記量子化ステップ決定手段は、前記閾値判定手段による判定の結果、前記閾値より前記類似度が大きい場合、前記符号化に利用する量子化ステップを決定する処理を実行し、前記類似度が前記閾値以下の場合、選択ピクチャを利用せずに、所定の初期値に基づいて符号化対象ピクチャの符号化に利用する量子化ステップを決定することを特徴とする請求項１に記載の量子化制御装置。
【請求項３】
前記類似度計算手段は、イントラスライスのブロック単位のアクティビティの合計値に関する差分絶対値に基づいて前記類似度を求めることを特徴とする請求項１に記載の量子化制御装置。
【請求項４】
前記類似度計算手段は、前記符号化済みピクチャのうち、イントラスライスの画像平面上での位置が、符号化対象ピクチャのイントラスライスの画像平面上での位置と相対的に近いピクチャについて、前記類似度を求めることを特徴とする請求項１に記載の量子化制御装置。
【請求項５】
イントラスライスを利用する映像符号化装置に備える量子化制御装置において量子化を制御する量子化制御方法であって、
類似度を２つの異なるイントラスライスの画像が類似するほど大きな値を取る指標とし、符号化対象ピクチャのイントラスライス領域と、複数の符号化済みピクチャのイントラスライス領域の各々との類似度を求める類似度計算ステップと、
前記類似度計算ステップにより求めた前記類似度に基づいて複数の符号化済みピクチャから類似度が最大となるピクチャを選択するピクチャ選択ステップと、
前記ピクチャ選択ステップによって選択された前記ピクチャの符号化情報に基づいて前記符号化対象ピクチャの符号化に利用する量子化ステップを決定する量子化ステップ決定ステップと
を有することを特徴とする量子化制御方法。
【請求項６】
前記ピクチャ選択ステップによって選択された前記選択ピクチャの類似度が所定の閾値より大きいか否かを判定する閾値判定ステップをさらに有し、
前記量子化ステップ決定ステップは、前記閾値判定ステップによる判定の結果、前記閾値より前記類似度が大きい場合、前記符号化に利用する量子化ステップを決定する処理を実行し、前記類似度が前記閾値以下の場合、選択ピクチャを利用せずに、所定の初期値に基づいて符号化対象ピクチャの符号化に利用する量子化ステップを決定することを特徴とする請求項５に記載の量子化制御方法。
【請求項７】
前記類似度計算ステップは、イントラスライスのブロック単位のアクティビティの合計値に関する差分絶対値に基づいて前記類似度を求めることを特徴とする請求項５に記載の量子化制御方法。
【請求項８】
前記類似度計算ステップは、前記符号化済みピクチャのうち、イントラスライスの画像平面上での位置が、符号化対象ピクチャのイントラスライスの画像平面上での位置と相対的に近いピクチャについて、前記類似度を求めることを特徴とする請求項５に記載の量子化制御方法。
【請求項９】
イントラスライスを利用する映像符号化装置上のコンピュータに量子化制御処理を行わせる量子化制御プログラムであって、
類似度を２つの異なるイントラスライスの画像が類似するほど大きな値を取る指標とし、符号化対象ピクチャのイントラスライス領域と、複数の符号化済みピクチャのイントラスライス領域の各々との類似度を求める類似度計算ステップと、
前記類似度計算ステップにより求めた前記類似度に基づいて複数の符号化済みピクチャから類似度が最大となるピクチャを選択するピクチャ選択ステップと、
前記ピクチャ選択ステップによって選択された前記ピクチャの符号化情報に基づいて前記符号化対象ピクチャの符号化に利用する量子化ステップを決定する量子化ステップ決定ステップと
を前記コンピュータに行わせることを特徴とする量子化制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イントラスライスを利用して低遅延を実現する映像符号化における量子化制御装置、量子化制御方法及び量子化制御プログラムに関する。
本願は、２０１１年３月１０日に出願された特願２０１１−０５２８７２号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
ＴＶ電話などの双方向の映像通信を行う場合には、遅延を小さくすることが必要である。ここで、「遅延」とは、映像送信側においてある時刻のピクチャがカメラ等によって取得されてから、映像の受信側でこの取得したピクチャが表示されるまでの時間である。
また、「ピクチャ」とは入力映像における１つのフレームもしくは１つのフィールドを指す。
このようなアプリケーションでは、映像を伝送する際に必要とされる帯域を小さくするために映像符号化技術が適用される。遅延時間の中で、映像符号化技術が影響するのは主に、映像送信側でのピクチャの符号化処理の時間、映像受信側での符号化データのバッファリング時間、映像受信側での符号化データの復号処理の時間である。符号化処理／復号処理による遅延時間の短縮には、これらの処理の高速化が有効である。映像受信側での符号化データのバッファリング時間を短縮するには、後述するイントラスライスの利用と、イントラスライスに好適な量子化制御技術の利用が有効である。【０００３】
リフレッシュを実現するため、イントラピクチャを定期的に挿入することは、映像符号化では一般的に行われている。しかし、イントラピクチャはインターピクチャと比較して符号量が非常に大きいため、映像受信側での符号化データのバッファリング時間を長くする必要があり、遅延時間が大きくなるという問題がある。
イントラスライスを利用した映像符号化では、イントラピクチャを利用しない代わりに、縦もしくは横方向に、全マクロブロックが強制的にイントラ符号化されるような帯を、ピクチャ単位で移動させ、リフレッシュを実現するものである。なお、ピクチャにおけるイントラスライスではない領域（以下、非イントラスライス領域という）においては、インター符号化をしても良い。
このようにすることにより、各ピクチャの発生符号量がほぼ一定になり、バッファリング時間をより短くできる。
なお、縦の帯を利用する場合はイントラスライスと呼ばない場合があるが（「イントラコラム」と表現される場合もある）、本稿では便宜上、縦／横の帯のいずれを利用した場合もイントラスライスと呼ぶことにする。【０００４】
縦にイントラスライスを適用した場合の概念図を図９に示す。この例では、イントラスライスがピクチャの左端から、右端に移動する。ここで、イントラスライスが一周するピクチャ数（本例では、ピクチャの左端から右端に移動するピクチャ数）をイントラスライス周期と呼ぶ。
パケットロス等で、映像受信側で正しい復号ピクチャを作成できない場合、その時点より後にイントラスライスがピクチャの左端から、右端に移動することで、正しい復号画像が得られる（リフレッシュする）ようになる。すなわち、パケットロス等が発生してから、イントラスライス周期の２倍のピクチャ数以内の時間でリフレッシュできることになる。【０００５】
イントラスライスを利用する場合、イントラスライス領域と非イントラスライス領域では発生符号量が大きく異なるため、それぞれの領域に適切な符号量割り当てが可能な量子化制御方法が必要となる。
特許文献１には、これを実現する技術が開示されている。
特許文献１の技術では、符号化対象ピクチャの直前のピクチャのイントラスライス領域の発生符号量、平均量子化ステップ（以下、これらを符号化情報と総称する）を用いてこの領域の複雑さ指標値Ｘｉを求める。
同様に、符号化対象ピクチャの直前のピクチャの非イントラスライス領域の符号化情報を用いてこの領域の複雑さ指標値Ｘｐを求める。
そして、ＸｉおよびＸｐに基づいて、符号化対象ピクチャの目標符号量Ｔを、イントラスライス領域の目標符号量Ｔｉおよび非イントラスライス領域の目標符号量Ｔｐに分ける。そして、ＴｉおよびＴｐに基づき、ピクチャの各マクロブロックの量子化ステップを決定する。【０００６】
この方法には、次のような問題がある。
一般的には、イントラスライス周期を短くする（各ピクチャにおけるイントラスライス領域の大きさを小さくすることによる）ほど画質が悪化するため、多くの場合、イントラスライス周期は０．５秒以上とする。イントラスライス周期が短い場合、イントラスライスの面積は非常に小さく、例えばイントラスライス周期を０．５秒、毎秒３０ピクチャとすると、イントラスライス領域の面積は非イントラスライス領域の１／１４となる。
従って、符号化対象ピクチャのイントラスライスと直前のピクチャのイントラスライスでは、映像の性質が大きく異なる場合があり、この場合は複雑さ指標値Ｔｉが正確でなく、画質の悪化につながる。
係る状況においては、１イントラスライス周期前のピクチャ（符号化対象ピクチャと、ピクチャ上のイントラスライスの位置が同じピクチャ）のイントラスライスの符号化情報を利用することが容易に類推できるが、時間的に大きく離れているため、被写体が移動した場合など、イントラスライスの映像の性質が大きく異なり、同じように画質の悪化につながる。【０００７】
この問題に対処するため、特許文献２において開示されている技術を特許文献１の技術と組み合わせた技術を利用することが考えられる。
特許文献２の技術はイントラスライスを利用する場合の技術ではないが、符号化対象ピクチャの複雑さ指標値を直前のピクチャの符号化情報を利用して求める際に、符号化対象ピクチャと直前のピクチャの各々のアクティビティ値（activity measure：対象ブロックにおけるテクスチャが精細である（エッジが多い）ほど、大きい値を取るような、画像の特性を示す値）に基づいて、符号化対象ピクチャの複雑さ指標値を補正するものである。フェードイン／アウトの際など、符号化対象ピクチャと直前のピクチャの性質が若干異なる場合に有効である。
特許文献１の技術において、特許文献２の技術をイントラスライスの複雑さ指標値を求める処理に応用すれば、符号化対象ピクチャのイントラスライスと直前もしくは１イントラスライス周期前のピクチャのイントラスライスの性質が異なる場合に、画質を向上させることができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平０７−０９５５６４号公報
【特許文献２】特開２００９−０５５２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の技術において、特許文献２の技術を応用した際に、符号化対象ピクチャのイントラスライスと複雑さ指標値を求めるために利用するイントラスライスのテクスチャが大きく異なる場合（例えば、それぞれ異なる被写体が映っている場合など）に、依然として複雑さ指標値の精度が低い場合があり、画質が悪くなる。
これは、Ｈ．２６４のように、イントラ予測を用いて符号化する方式で顕著である。Ｈ．２６４では、符号化対象のブロックの近隣の復号画素を利用して、多方向の外挿予測、平均値予測など、複数の予測モデルを切り替えて予測を行う。すなわち、処理対象のピクチャにおいて予測モデルに合致するようなテクスチャを有する領域では高精度な予測が可能であり、発生符号量が小さい。【００１０】
一方で、予測モデルに合致しないテクスチャを有する領域では、予測モデルに合致するテクスチャを有する領域よりもアクティビティが著しく小さくても、発生符号量が大きい。
従って、特許文献１の技術において、特許文献２の技術を応用した際において、例えば、直前のピクチャのイントラスライスのアクティビティに対して、符号化対象ピクチャのイントラスライスのアクティビティが著しく小さい場合には、符号化対象ピクチャの複雑さ指標値がより小さい値に補正される。しかし、符号化対象ピクチャのイントラスライスのテクスチャがイントラ予測の予測モデルに合致しない場合、複雑さ指標値を小さく補正すると画質が悪化するという問題がある。【００１１】
本発明は、このような事情に鑑みてなされたもので、イントラスライスを利用して低遅延を実現する映像符号化における量子化制御装置、量子化制御方法及び量子化制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、イントラスライスを利用する映像符号化装置に備える量子化制御装置であって、類似度を２つの異なるイントラスライスの画像が類似するほど大きな値を取る指標とし、符号化対象ピクチャのイントラスライス領域と、複数の符号化済みピクチャのイントラスライス領域の各々との類似度を求める類似度計算手段と、前記類似度計算手段により求めた前記類似度に基づいて複数の符号化済みピクチャから類似度が最大となるピクチャを選択するピクチャ選択手段と、前記ピクチャ選択手段によって選択された前記ピクチャの符号化情報に基づいて前記符号化対象ピクチャの符号化に利用する量子化ステップを決定する量子化ステップ決定手段とを備えた量子化制御装置を提供する。【００１３】
好適例として、前記ピクチャ選択手段によって選択された前記選択ピクチャの類似度が所定の閾値より大きいか否かを判定する閾値判定手段をさらに備え、前記量子化ステップ決定手段は、前記閾値判定手段による判定の結果、前記閾値より前記類似度が大きい場合、前記符号化に利用する量子化ステップを決定する処理を実行し、前記類似度が前記閾値以下の場合、選択ピクチャを利用せずに、所定の初期値に基づいて符号化対象ピクチャの符号化に利用する量子化ステップを決定する。【００１４】
典型的には、前記類似度計算手段は、イントラスライスのブロック単位のアクティビティの合計値に関する差分絶対値に基づいて前記類似度を求める。【００１５】
別の好適例として、前記類似度計算手段は、前記符号化済みピクチャのうち、イントラスライスの画像平面上での位置が、符号化対象ピクチャのイントラスライスの画像平面上での位置と近いピクチャについて、前記類似度を求める。【００１６】
本発明はまた、イントラスライスを利用する映像符号化装置に備える量子化制御装置において量子化を制御する量子化制御方法であって、類似度を２つの異なるイントラスライスの画像が類似するほど大きな値を取る指標とし、符号化対象ピクチャのイントラスライス領域と、複数の符号化済みピクチャのイントラスライス領域の各々との類似度を求める類似度計算ステップと、前記類似度計算ステップにより求めた前記類似度に基づいて複数の符号化済みピクチャから類似度が最大となるピクチャを選択するピクチャ選択ステップと、前記ピクチャ選択ステップによって選択された前記ピクチャの符号化情報に基づいて前記符号化対象ピクチャの符号化に利用する量子化ステップを決定する量子化ステップ決定ステップとを有する量子化制御方法も提供する。【００１７】
好適例として、前記ピクチャ選択ステップによって選択された前記選択ピクチャの類似度が所定の閾値より大きいか否かを判定する閾値判定ステップをさらに有し、前記量子化ステップ決定ステップは、前記閾値判定ステップによる判定の結果、前記閾値より前記類似度が大きい場合、前記符号化に利用する量子化ステップを決定する処理を実行し、前記類似度が前記閾値以下の場合、選択ピクチャを利用せずに、所定の初期値に基づいて符号化対象ピクチャの符号化に利用する量子化ステップを決定する。【００１８】
典型的には、前記類似度計算ステップは、イントラスライスのブロック単位のアクティビティの合計値に関する差分絶対値に基づいて前記類似度を求める。【００１９】
別の好適例として、前記類似度計算ステップは、前記符号化済みピクチャのうち、イントラスライスの画像平面上での位置が、符号化対象ピクチャのイントラスライスの画像平面上での位置と近いピクチャについて、前記類似度を求める。【００２０】
本発明はまた、イントラスライスを利用する映像符号化装置上のコンピュータに量子化制御処理を行わせる量子化制御プログラムであって、類似度を２つの異なるイントラスライスの画像が類似するほど大きな値を取る指標とし、符号化対象ピクチャのイントラスライス領域と、複数の符号化済みピクチャのイントラスライス領域の各々との類似度を求める類似度計算ステップと、前記類似度計算ステップにより求めた前記類似度に基づいて複数の符号化済みピクチャから類似度が最大となるピクチャを選択するピクチャ選択ステップと、前記ピクチャ選択ステップによって選択された前記ピクチャの符号化情報に基づいて前記符号化対象ピクチャの符号化に利用する量子化ステップを決定する量子化ステップ決定ステップとを前記コンピュータに行わせる量子化制御プログラムも提供する。
【発明の効果】
【００２１】
本発明によれば、従来技術と異なり、符号化対象ピクチャのイントラスライスの複雑さ指標値を求めるために、このイントラスライスと性質が類似した符号化済みのイントラスライスを利用できるため、従来技術よりも画質が向上するという効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施形態における映像符号化装置の構成を示すブロック図である。
【図２】図１に示す量子化制御部２の構成を示すブロック図である。
【図３】図２に示す量子化制御部２の処理動作を示すフローチャートである。
【図４】第１の実施形態で利用するイントラスライス挿入例を示す説明図である。
【図５】本発明の第２の実施形態における、量子化制御部２の処理動作を示すフローチャートである。
【図６】本発明の第３の実施形態における、量子化制御部２の処理動作を示すフローチャートである。
【図７】本発明の第４の実施形態における、量子化制御部２の処理動作を示すフローチャートである。
【図８】第４の実施形における、候補とする符号化済みピクチャの一例を示す説明図である。
【図９】縦にイントラスライスを適用した場合の概念を示す説明図である。
【発明を実施するための形態】
【００２３】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による映像符号化装置を説明する。
図１は同実施形態の構成を示すブロック図である。図１に示す映像符号化装置１は、Ｈ．２６４に準拠した符号化データを生成する構成であり、入力ピクチャと入力ピクチャ番号を入力して、符号化データを出力するものである。
なお、映像符号化装置１の構成を図１を参照して説明するに際して、Ｈ．２６４に準拠した映像符号化装置が普通に有する公知の機能・構成については、本発明の説明に直接関わりがない限り、その説明を省略する。
本実施形態においては、Ｈ．２６４に準拠した映像符号化装置１のうち、量子化制御部２が従来の装置構成と異なる。
図２に、図１に示す量子化制御部２の構成を示す。本実施形態における量子化制御部２は、類似度計算部２１、ピクチャ選択部２２、割当符号量決定部２３及び量子化ステップ決定部２４から構成される。
【００２４】
次に、図１を参照して、図１に示す映像符号化装置１の基本動作について説明する。
映像符号化装置１はＨ．２６４に準拠する符号化データを生成することから、多くの処理がブロック単位で行われる。
入力ピクチャの符号化対象ブロックについて、イントラ予測部３もしくはインター予測部４から出力される予測画像ブロックとの差分が計算され、差分よって構成される差分画像ブロックが直交変換／量子化部５に入力される。直交変換／量子化部５は差分画像ブロックに対して直交変換を施し、直交変換係数を量子化する。その結果得られた直交変換係数量子化値は、可変長符号化部６において、可変長符号化される。
【００２５】
一方で、直交変換係数量子化値は逆量子化／逆直交変換部７にも入力される。逆量子化／逆直交変換部７では、直交変換係数量子化値を逆量子化し、逆量子化された変換係数に対して逆直交変換を施す。なお、量子化および逆量子化は、量子化制御部２から出力されるブロック単位の量子化ステップを利用して行われる。この量子化制御の動作は後述する。
そして、このように逆直交変換されたブロックはイントラ予測部３に入力され、別のブロックのイントラ予測に利用される。イントラ予測部３では、入力ピクチャの符号化対象ブロックに対して、逆量子化／逆直交変換部７から出力されるブロックの画素を利用してイントラ予測を行う。
【００２６】
また、逆量子化／逆直交変換部７から出力されるブロックはループフィルタ部８にも入力される。ループフィルタ部８では、１ピクチャ分のブロックが入力されたら、ループフィルタ（符号化ループ内でのフィルタ処理）を適用する。このようにループフィルタを適用したピクチャは、復号側で得られる復号ピクチャと同等になる。復号ピクチャは復号ピクチャメモリ９に格納される。
インター予測部４は、入力ピクチャの符号化対象ブロックをインター予測するにあたり、復号ピクチャメモリ９に格納された復号ピクチャを参照画像とする。
イントラスライス制御部１０は、入力ピクチャのどの位置に、どれだけの幅のイントラスライスを挿入するか（ピクチャのどのブロックがイントラスライスに含まれるか）を決定する。
【００２７】
イントラスライスの位置は、入力ピクチャが進むたびに段階的に変わるため、入力ピクチャの入力順を示す入力ピクチャ番号を利用する。そして、符号化対象ブロックがイントラスライスに含まれるか否かをイントラ／インター切替スイッチ１１に通知する。
符号化対象ブロックがイントラスライスに含まれる場合、イントラ／インター切替スイッチ１１は必ずイントラ予測を選択する。一方、符号化対象ブロックがイントラスライスに含まれない場合、イントラ／インター切替スイッチ１１は必ずインター予測を選択する。
なお、符号化対象ブロックがイントラスライスに含まれない場合は、予測効率に応じてイントラ予測／インター予測を切り替える構成でも良いが、ここでは便宜上、インター予測を必ず行うようにする。
【００２８】
次に、図３を参照して、図２に示す量子化制御部２の動作を説明する。ここでは、ある１つのピクチャを符号化するために、各ブロックの量子化ステップを決定する処理について説明する。
また、本実施形態で利用するイントラスライス挿入例を図４に示す。イントラスライス周期は６ピクチャとし、各ピクチャにおけるイントラスライスの幅は同じとする。また、先頭ピクチャ以外の全ピクチャをＰピクチャとして符号化するものとする。すなわち、Ｂピクチャがある場合と異なり、ピクチャが入力された順で符号化される。
【００２９】
図２に示す量子化制御部２では、符号化対象ピクチャと複数の符号化済みピクチャ（ただし、復号画像でなく原画像である）が入力される。本実施形態では、１イントラスライス周期分の符号化済みピクチャ（すなわち、６枚）が入力されるものとする。そして、これらのピクチャは類似度計算部２１に入力される。さらに、類似度計算部２１には、各ピクチャのどの位置にイントラスライスがあるかを指定するイントラスライス情報も入力される。
これらを利用して、類似度計算部２１では、符号化対象ピクチャのイントラスライスと、各々の符号化済みピクチャのイントラスライスの類似度Ｃ（ｉ）、ｉ＝０〜５（ｉは符号化済みピクチャのインデックスである）を求める（ステップＳ１）。
上記の類似度とは、２つの異なるイントラスライス領域の画像が類似している度合を示す指標値である。類似度は例えば、各々のイントラスライス内での相対座標が同じ画素値の差分の絶対値和（以下、ＳＡＤという）を利用する。この場合、Ｃ（ｉ）が小さいほど、２つのイントラスライスが類似していることになる。
【００３０】
次に、ピクチャ選択部２２に、符号化対象ピクチャのイントラスライスと、各々の符号化済みピクチャのイントラスライスの類似度Ｃ（ｉ）、ｉ＝０〜５が入力される。
ピクチャ選択部２２では、Ｃ（ｉ）を基に、最もイントラスライスの類似度が高い符号化済みピクチャｉ＿ｓｅｌｅｃｔを求める（ステップＳ２）。すなわち、Ｃ（ｉ＿ｓｅｌｅｃｔ）として、ＳＡＤが最小であるもの求める。そして、符号化済みピクチャｉ＿ｓｅｌｅｃｔを選択ピクチャとして、選択ピクチャのインデックスｉ＿ｓｅｌｅｃｔ（選択ピクチャ情報）を割当符号量決定部２３に通知する。
【００３１】
次に、割当符号量決定部２３は、イントラスライス領域と非イントラスライス領域の複雑さ指標値を求め、各々の領域の割当符号量を決定する。
非イントラスライス領域の複雑さ指標値Ｘｐの求め方は、公知の方法で求める。ここでは、直前のピクチャの非イントラスライス領域に関する符号化情報（発生符号量、平均量子化ステップ）を利用して複雑さ指標値Ｘｐを求めるものとする（ステップＳ３）。具体的には、直前のピクチャの非イントラスライス領域の発生符号量をＧｐ、平均量子化ステップをＱｐ＿ａｖｅとすると、Ｘｐ＝Ｇｐ×Ｑｐ＿ａｖｅによって求めることができる。
【００３２】
次に、イントラスライス領域の複雑さ指標値Ｘｉを求める（ステップＳ４）。Ｘｉは、ピクチャ選択部２２で選択された符号化済みピクチャｉ＿ｓｅｌｅｃｔ（選択ピクチャ）のイントラスライス領域に関する符号化情報（発生符号量、平均量子化ステップ）を利用して求める。ここで、割当符号量決定部２３には、上述の複数の符号化済みピクチャのイントラスライス領域に関する符号化情報が入力されている。
具体的には、選択ピクチャのイントラスライス領域の発生符号量をＧｉ＿ｓｅｌｅｃｔ、平均量子化ステップをＱｐ＿ｓｅｌｅｃｔ＿ａｖｅとすると、Ｘｉ＝Ｇｉ＿ｓｅｌｅｃｔ×Ｑｐ＿ｓｅｌｅｃｔ＿ａｖｅによって求めることができる。
【００３３】
最後に、量子化ステップ決定部２４は、符号化対象ピクチャにおけるイントラスライス領域と非イントラスライス領域の割当符号量（それぞれＸｉ、Ｘｐとする）を算出し、それぞれの割当符号量を用いて、各ブロックの量子化ステップを求める。この処理は公知の方法で行えばよい。イントラスライス領域と非イントラスライス領域で利用される量子化ステップをほぼ同等にするため、以下のように割当符号量を求める。
Ｔｉ＝Ｔ×（Ｘｉ／（Ｘｉ＋Ｘｐ））
Ｔｐ＝Ｔ×（Ｘｐ／（Ｘｉ＋Ｘｐ））
ここで、Ｔはピクチャ全体の割当符号量である。この数式の根拠は、公知である（例えば特許文献１参照）ので詳細な説明を省略する。
そして、Ｔｉに基づいてイントラスライス領域におけるブロック単位の割当符号量を決定し、Ｔｐに基づいて非イントラスライス領域におけるブロック単位の割当符号量を決定し、各ブロックの量子化ステップを求める（ステップＳ５）。
【００３４】
前述のように、従来技術では、符号化対象ピクチャと直前のピクチャのイントラスライス領域で、著しくテクスチャが異なる場合に、複雑さ指標値の推定精度が低い。本実施形態では、複数の符号化済みピクチャと符号化対象ピクチャのイントラスライスの類似度を求め、複雑さ指標値を求めるために利用する符号化済みピクチャを選択する。これにより、符号化対象ピクチャのイントラスライス領域とテクスチャが類似した符号化済みのイントラスライス領域の符号化情報が利用できるため、従来技術よりも複雑さ指標値の精度が高く、イントラスライス領域の性質に合致した符号量割り当てが可能となり、より高い画質を実現することが期待できる。
【００３５】
＜第２の実施形態＞
次に、図５を参照して、本発明の第２の実施形態による映像符号化装置を説明する。図５に示す処理動作が、図３に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。
図５に示す処理動作が図３に示す処理動作と異なる点は、ステップＳ６、Ｓ７が新たに設けられている点である。
ステップＳ２において、ピクチャ選択部２２が選択ピクチャを求めた後、選択ピクチャの類似度と所定の閾値を比較し、類似度が所定の閾値より大きいか否かを判定する（ステップＳ６）。なお、上述のように類似度Ｃ（ｉ）がＳＡＤである場合、「類似度が所定の閾値より大きいか否か」の判定は、実際は「Ｃ（ｉ＿ｓｅｌｅｃｔ）が所定の閾値より小さいか否か」の判定となる。
この判定の結果、類似度が所定の閾値より大きい場合、選択ピクチャのイントラスライスと符号化対象ピクチャのイントラスライスは映像の性質が似ているものとみなして、選択ピクチャのインデックスｉ＿ｓｅｌｅｃｔを割当符号量決定部２３に通知し、図３に示す処理動作と同様に、ステップＳ４、Ｓ５の処理を行う。
【００３６】
一方、選択ピクチャの類似度が所定の閾値より小さい場合、選択ピクチャのイントラスライスと符号化対象ピクチャのイントラスライスは映像の性質が異なると判定し、ピクチャ選択部２２は割当符号量決定部２３にｎｕｌｌデータを通知する。この場合、割当符号量決定部２３は、所定の初期値で複雑さ指標値Ｘｉを初期化する（ステップＳ７）。
初期値は、様々な性質の画像に関する平均的な値であれば何でも良い。その代表例としては、ＭＰＥＧ−２  ＴＭ５で利用されている初期値があり、これを応用すればよい。ＭＰＥＧ−２  ＴＭ５では、１つのピクチャの複雑さ指標値Ｘの初期値として、以下を定義している。
Ｘ＝（１６０＊ｂｉｔ＿ｒａｔｅ）／１１５
これをピクチャに対するイントラスライスの面積でスケーリングすれば良い。具体的には、本実施形態ではイントラスライス周期を６ピクチャとしているので、イントラスライス領域の複雑さ指標値Ｘｉは以下のようにして計算する。
Ｘｉ＝Ｘ×（１／６）
【００３７】
選択ピクチャのイントラスライスの類似度が著しく小さい場合、選択ピクチャと符号化対象ピクチャのイントラスライスは複雑さが全く異なることになる。例えば、符号化対象ピクチャのイントラスライスのテクスチャが選択ピクチャのイントラスライスと比較して著しく複雑である場合、割当符号量が小さくなり、画質が悪化するという場合がある。そこで、選択ピクチャのイントラスライスの類似度が小さい場合、所定の初期値で複雑さ指標値を初期化するようにしたため、極端な画質悪化を防止することができる。
【００３８】
＜第３の実施形態＞
次に、図６を参照して、本発明の第３の実施形態による映像符号化装置を説明する。図６に示す処理動作が、図３に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。
図６に示す処理動作が図３に示す処理動作と異なる点は、図３に示すステップＳ１、Ｓ２を図６に示すステップＳ１１、Ｓ２１に置き換えた点である。本実施形態では、類似度計算部２１での類似度を、上述したピクチャのアクティビティ（値）を利用して求める。
具体的には、イントラスライス内の各ブロックのアクティビティの合計値（合計アクティビティと呼ぶ）を求め、符号化対象ピクチャのイントラスライスの合計アクティビティと符号化済みピクチャのイントラスライスの合計アクティビティの差分絶対値を類似度とする（ステップＳ１１）。
ブロックのアクティビティは、ブロックを４つのサブブロックに分割し、各サブブロックにおける画素値の分散を求め、４つの分散値の最小値として求められる。合計アクティビティの差分絶対値がピクチャ選択部２２に通知される。
ピクチャ選択部２２では、合計アクティビティの差分絶対値が最小の符号化済みピクチャを選択ピクチャとし、選択ピクチャのインデックスｉ＿ｓｅｌｅｃｔを割当符号量決定部２３に通知する（ステップＳ２１）。
【００３９】
なお、アクティビティを用いた類似度としては、次に示すようなものを利用してもよい。前述の例では、各ブロックのアクティビティの合計値の差分絶対値を求めたが、各ブロックのアクティビティの差分絶対値の総和を類似度としてもよい。
ここで、イントラスライスＡ、Ｂの各ブロックのアクティビティをそれぞれａｃｔ＿Ａ（ｊ）、ａｃｔ＿Ｂ（ｊ）、ｊ＝０，１，２．．，Ｎ−１とする。ｊはイントラスライス内のマクロブロックのインデックスとし、Ｎはイントラスライス内のブロック数（マクロブロックの数）である。また、イントラスライスＡ、Ｂにおけるブロックｊはイントラスライス内の相対位置が同じであるとする。このとき、類似度Ｃは以下の式で求める。
【数１】
2012121211.tif 000003
【００４０】
また、ブロック単位のアクティビティでなく、イントラスライスを単位としてアクティビティを求めて、２つのイントラスライスのアクティビティの差分絶対値を類似度としても良い。イントラスライスを単位としたアクティビティは、イントラスライスを複数のブロック（例えば面積が均等な４つのブロック）に分割し、それぞれのブロックにおける画素値の分散値を求め、各ブロックの分散値の最小値をイントラスライスのアクティビティとする。
【００４１】
典型的な類似度の指標として、２つのイントラスライスの各画素の差分値の絶対値和（ＳＡＤ）などの画素単位の差分を利用した尺度があるが、演算量が多い問題がある。
一方で、２つのイントラスライスに同じ被写体が映っている場合、それぞれのイントラスライスのブロック単位のアクティビティの合計値は近い値となるため、ブロック単位のアクティビティの合計値に関する差分絶対値は類似度の尺度として有効である。
また、ブロック単位のアクティビティは量子化制御以外のモード判定などに有効であり、特許文献１に記載のように従来から用いられている。すなわち、モード判定などのためにすでにアクティビティが求められている場合、このアクティビティを本発明における類似度の計算に流用すれば、ＳＡＤと比較して大幅に演算量を削減できる。典型的には、次の通りである。
イントラスライスの画素数をＮとした場合、１ピクチャあたりの２つのイントラスライス間のＳＡＤ計算の演算量は、積和演算回数が２Ｎ−１、絶対値の演算回数がＮである。一方で、モード判定などで事前にブロック単位（仮にブロックは縦横ともに１６画素とする）のアクティビティが求まっているとすると、１ピクチャあたりのイントラスライスのブロック単位のアクティビティ合計値に関する差分絶対値の演算量は積和演算回数がＮ／２５６、絶対値の演算回数は１である。
このように、すでにアクティビティが求められている場合、ＳＡＤなどの画素単位の差分を利用した尺度を類似度とした場合と比較して、画質を維持しつつ演算量を削減できる。
【００４２】
＜第４の実施形態＞
次に、図７を参照して、本発明の第４の実施形態による映像符号化装置を説明する。図７に示す処理動作が、図３に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。
図７に示す処理動作が図３に示す処理動作と異なる点は、図３に示すステップＳ１を図６に示すステップＳ１２に置き換えた点である。
本実施形態では、類似度計算部２１で類似度を求める対象を、６枚の符号化済みピクチャのうち、符号化対象ピクチャのイントラスライスと画像平面上で、隣接するものに限定する。
限定する方法としては、例えば、符号化対象ピクチャのイントラスライスの画像平面上おける座標値と符号化済みピクチャのイントラスライスの画像平面上での座標値の差分絶対値を計算し、その差分絶対値が所定値以下となる符号化済みピクチャのイントラスライスを、隣接するものとして限定する。イントラスライスの画像平面上の座標値は、例えば、画像平面におけるイントラスライスの左端と右端の水平方向座標値の中点の座標値とすることが考えられる。
隣接するイントラスライスを決定する、前述の所定値を１つのイントラスライスの幅とすれば、図８に示すような符号化済みピクチャのイントラスライスが選択される。この例では、符号化対象ピクチャの直前の符号化済みピクチャ（画像平面上で、イントラスライスは左隣、図８におけるＡ）、１イントラ周期前のピクチャ（画像平面上で、イントラスライスが同位置、図８におけるＢ）、１イントラ周期前のピクチャの次のピクチャ（画像平面上で、イントラスライスは右隣、図８におけるＣ）が選択される。
この場合、これらのイントラスライスと符号化対象ピクチャのイントラスライスの類似度を求め、ピクチャ選択部２２に類似度を通知する（ステップＳ１２）。
【００４３】
類似度計算に利用する過去のピクチャが多数である場合、類似度計算の演算量が多くなる問題がある。しかし、イントラスライスが利用されるＴＶ電話なでのアプリケーションでは、スポーツ映像などとは異なり、動き量が小さいため、符号化対象ピクチャのイントラスライスに映っている被写体は、画像平面上で空間的に近い符号化済みのイントラスライスに映っている可能性が高い。
そこで、本実施形態では、類似度計算の対象を、符号化対象のイントラスライスと画像平面上での位置が空間的に近い符号化済みのイントラスライスに限定するようにしたため、画質を維持しつつ演算量を削減できる。
典型的な例においては、入力映像のピクチャレートが毎秒３０ピクチャ、イントラスライス周期を０．５秒として、１イントラスライス周期分の過去のピクチャの全てについて類似度計算をする場合、過去の１５枚のピクチャの各々について類似度計算が必要である。これに対し、一例として、類似度計算の対象を、符号化対象ピクチャのイントラスライスと位置が同じである過去のピクチャ（１イントラスライス周期前のピクチャ）、符号化対象ピクチャのイントラスライスの左隣、右隣のイントラスライスを有す過去のピクチャ、とした場合は、過去の３枚のピクチャの各々について類似度計算を行うこととなり、演算量は１／５となる。
【００４４】
以上説明したように、本発明の課題を解決するため、符号化対象ピクチャのイントラスライスの複雑さ指標値を求めるにあたり、複数の符号化済みピクチャと符号化対象ピクチャのイントラスライスの類似度を求め、イントラスライスの類似度が最も高い符号化済みピクチャを符号化した際の符号化情報を利用して、符号化対象ピクチャのイントラスライスの複雑さ指標値を求めるようにした。
このような方法を利用することにより、従来技術と異なり、符号化対象ピクチャのイントラスライスの複雑さ指標値を求めるために、このイントラスライスと性質が類似した符号化済みのイントラスライスを利用できるため、従来技術よりも画質を向上させることができる。
【００４５】
なお、図２における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより量子化制御処理を行ってもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４７】
イントラスライスを利用して低遅延を実現する映像符号化において量子化制御を行うことが不可欠な用途に適用できる。
【符号の説明】
【００４８】
２・・・量子化制御部
２１・・・類似度計算部
２２・・・ピクチャ選択部
２３・・・割当符号量決定部
２４・・・量子化ステップ決定部
【図１】
2012121211.tif 000004
【図２】
2012121211.tif 000005
【図３】
2012121211.tif 000006
【図４】
2012121211.tif 000007
【図５】
2012121211.tif 000008
【図６】
2012121211.tif 000009
【図７】
2012121211.tif 000010
【図８】
2012121211.tif 000011
【図９】
2012121211.tif 000012
【国際調査報告】
2012121211.tif 000013
2012121211.tif 000014