(57)【要約】【課題】少ないデータ量の追加で、画質を高める。【解決手段】本発明の一態様としての動画像符号化装置は、第１の符号化部と、差分計算部と、第１の画素レンジ変換部と、第２の符号化部とを備える。前記第１の符号化部は、入力画像に対して第１の符号化処理を行って第１の符号化データを生成し、前記第１の符号化データに対して第１の復号処理を行って第１の復号画像を生成する。前記差分計算部は、前記入力画像と前記第１の復号画像との差分画像を生成する。前記第１の画素レンジ変換部は、前記差分画像の画素値を、第１の特定の範囲に変換することにより、第１の変換画像を生成する。前記第２の符号化部は、前記第１の変換画像に対して前記第１の符号化処理とは異なる第２の符号化処理を行って第２の符号化データを生成する。前記第１の特定の範囲は、前記第２の符号化部で符号化可能な画素値の範囲に含まれる範囲である。【選択図】図１
2013055615.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して第１の符号化処理を行って第１の符号化データを生成し、前記第１の符号化データに対して第１の復号処理を行って第１の復号画像を生成する第１の符号化部と、
前記入力画像と前記第１の復号画像との差分画像を生成する差分計算部と、
前記差分画像の画素値を、第１の特定の範囲に変換することにより、第１の変換画像を生成する第１の画素レンジ変換部と、
前記第１の変換画像に対して前記第１の符号化処理とは異なる第２の符号化処理を行って第２の符号化データを生成する第２の符号化部と、を備え、
前記第１の特定の範囲は、前記第２の符号化部で符号化可能な画素値の範囲に含まれる範囲である
ことを特徴とする動画像符号化装置。
【請求項２】
前記第１の特定の範囲は、０以上、所定値以下の範囲である
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記第１の画素レンジ変換部は、前記差分画像の画素値に、第１の値を加算し、加算後の値を、ビットシフトすることにより、前記画素値の変換を行う
ことを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
前記第１の画像レンジ変換部は、前記差分画像の画素値に第２の値を加算し、加算後の値が所定の下限値未満のときは前記所定の下限値に、加算後の値が前記所定の上限値より大きいときは前記所定の上限値にクリッピングすることにより、前記画素値の変換を行う
ことを特徴とする請求項２記載の動画像符号化装置。
【請求項５】
前記第１の画像レンジ変換部は、前記差分画像の画素値の内、最小値と最大値とに基づいて、前記画素値の変換を行う
ことを特徴とする請求項２記載の動画像符号化装置。
【請求項６】
前記最大値および前記最小値を符号化して符号化データを生成する符号化部をさらに備えたことを特徴とする請求項５記載の動画像符号化装置。
【請求項７】
前記第１の復号画像に対して所定のフィルタ処理を行うフィルタ処理部を更に備え、
前記差分計算部は、前記所定のフィルタ処理後の画像と前記入力画像との差分画像を生成することを特徴とする、請求項１記載の動画像符号化装置。
【請求項８】
前記フィルタ処理部は、前記第１の復号画像のフレーム、フィールド、画素ブロック、若しくは画素のいずれかの単位ごとに所定のフィルタ処理を行い、
前記第２の符号化部は、前記単位毎のフィルタ処理に関する情報を符号化することを特徴とする請求項７記載の動画像符号化装置。
【請求項９】
前記第１の画素レンジ変換部は、前記差分画像をフレーム、フィールド、画素ブロック、若しくは画素のいずれかの単位ごとに定める第１の特定の範囲へ変換し、
前記第２符号化部は、前記単位毎の第１の特定の範囲に関する情報を符号化することを特徴とする請求項１記載の動画像符号化装置。
【請求項１０】
前記入力画像をダウンサンプリングするダウンサンプリング部と、
アップサンプリング部を更に備え、
前記第１の符号化部は、前記ダウンサンプリング部によりダウンサンプリングされた入力画像を符号化し、
前記アップサンプリング部は、前記第１の復号画像をアップサンプリングし、
前記差分計算部は、前記入力画像と、前記アップサンプリング部によりアップサンプリングされた画像との差分画像を算出することを特徴とする請求項１記載の動画像符号化装置。
【請求項１１】
前記入力画像のフレームレートを低減するフレームレート低減部と、
フレーム補間処理部を更に備え、
前記第１の符号化部は、前記フレームレート低減部によりフレームレートを低減した入力画像を符号化し、
前記フレーム補完処理部は、前記第１の復号画像をフレーム補間し、
前記差分計算部は、前記入力画像と、前記フレーム補間処理部によりフレーム補間された画像との差分画像を算出することを特徴とする請求項１記載の動画像符号化装置。
【請求項１２】
視差画像選択部と
視差画像生成部を更に備え、
前記入力画像は複数の視点に対応する複数の視差画像を含み、
前記視差画像選択部は、前記複数の視差画像のうち、前記複数の視点の内１つ以上の視点に対応する視差画像を選択し、
前記第１の符号化部は、前記視差画像選択部により選択された視差画像を符号化して前記第１の符号化データを生成し、
前記視差画像生成部は、前記第１の復号画像に基づき、前記視差画像選択部により選択されなかった視点に対応する視差画像を生成し、
前記差分計算部は、前記入力画像と、前記視差画像生成部により生成された視差画像との差分画像を算出することを特徴とする請求項１記載の動画像符号化装置。
【請求項１３】
第１の符号化データを、第１の復号処理により復号して第１の復号画像を生成する第１画像復号部と、
第２の符号化データを前記第１の復号処理と異なる第２の復号処理により復号して第２の復号画像を生成する第２画像復号部と、
前記第２の復号画像の画素値を、第２の特定の範囲に変換することにより、第２の変換画像を生成する第２の画素レンジ変換部と、
前記第１の復号画像と、前記第２の変換画像を加算して第３の復号画像を生成する加算部と、
を備えた動画像復号装置。
【請求項１４】
前記第２の特定の範囲は、前記第１の復号画像が取り得る画素値の最大値の負の値から、前記最大値までの範囲である
ことを特徴とする請求項１３に記載の動画像復号装置。
【請求項１５】
入力画像に対して第１の符号化処理を行って第１の符号化データを生成するステップと、
前記第１の符号化データに対して第１の復号処理を行って第１の復号画像を生成するステップと、
前記入力画像と前記第１の復号画像との差分画像を生成するステップと、
前記差分画像の画素値を、第１の特定の範囲に変換することにより、第１の変換画像を生成するステップと、
前記第１の変換画像に対して前記第１の符号化処理とは異なる第２の符号化処理を行って第２の符号化データを生成するステップと、を備え、
前記第１の特定の範囲は、前記第２の符号化部で符号化可能な画素値の範囲に含まれる範囲である
ことを特徴とする動画像符号化方法。
【請求項１６】
第１の符号化データを、第１の復号処理により復号して第１の復号画像を生成するステップと、
第２の符号化データを前記第１の復号処理と異なる第２の復号処理により復号して第２の復号画像を生成するステップと、
前記第２の復号画像の画素値を、第２の特定の範囲に変換して第２の変換画像を生成するステップと、
前記第１の復号画像と、前記第２の変換画像を加算して第３の復号画像を生成するステップと
を備えた動画像復号方法。
【請求項１７】
前記第２の特定の範囲は、前記第１の復号画像が取り得る画素値の最大値の負の値から、前記最大値までの範囲である
ことを特徴とする請求項１６に記載の動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、動画像を符号化するために用いる動画像符号化装置およびその方法、ならびに動画像を復号するために用いる動画像復号装置およびその方法に関する。
【背景技術】
【０００２】
ＭＰＥＧ−２では解像度、客観画質、フレームレートに対するスケーラビリティを実現するスケーラブル符号化のためのプロファイルが規定されている。ＭＰＥＧ−２のスケーラブル符号化では、ベースレイヤと呼ばれる通常のＭＰＥＧ−２で符号化されたデータに対してエンハンスメントレイヤと呼ばれる拡張データを付加することでスケーラビリティを実現している。
【０００３】
また、現在策定中であるＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、ＨＥＶＣ）においてスケーラビリティを実現するための枠組みが提案されており、ベースレイヤをＨ．２６４／ＡＶＣ（以下、Ｈ．２６４）で符号化し、エンハンスメントレイヤをＨＥＶＣにて符号化するモードを備えている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｄａｎｎｙ  Ｈｏｎｇ，  他，  “Ｓｃａｌａｂｉｌｉｔｙ  Ｓｕｐｐｏｒｔ  ｉｎ  ＨＥＶＣ，”  ＪＣＴ−ＶＣ  Ｄｏｃｕｍｅｎｔ  ＪＣＴＶＣ−Ｆ２９０，  Ｊｕｌｙ，  ２０１１．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＭＰＥＧ−２で符号化されたデジタル放送に対して拡張データをＩＰ伝送することで映像の品質を高めることができるが、ＭＰＥＧ−２はＨ．２６４やＨＥＶＣと比較すると符号化効率が低く、拡張データの符号量が大きくなる。
【０００６】
一方、Ｈ．２６４とＨＥＶＣの組み合わせによりスケーラブル符号化を実現する枠組みが提案されているが、ＭＰＥＧ−２とＨＥＶＣといった任意のコーデックの組み合わせをサポートできるわけではない。
【０００７】
本発明の一側面は、上記の課題を解決するために考案されたものであり、小さなデータ量の追加で画像の品質を高めることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様としての動画像符号化装置は、第１の符号化部と、差分計算部と、第１の画素レンジ変換部と、第２の符号化部とを備える。
【０００９】
前記第１の符号化部は、入力画像に対して第１の符号化処理を行って第１の符号化データを生成し、前記第１の符号化データに対して第１の復号処理を行って第１の復号画像を生成する。
【００１０】
前記差分計算部は、前記入力画像と前記第１の復号画像との差分画像を生成する。
【００１１】
前記第１の画素レンジ変換部は、前記差分画像の画素値を、第１の特定の範囲に変換することにより、第１の変換画像を生成する。
【００１２】
前記第２の符号化部は、前記第１の変換画像に対して前記第１の符号化処理とは異なる第２の符号化処理を行って第２の符号化データを生成する。
【００１３】
前記第１の特定の範囲は、前記第２の符号化部で符号化可能な画素値の範囲に含まれる範囲である。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る動画像符号化装置１００の構成を示すブロック図。
【図２】第２の実施形態に係る動画像復号装置２００の構成を示すブロック図。
【図３】第３の実施形態に係る動画像符号化装置３００の構成を示すブロック図。
【図４】第４の実施形態に係る動画像復号装置４００の構成を示すブロック図。
【図５】第５の実施形態に係る動画像符号化装置５００の構成を示すブロック図。
【図６】第６の実施形態に係る動画像復号装置６００の構成を示すブロック図。
【図７】第７の実施形態に係る動画像符号化装置７００の構成を示すブロック図。
【図８】第８の実施形態に係る動画像復号装置８００の構成を示すブロック図。
【図９】第９の実施形態に係る動画像符号化装置９００の構成を示すブロック図。
【図１０】第１０の実施形態に係る動画像復号装置１０００の構成を示すブロック図。
【図１１】第１１の実施形態に係る動画像符号化装置１１００の構成を示すブロック図。
【図１２】第１１の実施形態におけるフレームレートスケーラビリティ実現方法の一例を示す図。
【図１３】第１２の実施形態に係る動画像復号装置１２００の構成を示すブロック図。
【図１４】第１３の実施形態に係る動画像符号化装置１３００の構成を示すブロック図。
【図１５】第１４の実施形態に係る動画像復号装置１４００の構成を示すブロック図。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本実施形態に係る動画像符号化方法及び復号方法について詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をするものとして、重複する説明を適宜省略する。
【第１の実施形態】
【００１６】
本実施形態に係る動画像符号化装置について図１を参照して詳細に説明する。
【００１７】
本実施形態に係る動画像符号化装置１００は、第１画像符号化部１０１、減算部（差分計算部）１０２、第１画素レンジ変換部１０３及び第２画像符号化部１０４を含む。
【００１８】
第１画像符号化部１０１は、外部から入力された複数の画素信号からなる画像（以下、入力画像）について所定の動画像符号化処理を行い、第１符号化データを生成する。また、第１画像符号化部１０１は、第１符号化データについて所定の動画像復号処理を行い、第１復号画像を生成する。
【００１９】
減算部（差分計算部）１０２は、入力画像と、第１画像符号化部１０１からの第１復号画像とを受け取り、入力画像と第１復号画像との差分を計算して、差分画像を生成する。
【００２０】
第１画素レンジ変換部１０３は、減算部１０２から差分画像を受け取り、差分画像に含まれる各画素について画素値が特定の範囲（第１の特定の範囲）内となるように画素値変換を行って第１変換画像を生成する。当該特定の範囲は、第２画像符号化部１０４が符号化可能な画素値範囲、すなわち、第２画像符号化部１０４が入力としてサポートする画素値範囲である。
【００２１】
第２画像符号化部１０４は、第１画素レンジ変換部１０３から第１変換画像を受け取り、所定の動画像符号化処理を行い、第２符号化データを生成する。ただし、第２画像符号化部１０４は第１画像符号化部１０１とは異なる手法にて符号化処理を行う。
【００２２】
次に、本実施形態に係る動画像符号化装置１００の符号化処理について説明する。
【００２３】
まず、本実施形態に係る動画像符号化装置１００は、入力画像を受け取り、第１符号化部１０１において符号化処理を行う。この場合の符号化処理は任意の手法を用いても良いが、本実施形態においては、既存のコーデックであるＭＰＥＧ−２を利用するものとする。第１符号化部１０１では、入力画像に対して予測、変換、量子化を行ってＭＰＥＧ−２規格に準拠した第１符号化データを生成する。さらに、局所復号処理を行って第１復号画像を生成する。
【００２４】
次に、減算部１０２において、入力画像と第１符号化部からの第１復号画像とについて減算処理を行い、差分画像を生成する。
【００２５】
続いて、第１画素レンジ変換部１０３において画素値の変換を行い、第１変換画像を生成する。第１画素レンジ変換部１０３の詳細な動作については後述する。
【００２６】
最後に、第２画像符号化部１０４において第１変換画像に対して符号化処理を行う。第２画像符号化部１０４でも任意の符号化処理を用いても良いが、本実施形態では既存のコーデックであるＨ．２６４を利用するものとする。
【００２７】
通常のコーデックによるスケーラブル符号化を行う場合とは異なり、第２画像符号化部１０４において第１画像符号化部１０１よりも符号化効率の高いコーデックを用いることで、より効率的な符号化を行うことができる。これにより、例えばデジタル放送のように第１符号化データがＭＰＥＧ−２で符号化されている必要がある場合にもＨ．２６４で符号化した第２符号化データを拡張データとしてＩＰ伝送網などを利用して配信することで、小さなデータ量で復号画像の画質を高めることが可能となる。
【００２８】
また、上記のように既存のコーデックを組み合わせることで、復号側では既存のコーデックにおける復号装置をそのまま利用して第１符号化データ及び第２符号化データを復号することが可能である。
【００２９】
尚、ここでは第１画像符号化部１０１ではＭＰＥＧ−２、第２画像符号化部１０４ではＨ．２６４を利用して符号化を行う場合について説明したが、それぞれの画像符号化部は任意のコーデックを利用して実現することができる。ただし、その場合後述する動画像復号装置でも対応する動画像復号処理を行う必要がある。
【００３０】
ここで、本実施形態において特徴的な第１画素レンジ変換部１０３の動作について詳細に説明する。本実施形態では入力画像の画素値は８ビットで表現されているものとする。即ち、各画素は０から２５５の値をとり得る。第１復号画像の画素値も８ビットの範囲となるため、減算部１０２で生成された差分画像は−２５５から２５５の値をとり、負の値を含む９ビットの範囲となる。しかしながら、一般的なコーデックでは入力として負の値をサポートしていないため、前記差分画像をそのまま符号化することはできない。そこで、差分画像の画素値を第２画像符号化部の符号化方法にて規定されている画素レンジ内となるように変換を行う必要がある。
【００３１】
具体的に、本実施形態では第２画像符号化部でＨ．２６４を利用し、一般的に用いられているＨｉｇｈ  Ｐｒｏｆｉｌｅに従って符号化を行うものとする。Ｈ．２６４のＨｉｇｈ  Ｐｒｏｆｉｌｅでは０から２５５の８ビット入力が規定されているため、差分画像の各画素の画素値が前記画素レンジ内の値となるように変換を行う。変換としては任意の方法を用いて良いが、単純には次式により差分画像から第１変換画像を生成することができる。数１において、「ａ＞＞ｂ」は、ａの各ビットをｂビット右へシフトすることを意味する。したがって、Strans1(x,y)は、（Sdiff(x,y)+255）を１ビット右シフトしたものとなる。このように、差分画像の画素値に、所定の第１の値を加算し、加算後の値を、ビットシフトすることにより、画素値の変換を行うことができる。所定の第1の値は、ここでは、数１における「２５５」がそれに相当する。
【数１】
2013055615.tif 000003
ここで、Strans1(x,y)は第１変換画像、Sdiff(x,y)は差分画像における画素(x,y)の画素値を表す。上記により、第１変換画像における各画素の画素値は０から２５５の範囲内に収まり、一般的なコーデックにより符号化を行うことが可能となる。この場合「０」は、所定の下限値、「２５５」は、所定の上限値に相当する。
【００３２】
また、所定の第２の値を加算した後にクリッピングを行うことで変換画像を生成しても良い。たとえば次式により画素レンジ変換を行っても良い。数２における「１２８」は、上記第２の値に相当する。
【数２】
2013055615.tif 000004
【００３３】
第１復号画像の入力画像との差分値は、第１符号化部１０１における符号化処理による劣化から生じるものであり、一般には絶対値は小さくなる傾向がある。即ち、差分画像における画素値は−２５５から２５５の値をとり得るが、実際には０近傍に集中し、−２５５や２５５といった絶対値の大きな値を取る画素の数は少ない。そこで、数２を用いて画素レンジ変換を行うと、絶対値の大きな値を取る画素では変換による誤差が生じるが、ビットシフト演算を行う必要がないため絶対値の小さな画素では誤差が生じることはなく、全体として生じる誤差は数１と比較して小さくできる場合がある。
【００３４】
上記画素レンジ変換の例では第２画像符号化部１０４で用いるコーデックが８ビット入力を規定している場合について説明した。実際には利用するコーデックにより前記の数値例は変化する。更に、コーデックにおける規定のみでなくシステム全体として扱える画素値のレンジについても考慮する必要がある。
【００３５】
尚、本実施の形態では第１復号画像と入力画像から算出した差分画像を画素レンジ変換した上で符号化することでスケーラビリティを実現する方式について説明したが、第２画像符号化部１０４が更にスケーラブル符号化を行っても良い。例えば、Ｈ．２６４におけるスケーラブル符号化であるＨ．２６４／ＳＶＣを利用し、第１変換画像を更にベースレイヤとエンハンスメントレイヤに分割して符号化することで、より柔軟なスケーラビリティを実現することが可能となる。
【００３６】
更に、第１画素レンジ変換部１０３と第２画像符号化部１０４の処理を複数組み合わせることで上記のスケーラビリティを実現しても良い。後述する動画像復号装置と同様に第２符号化データを復号することで得られる復号画像に対して第１画素レンジ変換部１０３の処理に対応する逆変換を行った上で第１復号画像に加算する。ここで得られた画像と入力画像から再度差分画像を生成して画素レンジ変換と画像符号化処理を適用することで更なるスケーラビリティを実現することができる。
【第２の実施形態】
【００３７】
本実施形態では、第１の実施形態に係る動画像符号化装置１００に対応する動画像復号装置について述べる。以下、本実施形態に係る動画像復号装置について図２を参照して詳細に説明する。
【００３８】
本実施形態に係る動画像復号装置２００は、第１画像復号部２０１、第２画像復号部２０２、第２画素レンジ変換部２０３及び加算部２０４を含む。
【００３９】
第１画像復号部２０１は、外部から入力された第１符号化データについて所定の動画像復号処理を行い、第１復号画像を生成する。
【００４０】
第２画像復号部２０２は、外部から入力された第２符号化データについて所定の動画像復号処理を行い、第２復号画像を生成する。ただし、第２画像復号部２０２は第１画像復号部２０１とは異なる手法にて復号処理を行う。
【００４１】
第２画素レンジ変換部２０３は、第２画像復号部２０２から第２復号画像を受け取り、第２復号画像に含まれる各画素について画素値が特定の範囲内となるように画素値変換を行って第２変換画像を生成する。
【００４２】
加算部２０４は、第１画像復号部２０１から第１復号画像を、第２画素レンジ変換部２０３から第２変換画像をそれぞれ受け取り、第１復号画像と第２変換画像の画素値を加算して、第３復号画像を生成する。
【００４３】
次に、本実施形態に係る動画像復号装置２００の復号処理について説明する。
【００４４】
まず、本実施形態に係る動画像復号装置２００は、第１符号化データを受け取り、第１画像復号部２０１において復号処理を行う。このとき、第１画像復号部２０１では図１の動画像符号化装置１００における第１画像符号化部１０１で行われた符号化処理に対応する復号処理を行う。第１の実施形態では第１画像符号化部１０１はＭＰＥＧ−２を利用して符号化を行ったため、本実施形態では第１画像復号部２０１においてＭＰＥＧ−２規格に従って第１符号化データに対する復号処理が行われ、第１復号画像が生成される。
【００４５】
次に、動画像復号装置２００は、第２符号化データを受け取り、第２画像復号部２０２において復号処理を行う。このとき、第２画像復号部２０２では図１の動画像符号化装置１００における第２画像符号化部１０４で行われた符号化処理に対応する復号処理を行う。第１の実施形態では第２画像符号化部１０４はＨ．２６４を利用して符号化を行ったため、本実施形態では第２画像復号部２０２においてＨ．２６４規格に従って第２符号化データに対する復号処理が行われ、第２復号画像が生成される。
【００４６】
続いて、第２画素レンジ変換部２０３において第２復号画像の各画素の画素値を、画素値が特定の範囲（第２の特定の範囲）内になるように変換し、第２変換画像を生成する。第２画素レンジ変換部２０３の詳細な動作については後述する。
【００４７】
最後に、加算部２０４において、第１復号画像と第２変換画像とについて加算処理を行い、第３復号画像を生成する。
【００４８】
上記のように、本実施形態における動画像復号装置２００は、動画像符号化装置１００の第１画像符号化部１０１及び第２画像符号化部１０４で行われた２つの異なる符号化方法に対応する復号処理をそれぞれ第１画像復号部２０１及び第２画像復号部２０２で独立に行う。そのため、第１の実施形態で述べたように既存のコーデックにおける復号装置をそのまま利用することが可能である。
【００４９】
ここで、本実施形態において特徴的な第２画素レンジ変換部２０３の動作について詳細に説明する。第２画素レンジ変換部２０３は動画像符号化装置１００における第１画素レンジ変換部１０３における変換処理に対応する逆変換処理を行う。第１の実施形態で述べたように、第１画素レンジ変換部１０３では−２５５から２５５の値をとり得る差分画像の各画素に対して数１を適用することで、０から２５５の範囲内に収まるようにした後に第２画像符号化部１０４にて符号化を行った。そこで、第２画素レンジ変換部２０３では第２復号画像に対し、次式により画素値の変換を行う。数３において、「ａ＜＜ｂ」は、ａの各ビットを左へｂビットシフトさせることを意味する。したがって、Strans2(x,y)は、Sdec2(x,y)を１ビット左シフトしてから２５５を減算したものに相当する。
【数３】
2013055615.tif 000005
ここで、Strans2(x,y)は第２変換画像、Sdec2(x,y)は第２復号画像における画素(x,y)の画素値を表す。上記により、０から２５５の範囲内の値であった第２復号画像における各画素は動画像符号化装置１００で算出された差分画像と同様の画素レンジである−２５５から２５５へと逆変換される。すなわちこのレンジ（第２の特定の範囲）は、入力画像または第1復号画像が取り得る画素値の最大値の負の値以上、かつ当該最大値以下の範囲に相当する。
【００５０】
また、第１画素レンジ変換部１０３で数２により画素変換を行う場合には、第２画素レンジ変換部２０３では次式により画素値の変換を行う。
【数４】
2013055615.tif 000006
【００５１】
上記の処理により得られた第２変換画像を第１復号画像に加算することにより、第１復号画像と比較して入力画像との誤差が小さな第３復号画像を得ることができる。
【第３の実施形態】
【００５２】
本実施形態では、第１の実施形態の変形例について述べる。以下、本実施形態に係る動画像符号化装置について図３を参照して詳細に説明する。
【００５３】
動画像符号化装置３００は動画像符号化装置１００の構成要素に加え、インターレース変換部３０１及びプログレッシブ変換部３０２を更に含む。
【００５４】
インターレース変換部３０１は入力画像を受け取り、プログレッシブ形式の画像をインターレース形式の画像へと変換する。
【００５５】
プログレッシブ変換部３０２は第１画像符号化部１０１から第１復号画像を受け取り、インターレース形式の画像をプログレッシブ形式の画像へと変換する。
【００５６】
第１の実施形態では、画像のフォーマットについては特に限定していなかった。ただし、第１画像符号化部１０１と第２画像符号化部１０４では異なる画像フォーマットを対象としても良い。例えばデジタル放送を想定した場合、第１画像符号化部１０１ではインターレース形式の画像を符号化することとなる。一方で、第２画像符号化部１０４では必ずしもインターレース形式の画像を符号化する必要はない。また、第２画像符号化部１０４で用いるコーデックがＨ．２６４でない場合に、インターレース形式の画像を入力としてサポートしていない可能性もある。
【００５７】
上記の場合に、第１画像符号化部１０１ではインターレース形式の画像を、第２画像符号化部１０４ではプログレッシブ形式の画像を入力として符号化を行っても良い。そのために、動画像符号化部１０１はインターレース変換部３０１によりインターレース形式に変換された画像を符号化する。また、画像符号化部１０４では入力画像とプログレッシブ変換部３０２でプログレッシブ形式に変換された第１復号画像との差分を第１画素レンジ変換部で画素値変換した画像を符号化する。
【００５８】
尚、ここでは入力画像の形式がプログレッシブである場合について説明したが、入力画像がインターレース形式であった場合にはインターレース変換部３０１及びプログレッシブ変換部３０２は不要となり、差分画像に対してプログレッシブ変換を行えば良い。
【００５９】
また、第１画像符号化部と第２画像符号化部で入力する形式が逆であっても良く、その場合には対応する位置でインターレース変換、プログレッシブ変換を行えば良い。
【第４の実施形態】
【００６０】
本実施形態では、第３の実施形態に係る動画像符号化装置３００に対応する動画像復号装置について述べる。以下、本実施形態に係る動画像復号装置について図４を参照して詳細に説明する。
【００６１】
動画像復号装置４００は動画像復号装置２００の構成要素に加え、プログレッシブ変換部３０２を更に含み、プログレッシブ変換部３０２は動画像符号化装置３００と同様の処理を行う。
【００６２】
このとき、第３の実施形態と同様に第１復号画像に対してプログレッシブ変換を適用することで、インターレース形式である第１復号画像とプログレッシブ形式である第２変換画像との対応づけが可能となる。これらを加算することで、第１画像符号化部１０１と第２画像符号化部１０４において異なる画像フォーマットで符号化が行われる場合にも、第１及び第２の実施形態と同様の効果を得ることが可能である。
【第５の実施形態】
【００６３】
本実施形態では、第１の実施形態の変形例について述べる。以下、本実施形態に係る動画像符号化装置について図５を参照して詳細に説明する。
【００６４】
動画像符号化装置５００は動画像符号化装置１００の構成要素の内、第１画素レンジ変換部１０３が異なる機能を持つ第１画素レンジ変換部５０１で置き換えられ、エントロピー符号化部５０２を更に含む。
【００６５】
第１画素レンジ変換部５０１は、動画像符号化装置１００における第１画素レンジ変換部１０３と同様に減算部１０２から差分画像を受け取り、差分画像に含まれる各画素について画素値が特定の範囲内となるように画素値変換を行って第１変換画像を生成する。更に、画素レンジ変換を行う際に使用したパラメータである画素レンジ変換情報を出力する。
【００６６】
エントロピー符号化部５０２は、第１画素レンジ変換部５０１から画素レンジ変換情報を受け取り、所定の符号化処理を行って第３符号化データを生成する。
【００６７】
ここで、本実施形態で特徴的な第１画素レンジ変換部５０１及びエントロピー符号化部５０２について説明する。第１の実施形態では数１により画素レンジ変換を行った。数１では差分画像の画素値が−２５５から２５５の値をとることを想定して変換を行っている。しかしながら、差分画像の全画素について、実際には上記の画素レンジよりも狭い範囲に存在する場合がある。その場合、数１では１ビットシフトするために必ず下位１ビットの情報が失われ、過度に情報が失われてしまう可能性がある。そこで、本実施形態では数１に代えて次式により画素変換を行う。
【数５】
2013055615.tif 000007
ここで、max及びminはそれぞれ差分画像に含まれる全画素における最大値と最小値を表す。数５を用いることで、実際に画素値が存在する範囲が０から２５５となるように変換するため、変換時に失われる情報が少ないという利点がある。
【００６８】
数５で用いたmax及びminは、画素レンジ変換情報としてエントロピー符号化部５０２へと出力される。エントロピー符号化部５０２では例えばハフマン符号化や算術符号化などにより符号化処理が行われ、第３符号化データとして出力される。
【００６９】
ここでは差分画像に含まれる画素値の最大値及び最小値を利用して画素レンジ変換を行う場合について説明したが、ヒストグラムパッキングなど、一般的に用いられる他のトーンマッピング手法を用いて画素レンジ変換を行っても良く、その場合には最大値及び最小値の代わりに必要となるパラメータを画素レンジ変換情報として符号化する。
【００７０】
上記画素レンジ変換情報はフレーム、フィールド、画素ブロックなど任意の単位で符号化して良い。例えば、画素ブロック毎に符号化する場合にはフレームなどと比較してより細かい単位で最大値と最小値を算出するため、画素レンジ変換により失われる情報も少なくなるが、一方で画素レンジ変換情報の符号化によるオーバーヘッドは増加する。
【００７１】
また、ここでは画素レンジ変換手段が１つであるかのように説明したが、上記複数の画素レンジ変換手段を切り替えて用いても良い。切り替え単位についてもフレーム、フィールド、画素ブロック、画素などが考えられるが、符号化装置と復号装置で対応する画素レンジ変換を行う必要がある。そこで、予め定めた判断基準に基づいて切り替えても良いし、また符号化側で任意に設定した画素レンジ変換手段を示すインデクスなどの情報を画素レンジ変換情報に含めて符号化しても良い。
【００７２】
画素レンジ変換情報については、変換に用いるパラメータを符号化するのみでなく、画素レンジ変換により失われる情報を補償するための情報であっても良い。例えば、数１に従って画素レンジ変換を行う場合、前述の通り下位１ビットの情報が失われるために差分画像と第１変換画像との間に誤差が生じる。そこで、下位１ビット分の情報を別途符号化することで、後述する復号装置では画素レンジ変換で生じた誤差を補償することが可能となる。
【００７３】
さらに、ここでは前記画素レンジ変換情報を第１符号化データ及び第２符号化データとは独立に符号化を行って第３符号化データを生成する場合について説明したが、第１符号化データや第２符号化データに多重化しても良い。ただし、第１画像符号化部１０１及び第２画像符号化部１０４で用いる符号化方式に準拠している必要がある。そこで、例えばＨ．２６４で符号化される第２符号化データに多重化する場合には、Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｌａｙｅｒ（ＳＥＩ）で自由にパラメータを記述可能なＮＡＬユニットとしてサポートされているＵｓｅｒ  ｄａｔａ  ｕｎｒｅｇｉｓｔｅｒｅｄ  ＳＥＩ  ｍｅｓｓａｇｅを利用して符号化すれば良い。
【第６の実施形態】
【００７４】
本実施形態では、第５の実施形態に係る動画像符号化装置５００に対応する動画像復号装置について述べる。以下、本実施形態に係る動画像復号装置について図６を参照して詳細に説明する。
【００７５】
動画像復号装置６００は動画像復号装置２００の構成要素に加え、エントロピー復号部６０１を更に含み、第２画素レンジ変換部２０３が異なる機能を持つ第２画素レンジ変換部６０２に置きかえられる。
【００７６】
エントロピー復号部６０１は第３符号化データを受け取り、所定の復号処理を行って画素レンジ変換情報を得る。
【００７７】
第２画素レンジ変換部６０２は第２画像復号部２０２から第２復号画像を、エントロピー復号部から６０１から画素レンジ変換情報をそれぞれ受け取り、第２復号画像に含まれる各画素について画素値が特定の範囲内となるように画素値変換を行って第２変換画像を生成する。
【００７８】
ここで、本実施形態で特徴的なエントロピー復号部６０１及び第２画素レンジ変換部６０２について説明する。エントロピー復号部６０１は第３符号化データに対して、動画像符号化装置５００のエントロピー符号化部５０２にて行われた符号化処理に対応する復号処理を行うことで画素レンジ変換情報を得る。ここで、画素レンジ変換情報が数５におけるmax及びminであった場合、数３に代えて次式により動画像符号化装置５００における第１画素レンジ変換部５０１で行われた変換処理に対応する逆変換処理を行うことができる。
【数６】
2013055615.tif 000008
【００７９】
数６により変換を行うことで、動画像符号化装置５００において差分画像に含まれる画素値の最大値及び最小値を用いた画素レンジ変換を行う場合にも第１及び第２の実施形態と同様の効果を得ることができる。
【００８０】
また、上記画素レンジ変換情報を符号化する単位や多重化される位置及び複数の画素レンジ変換手段の切り替えについては動画像符号化装置５００と同一である。
【第７の実施形態】
【００８１】
本実施形態では、第１の実施形態の変形例について述べる。以下、本実施形態に係る動画像符号化装置について図７を参照して詳細に説明する。
【００８２】
動画像符号化装置７００は動画像符号化装置１００の構成要素に加え、フィルタ処理部７０１及びエントロピー符号化部７０２を更に含む。
【００８３】
フィルタ処理部７０１は入力画像と第１画像符号化部１０１から第１復号画像を受け取り、第１復号画像に対して所定のフィルタ処理を行う。更に、処理に用いたフィルタを示すフィルタ情報を出力する。
【００８４】
エントロピー符号化部７０２は、フィルタ処理部７０１からフィルタ情報を受け取り、所定の符号化処理を行って第３符号化データを生成する。
【００８５】
ここで、本実施形態で特徴的なフィルタ処理部７０１及びエントロピー符号化部７０２について説明する。フィルタ処理部７０１では、第１復号画像に対してフィルタを適用することで入力画像と第１復号画像との誤差を低減する。例えば、フィルタ処理において画像復元で一般に用いられる２次元のＷｉｅｎｅｒ  ｆｉｌｔｅｒを用いることで、入力画像とフィルタを適用した第１復号画像との２乗誤差を最小にすることができる。フィルタ処理部７０１は、入力画像及び第１復号画像を受け取り、２乗誤差最小基準でフィルタ係数を算出し、次式により第１復号画像の各画素に対してフィルタを適用する。
【数７】
2013055615.tif 000009
Sfilt(x,y)は、はフィルタ適用後の画像、Sdec1(x,y)は第１復号画像における画素(x,y)の画素値を表し、h(i,j)はフィルタ係数を表す。i及びjの取り得る値はフィルタの水平方向及び垂直方向のタップ長にそれぞれ依存する。
【００８６】
算出されたフィルタ係数h(i,j)は、フィルタ情報としてエントロピー符号化部７０２へと出力される。エントロピー符号化部７０２では例えばハフマン符号化や算術符号化などにより符号化処理が行われ、第３符号化データとして出力される。また、フィルタのタップ長や形状について符号化装置７００で任意に設定し、これらを示す情報をフィルタ情報に含めて符号化しても良い。更に、フィルタ係数を示す情報として、係数値そのものではなく予め用意した複数のフィルタから選択して当該フィルタを示すインデクスなどの情報を符号化しても良いが、この場合には後述する復号装置でも同一のフィルタ係数を予め保持しておく必要がある。また、フィルタ処理についても全ての画素に対して行う必要はなく、例えばフィルタを適用することで入力画像との誤差が低減する領域に対してのみフィルタを適用しても良いが、後述する復号装置では入力画像に関する情報は得られないため、フィルタを適用する領域を示す情報を別途符号化する必要がある。
【００８７】
本実施形態では、入力画像と前記フィルタ処理後の画像とで差分画像を生成する点が第１の実施形態と異なる。フィルタ処理を行って入力画像との誤差を低減した上で差分画像を生成することで、差分画像に含まれる画素値のエネルギーが小さくなり、第２画像符号化部での符号化効率が高まる。また、第５の実施形態のように実際に差分画像に含まれる画素値の分布に基づいて画素レンジ変換を行う場合には、差分画像の画素値が０近傍に集中することでより効率の良い画素レンジ変換を行うことができ、更に符号化効率を高めることができる。
【００８８】
尚、本実施形態ではＷｉｅｎｅｒ  ｆｉｌｔｅｒを用いて第１復号画像の画質を向上させる方式について説明したが、公知である他の高画質化処理を用いても良い。例えば、ｂｉ−ｌｉｎｅａｒ  ｆｉｌｔｅｒやｎｏｎ−ｌｏｃａｌ  ｍｅａｎｓ  ｆｉｌｔｅｒなどを用いても良く、この場合はこれらの処理に関するパラメータをフィルタ情報として符号化する。更に、Ｈ．２６４のデブロック処理のようにパラメータを付加することなく符号化側と復号側で共通の処理を行う場合など、必ずしも追加情報を符号化する必要はない。
【００８９】
さらに、ここでは一般的な積和演算によるフィルタ処理について説明したが、フィルタ係数の１つとしてオフセット項を用いても良い。例えば、数７による積和に対してさらにオフセット項を加算することでフィルタ処理結果としても良く、またオフセット項を加算するのみの処理も本実施の形態ではフィルタ処理とみなす。
【００９０】
また、ここでは高画質化処理が１つのように説明したが、上述した複数の高画質化処理を切り替えて用いても良い。切り替え単位については第５の実施形態の画素レンジ変換手段の切り替えと同様、フレーム、フィールド、画素ブロック、画素などとして良い。これらを予め定めた判断基準に基づいて切り替えても良いし、また符号化側で任意に設定した高画質化処理を示すインデクスなどの情報をフィルタ情報に含めて符号化しても良い。
【００９１】
さらに、フィルタ情報を示す符号化データの生成方法についても第５の実施形態で述べた通りに第１及び第２符号化データに多重化しても良い。
【第８の実施形態】
【００９２】
本実施形態では、第７の実施形態に係る動画像符号化装置７００に対応する動画像復号装置について述べる。以下、本実施形態に係る動画像復号装置について図８を参照して詳細に説明する。
【００９３】
動画像復号装置８００は動画像復号装置２００の構成要素に加え、エントロピー復号部８０１及びフィルタ処理部８０２を更に含む。
【００９４】
エントロピー復号部８０１は第３符号化データを受け取り、所定の復号処理を行ってフィルタ情報を得る。
【００９５】
フィルタ処理部８０２は、第１画像復号部２０１から第１復号画像を、エントロピー復号部８０１からフィルタ情報をそれぞれ受け取り、フィルタ情報に示されるフィルタ処理を第１復号画像に対して行う。
【００９６】
ここで、本実施形態で特徴的なエントロピー復号部８０１及びフィルタ処理部８０２について説明する。エントロピー復号部８０１は第３符号化データに対して、動画像符号化装置７００のエントロピー符号化部７０２にて行われた符号化処理に対応する復号処理を行うことでフィルタ情報を得る。ここで、フィルタ情報として数７におけるh(i,j)で示されるＷｉｅｎｅｒ  ｆｉｌｔｅｒの係数であれば、フィルタ処理部８０２では数７に従って第１復号画像に対して符号化装置７００と同一のフィルタ処理を行うことができる。
【００９７】
数７によりフィルタ処理を行うことで、動画像符号化装置７００において第１復号画像に対してフィルタ処理を行う場合にも第１及び第２の実施形態と同様の効果を得ることができる。
【００９８】
また、上記フィルタ情報を符号化する単位や多重化される位置及び複数の高画質化処理の切り替え方法については動画像符号化装置７００と同一である。
【第９の実施形態】
【００９９】
本実施形態では、第１の実施形態の変形例について述べる。以下、本実施形態に係る動画像符号化装置について図９を参照して詳細に説明する。
【０１００】
動画像符号化装置９００は動画像符号化装置１００の構成要素に加え、ダウンサンプリング部９０１、アップサンプリング部９０２を更に含む。
【０１０１】
ダウンサンプリング部９０１は入力画像を受け取り、所定のダウンサンプリング処理を行うことで解像度を低減した画像を出力する。
【０１０２】
アップサンプリング部９０２は第１画像符号化部１０１から第１復号画像を受け取り、所定のアップサンプリング処理を行うことで入力画像と同等の解像度とした画像を出力する。
【０１０３】
ここで、本実施形態で特徴的なダウンサンプリング部９０１及びアップサンプリング部９０２について説明する。ダウンサンプリング部９０１は、入力画像の解像度を低減する。例えば、第１画像符号化部１０１で生成される第１符号化データがデジタル放送での配信を想定している場合、第１画像符号化部の入力は１４４０ｘ１０８０画素である。一般的には、これを受像機側でアップサンプリングすることで１９２０ｘ１０８０画素の映像として表示している。そこで、例えば入力画像が１９２０ｘ１０８０画素である場合にはダウンサンプリング部９０１にて１４４０ｘ１０８０画素にダウンサンプリング処理が行われる。このとき、ダウンサンプリング処理としては単純なサブサンプリングに加え、バイリニアやバイキュービックによるダウンサンプリングなどを用いて良く、また所定のフィルタ処理やウェーブレット変換によりダウンサンプリングを行っても良い。
【０１０４】
上記の処理により解像度を低減した画像に対して第１画像符号化部１０１において所定の符号化処理を行い、第１符号化データ及び第１復号画像が生成される。このとき、第１復号画像は解像度の低い画像として出力されるが、アップサンプリング部９０２において解像度を向上させて入力画像との差分画像を生成することで、受像機にて画像を表示する際の画質を向上させることができる。
【０１０５】
アップサンプリング９０２におけるアップサンプリング処理としては、バイリニアやバイキュービックによるアップサンプリングなどを用いて良く、また所定のフィルタ処理や、画像の自己相似性を利用したアップサンプリング処理を用いても良い。画像の自己相似性を利用する場合には、符号化対象画像のフレーム内で類似した領域を抽出して利用する方法や、複数のフレームから類似した領域を抽出して所望の位相を再現する方法など、一般に用いられるアップサンプリング処理を用いて良い。
【０１０６】
尚、入力画像の解像度は一般に４Ｋ２Ｋと呼ばれる３８４０ｘ２１６０画素など、任意の解像度であって構わない。このように、入力画像の解像度とダウンサンプリング部９０１が出力する画像の解像度の組み合わせにより、任意の解像度スケーラビリティを実現することができる。
【０１０７】
また、本実施形態におけるアップサンプリング処理やダウンサンプリング処理は上述した複数の手段を切り替えて用いても良い。その際、予め定めた判断基準に基づいて切り替えても良いし、また符号化側で任意に設定した手段を示すインデクスなどの情報を追加データとして符号化しても良い。追加データの符号化方法については例えば第５の実施形態に従うことで可能となる。
【第１０の実施形態】
【０１０８】
本実施形態では、第９の実施形態に係る動画像符号化装置９００に対応する動画像復号装置について述べる。以下、本実施形態に係る動画像復号装置について図１０を参照して詳細に説明する。
【０１０９】
動画像復号装置１０００は動画像復号装置２００の構成要素に加え、アップサンプリング部９０２を更に含む。
【０１１０】
アップサンプリング部９０２は第１画像復号部２０１から第１復号画像を受け取り、所定のアップサンプリング処理を行うことで解像度を向上させた画像を出力する。
【０１１１】
ここで、本実施形態で特徴的なアップサンプリング部９０２について説明する。第９の実施形態で述べたように、ここでは第１符号化データと第２符号化データでは異なる解像度の画像が符号化されており、第１復号画像は第２復号画像と比較して解像度の低い画像であることを前提としている。アップサンプリング部９０２は、第１復号画像に対して第９の実施形態の動画像符号化装置９００におけるアップサンプリング９０２と同一の処理により第１復号画像の解像度を向上させる。このとき、第１復号画像は第２復号画像と同一の解像度までアップサンプリングされる。第２復号画像における解像度は第２画像復号部において第２符号化データを復号することで得られ、アップサンプリング部９０２は第２復号画像の解像度情報を第２画像復号部より受け取り、アップサンプリング処理を行う。
【０１１２】
尚、複数のアップサンプリング処理手段を切り替えて用いる場合、切り替え方法や追加データのフォーマットについては動画像符号化装置９００に従うことで可能となる。
【第１１の実施形態】
【０１１３】
本実施形態では、第１の実施形態の変形例について述べる。以下、本実施形態に係る動画像符号化装置について図１１を参照して詳細に説明する。
【０１１４】
動画像符号化装置１１００は動画像符号化装置１００の構成要素に加え、フレームレート低減部１１０１、フレーム補間処理部１１０２を更に含む。
【０１１５】
フレームレート低減部１１０１は入力画像を受け取り、所定の処理を行うことでフレームレートを低減した画像を出力する。
【０１１６】
フレーム補間処理部１１０２は第１画像符号化部１０１から第１復号画像を受け取り、所定の処理を行うことでフレームレートを向上した画像を出力する。
【０１１７】
ここで、本実施形態で特徴的なフレームレート低減部１１０１及びフレーム補間処理部１１０２について図１２を参照して説明する。
【０１１８】
第１画像符号化部１０１で生成される第１符号化データがデジタル放送での配信を想定している場合、第１画像符号化部の入力フレームレートは２９．９７Ｈｚである。一方で、入力画像のフレームレートが５９．９４Ｈｚであったとすると、フレームレート低減部１１０１において入力画像のフレームレートを２９．９７Ｈｚに低減する。フレームレートの低減においては任意の方法を用いて良いが、本実施形態では簡単のため単純にフレームを間引きする場合について説明する。図１２においてフレーム番号が２ｎ（ｎ＝０，１，２，・・・）となるフレームのみを第１画像符号化部１０１に入力して符号化することで、第１復号画像のフレームレートを２９．９７Ｈｚとすることができる。
【０１１９】
続いて、前記第１復号画像に対してフレーム補間処理部１１０２においてフレーム補間処理を行う。フレーム補間処理についても任意の方法を用いて良い。本実施形態では前後のフレームから動き情報を解析し、中間フレームを生成するものとする。上記フレーム補間処理により、フレーム番号が２ｎ＋１（ｎ＝０，１，２，・・・）のフレームが生成される。
【０１２０】
このとき、フレーム番号が２ｎとなるフレームにおいては入力画像と第１復号画像との差分を算出して差分画像とする。また、フレーム番号が２ｎ＋１となるフレームにおいては入力画像とフレーム補間された画像との差分を算出して差分画像とする。生成された差分画像に対して第１の実施形態と同様に画素レンジ変換及び第２画像符号化部による符号化を行う。
【０１２１】
フレーム補間画像の生成においては、第１復号画像をそのまま用いても良い。即ち、２ｎ番目のフレームを２ｎ＋１番目のフレームとして上述の処理を行っても良い。このようにすることで、補間画像の画質が低下するため、第２画像符号化部における符号化効率も低下するが、フレーム補間処理における処理量を大幅に削減することができる。
【０１２２】
更に、第２画像符号化部においてはフレーム補間された画像のみを入力画像として符号化を行っても良い。即ち、フレーム番号が２ｎ＋１となるフレームのみを符号化する。この場合には２ｎ番目のフレームにおける画像からの予測ができないために符号化効率は低下するが、２ｎ番目のフレームの符号化に要するオーバーヘッドを削減することができる。
【０１２３】
ここでは、第１画像符号化部１０１及び第２画像符号化部１０４に入力すべき画像のフレームレートが所定の値となっている場合について説明したが、それぞれのフレームレートについては符号化装置１１００にて任意に設定しても良く、その際にフレームレートを示す情報を追加データとして符号化しても良い。追加データの符号化方法については例えば第５の実施形態に従うことで可能となる。
【第１２の実施形態】
【０１２４】
本実施形態では、第１１の実施形態に係る動画像符号化装置１１００に対応する動画像復号装置について述べる。以下、本実施形態に係る動画像復号装置について図１３を参照して詳細に説明する。
【０１２５】
動画像復号装置１２００は動画像復号装置２００の構成要素に加え、フレーム補間処理部１１０２を更に含む。
【０１２６】
フレーム補間処理部１１０２は第１画像復号部２０１から第１復号画像を受け取り、所定のフレーム補間処理を行うことでフレームレートを向上させた画像を出力する。
【０１２７】
ここで、本実施形態で特徴的なフレーム補間処理部１１０２について説明する。フレーム補間処理部１１０２は、第１復号画像に対して第１１の実施形態の動画像符号化装置１１００におけるフレーム補間処理部１１０２と同一の処理により第１復号画像のフレームレートを向上させる。このとき、第１復号画像からフレーム補間処理により生成された中間フレーム画像に対して第２変換画像を加算することで、第１復号画像のフレームレートを向上させた上で画質を向上させることが可能となる。
【０１２８】
尚、動画像符号化装置１１００にて任意のフレームレートを設定して追加データで符号化している場合、追加データのフォーマットについては動画像符号化装置１１００に従うことで可能となる。
【第１３の実施形態】
【０１２９】
本実施形態では、第１の実施形態の変形例について述べる。以下、本実施形態に係る動画像符号化装置について図１４を参照して詳細に説明する。
【０１３０】
動画像符号化装置１３００は動画像符号化装置１００の構成要素に加え、視差画像選択部１３０１、視差画像生成部１３０２を更に含む。さらに、入力画像は複数の視差における動画像を含むものとする。
【０１３１】
視差画像選択部１３０１は入力画像を受け取り、入力画像における所定の視差画像を選択し、当該視差における画像を出力する。
【０１３２】
視差画像生成部１３０２は第１画像符号化部１０１から第１復号画像を受け取り、所定の処理を行うことで、視差画像選択部１３０１で選択されなかった視差に該当する画像を生成する。
【０１３３】
ここで、本実施形態で特徴的な視差画像選択部１３０１及び視差画像生成部１３０２について説明する。ここでは、入力画像が９視差の画像から構成されているものとする。このとき、例えば視差画像選択部において５視差の画像を選択することで、第１画像符号化部により５視差の画像からなる第１符号化データを生成することができる。このとき、第１画像符号化部ではそれぞれの視差画像を独立に符号化しても良く、また第１画像符号化部が視差間の予測を用いた多視差符号化に対応したコーデックを用いて符号化しても良い。
【０１３４】
続いて、視差画像生成部１３０２では第１復号画像から、視差画像選択部１３０１で選択されなかった４視差に該当する画像を生成する。このとき、一般的な視差画像の生成手法を用いても良く、入力画像から得た画像の奥行き情報を用いても良い。ただし、後述する動画像復号装置でも同様の視差画像生成処理を行う必要があるため、奥行き情報を用いる場合には追加データとして符号化する必要がある。追加データの符号化方法については例えば第５の実施形態に従うことで可能となる。
【０１３５】
上記により生成された視差画像と入力画像との差分を差分画像とし、第１の実施形態と同様に画素レンジ変換及び第２画像符号化部による符号化を行う。
【０１３６】
尚、第１１の実施形態においてフレームレートスケーラビリティについて説明した場合と同様に、視差画像選択部１３０１で選択された画像、即ち第１復号画像そのものについても入力画像との差分を差分画像として後段の処理を行っても良い。これにより、第１復号画像の画質を向上させることができ、更に第２画像符号化部が視差間の予測に対応したコーデックであれば予測に用いることのできる画像が増加することで、視差画像生成部１３０２で生成された視差画像と入力画像との差分画像に対する符号化効率も向上させることができる。
【０１３７】
以上、視差画像数に関するスケーラビリティを実現するための方法について述べた。ここで、一般に視差画像とは３D映像などに用いられ、人間の左右の視点に相当する十分に近い視点を想定した画像を表わす。しかしながら、上記の枠組みを用いることで、一般的なマルチアングル画像についても同様にスケーラビリティを実現することができる。例えばアングルを切り替えて視聴するようなシステムを想定したとき、離れた視点からの画像であっても、アフィン変換に代表される幾何変換などによりベースレイヤのデコード画像から異なる視点の画像を生成することで、上記実施の形態と同様の効果を得ることができる。
【第１４の実施形態】
【０１３８】
本実施形態では、第１３の実施形態に係る動画像符号化装置１３００に対応する動画像復号装置について述べる。以下、本実施形態に係る動画像復号装置について図１５を参照して詳細に説明する。
【０１３９】
動画像復号装置１４００は動画像復号装置２００の構成要素に加え、視差画像生成部１３０２を更に含む。
【０１４０】
視差画像生成部１３０２は第１画像復号部２０１から第１復号画像を受け取り、所定の視差画像生成処理を行うことで異なる視差に該当する画像を生成する。
【０１４１】
ここで、本実施形態で特徴的な視差画像生成部１３０２について説明する。視差画像生成部１３０２は、第１復号画像に対して第１３の実施形態の動画像符号化装置１３００における視差画像生成部１３０２と同一の処理により第１復号画像から異なる視差に該当する画像を生成する。このとき、第１復号画像から視差画像生成処理により生成された中間フレーム画像に対して第２変換画像を加算することで、第１復号画像の視差数を増加させた上で画質を向上させることが可能となる。
【０１４２】
尚、動画像符号化装置１３００にて入力画像から得られた奥行き情報を利用して視差画像を生成して奥行き情報を追加データで符号化している場合、追加データのフォーマットについては動画像符号化装置１３００に従うことで可能となる。
【０１４３】
以上、本発明の各実施形態を説明した。これまで述べてきたように、本発明の実施形態では、２種類の異なるコーデック及びコーデック間を接続するための画素レンジ変換部を用いてスケーラビリティを実現する。例えばＭＰＥＧ−２で符号化された画像の復号画像（デジタル放送）と、入力画像との差分画像を画素レンジ変換してＨ．２６４やＨＥＶＣで符号化することができる。差分画像は、同サイズの画像、拡大画像、フレーム補間画像、または視差画像と、対応する入力画像から算出することができ、この場合それぞれ客観画質、解像度、フレームレート、視差数のスケーラビリティを実現することができる。さらにこのとき、第１のコーデックの復号画像に対して画像復元フィルタなどのポスト処理を適用してから差分画像を生成することで、差分値の画素レンジが小さくなり、第２のコーデックにおける符号化効率を向上させることができる。
【０１４４】
２種類のコーデックを利用したスケーラブル符号化により、エンハンスメントレイヤはベースレイヤよりも符号化効率の高いコーデックを利用することができる。これにより、H．２６４やＨＥＶＣを利用してデジタル放送から小さなデータ量の追加で画像の品質を高めることができる。さらに、これによりＨ．２６４やＨＥＶＣのデコーダが普及することでデジタル放送の符号化方式をＭＰＥＧ−２からスムーズに新コーデックへと移行することも可能である。
【０１４５】
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した動画像符号化装置及び復号装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ等）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の動画像符号化装置及び復号装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
【０１４６】
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【０１４７】
さらに、本開示における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
【０１４８】
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本開示における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【０１４９】
なお、本開示におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【０１５０】
また、本開示の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本開示の実施形態における機能を実現することが可能な機器、装置を総称している。
【０１５１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【図１】
2013055615.tif 000010
【図２】
2013055615.tif 000011
【図３】
2013055615.tif 000012
【図４】
2013055615.tif 000013
【図５】
2013055615.tif 000014
【図６】
2013055615.tif 000015
【図７】
2013055615.tif 000016
【図８】
2013055615.tif 000017
【図９】
2013055615.tif 000018
【図１０】
2013055615.tif 000019
【図１１】
2013055615.tif 000020
【図１２】
2013055615.tif 000021
【図１３】
2013055615.tif 000022
【図１４】
2013055615.tif 000023
【図１５】
2013055615.tif 000024