(57)【要約】  動画像符号化装置（３００）は、複数の動画像信号に含まれるピクチャを順次取得する取得部（３１０）と、第１動画像信号のアンカーピクチャを画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、第２動画像信号のアンカーピクチャを画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する符号化部（３２０）とを備える。
2012098890.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置であって、
前記複数の動画像信号に含まれるピクチャを順次取得する取得部と、
前記取得部で取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化部とを備え、
前記符号化部は、
前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、
前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、
前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する
動画像符号化装置。
【請求項２】
前記符号化部は、
前記第１動画像信号を、ＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格のＢａｓｅ  Ｖｉｅｗとして符号化し、
前記第２動画像信号を、ＭＶＣ規格のＮｏｎ−Ｂａｓｅ  Ｖｉｅｗとして符号化する
請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化部は、さらに、前記第２動画像信号に含まれるピクチャを、前記第１動画像信号の当該ピクチャに対応するピクチャを参照するビュー方向の画面間予測を用いて符号化することができ、
前記動画像符号化装置は、さらに、前記第２動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力する第１の符号化条件と、ビュー方向の画面間予測を用いて符号化してＰピクチャのフォーマットで出力する第２の符号化条件とを相互に切り替える符号化条件設定部を備え、
前記符号化部は、前記符号化条件設定部で設定された符号化条件に応じて符号化を行う
請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記第１の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件であり、
前記第２の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件である
請求項３に記載の動画像符号化装置。
【請求項５】
前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画質差を取得し、取得した画質差が所定の閾値以上の場合に、前記第１の符号化条件に切り替える
請求項３又は４に記載の動画像符号化装置。
【請求項６】
前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画素値を比較することによって、当該２つのピクチャの画質差を取得する
請求項５に記載の動画像符号化装置。
【請求項７】
前記取得部は、さらに、前記第１動画像信号を撮影した際の撮影条件と、前記第２動画像信号を撮影した際の撮影条件とを取得し、
前記符号化条件設定部は、前記第１及び第２動画像信号の撮影条件を比較することによって、当該２つのピクチャの画質差を取得する
請求項５に記載の動画像符号化装置。
【請求項８】
それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化方法であって、
前記複数の動画像信号に含まれるピクチャを順次取得する取得ステップと、
前記取得ステップで取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化ステップとを含み、
前記符号化ステップでは、
前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、
前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、
前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する
動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、それぞれ視点の異なる動画像信号を符号化する動画像符号化装置および動画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声およびテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積および伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。【０００３】
このような動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。ここで、空間方向の冗長性削減を目的として参照画像を参照せずに画面内予測符号化が行われるピクチャをＩピクチャと呼ぶ。また、時間方向の冗長性削減を目的として、１枚のピクチャのみを参照して画面間予測符号化が行われるピクチャをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化が行われるピクチャをＢピクチャと呼ぶ。【０００４】
符号化対象の各ピクチャは、マクロブロック（ＭＢ）と呼ばれる符号化単位ブロックに分割される。また、動画像符号化装置は、分割したブロック毎に画面内予測または画面間予測を行って符号化を行う。具体的には、動画像符号化装置は、ＭＢ単位で予測によって生成した予測画像と符号化対象とする入力画像との差分値を算出し、得られた差分値画像に対して離散コサイン変換等の直交変換を行い、変換後の各変換係数値を量子化する。これにより情報量が圧縮される。【０００５】
Ｈ．２６４には、その拡張規格としてＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｅｉｎｇ）と呼ばれる符号化方式がある。これは、複数の視点から撮影した動画像の符号化方法である。具体的には、同じ時間に同じ対象を撮影した複数視点の画像は、お互いに相関が高いという性質を利用し、符号化対象ピクチャの属する視点の画像だけでなく別の視点の画像も参照して画面間予測を行うことで、符号化効率の向上を可能としている。例えば、ＢＤＡ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ  Ａｓｓｏｃｉａｔｉｏｎ）によって策定されているＢＤのフォーマット規定では、２視点の３Ｄ映像の標準フォーマットとしてこのＭＶＣが採用されている。【０００６】
図１１は、ＭＶＣにおけるピクチャの構造および、各ピクチャの参照関係の例を示している。【０００７】
図１１に示すように、ＭＶＣにおいては少なくとも、基本ビュー（Ｂａｓｅ  ｖｉｅｗ）と呼ばれるストリームと、依存ビュー（Ｄｅｐｅｎｄａｎｔ  Ｖｉｅｗ）と呼ばれるストリームとから構成される。【０００８】
基本ビューに属する各ピクチャは、基本ビューの過去に符号化したピクチャのみを参照する。つまり基本ビューは、基本ビューに属する符号化信号のみで符号化および復号化を行うことが可能となる。【０００９】
それに対して、依存ビューに属する各ピクチャは、同じビューの過去に符号化したピクチャの参照（時間方向参照）および基本ビューの対応するピクチャの参照（ビュー間参照）の２種類の参照を行っている。例えば、依存ビューのピクチャＰ１０は、基本ビューのピクチャＩ００を参照している。また、依存ビューのピクチャＰ１１は、依存ビューのピクチャＰ１０と基本ビューのピクチャＰ０１とを参照している。これにより、基本ビューの符号化よりも参照できるピクチャの種類が広がり、より高効率な符号化が可能となる。なお、依存ビューは、非基本ビュー（Ｎｏｎ−ｂａｓｅ  ｖｉｅｗ）と呼ばれることもある。【００１０】
また、ＧＯＰ境界直後の先頭ピクチャであるピクチャＩ０５およびピクチャＰ１５は、アンカーピクチャと呼ばれる。アンカーピクチャは、表示順でアンカーピクチャ以降の全ピクチャが、アンカーピクチャよりも過去のピクチャを参照することなく符号化および復号化を行うことを特徴としている。これにより、復号化時にストリームの途中から再生を行った場合に、アンカーピクチャよりも前の符号化信号がなくてもアンカーピクチャ以降の画像の再生が可能となるランダムアクセス対応を実現している（例えば、特許文献１を参照）。【００１１】
上述のように、アンカーピクチャでは、過去の符号化済みピクチャを参照する時間方向参照を使用できない。このため、基本ビューでは、アンカーピクチャをＩピクチャとして画面内予測のみで符号化する。それに対して、依存ビューでは、同様にＩピクチャとして符号化するか、もしくはＰピクチャとしてビュー間参照のみを用いて符号化する。しかしながら、ＢＤのフォーマット規定では依存ビューでＩピクチャを使用することが禁止されているため、依存ビューのアンカーピクチャは、ビュー間参照を用いるＰピクチャとして符号化しなければならない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−１５９１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
依存ビューは、ビュー間参照を行うことで、より高効率な符号化を可能としている。しかしながら、依存ビューの各ピクチャを復号化するためには、基本ビューのピクチャのうち、依存関係のある全てのピクチャを復号化しなくてはならない。そのため、特に編集などを行う際の処理が非常に複雑になる。それを回避するためには、ビュー間参照を用いずに符号化することが必要となる。【００１４】
しかしながら、ＢＤのフォーマット規定では、依存ビューのアンカーピクチャをＩピクチャとして符号化することができない。その結果、図１２にあるように、アンカーピクチャだけはビュー間参照を行わざるをえず、基本ビューへの依存関係を完全に断ち切ることができない。【００１５】
本発明は上記課題を解決するものであり、Ｉピクチャを使用しなくても基本ビューに依存することなく復号化を可能とする依存ビューの符号化ストリームを生成することを可能とする動画像符号化装置および動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の一形態に係る動画像符号化装置は、それぞれ視点の異なる複数の動画像信号を符号化する。具体的には、動画像符号化装置は、前記複数の動画像信号に含まれるピクチャを順次取得する取得部と、前記取得部で取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化部とを備える。前記符号化部は、前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。【００１７】
このようにすれば、動画像符号化装置は、ＢＤのフォーマット規格を満たしながら、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することが可能となる。【００１８】
一例として、前記符号化部は、前記第１動画像信号を、ＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格のＢａｓｅ  Ｖｉｅｗとして符号化し、前記第２動画像信号を、ＭＶＣ規格のＮｏｎ−Ｂａｓｅ  Ｖｉｅｗとして符号化してもよい。【００１９】
さらに、前記符号化部は、前記第２動画像信号に含まれるピクチャを、前記第１動画像信号の当該ピクチャに対応するピクチャを参照するビュー方向の画面間予測を用いて符号化することができてもよい。さらに、前記動画像符号化装置は、前記第２動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力する第１の符号化条件と、ビュー方向の画面間予測を用いて符号化してＰピクチャのフォーマットで出力する第２の符号化条件とを相互に切り替える符号化条件設定部を備えてもよい。そして、前記符号化部は、前記符号化条件設定部で設定された符号化条件に応じて符号化を行ってもよい。【００２０】
このように、第２動画像信号を第１動画像信号に依存させるか否かを切り替えることにより、第２動画像信号の独立性（依存させない場合）と、第２動画像信号の符号化効率（依存させる場合）とを適応的に切り替えることができる。【００２１】
前記第１の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件であってもよい。前記第２の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件であってもよい。【００２２】
このように、第２動画像信号の全てのピクチャを第１動画像信号に依存させないようにしてもよい。但し、早送りや早巻き戻し等を行う場合にアンカーピクチャのみを復号化する場合が考えられるので、アンカーピクチャのみの依存関係を断ち切るだけでも、一定の効果は期待できる。【００２３】
また、前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画質差を取得し、取得した画質差が所定の閾値以上の場合に、前記第１の符号化条件に切り替えてもよい。【００２４】
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。【００２５】
一例として、前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画素値を比較することによって、当該２つのピクチャの画質差を取得してもよい。【００２６】
他の例として、前記取得部は、さらに、前記第１動画像信号を撮影した際の撮影条件と、前記第２動画像信号を撮影した際の撮影条件とを取得してもよい。そして、前記符号化条件設定部は、前記第１及び第２動画像信号の撮影条件を比較することによって、当該２つのピクチャの画質差を取得してもよい。【００２７】
本発明の一形態に係る動画像符号化方法は、それぞれ視点の異なる複数の動画像信号を符号化する方法である。具体的には、動画像符号化方法は、前記複数の動画像信号に含まれるピクチャを順次取得する取得ステップと、前記取得ステップで取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化ステップとを含む。前記符号化ステップでは、前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。【００２８】
なお、本発明は、動画像符号化装置及び動画像符号化方法として実現することができるだけでなく、このような動画像符号化装置に含まれる各構成要素と同等の処理を集積回路として実現してもよいし、動画像符号化方法の各ステップをコンピュータに実行させるプログラムとして実現することもできる。
【発明の効果】
【００２９】
以上より、本発明は、複数の視点における動画像信号をＢＤのフォーマットに従って符号化した場合であっても、復号化時に基本ビューを必要としないストリームとして依存ビューを生成することができる。
【図面の簡単な説明】
【００３０】
【図１】図１は、実施の形態１に係る動画像符号化装置のブロック図である。
【図２】図２は、実施の形態１に係るピクチャ符号化処理のフローチャートである。
【図３】図３は、実施の形態１に係る依存ビューのアンカーピクチャにおける各ＭＢの符号化モードを示す概念図である。
【図４Ａ】図４Ａは、Ｉピクチャのシンタックスの構成を示す図である。
【図４Ｂ】図４Ｂは、Ｐピクチャのシンタックスの構成を示す図である。
【図５】図５は、実施の形態１に係る基本ビューと依存ビューとの参照構造を示す図である。
【図６】図６は、実施の形態２に係る動画像符号化装置のブロック図である。
【図７】図７は、実施の形態２に係るピクチャ符号化処理のフローチャートである。
【図８】図８は、実施の形態２に係るピクチャ符号化処理のフローチャートである。
【図９】図９は、画質差がある異なる視点の画像を参照して符号化した場合の画質劣化を説明するための図である。
【図１０】図１０は、動画像符号化装置のブロック図の変形例である。
【図１１】図１１は、基本ビューと依存ビューとの従来の参照構造の一例を示す図である。
【図１２】図１２は、基本ビューと依存ビューとの従来の参照構造の別の一例を示す図である。
【発明を実施するための形態】
【００３１】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。
【００３２】
図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。
【００３３】
図１に示す動画像符号化装置１００は、基本ビューの入力画像と依存ビューの入力画像との２つの入力画像に対して符号化処理を行い、それぞれのビューに対応した符号列を生成する。
【００３４】
この動画像符号化装置１００は、ピクチャメモリ１０１−１と、ピクチャメモリ１０１−２と、符号化部１０とを備える。さらに、符号化部１０は、予測残差符号化部１０２−１と、予測残差符号化部１０２−２と、予測残差復号化部１０３−１と、予測残差復号化部１０３−２と、ローカルバッファ１０４−１と、ローカルバッファ１０４−２と、予測符号化部１０５−１と、予測符号化部１０５−２と、符号列生成部１０６−１と、符号列生成部１０６−２と、差分演算部１０７−１と、差分演算部１０７−２と、加算演算部１０８−１と、加算演算部１０８−２とを備えている。
【００３５】
なお、予測残差符号化部１０２−１と、予測残差復号化部１０３−１と、ローカルバッファ１０４−１と、予測符号化部１０５−１と、符号列生成部１０６−１と、差分演算部１０７−１と、加算演算部１０８−１とは、ピクチャメモリ１０１−１に蓄積される基本ビューのピクチャを符号化する第１の符号化部１１を構成する。また、予測残差符号化部１０２−２と、予測残差復号化部１０３−２と、ローカルバッファ１０４−２と、予測符号化部１０５−２と、符号列生成部１０６−２と、差分演算部１０７−２と、加算演算部１０８−２とは、ピクチャメモリ１０１−２に蓄積される依存ビューのピクチャを符号化する第２の符号化部１２を構成する。
【００３６】
ピクチャメモリ１０１−１、１０１−２は、ピクチャ単位で入力される基本ビューの入力画像信号１５１−１および依存ビューの入力画像信号１５１−２を、表示を行う順（若しくは、撮影順）から符号化を行う順に並び替えを行った後に蓄積する。そして、ピクチャメモリ１０１−１、１０１−２は、差分演算部１０７−１、１０７−２および予測符号化部１０５−１、１０５−２からの読出し命令を受け付けると、当該読出し命令に係る画像信号を出力する。
【００３７】
このとき、各々のピクチャは、マクロブロック（ＭＢ）と呼ばれる例えば水平１６画素×垂直１６画素のブロックに分割され、ＭＢ単位で以降の処理が行われる。なお、上記では、水平１６画素×垂直１６画素のブロックに分割して出力する構成を説明したが、水平８画素×垂直８画素のブロックなど、符号化規格に準拠するブロックサイズであればどのようなものを利用しても構わない。
【００３８】
予測残差符号化部１０２−１、１０２−２は、差分演算部１０７−１、１０７−２から出力される差分画像信号１５２−１、１５２−２に対して直交変換を行い、さらに得られた各周波数成分の直交変換係数に対して量子化を行うことで画像情報の圧縮を行う。そして、予測残差符号化部１０２−１、１０２−２は、圧縮して得られる情報（典型的には、量子化係数）である残差符号化信号１５３−１、１５３−２を、予測残差復号化部１０３−１、１０３−２および符号列生成部１０６−１、１０６−２にそれぞれ出力する。
【００３９】
予測残差復号化部１０３−１、１０３−２は、予測残差符号化部１０２−１、１０２−２から出力される残差符号化信号１５３−１、１５３−２に対して、逆量子化および逆直交変換することで画像情報の復元を行い、残差復号化信号１５５−１、１５５−２をそれぞれ生成する。そして、予測残差復号化部１０３−１、１０３−２は、生成した残差復号化信号１５５−１、１５５−２を、加算演算部１０８−１、１０８−２にそれぞれ出力する。
【００４０】
ローカルバッファ１０４−１、１０４−２は、現在符号化対象となっているＭＢ以降のＭＢの符号化において参照画像として使用するため、加算演算部１０８−１、１０８−２から出力される再構成画像信号１５６−１、１５６−２を格納する。
【００４１】
予測符号化部１０５−１、１０５−２は、ピクチャメモリ１０１−１、１０１−２からそれぞれ出力される入力画像信号１５１−１、１５１−２を基に、画面内予測または時間方向の画面間予測を用いて予測画像信号１５７−１、１５７−２を生成する。そして、予測符号化部１０５−１、１０５−２は、生成した予測画像信号１５７−１、１５７−２を、差分演算部１０７−１、１０７−２ならびに加算演算部１０８−１、１０８−２に出力する。
【００４２】
なお、予測符号化部１０５−１、１０５−２は、時間方向の画面間予測を用いる場合、ローカルバッファ１０４−１、１０４−２に蓄積される既に符号化済みの過去のピクチャの再構成画像信号１５６−１、１５６−２を用いる。また、予測符号化部１０５−１、１０５−２は、画面内予測を用いる場合、符号化対象ＭＢに隣接する既に符号化済みのＭＢの現在のピクチャの再構成画像信号１５６−１、１５６−２を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。
【００４３】
なお、本実施の形態における予測符号化部１０５−１、１０５−２では、符号化対象ピクチャがアンカーピクチャであるか否かによって、画面内予測のみを使用するか、画面内予測及び時間方向の画面間予測の両方を使用可能とするかが予め定められている。具体的には、予測符号化部１０５−１、１０５−２は、符号化対象ピクチャがアンカーピクチャである場合に画面内予測のみを使用し、符号化対象ピクチャがアンカーピクチャ以外のピクチャである場合に画面内予測及び時間方向の画面間予測の両方を使用可能とする。
【００４４】
符号列生成部１０６−１、１０６−２は、予測残差符号化部１０２−１、１０２−２から出力される残差符号化信号１５３−１、１５３−２と、その他の符号化に関する情報とを可変長符号化することで、符号列１５４−１、１５４−２を生成する。
【００４５】
なお、符号列生成部１０６−１は、画面内予測のみを用いて符号化された基本ビューのアンカーピクチャを、Ｉピクチャのフォーマットの符号列１５４−１として出力する。一方、符号列生成部１０６−２は、画面内予測のみを用いて符号化された依存ビューのアンカーピクチャを、Ｐピクチャのフォーマットの符号列１５４−２として出力する。さらに、符号列生成部１０６−１、１０６−２は、基本ビュー及び依存ビューのアンカーピクチャ以外のピクチャを、ピクチャタイプに従ったフォーマットの符号列１５４−１、１５４−２として出力する。
【００４６】
差分演算部１０７−１、１０７−２は、ピクチャメモリ１０１−１、１０１−２から読み出された入力画像信号１５１−１、１５１−２と、予測符号化部１０５−１、１０５−２から出力される予測画像信号１５７−１、１５７−２との差分値である差分画像信号１５２−１、１５２−２を生成し、予測残差符号化部１０２−１、１０２−２にそれぞれ出力する。
【００４７】
加算演算部１０８−１、１０８−２は、予測誤差復号化部１０３−１、１０３−２から出力される残差復号化信号１５５−１、１５５−２と、予測符号化部１０５−１、１０５−２から出力される予測画像信号１５７−１、１５７−２とを加算することにより、再構成画像信号１５６−１、１５６−２をそれぞれ生成する。そして、加算演算部１０８−１、１０８−２は、生成した再構成画像信号１５６−１、１５６−２を、ローカルバッファ１０４−１、１０４−２にそれぞれ出力する。
【００４８】
上記構成のように、基本ビューのアンカーピクチャをＩピクチャのフォーマットの符号列１５４−１として出力し、依存ビューのアンカーピクチャをＰピクチャのフォーマットの符号列１５４−２として出力する点を除いて、第１及び第２の符号化部１１、１２の各構成要素の動作は、共通する。
【００４９】
すなわち、上記構成の動画像符号化装置１００は、１ストリームを符号化する従来の動画像符号化装置を２系統設け、且つ予測符号化部１０５−１、１０５−２及び符号列生成部１０６−１、１０６−２の処理を少し変更するだけで実現することができる。これにより、新規に回路を設計する必要がないので、低コストで動画像符号化装置１００を得ることができる。
【００５０】
図２は、動画像符号化装置１００の第２の符号化部１２の符号化処理のフローチャートである。なお、第１の符号化部１１の動作は、基本ビューのアンカーピクチャがＩピクチャのフォーマットで出力される（Ｓ１０５）点を除いて共通するので、説明は省略する。
【００５１】
まず、予測符号化部１０５−２は、ピクチャメモリ１０１−２から符号化対象ピクチャを取得する（Ｓ１０１）。また、予測符号化部１０５−２は、外部装置（典型的には、動画像符号化装置１００を含む上位装置）から符号化情報を取得する（Ｓ１０２）。ステップＳ１０２で取得される符号化情報には、例えば、符号化対象ピクチャのピクチャタイプ（Ｉピクチャ／Ｐピクチャ／Ｂピクチャ）と、符号化対象ピクチャがアンカーピクチャか否かを示す情報とが含まれる。なお、典型的には、依存ビューのアンカーピクチャのピクチャタイプはＰピクチャであり、依存ビューのアンカーピクチャ以外のピクチャのピクチャタイプはＰピクチャ又はＢピクチャである。
【００５２】
次に、予測符号化部１０５−２は、符号化対象ピクチャが依存ビューのアンカーピクチャであるかどうかを判定する（Ｓ１０３）。なお、アンカーピクチャとは、図１１にあるように、ＧＯＰ境界直後の先頭ピクチャである。このアンカーピクチャは、表示順でそれ以降の全ピクチャがアンカーピクチャよりも過去のピクチャを参照することなく、符号化および復号化を行うことを特徴とするピクチャである。
【００５３】
ステップＳ１０３でＹＥＳと判定された場合、予測符号化部１０５−２は、符号化対象ピクチャの全てのマクロブロックの予測モードをイントラモード（画面内予測モード）に固定する（Ｓ１０４）。そして、第２の符号化部１２（予測符号化部１０５−２、差分演算部１０７−２、予測残差符号化部１０２−２、符号列生成部１０６−２）は、符号化対象ピクチャ（依存ビューのアンカーピクチャ）の全てのマクロブロックを、画面内予測のみを用いて符号化し、Ｐピクチャのフォーマットで出力する（Ｓ１０５）。
【００５４】
一方、ステップＳ１０３でＮＯと判定された場合、第２の符号化部１２（予測符号化部１０５−２、差分演算部１０７−２、予測残差符号化部１０２−２、符号列生成部１０６−２）は、符号化対象ピクチャの全てのマクロブロックを、画面内予測又は時間方向の画面間予測を用いて符号化し、ステップＳ１０２で取得したピクチャタイプに従ったフォーマットで出力する（Ｓ１０６）。
【００５５】
図３は、常に画面内予測が選択されたときの符号化対象ピクチャの全ＭＢの符号化モードを示している。依存ビューのアンカーピクチャの符号化モードには常に画面内予測が選択されるため、図３に示されるように、全てのＭＢが画面内予測（ＩｎｔｒａＭＢ）であるＰピクチャとして符号化されている。
【００５６】
図４Ａは、Ｉピクチャのシンタックスの構成を示している。図４Ｂは、Ｐピクチャのシンタックスの構成を示している。各ピクチャは、スライスと呼ばれる１つ以上のＭＢで構成される領域に分割され、スライス毎にヘッダ情報を持つ。すなわち、ＩピクチャにはＩピクチャ用の符号化情報を記述したＩ＿Ｓｌｉｃｅ＿Ｈｅａｄｅｒ（）が付加され、ＰピクチャにはＰピクチャ用の符号化情報を記述したＰ＿Ｓｌｉｃｅ＿Ｈｅａｄｅｒ（）が付加される。
【００５７】
次に、各スライスに属するＭＢの個数分だけＭＢの符号化情報が記述される。ＭＢ＿Ｔｙｐｅは、ＭＢの予測モードを示す情報である。Ｉピクチャでは０から２５の値を取り、いずれも画面内予測モードを示す値である。すなわち、常にＩｎｔｒａ＿Ｐｒｅｄｅ＿ｉｎｆｏ（）によって画面内予測のための予測情報が符号化される。
【００５８】
一方、Ｐピクチャでは０から３０の値を取り、０〜４が画面間予測モードを示す値、５〜３０が画面内予測モードを示す値となっている。すなわち、０〜４のときは、Ｉｎｔｅｒ＿Ｐｒｅｄ＿ｉｎｆｏ（）によって画面間予測のための予測情報が符号化され、５〜３０のときは、Ｉｎｔｒａ＿Ｐｒｅｄ＿ｉｎｆｏ（）によって画面内予測のための予測情報が符号化される。
【００５９】
図３を用いて説明したピクチャは、全てのＭＢが画面内予測（ＩｎｔｒａＭＢ）であるＰピクチャであるため、シンタックスは図４Ｂで示したＰピクチャのものと全く同じ構成であり、且つＭＢ＿Ｔｙｐｅが常に５から３０の値をとる。すなわち、Ｉｎｔｒａ＿Ｐｒｅｄ＿ｉｎｆｏ（）のみが符号化されることになる。
【００６０】
図５は、図１２で説明した参照構造による符号化を行った際に、上記処理を用いることによって生成される符号化信号の参照関係を示している。図５では、依存ビューのアンカーピクチャであるピクチャＰ１０およびピクチャＰ１５が、全ＭＢをＩｎｔｒａＭＢとして符号化されている。このため、アンカーピクチャを含めた全てのピクチャでビュー間参照を行うことなく符号化されている。
【００６１】
これにより、ＢＤのフォーマット規定に準拠した符号化方式であっても、依存ビューの全ピクチャにおいて基本ビューに全く依存することなく符号化および復号化することを実現できる。その結果、依存ビューの画像信号と基本ビューの画像信号とを完全に独立して扱うことが可能となる。特に編集等の作業において依存ビューのデータの操作を行う際に、基本ビューのストリームを用いなくても依存ビューのストリームのみで画像の復号化ができるため、編集等の作業の大幅な効率改善が可能となる。
【００６２】
（まとめ）
本実施の形態における動画像符号化装置１００は、それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置１００であって、複数の動画像信号を取得するピクチャメモリ１０１−１、１０１−２と、複数の動画像信号を符号化する符号化部１０とを備える。符号化部１０は、複数の動画像信号のうち第１動画像信号に含まれるピクチャを第１動画像信号に含まれる情報のみ利用可能な符号化条件（画面内予測、又は時間方向の画面間予測）を用いて符号化し、複数の動画像信号のうち第２動画像信号に含まれるピクチャのうち、当該ピクチャがランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャを画面内予測のみを使用するＰピクチャを用いて符号化し、当該ＧＯＰ先頭のアンカーピクチャ以外のピクチャを第２動画像信号に含まれる情報のみ利用可能な符号化条件を用いて符号化する。
【００６３】
また、本実施の形態における動画像符号化装置１００は、それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置１００であって、複数の動画像信号を取得するピクチャメモリ１０１−１、１０１−２と、複数の動画像信号をＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格を用いて符号化する符号化部１０とを備える。符号化部１０は、複数の動画像信号のうち第１動画像信号をＢａｓｅ  Ｖｉｅｗとして符号化し、複数の動画像信号のうち第２動画像信号をＮｏｎ−Ｂａｓｅ  Ｖｉｅｗとして符号化するとともに、符号化対象のピクチャがランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャである場合、画面内予測のみを使用するＰピクチャを用いて符号化する。
【００６４】
このようにすれば、動画像符号化装置１００は、ＢＤのフォーマット規格を満たしながら、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することが可能となる。
【００６５】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。
【００６６】
図６は、実施の形態２に係る動画像符号化装置２００のブロック図である。なお、実施の形態１との共通点の詳しい説明は省略し、相違点を中心に説明する。図６に示される動画像符号化装置２００は、符号化条件設定部１０９をさらに備える点、及び第２の符号化部１２の予測符号化部１０５−２が第１の符号化部１１のローカルバッファ１０４−１に蓄積されているピクチャを参照することができる点で、図１に示される動画像符号化装置１００と相違する。
【００６７】
符号化条件設定部１０９は、依存ビューの現在符号化対象としているピクチャの全ＭＢの予測方法を強制的に画面内予測のみに限定するかどうかを、予測符号化部１０５−２に指示する。具体的には、予測方法を画面内予測に限定することを示す強制画面内予測指示信号１５８が符号化条件設定部１０９によって生成され、予測符号化部１０５−２に入力される。そして、予測符号化部１０５−２では、強制画面内予測指示信号１５８を取得するか否かに応じて符号化対象ＭＢの予測モードを決定する。
【００６８】
また、実施の形態２に係る予測符号化部１０５−２は、画面間予測を行うための参照方法として、同じビューの過去に符号化したピクチャの参照（時間方向参照）に加えて、基本ビューの対応するピクチャの参照（ビュー間参照）の２種類の参照を行うことが可能である。つまり、予測符号化部１０５−２は、ローカルバッファ１０４−２に蓄積される再構成画像信号１５６−２だけでなく、ローカルバッファ１０４−１に蓄積される再構成画像信号１５６−１をも参照に使用して予測符号化を行うことができる。なお、「対応するピクチャ」とは、基本ビュー及び依存ビューの同時刻に撮影された（又は表示される）２つのピクチャを指す。
【００６９】
図７は、実施の形態２に係る動画像符号化装置２００において、符号化条件設定部１０９によって予測モードを制御する処理に関するフローチャートである。
【００７０】
まず、ステップＳ１０１及びステップＳ１０２を実行した後（図２と共通するので、説明は省略）、符号化条件設定部１０９は、対象とする動画像の符号化処理において、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたかどうかを判定する（Ｓ２０１）。ステップＳ２０１でＹＥＳと判定された場合（すなわち、基本ビューと依存ビューとの依存関係をなくす場合）、図２のステップＳ１０３〜ステップＳ１０５の処理を実行する。
【００７１】
すなわち、符号化条件設定部１０９は、符号化対象ピクチャが依存ビューのアンカーピクチャであるかどうかを判定する（Ｓ１０３）。さらに、ステップＳ１０３でＹＥＳと判定された場合、符号化条件設定部１０９は、予測符号化部１０５−２におけるモード判定処理において常に画面内予測（ＩｎｔｒａＭＢ）が選択されるように、強制画面内予測指示信号１５８の値を設定する（Ｓ１０４）。
【００７２】
予測符号化部１０５−２では、強制画面内予測指示信号１５８の指示に従ってモード判定処理を行う。すなわち、予測符号化部１０５−２は、符号化対象ピクチャ（依存ビューのアンカーピクチャ）の全てのマクロブロックを画面内予測のみを用いて符号化し、Ｐピクチャのフォーマットの符号列１５４−２として出力する（Ｓ１０５）。
【００７３】
一方、ステップＳ２０１もしくはステップＳ１０３でＮＯと判定された場合、符号化条件設定部１０９は、強制画面内予測指示信号１５８の値の設定は行わない。そして、予測符号化部１０５−２は、符号化対象ピクチャのモード判定処理において、画面内予測および画面間予測の双方を選択可能とする。すなわち、第２の符号化部１２は、符号化対象ピクチャがアンカーピクチャの場合に画面内予測又は時間方向の画面間予測のみを用いて符号化し、符号化対象ピクチャがアンカーピクチャ以外の場合に画面内予測又は時間方向の画面間予測又はビュー方向の画面間予測を用いて符号化し、ステップＳ１０２で取得したピクチャタイプに従ったフォーマットで出力する（Ｓ１０６）。
【００７４】
これにより、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたときのみ、依存ビューの全ピクチャにおいて基本ビューに全く依存することなく符号化および復号化することが可能となる。逆に、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されなかった場合は、従来通り依存ビューが基本ビューを参照して符号化することにより符号化効率が向上し、画質を劣化させることなく発生符号量を抑制したストリームを生成することが可能となる。
【００７５】
次に、動画像符号化装置２００における符号化条件設定部１０９によって予測モードを制御する処理の別の方法について、図８に示したフローチャートを用いて説明する。
【００７６】
図８の処理では、ステップＳ１０１及びステップＳ１０２を実行した後（図２と共通するので、説明は省略）、符号化条件設定部１０９は、基本ビューと依存ビューとの２つの入力画像の画質差が閾値以上かどうかを判定する（Ｓ３０１）。ステップＳ３０１でＹＥＳと判定された場合はステップＳ１０３〜ステップＳ１０５の処理に入り、ＮＯと判定された場合はＳ１０６の処理に入る。これらの処理に関しては、図７で説明した内容と全く同様である。
【００７７】
なお、画質差は、例えば、基本ビュー及び依存ビューの対応する２枚のピクチャの画素値を用いて取得することができる。例えば、入力された２枚のピクチャの輝度値の平均値の差を、画質差として用いることができる。また、入力された２枚のピクチャの色差値の平均値の差でも良いし、入力された２枚のピクチャの画素値の分散の差でも良いし、入力された２枚のピクチャの周波数変換したときの周波数成分の発生傾向の差でも良い。
【００７８】
また、画質差は、基本ビューと依存ビューとの２つの入力画像を撮影した撮影情報から取得することもできる。すなわち、第１及び第２の符号化部１１、１２は、符号化対象ピクチャと共に、当該符号化対象ピクチャを撮影した際の撮影条件を取得し、対応する２枚のピクチャの撮影情報の特性差（＝画質差）が閾値以上かどうかを判定してもよい。ここでの撮影情報としては、例えば、ズーム位置の値、シャッター速度、露出値、ホワイトバランス値、フォーカス位置、ゲイン値、カメラの傾きなどが考えられる。
【００７９】
撮影情報の特性差を用いて画質差を判断することにより、対応するピクチャの画素値から画質差を生成する処理が不要となり、判定処理に必要となる処理量を削減することが可能となる。また、撮影情報の特性差を用いて画質差を判断することにより、画素値から生成される画質差に基づいて判定する場合に比べて、判定精度が飛躍的に向上する。
【００８０】
図９では、基本ビューと依存ビューとの２つの入力画像の画質差による符号化画像への影響を示している。図９の例では、依存ビューのアンカーピクチャを符号化するために、基本ビューのアンカーピクチャを参照している。ここで、基本ビューと依存ビューとの２つのアンカーピクチャの間の画質差が大きいと、図９の符号化結果にあるように、ビュー方向の画面間参照したＭＢと、画面内参照（又は時間方向の画面間参照）したＭＢとで予測画像の性質が大きく異なってしまい、画質劣化の原因となってしまう。
【００８１】
そこで、図８の処理により、このような画質劣化が発生する可能性がある入力画像に対しては、依存ビューが基本ビューを参照することなく符号化することが可能となる。その結果、依存ビューの符号化画像の高画質化を実現することができる。
【００８２】
また、動画像符号化装置２００は、使用者からの操作（指示）を受け付ける受付部を備え、当該受け付けた操作に応じて、図４、図７または図８に示す符号化を実行するか否かを切り替える構成にしても構わない。
【００８３】
（まとめ）
本実施の形態における動画像符号化装置２００は、使用者の操作を受け付ける受付部をさらに備える。符号化部１０は、受け付けた操作に応じて、第２動画像信号に含まれる符号化対象のピクチャがランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャを、画面内予測のみを利用するＰピクチャを用いて符号化するか、第１動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なＰピクチャとして符号化するかを切り替える。
【００８４】
このようにすれば、使用者が意図した場合にのみ、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することができる。
【００８５】
また好ましくは、符号化部１０は、ＧＯＰ先頭のアンカーピクチャと、第１動画像信号に含まれるピクチャであって当該ＧＯＰ先頭のアンカーピクチャと略同一の時刻情報を有するピクチャとの画質差に応じて、当該ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化するか、第１動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なＰピクチャとして符号化するかを切り替える。
【００８６】
また好ましくは、符号化部１０は、画質差が大きい場合に、ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化する。
【００８７】
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
【００８８】
また好ましくは、符号化部１０は、第１動画像信号を撮影した際の撮影条件と、第２動画像信号を撮影した際の撮影条件との相違に基づいて、ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化するか、第１動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なＰピクチャとして符号化するかを切り替える。
【００８９】
また好ましくは、符号化部１０は、画質の相違が大きい場合、ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化する。
【００９０】
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
【００９１】
次に、図１０を参照して、図６に示される動画像符号化装置２００の他の例を説明する図である。まず、図１０に示される動画像符号化装置３００は、取得部３１０と、符号化部３２０と、符号化条件設定部３３０とを備える。なお、取得部３１０は図６のピクチャメモリ１０１−１、１０１−２に、符号化部３２０は図６の第１及び第２の符号化部１１、１２に、符号化条件設定部３３０は図６の符号化条件設定部１０９に、それぞれ対応する。但し、これらの対応関係は一例であって、これには限定されない。
【００９２】
取得部３１０は、複数の動画像信号に含まれるピクチャを順次取得する。具体的には、取得部３１０は、ＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格のＢａｓｅ  Ｖｉｅｗである第１動画像信号に含まれる各ピクチャと、ＭＶＣ規格のＮｏｎ−Ｂａｓｅ  Ｖｉｅｗである第２動画像信号に含まれる各ピクチャとを、順次取得する。さらに、取得部３１０は、第１動画像信号を撮影した際の撮影条件と、第２動画像信号を撮影した際の撮影条件とを取得してもよい。
【００９３】
符号化部３２０は、取得部３１０で取得されたピクチャを、画面内予測、時間方向の画面間予測、及びビュー方向の画面間予測を用いて符号化する。画面内予測とは、符号化対象ピクチャ内の既に符号化されたブロックを参照する予測モードである。時間方向の画面間予測とは、符号化対象ピクチャと同一ビューに属し、且つ既に符号化されたピクチャを参照する予測モードである。ビュー方向の画面間予測とは、符号化対象ピクチャと異なるビューに属し、且つ符号化対象ピクチャに対応するピクチャを参照する予測モードである。
【００９４】
符号化部３２０は、後述する符号化条件設定部３３０で決定された符号化条件に従って、符号化対象ピクチャを符号化する。符号化条件設定部３３０は、取得部３１０から取得した情報に基づいて符号化条件を決定し、符号化部３２０に通知する。
【００９５】
第１の符号化条件は、第２動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件である。
【００９６】
また、第２の符号化条件は、第２動画像信号に含まれるアンカーピクチャを、画面内予測及びビュー方向の画面間予測を用いて符号化してＰピクチャのフォーマットで出力し、第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件である。
【００９７】
符号化条件設定部３３０は、第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画質差を取得する。そして、符号化条件設定部３３０は、取得した画質差が所定の閾値以上の場合に第１の符号化条件に決定し、取得した画質差が所定の閾値未満の場合に第２の符号化条件に決定してもよい。
【００９８】
符号化条件設定部３３０は、例えば、第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画素値を比較することによって、当該２つのピクチャの画質差を取得してもよい。または、符号化条件設定部３３０は、取得部３１０によって取得される第１及び第２動画像信号の撮影条件を比較することによって、当該２つのピクチャの画質差を取得する。
【００９９】
符号化条件設定部３３０は、例えば、対象とする動画像の符号化処理において、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたかどうかを判定する。そして、符号化条件設定部３３０は、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示された場合に第１の符号化条件に決定し、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されなかった場合に第２の符号化条件に決定してもよい。
【０１００】
また、図１０に示される動画像符号化装置１００は、図１の動画像符号化装置１００にも適用することができる。例えば、取得部３１０は図１のピクチャメモリ１０１−１、１０１−２に、符号化部３２０は図１の第１及び第２の符号化部１１、１２にそれぞれ対応し、符号化条件設定部３３０の機能は図１の第１及び第２の符号化部１１、１２に含まれる。
【０１０１】
符号化部３２０は、第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力する。また、符号化部３２０は、第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力する。さらに、符号化部３２０は、第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。
【０１０２】
図１０の構成によれば、図１及び図６に示される動画像符号化装置１００、２００のように２系統の符号化部を設けなくとも、基本ビュー及び依存ビューの符号化を実現することができる。
【０１０３】
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１０４】
また、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１０５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１０６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１０７】
また、本発明は、上述した動画像符号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
【０１０８】
また、上記実施の形態に係る、動画像符号化装置、およびその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０１０９】
本発明は、複数視点から撮影された画像を入力とする動画像符号化装置に適用でき、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、およびパーソナルコンピューターに有用である。
【符号の説明】
【０１１０】
１００，２００，３００  動画像符号化装置
１０，３２０  符号化部
１１  第１の符号化部
１２  第２の符号化部
１０１−１，１０１−２  ピクチャメモリ
１０２−１，１０２−２  予測残差符号化部
１０３−１，１０３−２  予測残差復号化部
１０４−１，１０４−２  ローカルバッファ
１０５−１，１０５−２  予測符号化部
１０６−１，１０６−２  符号列生成部
１０７−１，１０７−２  差分演算部
１０８−１，１０８−２  加算演算部
１０９，３３０  符号化条件設定部
１５１−１，１５１−２  入力画像信号
１５２−１，１５２−２  差分画像信号
１５３−１，１５３−２  残差符号化信号
１５４−１，１５４−２  符号列
１５５−１，１５５−２  残差復号化信号
１５６−１，１５６−２  再構成画像信号
１５７−１，１５７−２  予測画像信号
１５８  強制画面内予測指示信号
３１０  取得部
【図１】
2012098890.tif 000003
【図２】
2012098890.tif 000004
【図３】
2012098890.tif 000005
【図４Ａ】
2012098890.tif 000006
【図４Ｂ】
2012098890.tif 000007
【図５】
2012098890.tif 000008
【図６】
2012098890.tif 000009
【図７】
2012098890.tif 000010
【図８】
2012098890.tif 000011
【図９】
2012098890.tif 000012
【図１０】
2012098890.tif 000013
【図１１】
2012098890.tif 000014
【図１２】
2012098890.tif 000015
【手続補正書】
【提出日】平成24年5月23日(2012.5.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、それぞれ視点の異なる動画像信号を符号化する動画像符号化装置および動画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声およびテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積および伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。
【０００３】
このような動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。ここで、空間方向の冗長性削減を目的として参照画像を参照せずに画面内予測符号化が行われるピクチャをＩピクチャと呼ぶ。また、時間方向の冗長性削減を目的として、１枚のピクチャのみを参照して画面間予測符号化が行われるピクチャをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化が行われるピクチャをＢピクチャと呼ぶ。
【０００４】
符号化対象の各ピクチャは、マクロブロック（ＭＢ）と呼ばれる符号化単位ブロックに分割される。また、動画像符号化装置は、分割したブロック毎に画面内予測または画面間予測を行って符号化を行う。具体的には、動画像符号化装置は、ＭＢ単位で予測によって生成した予測画像と符号化対象とする入力画像との差分値を算出し、得られた差分値画像に対して離散コサイン変換等の直交変換を行い、変換後の各変換係数値を量子化する。これにより情報量が圧縮される。
【０００５】
Ｈ．２６４には、その拡張規格としてＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｅｉｎｇ）と呼ばれる符号化方式がある。これは、複数の視点から撮影した動画像の符号化方法である。具体的には、同じ時間に同じ対象を撮影した複数視点の画像は、お互いに相関が高いという性質を利用し、符号化対象ピクチャの属する視点の画像だけでなく別の視点の画像も参照して画面間予測を行うことで、符号化効率の向上を可能としている。例えば、ＢＤＡ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ  Ａｓｓｏｃｉａｔｉｏｎ）によって策定されているＢＤのフォーマット規定では、２視点の３Ｄ映像の標準フォーマットとしてこのＭＶＣが採用されている。
【０００６】
図１１は、ＭＶＣにおけるピクチャの構造および、各ピクチャの参照関係の例を示している。
【０００７】
図１１に示すように、ＭＶＣにおいては少なくとも、基本ビュー（Ｂａｓｅ  ｖｉｅｗ）と呼ばれるストリームと、依存ビュー（Ｄｅｐｅｎｄａｎｔ  Ｖｉｅｗ）と呼ばれるストリームとから構成される。
【０００８】
基本ビューに属する各ピクチャは、基本ビューの過去に符号化したピクチャのみを参照する。つまり基本ビューは、基本ビューに属する符号化信号のみで符号化および復号化を行うことが可能となる。
【０００９】
それに対して、依存ビューに属する各ピクチャは、同じビューの過去に符号化したピクチャの参照（時間方向参照）および基本ビューの対応するピクチャの参照（ビュー間参照）の２種類の参照を行っている。例えば、依存ビューのピクチャＰ１０は、基本ビューのピクチャＩ００を参照している。また、依存ビューのピクチャＰ１１は、依存ビューのピクチャＰ１０と基本ビューのピクチャＰ０１とを参照している。これにより、基本ビューの符号化よりも参照できるピクチャの種類が広がり、より高効率な符号化が可能となる。なお、依存ビューは、非基本ビュー（Ｎｏｎ−ｂａｓｅ  ｖｉｅｗ）と呼ばれることもある。
【００１０】
また、ＧＯＰ境界直後の先頭ピクチャであるピクチャＩ０５およびピクチャＰ１５は、アンカーピクチャと呼ばれる。アンカーピクチャは、表示順でアンカーピクチャ以降の全ピクチャが、アンカーピクチャよりも過去のピクチャを参照することなく符号化および復号化を行うことを特徴としている。これにより、復号化時にストリームの途中から再生を行った場合に、アンカーピクチャよりも前の符号化信号がなくてもアンカーピクチャ以降の画像の再生が可能となるランダムアクセス対応を実現している（例えば、特許文献１を参照）。
【００１１】
上述のように、アンカーピクチャでは、過去の符号化済みピクチャを参照する時間方向参照を使用できない。このため、基本ビューでは、アンカーピクチャをＩピクチャとして画面内予測のみで符号化する。それに対して、依存ビューでは、同様にＩピクチャとして符号化するか、もしくはＰピクチャとしてビュー間参照のみを用いて符号化する。しかしながら、ＢＤのフォーマット規定では依存ビューでＩピクチャを使用することが禁止されているため、依存ビューのアンカーピクチャは、ビュー間参照を用いるＰピクチャとして符号化しなければならない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−１５９１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
依存ビューは、ビュー間参照を行うことで、より高効率な符号化を可能としている。しかしながら、依存ビューの各ピクチャを復号化するためには、基本ビューのピクチャのうち、依存関係のある全てのピクチャを復号化しなくてはならない。そのため、特に編集などを行う際の処理が非常に複雑になる。それを回避するためには、ビュー間参照を用いずに符号化することが必要となる。
【００１４】
しかしながら、ＢＤのフォーマット規定では、依存ビューのアンカーピクチャをＩピクチャとして符号化することができない。その結果、図１２にあるように、アンカーピクチャだけはビュー間参照を行わざるをえず、基本ビューへの依存関係を完全に断ち切ることができない。
【００１５】
本発明は上記課題を解決するものであり、Ｉピクチャを使用しなくても基本ビューに依存することなく復号化を可能とする依存ビューの符号化ストリームを生成することを可能とする動画像符号化装置および動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の一形態に係る動画像符号化装置は、それぞれ視点の異なる複数の動画像信号を符号化する。具体的には、動画像符号化装置は、前記複数の動画像信号に含まれるピクチャを順次取得する取得部と、前記取得部で取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化部とを備える。前記符号化部は、前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。
【００１７】
このようにすれば、動画像符号化装置は、ＢＤのフォーマット規格を満たしながら、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することが可能となる。
【００１８】
一例として、前記符号化部は、前記第１動画像信号を、ＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格のＢａｓｅ  Ｖｉｅｗとして符号化し、前記第２動画像信号を、ＭＶＣ規格のＮｏｎ−Ｂａｓｅ  Ｖｉｅｗとして符号化してもよい。
【００１９】
さらに、前記符号化部は、前記第２動画像信号に含まれるピクチャを、前記第１動画像信号の当該ピクチャに対応するピクチャを参照するビュー方向の画面間予測を用いて符号化することができてもよい。さらに、前記動画像符号化装置は、前記第２動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力する第１の符号化条件と、ビュー方向の画面間予測を用いて符号化してＰピクチャのフォーマットで出力する第２の符号化条件とを相互に切り替える符号化条件設定部を備えてもよい。そして、前記符号化部は、前記符号化条件設定部で設定された符号化条件に応じて符号化を行ってもよい。
【００２０】
このように、第２動画像信号を第１動画像信号に依存させるか否かを切り替えることにより、第２動画像信号の独立性（依存させない場合）と、第２動画像信号の符号化効率（依存させる場合）とを適応的に切り替えることができる。
【００２１】
前記第１の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件であってもよい。前記第２の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件であってもよい。
【００２２】
このように、第２動画像信号の全てのピクチャを第１動画像信号に依存させないようにしてもよい。但し、早送りや早巻き戻し等を行う場合にアンカーピクチャのみを復号化する場合が考えられるので、アンカーピクチャのみの依存関係を断ち切るだけでも、一定の効果は期待できる。
【００２３】
また、前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画質差を取得し、取得した画質差が所定の閾値以上の場合に、前記第１の符号化条件に切り替えてもよい。
【００２４】
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
【００２５】
一例として、前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画素値を比較することによって、当該２つのピクチャの画質差を取得してもよい。
【００２６】
他の例として、前記取得部は、さらに、前記第１動画像信号を撮影した際の撮影条件と、前記第２動画像信号を撮影した際の撮影条件とを取得してもよい。そして、前記符号化条件設定部は、前記第１及び第２動画像信号の撮影条件を比較することによって、当該２つのピクチャの画質差を取得してもよい。
【００２７】
本発明の一形態に係る動画像符号化方法は、それぞれ視点の異なる複数の動画像信号を符号化する方法である。具体的には、動画像符号化方法は、前記複数の動画像信号に含まれるピクチャを順次取得する取得ステップと、前記取得ステップで取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化ステップとを含む。前記符号化ステップでは、前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。
【００２８】
なお、本発明は、動画像符号化装置及び動画像符号化方法として実現することができるだけでなく、このような動画像符号化装置に含まれる各構成要素と同等の処理を集積回路として実現してもよいし、動画像符号化方法の各ステップをコンピュータに実行させるプログラムとして実現することもできる。
【発明の効果】
【００２９】
以上より、本発明は、複数の視点における動画像信号をＢＤのフォーマットに従って符号化した場合であっても、復号化時に基本ビューを必要としないストリームとして依存ビューを生成することができる。
【図面の簡単な説明】
【００３０】
【図１】図１は、実施の形態１に係る動画像符号化装置のブロック図である。
【図２】図２は、実施の形態１に係るピクチャ符号化処理のフローチャートである。
【図３】図３は、実施の形態１に係る依存ビューのアンカーピクチャにおける各ＭＢの符号化モードを示す概念図である。
【図４Ａ】図４Ａは、Ｉピクチャのシンタックスの構成を示す図である。
【図４Ｂ】図４Ｂは、Ｐピクチャのシンタックスの構成を示す図である。
【図５】図５は、実施の形態１に係る基本ビューと依存ビューとの参照構造を示す図である。
【図６】図６は、実施の形態２に係る動画像符号化装置のブロック図である。
【図７】図７は、実施の形態２に係るピクチャ符号化処理のフローチャートである。
【図８】図８は、実施の形態２に係るピクチャ符号化処理のフローチャートである。
【図９】図９は、画質差がある異なる視点の画像を参照して符号化した場合の画質劣化を説明するための図である。
【図１０】図１０は、動画像符号化装置のブロック図の変形例である。
【図１１】図１１は、基本ビューと依存ビューとの従来の参照構造の一例を示す図である。
【図１２】図１２は、基本ビューと依存ビューとの従来の参照構造の別の一例を示す図である。
【発明を実施するための形態】
【００３１】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。
【００３２】
図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。
【００３３】
図１に示す動画像符号化装置１００は、基本ビューの入力画像と依存ビューの入力画像との２つの入力画像に対して符号化処理を行い、それぞれのビューに対応した符号列を生成する。
【００３４】
この動画像符号化装置１００は、ピクチャメモリ１０１−１と、ピクチャメモリ１０１−２と、符号化部１０とを備える。さらに、符号化部１０は、予測残差符号化部１０２−１と、予測残差符号化部１０２−２と、予測残差復号化部１０３−１と、予測残差復号化部１０３−２と、ローカルバッファ１０４−１と、ローカルバッファ１０４−２と、予測符号化部１０５−１と、予測符号化部１０５−２と、符号列生成部１０６−１と、符号列生成部１０６−２と、差分演算部１０７−１と、差分演算部１０７−２と、加算演算部１０８−１と、加算演算部１０８−２とを備えている。
【００３５】
なお、予測残差符号化部１０２−１と、予測残差復号化部１０３−１と、ローカルバッファ１０４−１と、予測符号化部１０５−１と、符号列生成部１０６−１と、差分演算部１０７−１と、加算演算部１０８−１とは、ピクチャメモリ１０１−１に蓄積される基本ビューのピクチャを符号化する第１の符号化部１１を構成する。また、予測残差符号化部１０２−２と、予測残差復号化部１０３−２と、ローカルバッファ１０４−２と、予測符号化部１０５−２と、符号列生成部１０６−２と、差分演算部１０７−２と、加算演算部１０８−２とは、ピクチャメモリ１０１−２に蓄積される依存ビューのピクチャを符号化する第２の符号化部１２を構成する。
【００３６】
ピクチャメモリ１０１−１、１０１−２は、ピクチャ単位で入力される基本ビューの入力画像信号１５１−１および依存ビューの入力画像信号１５１−２を、表示を行う順（若しくは、撮影順）から符号化を行う順に並び替えを行った後に蓄積する。そして、ピクチャメモリ１０１−１、１０１−２は、差分演算部１０７−１、１０７−２および予測符号化部１０５−１、１０５−２からの読出し命令を受け付けると、当該読出し命令に係る画像信号を出力する。
【００３７】
このとき、各々のピクチャは、マクロブロック（ＭＢ）と呼ばれる例えば水平１６画素×垂直１６画素のブロックに分割され、ＭＢ単位で以降の処理が行われる。なお、上記では、水平１６画素×垂直１６画素のブロックに分割して出力する構成を説明したが、水平８画素×垂直８画素のブロックなど、符号化規格に準拠するブロックサイズであればどのようなものを利用しても構わない。
【００３８】
予測残差符号化部１０２−１、１０２−２は、差分演算部１０７−１、１０７−２から出力される差分画像信号１５２−１、１５２−２に対して直交変換を行い、さらに得られた各周波数成分の直交変換係数に対して量子化を行うことで画像情報の圧縮を行う。そして、予測残差符号化部１０２−１、１０２−２は、圧縮して得られる情報（典型的には、量子化係数）である残差符号化信号１５３−１、１５３−２を、予測残差復号化部１０３−１、１０３−２および符号列生成部１０６−１、１０６−２にそれぞれ出力する。
【００３９】
予測残差復号化部１０３−１、１０３−２は、予測残差符号化部１０２−１、１０２−２から出力される残差符号化信号１５３−１、１５３−２に対して、逆量子化および逆直交変換することで画像情報の復元を行い、残差復号化信号１５５−１、１５５−２をそれぞれ生成する。そして、予測残差復号化部１０３−１、１０３−２は、生成した残差復号化信号１５５−１、１５５−２を、加算演算部１０８−１、１０８−２にそれぞれ出力する。
【００４０】
ローカルバッファ１０４−１、１０４−２は、現在符号化対象となっているＭＢ以降のＭＢの符号化において参照画像として使用するため、加算演算部１０８−１、１０８−２から出力される再構成画像信号１５６−１、１５６−２を格納する。
【００４１】
予測符号化部１０５−１、１０５−２は、ピクチャメモリ１０１−１、１０１−２からそれぞれ出力される入力画像信号１５１−１、１５１−２を基に、画面内予測または時間方向の画面間予測を用いて予測画像信号１５７−１、１５７−２を生成する。そして、予測符号化部１０５−１、１０５−２は、生成した予測画像信号１５７−１、１５７−２を、差分演算部１０７−１、１０７−２ならびに加算演算部１０８−１、１０８−２に出力する。
【００４２】
なお、予測符号化部１０５−１、１０５−２は、時間方向の画面間予測を用いる場合、ローカルバッファ１０４−１、１０４−２に蓄積される既に符号化済みの過去のピクチャの再構成画像信号１５６−１、１５６−２を用いる。また、予測符号化部１０５−１、１０５−２は、画面内予測を用いる場合、符号化対象ＭＢに隣接する既に符号化済みのＭＢの現在のピクチャの再構成画像信号１５６−１、１５６−２を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。
【００４３】
なお、本実施の形態における予測符号化部１０５−１、１０５−２では、符号化対象ピクチャがアンカーピクチャであるか否かによって、画面内予測のみを使用するか、画面内予測及び時間方向の画面間予測の両方を使用可能とするかが予め定められている。具体的には、予測符号化部１０５−１、１０５−２は、符号化対象ピクチャがアンカーピクチャである場合に画面内予測のみを使用し、符号化対象ピクチャがアンカーピクチャ以外のピクチャである場合に画面内予測及び時間方向の画面間予測の両方を使用可能とする。
【００４４】
符号列生成部１０６−１、１０６−２は、予測残差符号化部１０２−１、１０２−２から出力される残差符号化信号１５３−１、１５３−２と、その他の符号化に関する情報とを可変長符号化することで、符号列１５４−１、１５４−２を生成する。
【００４５】
なお、符号列生成部１０６−１は、画面内予測のみを用いて符号化された基本ビューのアンカーピクチャを、Ｉピクチャのフォーマットの符号列１５４−１として出力する。一方、符号列生成部１０６−２は、画面内予測のみを用いて符号化された依存ビューのアンカーピクチャを、Ｐピクチャのフォーマットの符号列１５４−２として出力する。さらに、符号列生成部１０６−１、１０６−２は、基本ビュー及び依存ビューのアンカーピクチャ以外のピクチャを、ピクチャタイプに従ったフォーマットの符号列１５４−１、１５４−２として出力する。
【００４６】
差分演算部１０７−１、１０７−２は、ピクチャメモリ１０１−１、１０１−２から読み出された入力画像信号１５１−１、１５１−２と、予測符号化部１０５−１、１０５−２から出力される予測画像信号１５７−１、１５７−２との差分値である差分画像信号１５２−１、１５２−２を生成し、予測残差符号化部１０２−１、１０２−２にそれぞれ出力する。
【００４７】
加算演算部１０８−１、１０８−２は、予測誤差復号化部１０３−１、１０３−２から出力される残差復号化信号１５５−１、１５５−２と、予測符号化部１０５−１、１０５−２から出力される予測画像信号１５７−１、１５７−２とを加算することにより、再構成画像信号１５６−１、１５６−２をそれぞれ生成する。そして、加算演算部１０８−１、１０８−２は、生成した再構成画像信号１５６−１、１５６−２を、ローカルバッファ１０４−１、１０４−２にそれぞれ出力する。
【００４８】
上記構成のように、基本ビューのアンカーピクチャをＩピクチャのフォーマットの符号列１５４−１として出力し、依存ビューのアンカーピクチャをＰピクチャのフォーマットの符号列１５４−２として出力する点を除いて、第１及び第２の符号化部１１、１２の各構成要素の動作は、共通する。
【００４９】
すなわち、上記構成の動画像符号化装置１００は、１ストリームを符号化する従来の動画像符号化装置を２系統設け、且つ予測符号化部１０５−１、１０５−２及び符号列生成部１０６−１、１０６−２の処理を少し変更するだけで実現することができる。これにより、新規に回路を設計する必要がないので、低コストで動画像符号化装置１００を得ることができる。
【００５０】
図２は、動画像符号化装置１００の第２の符号化部１２の符号化処理のフローチャートである。なお、第１の符号化部１１の動作は、基本ビューのアンカーピクチャがＩピクチャのフォーマットで出力される（Ｓ１０５）点を除いて共通するので、説明は省略する。
【００５１】
まず、予測符号化部１０５−２は、ピクチャメモリ１０１−２から符号化対象ピクチャを取得する（Ｓ１０１）。また、予測符号化部１０５−２は、外部装置（典型的には、動画像符号化装置１００を含む上位装置）から符号化情報を取得する（Ｓ１０２）。ステップＳ１０２で取得される符号化情報には、例えば、符号化対象ピクチャのピクチャタイプ（Ｉピクチャ／Ｐピクチャ／Ｂピクチャ）と、符号化対象ピクチャがアンカーピクチャか否かを示す情報とが含まれる。なお、典型的には、依存ビューのアンカーピクチャのピクチャタイプはＰピクチャであり、依存ビューのアンカーピクチャ以外のピクチャのピクチャタイプはＰピクチャ又はＢピクチャである。
【００５２】
次に、予測符号化部１０５−２は、符号化対象ピクチャが依存ビューのアンカーピクチャであるかどうかを判定する（Ｓ１０３）。なお、アンカーピクチャとは、図１１にあるように、ＧＯＰ境界直後の先頭ピクチャである。このアンカーピクチャは、表示順でそれ以降の全ピクチャがアンカーピクチャよりも過去のピクチャを参照することなく、符号化および復号化を行うことを特徴とするピクチャである。
【００５３】
ステップＳ１０３でＹＥＳと判定された場合、予測符号化部１０５−２は、符号化対象ピクチャの全てのマクロブロックの予測モードをイントラモード（画面内予測モード）に固定する（Ｓ１０４）。そして、第２の符号化部１２（予測符号化部１０５−２、差分演算部１０７−２、予測残差符号化部１０２−２、符号列生成部１０６−２）は、符号化対象ピクチャ（依存ビューのアンカーピクチャ）の全てのマクロブロックを、画面内予測のみを用いて符号化し、Ｐピクチャのフォーマットで出力する（Ｓ１０５）。
【００５４】
一方、ステップＳ１０３でＮＯと判定された場合、第２の符号化部１２（予測符号化部１０５−２、差分演算部１０７−２、予測残差符号化部１０２−２、符号列生成部１０６−２）は、符号化対象ピクチャの全てのマクロブロックを、画面内予測又は時間方向の画面間予測を用いて符号化し、ステップＳ１０２で取得したピクチャタイプに従ったフォーマットで出力する（Ｓ１０６）。
【００５５】
図３は、常に画面内予測が選択されたときの符号化対象ピクチャの全ＭＢの符号化モードを示している。依存ビューのアンカーピクチャの符号化モードには常に画面内予測が選択されるため、図３に示されるように、全てのＭＢが画面内予測（ＩｎｔｒａＭＢ）であるＰピクチャとして符号化されている。
【００５６】
図４Ａは、Ｉピクチャのシンタックスの構成を示している。図４Ｂは、Ｐピクチャのシンタックスの構成を示している。各ピクチャは、スライスと呼ばれる１つ以上のＭＢで構成される領域に分割され、スライス毎にヘッダ情報を持つ。すなわち、ＩピクチャにはＩピクチャ用の符号化情報を記述したＩ＿Ｓｌｉｃｅ＿Ｈｅａｄｅｒ（）が付加され、ＰピクチャにはＰピクチャ用の符号化情報を記述したＰ＿Ｓｌｉｃｅ＿Ｈｅａｄｅｒ（）が付加される。
【００５７】
次に、各スライスに属するＭＢの個数分だけＭＢの符号化情報が記述される。ＭＢ＿Ｔｙｐｅは、ＭＢの予測モードを示す情報である。Ｉピクチャでは０から２５の値を取り、いずれも画面内予測モードを示す値である。すなわち、常にＩｎｔｒａ＿Ｐｒｅｄｅ＿ｉｎｆｏ（）によって画面内予測のための予測情報が符号化される。
【００５８】
一方、Ｐピクチャでは０から３０の値を取り、０〜４が画面間予測モードを示す値、５〜３０が画面内予測モードを示す値となっている。すなわち、０〜４のときは、Ｉｎｔｅｒ＿Ｐｒｅｄ＿ｉｎｆｏ（）によって画面間予測のための予測情報が符号化され、５〜３０のときは、Ｉｎｔｒａ＿Ｐｒｅｄ＿ｉｎｆｏ（）によって画面内予測のための予測情報が符号化される。
【００５９】
図３を用いて説明したピクチャは、全てのＭＢが画面内予測（ＩｎｔｒａＭＢ）であるＰピクチャであるため、シンタックスは図４Ｂで示したＰピクチャのものと全く同じ構成であり、且つＭＢ＿Ｔｙｐｅが常に５から３０の値をとる。すなわち、Ｉｎｔｒａ＿Ｐｒｅｄ＿ｉｎｆｏ（）のみが符号化されることになる。
【００６０】
図５は、図１２で説明した参照構造による符号化を行った際に、上記処理を用いることによって生成される符号化信号の参照関係を示している。図５では、依存ビューのアンカーピクチャであるピクチャＰ１０およびピクチャＰ１５が、全ＭＢをＩｎｔｒａＭＢとして符号化されている。このため、アンカーピクチャを含めた全てのピクチャでビュー間参照を行うことなく符号化されている。
【００６１】
これにより、ＢＤのフォーマット規定に準拠した符号化方式であっても、依存ビューの全ピクチャにおいて基本ビューに全く依存することなく符号化および復号化することを実現できる。その結果、依存ビューの画像信号と基本ビューの画像信号とを完全に独立して扱うことが可能となる。特に編集等の作業において依存ビューのデータの操作を行う際に、基本ビューのストリームを用いなくても依存ビューのストリームのみで画像の復号化ができるため、編集等の作業の大幅な効率改善が可能となる。
【００６２】
（まとめ）
本実施の形態における動画像符号化装置１００は、それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置１００であって、複数の動画像信号を取得するピクチャメモリ１０１−１、１０１−２と、複数の動画像信号を符号化する符号化部１０とを備える。符号化部１０は、複数の動画像信号のうち第１動画像信号に含まれるピクチャを第１動画像信号に含まれる情報のみ利用可能な符号化条件（画面内予測、又は時間方向の画面間予測）を用いて符号化し、複数の動画像信号のうち第２動画像信号に含まれるピクチャのうち、当該ピクチャがランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャを画面内予測のみを使用するＰピクチャを用いて符号化し、当該ＧＯＰ先頭のアンカーピクチャ以外のピクチャを第２動画像信号に含まれる情報のみ利用可能な符号化条件を用いて符号化する。
【００６３】
また、本実施の形態における動画像符号化装置１００は、それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置１００であって、複数の動画像信号を取得するピクチャメモリ１０１−１、１０１−２と、複数の動画像信号をＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格を用いて符号化する符号化部１０とを備える。符号化部１０は、複数の動画像信号のうち第１動画像信号をＢａｓｅ  Ｖｉｅｗとして符号化し、複数の動画像信号のうち第２動画像信号をＮｏｎ−Ｂａｓｅ  Ｖｉｅｗとして符号化するとともに、符号化対象のピクチャがランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャである場合、画面内予測のみを使用するＰピクチャを用いて符号化する。
【００６４】
このようにすれば、動画像符号化装置１００は、ＢＤのフォーマット規格を満たしながら、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することが可能となる。
【００６５】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。
【００６６】
図６は、実施の形態２に係る動画像符号化装置２００のブロック図である。なお、実施の形態１との共通点の詳しい説明は省略し、相違点を中心に説明する。図６に示される動画像符号化装置２００は、符号化条件設定部１０９をさらに備える点、及び第２の符号化部１２の予測符号化部１０５−２が第１の符号化部１１のローカルバッファ１０４−１に蓄積されているピクチャを参照することができる点で、図１に示される動画像符号化装置１００と相違する。
【００６７】
符号化条件設定部１０９は、依存ビューの現在符号化対象としているピクチャの全ＭＢの予測方法を強制的に画面内予測のみに限定するかどうかを、予測符号化部１０５−２に指示する。具体的には、予測方法を画面内予測に限定することを示す強制画面内予測指示信号１５８が符号化条件設定部１０９によって生成され、予測符号化部１０５−２に入力される。そして、予測符号化部１０５−２では、強制画面内予測指示信号１５８を取得するか否かに応じて符号化対象ＭＢの予測モードを決定する。
【００６８】
また、実施の形態２に係る予測符号化部１０５−２は、画面間予測を行うための参照方法として、同じビューの過去に符号化したピクチャの参照（時間方向参照）に加えて、基本ビューの対応するピクチャの参照（ビュー間参照）の２種類の参照を行うことが可能である。つまり、予測符号化部１０５−２は、ローカルバッファ１０４−２に蓄積される再構成画像信号１５６−２だけでなく、ローカルバッファ１０４−１に蓄積される再構成画像信号１５６−１をも参照に使用して予測符号化を行うことができる。なお、「対応するピクチャ」とは、基本ビュー及び依存ビューの同時刻に撮影された（又は表示される）２つのピクチャを指す。
【００６９】
図７は、実施の形態２に係る動画像符号化装置２００において、符号化条件設定部１０９によって予測モードを制御する処理に関するフローチャートである。
【００７０】
まず、ステップＳ１０１及びステップＳ１０２を実行した後（図２と共通するので、説明は省略）、符号化条件設定部１０９は、対象とする動画像の符号化処理において、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたかどうかを判定する（Ｓ２０１）。ステップＳ２０１でＹＥＳと判定された場合（すなわち、基本ビューと依存ビューとの依存関係をなくす場合）、図２のステップＳ１０３〜ステップＳ１０５の処理を実行する。
【００７１】
すなわち、符号化条件設定部１０９は、符号化対象ピクチャが依存ビューのアンカーピクチャであるかどうかを判定する（Ｓ１０３）。さらに、ステップＳ１０３でＹＥＳと判定された場合、符号化条件設定部１０９は、予測符号化部１０５−２におけるモード判定処理において常に画面内予測（ＩｎｔｒａＭＢ）が選択されるように、強制画面内予測指示信号１５８の値を設定する（Ｓ１０４）。
【００７２】
予測符号化部１０５−２では、強制画面内予測指示信号１５８の指示に従ってモード判定処理を行う。すなわち、予測符号化部１０５−２は、符号化対象ピクチャ（依存ビューのアンカーピクチャ）の全てのマクロブロックを画面内予測のみを用いて符号化し、Ｐピクチャのフォーマットの符号列１５４−２として出力する（Ｓ１０５）。
【００７３】
一方、ステップＳ２０１もしくはステップＳ１０３でＮＯと判定された場合、符号化条件設定部１０９は、強制画面内予測指示信号１５８の値の設定は行わない。そして、予測符号化部１０５−２は、符号化対象ピクチャのモード判定処理において、画面内予測および画面間予測の双方を選択可能とする。すなわち、第２の符号化部１２は、符号化対象ピクチャがアンカーピクチャの場合に画面内予測又は時間方向の画面間予測のみを用いて符号化し、符号化対象ピクチャがアンカーピクチャ以外の場合に画面内予測又は時間方向の画面間予測又はビュー方向の画面間予測を用いて符号化し、ステップＳ１０２で取得したピクチャタイプに従ったフォーマットで出力する（Ｓ１０６）。
【００７４】
これにより、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたときのみ、依存ビューの全ピクチャにおいて基本ビューに全く依存することなく符号化および復号化することが可能となる。逆に、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されなかった場合は、従来通り依存ビューが基本ビューを参照して符号化することにより符号化効率が向上し、画質を劣化させることなく発生符号量を抑制したストリームを生成することが可能となる。
【００７５】
次に、動画像符号化装置２００における符号化条件設定部１０９によって予測モードを制御する処理の別の方法について、図８に示したフローチャートを用いて説明する。
【００７６】
図８の処理では、ステップＳ１０１及びステップＳ１０２を実行した後（図２と共通するので、説明は省略）、符号化条件設定部１０９は、基本ビューと依存ビューとの２つの入力画像の画質差が閾値以上かどうかを判定する（Ｓ３０１）。ステップＳ３０１でＹＥＳと判定された場合はステップＳ１０３〜ステップＳ１０５の処理に入り、ＮＯと判定された場合はＳ１０６の処理に入る。これらの処理に関しては、図７で説明した内容と全く同様である。
【００７７】
なお、画質差は、例えば、基本ビュー及び依存ビューの対応する２枚のピクチャの画素値を用いて取得することができる。例えば、入力された２枚のピクチャの輝度値の平均値の差を、画質差として用いることができる。また、入力された２枚のピクチャの色差値の平均値の差でも良いし、入力された２枚のピクチャの画素値の分散の差でも良いし、入力された２枚のピクチャの周波数変換したときの周波数成分の発生傾向の差でも良い。
【００７８】
また、画質差は、基本ビューと依存ビューとの２つの入力画像を撮影した撮影情報から取得することもできる。すなわち、第１及び第２の符号化部１１、１２は、符号化対象ピクチャと共に、当該符号化対象ピクチャを撮影した際の撮影条件を取得し、対応する２枚のピクチャの撮影情報の特性差（＝画質差）が閾値以上かどうかを判定してもよい。ここでの撮影情報としては、例えば、ズーム位置の値、シャッター速度、露出値、ホワイトバランス値、フォーカス位置、ゲイン値、カメラの傾きなどが考えられる。
【００７９】
撮影情報の特性差を用いて画質差を判断することにより、対応するピクチャの画素値から画質差を生成する処理が不要となり、判定処理に必要となる処理量を削減することが可能となる。また、撮影情報の特性差を用いて画質差を判断することにより、画素値から生成される画質差に基づいて判定する場合に比べて、判定精度が飛躍的に向上する。
【００８０】
図９では、基本ビューと依存ビューとの２つの入力画像の画質差による符号化画像への影響を示している。図９の例では、依存ビューのアンカーピクチャを符号化するために、基本ビューのアンカーピクチャを参照している。ここで、基本ビューと依存ビューとの２つのアンカーピクチャの間の画質差が大きいと、図９の符号化結果にあるように、ビュー方向の画面間参照したＭＢと、画面内参照（又は時間方向の画面間参照）したＭＢとで予測画像の性質が大きく異なってしまい、画質劣化の原因となってしまう。
【００８１】
そこで、図８の処理により、このような画質劣化が発生する可能性がある入力画像に対しては、依存ビューが基本ビューを参照することなく符号化することが可能となる。その結果、依存ビューの符号化画像の高画質化を実現することができる。
【００８２】
また、動画像符号化装置２００は、使用者からの操作（指示）を受け付ける受付部を備え、当該受け付けた操作に応じて、図４、図７または図８に示す符号化を実行するか否かを切り替える構成にしても構わない。
【００８３】
（まとめ）
本実施の形態における動画像符号化装置２００は、使用者の操作を受け付ける受付部をさらに備える。符号化部１０は、受け付けた操作に応じて、第２動画像信号に含まれる符号化対象のピクチャがランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャを、画面内予測のみを利用するＰピクチャを用いて符号化するか、第１動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なＰピクチャとして符号化するかを切り替える。
【００８４】
このようにすれば、使用者が意図した場合にのみ、復号時に基本ビューを必要としないストリームとして依存ビューを符号化することができる。
【００８５】
また好ましくは、符号化部１０は、ＧＯＰ先頭のアンカーピクチャと、第１動画像信号に含まれるピクチャであって当該ＧＯＰ先頭のアンカーピクチャと略同一の時刻情報を有するピクチャとの画質差に応じて、当該ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化するか、第１動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なＰピクチャとして符号化するかを切り替える。
【００８６】
また好ましくは、符号化部１０は、画質差が大きい場合に、ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化する。
【００８７】
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
【００８８】
また好ましくは、符号化部１０は、第１動画像信号を撮影した際の撮影条件と、第２動画像信号を撮影した際の撮影条件との相違に基づいて、ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化するか、第１動画像信号に含まれるピクチャであって当該アンカーピクチャに対応するピクチャを参照可能なＰピクチャとして符号化するかを切り替える。
【００８９】
また好ましくは、符号化部１０は、画質の相違が大きい場合、ＧＯＰ先頭のアンカーピクチャを画面内予測のみを利用するＰピクチャを用いて符号化する。
【００９０】
このようにすれば、依存ビューの符号化効率を向上させることが可能となる。
【００９１】
次に、図１０を参照して、図６に示される動画像符号化装置２００の他の例を説明する図である。まず、図１０に示される動画像符号化装置３００は、取得部３１０と、符号化部３２０と、符号化条件設定部３３０とを備える。なお、取得部３１０は図６のピクチャメモリ１０１−１、１０１−２に、符号化部３２０は図６の第１及び第２の符号化部１１、１２に、符号化条件設定部３３０は図６の符号化条件設定部１０９に、それぞれ対応する。但し、これらの対応関係は一例であって、これには限定されない。
【００９２】
取得部３１０は、複数の動画像信号に含まれるピクチャを順次取得する。具体的には、取得部３１０は、ＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格のＢａｓｅ  Ｖｉｅｗである第１動画像信号に含まれる各ピクチャと、ＭＶＣ規格のＮｏｎ−Ｂａｓｅ  Ｖｉｅｗである第２動画像信号に含まれる各ピクチャとを、順次取得する。さらに、取得部３１０は、第１動画像信号を撮影した際の撮影条件と、第２動画像信号を撮影した際の撮影条件とを取得してもよい。
【００９３】
符号化部３２０は、取得部３１０で取得されたピクチャを、画面内予測、時間方向の画面間予測、及びビュー方向の画面間予測を用いて符号化する。画面内予測とは、符号化対象ピクチャ内の既に符号化されたブロックを参照する予測モードである。時間方向の画面間予測とは、符号化対象ピクチャと同一ビューに属し、且つ既に符号化されたピクチャを参照する予測モードである。ビュー方向の画面間予測とは、符号化対象ピクチャと異なるビューに属し、且つ符号化対象ピクチャに対応するピクチャを参照する予測モードである。
【００９４】
符号化部３２０は、後述する符号化条件設定部３３０で決定された符号化条件に従って、符号化対象ピクチャを符号化する。符号化条件設定部３３０は、取得部３１０から取得した情報に基づいて符号化条件を決定し、符号化部３２０に通知する。
【００９５】
第１の符号化条件は、第２動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件である。
【００９６】
また、第２の符号化条件は、第２動画像信号に含まれるアンカーピクチャを、画面内予測及びビュー方向の画面間予測を用いて符号化してＰピクチャのフォーマットで出力し、第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件である。
【００９７】
符号化条件設定部３３０は、第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画質差を取得する。そして、符号化条件設定部３３０は、取得した画質差が所定の閾値以上の場合に第１の符号化条件に決定し、取得した画質差が所定の閾値未満の場合に第２の符号化条件に決定してもよい。
【００９８】
符号化条件設定部３３０は、例えば、第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画素値を比較することによって、当該２つのピクチャの画質差を取得してもよい。または、符号化条件設定部３３０は、取得部３１０によって取得される第１及び第２動画像信号の撮影条件を比較することによって、当該２つのピクチャの画質差を取得する。
【００９９】
符号化条件設定部３３０は、例えば、対象とする動画像の符号化処理において、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されたかどうかを判定する。そして、符号化条件設定部３３０は、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示された場合に第１の符号化条件に決定し、基本ビューと依存ビューとの依存関係がないように符号化するモードが指示されなかった場合に第２の符号化条件に決定してもよい。
【０１００】
また、図１０に示される動画像符号化装置１００は、図１の動画像符号化装置１００にも適用することができる。例えば、取得部３１０は図１のピクチャメモリ１０１−１、１０１−２に、符号化部３２０は図１の第１及び第２の符号化部１１、１２にそれぞれ対応し、符号化条件設定部３３０の機能は図１の第１及び第２の符号化部１１、１２に含まれる。
【０１０１】
符号化部３２０は、第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力する。また、符号化部３２０は、第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力する。さらに、符号化部３２０は、第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する。
【０１０２】
図１０の構成によれば、図１及び図６に示される動画像符号化装置１００、２００のように２系統の符号化部を設けなくとも、基本ビュー及び依存ビューの符号化を実現することができる。
【０１０３】
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１０４】
また、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１０５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１０６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１０７】
また、本発明は、上述した動画像符号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
【０１０８】
また、上記実施の形態に係る、動画像符号化装置、およびその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０１０９】
本発明は、複数視点から撮影された画像を入力とする動画像符号化装置に適用でき、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、およびパーソナルコンピューターに有用である。
【符号の説明】
【０１１０】
１００，２００，３００  動画像符号化装置
１０，３２０  符号化部
１１  第１の符号化部
１２  第２の符号化部
１０１−１，１０１−２  ピクチャメモリ
１０２−１，１０２−２  予測残差符号化部
１０３−１，１０３−２  予測残差復号化部
１０４−１，１０４−２  ローカルバッファ
１０５−１，１０５−２  予測符号化部
１０６−１，１０６−２  符号列生成部
１０７−１，１０７−２  差分演算部
１０８−１，１０８−２  加算演算部
１０９，３３０  符号化条件設定部
１５１−１，１５１−２  入力画像信号
１５２−１，１５２−２  差分画像信号
１５３−１，１５３−２  残差符号化信号
１５４−１，１５４−２  符号列
１５５−１，１５５−２  残差復号化信号
１５６−１，１５６−２  再構成画像信号
１５７−１，１５７−２  予測画像信号
１５８  強制画面内予測指示信号
３１０  取得部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化装置であって、
前記複数の動画像信号に含まれるピクチャを順次取得する取得部と、
前記取得部で取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化部とを備え、
前記符号化部は、
前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、
前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、
前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する
動画像符号化装置。
【請求項２】
前記符号化部は、
前記第１動画像信号を、ＭＶＣ（ｍｕｌｔｉ  ｖｉｅｗ  ｃｏｄｉｎｇ）規格のＢａｓｅ  Ｖｉｅｗとして符号化し、
前記第２動画像信号を、ＭＶＣ規格のＮｏｎ−Ｂａｓｅ  Ｖｉｅｗとして符号化する
請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化部は、さらに、前記第２動画像信号に含まれるピクチャを、前記第１動画像信号の当該ピクチャに対応するピクチャを参照するビュー方向の画面間予測を用いて符号化することができ、
前記動画像符号化装置は、さらに、前記第２動画像信号に含まれるアンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力する第１の符号化条件と、ビュー方向の画面間予測を用いて符号化してＰピクチャのフォーマットで出力する第２の符号化条件とを相互に切り替える符号化条件設定部を備え、
前記符号化部は、前記符号化条件設定部で設定された符号化条件に応じて符号化を行う
請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記第１の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測のうち、画面内予測及び時間方向の画面間予測のみを用いることができる符号化条件であり、
前記第２の符号化条件は、さらに、前記第２動画像信号に含まれるアンカーピクチャ以外のピクチャの符号化に、画面間予測、時間方向の画面間予測、及びビュー方向の画面間予測の全てを用いることができる符号化条件である
請求項３に記載の動画像符号化装置。
【請求項５】
前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画質差を取得し、取得した画質差が所定の閾値以上の場合に、前記第１の符号化条件に切り替える
請求項３又は４に記載の動画像符号化装置。
【請求項６】
前記符号化条件設定部は、前記第１及び第２動画像信号に含まれる略同一の時刻情報を有する２つのピクチャの画素値を比較することによって、当該２つのピクチャの画質差を取得する
請求項５に記載の動画像符号化装置。
【請求項７】
前記取得部は、さらに、前記第１動画像信号を撮影した際の撮影条件と、前記第２動画像信号を撮影した際の撮影条件とを取得し、
前記符号化条件設定部は、前記第１及び第２動画像信号の撮影条件を比較することによって、当該２つのピクチャの画質差を取得する
請求項５に記載の動画像符号化装置。
【請求項８】
それぞれ視点の異なる複数の動画像信号を符号化する動画像符号化方法であって、
前記複数の動画像信号に含まれるピクチャを順次取得する取得ステップと、
前記取得ステップで取得されたピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化する符号化ステップとを含み、
前記符号化ステップでは、
前記複数の動画像信号のうちの第１動画像信号に含まれるピクチャのうち、ランダムアクセスを可能とするＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）先頭のアンカーピクチャを、画面内予測のみを用いて符号化してＩピクチャのフォーマットで出力し、
前記複数の動画像信号のうちの第２動画像信号に含まれるピクチャのうちの前記アンカーピクチャを、画面内予測のみを用いて符号化してＰピクチャのフォーマットで出力し、
前記第１及び第２動画像信号に含まれるアンカーピクチャ以外のピクチャを、画面内予測又は時間方向の画面間予測を用いて符号化して出力する
動画像符号化方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2012098890.tif 000016
【図２】
2012098890.tif 000017
【図３】
2012098890.tif 000018
【図４Ａ】
2012098890.tif 000019
【図４Ｂ】
2012098890.tif 000020
【図５】
2012098890.tif 000021
【図６】
2012098890.tif 000022
【図７】
2012098890.tif 000023
【図８】
2012098890.tif 000024
【図９】
2012098890.tif 000025
【図１０】
2012098890.tif 000026
【図１１】
2012098890.tif 000027
【図１２】
2012098890.tif 000028
【国際調査報告】
2012098890.tif 000029
2012098890.tif 000030
2012098890.tif 000031
2012098890.tif 000032