(57)【要約】【課題】実装コストを抑制しつつ、パースの異なる複数の視点の映像の符号化効率を向上させる。【解決手段】動画像符号化装置１は、第１の符号化部１０、第２の符号化部２０、および視点間処理部３０を備える。第１の符号化部１０は、拡張視点の原画像ＳＩＧ１を符号化し、拡張視点のビットストリームＳＩＧ６として出力する。第２の符号化部２０は、基準視点の原画像ＳＩＧ２を符号化し、基準視点のビットストリームＳＩＧ７として出力する。視点間処理部３０は、基準視点と拡張視点との関係に応じて基準視点のローカル復号画像ＳＩＧ３を射影変換および照度補償して基準視点の変換後のローカル復号画像ＳＩＧ４を生成し、この基準視点の変換後のローカル復号画像ＳＩＧ４を、第１の符号化部１０がインター予測を行う際に参照画像として用いることができるようにする。【選択図】図２
2016127372.tif 000002
【特許請求の範囲】
【請求項１】
パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置であって、
前記複数の視点の動画像のそれぞれを、視点ごとに符号化する単視点符号化手段と、
前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を前記単視点符号化手段により符号化した際に得られた当該基準視点のローカル復号画像を、当該基準視点と当該拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像を生成する視点間処理手段と、
前記視点間処理手段により生成された前記基準視点の変換後のローカル復号画像を、前記拡張視点の動画像を前記単視点符号化手段により符号化する際の参照画像として利用可能にする参照画像リスト追加手段と、を備えることを特徴とする動画像符号化装置。
【請求項２】
前記視点間処理手段は、幾何変換の際に用いたパラメータを、前記符号化データを復号する動画像復号装置に送信することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記視点間処理手段は、前記基準視点の動画像を前記単視点符号化手段により符号化した際に得られた当該基準視点のローカル復号画像を、当該基準視点と前記拡張視点との関係に応じて幾何変換および照度補償して、当該基準視点の変換後のローカル復号画像を生成することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記視点間処理手段は、幾何変換の際に用いたパラメータと、照度補償の際に用いたパラメータとを、前記符号化データを復号する動画像復号装置に送信することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記視点間処理手段は、幾何変換として、射影変換と、三角形パッチ分割によるアフィン変換と、のいずれかを行うことを特徴とする請求項１から４のいずれかに記載の動画像符号化装置。
【請求項６】
前記参照画像リスト追加手段は、前記視点間処理手段により生成された前記基準視点の変換後のローカル復号画像を、前記拡張視点の動画像を前記単視点符号化手段により符号化する際の長期参照フレームとして利用可能にすることを特徴とする請求項１から５のいずれかに記載の動画像符号化装置。
【請求項７】
パースの異なる複数の視点の動画像を符号化して得られた符号化データを、復号する動画像復号装置であって、
前記符号化データを復号して、前記複数の視点のそれぞれの復号済み画像を生成するとともに、前記符号化データの生成時において幾何変換の際に用いられたパラメータを導出する単視点復号手段と、
前記複数の視点のうち、前記符号化データの生成時に基準視点であった視点を復号側基準視点とし、前記符号化データの生成時に拡張視点であった視点を復号側拡張視点とすると、前記単視点復号手段により生成された当該復号側基準視点の復号画像を、前記単視点復号手段により導出されたパラメータを用いて幾何変換して、当該復号側基準視点の変換後の復号画像を生成する視点間処理手段と、
前記視点間処理手段により生成された前記復号側基準視点の変換後の復号画像を、前記復号側拡張視点の符号化データを前記単視点復号手段により復号する際の参照画像として利用可能にする参照画像リスト追加手段と、を備えることを特徴とする動画像復号装置。
【請求項８】
前記単視点復号手段は、前記符号化データを復号して、前記符号化データの生成時において照度補償の際に用いられたパラメータも導出し、
前記視点間処理手段は、前記復号側基準視点の動画像を前記単視点復号手段により復号した際に得られた当該復号側基準視点の復号画像を、前記単視点復号手段により導出されたパラメータを用いて幾何変換および照度補償して、当該復号側基準視点の変換後の復号画像を生成することを特徴とする請求項７に記載の動画像復号装置。
【請求項９】
前記視点間処理手段は、幾何変換として、射影変換と、三角形パッチ分割によるアフィン変換と、のいずれかを行うことを特徴とする請求項７または８に記載の動画像復号装置。
【請求項１０】
前記参照画像リスト追加手段は、前記視点間処理手段により生成された前記復号側基準視点の変換後の復号画像を、前記復号側拡張視点の動画像を前記単視点復号手段により復号する際の長期参照フレームとして利用可能にすることを特徴とする請求項７から９のいずれかに記載の動画像復号装置。
【請求項１１】
パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置と、当該動画像符号化装置により生成された符号化データを復号する動画像復号装置と、を備える動画像処理システムであって、
前記動画像符号化装置は、
前記複数の視点の動画像のそれぞれを、視点ごとに符号化する単視点符号化手段と、
前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を前記単視点符号化手段により符号化した際に得られた当該基準視点のローカル復号画像を、当該基準視点と当該拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像を生成する符号化側視点間処理手段と、
前記符号化側視点間処理手段により生成された前記基準視点の変換後のローカル復号画像を、前記拡張視点の動画像を前記単視点符号化手段により符号化する際の参照画像として利用可能にする符号化側参照画像リスト追加手段と、を備え、
前記動画像復号装置は、
前記符号化データを復号して、前記複数の視点のそれぞれの復号済み画像を生成するとともに、前記動画像符号化装置において幾何変換の際に用いられたパラメータを導出する単視点復号手段と、
前記単視点復号手段により生成された前記基準視点の復号画像を、前記単視点復号手段により導出されたパラメータを用いて幾何変換して、当該基準視点の変換後の復号画像を生成する復号側視点間処理手段と、
前記復号側視点間処理手段により生成された前記基準視点の変換後の復号画像を、前記拡張視点の動画像を前記単視点復号手段により復号する際の参照画像として利用可能にする復号側参照画像リスト追加手段と、を備えることを特徴とする動画像処理システム。
【請求項１２】
単視点符号化手段、視点間処理手段、および参照画像リスト追加手段を備え、パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置における動画像復号方法であって、
前記単視点符号化手段が、前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を符号化する第１のステップと、
前記視点間処理手段が、前記基準視点の動画像を前記第１のステップにより符号化した際に得られた当該基準視点のローカル復号画像を、当該基準視点と前記拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像を生成する第２のステップと、
前記参照画像リスト追加手段が、前記第２のステップにより生成された前記基準視点の変換後のローカル復号画像を、参照画像として利用可能にする第３のステップと、
前記単視点符号化手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記拡張視点の動画像を符号化する第４のステップと、を備えることを特徴とする動画像符号化方法。
【請求項１３】
単視点復号手段、視点間処理手段、および参照画像リスト追加手段を備え、パースの異なる複数の視点の動画像を符号化して得られた符号化データを、復号する動画像復号装置における動画像復号方法であって、
前記単視点復号手段が、前記複数の視点のうち、前記符号化データの生成時に基準視点であった視点を復号側基準視点とし、前記符号化データの生成時に拡張視点であった視点を復号側拡張視点とすると、前記符号化データを復号して、当該復号側基準視点の復号済み画像を生成するとともに、前記符号化データの生成時において幾何変換の際に用いられたパラメータを導出する第１のステップと、
前記視点間処理手段が、前記第１のステップにより生成された前記復号側基準視点の復号画像を、前記第１のステップにより導出されたパラメータを用いて幾何変換して、当該復号側基準視点の変換後の復号画像を生成する第２のステップと、
前記参照画像リスト追加手段が、前記第２のステップにより生成された前記復号側基準視点の変換後の復号画像を、参照画像として利用可能にする第３のステップと、
前記単視点復号手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記復号側拡張視点の符号化データを復号する第４のステップと、を備えることを特徴とする動画像復号方法。
【請求項１４】
単視点符号化手段、視点間処理手段、および参照画像リスト追加手段を備え、パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記単視点符号化手段が、前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を符号化する第１のステップと、
前記視点間処理手段が、前記基準視点の動画像を前記第１のステップにより符号化した際に得られた当該基準視点のローカル復号画像を、当該基準視点と前記拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像を生成する第２のステップと、
前記参照画像リスト追加手段が、前記第２のステップにより生成された前記基準視点の変換後のローカル復号画像を、参照画像として利用可能にする第３のステップと、
前記単視点符号化手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記拡張視点の動画像を符号化する第４のステップと、をコンピュータに実行させるためのプログラム。
【請求項１５】
単視点復号手段、視点間処理手段、および参照画像リスト追加手段を備え、パースの異なる複数の視点の動画像を符号化して得られた符号化データを、復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記単視点復号手段が、前記複数の視点のうち、前記符号化データの生成時に基準視点であった視点を復号側基準視点とし、前記符号化データの生成時に拡張視点であった視点を復号側拡張視点とすると、前記符号化データを復号して、当該復号側基準視点の復号済み画像を生成するとともに、前記符号化データの生成時において幾何変換の際に用いられたパラメータを導出する第１のステップと、
前記視点間処理手段が、前記第１のステップにより生成された前記復号側基準視点の復号画像を、前記第１のステップにより導出されたパラメータを用いて幾何変換して、当該復号側基準視点の変換後の復号画像を生成する第２のステップと、
前記参照画像リスト追加手段が、前記第２のステップにより生成された前記復号側基準視点の変換後の復号画像を、参照画像として利用可能にする第３のステップと、
前記単視点復号手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記復号側拡張視点の符号化データを復号する第４のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、様々な視点からの映像の視聴を可能とする、フリーナビゲーションと呼ばれる映像表現方式が提案されている。ビデオゲームでは、フリーナビゲーションは既に一般的に利用されているが、近年、実写映像を素材映像としてフリーナビゲーションを実現する手法が検討されている。
【０００３】
実写映像を素材映像としてフリーナビゲーションを実現する場面として、例えばサッカーの試合の映像を視聴者に配信する場合が考えられる。この場合、サッカーフィールドを囲うように複数のカメラを固定して配置し、これら複数のカメラによりサッカーフィールド全体を撮影して、撮影した映像を素材映像として視聴者に配信する。これによれば、視聴したい視点を視聴者が適宜操作すると、操作された視点からの映像を、素材映像として配信された複数の映像から作成して、視聴者に提示することができる。
【０００４】
以上のように、実写映像を映像素材としてフリーナビゲーションを実現する場合には、パースの異なる複数の視点から撮影した複数の映像（多視点映像）を、素材映像として視聴者に配信する必要がある。このため、素材映像を効率的に圧縮することが好ましい。
【０００５】
そこで、ＨＥＶＣの拡張方式として、ＭＶ−ＨＥＶＣと呼ばれる多視点拡張方式が規格化されている（例えば、非特許文献１参照）。ＭＶ−ＨＥＶＣでは、パースの異なる複数の視点の映像を、相互に参照して、同時に符号化することが可能である。
【０００６】
ＭＶ−ＨＥＶＣにより２つの視点の映像を符号化および復号する場合について、以下に説明する。なお、以降では、２つの視点のうち、一方を基準視点と呼び、他方を拡張視点と呼ぶこととする。基準視点の映像については、ＨＥＶＣで従来と同様に符号化し、符号化された基準視点の映像については、ＨＥＶＣで従来と同様に復号する。一方、拡張視点の映像については、基準視点のローカル復号画像をインター予測の参照画像として用いて符号化し、符号化された拡張視点の映像については、基準視点の復号画像をインター予測の参照画像として用いて復号する。このため、基準視点の映像と拡張視点の映像とで相関が高い場合に、基準視点の画像を参照してインター予測を行うことで、フレーム内予測を行う場合と比べて高能率符号化を行うことができる。
【０００７】
図１０は、ＭＶ−ＨＥＶＣにより基準視点の映像および拡張視点の映像を符号化および復号する場合における、インター予測の参照画像として用いる画像を示す図である。画像Ｐ１、Ｐ２、Ｐ３、Ｐ４は、拡張視点におけるフレームごとの画像を示し、画像Ｐ５、Ｐ６、Ｐ７、Ｐ８は、基準視点におけるフレームごとの画像を示す。例えば、インター予測により基準視点の画像Ｐ６を求める場合には、基準視点の画像Ｐ５をインター予測の参照画像として用いる。また、インター予測により拡張視点の画像Ｐ３を求める場合には、拡張視点の画像Ｐ２だけでなく、基準視点の画像Ｐ７もインター予測の参照画像として用いる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ITU-T  H.265  High  Efficiency  Video  Coding.
【特許文献】
【０００９】
【特許文献１】特開２０１２−８０１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ここで、多視点映像には、視点ごとの動画像の間の相関が低いという特徴がある。しかし、非特許文献１に示されているＭＶ−ＨＥＶＣでは、上述のように、基準視点のローカル復号画像をインター予測の参照画像として用いて、拡張視点の映像を符号化し、基準視点の復号画像をインター予測の参照画像として用いて、符号化された拡張視点の映像を復号する。このため、非特許文献１に示されているＭＶ−ＨＥＶＣでは、参照画像として、相関の低い画像を用いることになってしまうので、符号化効率が低下してしまうおそれがある。
【００１１】
そこで、基準視点のローカル復号画像や基準視点の復号画像に対して、特許文献１に示されているような幾何変換を行って、その結果をインター予測の参照画像として用いることが考えられる。
【００１２】
しかし、特許文献１に示されている幾何変換は、ブロックごとに行われる。このため、特許文献１に示されている幾何変換を非特許文献１に示されているＭＶ−ＨＥＶＣに適用しようとすると、ビデオ符号化レイヤ以下やビデオ復号レイヤ以下の変更が必要になる。また、ブロックごとに幾何変換に必要なメモリが変動する可能性があるので、メモリアクセス粒度を考慮した帯域の必要量が増大するおそれもある。以上によれば、特許文献１に示されている幾何変換を非特許文献１に示されているＭＶ−ＨＥＶＣに適用しようとすると、実装コストが増大してしまう。
【００１３】
そこで、本発明は、上述の課題を鑑みてなされたものであり、実装コストを抑制しつつ、パースの異なる複数の視点の映像の符号化効率を向上させることを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）であって、前記複数の視点の動画像のそれぞれを、視点ごとに符号化する単視点符号化手段（例えば、図２の第１の符号化部１０および第２の符号化部２０に相当）と、前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を前記単視点符号化手段により符号化した際に得られた当該基準視点のローカル復号画像（例えば、図２の基準視点のローカル復号画像ＳＩＧ３に相当）を、当該基準視点と当該拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像（例えば、図２の基準視点の変換後のローカル復号画像ＳＩＧ４に相当）を生成する視点間処理手段（例えば、図２の視点間処理部３０に相当）と、前記視点間処理手段により生成された前記基準視点の変換後のローカル復号画像を、前記拡張視点の動画像を前記単視点符号化手段により符号化する際の参照画像として利用可能にする参照画像リスト追加手段（例えば、図２の視点間処理部３０に相当）と、を備えることを特徴とする動画像符号化装置を提案している。
【００１５】
この発明によれば、単視点符号化手段により、複数の視点の動画像のそれぞれを視点ごとに符号化することとした。また、視点間処理手段により、基準視点の動画像を単視点符号化手段により符号化した際に得られた基準視点のローカル復号画像を、基準視点と拡張視点との関係に応じて幾何変換して、基準視点の変換後のローカル復号画像を生成することとした。また、参照画像リスト追加手段により、視点間処理手段により生成された基準視点の変換後のローカル復号画像を、拡張視点の動画像を単視点符号化手段により符号化する際の参照画像として利用可能にすることとした。
【００１６】
このため、参照画像リストに別レイヤのフレームを追加することになり、非特許文献１に示されているＭＶ−ＨＥＶＣと同様のフレームワークを用いて動画像を符号化することができるので、ビデオ符号化レイヤ以下の変更が不要であるとともに、既存のＨＥＶＣコーデック設計を最大限に流用することができる。したがって、実装コストを抑制することができる。
【００１７】
また、基準視点のローカル復号画像を、基準視点と拡張視点との関係に応じて幾何変換して基準視点の変換後のローカル復号画像を生成し、この基準視点の変換後のローカル復号画像を用いて、拡張視点の動画像を符号化することができる。ここで、同一の被写体を撮影した多視点映像には、視点ごとの動画像を、幾何変換により相互に類似した動画像に変換可能であるという特徴がある。このため、基準視点と拡張視点との関係に応じた幾何変換により、参照画像として、類似した画像を用いることができるので、符号化性能を向上させることができる。
【００１８】
（２）  本発明は、（１）の動画像符号化装置について、前記視点間処理手段は、幾何変換の際に用いたパラメータ（例えば、後述の射影変換行列ｓの各要素に相当）を、前記符号化データを復号する動画像復号装置に送信することを特徴とする動画像符号化装置を提案している。
【００１９】
この発明によれば、（１）の動画像符号化装置において、視点間処理手段により、幾何変換の際に用いたパラメータを、動画像復号装置に送信することとした。このため、動画像復号装置は、符号化データを復号する際に、動画像符号化装置で用いられたパラメータを用いて幾何変換を行うことができる。
【００２０】
（３）  本発明は、（１）の動画像符号化装置について、前記視点間処理手段は、前記基準視点の動画像を前記単視点符号化手段により符号化した際に得られた当該基準視点のローカル復号画像を、当該基準視点と前記拡張視点との関係に応じて幾何変換および照度補償して、当該基準視点の変換後のローカル復号画像を生成することを特徴とする動画像符号化装置を提案している。
【００２１】
この発明によれば、（１）の動画像符号化装置において、視点間処理手段により、基準視点の動画像を単視点符号化手段により符号化した際に得られた基準視点のローカル復号画像を、基準視点と拡張視点との関係に応じて幾何変換および照度補償（Illumination  Compensation）して、基準視点の変換後のローカル復号画像を生成することとした。このため、基準視点と拡張視点とで照明条件といった撮影環境が異なっていることが原因で、基準視点の動画像と拡張視点の動画像とで照度が異なってしまっている場合でも、照度の差異を補償することができる。したがって、基準視点の動画像と拡張視点の動画像とで照度が異なる場合でも、基準視点と拡張視点との関係に応じた照度補償により、符号化性能を向上させることができる。
【００２２】
（４）  本発明は、（３）の動画像符号化装置について、前記視点間処理手段は、幾何変換の際に用いたパラメータ（例えば、後述の射影変換行列ｓの各要素に相当）と、照度補償の際に用いたパラメータ（例えば、後述の照度補償パラメータａ、ｂに相当）とを、前記符号化データを復号する動画像復号装置に送信することを特徴とする動画像符号化装置を提案している。
【００２３】
この発明によれば、（３）の動画像符号化装置において、視点間処理手段により、幾何変換の際に用いたパラメータと、照度補償の際に用いたパラメータとを、動画像復号装置に送信することとした。このため、動画像復号装置は、符号化データを復号する際に、動画像符号化装置で用いられた幾何変換のパラメータおよび照度補償のパラメータを用いて幾何変換および照度補償を行うことができる。
【００２４】
（５）  本発明は、（１）から（４）のいずれかの動画像符号化装置について、前記視点間処理手段は、幾何変換として、射影変換と、三角形パッチ分割によるアフィン変換と、のいずれかを行うことを特徴とする動画像符号化装置を提案している。
【００２５】
この発明によれば、（１）から（４）のいずれかの動画像符号化装置において、視点間処理手段により、幾何変換として、射影変換と、三角形パッチ分割によるアフィン変換と、のいずれかを行うことができる。
【００２６】
（６）  本発明は、（１）から（５）のいずれかの動画像符号化装置について、前記参照画像リスト追加手段は、前記視点間処理手段により生成された前記基準視点の変換後のローカル復号画像を、前記拡張視点の動画像を前記単視点符号化手段により符号化する際の長期参照フレームとして利用可能にすることを特徴とする動画像符号化装置を提案している。
【００２７】
この発明によれば、（１）から（５）のいずれかの動画像符号化装置において、参照画像リスト追加手段により、視点間処理手段により生成された基準視点の変換後のローカル復号画像を、拡張視点の動画像を単視点符号化手段により符号化する際の長期参照フレームとして利用可能にすることとした。このため、基準視点における動きベクトルの再計算が不要になるので、符号化処理量を削減することができる。
【００２８】
（７）  本発明は、パースの異なる複数の視点の動画像を符号化して得られた符号化データを、復号する動画像復号装置（例えば、図１の動画像復号装置１００に相当）であって、前記符号化データを復号して、前記複数の視点のそれぞれの復号済み画像（例えば、図５の拡張視点の復号済み画像ＳＩＧ１０３、および基準視点の復号済み画像ＳＩＧ１０１、ＳＩＧ１０４に相当）を生成するとともに、前記符号化データの生成時において幾何変換の際に用いられたパラメータ（例えば、後述の射影変換行列ｓの各要素に相当）を導出する単視点復号手段（例えば、図５の第１の復号部１１０および第２の復号部１２０に相当）と、前記複数の視点のうち、前記符号化データの生成時に基準視点であった視点を復号側基準視点とし、前記符号化データの生成時に拡張視点であった視点を復号側拡張視点とすると、前記単視点復号手段により生成された当該復号側基準視点の復号画像（例えば、図５の基準視点の復号済み画像ＳＩＧ１０１に相当）を、前記単視点復号手段により導出されたパラメータを用いて幾何変換して、当該復号側基準視点の変換後の復号画像（例えば、図５の基準視点の変換後の復号済み画像ＳＩＧ１０２に相当）を生成する視点間処理手段（例えば、図５の視点間処理部１３０に相当）と、前記視点間処理手段により生成された前記復号側基準視点の変換後の復号画像を、前記復号側拡張視点の符号化データを前記単視点復号手段により復号する際の参照画像として利用可能にする参照画像リスト追加手段（例えば、図５の視点間処理部１３０に相当）と、を備えることを特徴とする動画像復号装置を提案している。
【００２９】
この発明によれば、単視点復号手段により、符号化データを復号して、複数の視点のそれぞれの復号済み画像を生成するとともに、符号化データの生成時において幾何変換の際に用いられたパラメータを導出することとした。また、視点間処理手段により、単視点復号手段により生成された復号側基準視点の復号画像を、単視点復号手段により導出されたパラメータを用いて幾何変換して、復号側基準視点の変換後の復号画像を生成することとした。また、参照画像リスト追加手段により、視点間処理手段により生成された復号側基準視点の変換後の復号画像を、復号側拡張視点の符号化データを単視点復号手段により復号する際の参照画像として利用可能にすることとした。
【００３０】
このため、参照画像リストに別レイヤのフレームを追加することになり、非特許文献１に示されているＭＶ−ＨＥＶＣと同様のフレームワークを用いて符号化データを復号することができるので、ビデオ符号化レイヤ以下の変更が不要であるとともに、既存のＨＥＶＣコーデック設計を最大限に流用することができる。したがって、実装コストを抑制することができる。
【００３１】
また、復号側基準視点の復号済み画像を、復号側基準視点と復号側拡張視点との関係に応じて幾何変換して復号側基準視点の変換後の復号済み画像を生成し、この復号側基準視点の変換後の復号済み画像を用いて、復号側拡張視点の符号化データを復号することができる。ここで、同一の被写体を撮影した多視点映像には、視点ごとの動画像を、幾何変換により相互に類似した動画像に変換可能であるという特徴がある。このため、復号側基準視点と復号側拡張視点との関係に応じた幾何変換により、参照画像として、類似した画像を用いることができるので、符号化性能を向上させることができる。
【００３２】
（８）  本発明は、（７）の動画像復号化装置について、前記単視点復号手段は、前記符号化データを復号して、前記符号化データの生成時において照度補償の際に用いられたパラメータ（例えば、後述の照度補償パラメータａ、ｂに相当）も導出し、前記視点間処理手段は、前記復号側基準視点の動画像を前記単視点復号手段により復号した際に得られた当該復号側基準視点の復号画像を、前記単視点復号手段により導出されたパラメータを用いて幾何変換および照度補償して、当該復号側基準視点の変換後の復号画像を生成することを特徴とする動画像復号装置を提案している。
【００３３】
この発明によれば、（７）の動画像復号装置において、単視点復号手段により、符号化データを復号して、符号化データの生成時において照度補償の際に用いられたパラメータも導出することとした。また、視点間処理手段により、復号側基準視点の動画像を単視点復号手段により復号した際に得られた復号側基準視点の復号画像を、単視点復号手段により導出されたパラメータを用いて幾何変換および照度補償して、復号側基準視点の変換後の復号画像を生成することとした。このため、符号化データを復号する際に、動画像符号化装置で用いられた幾何変換のパラメータおよび照度補償のパラメータを用いて幾何変換を行うことができる。
【００３４】
（９）  本発明は、（７）または（８）の動画像復号装置について、前記視点間処理手段は、幾何変換として、射影変換と、三角形パッチ分割によるアフィン変換と、のいずれかを行うことを特徴とする動画像復号装置を提案している。
【００３５】
この発明によれば、（７）または（８）の動画像復号装置において、視点間処理手段により、幾何変換として、射影変換と、三角形パッチ分割によるアフィン変換と、のいずれかを行うことができる。
【００３６】
（１０）  本発明は、（７）から（９）のいずれかの動画像復号装置について、前記参照画像リスト追加手段は、前記視点間処理手段により生成された前記復号側基準視点の変換後の復号画像を、前記復号側拡張視点の動画像を前記単視点復号手段により復号する際の長期参照フレームとして利用可能にすることを特徴とする動画像復号装置を提案している。
【００３７】
この発明によれば、（７）から（９）のいずれかの動画像復号装置において、参照画像リスト追加手段により、視点間処理手段により生成された復号側基準視点の変換後の復号画像を、復号側拡張視点の動画像を単視点復号手段により復号する際の長期参照フレームとして利用可能にすることとした。このため、基準視点における動きベクトルの再計算が不要になるので、復号処理量を削減することができる。
【００３８】
（１１）  本発明は、パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）と、当該動画像符号化装置により生成された符号化データを復号する動画像復号装置（例えば、図１の動画像復号装置１００に相当）と、を備える動画像処理システム（例えば、図１の動画像処理システムＡＡに相当）であって、前記動画像符号化装置は、前記複数の視点の動画像のそれぞれを、視点ごとに符号化する単視点符号化手段（例えば、図２の第１の符号化部１０および第２の符号化部２０に相当）と、前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を前記単視点符号化手段により符号化した際に得られた当該基準視点のローカル復号画像（例えば、図２の基準視点のローカル復号画像ＳＩＧ３に相当）を、当該基準視点と当該拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像（例えば、図２の基準視点の変換後のローカル復号画像ＳＩＧ４に相当）を生成する符号化側視点間処理手段（例えば、図２の視点間処理部３０に相当）と、前記符号化側視点間処理手段により生成された前記基準視点の変換後のローカル復号画像を、前記拡張視点の動画像を前記単視点符号化手段により符号化する際の参照画像として利用可能にする符号化側参照画像リスト追加手段（例えば、図２の視点間処理部３０に相当）と、を備え、前記動画像復号装置は、前記符号化データを復号して、前記複数の視点のそれぞれの復号済み画像（例えば、図５の拡張視点の復号済み画像ＳＩＧ１０３、および基準視点の復号済み画像ＳＩＧ１０１、ＳＩＧ１０４に相当）を生成するとともに、前記動画像符号化装置において幾何変換の際に用いられたパラメータ（例えば、後述の射影変換行列ｓの各要素に相当）を導出する単視点復号手段（例えば、図５の第１の復号部１１０および第２の復号部１２０に相当）と、前記単視点復号手段により生成された前記基準視点の復号画像（例えば、図５の基準視点の復号済み画像ＳＩＧ１０１に相当）を、前記単視点復号手段により導出されたパラメータを用いて幾何変換して、当該基準視点の変換後の復号画像（例えば、図５の基準視点の変換後の復号済み画像ＳＩＧ１０２に相当）を生成する復号側視点間処理手段（例えば、図５の視点間処理部１３０に相当）と、前記復号側視点間処理手段により生成された前記基準視点の変換後の復号画像を、前記拡張視点の動画像を前記単視点復号手段により復号する際の参照画像として利用可能にする復号側参照画像リスト追加手段（例えば、図５の視点間処理部１３０に相当）と、を備えることを特徴とする動画像処理システムを提案している。
【００３９】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００４０】
（１２）  本発明は、単視点符号化手段（例えば、図２の第１の符号化部１０および第２の符号化部２０に相当）、視点間処理手段（例えば、図２の視点間処理部３０に相当）、および参照画像リスト追加手段（例えば、図２の視点間処理部３０に相当）を備え、パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）における動画像復号方法であって、前記単視点符号化手段が、前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を符号化する第１のステップと、前記視点間処理手段が、前記基準視点の動画像を前記第１のステップにより符号化した際に得られた当該基準視点のローカル復号画像（例えば、図２の基準視点のローカル復号画像ＳＩＧ３に相当）を、当該基準視点と前記拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像（例えば、図２の基準視点の変換後のローカル復号画像ＳＩＧ４に相当）を生成する第２のステップと、前記参照画像リスト追加手段が、前記第２のステップにより生成された前記基準視点の変換後のローカル復号画像を、参照画像として利用可能にする第３のステップと、前記単視点符号化手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記拡張視点の動画像を符号化する第４のステップと、を備えることを特徴とする動画像符号化方法を提案している。
【００４１】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００４２】
（１３）  本発明は、単視点復号手段（例えば、図５の第１の復号部１１０および第２の復号部１２０に相当）、視点間処理手段（例えば、図５の視点間処理部１３０に相当）、および参照画像リスト追加手段（例えば、図５の視点間処理部１３０に相当）を備え、パースの異なる複数の視点の動画像を符号化して得られた符号化データを、復号する動画像復号装置（例えば、図１の動画像復号装置１００に相当）における動画像復号方法であって、前記単視点復号手段が、前記複数の視点のうち、前記符号化データの生成時に基準視点であった視点を復号側基準視点とし、前記符号化データの生成時に拡張視点であった視点を復号側拡張視点とすると、前記符号化データを復号して、当該復号側基準視点の復号済み画像（例えば、図５の基準視点の復号済み画像ＳＩＧ１０１、ＳＩＧ１０４に相当）を生成するとともに、前記符号化データの生成時において幾何変換の際に用いられたパラメータ（例えば、後述の射影変換行列ｓの各要素に相当）を導出する第１のステップと、前記視点間処理手段が、前記第１のステップにより生成された前記復号側基準視点の復号画像（例えば、図５の基準視点の復号済み画像ＳＩＧ１０１に相当）を、前記第１のステップにより導出されたパラメータを用いて幾何変換して、当該復号側基準視点の変換後の復号画像（例えば、図５の基準視点の変換後の復号済み画像ＳＩＧ１０２に相当）を生成する第２のステップと、前記参照画像リスト追加手段が、前記第２のステップにより生成された前記復号側基準視点の変換後の復号画像を、参照画像として利用可能にする第３のステップと、前記単視点復号手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記復号側拡張視点の符号化データを復号する第４のステップと、を備えることを特徴とする動画像復号方法を提案している。
【００４３】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００４４】
（１４）  本発明は、単視点符号化手段（例えば、図２の第１の符号化部１０および第２の符号化部２０に相当）、視点間処理手段（例えば、図２の視点間処理部３０に相当）、および参照画像リスト追加手段（例えば、図２の視点間処理部３０に相当）を備え、パースの異なる複数の視点の動画像を符号化して符号化データを生成する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記単視点符号化手段が、前記複数の視点のうちの１つを基準視点とし、当該複数の視点から当該基準視点を除いたもののうちの１つを拡張視点として、当該基準視点の動画像を符号化する第１のステップと、前記視点間処理手段が、前記基準視点の動画像を前記第１のステップにより符号化した際に得られた当該基準視点のローカル復号画像（例えば、図２の基準視点のローカル復号画像ＳＩＧ３に相当）を、当該基準視点と前記拡張視点との関係に応じて幾何変換して、当該基準視点の変換後のローカル復号画像（例えば、図２の基準視点の変換後のローカル復号画像ＳＩＧ４に相当）を生成する第２のステップと、前記参照画像リスト追加手段が、前記第２のステップにより生成された前記基準視点の変換後のローカル復号画像を、参照画像として利用可能にする第３のステップと、前記単視点符号化手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記拡張視点の動画像を符号化する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００４５】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００４６】
（１５）  本発明は、単視点復号手段（例えば、図５の第１の復号部１１０および第２の復号部１２０に相当）、視点間処理手段（例えば、図５の視点間処理部１３０に相当）、および参照画像リスト追加手段（例えば、図５の視点間処理部１３０に相当）を備え、パースの異なる複数の視点の動画像を符号化して得られた符号化データを、復号する動画像復号装置（例えば、図１の動画像復号装置１００に相当）における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記単視点復号手段が、前記複数の視点のうち、前記符号化データの生成時に基準視点であった視点を復号側基準視点とし、前記符号化データの生成時に拡張視点であった視点を復号側拡張視点とすると、前記符号化データを復号して、当該復号側基準視点の復号済み画像（例えば、図５の基準視点の復号済み画像ＳＩＧ１０１、ＳＩＧ１０４に相当）を生成するとともに、前記符号化データの生成時において幾何変換の際に用いられたパラメータ（例えば、後述の射影変換行列ｓの各要素に相当）を導出する第１のステップと、前記視点間処理手段が、前記第１のステップにより生成された前記復号側基準視点の復号画像（例えば、図５の基準視点の復号済み画像ＳＩＧ１０１に相当）を、前記第１のステップにより導出されたパラメータを用いて幾何変換して、当該復号側基準視点の変換後の復号画像（例えば、図５の基準視点の変換後の復号済み画像ＳＩＧ１０２に相当）を生成する第２のステップと、前記参照画像リスト追加手段が、前記第２のステップにより生成された前記復号側基準視点の変換後の復号画像を、参照画像として利用可能にする第３のステップと、前記単視点復号手段が、前記第３のステップにより利用可能になった参照画像を用いて、前記復号側拡張視点の符号化データを復号する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００４７】
この発明によれば、上述した効果と同様の効果を奏することができる。
【発明の効果】
【００４８】
本発明によれば、実装コストを抑制しつつ、パースの異なる複数の視点の映像の符号化効率を向上させることができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の一実施形態に係る動画像処理システムのブロック図である。
【図２】本発明の一実施形態に係る動画像符号化装置のブロック図である。
【図３】本発明の一実施形態に係る動画像符号化装置が備える第１の符号化部のブロック図である。
【図４】本発明の一実施形態に係る動画像符号化装置が備える第２の符号化部のブロック図である。
【図５】本発明の一実施形態に係る動画像復号装置のブロック図である。
【図６】本発明の一実施形態に係る動画像復号装置が備える第１の復号部のブロック図である。
【図７】本発明の一実施形態に係る動画像復号装置が備える第２の復号部のブロック図である。
【図８】基準視点と拡張視点との組み合わせを示す図である。
【図９】基準視点と拡張視点との組み合わせを示す図である。
【図１０】ＭＶ−ＨＥＶＣにおける参照画像を説明するための図である。
【発明を実施するための形態】
【００５０】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００５１】
［動画像処理システムＡＡの構成および動作］
図１は、本発明の一実施形態に係る動画像処理システムＡＡのブロック図である。動画像処理システムＡＡは、パースの異なる複数の視点の動画像を符号化して符号化データ（図２の拡張視点のビットストリームＳＩＧ６および基準視点のビットストリームＳＩＧ７を参照）を生成する動画像符号化装置１と、動画像符号化装置１により生成された符号化データを復号する動画像復号装置１００と、を備える。これら動画像符号化装置１と動画像復号装置１００とは、上述の符号化データを、例えば伝送路を介して送受信する。
【００５２】
なお、本実施形態では、上述のパースの異なる複数の視点として、基準視点および拡張視点の２つの視点が存在しており、基準視点をベースレイヤとし、拡張視点をエンハンスメントレイヤとするものとする。
【００５３】
［動画像符号化装置１の構成および動作］
図２は、動画像符号化装置１のブロック図である。動画像符号化装置１は、第１の符号化部１０、第２の符号化部２０、および視点間処理部３０を備える。第１の符号化部１０は、拡張視点の原画像ＳＩＧ１を符号化し、拡張視点のビットストリームＳＩＧ６として出力する。第２の符号化部２０は、基準視点の原画像ＳＩＧ２を符号化し、基準視点のビットストリームＳＩＧ７として出力する。視点間処理部３０は、基準視点と拡張視点との関係に応じて基準視点のローカル復号画像ＳＩＧ３を射影変換および照度補償して基準視点の変換後のローカル復号画像ＳＩＧ４を生成し、この基準視点の変換後のローカル復号画像ＳＩＧ４を、第１の符号化部１０がインター予測を行う際に参照画像として用いることができるようにする。第１の符号化部１０、第２の符号化部２０、および視点間処理部３０のそれぞれの動作について、以下に詳述する。
【００５４】
図３は、第１の符号化部１０のブロック図である。第１の符号化部１０は、インター予測部１１、イントラ予測部１２、変換・量子化部１３、エントロピー符号化部１４、逆量子化・逆変換部１５、インループフィルタ部１６、およびバッファ部１７を備える。
【００５５】
インター予測部１１は、拡張視点の原画像ＳＩＧ１と、バッファ部１７から供給される後述のフィルタ後局所復号画像ＳＩＧ１８と、を入力とする。このインター予測部１１は、拡張視点の原画像ＳＩＧ１およびフィルタ後局所復号画像ＳＩＧ１８を用いてインター予測を行ってインター予測画像ＳＩＧ１１を生成し、出力する。
【００５６】
イントラ予測部１２は、拡張視点の原画像ＳＩＧ１と、後述のフィルタ前局所復号画像ＳＩＧ１６と、を入力とする。このイントラ予測部１２は、拡張視点の原画像ＳＩＧ１およびフィルタ前局所復号画像ＳＩＧ１６を用いてイントラ予測を行ってイントラ予測画像ＳＩＧ１２を生成し、出力する。
【００５７】
変換・量子化部１３は、拡張視点の原画像ＳＩＧ１と、インター予測画像ＳＩＧ１１またはイントラ予測画像ＳＩＧ１２と、の誤差（残差）信号ＳＩＧ１３を入力とする。この変換・量子化部１３は、入力された残差信号ＳＩＧ１３を変換および量子化して量子化係数ＳＩＧ１４を生成し、出力する。
【００５８】
エントロピー符号化部１４は、量子化係数ＳＩＧ１４と、後述の変換パラメータＳＩＧ５と、図示しないサイド情報（画素値の再構成に必要な予測モードや動きベクトルなどの関連情報）と、を入力とする。このエントロピー符号化部１４は、入力された信号をエントロピー符号化し、拡張視点のビットストリームＳＩＧ６として出力する。
【００５９】
逆量子化・逆変換部１５は、量子化係数ＳＩＧ１４を入力とする。この逆量子化・逆変換部１５は、量子化係数ＳＩＧ１４を逆量子化および逆変換して、逆変換された残差信号ＳＩＧ１５を生成し、出力する。
【００６０】
インループフィルタ部１６は、フィルタ前局所復号画像ＳＩＧ１６を入力とする。フィルタ前局所復号画像ＳＩＧ１６とは、インター予測画像ＳＩＧ１１またはイントラ予測画像ＳＩＧ１２と、逆変換された残差信号ＳＩＧ１５と、を合算した信号のことである。インループフィルタ部１６は、フィルタ前局所復号画像ＳＩＧ１６に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像ＳＩＧ１７を生成し、出力する。
【００６１】
バッファ部１７は、フィルタ後局所復号画像ＳＩＧ１７と、基準視点の変換後のローカル復号画像ＳＩＧ４と、を蓄積し、適宜、フィルタ後局所復号画像ＳＩＧ１８としてインター予測部１１に供給する。
【００６２】
図４は、第２の符号化部２０のブロック図である。第２の符号化部２０は、インター予測部２１、イントラ予測部２２、変換・量子化部２３、エントロピー符号化部２４、逆量子化・逆変換部２５、インループフィルタ部２６、およびバッファ部２７を備える。
【００６３】
インター予測部２１、イントラ予測部２２、変換・量子化部２３、エントロピー符号化部２４、逆量子化・逆変換部２５、およびインループフィルタ部２６は、それぞれ、図３のインター予測部１１、イントラ予測部１２、変換・量子化部１３、エントロピー符号化部１４、逆量子化・逆変換部１５、およびインループフィルタ部１６と同様に動作する。一方、バッファ部２７は、図３のバッファ部１７とは異なる動作を行う。
【００６４】
バッファ部２７は、インループフィルタ部２６から出力されたフィルタ後局所復号画像ＳＩＧ２７を蓄積し、適宜、フィルタ後局所復号画像ＳＩＧ２８としてインター予測部２１に供給するとともに、基準視点のローカル復号画像ＳＩＧ３として出力する。
【００６５】
図２に戻って、視点間処理部３０は、拡張視点の原画像ＳＩＧ１と、基準視点の原画像ＳＩＧ２と、基準視点のローカル復号画像ＳＩＧ３と、を入力とする。この視点間処理部３０は、射影変換行列導出処理、照度補償パラメータ導出処理、および変換処理を行う。
【００６６】
まず、射影変換行列導出処理について説明する。射影変換行列導出処理では、視点間処理部３０は、まず、ＳＩＦＴ（Scale-Invariant  Feature  Transform）アルゴリズムといった特徴点検出アルゴリズムにより、拡張視点の原画像ＳＩＧ１と、基準視点の原画像ＳＩＧ２と、から特徴点を抽出し、拡張視点の原画像ＳＩＧ１におけるそれぞれの特徴点と、基準視点の原画像ＳＩＧ２におけるそれぞれの特徴点と、の一致度を計算する。次に、一致度の最も高いものから順番に４組の特徴点を、拡張視点の原画像ＳＩＧ１と、基準視点の原画像ＳＩＧ２と、の間で対応する特徴点として特定する。次に、射影変換行列の要素を変数（未知数は８）とする８次元連立方程式を立て、射影変換行列ｓを導出する（例えば、＜Jan  Erik  Solem著、相川愛三訳、「実践  コンピュータビジョン」株式会社オライリー・ジャパン、２０１３年０３月＞を参照）。
【００６７】
次に、照度補償パラメータ導出処理について説明する。照度補償パラメータ導出処理では、視点間処理部３０は、まず、以下の数式（１）で表される線形予測の数式を仮定する。次に、数式（１）のベクトルｙに、拡張視点の原画像ＳＩＧ１の輝度値を代入するとともに、数式（１）のベクトルｘに、基準視点の原画像ＳＩＧ２の輝度値を代入し、数式（１）を満たすスカラーａ、ｂを最小二乗法により導出して、照度補償パラメータａ、ｂとする。
【００６８】
【数１】
2016127372.tif 000003
【００６９】
なお、ベクトルｙに代入する拡張視点の原画像ＳＩＧ１の輝度値は、拡張視点の原画像ＳＩＧ１を構成する全ての画素の輝度値であってもよいし、拡張視点の原画像ＳＩＧ１を構成する全ての画素のうち予め定められた領域（例えば中央部など）の画素の輝度値であってもよいし、拡張視点の原画像ＳＩＧ１を構成する全ての画素のうち予め定められた画素（例えば１つおきの画素など）を間引いた後の画素の輝度値であってもよい。また、ベクトルｘに代入する基準視点の原画像ＳＩＧ２の輝度値は、基準視点の原画像ＳＩＧ２を構成する全ての画素の輝度値であってもよいし、基準視点の原画像ＳＩＧ２を構成する全ての画素のうち予め定められた領域（例えば中央部など）の画素の輝度値であってもよいし、基準視点の原画像ＳＩＧ２を構成する全ての画素のうち予め定められた画素（例えば１つおきの画素など）を間引いたものの輝度値であってもよい。また、数式（１）のベクトルｘには、基準視点の原画像ＳＩＧ２の輝度値の代わりに、基準視点のローカル復号画像ＳＩＧ３の輝度値を代入してもよい。
【００７０】
射影変換行列導出処理により得られた射影変換行列ｓの各要素と、照度補償パラメータ導出処理により得られた照度補償パラメータａ、ｂとは、上述の変換パラメータＳＩＧ５として、第１の符号化部１０のエントロピー符号化部１４に送信される。
【００７１】
ここで、射影変換行列ｓは、３行３列の行列であり、９つの要素のうちの１つは常に「１」である。このため、上述の射影変換行列ｓの各要素とは、射影変換行列ｓの９つの要素のうち「１」を除く８つの要素のことであり、これら８つの要素がスカラーとして第１の符号化部１０のエントロピー符号化部１４に送信されることになる。
【００７２】
また、射影変換行列ｓを、基準視点における画像の角に対応する、拡張視点における画像中の４点の座標として表現することもできる。ここで、射影変換行列ｓの導出は、動画像符号化装置１および動画像復号装置１００の双方で行われることになるが、動画像復号装置１００は、ＳＩＦＴアルゴリズムといった特徴点検出アルゴリズムを行うことができない。このため、上述の対応する４点の座標を、上述の８つの要素の代わりに第１の符号化部１０のエントロピー符号化部１４に送信することとしてもよい。
【００７３】
次に、変換処理について説明する。変換処理では、視点間処理部３０は、基準視点のローカル復号画像ＳＩＧ３に対して、射影変換行列ｓを適用して射影変換を行った後に、照度補償パラメータａ、ｂを適用して照度補償を行って、基準視点の変換後のローカル復号画像ＳＩＧ４を生成し、第１の符号化部１０のバッファ部１７に長期参照フレームとして蓄積させる。
【００７４】
［動画像復号装置１００の構成および動作］
図５は、動画像復号装置１００のブロック図である。動画像復号装置１００は、第１の復号部１１０、第２の復号部１２０、および視点間処理部１３０を備える。第１の復号部１１０は、拡張視点のビットストリームＳＩＧ６を復号し、拡張視点の復号済み画像ＳＩＧ１０３として出力する。第２の復号部１２０は、基準視点のビットストリームＳＩＧ７を復号し、基準視点の復号済み画像ＳＩＧ１０４として出力する。視点間処理部１３０は、動画像符号化装置１で導出された射影変換行列ｓおよび照度補償パラメータａ、ｂを用いて、基準視点の復号済み画像ＳＩＧ１０１を射影変換および照度補償して、基準視点の変換後の復号済み画像ＳＩＧ１０２を生成し、この基準視点の変換後の復号済み画像ＳＩＧ１０２を、第１の復号部１１０がインター予測を行う際に参照画像として用いることができるようにする。第１の復号部１１０、第２の復号部１２０、および視点間処理部１３０のそれぞれの動作について、以下に詳述する。
【００７５】
図６は、第１の復号部１１０のブロック図である。第１の復号部１１０は、エントロピー復号部１１１、逆変換・逆量子化部１１２、インター予測部１１３、イントラ予測部１１４、インループフィルタ部１１５、およびバッファ部１１６を備える。
【００７６】
エントロピー復号部１１１は、拡張視点のビットストリームＳＩＧ６を入力とする。このエントロピー復号部１１１は、拡張視点のビットストリームＳＩＧ６をエントロピー復号し、量子化係数レベルＳＩＧ１１１と、動画像符号化装置１で生成された変換パラメータＳＩＧ５と、サイド情報（画素値の再構成に必要な予測モードや動きベクトルなどの関連情報）と、を導出して出力する。
【００７７】
逆変換・逆量子化部１１２は、量子化係数レベルＳＩＧ１１１を入力とする。この逆変換・逆量子化部１１２は、量子化係数レベルＳＩＧ１１１を逆変換および逆量子化して、逆変換された残差信号ＳＩＧ１１２を生成し、出力する。
【００７８】
インター予測部１１３は、バッファ部１１６から供給される後述のフィルタ後局所復号画像ＳＩＧ１１７を入力とする。このインター予測部１１３は、フィルタ後局所復号画像ＳＩＧ１１７を用いてインター予測を行ってインター予測画像ＳＩＧ１１３を生成し、出力する。
【００７９】
イントラ予測部１１４は、フィルタ前局所復号画像ＳＩＧ１１５を入力とする。フィルタ前局所復号画像ＳＩＧ１１５とは、逆変換された残差信号ＳＩＧ１１２と、インター予測画像ＳＩＧ１１３またはイントラ予測画像ＳＩＧ１１４と、を合算した信号のことである。イントラ予測部１１４は、フィルタ前局所復号画像ＳＩＧ１１５を用いてイントラ予測を行ってイントラ予測画像ＳＩＧ１１４を生成し、出力する。
【００８０】
インループフィルタ部１１５は、フィルタ前局所復号画像ＳＩＧ１１５を入力とする。このインループフィルタ部１１５は、フィルタ前局所復号画像ＳＩＧ１１５に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像ＳＩＧ１１６を生成し、出力する。
【００８１】
バッファ部１１６は、基準視点の変換後の復号済み画像ＳＩＧ１０２と、フィルタ後局所復号画像ＳＩＧ１１６と、を蓄積し、適宜、フィルタ後局所復号画像ＳＩＧ１１７としてインター予測部１１３に供給するとともに、拡張視点の復号済み画像ＳＩＧ１０３として出力する。
【００８２】
図７は、第２の復号部１２０のブロック図である。第２の復号部１２０は、エントロピー復号部１２１、逆変換・逆量子化部１２２、インター予測部１２３、イントラ予測部１２４、インループフィルタ部１２５、およびバッファ部１２６を備える。
【００８３】
エントロピー復号部１２１、逆変換・逆量子化部１２２、インター予測部１２３、イントラ予測部１２４、およびインループフィルタ部１２５は、それぞれ、図６のエントロピー復号部１１１、逆変換・逆量子化部１１２、インター予測部１１３、イントラ予測部１１４、およびインループフィルタ部１１５と同様に動作する。一方、バッファ部１２６は、図６のバッファ部１１６とは異なる動作を行う。
【００８４】
バッファ部１２６は、インループフィルタ部１２５から出力されたフィルタ後局所復号画像ＳＩＧ１２６を蓄積し、適宜、フィルタ後局所復号画像ＳＩＧ１２７としてインター予測部１２３に供給するとともに、基準視点の復号済み画像ＳＩＧ１０１、ＳＩＧ１０４として出力する。
【００８５】
図５に戻って、視点間処理部１３０は、動画像符号化装置１で生成された変換パラメータＳＩＧ５と、基準視点の復号済み画像ＳＩＧ１０１と、を入力とする。この視点間処理部１３０は、基準視点の復号済み画像ＳＩＧ１０１に対して、変換パラメータＳＩＧ５に含まれる射影変換行列ｓを適用して射影変換を行った後に、変換パラメータＳＩＧ５に含まれる照度補償パラメータａ、ｂを適用して照度補償を行って、基準視点の変換後の復号済み画像ＳＩＧ１０２を生成し、第１の復号部１１０のバッファ部１１６に長期参照フレームとして蓄積させる。
【００８６】
以上の動画像符号化装置１によれば、以下の効果を奏することができる。
【００８７】
動画像符号化装置１は、拡張視点の参照画像リストに基準視点のフレームを追加する。このため、非特許文献１に示されているＭＶ−ＨＥＶＣと同様のフレームワークを用いて動画像を符号化することができるので、ビデオ符号化レイヤ以下の変更が不要であるとともに、既存のＨＥＶＣコーデック設計を最大限に流用することができる。したがって、実装コストを抑制することができる。
【００８８】
また、動画像符号化装置１は、基準視点のローカル復号画像ＳＩＧ３を、基準視点と拡張視点との関係に応じて射影変換および照度補償を行って基準視点の変換後のローカル復号画像ＳＩＧ４を生成し、この基準視点の変換後のローカル復号画像ＳＩＧ４を用いて、拡張視点の原画像ＳＩＧ１を符号化することができる。ここで、同一の被写体を撮影した多視点映像には、視点ごとの動画像を、射影変換により相互に類似した動画像に変換可能であるという特徴がある。このため、基準視点と拡張視点との関係に応じた射影変換により、参照画像として、類似した画像を用いることができるので、符号化性能を向上させることができる。
【００８９】
また、動画像符号化装置１は、上述のように、基準視点のローカル復号画像ＳＩＧ３を、基準視点と拡張視点との関係に応じて射影変換および照度補償を行って基準視点の変換後のローカル復号画像ＳＩＧ４を生成し、この基準視点の変換後のローカル復号画像ＳＩＧ４を用いて、拡張視点の原画像ＳＩＧ１を符号化することができる。このため、基準視点と拡張視点とで照明条件といった撮影環境が異なっていることが原因で、基準視点の原画像ＳＩＧ２と拡張視点の原画像ＳＩＧ１とで照度が異なってしまっている場合でも、照度の差異を補償することができる。したがって、基準視点の原画像ＳＩＧ２と拡張視点の原画像ＳＩＧ１とで照度が異なる場合でも、基準視点と拡張視点との関係に応じた照度補償により、符号化性能を向上させることができる。
【００９０】
また、動画像符号化装置１は、射影変換行列ｓの各要素および照度補償パラメータａ、ｂを、動画像復号装置１００に伝送する。このため、動画像復号装置１００でも、射影変換行列ｓおよび照度補償パラメータａ、ｂを用いて、動画像符号化装置１と同様の射影変換および照度補償を行うことができる。
【００９１】
また、動画像符号化装置１は、視点間処理部３０により、基準視点の変換後のローカル復号画像ＳＩＧ４をバッファ部１７に長期参照フレームとして蓄積させる。このため、基準視点における動きベクトルの再計算が不要になるので、符号化処理量を削減することができる。
【００９２】
以上の動画像復号装置１００によれば、以下の効果を奏することができる。
【００９３】
動画像復号装置１００は、拡張視点の参照画像リストに基準視点のフレームを追加する。このため、非特許文献１に示されているＭＶ−ＨＥＶＣと同様のフレームワークを用いて符号化データを復号することができるので、ビデオ符号化レイヤ以下の変更が不要であるとともに、既存のＨＥＶＣコーデック設計を最大限に流用することができる。したがって、実装コストを抑制することができる。
【００９４】
また、動画像復号装置１００は、基準視点の復号済み画像ＳＩＧ１０１を、基準視点と拡張視点との関係に応じて射影変換および照度補償を行って基準視点の変換後の復号済み画像ＳＩＧ１０２を生成し、この基準視点の変換後の復号済み画像ＳＩＧ１０２を用いて、拡張視点のビットストリームＳＩＧ６を復号することができる。ここで、同一の被写体を撮影した多視点映像には、視点ごとの動画像を、射影変換により相互に類似した動画像に変換可能であるという特徴がある。このため、基準視点と拡張視点との関係に応じた射影変換により、参照画像として、類似した画像を用いることができるので、符号化性能を向上させることができる。
【００９５】
また、動画像復号装置１００は、基準視点の変換後の復号済み画像ＳＩＧ１０２をバッファ部１１６に長期参照フレームとして蓄積させる。このため、基準視点における動きベクトルの再計算が不要になるので、復号処理量を削減することができる。
【００９６】
なお、本発明の動画像符号化装置１や動画像復号装置１００の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置１や動画像復号装置１００に読み込ませ、実行することによって、本発明を実現できる。
【００９７】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置１や動画像復号装置１００に設けられたプロセッサによって行われる。
【００９８】
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置１や動画像復号装置１００から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００９９】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置１や動画像復号装置１００にすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１００】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【０１０１】
例えば、上述の実施形態では、視点間処理部３０は、変換処理において、基準視点のローカル復号画像ＳＩＧ３に対して、射影変換行列ｓを適用して射影変換を行った後に、照度補償パラメータａ、ｂを適用して照度補償を行うこととした。しかし、これに限らず、基準視点のローカル復号画像ＳＩＧ３に対して、照度補償パラメータａ、ｂを適用して照度補償を行った後に、射影変換行列ｓを適用して射影変換を行うこととしてもよい。また、視点間処理部１３０についても、視点間処理部３０と同様に、基準視点の復号済み画像ＳＩＧ１０１に対して、照度補償パラメータａ、ｂを適用して照度補償を行った後に、射影変換行列ｓを適用して射影変換を行うこととしてもよい。
【０１０２】
また、上述の実施形態では、幾何変換として射影変換を行うこととしたが、これに限らず、幾何変換として、例えば三角形パッチ分割によるアフィン変換を行うこととしてもよい。
【０１０３】
また、上述の実施形態では、視点間処理部３０は、基準視点の変換後のローカル復号画像ＳＩＧ４をバッファ部１７に長期参照フレームとして蓄積させ、視点間処理部１３０は、基準視点の変換後の復号済み画像ＳＩＧ１０２をバッファ部１１６に長期参照フレームとして蓄積させることとした。また、上述の実施形態では、視点間処理部３０は、基準視点の変換後の復号済み画像ＳＩＧ１０２をバッファ部１１６に長期参照フレームとして蓄積させることとした。しかし、長期参照フレームとしてではなく、短期参照フレームとして蓄積させることとしてもよい。
【０１０４】
また、上述の実施形態では、基準視点および拡張視点の２つの視点が存在しているものとした。しかし、これに限らず、３つ以上の視点が存在していてもよい。例えば３つの視点が存在している場合には、図８に示すように、視点Ｂを拡張視点とした際の基準視点を視点Ａとし、視点Ｃを拡張視点とした際の基準視点も視点Ａとしてもよいし、図９に示すように、視点Ｂを拡張視点とした際の基準視点を視点Ａとし、視点Ｃを拡張視点とした際の基準視点を視点Ｂとしてもよい。
【符号の説明】
【０１０５】
ＡＡ・・・動画像処理システム
１・・・動画像符号化装置
１０・・・第１の符号化部
２０・・・第２の符号化部
３０・・・視点間処理部
１００・・・動画像復号装置
１１０・・・第１の復号部
１２０・・・第２の復号部
１３０・・・視点間処理部
【図１】
2016127372.tif 000004
【図２】
2016127372.tif 000005
【図３】
2016127372.tif 000006
【図４】
2016127372.tif 000007
【図５】
2016127372.tif 000008
【図６】
2016127372.tif 000009
【図７】
2016127372.tif 000010
【図８】
2016127372.tif 000011
【図９】
2016127372.tif 000012
【図１０】
2016127372.tif 000013