(57)【要約】【課題】動き補償予測および視差補償予測を用いて多視点画像を符号化する場合に、視差補償予測を行うか否かの判定時間を短縮および視差補償予測が行われないために減った処理時間とから、符号化のための全体の処理時間を低減させる多視点画像符号化装置を提供する。【解決手段】複数の視点に配置されたカメラで撮影された多視点画像を、少なくとも動き補償予測および視差補償予測を選択的に用いて符号化する多視点画像符号化装置であって、前記視差補償予測における基準視点以外の処理対象の視点画像と他の多視点画像を撮影した視点のカメラ間の距離に所定の閾値以下のものがある場合には、前記所定の閾値以下の視点の多視点画像を参照画像として前記視差補償予測処理を行い、所定の閾値以下のものがない場合には、前記視差補償予測処理を行わない。【選択図】図４
2011193352.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点に配置されたカメラで撮影された多視点画像を、少なくとも動き補償予測および視差補償予測を選択的に用いて符号化する多視点画像符号化装置であって、前記視差補償予測における基準視点以外の処理対象の視点画像と他の多視点画像を撮影した視点のカメラ間の距離に所定の閾値以下のものがある場合には、前記所定の閾値以下の視点の多視点画像を参照画像として前記視差補償予測処理を行い、所定の閾値以下のものがない場合には、前記視差補償予測処理を行わないことを特徴とする多視点画像符号化装置。
【請求項２】
前記視点画像の撮影時における複数カメラの配置形状が円弧状の場合、所定の視差探索範囲より狭めて前記視差補償予測処理を実行することを特徴とする請求項１記載の多視点画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像の処理技術に関し、特に多視点動画像の高能率符号化装置に関する。
【背景技術】
【０００２】
複数の視点から画像を撮像した多視点画像は、３Ｄ映像システム等で利用され、各画像をそれに応じた視点から見られるように表示することで、多くの視点に応じた立体画像表示が可能になる。
この場合、再生画像を見る際に、視点を変えると、それに応じて実際に見える画像も変化するので、より自然な立体画像表示となる。
また、観察者が自由に任意の視点位置を指定し観察することのできる自由視点映像システムもある。
【０００３】
この方法は、多視点画像のほかに、奥行き画像およびカメラパラメータを利用することにより、システムの表現機能を向上させることができるが、一方で、奥行き画像データとカメラパラメータを必要とするため、その分、伝送時の符号量が増えるという問題が生じる。
【０００４】
この問題を解決するため、多視点画像の符号化装置においては、各種の工夫がなされており、その１つに視差補償予測がある。
視差補償予測とは、ある視点の画像を符号化する際にすでに符号化済みの他視点の復号画像を参照画像とする符号化モードである。
【０００５】
しかし、視差間の差分が小さい場合には視差補償は有効に働くが、視差間の差分が大きい場合には符号化効率はほとんど向上せず、かえって処理量が増加するだけになってしまうことになる。そのため、視差補償を行うべきか否かを適切に判断する必要がある。
【０００６】
特許文献１では、符号化に先立って、原画像と参照画像との差分がある一定の閾値未満の場合には動きなしと判定し、動き補償予測を行わないことにより、処理量の削減を実現しているが、これは視差補償予測にも適用することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平２−１０７０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の方法を視差補償予測に適用しただけでは、画像の相関性を判断する際に原画像と参照画像との差分を演算しなければならず、その分処理時間が増加することになる。
【０００９】
本発明は、上述の実情を考慮してなされたものであって、動き補償予測および視差補償予測を用いて多視点画像を符号化する場合に、視差補償予測を行うか否かの判定時間を短縮および視差補償予測が行われないために減った処理時間とから、符号化のための全体の処理時間を低減させる多視点画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の多視点画像符号化装置は、複数の視点に配置されたカメラで撮影された多視点画像を、少なくとも動き補償予測および視差補償予測を選択的に用いて符号化する多視点画像符号化装置であって、前記視差補償予測における基準視点以外の処理対象の視点画像と他の多視点画像を撮影した視点のカメラ間の距離に所定の閾値以下のものがある場合には、前記所定の閾値以下の視点の多視点画像を参照画像として前記視差補償予測処理を行い、所定の閾値以下のものがない場合には、前記視差補償予測処理を行わない。
【００１１】
上記の多視点画像符号化装置において、前記視点画像の撮影時における複数カメラの配置形状が円弧状の場合、所定の視差探索範囲より狭めて前記視差補償予測処理を実行する。
【発明の効果】
【００１２】
本発明によれば、動き補償予測および視差補償予測を用いて多視点画像を符号化する場合に、視差補償予測を行うか否かの判定時間の短縮および視差補償予測が行わないために減った処理時間とから、符号化のための全体の処理時間を低減させることができる。
【図面の簡単な説明】
【００１３】
【図１】カメラの配置を説明する図である。
【図２】実施形態に係る多視点画像符号化装置の機能構成を説明する図である。
【図３】実施形態の多視点画像符号化装置に供給される各視点画像と、視点間の予測関係と、符号化順について説明する図である。
【図４】視差補償予測を行うか否かを決定する処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施形態について説明する。
【００１５】
（複数のカメラの配置）
本発明の多視点画像符号化装置は、複数のカメラで撮影した映像を符号化するものであり、これらの複数のカメラは、図１に示したように次のいずれかに配置される。
【００１６】
（１）カメラを直線状に配置する（図１（Ａ））。
複数のカメラは、カメラの光軸方向が撮影対象物の方向に向き、そのカメラの光軸が直線に対して垂直になるように配置し、カメラ間の距離（基線長）は、ほぼ一定（例えば、人間の両眼間隔の平均値である約６.５ｃｍ）に設定されるが、任意の距離に設定してもよい。
基準視点となるカメラは、直線状に配置したいずれかの端点のものとする。
【００１７】
（２）カメラを円形状に配置する（図１（Ｂ））。
複数のカメラは、基本的にはカメラの光軸方向が撮影対象物の方向の１点に収束するように円弧状に配置し、それらのカメラ間の距離（基線長）は、直線状に配置したときと同じように設定する。
基準視点となるカメラは、円弧状に配置した円弧のいずれかの端点のものとし、円形状に配置した場合には、任意の位置に指定したものとする。
【００１８】
また、撮影者は、多視点映像を多視点画像符号化装置に伝送する前に、カメラパラメータファイルを作成しておき、多視点映像を伝送するときに一緒に伝送する。
このカメラパラメータファイルには、カメラの数、配置形状（直線状か円形状かの区別）、カメラ間の距離などのデータを格納する。このカメラ間の距離は、基準視点のカメラの位置をもとに、隣接するカメラ間の距離をカメラの配置順に合わせて格納する。例えば、図１（Ａ）の場合、左端の基準視点のカメラの位置から右へ順に、ｄ１、ｄ２が格納される。
【００１９】
（多視点画像符号化装置の機能構成）
図２は、本実施形態に係る多視点画像符号化装置の機能構成を説明する図である。図２において、多視点画像符号化装置は、残差信号符号化部１０１、残差信号復号化部１０２、復号画像バッファ１０３、動き補償予測部１０４、視差補償予測部１０５、画面内符号化部１０６、符号化モード判定部１０７、符号化ビット列生成部１０８、符号化制御部１０９からなっている。
【００２０】
本実施形態に係る多視点画像符号化装置は、すでに符号化復号された復号画像を参照画像とし、この参照画像を用いて動き補償予測を行い、動き補償予測の際に算出される動きベクトルを符号化する方式、別視点からの参照画像を用いて視差補償予測を行い視差補償予測の際に算出される視差ベクトルを符号化する方式、参照画像を用いず画面内で符号化する方式を用い、これらのモードを複数画素から構成される画素ブロック単位で適応的に切り替えるものである。
これらの各部は、公知の技術（例えば、大久保榮(監修)、「改訂三版 H.264/AVC教科書」、インプレス、２００８年１２月２６日）であるから簡単に説明する。
【００２１】
符号化制御部１０９は、本多視点画像符号化装置の全体を制御するとともに、入力されたカメラパラメータに基づいて視差補償予測を行うか否かを判定し、スイッチ１１０により、視差補償予測を実行するか否かを制御する。
さらに、視差補償予測を実行するときには、ブロックマッチングの探索範囲を設定して、視差補償予測部１０５に供給する。
【００２２】
残差信号符号化部１０１は、画像データと符号化モード判定部１０７から出力される予測信号とを減算した結果である残差信号を入力として、入力された残差信号に対して整数変換、量子化を行い、符号化残差信号を出力する。
符号化画像のうち参照画像になりうる画像に関しては、復号画像バッファ１０３に順次格納される。
【００２３】
残差信号復号化部１０２は、残差信号符号化部１０１から入力した符号化残差信号に対して逆量子化、逆整数変換を行い、残差信号を出力し、符号化モード判定部１０７から供給される予測信号と加算することにより復号画像信号を算出し、この復号画像信号を復号画像バッファ１０３に画素ブロック単位で順次格納する。
復号画像バッファ１０３に格納されている復号画像信号は、動き補償予測部１０４または視差補償予測部１０５へ供給される。
【００２４】
動き補償予測部１０４は、従来のMPEG-2、MPEG-4、MPEG-4 AVC/H.264方式と同様に復号画像バッファ１０３から供給される符号化する画像データと同一視点の参照画像と符号化する画像データの画素ブロックとの間でブロックマッチングを行い、動きベクトルを検出し、動き補償予測ブロックを作成して動き補償予測信号、および動きベクトルを符号化モード判定部１０７に供給する。
【００２５】
視差補償予測部１０５は、符号化する画像データの画素ブロックと復号画像バッファ１０３から供給され符号化する画像データとは別視点の参照画像との間でブロックマッチングを行い、視差ベクトルを検出し、視差補償予測ブロックを作成して視差補償予測信号、および視差ベクトルを符号化モード判定部１０７に供給する。視差補償予測におけるブロックマッチングの探索範囲は、符号化制御部１０９にて決定される。
【００２６】
画面内符号化部１０６は、符号化する画像データの画素ブロックと既に符号化され復号画像バッファ１０３から供給された符号化対象ブロックの左上、上、右上、左の隣接ブロックを参照し、最も類似しているブロックとの差分を用いて作成した予測信号を符号化モード判定部１０７に供給する。
【００２７】
符号化モード判定部１０７は、動き補償予測部１０４、視差補償予測部１０５、および画面内符号化部１０６から予測信号および動きベクトルまたは視差ベクトルの入力を受けて、最も符号化効率の良い符号化モードを判定し、最も符号化効率の良い符号化モードの予測信号、動きベクトルまたは視差ベクトル、選択された符号化モードを出力する。
この符号化モードを判定する方式としては、例えば、各符号化モードについて符号量と歪み量を算出し、これら符号量と歪み量のバランスにおいて最適な符号化モードを選択する手法がある。
【００２８】
符号化ビット列生成部１０８は、残差信号符号化部１０１から入力される符号化残差信号と符号化モード判定部１０７から入力される符号化モードおよび動きベクトルまたは視差ベクトルを、エントロピー符号化を用いて符号化し、符号化ビット列を生成する。
【００２９】
次に、図３の例を用いて、視差補償予測が実行されたときの多視点画像符号化装置に供給される各視点画像と、視点間の予測関係と、符号化順について説明する。
尚、本実施形態では、カメラを直線状に配置したときの一方の端点から対象物を見たときの視点を基準視点とする。これは、基準視点を外側に設定した参照関係の方が圧縮率が高くなることが実験で確認されているためである。
【００３０】
尚、カメラの配置が円形状のときには、円周上の適当な一つのカメラを端点とし、このカメラから対象物を見たときを視点を基準視点と考えれば、カメラを直線状に配置したものと同様に考えることができる。
【００３１】
図３は、３つの視点からの映像を符号化する際の画像間の予測関係の例で、視点画像Ｖ１、Ｖ２，Ｖ３は、多視点画像符号化装置に供給されるそれぞれの視点からの画像である。
視点画像Ｖ１は、カメラを直線状に配置したときの一方の端点から対象物を見たときの第１の視点（基準視点）から撮像された画像である。
視点画像Ｖ２は、第１の視点のカメラに隣接するカメラから同じ対象物を見たときの第２の視点から撮像された画像である。
視点画像Ｖ３は、第２の視点のカメラに隣接するカメラから同じ対象物を見たときの第３の視点から撮像された画像である。
【００３２】
基準視点の視点画像Ｖ１は、他の視点の画像を参照せず、従来のMPEG-2、MPEG-4、MPEG-4 AVC/H.264方式と同様の符号化方式で符号化される。例えば、画像Ｖ１３はＰピクチャ（１枚の参照画像を予測のために参照可能となるピクチャ）であり、Ｉピクチャの画像Ｖ１１の復号画像を参照画像とし、動き補償予測を用いて符号化する。
さらに、画像Ｖ１２はＢピクチャ（２枚の参照画像を予測のために参照可能となるピクチャ）であり、画像Ｖ１１およびＶ１３の復号画像を参照画像とし、動き補償予測を用いて符号化する。
以下、同様にして、基準視点の画像であるＶ１４，Ｖ１５を動き補償予測を用いて符号化する。
【００３３】
一方、基準視点以外の視点画像Ｖ２、Ｖ３は動き補償予測に加えて、視差補償予測を用いて符号化する。
視差補償予測を行う際の参照画像として、視点画像Ｖ３は視点画像Ｖ１を、視点画像Ｖ２は視点画像Ｖ１と視点画像Ｖ３を参照画像として用いる。
【００３４】
そのため、例えば、視点画像Ｖ２の画像Ｖ２２を符号化する際にＶ２１およびＶ２３を参照画像として動き補償予測を行うとともに、別視点の画像であるＶ１２とＶ３２を参照画像として視差補償予測を用いて符号化する。
【００３５】
画像Ｖ２２を符号化する際には参照画像となる画像Ｖ２１、Ｖ２３、Ｖ１２およびＶ３２は符号化、復号化が完了し復号画像バッファ１０３に格納されていなければならない。
そのため、本例では、Ｖ１１、Ｖ３１、Ｖ２１、Ｖ１３、Ｖ３３、Ｖ２３、Ｖ１２、Ｖ３２、Ｖ２２、Ｖ１５、・・・の順序で符号化される。
【００３６】
また、後述の視差補償予測の判定処理において視差補償予測を行わないと判定されたとしても、この符号化順に変化はない。
【００３７】
（本発明に関する符号化制御部の処理）
次に、図４のフローチャートを用いて、符号化制御部１０９における視差補償予測を行うか否かの判定と、視差補償予測におけるブロックマッチングの探索範囲の決定について説明する。
【００３８】
以下に説明する処理は、前述のカメラパラメータファイルが既に読み込まれ、所定のメモリに記憶した後、視差補償予測処理に先立って行われる。
また、カメラ間の距離の閾値Ｔを、例えば、人間の両眼間隔の平均値である約６．５ｃｍの２倍の１３ｃｍに予め設定し、メモリの記憶しておく。
【００３９】
まず、所定のメモリに記憶されたカメラパラメータのカメラ間の距離を取得し、基準視点以外の処理対象の視点画像と他の多視点画像を撮影した視点のカメラ間の距離Ｌを取得する（ステップＳ１）。
【００４０】
例えば、図１（Ａ）および図３において、視点画像Ｖ３は、視点画像Ｖ１を参照画像とするので、カメラ間の距離はｄ１＋ｄ２である。また、視点画像Ｖ２は、視点画像Ｖ１およびＶ３を参照画像とするので、カメラ間の距離はそれぞれｄ１とｄ２である。
【００４１】
取得したカメラ間の距離Ｌがすべて閾値Ｔを超える場合（Ｌ＞Ｔ）（ステップＳ２のＹＥＳ）、視差補償予測を行わない。
一方、取得したカメラ間の距離Ｌのうち１つでも閾値Ｔを超えないものがある場合（Ｌ≦Ｔ）（ステップＳ２のＮＯ）、閾値Ｔを超えなかった視点の参照画像を対象にして、以下のステップＳ３〜Ｓ６の処理を実行する。
【００４２】
カメラの配置形状が直線状の場合（ステップＳ３のＹＥＳ）、視差補償予測のブロックマッチングの探索範囲を所定の探索範囲に設定し（ステップＳ４）、閾値Ｔを超えなかった視点の参照画像を対象にして視差補償予測を実行する（ステップＳ６）。
【００４３】
他方、カメラ間の配置形状が円弧状の場合（ステップＳ３のＮＯ）、視差補償予測のブロックマッチングの探索範囲を所定の探索範囲より狭く設定し（ステップＳ５）、閾値Ｔを超えなかった視点の参照画像を対象にして視差補償予測を実行する（ステップＳ６）。
【００４４】
上記の探索範囲の狭め方は、カメラを直線状に配置する場合と比較してオブジェクトのオクルージョン部分が撮影される分、符号化画像と参照画像の相関性が低く視差補償が有効ではない可能性が高いため、例えば、所定の探索範囲に対して水平方向の探索範囲を１／２に設定する。
【００４５】
このように、カメラパラメータを用いることより、カメラ間隔の単純な大小比較のみ判定できるため、視差補償を行うか否かを少ない処理量で選択することができる。
また、カメラの配置形状から適切な探索範囲を設定することが可能なため、符号化効率の低下を最小限に抑えつつ、視差補償予測による処理量を低減することができる。
【００４６】
尚、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
例えば、本発明の構成要素の一部または全部の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を符号化装置に供給し、ＭＰＵ（Microprocessing Unit）またはＤＳＰ（Digital Signal Processor）によりプログラムコードが実行されることによっても本発明の目的が達成される。
また、本発明の構成要素の一部または全部をハードウェアとして構成してもよいし、また、上記のソフトウェアをファームウェア化し、このファームウェアを集積回路／ＩＣチップセットとして構成してもよい。
【符号の説明】
【００４７】
１０１…残差信号符号化部、１０２…残差信号復号化部、１０３…復号画像バッファ、１０４…動き補償予測部、１０５…視差補償予測部、１０６…画面内符号化部、１０７…符号化モード判定部、１０８…符号化ビット列生成部、１０９…符号化制御部、１１０…スイッチ。
【図１】
2011193352.tif 000003
【図２】
2011193352.tif 000004
【図３】
2011193352.tif 000005
【図４】
2011193352.tif 000006