(57)【要約】【課題】多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換し、符号化することができない。【解決手段】多視点動画データを第１の符号化方式に従って符号化するための符号化パラメータを生成するパラメータ生成手段と、パラメータ生成手段により生成された符号化パラメータに従って多視点動画データを第１の符号化方式に従って符号化する第１の符号化手段とを備える画像処理装置であり、多視点動画データの符号化パラメータを、当該多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、当該画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを第１の符号化方式とは異なる第２の符号化方式での符号化するときに使用できるパラメータとして生成する。【選択図】図６
2013168867.tif 000002
【特許請求の範囲】
【請求項１】
左眼用の動画データと右眼用の動画データを含む多視点動画データを第１の符号化方式に従って符号化するための符号化パラメータを生成するパラメータ生成手段と、
前記パラメータ生成手段により生成された符号化パラメータに従って前記多視点動画データを第１の符号化方式に従って符号化する第１の符号化手段と、
前記パラメータ生成手段を制御して、多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、前記画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを前記第１の符号化方式とは異なる第２の符号化方式に従って符号化するために、前記第１の符号化手段が多視点動画データを符号化するために用いたパラメータを使用できるように、前記第１の符号化手段が前記多視点動画データを符号化するための符号化パラメータを生成する制御手段とを備える画像処理装置。
【請求項２】
前記制御手段は、前記符号化パラメータを、前記変換動画データを第２の符号化方式で符号化するために、前記第１の符号化手段が多視点動画データを符号化するために用いたパラメータを使用できるように前記多視点動画データの符号化パラメータを生成するよう前記パラメータ生成手段を制御する第１のモードと、前記第１のモードでの制御を行なわない第２のモードとを有し、ユーザの指示に応じて前記第１のモードと第２のモードを切り替えて設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は前記第１のモードにおいて、前記パラメータ生成手段による前記符号化パラメータの生成を、前記変換動画データの合成方法に従って制御することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記パラメータ生成手段で生成された符号化パラメータと前記第１の符号化手段で符号化された多視点動画符号化データを外部装置に出力するための出力手段を有し、
前記制御手段は前記出力手段を制御して、パラメータ生成手段で生成された符号化パラメータと前記第１の符号化手段で符号化された多視点動画符号化データとともに前記設定されたモードの情報を出力することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第１の符号化方式と前記第２の符号化方式は、符号化対象のデータと参照データとの差分を符号化する予測符号化であり、前記符号化手段が前記多視点動画データを符号化するための前記符号化パラメータは前記予測符号化における複数の予測モードを含むことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記複数の予測モードは、画面内予測、動き補償予測、及び、視差補償予測を含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記符号化手段は、所定数の画素を含むブロックを単位として符号化を行い、前記制御手段は、前記多視点動画データにおける水平方向に隣接する二つのブロックを単位として、これら二つのブロックの予測モードが同じになるように前記パラメータ生成手段を制御することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１の符号化方式及び前記第２の符号化方式は、所定数の画素を含むブロックを単位として符号化を行う方式であり、それぞれ前記所定数の画素を含む複数のブロック分割タイプの何れかを用いることが可能であり、前記制御手段は、前記多視点動画データにおける水平方向に隣接する二つのブロックを単位として、これら二つのブロックのブロック分割タイプが同じになるように前記パラメータ生成手段を制御することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項９】
前記符号化手段で符号化された多視点動画符号化データを復号して前記メモリ手段に記憶する復号手段と、
前記復号手段で得られる多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、前記画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを生成する画像処理手段と、
前記画像処理手段で生成された変換動画データを前記第２の符号化方式で符号化するための符号化パラメータを、前記入力した多視点動画符号化データの符号化パラメータを変換して生成するパラメータ変換手段と、
をさらに備えることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記パラメータ変換手段は、前記多視点動画符号化データとともに入力される前記符号化モードの情報が前記第１のモードを示すときは、前記多視点動画符号化データの符号化パラメータを使用して前記画像処理手段で生成された変換動画データを符号化するための符号化パラメータを生成し、前記符号化モードの情報が前記第２のモードを示すときは、前記多視点動画符号化データの符号化パラメータを使用しないで前記画像処理手段で生成された変換動画データの符号化パラメータを生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記パラメータ変換手段は、前記多視点動画符号化データとともに入力される前記符号化モードの情報が前記第１のモードを示すときは、前記変換動画データのブロックの符号化パラメータを、当該ブロックに対応する前記多視点動画データにおける水平方向に隣接する二つのブロックの符号化パラメータから決定することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記メモリ手段に記憶された多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、前記画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを生成する画像処理手段と、
前記画像処理手段で生成された変換動画データを前記第２の符号化方式で符号化するための符号化パラメータを、前記パラメータ生成手段で生成された前記多視点動画符号化データの符号化パラメータを変換して生成するパラメータ変換手段と、
前記パラメータ変換手段で生成された符号化パラメータを用いて前記画像処理手段で生成された変換動画データを前記第２の符号化方式で符号化する第２の符号化手段と、
をさらに備えることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１３】
前記パラメータ変換手段は、前記多視点動画符号化データとともに入力される前記符号化モードの情報が前記第１のモードを示すときは、前記変換動画データのブロックの符号化パラメータを、当該ブロックに対応する前記多視点動画データにおける水平方向に隣接する二つのブロックの符号化パラメータから決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記制御手段は、ユーザ指示に応じて、前記第１の符号化手段による符号化と前記第２の符号化手段による符号化の並列処理を行うことを特徴とする請求項１２または１３に記載の画像処理装置。
【請求項１５】
左眼用の動画データと右眼用の動画データを含む多視点動画データを記憶するメモリ手段と、前記メモリ手段に記憶された前記多視点動画データを第１の符号化方式に従って符号化するための符号化パラメータを生成するパラメータ生成手段と、前記パラメータ生成手段により生成された符号化パラメータに従って前記多視点動画データを第１の符号化方式に従って符号化する第１の符号化手段とを備える画像処理装置の制御方法において、
前記パラメータ生成手段を制御して、前記多視点動画データの符号化パラメータを、前記メモリ手段に記憶された多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、前記画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを前記第１の符号化方式とは異なる第２の符号化方式で符号化するときに使用できるパラメータとして生成する制御ステップを備える制御方法。
【請求項１６】
コンピュータを、
左眼用の動画データと右眼用の動画データを含む多視点動画データを記憶するメモリ手段と、前記メモリ手段に記憶された前記多視点動画データを第１の符号化方式に従って符号化するための符号化パラメータを生成するパラメータ生成手段と、前記パラメータ生成手段により生成された符号化パラメータに従って前記多視点動画データを第１の符号化方式に従って符号化する第１の符号化手段とを備える画像処理装置の制御方法において、
前記パラメータ生成手段を制御して、前記多視点動画データの符号化パラメータを、前記メモリ手段に記憶された多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、前記画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを前記第１の符号化方式とは異なる第２の符号化方式で符号化するときに使用できるパラメータとして生成する制御手段として機能させるプログラム。
【請求項１７】
請求項１６のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１８】
コンピュータを、請求項１乃至１４のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１９】
コンピュータを、請求項１乃至１４のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に画像データの符号化機能を備えた画像処理装置に関する。
【背景技術】
【０００２】
従来、左眼用画像と右眼用画像を含む三次元（多視点）画像を撮影し、記録媒体に記録する装置が知られている。動画像データを符号化する方式として、従来、ＭＰＥＧ４  ＡＶＣ方式が知られている。また、多視点画像データを符号化するため、ＭＰＥＧ４  ＡＶＣの拡張規格としてＭＰＥＧ４  ＭＶＣが提案されている。ＭＰＥＧ４  ＭＶＣでは、動き補償及び視差補償の予測符号化を利用し、左眼用画像と右眼用画像をそれぞれ符号化する（例えば、特許文献１参照）。
【０００３】
一方、左眼用画像と右眼用画像のそれぞれの水平方向の画素数を半分に減少し、左右へ並べて一画面に変換したサイドバイサイド方式の二次元画像データを動き補償の予測符号化により符号化して記録する構成も考えられている。このときの符号化方式として、ＭＰＥＧ４  ＡＶＣを利用することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０８７１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
サイドバイサイド方式においては、左眼用画像と右眼用画像の水平方向の画素数を半分に削減しているため、再生時に、左眼用画像と右眼用画像の画素数を補間等により増加させて画像データを復元している。そのため、復元画像の画質が低下する。
【０００６】
これに対し、ＭＰＥＧ４  ＭＶＣに従って多視点画像データを符号化した場合、左眼用画像と右眼用画像の画素数を削減する必要がない。そのため、画質の観点では左眼用画像と右眼用画像をそれぞれ符号化する多視点画像符号化方式が好ましい。
【０００７】
しかし、ＭＰＥＧ４  ＭＶＣにて符号化された動画データを復号できない装置では、多視点画像符号化方式で符号化された動画データを復号できない。そのため、左眼用画像又は右眼用画像の何れかの２次元画像しか復号できない。
【０００８】
そこで、多視点画像符号化方式により符号化された動画データをサイドバイサイド方式の動画像に簡単に変換し、符号化できることが望まれる。
【０００９】
本発明はこの様な問題を解決し、多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換し、符号化することができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記本発明の課題を解決するため、本発明の画像処理装置は多視点動画データを第１の符号化方式に従って符号化するための符号化パラメータを生成するパラメータ生成手段と、パラメータ生成手段により生成された符号化パラメータに従って多視点動画データを第１の符号化方式に従って符号化する第１の符号化手段とを備える画像処理装置であり、多視点動画データの符号化パラメータを、当該多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、当該画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを第１の符号化方式とは異なる第２の符号化方式で符号化するときに使用できるパラメータとして生成する。
【発明の効果】
【００１１】
本発明によれば、多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換し、符号化することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施例に係わる画像処理システムの構成を示すブロック図である。
【図２】多視点の動画データの符号化方式を概念的に示す図である。
【図３】本発明の実施形態に係わる多視点画像とサイドバイサイド画像との関連を示す図である。
【図４】動画の符号化に係わるマクロブロック分割タイプを示す図である。
【図５】本発明の第１の実施例に係わる符号化処理のフローチャートを示す図である。
【図６】本発明の第１の実施例に係わる互換モードでの符号化処理のフローチャートを示す図である。
【図７】本発明の第１の実施例に係わる通常モードの符号化処理のフローチャートを示す図である。
【図８】本発明の第１の実施例に係わる変換処理のフローチャートを示す図である。
【図９】本発明の実施形態に係わるマクロブロック分割タイプの変換処理の概念図である。
【図１０】本発明の実施形態に係わるマクロブロック分割タイプの変換処理の概念図である。
【図１１】本発明の実施形態に係わる動きベクトルの変換処理の概念図である。
【図１２】本発明の実施形態に係わる視差ベクトルの変換処理の概念図である。
【図１３】本発明の第２の実施例に係わる画像処理装置のブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を添付の図面を用いて説明する。
【００１４】
第１の実施例
図１は、本発明の第１の実施例における画像処理システム１００の構成を示すブロック図である。図１の画像処理システム１００は、右眼用の動画データと左眼用の動画データとを含む多視点動画データを、ＭＰＥＧ４  ＭＶＣなどの多視点画像符号化方式（第１の符号化方式）に従って符号化する画像処理装置１０１を含む。また、当該画像処理システム１００は、画像処理装置１０１により符号化された多視点動画データを復号し、復号された多視点動画データをサイドバイサイド動画データに変換する画像処理装置１１１を含む。画像処理装置はさらに、この変換動画データをＭＰＥＧ４  ＡＶＣ（第２の符号化方式）に従って符号化する。
【００１５】
まず、画像処理装置１０１について説明する。
【００１６】
入力部１０２は、右眼用の動画データと左眼用の動画データとを含む多視点動画データを入力し、バス１０１を介してメモリ１０３に記憶する。入力部１０２は、例えば、ビデオカメラにより撮影された多視点画像の動画データを入力することができる。メモリ１０３は入力された動画データや各種の情報を記憶する。操作部１０４は電源スイッチや符号化処理の開始、停止を指示するためのスイッチ、後述の互換モードと通常モードとを切り替えるためのスイッチ等を有する。制御部１０５は、図示しないＣＰＵ（マイクロコンピュータ）やメモリ等を有し、メモリに記憶されたソフトウェアに従い、操作部１０４からの指示に応じて画像処理装置１０１の動作を制御する。符号化方式決定部１０６は、設定されたモードに応じて、多視点動画データを符号化する際のスライスタイプやマクロブロック分割タイプ、或いは予測符号化モード等のパラメータを決定する（パラメータ生成手段）。予測符号化部１０７は、符号化方式決定部１０６により決定された符号化パラメータに応じて多視点動画データの予測誤差データを生成し、これを直交変換したデータを生成する。エントロピー符号化部１０８は、予測符号化部１０７からのデータにエントロピー符号化処理を施す。出力部１０９は、符号化された多視点動画データを有線伝送路、無線伝送路等の伝送路１３０を介して、画像処理装置１１１を含む外部機器に出力する。
【００１７】
ＭＰＥＧ４  ＭＶＣでは、各視点の画像をビューコンポーネントとして定義し、複数のビューコンポーネントで多視点符号化データが構成される。ビューコンポーネントには必ずそのビューコンポーネント単体で復号が可能なＭＰＥＧ４  ＡＶＣ方式で符号化されたビューコンポーネントを含む必要がある。このビューコンポーネントをベースビューと呼び、他のビューコンポーネントをノンベースビューと呼ぶ。ベースビューは、他視点の画像を参照画面として用いる視差補償予測を利用せず、画面内予測、もしくは、自視点の画面を参照画面として用いる画面間予測のみで符号化が可能である。ノンベースビューは、画面内予測、或いは、自視点の画面を参照画面として用いる画面間予測に加え、他視点の画面を参照画面として用いる視差補償予測を利用した符号化が可能である。本実施形態では、ベースビューを左眼用の画像、ノンベースビューを右眼用の画像とする。
【００１８】
図２に多視点動画データの符号化方式を概念的に示す。多視点動画データは、左眼用の動画データ２０１と右眼用の動画データ２０２から構成される。前記のように、左眼用の動画データ２０１がベースビューで、右眼用の動画データ２０２がノンベースビューである。なお、図２に記載されている数１、２、…、（ｎ＋２）は各画面の表示順を示す。
【００１９】
図２の記載されているＩ，Ｐ，Ｂはそれぞれ、Ｉスライス、Ｐスライス、Ｂスライスを示す。左眼用の動画データ２０１はベースビューであるため、Ｉスライスは画面内予測、Ｐスライスは前方の画面を参照画面として用いる前方予測、Ｂスライスは前後の画面を参照画面として用いる双方向予測により符号化される。
【００２０】
また、右眼用の動画データ２０２はノンベースビューであるため、Ｐ，Ｂスライスはそれぞれ前方予測、双方向予測に加え、同時刻の左眼用の画像を参照画面として用いる視差予測による予測符号化を用いて符号化することが可能である。
【００２１】
次に、画像処理装置１０１による符号化処理について、図５、図６に示すフローチャートを用いて説明する。図５、図６に示すフローチャートの処理は、制御部１０５が各部を制御することにより実行される。
【００２２】
画像処理装置１０１は、符号化処理として互換モード（第１のモード）と通常モード（第２のモード）を持つ。互換モードは、符号化された多視点動画データを復号してサイドバイサイド画像に変換し、次いでＭＰＥＧ４  ＡＶＣに従って符号化するときに、多視点動画データを符号化したときの符号化パラメータを用いることができるように符号化を制御するモードである。通常モードは、後述するように、符号化パラメータがサイドバイサイド画像の符号化でも使用できるという制約なしに多視点動画データの符号化を制御するモードである。ユーザは、操作部１０４を操作することにより、互換モードと通常モードを切り替えて設定することが可能である。
【００２３】
まず、操作部１０４により符号化開始が指示されると、制御部１０５は、互換モードが設定されているか否かを判別する（Ｓ５０１）。互換モードが設定されている場合、互換モードでの符号化処理を実行する（Ｓ５０２）。通常モードが設定されている場合、通常モードでの符号化処理を実行する（Ｓ５０３）。
【００２４】
次に、多視点動画データの符号化の基本動作を説明する。
【００２５】
入力部１０２は、図２に示す順序(表示順)で入力された多視点動画データをメモリ１０３に記憶する。符号化方法決定部１０６は、メモリ１０３に記憶された多視点動画データの左眼用の画像と右眼用の画像とをそれぞれ符号化処理の順に読み出す。符号化方法決定部１０６は、局部復号された参照画面のデータを適宜メモリ１０３より読み出し、簡易的な画面内予測、動き補償予測又は視差補償予測を含む画面間予測処理を行うことにより、符号化効率を示す評価値をマクロブロックごとに算出する。マクロブロックは動画データの符号化の単位であるが、詳細は後述する。
【００２６】
そして、符号化方法決定部１０６は、算出した評価値に基づいて、符号化効率が最適となる多視点動画データの予測符号化方式を決定する。符号化方法決定部１０６は、符号化対象のマクロブロックがＩスライスの場合は、画面内予測のブロックサイズ及び予測モードを決定する。また、符号化対象のマクロブロックがベースビューのＰスライス又はＢスライスの場合、符号化方法決定部１０６は、画面内予測又は動き補償（画面間）予測のうち、符号化効率の高い方を選択する。そして、画面内予測を選択した場合、画面内予測のブロックサイズ、画面内予測モード等の画面内予測符号化用パラメータを決定する。また、動き補償予測を選択した場合は、参照画面、マクロブロック分割情報、動きベクトル等の動き補償予測符号化用パラメータを決定する。
【００２７】
また、符号化対象のマクロブロックがノンベースビューのＰスライス又はＢスライスの場合、符号化方法決定部１０６は、画面内予測、動き補償予測に加え、視差補償予測から、符号化効率の高い予測モードを選択する。そして、視差補償予測を選択した場合は、参照画面、マクロブロック分割情報、視差ベクトル等の動き補償予測符号化用パラメータを決定する。
【００２８】
符号化方法決定部１０６は、この様に決定した符号化対象のマクロブロックの多視点動画データの予測符号化用パラメータを予測符号化部１０７に出力する。
【００２９】
次に、マクロブロックについて説明する。ＭＰＥＧ４  ＭＶＣ及び、ＭＰＥＧ４  ＡＶＣでは、所定数の画素を含むマクロブロックを単位として符号化処理を行う。マクロブロックは水平１６画素×垂直１６画素を含む。また、ＭＰＥＧ４  ＭＶＣ及び、ＭＰＥＧ４  ＡＶＣでは、複数のマクロブロック分割タイプが用意(定義)されている。一つのマクロブロックを、更に小さいブロックに分割したものがマクロブロック分割タイプである。
【００３０】
なお、本実施形態では、図３に示す様に、復号された左眼用の画像３０１と右眼用の画像３０１の水平方向の画素数をそれぞれ１／２に削減してそれらを合成し、１画面のサイドバイサイド画像３０５を生成する。この様な合成方法で生成されたサイドバイサイド画像をＭＰＥＧ４  ＡＶＣにより符号化する場合は、左眼用画像３０１と右眼用画像３０２において、各マクロブロックの水平画素数も半分になる。そして、左眼用画像３０１と右眼用画像３０２における隣接する二つのマクロブロックが、サイドバイサイド画像では一つのマクロブロックとなる。
【００３１】
図４はマクロブロックの構成を概念的に示す図である。図においてサブマクロブロック分割タイプを示すブロックの大きさは見やすいように便宜的にマクロブロック分割タイプに比べて大きく図示されている。なお、ＭＰＥＧ４  ＭＶＣでは、予測符号化の単位となるマクロブロック分割タイプに関してはＭＰＥＧ４  ＡＶＣと同様である。
【００３２】
図４（ａ）に示すように、一つのマクロブロック４０１は水平１６画素×垂直１６画素で構成される。また、マクロブロック分割タイプ４０２として、１６×１６画素、８×１６画素、１６×８画素及び８×８画素の４種類が定義されている。マクロブロック分割タイプが８×８画素の場合、その８×８画素単位をサブマクロブロックと呼ぶ。サブマクロブロック分割タイプ４０３として、８×８画素、４×８画素、８×４画素及び４×４画素の４種類が定義されている。各マクロブロック分割タイプにおいて、分割されたブロック毎に画面内予測モードが設定され、また、分割されたブロック毎に動きベクトル、或いは視差ベクトルが算出される。また、各サブマクロブロック分割タイプにおいて、分割されたブロック毎に画面内予測モードが設定され、また、分割されたブロック毎に動きベクトル、或いは視差ベクトルが算出される。
【００３３】
これらのマクロブロック分割タイプのうち、画面内予測では、１６×１６画素及び８×８画素の２種類のマクロブロック分割タイプが利用可能である。また、サブマクロブロック分割タイプとして、８×８画素及び４×４画素の２種類が利用可能である。ただし、一つのマクロブロック内でのサブマクロブロック分割タイプは１種類のみ選択可能である。動き補償及び視差補償を含む画面間予測では、全てのマクロブロック分割タイプが利用可能であり、マクロブロック分割タイプが８×８画素が選択された場合、そのサブマクロブロックに対して全てのサブマクロブロック分割タイプが利用可能である。
【００３４】
本実施例では、互換モードにおいて、水平方向に隣接する二つのマクロブロック（マクロブロックペアと呼ぶ）毎に、同一のマクロブロック分割タイプを選択する。そして、画面内予測符号化の場合、図４（ｂ）に示すように、マクロブロック分割タイプとして１６×１６画素又は８×８画素の何れかを利用可能とし、サブマクロブロック分割タイプとして８×８画素を利用可能とする。ここで、４×４画素のサブマクロブロック分割タイプについては、水平画素数を半分にした場合、２×４画素になり、サイドバイサイド変換後においては、隣接する二つの２×４画素のブロックが一つの４×４画素のブロックを構成する。そして、隣接する二つの２×４画素のブロックの動きベクトル或いは視差ベクトルが異なる場合があるので、サブマクロブロック分割タイプとして４×４画素の利用を禁止する。
【００３５】
また画面間予測符号化の場合には、図４（ｃ）に示すように、マクロブロック分割タイプとして１６×１６画素、１６×８画素又は８×８画素の何れかを利用可能とし、サブマクロブロック分割タイプとして８×８画素又は８×４画素を利用可能とする。ここで、８×１６画素のマクロブロック分割タイプの水平画素数を半分にした場合、４×１６画素になる。サイドバイサイド変換後においては、隣接する二つの４×１６画素のブロックが一つの８×１６画素のブロックを構成する。そして、隣接する二つの８×１６画素のブロックの動きベクトル或いは視差ベクトルが異なる場合があるので、マクロブロック分割タイプとして８×１６画素の利用を禁止する。また、４×８画素のサブマクロブロック分割タイプの水平画素数を半分にした場合、２×８画素になる。サイドバイサイド変換後においては、隣接する二つの２×８画素のブロックが一つの４×８画素のブロックを構成する。そして、隣接する二つの２×８画素のブロックの動きベクトル或いは視差ベクトルが異なる場合があるので、サブマクロブロック分割タイプとして４×８画素の利用を禁止する。また、４×４画素のサブマクロブロック分割タイプの水平画素数を半分にした場合、２×４画素になる。サイドバイサイド変換後においては、隣接する二つの２×４画素のブロックが一つの４×４画素のブロックを構成する。そして、隣接する二つの２×４画素のブロックの動きベクトル或いは視差ベクトルが異なる場合があるので、サブマクロブロック分割タイプとして４×４画素の利用を禁止する。
【００３６】
この様に、マクロブロックペアに対して同一のマクロブロック分割タイプを選択することで、サイドバイサイド画像に変換した後、ＭＰＥＧ４  ＡＶＣ方式で符号化する際に、ＭＰＥＧ４  ＭＶＣにおける符号化パラメータを利用することが可能となる。
【００３７】
また、ベースビューのピクチャがＩスライス、即ち画面内予測符号化のみで符号化する場合、対応する（同じ時間の）ノンベースビューのピクチャも画面内予測を選択する。この様に、同じ時間のベースビューとノンベースビューの画像を共に画面内予測により符号化することで、サイドバイサイド画像に変換した後、ＭＰＥＧ４  ＡＶＣ方式で符号化する際に、Ｉスライスとして符号化することが可能となる。
【００３８】
図６は、互換モードの処理のフローチャートを示す図である。互換モードにおいて、符号化方法決定部１０６は、前記の様に、画面内予測のマクロブロック分割タイプとして１６×１６画素、８×８画素を設定し、サブマクロブロック分割タイプとして８×８画素を設定する（Ｓ６０１）。また、符号化方法決定部１０６は、画面間予測のマクロブロック分割タイプとして１６×１６画素、１６×８画素又は８×８画素を設定し、サブマクロブロック分割タイプとして８×８画素又は８×４画素を設定する（Ｓ６０２）。
【００３９】
次に、符号化方法決定部１０６は、符号化対象のマクロブロックがベースビューの動画データであるか否かを判別する（Ｓ６０３）。符号化対象のマクロブロックがベースビューであった場合、符号化方法決定部１０６は、符号化対象のマクロブロックを含むマクロブロックペアにおける隣接マクロブロックが符号化済みか否かを判別する（Ｓ６０４）。隣接マクロブロックが符号化済みであった場合、符号化方法決定部１０６は、隣接するマクロブロックと同じ予測モード及び同じマクロブロック分割タイプを選択する（Ｓ６０５）。
【００４０】
また、Ｓ６０４で、同じマクロブロックペアの隣接マクロブロックが符号化済みでない場合、符号化方法決定部１０６は、符号化対象のマクロブロックがＩスライスであるか否かを判別する（Ｓ６０９）。符号化対象のマクロブロックがＩスライスであった場合、符号化方法決定部１０６は、図４（ｂ）に示した画面内予測のマクロブロック分割タイプを選択し、複数の画面内予測モードから効率が高い予測モードを選択する（Ｓ６１０）。また、符号化対象のマクロブロックがＩスライスでない場合、符号化方法決定部１０６は、画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する（Ｓ６１１）。そして、画面内予測と画面間予測のマクロブロック分割タイプのうち、選択した予測モードに対応したマクロブロック分割タイプを選択する（Ｓ６１２）。
【００４１】
一方、Ｓ６０３で、符号化対象のマクロブロックがノンベースビューであった場合、符号化方法決定部１０６は、符号化対象のマクロブロックを含むマクロブロックペアにおける隣接マクロブロックが符号化済みか否かを判別する（Ｓ６１３）。隣接マクロブロックが符号化済みであった場合、符号化方法決定部１０６は、隣接するマクロブロックと同じ予測モード及び同じマクロブロック分割タイプを選択する（Ｓ６１４）。
【００４２】
また、Ｓ６１３で、同じマクロブロックペアの隣接マクロブロックが符号化済みでない場合、符号化対象のマクロブロックに対応するベースビューの画像がＩスライスであるか否かを判別する（Ｓ６１５）。符号化対象のマクロブロックに対応するベースビューの画像がＩスライスであった場合、符号化方法決定部１０６は、符号化対象のマクロブロックの予測モードを画面内予測に設定する（Ｓ６１６）。そして、符号化方法決定部１０６は、図４（ｂ）に示した画面内予測のマクロブロック分割タイプを選択する（Ｓ６１７）。また、符号化対象のマクロブロックに対応するベースビューの画像がＩスライスでない場合、符号化方法決定部１０６は、画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する（Ｓ６１８）。そして、画面内予測と画面間予測のマクロブロック分割タイプのうち、選択した予測モードに対応したマクロブロック分割タイプを選択する（Ｓ６１９）。
【００４３】
次に、符号化方法決定部１０６は、選択された予測モードやマクロブロック分割タイプに基づいて、動きベクトル、或いは視差ベクトル等の符号化パラメータを決定する（Ｓ６０６）。なお、Ｓ６０５、Ｓ６１２、Ｓ６１４、Ｓ６１９で、図４（ｃ）に示す画面間予測のマクロブロック分割タイプが選択されていた場合、予測モードとして、動き補償または視差補償の画面間予測モードを選択する。そして、符号化方法決定部１０６は、選択したマクロブロック分割タイプや、参照画面、予測モード、動きベクトルなどの符号化パラメータの情報を予測符号化部１０７に送ると共に、メモリ１０３に記憶する。
【００４４】
予測符号化部１０７は、符号化方法決定部１０６からの符号化パラメータに基づいて、符号化対象のマクロブロックを符号化する（Ｓ６０７）。即ち、予測符号化部１０７は、画面内予測を行う場合、決定された予測モードに従い、同じ画面のデータと符号化対象のマクロブロックとの予測誤差データ（差分）を生成する。また、予測符号化部１０７は、画面間予測を行う場合、決定された予測モードに従い、参照画面のデータ（予測データ）をメモリ１０３より読み出し、符号化対象データと参照データとの予測誤差データを生成する。そして、予測符号化部１０７は、指定された画素ブロック単位（８×８画素又は４×４画素ブロック単位）に直交変換処理を行う。予測符号化部１０７は、直交変換により得られた変換係数を、指定された量子化パラメータに応じた量子化ステップにより量子化し、量子化データをエントロピー符号化部１０８に出力する。
【００４５】
また、予測符号化部１０７は、量子化データに対して逆量子化処理、逆直交変換処理を行い、予測データを加算して局部復号データを生成する。そして、この局部復号データをメモリ１０３に記憶する。メモリ１０３に記憶されたデータは、以降の画面内予測処理に利用される。更に、予測符号化部１０７は、局部復号データに対してデブロッキングフィルタ処理を施した後、メモリ１０３に記憶する。メモリ１０３に記憶されたデブロッキングフィルタ処理後のデータは、以降の画面間予測処理に利用される。
【００４６】
エントロピー符号化部１０８は、入力された量子化データに対してエントロピー符号化処理を行い、メモリ１０３に出力する。ここで、エントロピー符号化処理は、次の２つの符号化を含む。即ち、コンテキスト適応型可変長符号化（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉｂａｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ。以下ＣＡＶＬＣ）とコンテキスト適応型２値算術符号化（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ。以下ＣＡＢＡＣ）である。
【００４７】
制御部１０５は、操作部１０４より符号化処理の終了指示があったか否かを判別し（Ｓ６０８）、終了指示があると処理を終了する。また、符号化の終了指示が無い場合には、Ｓ６０３に戻って次のマクロブロックの処理を続ける。
【００４８】
この様に符号化された動画データは、一旦メモリ１０３に記憶される。そして、出力部１０９は、符号化された左眼用画像データと右眼用画像データ、及び符号化パラメータの情報を多重して、多視点符号化データとして外部に出力する。また、出力部１０９は、互換モードと通常モードを識別するための識別情報を多視点符号化データに付加して出力する。
【００４９】
次に、通常モードの符号化処理を説明する。通常モードでは、マクロブロック分割タイプとして、画面内予測、或いは画面間予測用として利用可能なマクロブロック分割タイプを全て利用する。また、通常モードでは、同じマクロブロックペアのマクロブロック分割タイプに関係無く、マクロブロック毎に独立にマクロブロック分割タイプを決定する。また、通常モードでは、ノンベースビューの画像について、対応するベースビューの画像におけるスライスタイプに関係なく予測モードを決定する。
【００５０】
図７は通常モードの処理を示すフローチャートである。通常モードにおいて、符号化方法決定部１０６は、前記の様に、画面内予測のマクロブロック分割タイプとして１６×１６画素、８×８画素を設定し、サブマクロブロック分割タイプとして８×８画素と４×４画素を設定する（Ｓ７０１）。また、符号化方法決定部１０６は、画面間予測のマクロブロック分割タイプとして全てマクロブロック分割タイプを設定し、サブマクロブロック分割タイプとして全てのサブマクロブロック分割タイプを設定する（Ｓ７０２）。
【００５１】
次に、符号化方法決定部１０６は、符号化対象のマクロブロックがベースビューの動画データであるか否かを判別する（Ｓ７０３）。符号化対象のマクロブロックがベースビューであった場合、符号化方法決定部１０６は、符号化対象のマクロブロックがＩスライスであるか否かを判別する（Ｓ７０４）。符号化対象のマクロブロックがＩスライスであった場合、符号化方法決定部１０６は、画面内予測のマクロブロック分割タイプから、符号化効率が高いものを選択する（Ｓ７０５）。また、符号化対象のマクロブロックがＩスライスでない場合、符号化方法決定部１０６は、画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する（Ｓ７０９）。そして、画面内予測と画面間予測のマクロブロック分割タイプのうち、選択した予測モードに対応したマクロブロック分割タイプを選択する（Ｓ７１０）。
【００５２】
一方、Ｓ７０３で、符号化対象のマクロブロックがノンベースビューであった場合、符号化方法決定部１０６は、画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する（Ｓ７１１）。そして、画面内予測と画面間予測のマクロブロック分割タイプのうち、選択した予測モードに対応したマクロブロック分割タイプを選択する（Ｓ７１２）。
【００５３】
次に、符号化方法決定部１０６は、符号化対象マクロブロックのスライスタイプとマクロブロック分割タイプに基づいて、予測モードや動きベクトル、或いは視差ベクトル等の符号化パラメータを決定する（Ｓ７０６）。そして、符号化方法決定部１０６は、選択したマクロブロック分割タイプや、参照画面、予測モード、動きベクトルなどの符号化パラメータの情報を予測符号化部１０７に送ると共に、メモリ１０３に記憶する。
【００５４】
予測符号化部１０７は、互換モードと同様に、符号化方法決定部１０６からの符号化パラメータに基づいて、符号化対象のマクロブロックを符号化する。更に、エントロピー符号化部１０８は、互換モードと同様にエントロピー符号化部を行い、符号化されたデータをメモリ１０３に記憶する（Ｓ７０７）。そして、符号化終了の指示があると、符号化処理を終了する（Ｓ７０８）。出力部１０９は、符号化された左眼用画像データと右眼用画像データ及び符号化パラメータの情報を多重して、多視点画像符号化データとして外部に出力する。また、出力部１０９は、互換モードと通常モードを識別するための識別情報を多視点画像符号化データに付加して出力する。
【００５５】
以上が本発明の画像処理装置１０１の構成であり、多視点動画データを符号化するための符号化パラメータを、サイドバイサイド動画データのマクロブロックが多視点動画データのマクロブロックペアから変換されることを考慮して生成する互換モードを有する。これにより、多視点動画データにおけるマクロブロックペアの符号化パラメータをサイドバイサイド画像のマクロブロックの符号化パラメータに対応するように、容易に変換することが可能となる。
【００５６】
次に、画像処理装置１１１について説明する。画像処理装置１１１は、入力された多視点画像符号化データを復号し、左眼用の動画データと右眼用の動画データを外部機器に出力する。また、画像処理装置１１１は、入力された多視点画像符号化データを復号した後、復号された多視点画像をサイドバイサイド画像に変換し、ＭＰＥＧ４  ＡＶＣに従って符号化する変換処理を行う。また、画像処理装置１１１は、変換処理において、入力された多視点画像符号化データが互換モードで符号化されていた場合、多視点画像符号化データの符号化パラメータを用いて、サイドバイサイド画像を符号化する際の符号化パラメータを生成する。
【００５７】
画像処理装置１１１において、入力部１１２は、画像処理装置１０１より出力された多視点画像符号化データを入力する。メモリ１１３は、入力された多視点画像符号化データや、多視点画像符号化データに付加された各マクロブロックの符号化パラメータの情報、その他の情報を記憶する。操作部１１４は電源スイッチや多視点画像符号化データの入力、復号処理の開始、停止を指示するためのスイッチ、サイドバイサイド画像への変換を指示するためのスイッチ等を有する。制御部１１５は、ＣＰＵ（マイクロコンピュータ）やメモリ等を有し、操作部１１４からの指示に応じて画像処理装置１１１の動作を制御する。復号部１１６は、入力された多視点画像符号化データを復号し、左眼用の動画データと右眼用の動画データを出力する。出力部１１７は、復号された左眼用の動画データと右眼用の動画データとを含む多視点の動画データを、３次元表示可能な表示装置等の外部機器に出力する。また、出力部１１７は、サイドバイサイド画像への変換指示があった場合には、符号化されたサイドバイサイド画像データを出力する。
【００５８】
画像処理部１１８は、復号された左眼用画像と右眼用画像とを用いてサイドバイサイド画像を生成する。パラメータ変換部１１９は、多視点画像符号化データに付加された符号化パラメータを用いて、サイドバイサイド画像を符号化するために用いる符号化パラメータを生成する。符号化方法決定部１２０は、サイドバイサイド画像を符号化する際のスライスタイプやマクロブロック分割タイプ、或いは予測符号化モード等のパラメータを決定する。符号化方法決定部１２０は、入力された多視点画像符号化データが互換モードで符号化されていた場合、パラメータ変換部１１９からの符号化パラメータに基づいてスライスタイプやマクロブロック分割タイプ、或いは予測符号化モード等のパラメータを決定する。予測符号化部１２１は、符号化方法決定部１２０により決定された符号化パラメータに応じてサイドバイサイド画像データの予測誤差データを生成し、これを直交変換したデータを生成する。エントロピー符号化部１２１は、予測符号化部１２１からのデータにエントロピー符号化処理を施す。出力部１０９は、符号化された多視点動画データを有線伝送路、無線伝送路等の伝送路を介して、画像処理装置１１１を含む外部機器に出力する。
【００５９】
なお、符号化方法決定部１２０、予測符号化部１２１、エントロピー符号化部１２２はそれぞれ、符号化方法決定部１０６、予測符号化部１０７、エントロピー符号化部１０８と同様の機能を持つ。制御部１１５はこれらを制御し、具体的には例えばＣＰＵによる制御プログラムの実行により符号化を達成する。
【００６０】
画像処理装置１１１において、制御部１１５は、操作部１１４より復号開始の指示があった場合、入力部１１２により多視点画像符号化データを入力する。入力部１１２は、画像処理装置より多視点画像符号化データを入力し、バス１２３を介してメモリ１１３に順次記憶する。次に、制御部１１５は、復号部１１６に対し、復号処理を開始するように指示する。復号部１１６は、メモリ１１３より多視点画像符号化データを順次読み出して復号し、復号した左眼用の動画データと右眼用の動画データを一旦メモリ１１３に記憶する。制御部１１５は出力部１１７に対し、復号された動画データを出力するように指示する。出力部１１７は、メモリ１１３より、復号された左眼用の動画データと右眼用の動画データとを読み出し、外部に出力する。
【００６１】
次に、変換処理について説明する。前記のように、多視点画像符号化データを入力している状態、或いは、それ以外の状態で、操作部１１４より、サイドバイサイド画像への変換指示があった場合、制御部１１５は各部を制御して変換処理を開始する。
【００６２】
そして、制御部１１５は、入力された多視点画像符号化データが互換モードにより符号化さているか否かを判別する。入力された多視点画像符号化データが互換モードで符号化されていた場合、制御部１１５は、多視点画像符号化データの符号化パラメータを用いて、サイドバイサイド画像の符号化を行うように各部を制御する。
【００６３】
図８は、互換モードで符号化された多視点画像符号化データの変換処理のフローチャートを示す。図８の処理は制御部１１５が各部を制御することにより実行される。
【００６４】
操作部１１４より変換処理の指示があった場合、制御部１１５は、入力部１１２により多視点画像符号化データを入力する。入力部１１２は、画像処理装置１０１より多視点画像符号化データを入力し、バス１２３を介してメモリ１１３に順次記憶する。次に、制御部１１５は、復号部１１６に対し、復号処理を開始する様に指示する。復号部１１６は、メモリ１１３より多視点画像符号化データを順次読み出して復号し、復号した左眼用の動画データと右眼用の動画データを一旦メモリ１１３に記憶する（Ｓ８０１）。また、復号部１１６は、各マクロブロックの符号化パラメータの情報をメモリ１１３に記憶する（Ｓ８０２）。
【００６５】
次に、制御部１１５は、画像処理部１１８に対し、サイドバイサイド画像を生成するよう指示する。画像処理部１１８は、メモリ１１３に記憶された左眼用の動画データと右眼用の動画データより、同じ時間の左眼用画像と右眼用画像を読み出す。そして、図３に示すように、読み出した各画像データの水平方向の画素数を半分に削減し、画素数が減少された左眼用の画像と右眼用の画像を合成してサイドバイサイド画像を生成する（Ｓ８０３）。この様に、画像処理部１１８は、順次サイドバイサイド画像を生成し、メモリ１１３に記憶する。
【００６６】
次に、制御部１１５は、パラメータ変換部１１９に対して符号化パラメータの生成を指示すると共に、符号化方法決定部１２０、予測符号化部１２１、エントロピー符号化部１２２に対し、符号化処理の開始を指示する。
【００６７】
パラメータ変換部１１９は、サイドバイサイド画像に変換する前の左眼用画像と右眼用画像における、マクロブロックペアを単位として、符号化パラメータの変換処理を行う。本実施形態では、多視点動画データにおけるマクロブロックペアの二つのマクロブロックが、サイドバイサイド画像における一つのマクロブロックとして符号化処理される。そのため、多視点動画データにおけるマクロブロックペアの符号化パラメータが、サイドバイサイド画像の符号化の際の一つのマクロブロックの符号化パラメータに対応するように、多視点動画データにおける符号化パラメータを変換する。
【００６８】
パラメータ変換部１１９は、メモリ１１３に記憶された符号化パラメータの情報に基づき、符号化対象のマクロブロックに対応した、多視点動画データにおけるマクロブロックペアの予測モードが画面内予測か否かを判別する（Ｓ８０４）。画面内予測であった場合、パラメータ変換部１１９は、多視点動画データにおけるマクロブロックペアのマクロブロック分割タイプから、符号化対象のマクロブロックのマクロブロック分割タイプを決定する（Ｓ８０５）。
【００６９】
ここでは、図９に示すように、１６×１６画素又は８×８画素の２種類のマクロブロック分割タイプから、水平方向の画素数が半分となっているマクロブロック分割タイプに変換する。図９（ａ）は、多視点画像のマクロブロック分割タイプ９０１が１６×１６画素の場合を示している。この場合、８×８画素のマクロブロック分割タイプ９０２に変換する。図９（ｂ）は、マクロブロック分割タイプ９０３が８×８画素で、サブマクロブロック分割タイプ９０４が８×８画素の場合を示している。この場合、マクロブロック分割タイプが８×８画素で、４×４画素のサブマクロブロック分割タイプ分割に変換する。
【００７０】
次に、パラメータ変換部１１９は、多視点動画データの画面内予測モードから、符号化対象のマクロブロックの画面内予測モードを決定する（Ｓ８０６）。図９に示す各ブロックの数字は、変換前後の画面内予測モードの対応を示している。例えば、図９（ｂ）に示す多視点動画データのマクロブロックにおける番号１と２の部分が画面内予測モードのｖｅｒｔｉｃａｌ（垂直）、番号３がＤＣ（平均）、番号４の部分がｈｏｒｉｚｏｎｔａｌ（水平）であったとする。この場合、符号化対象のマクロブロックにおける番号１と２の部分が画面内予測モードのｖｅｒｔｉｃａｌ（垂直）、番号３がＤＣ（平均）、番号４がｈｏｒｉｚｏｎｔａｌ（水平）となる。以上のように画面内予測用の符号化パラメータを変換する。
【００７１】
一方、符号化対象のマクロブロックに対応した、多視点動画データにおけるマクロブロックのペアの予測モードが画面内予測でない場合は、次のように処理を行う。即ち、符号化対象のマクロブロックのマクロブロック分割タイプを、多視点動画データにおけるマクロブロック分割タイプから決定する（Ｓ８０９）。
【００７２】
ここでは、図１０に示すように１６×１６画素、１６×８画素又は８×８画素の３種類のマクロブロック分割タイプから、水平方向の画素数が半分となっているマクロブロック分割タイプに変換する。図１０（ａ）は、多視点動画データのマクロブロック分割タイプ１００１が１６×１６画素の場合を示している。この場合、８×１６画素のマクロブロック分割タイプ１００２に変換する。図１０（ｂ）は、多視点動画データのマクロブロック分割タイプ１００３が１６×８画素の場合を示している。この場合、８×８画素のマクロブロック分割タイプ１００４に変換する。図１０（ｃ）は、多視点動画データのマクロブロック分割タイプ１００５が８×８画素の場合を示している。この場合、更に、各サブマクロブロックを変換する。サブマクロブロック分割タイプ１００６が８×８画素の場合を示、４×８画素のマクロブロック分割タイプ１００７に変換する。サブマクロブロック分割タイプ１００８が８×４画素の場合、４×４画素のサブマクロブロック分割タイプ１００９に変換する。
【００７３】
次に、パラメータ変換部１１９は、多視点動画データにおけるマクロブロックペアの予測モードから、符号化対象のマクロブロックの予測モードを決定する（Ｓ８１０）。次に、パラメータ変換部１１９は、符号化対象のマクロブロックの予測モードが動き補償予測であるか否かを判別する（Ｓ８１１）。符号化対象のマクロブロックが動き補償予測であった場合、パラメータ変換部１１９は、符号化対象のマクロブロックに対応する多視点動画データのマクロブロックの動きベクトルを用いて符号化対象のマクロブロックの動きベクトルを生成する（Ｓ８１２）。図１０に示す各ブロックの数字は、変換前後の動きベクトル生成対象ブロックの対応を示している。例えば、多視点動画データのマクロブロックペア１００３における１番のブロックの動きベクトルを変換することにより、サイドバイサイド画像のマクロブロック１００４における１番のマクロブロックの動きベクトルを生成する。符号化方向決定部１１９は、図１１に示すように、符号化対象のマクロブロック１１０３に対応する多視点動画データのマクロブロック１１０４の動きベクトル１１０１の水平方向の長さを１／２に減少することにより、動きベクトル１１０２を生成する。
【００７４】
また、符号化対象のマクロブロックの予測モードが動き補償予測でない場合、符号化対象のマクロブロックは視差補償予測である。パラメータ変換部１１９は、符号化対象のマクロブロックに対応する多視点動画データのマクロブロックの視差ベクトルを用いて号化対象のマクロブロックの動きベクトルを生成する（Ｓ８１３）。パラメータ変換部１１９は、図１２に示すように、符号化対象のマクロブロック１２０３に対応する多視点動画データのマクロブロック１２０４の動きベクトル１２０１の水平方向の長さを１／２に減少する。そして、符号化方法決定部１２０は、多視点動画データにおける１画面の水平方向の画素数を１／２に対応したオフセット値を動きベクトルの水平方向の長さから減算し、動きベクトル１２０２を算出する。
【００７５】
また、符号化対象のマクロブロックが視差補償予測で、更にＢスライスあった場合、パラメータ変換部１１９は、符号化対象のマクロブロックを含む画面の１画面前の画面を参照画面として設定する。また、符号化対象のマクロブロックが視差補償予測で、更にＰスライスあった場合、パラメータ変換部１１９は、符号化対象のマクロブロックを含む画面の直前のＰスライスの画面を参照画面として設定する。
【００７６】
なお、本実施形態では、右眼用画像が左眼用画像を参照画面として用いる場合を示している。しかし、左眼用画像が右眼用画像を参照画面として用いる場合は、視差ベクトル情報の水平距離を半分にし、１画面の水平画素数を半分にしたオフセット値を加算して動きベクトル情報を算出する。尚、動きベクトル及び視差ベクトル情報の変換により画素精度が４分の１画素以下になる場合には、四捨五入により４分の１画素精度へ丸めて変換する。
【００７７】
この様にパラメータ変換部１１９によりサイドバイサイド画像における符号化対象のマクロブロックのマクロブロック分割タイプ、予測モード、動きベクトル、参照画面の各符号化パラメータを生成する。また、パラメータ変換部１１９は、サイドバイサイド画像に対応した多視点動画データにおけるメインビュー（左眼用画像）のスライスタイプを、符号化対象のマクロブロックを含む画面のスライスタイプとして設定する。符号化方向決定部１２０は、互換モードにおいて、パラメータ変換部１１９により生成された符号化パラメータを符号化対象のマクロブロックの符号化パラメータとして出力する。制御部１１５は、予測符号化部１２１に対し、符号化方法決定部１２０により生成された符号化パラメータに従い、符号化対象のマクロブロックを符号化するように指示する。
【００７８】
予測符号化部１２１は、符号化方法決定部１２０からの符号化パラメータに基づいて、符号化対象のマクロブロックを符号化する（Ｓ８０７）。予測符号化部１２１は、画面内予測を行う場合、決定された予測モードに従い、同じ画面のデータと符号化対象のマクロブロックとの予測誤差データを生成する。また、予測符号化部１２１は、画面間予測を行う場合、決定された予測モードに従い、参照画面のデータ（予測データ）をメモリ１１３より読み出し、符号化対象データと参照データとの予測誤差データを生成する。そして、予測符号化部１２１は、指定された画素ブロック単位に直交変換処理を行う。予測符号化部１２１は、直交変換により得られた変換係数を、指定された量子化パラメータに応じた量子化ステップにより量子化し、量子化データをエントロピー符号化部１２２に出力する。
【００７９】
また、予測符号化部１２１は、量子化データに対して逆量子化処理、逆直交変換処理を行い、予測データを加算して局部復号データを生成する。そして、この局部復号データをメモリ１１３に記憶する。メモリ１１３に記憶されたデータは、以降の画面内予測処理に利用される。更に、予測符号化部１２１は、局部復号データに対してデブロッキングフィルタ処理を施した後、メモリ１１３に記憶する。メモリ１１３に記憶されたデブロッキングフィルタ処理後のデータは、以降の画面間予測処理に利用される。
【００８０】
エントロピー符号化部１２２は、入力された量子化データに対してコンテキスト適応型可変長符号化（ＣＡＶＬＣ）又はコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）によるエントロピー符号化処理を行い、メモリ１１３に出力する。
【００８１】
制御部１１５は、操作部１１４より変換処理の終了指示があったか否かを判別し（Ｓ８０８）、終了指示があると処理を終了する。また、符号化の終了指示が無い場合には、Ｓ８０３に戻って次のマクロブロックの処理を続ける。
【００８２】
この様に符号化された動画データは、一旦メモリ１１３に記憶される。そして、出力部１１７は、符号化されたサイドバイサイド画像データを外部機器に出力する。
【００８３】
また、変換処理において、入力された多視点画像符号化データが通常モードで符号化されていた場合、制御部１１５は、多視点画像符号化データの符号化パラメータを用いることなくＭＰＥＧ４  ＡＶＣ方式により変換処理を行うように各部に指示する。
【００８４】
この場合、画像処理部１１８は、メモリ１１３に記憶された左眼用の動画データと右眼用の動画データより、前記の様にサイドバイサイド画像を生成する。そして、符号化方法決定部１２０は、画面内予測のマクロブロック分割タイプとして１６×１６画素、８×８画素を設定し、サブマクロブロック分割タイプとして８×８画素と４×４画素を設定する。また、符号化方法決定部１２０は、画面間予測のマクロブロック分割タイプとして全てマクロブロック分割タイプを設定し、サブマクロブロック分割タイプとして全てのサブマクロブロック分割タイプを設定する。
【００８５】
次に、符号化方法決定部１２０は、簡易的な画面内予測、動き補償予測又は視差補償予測を含む画面間予測処理を行うことにより符号化効率を示す評価値をマクロブロックごとに算出する。そして、符号化方法決定部１２０は、符号化対象のマクロブロックのスライスタイプと算出した評価値とに基づいて予測モードを決定する。符号化対象のマクロブロックがＩスライスであった場合、符号化方法決定部１２０は、画面内予測のマクロブロック分割タイプから、符号化効率が高いものを選択する。また、符号化対象のマクロブロックがＩスライスでない場合、符号化方法決定部１２０は、画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する。そして、符号化方法決定部１２０は、画面内予測と画面間予測のマクロブロック分割タイプのうち、選択した予測モードに対応したマクロブロック分割タイプを選択する。
【００８６】
次に、符号化方法決定部１２０は、符号化対象マクロブロックのスライスタイプとマクロブロック分割タイプ、予測モード、動きベクトル等の符号化パラメータを決定する。そして、符号化方法決定部１２０は、選択したマクロブロック分割タイプや、参照画面、予測モード、動きベクトルなどの符号化パラメータの情報を予測符号化部１２１に送る。
【００８７】
予測符号化部１２１は、符号化方法決定部１２０からの符号化パラメータに基づいて、符号化対象のマクロブロックの予測誤差データを直交変換処理する。エントロピー符号化部１２２は、前記の様にエントロピー符号化部を行い、符号化されたデータをメモリ１１３に記憶する。そして、変換処理終了の指示があると、変換処理を終了する。出力部１１７は、符号化されたサイドバイサイド画像データを外部機器に出力する。
【００８８】
この様に、本第１の実施例では、多視点動画データをサイドバイサイド方式に変換した後ＭＰＥＧ４  ＡＶＣに従って符号化するときに、多視点画像符号化方式で符号化した際の符号化パラメータを用いることができるように多視点動画データの符号化を制御する。
【００８９】
これにより、復号装置において、多視点動画符号化データの符号化パラメータを変換するだけで、サイドバイサイド画像を符号化するための符号化パラメータを得ることができる。また、多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換することができる。
【００９０】
なお、本実施形態では、画像処理装置１０１により符号化された多視点動画符号化データを復号装置に出力する構成としたが、多視点動画符号化データを公知の記録装置により記録媒体に記録する構成としてもよい。また、本実施例では、画像処理装置１１１は画像処理装置１０１から出力された多視点動画符号化データを入力する構成としたが、前記の様に記録媒体に記録された多視点動画符号化データを再生する構成でもよい。
【００９１】
次に、第２の実施形態を説明する。第１の実施例では、一旦符号化した多視点動画データからサイドバイサイド画像を生成し、そのために多視点動画符号化データの復号処理が必要であった。しかし、多視点動画データの符号化パラメータをサイドバイサイド画像の符号化に利用する構成として、入力された多視点動画データを符号化しているときに当該入力データからサイドバイサイド画像を生成して符号化することも考えられる。第２の実施例はこの多視点動画データの符号化とサイドバイサイド画像の生成、符号化を並列処理で達成するための構成を提供する。
【００９２】
図１３は第２の実施例における画像処理装置１３０１の構成を示す図である。画像処理装置１３０１において、図１と同様の構成には同一の番号を付加している。図示されているように、本実施例の画像処理装置１３０１は、第１の実施例の画像処理装置１１１のサイドバイサイド画像の符号化構成を有する。上述したように、この符号化構成に含まれる符号化方法決定部１２０、予測符号化部１２１、エントロピー符号化部１２２は符号化方法決定部１０６、予測符号化部１０７、エントロピー符号化部１０８と同様の機能を有する。そして、これらの各部は制御部１０５による制御の下で、ＭＰＥＧ４  ＡＶＣ方式およびＭＰＥＧ４  ＭＶＣ方式の符号化を達成する。
【００９３】
画像処理装置１３０１は、図１の画像処理装置１０１と同様に、右眼用の動画データと左眼用の動画データとを含む多視点動画データを、ＭＰＥＧ４  ＭＶＣなどの多視点画像符号化方式に従って符号化する。また、画像処理装置１３０１は、入力された多視点動画データを図１の画像処理装置１１１と同様にサイドバイサイド画像に変換した後、ＭＰＥＧ４  ＡＶＣに従って符号化する。また、画像処理装置１３０１は、多視点動画データをＭＰＥＧ４  ＭＶＣにより符号化しながら、それと並列に、入力された多視点動画データをサイドバイサイド画像に変換した後、ＭＰＥＧ４  ＡＶＣに従って符号化する並列処理を行う。
【００９４】
画像処理装置１３０１は、並列処理において、サイドバイサイド画像をＭＰＥＧ４  ＡＶＣに従って符号化する際に、多視点画像符号化方式で符号化した際の符号化パラメータを用いることができるように、多視点動画データを符号化する。そして、パラメータ変換部１１９により、並列処理の際に、多視点動画データを符号化するために用いた符号化パラメータを変換することにより、サイドバイサイド画像の符号化パラメータを生成する。
【００９５】
多視点動画データの符号化開始後、或いは符号化停止中において、並列処理を指示するユーザ指示が操作部１０４により入力されると、制御部１０５は、各部に対して多視点動画データの符号化とサイドバイサイド画像の符号化処理を行う様に指示する。多視点動画データの符号化処理については、図６と同様の処理を行う。また、本実施例では、並列処理において、符号化方法決定部１０６は、Ｓ６０６で決定した符号化パラメータの情報をパラメータ変換部１１９に送る。しかし、パラメータ変換部１１９に送らずにメモリ１０３に記憶し、パラメータ変換部１１９がそれを参照する構成でもよい。
【００９６】
また、画像処理部１１８は、メモリ１０３に記憶された左眼用の動画データと右眼用の動画データから同じ時間の左眼用画像と右眼用画像を読み出す。読み出した各画像データの水平方向の画素数を半分に減少し、画素数が削減された左眼用の画像と右眼用の画像を合成してサイドバイサイド画像を生成する。また、パラメータ変換部１１９は、符号化方法決定部１０６より送られた符号化パラメータの情報に基づいて、サイドバイサイド画像における符号化対象のマクロブロックの符号化パラメータを決定する。サイドバイサイド画像の符号化処理については、図８と同様の処理を行う。
【００９７】
並列処理において、出力部１０９は、多視点動画符号化データと、サイドバイサイド画像の符号化データとを外部機器に出力する。この際、多視点動画符号化データと、サイドバイサイド画像の符号化データとを異なる外部機器に出力することも可能である。
【００９８】
上述した第２の実施例の構成によっても、第１の実施例と同様、多視点動画データを、効率的且つ高速に、サイドバイサイド画像に変換して符号化することができる。これにより、ＭＰＥＧ４  ＭＶＣにて符号化された動画データを復号できない装置に対しても、多視点動画像データに対応するサイドバイサイド画像の符号化データを提供することが可能となる。
【００９９】
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【０１００】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１０１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５乃至図８に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１０２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１０３】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【０１０４】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【０１０５】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０６】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０８】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１０９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【図１】
2013168867.tif 000003
【図２】
2013168867.tif 000004
【図３】
2013168867.tif 000005
【図４】
2013168867.tif 000006
【図５】
2013168867.tif 000007
【図６】
2013168867.tif 000008
【図７】
2013168867.tif 000009
【図８】
2013168867.tif 000010
【図９】
2013168867.tif 000011
【図１０】
2013168867.tif 000012
【図１１】
2013168867.tif 000013
【図１２】
2013168867.tif 000014
【図１３】
2013168867.tif 000015