(57)【要約】【課題】任意のカメラ画像へのランダムアクセスが困難である。【解決手段】複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出部と、前記ＧＯＰ算出部により決定された符号化順序に基づき符号化データを生成する係数符号化部と、を備える画像符号化装置。【選択図】図１
2007013828.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出部と、
前記ＧＯＰ算出部により決定された符号化順序に基づき符号化データを生成する係数符号化部と、
を備える画像符号化装置。
【請求項２】
前記ＧＯＰ算出部により符号化順序が決定される画像は、前記複数のカメラそれぞれにおいて撮影される画像である、請求項１記載の画像符号化装置。
【請求項３】
さらに、前記ＧＯＰ算出部は、前記カメラパラメタを用いてカメラ間の距離を算出するカメラ距離算出部と、
前記カメラ間の距離が第1の条件を満たす距離である第1レベル距離であるか否かを判定する第1レベル距離判定部と、
前記第１レベル距離にあると前記第1レベル距離判定部により判定される画像を第1レベル画像ペアとする第1レベル画像ペア生成部と、
前記第１レベル画像ペアを並べることにより前記画像の符号化順序を決定する符号化順序決定部と、
を備える請求項１又は請求項２記載の画像符号化装置。
【請求項４】
前記第1の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離が一定という条件である、請求項３記載の画像符号化装置。
【請求項５】
前記第１の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離の分散が最も小さいという条件である、請求項３記載の画像符号化装置。
【請求項６】
さらに、前記ＧＯＰ算出部は、前記カメラパラメタを用いてカメラ間の視差を算出する視差算出部と、
前記カメラ間の視差が第2の条件を満たす視差である第1レベルの視差であるか否かを判定する第1レベル視差判定部と、
前記第１レベル視差にあると前記１レベル視差判定部により判定される画像を第1レベルの画像ペアとする第１レベル画像ペア生成部と、
前記第１画像ペアを順番に並べることにより前記画像の符号化順序を決定する符号化順序決定部と、
を備える請求項１又は請求項２記載の画像符号化装置。
【請求項７】
前記第２の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の視差が一定という条件である、請求項６記載の画像符号化装置。
【請求項８】
前記第２の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の視差の分散が最も小さい条件である、請求項６記載の画像符号化装置。
【請求項９】
さらに、前記ＧＯＰ算出部は、前記符号化順序における所定画像のカメラ間の距離が第３の条件を満たす第２レベル距離であるか否かを判定する第2レベル距離判定部と、
前記第２レベル距離にあると前記第2レベル判定部により判定される画像を第２レベル画像ペアとする第2レベル画像ペア生成部と、を備え、
前記符号化順序決定部は、前記第２レベル画像ペアを含む前記第1レベルの画像ペアが連続して並ぶように、前記第1レベルの画像ペアを単位として画像の符号化順序を決定する、請求項３から請求項８いずれかに記載の画像符号化装置。
【請求項１０】
前記第3の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離が一定、かつ、前記ペア間の距離が前記第1レベルの距離よりも小さいという条件である、請求項９記載の画像符号化装置。
【請求項１１】
前記第３の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離の分散が最も小さい、かつ、前記ペア間の距離が前記第1レベルの距離よりも小さいという条件である、請求項９記載の画像符号化装置。
【請求項１２】
さらに、前記ＧＯＰ算出部において決定された符号化順序に基づき符号化される画像に対し、ウェーブレットフィルタリング処理を行うことにより低周波画像と高周波画像に分割する動き補償フィルタリング部を備える請求項１から請求項１１までのいずれかに記載の画像符号化装置。
【請求項１３】
前記動き補償フィルタリング部は、フィルタリングにより得られる画像が１つの低周波画像になるまでフィルタリング処理を行う請求項１２記載の画像符号化装置。
【請求項１４】
前記動き補償フィルタリング部は、前記カメラパラメタと他の前記第1レベルの画像ペアの動きベクトルとを用いて前記第1のレベルの画像ペアの動きベクトルを予測する動きベクトル予測部を備える請求項１３記載の画像符号化装置。
【請求項１５】
前記係数符号化部は、前記ＧＯＰ算出部により決定された符号化順序と前記カメラの配置の関係を示す画像構成情報を符号化する請求項１から請求項１４までのいずれかに記載の画像符号化装置。
【請求項１６】
符号化データから所定のカメラの画像復号化に必要な符号化データを選択する復号化データ選択部と、
前記選択された符号化データを復号化して動きベクトルと複数の周波数画像を生成する係数復号化部と、
前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行うことで所定のカメラ画像を復号化する逆動き補償フィルタリング部と、
を備える画像復号化装置。
【請求項１７】
さらに、所定の符号化順序と前記画像それぞれを撮影したカメラ番号とを対応付けた画像構成情報と、前記所定の符号化順序に並べられた複数の画像に対して低周波画像が１つになるまで行われるフィルタリング処理により得られる前記低周波数画像と前記カメラ番号に関連する高周波数画像と、が入力される入力部を備え、
前記データ選択部は、前記低周波画像と前記高周波画像とを選択し、
前記逆動き補償フィルタリング部は、前記データ選択部により選択される画像を用いて、前記高周波画像に関連するカメラ番号の画像を復号化する請求項１６に記載の画像復号化装置。
【請求項１８】
前記逆動き補償フィルタリング部は、前記係数復号化部により復号化された低周波画像と高周波画像に対して、前記動きベクトルを用いて動き補償付きのウェーブレットフィルタ処理を行う請求項１６又は請求項１７記載の画像復号化装置。
【請求項１９】
複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出ステップと、
前記ＧＯＰ算出ステップにより決定された符号化順序に基づき符号化データを生成する係数符号化ステップと、
からなる画像符号化方法。
【請求項２０】
符号化データから所定のカメラの画像復号化に必要な符号化データを選択するステップと、
前記選択された符号化データを復号化して動きベクトルと複数の周波数画像を生成するステップと、
前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行うことで所定のカメラ画像を復号化するステップと、
からなる画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および復号化装置に関する。
【背景技術】
【０００２】
近年、テロや犯罪件数の増加に伴い、空港や街頭などで数十台から百台規模の監視カメラを配置し同時に監視する映像監視システムが公共施設等で急速に普及しつつある。
【０００３】
また、ＴＶスタジオやスポーツスタジアムに多数のカメラを配置し、多視点画像を同時に撮像し、三次元画像の再構成、あるいは任意視点からの視聴を可能とする任意視点ＴＶ(ＦＲＥＥ  ＶＩＥＷＰＯＩＮＴ  ＴＶ)への応用を目的とした研究開発が活発化している。
【０００４】
このような同一時刻に複数のカメラで撮像した複数の画像（以降、多視点画像と定義する）は、カメラ台数に比例して膨大な画像データを扱う必要があり、ネットワークを用いて画像伝送する場合や記憶ディスクへ保存する場合に帯域の大きなネットワークや膨大な記憶ディスクを必要とする。
【０００５】
したがって、多視点画像における第１の課題は、多視点画像データを高効率に符号化することである。
【０００６】
上記課題に対して、ＩＳＯ／ＩＥＣでは、３ＤＡＶ符号化というテーマで多視点画像を圧縮符号化するための符号化方式の標準化検討が進められている（ISO/IEC JTC1/SC29/WG11 MPEG2005/N6910 Draft Call for Proposals on Multi-View Video Coding）。
【０００７】
多視点画像を高効率に符号化するための従来技術として、例えば非特許文献１では、多視点画像間の相関を利用し、フレーム間相関を用いた画像符号化を適用することによって、画像のデータ量を圧縮している。
【０００８】
図11は、非特許文献１に記載されたフレーム間相関による画像符号化方法を示したものである。図11において、1101〜1104は同一時刻ｔに複数のカメラから撮像された画像を示し、1106は次の時刻ｔ＋１における1101のカメラで撮像された画像を示す。
【０００９】
1101に対しては、画像復号化に際して、他フレームの符号化データが不要なフレーム内符号化を施す（Ｉフレームと定義する）。1102に対しては、1101の復号化画像と1102の原画像の相関が高い領域を差分処理してから符号化するフレーム間符号化を施す（Ｐフレームと定義する）。1103に対しても同様に、1102に復号化画像と1103の原画像に対してフレーム間符号化を施す。同一時刻に撮像された複数カメラの画像1101〜1104は相関が高いため、差分処理することにより、画像のデータ量を削減可能である。このように、非特許文献1では、最初のカメラ画像をＩフレームとし、それ以外のカメラ画像はＩフレームから順にＰフレームとして符号化を行なうことにより、多視点画像を高効率に圧縮符号化することが可能である。
【非特許文献１】ISO/IEC JTC1/SC29/WG11、 “Survey of Algorithms used for Multi-view Video Coding (MVC)”、２００５年１月、MPEG2005/N6909 、[online]、インターネット<URL: http://mpeg.nist.gov/welcome.php >
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、一般にＰフレームを復号化する際には、符号化時にフレーム相関の対象として用いた画像(参照画像と定義する)を復号化して画像を加算処理する必要がある。
【００１１】
このため非特許文献１において、Ｉフレーム以外のカメラ画像を復号化するためには、Ｉフレームから順に所望のＰフレームまで順に復号化する必要がある。
【００１２】
例えば、あるカメラ画像である1104のＰフレームを復号化するためには、1101->1102->1103->1104の合計４フレームの復号化処理を行う必要があるため、データ量および演算量が増加し、任意のカメラ画像へランダムアクセスすることが困難である。
【００１３】
本発明はかかる点に鑑みてなされたものであり、カメラの相対的な配置を利用して符号化順序を算出し、その後、動き補償フィルタによる符号化処理を行う符号化装置、又は、この符号化データを復号化する復号化装置である。
【課題を解決するための手段】
【００１４】
本発明は上記課題を解決するものであって、複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出部と、前記ＧＯＰ算出部により決定された符号化順序に基づき符号化データを生成する係数符号化部と、を備える画像符号化装置である。
【００１５】
これにより符号化する情報に偏りを持たせることができる。
【００１６】
また、符号化データから所定のカメラの画像復号化に必要な符号化データを選択する復号化データ選択部と、前記選択された符号化データを復号化して動きベクトルと複数の周波数画像を生成する係数復号化部と、前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行うことで所定のカメラ画像を復号化する逆動き補償フィルタリング部と、を備える画像復号化装置である。
【００１７】
これにより、少ない低周波画像、高周波画像で符号化データの復号化を行うことができる。
【発明の効果】
【００１８】
本発明によれば、任意のカメラ画像へランダムアクセスすることが容易である。
【発明を実施するための最良の形態】
【００１９】
本発明の多視点画像符号化装置は、ある被写体を複数のカメラにより同時に撮像した複数原画像を符号化する多視点画像符号化装置であって、カメラの配置情報を示すカメラパラメタを使用して複数原画像の符号化順序を決定するGOP算出手段と、GOP算出手段により決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行い、複数の周波数画像に分割する動き補償フィルタリング手段と、動き補償フィルタリング画像に対して係数符号化処理を行い符号化データを生成する係数符号化手段を有している。
【００２０】
この構成によれば、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化するため、符号化効率を向上することが可能である。
【００２１】
また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記カメラパラメタを用いて全てのカメラ間の距離を算出し、前記複数原画像に対して、２つのカメラ間距離が同一もしくは分散が小さくなる第1レベルの距離を決定し、第1レベルの距離関係にある２つの原画像をそれぞれ第1レベルの画像ペアとしてグループ化し、第1レベルの画像ペアを順番に並べることにより原画像の符号化順序を決定する特徴を有している。
【００２２】
この構成によれば、カメラ間の距離が一定の画像同士を符号化するため第1レベルにおける動き補償フィルタ後の低周波画像群、高周波画像群をそれぞれ類似な画像とすることが可能である。
【００２３】
また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記カメラパラメタを用いて全てのカメラ間の視差を算出し、複数の原画像に対して、２つのカメラ間視差が同一もしくは視差の分散が小さくなる第1レベルの視差を決定し、第1レベルの視差関係にある2つの画像をそれぞれ第1レベルの画像ペアとしてグループ化し、第１の画像ペアを順番に並べることにより原画像の符号化順序を決定する特徴を有している。
【００２４】
この構成によれば、カメラ間の視差が一定の画像同士を符号化するため第1レベルにおける動き補償フィルタ後の低周波画像群、高周波画像群をそれぞれ高相関な画像群とすることが可能である。
【００２５】
また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記カメラパラメタを用いて決定した前記符号化順序における奇数番目の原画像に対して、全奇数番目原画像のカメラ間距離を算出し、全奇数番目画像に対して、２つのカメラ間距離が同一もしくは分散が小さくなり、かつ前記第1レベルの距離よりも小さくなる第２レベルの距離を算出し、第２レベルの距離関係にある画像を第２レベルの画像ペアとしてグループ化し、第２レベルの画像ペアを含む第1レベルの画像ペアが連続して配置される様に第1レベルの画像ペアを単位として並べかえて原画像の符号化順序を再決定することを特徴とする。
【００２６】
この構成によれば、レベルが大きくなるにつれカメラ間距離が小さくすることにより、動き補償フィルタ後の高周波画像の情報量を少なくすることが可能である。
【００２７】
また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記第Ｎ＋１レベルの画像ペアの奇数番目の画像に対して、全奇数番目画像のカメラ間距離を算出し、全奇数番目画像に対して、２つのカメラ間距離同一もしくは分散が小さくなり、かつ前記第Ｎレベルの距離よりも小さくなる第Ｎ＋１レベルの距離を算出し、第Ｎ＋１レベルの距離関係にある2つの画像を第Ｎ＋１レベルの画像ペアとしてグループ化し、第Ｎ＋１レベルの画像ペアを含む第Ｎレベルの画像ペアが連続して配置される様に第Ｎレベルの画像ペアを単位として並べかえて原画像の符号化順序を再決定する処理を画像ペアが構成できなくなるまで順次繰り返すことを特徴とする。
【００２８】
この構成によれば、レベルが大きくなるにつれ動き補償フィルタの対象画像ペアのカメラ間距離を順次小さくすることにより、レベルが大きくなるにつれ動きベクトルの精度が向上し、動き補償フィルタ後の高周波画像の情報量をさらに少なくすることが可能である。
【００２９】
また、本発明に係わる多視点画像符号化装置の動き補償フィルタリング手段は、前記ＧＯＰ算出手段により決定された符号化順序に従い、前記第１レベルの画像ペア間で動きベクトル算出および動き補償を行った後にウェーブレットフィルタリング処理を行い、低周波画像と高周波画像に分割し、さらに符号化順序が小さい方から複数の各低周波画像を用いて第２レベルの画像ペアを構成し、前記第２レベルの画像ペアに対して動き補償フィルタリング処理を繰り返し、最終的に低周波画像が１つとなるまで処理を行うことを特徴とする。
【００３０】
この構成によれば、多視点画像に対して動き補償フィルタリングを階層的に行なうことにより、符号化効率を向上することが可能である。
【００３１】
また、本発明に係わる多視点画像符号化装置の動き補償フィルタリング手段は、画像ペアの動きベクトル算出に際して、既に算出した前記同一レベルの前記動きベクトルと前記カメラパラメタを用いて動きベクトルを予測する動きベクトル予測部を備えることを特徴とする。
【００３２】
この構成によれば、動きベクトル算出を予測によって高速に行なうため、動き予測に必要な演算量を削減することが可能である。
【００３３】
また、本発明に係わる多視点画像符号化装置の動き補償フィルタリング手段は、第Ｎ＋１レベルの画像ペアの動きベクトル算出に際して、既に算出した第Ｎレベルの画像ペアの動きベクトルと前記カメラパラメタを用いて動きベクトルを予測する動きベクトル予測部を備えることを特徴とする。
【００３４】
この構成によれば、動きベクトル算出を上位レベルの動きベクトルから予測によって高速に行なうため、動き予測に必要な演算量を削減することが可能である。
【００３５】
また、本発明に係わる多視点画像符号化装置の係数符号化部は、前記ＧＯＰ算出手段により決定された符号化順序と前記カメラパラメタの関係を示す画像構成情報を符号化することを特徴とする。
【００３６】
この構成によれば、符号化データとカメラの構成を明確に把握することが可能である。
【００３７】
本発明の多視点画像復号化装置は、多視点画像を符号化した符号化データを復号化する多視点画像復号化装置であって、符号化データから所定のカメラに対応する符号化データを選択するデータ選択手段と、選択された符号化データを係数復号化して動きベクトルと複数の周波数画像を生成する係数復号化手段と、前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行い所定のカメラ画像を復号化する逆動き補償フィルタリング手段とを有する。
【００３８】
この構成によれば、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化することが可能である。
【００３９】
また、本発明に係わる多視点画像復号化装置の復号化データ選択手段は、第Ｎカメラに対応する符号化データを選択する際に、符号化データ内の画像構成情報を用いて、前記符号化データから第１番目の低周波画像の符号化データと第Ｎカメラの位置に存在する高周波画像の符号化データを選択することを特徴とする。
【００４０】
この構成によれば、画像構成情報を用いて所定カメラに対応する符号化データのうち必要最低限の符号化データを選択して復号化することにより、所定カメラの画像をさらに高速に復号化することが可能である。
【００４１】
また、本発明に係わる多視点画像復号化装置の復号化データ選択手段は、第Ｎカメラに対応する符号化データを選択する際に、符号化データ内の画像構成情報を用いて、前記符号化データから第１番目の低周波画像から第Ｎカメラの位置に存在する高周波画像までの動きベクトルを選択し、さらに動きベクトルを累積して算出することを特徴とする。
【００４２】
この構成によれば、動きベクトルを累積算出して動き補償に使用することにより、動き補償ミスの影響を低減しつつ所定カメラの画像をさらに高速に復号化することが可能である。
【００４３】
また、本発明に係わる多視点画像復号化装置の逆動き補償フィルタリング手段は、前記係数復号化手段により復号化された低周波画像と高周波画像に対して、前記動きベクトルを用いて動き補償付きのウェーブレットフィルタ処理を行うことにより、原画像を復号化することを特徴とする。
【００４４】
この構成によれば、所定カメラの画像を高速に復号化することが可能である。
【００４５】
本発明の多視点画像符号化方法は、ある被写体を同時に複数のカメラにより撮像した複数原画像を符号化する多視点画像符号化方法であって、カメラの配置情報を示すカメラパラメタを使用して複数の原画像の符号化順序を決定するGOP算出ステップと、GOP算出手段により決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行い、複数の周波数画像に分割する動き補償フィルタリングステップと、動き補償フィルタリング画像に対して係数符号化処理を行い符号化データを生成する係数符号化ステップを有する。
【００４６】
この構成によれば、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化するため、符号化効率を向上することが可能である。
【００４７】
本発明の多視点画像復号化方法は、多視点画像を符号化した符号化データを復号化する多視点画像復号化方法であって、符号化データから所望のカメラに対応する符号化データを選択する復号化データ選択ステップと、選択された符号化データを係数復号化して動きベクトルと周波数画像を生成する係数復号化ステップと、前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行い所望のカメラ画像を復号化する逆動き補償フィルタリングステップとを有する。
【００４８】
この構成によれば、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化することが可能である。
【００４９】
以下、本発明の実施例について、図面を参照してそれぞれ詳細に説明する。
【００５０】
実施例１では、本発明の符号化装置について、図１から図７を用いて説明する。
【００５１】
実施例２では、本発明の復号化装置について、図８から図１３を用いて説明する。
【００５２】
（実施の形態１）
本発明では、画像復号化において、任意のカメラ画像へのランダムアクセス時の膨大な演算量を抑えるため、複数カメラによる画像符号化に対して、ＭＣＴＦ（Motion Compensated Temporal Filtering、以下同様）を適応することを考える。
【００５３】
例えば、８台のカメラが等間隔に並べられて被写体を撮影しているとき、最も小さいカメラ間の距離差分を時間差分と擬制し、ＭＣＴＦを適用することができる（以下、単純ＭＣＦＴ適用符号化と呼ぶ）。
【００５４】
これにより、従来、時間方向に適用していたＭＣＴＦによる論理遅延を０にすることができる。
【００５５】
本実施例では、さらに、カメラ間画像のランダムアクセス時の膨大な演算量を抑えるために、カメラの配置情報を示すカメラパラメタを使用して複数原画像の符号化順序を決定し、この決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行うことによって、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化することができる符号化装置について説明する。
【００５６】
以下、図１から図７を用いて説明する。
【００５７】
図1は、本発明の実施例１に係る多視点画像符号化装置の構成を示すブロック図である。
【００５８】
図1に示す多視点画像符号化装置101は、複数のカメラと接続しており、カメラ画像入力部102、カメラパラメタ入力部103、ＧＯＰ算出部104、動き探索部105、動きベクトル予測部108、フィルタ部106、係数符号化部107、データ出力部109とを有する。
【００５９】
図1において110は動き補償フィルタ部である。
【００６０】
カメラ画像入力部102は、複数のカメラに接続しており、同一時刻に複数のカメラから入力される複数の原画像（以降、複数原画像と呼ぶ）をすべてＧＯＰ算出部104に出力する。
【００６１】
カメラパラメタ入力部103はすべてのカメラから入力されるカメラの配置情報などを示すカメラパラメタをＧＯＰ算出部104と動きベクトル予測部108に出力する。
【００６２】
ＧＯＰ算出部104は、複数の原画像とカメラパラメタを用いて原画像の符号化順序を決定し、原画像を符号化順序に並べ替えた後、ＧＯＰ（ＧＲＯＵＰ  ＯＦ  ＰＩＣＴＵＲＥ、以下同様）として動き探索部105に出力する。
【００６３】
動き探索部105はＧＯＰ算出部104より入力された複数の原画像、あるいは動きベクトル予測部から入力された低周波画像に対して、動きベクトル予測部108から入力された動きベクトルを用いて、符号化順序毎に２つの画像間の動きベクトルを順次探索し、動きベクトルと原画像あるいは低周波画像をフィルタ部106に出力する。
【００６４】
フィルタ部106は、動き探索部105から入力された複数の画像と動きベクトルを使用し、複数の原画像に対して動き補償付きフィルタ処理を行い、低周波画像と高周波画像を生成し、高周波画像と動きベクトルを係数符号化部107に出力し、低周波画像と動きベクトルを動きベクトル予測部108に出力する。
【００６５】
なお、本実施例のフィルタ部１０６が行うフィルタリングは、ウェーブレットフィルタリングである。
【００６６】
以下、本実施例を含めた実施例でのフィルタリング、又は、逆フィルタリングは、ウェーブレットフィルタリング、又は、逆ウェーブレットフィルタリングである。
【００６７】
動きベクトル予測部108は、カメラパラメタ入力部103から入力されたカメラパラメタと、フィルタ部から入力された動きベクトルを用いて、動きベクトルを予測し、動きベクトルと低周波画像を動き探索部105に出力する。
【００６８】
動き補償フィルタ部110は、動き探索部105、フィルタ部106と動きベクトル予測部108において、低周波画像が１つになるまで動き補償フィルタ処理を繰り返す。
【００６９】
係数符号化部107は、フィルタ部106から入力された低周波画像、高周波画像、カメラパラメタおよび動きベクトル等を係数符号化しデータ出力部109に出力する。
【００７０】
次いで、上記構成を有する多視点画像符号化装置101の動作について、図2に示すフロー図を用いて説明する。
【００７１】
なお、図2示すフロー図の全体の動作は、多視点画像符号化装置101の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【００７２】
本実施例ではカメラ台数が８台である場合を想定し動作説明をする。
【００７３】
但し、本実施例のカメラ台数は例示であり、カメラ台数は８台に限定されるものではない。
【００７４】
ステップ201では、画像入力処理が行われる。
【００７５】
複数のカメラ（本実施例では８台）に接続されているカメラ画像入力部102は、同一時刻に８台のカメラから入力される８つの原画像（以降、複数原画像と呼ぶ）とカメラパラメタを、まとめてＧＯＰ算出部104に出力する。
【００７６】
ステップ202では、ＧＯＰ構成算出処理が行われる。
【００７７】
ＧＯＰ算出部104は、複数の原画像とカメラパラメタを用いて原画像の符号化順序を決定し、原画像を符号化順序に並べ替えた後、ＧＯＰとして動き探索部105に出力する。
【００７８】
図１４は、ＧＯＰ算出部１０４の詳細構成図であり、図４は、上記ＧＯＰ算出処理のフローを示した図である。
【００７９】
以下、ＧＯＰ算出処理（ステップ２０２）について、図４、図１４を用いて説明する。
【００８０】
ステップ４01では、カメラ間距離算出部１０４１によりカメラ間距離算出処理が行われる。
【００８１】
カメラ間距離算出部１０４１は、以下の数式１に示されるカメラ距離算出方法によりカメラパラメタを用いて全カメラ間の距離を算出する。
【００８２】
【数１】
2007013828.tif 000003
【００８３】
数式１において、D(i,j)はカメラiとカメラj間のカメラ距離を示し、(x_i, y_i, z_i)はカメラi の三次元空間座標を示す。
【００８４】
ここで、カメラパラメタにカメラ毎の三次元空間座標は含まれているものとする。
【００８５】
なお、カメラ間の距離は数式１に限定されることはなく、カメラiとカメラj間のカメラ距離を算出することができれば、いかなる方法も適用可能である。
【００８６】
本実施例では、数式１に従い、カメラ１〜カメラ８のそれぞれのカメラ間距離D(1,2)〜D(1,8)を算出する。
【００８７】
ステップ４02では、第1レベル画像ペア生成部１０４４により画像ペア算出処理が行われる。
【００８８】
ステップ ４01で算出したカメラ間距離を基に、第1レベル画像ペア生成部１０４４が原画像を２つの原画像から構成される画像ペアに分割する。
【００８９】
本ステップは繰り返し処理されるものであり、繰り返しＮ回目の処理をレベルＮとして表現し、レベルＮにおいて算出した画像ペアを第Ｎレベルの画像ペアと表現する。
【００９０】
カメラ間距離算出部１０４１で算出された全カメラ間の距離の値は、第1レベル距離算出部１０４２に入力される。
【００９１】
第1レベルの画像ペア算出においては、第1レベル距離算出部１０４２は入力された複数の原画像に対して、全てのカメラ間距離が一定もしくは分散が小さくなるカメラ距離を第１レベルの距離として算出する。
【００９２】
この第1レベルの距離算出に関しては、以下で詳述する。
【００９３】
第1レベル距離算出部１０４２により算出された距離の値は、第1レベル距離判定部１０４３に入力される。
【００９４】
この第１レベル距離算出部１０４２により算出された距離の値を基に、あるカメラ間の距離が、第１レベルの距離にあると第1レベル距離判定部１０４３により判定されたとき、第1レベル画像ペア生成部１０４４は、カメラに対応する原画像２つを画像ペアとする。
【００９５】
例えば、全カメラ間の距離で一番大きい距離のものと、第1レベル距離を設定すると、図３における８台のカメラでは、カメラ１とカメラ８とに当たる。
【００９６】
しかし、これでは同一のものが存在しないため、第1レベル距離としては、認定されない。
【００９７】
つまり、すべてのカメラがペアとなる組み合わせの中で、最もカメラ間の距離が大きいものという風に第１レベル距離算出部１０４２では、第1レベル距離を算出する。
【００９８】
本実施例に示す第1レベル距離算出部１０４２等のＧＯＰ算出部１０４の構成要素は、例示であり、複数のカメラ間の距離に拘束されることはない。
【００９９】
たとえば、視差が一定、視差の分散が小さい等を算出、判定する構成であっても良い。
【０１００】
なお視差の算出はステレオ画像処理における物体マッチングにより算出した視差の最大値を用いるなど、さまざまな方法が利用可能である。
【０１０１】
図3は、上記ＧＯＰ算出の概念図を示した図であり、これを用いて画像ペア生成の詳細を説明する。
【０１０２】
図3において、319は撮像対象物体、320〜327は８台のカメラ１〜カメラ８を示す（図中の番号はカメラ番号を表すものとする）。
【０１０３】
また、311〜318はそれぞれ８台のカメラにより撮像された原画像１〜原画像８を示す（矩形中の番号はカメラ番号と一致する原画像番号を表すものとする）。
【０１０４】
また、301,302,303および304で括られた２つの原画像はそれぞれ第１レベルの画像ペアを示し、305および306で括られた２つの原画像は第２レベルの画像ペアを示し、307で括られた２つの原画像は第3レベルの画像ペアを示す。
【０１０５】
また、308はカメラ１とカメラ２の距離を示し、309はカメラ１とカメラ３の距離を示し、310はカメラ１とカメラ５の距離を示す。
【０１０６】
例えば、図3において、310 であるD(1,5) は第１レベルの距離であり、第１レベルの距離関係にある301（カメラ１とカメラ５）、302(カメラ３とカメラ７)、303（カメラ２とカメラ６）、304(カメラ４とカメラ８)がそれぞれ第１レベルの画像ペアとなる。
【０１０７】
第1レベル画像ペアとなるか否かの判断は、上記第1レベル距離判断部１０４３で行われ、その判断基準は、例えば、カメラ間の距離が一定距離、カメラ間の距離の分散が小さいというようなものである。
【０１０８】
具体的に説明すると、すべてのカメラがペアとなる組み合わせの中で、最もカメラ間の距離が大きいものを、第１レベル距離算出部１０４２で第1レベル距離として算出する。
【０１０９】
例えば、８台のカメラが等間隔に設置されている場合を考える。
【０１１０】
すべてのカメラがペアとなる組み合わせの中で、最もカメラ間の距離が大きいものが６mである場合、カメラ間隔が6mとなるペアを選ぶ。
【０１１１】
また、カメラの設置場所等により、カメラが等間隔に置かれていない場合もありうるため、ペア間の距離の平均値を算出し、分散が最も小さいときのペアの組み合わせを第1レベル距離として算出する。
【０１１２】
第Ｎレベルの画像ペア算出においては、ＧＯＰ算出部104は、第Ｎレベルの原画像に対して、第Ｎ−１レベルの距離以下、かつカメラ間距離が一定もしくは分散が小さくなるカメラ距離を第Ｎレベルの距離として算出し、第Ｎレベルの距離関係にあるカメラに対応する原画像２つを第Ｎレベルの画像ペアとする。
【０１１３】
例えば、図3において、309はカメラ１とカメラ３の距離を示し、309で示される距離は、310で示される距離より小さいという条件を満たすと第1レベル距離算出部１０４２から入力された第1レベル画像ペアの距離の値を基に、第2レベル距離判定部１０４７により判定されるため、第２レベルの距離となる。
【０１１４】
そのため、第2レベル画像ペア生成部１０４７により、305(カメラ１とカメラ３)、306(カメラ２とカメラ４)は第２レベルの画像ペアとされる。
【０１１５】
ステップ４03では、符号化順序決定部１０５１により符号化順序決定処理が行われる。
【０１１６】
符号化順序決定部１０５１は、ステップ４02で算出した各レベルにおける画像ペアが連続して配置されるように、原画像に符号化順序を表す符号化番号を付与する。
【０１１７】
例えば、図3において、311(原画像１)＝１番、315(原画像５)＝２番、317(原画像７)＝３番、、、318(原画像8)＝8番という様に符号化番号を付与する。
【０１１８】
ステップ４04では、最終レベル判定処理が行われる。
【０１１９】
繰り返し処理が最終レベルか否かが判定される。
【０１２０】
ここでは、第Ｎレベルの画像ペアが１つとなった場合、処理を終了し、そうで無い場合は、ステップ４05へと処理を移動する。
【０１２１】
本実施例では図示はしていないが、上記繰り返し処理が最終レベルか否かの判定は、最終レベル判定部を備えることで行うことができる。
【０１２２】
なお、本実施例では、８台のカメラによる画像符号化を考えているため、図１４に示すＧＯＰ算出部１０４は、第1レベルに関する構成から第3レベルに関する構成までしか備えてない。
【０１２３】
しかし、本実施例は、例示であり、この構成に拘束されることはない。
【０１２４】
つまり、カメラ台数が増えれば、ＧＯＰ算出部１０４についての各レベルの構成を追加することも考え得る。
【０１２５】
ステップ４05では、レベル更新部（図示なし）によりレベル更新処理が行われる。
【０１２６】
第Ｎレベルの画像ペアにおいて、それぞれ奇数符号化番号を持つ原画像のみを選択し、第Ｎ＋１レベルの原画像とし、ステップ４02へ処理を移動する。
【０１２７】
例えば、図3において、レベル２における原画像は第１レベルの画像ペアの奇数符号化番号である311（原画像１）, 313（原画像３）、312（原画像２）,314（原画像４）となる。
【０１２８】
以上のように、複数の原画像における符号化番号を決定し符号化番号順に原画像を並べ替え、並べ替え後の原画像をＧＯＰ（ＧＲＯＵＰ  ＯＦ  ＰＩＣＴＵＲＥ）と呼び、ＧＯＰを動き探索部105に出力する。
【０１２９】
本実施例では、奇数符号番号としたが、これは、偶数符号化番号でも良い。
【０１３０】
つまり、以下に説明する図６のフィルタリング処理において、第Ｎレベルの画像ペアが低周波画像となるように決定されれば良い。
【０１３１】
ステップ２０２でのＧＯＰ構成算出処理が行われた後、ステップ203では、動き予測処理が行われる。
【０１３２】
動き予測処理では、動き探索部105は、ＧＯＰ算出部104から入力されたＧＯＰ、あるいは動きベクトル予測部108から入力されたＧＯＰに対して、符号化番号順に連続する２つの画像において、例えば１６×１６画素のブロック毎に相関が高い領域を探索し、画像間のベクトル値である動きベクトルを算出する。
【０１３３】
さらに、動き探索部105は、算出した動きベクトルと入力されたＧＯＰをフィルタ部106に出力する。
【０１３４】
また、動きベクトル予測部108から動きベクトルが入力された場合には、入力された動きベクトルをフィルタ部106に出力し、動き探索処理は行わないものとする。
【０１３５】
ステップ204では、フィルタ処理が行われる。
【０１３６】
フィルタ部106は、入力された２つの画像と動きベクトルを用いて、連続する２つの画像に対して順次動き補償付きフィルタ処理を行い、低周波画像と高周波画像に分割する。
【０１３７】
図5は上記フィルタ処理の概念図を示したものである。
【０１３８】
図5において、501、502は符号化番号2k-1、2kの原画像を示し（本実施例においてはk=1,2,3,4）、503,506は加算器であり、504はＰＲＥＤＩＣＴ処理部、505はＵＰＤＡＴＥ処理部、507は高周波画像h[k]、508は低周波画像l[k]を示す。
【０１３９】
数式2は図5に図示したフィルタ処理を数式化した数式である（以下）。
【０１４０】
【数２】
2007013828.tif 000004
【０１４１】
数式2において、h[k]は高周波画像、l[k]は低周波画像、s[2k]は符号化番号2kの原画像、P(s[2k])は原画像sに対するPREDICT処理、U(h[k])は高周波画像h[k]に対するUPDATE処理である。mvは動きベクトルを示すベクトル値、xは２次元空間座標を示すベクトル値である。
【０１４２】
図5と数式2に従い、高周波画像h[k]の生成は、２つの原画像間で動き補償を用いた残余画像を生成することにより行なう。
【０１４３】
逆に低周波画像l[k]の生成は、奇数番目の原画像に高周波画像の一部を加算することにより行なう。
【０１４４】
一般に動きベクトルの精度が高いほど、高周波画像のデータ量は小さくなり、符号化効率が高くなる。
【０１４５】
数式2において、高周波画像、低周波画像の生成方法は一例であり、高周波画像と低周波画像とを生成できれば、他の算出式を用いても良い。
【０１４６】
なお、本実施例では２つの画像を用いて片方向の動き予測を行なっているが、３つの画像を用いて２つの動きベクトルを算出する両方向の動き予測を適用することも可能である。
【０１４７】
この場合の動作については、本実施例の２つの画像を用いて片方の動き予測を行う実施例から想定できるため、ここでは省略する。
【０１４８】
図6は上記フィルタ処理により原画像から低周波画像と高周波画像を生成する際の概念図である。
【０１４９】
図6において図3と同じブロックに対しては、図3と同一の番号を付与し説明は省略する。
【０１５０】
601、602はそれぞれ原画像311と315のフィルタ処理により生成した低周波画像と高周波画像であり、第1レベルのフィルタ処理に相当する。
【０１５１】
604と605はそれぞれ低周波画像601と603のフィルタ処理により生成した低周波画像と高周波画像を示し、第２レベルのフィルタ処理に相当する。
【０１５２】
607と608はそれぞれ低周波画像604と606のフィルタ処理により生成した低周波画像と高周波画像と示し、第3レベルのフィルタ処理に相当する。
【０１５３】
同様に609,610,611は第1レベルの高周波画像、612は第２レベルの高周波画像である。
【０１５４】
上記フィルタ処理は、最終レベルのフィルタ処理になるまで行われる。
【０１５５】
ここで、最終レベルのフィルタ処理とは、あるレベルのフィルタ処理を行った後に生成される低周波画像が１つとなった場合のフィルタ処理のことである。
【０１５６】
ステップ205では、最終レベル判定処理が行われる。
【０１５７】
フィルタ処理最終レベル判定部（図示なし）は、フィルタ処理が最終レベルか判定を行なう。
【０１５８】
フィルタ部106は処理後に生成される低周波画像が１つとなった場合最終レベルとして判定し、最終レベルの場合には、低周波画像を動きベクトル予測部108に出力し、高周波画像を係数符号化部109に出力し、処理をステップ207に移動する。
【０１５９】
最終レベルで無い場合には、処理をステップ207に移動する。
【０１６０】
このように、カメラ間の距離の差分が大きいカメラペアを先に動き予測することにより、最終レベルに行くほど差分情報が小さくなる。
【０１６１】
これは、最終レベルに行くほど、カメラペア間の距離が小さくなるためである。
【０１６２】
そのため、例えば、図６のカメラ８の画像を復号化する場合、画像６０８、画像６１２は、情報量が少ないため、復号化は不要となる。
【０１６３】
よって、差分情報の最も多い画像６１１と、画像６０７とを用いれば、画像カメラ８の画像を復号化することが可能になる。
【０１６４】
ステップ206では、低周波画像選択処理が行われる。
【０１６５】
第Ｎレベルのフィルタ処理によって生成された低周波画像のみ選択し、第Ｎ＋１レベルのＧＯＰとして再構成し、再構成したＧＯＰと動きベクトルを動きベクトル予測部108に出力する。
【０１６６】
動きベクトル予測部108は、第Ｎレベルの動きベクトルとカメラパラメタを用いて第Ｎ＋１レベルの動きベクトルを予測し、動きベクトルを動き探索部105に出力する。
【０１６７】
動きベクトルの予測方法として、例えば、カメラ間の距離に比例して動きベクトルを線形補完処理する方法など、さまざまな方法が利用可能である。
【０１６８】
ステップ207では、係数符号化処理が行われる。
【０１６９】
係数符号化部107は、入力された低周波画像、高周波画像、動きベクトル、カメラパラメタ、さらに、符号化順序とカメラ番号を対応付けた画像構成情報に対して係数符号化処理を行い符号化データの生成を行う。
【０１７０】
この符号化データ構造は、図７により示される。
【０１７１】
図７において、７０１は動きベクトルの符号化データ、７０２はカメラパラメタおよび画像構成情報の符号化データ、７０３と７０４は第3レベルの低周波画像607および高周波画像608の符号化データ、７05と７06は第２レベルの高周波画像605と612の符号化データ、７０７,７０８,７０９、７１０は第1レベルの高周波画像609、610、611の符号化データを示す。なお、符号化データ構造は一例である。
【０１７２】
以上のように、本実施例に記載の符号化装置では、カメラの配置情報を示すカメラパラメタを使用して複数原画像の符号化順序を決定し、この決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行うことによって、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化することができる。
【０１７３】
本実施例に記載の符号化装置によれば、上記構成をとることにより、カメラ間の距離の差分が小さいカメラペアを先に動き予測することができ、単純ＭＣＦＴ適用符号化に比べて、先に符号化したものに情報量を偏らせることができる。
【０１７４】
これにより、単純ＭＣＦＴ適用符号化よりも、さらに符号化効率を向上させることが可能である。
【０１７５】
なお、本実施例における係数符号化処理は、係数の発生確率を利用した可変長符号化処理を行うものとする。係数符号化部107は、係数符号化後の符号化データをデータ出力部109に出力する。なお、係数符号化処理は、可変長符号化処理に限らず、ＤＣＴやＤＷＴなどの直交変換後に算術符号化するなど、符号化データ生成に係わる方法であればいかなる方法も利用可能である。
【０１７６】
なお、上記単純ＭＣＴＦ適用符号化装置に関しても、上記図１のＧＯＰ算出部において、最も小さいカメラ間の距離差分に応じて符号化順番を決定することで（例えば、図３においては、画像３１１と画像３１２、画像３１３と画像３１４等のペアで並べていく）、実現可能である。
【０１７７】
その他の構成の詳細に関しては、上記実施例１記載の発明と同様であるため、ここでは省略する。
【０１７８】
なお、本実施例では、符号化装置について説明したが、各構成要素により行われる処理手順に従って上記符号化装置と同様の作用効果を奏する符号化方法についても考え得る。
【０１７９】
また、上記符号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この符号化方法を実行させるためのプログラムも考え得る。
【０１８０】
また、上記符号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この符号化方法を実行させる集積回路についても同様である。
【０１８１】
（実施の形態２）
本実施例では、符号化データから所定のカメラに対応する符号化データを選択し、選択された符号化データから動きベクトルと低周波画像および高周波画像を復号化し、この周波数画像と前記動きベクトルを用いて逆動き補償フィルタ処理により、所定のカメラ画像を復号化することで、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化する復号化装置について説明する。
【０１８２】
図8は多視点画像復号化装置の構成を示した図である。
【０１８３】
以下、本実施例の復号化装置について詳述する。
【０１８４】
図8において、データ選択部804と係数復号化部805と逆動き補償フィルタ部８０９とで構成される多視点画像復号化装置801は、データ入力部802とカメラ番号入力部803とデータ出力部808とに接続された形態をとる。
【０１８５】
ここで、上記逆動き補償フィルタ部８０９は、動きベクトル算出部806とフィルタ部807とにより構成される。
【０１８６】
図8において、データ入力部802は符号化データをデータ選択部804に出力する。
【０１８７】
カメラ番号入力部803は、ユーザが選択したカメラ番号を復号化データ選択部804に出力する。
【０１８８】
データ選択部804はデータ入力部802から入力された符号化データとカメラ番号入力部803から入力されたカメラ番号を用いて、入力カメラ番号に対応する画像の復号化に必要な符号化データを選択し係数復号化部805に出力する。
【０１８９】
係数復号化部805は、データ選択部804より入力された符号化データから、低周波画像、高周波画像、カメラパラメタおよび全動きベクトルを復号化し、動きベクトル算出部806に出力する。
【０１９０】
動きベクトル算出部806は動きベクトルとカメラパラメタを用いて、入力カメラ番号に対応する画像復号化に必要な動きベクトルを算出し、低周波画像、高周波画像、カメラパラメタおよび動きベクトルをフィルタ部807に出力する。
【０１９１】
フィルタ部807は、低周波画像、高周波画像および動きベクトルを用いて画像を復号化し、データ出力部808に出力する。
【０１９２】
次いで、上記構成を有する多視点画像復号化装置801の動作について、図9に示すフロー図を用いて説明する。
【０１９３】
なお、図9示すフロー図の動作は、多視点画像復号化装置801の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１９４】
ステップ901では、データ入力処理が行われる。
【０１９５】
まず、データ入力部802は符号化データを復号化データ選択部804に出力する。
【０１９６】
さらにカメラ番号入力部803は、ユーザが選択したカメラ番号を復号化データ選択部804に出力する。
【０１９７】
ステップ902では、データ選択処理が行われる。
【０１９８】
データ選択部804はデータ入力部802から入力された符号化データとカメラ番号入力部803から入力されたカメラ番号を用いて、入力カメラ番号に対応する画像の復号化に必要な符号化データを選択し係数復号化部805に出力する。
【０１９９】
カメラ番号Ｎに対応する画像の復号化に必要な符号化データは、１．動きベクトル、２．カメラパラメタ、３．第Ｌレベルでの低周波画像（カメラ数ＮとするとN=2のL乗）、４．カメラ番号に対応する位置の高周波画像である。
【０２００】
例えば本実施例では、カメラ番号8が入力されたものとする。
【０２０１】
この場合、画像構成情報を用いて、カメラ番号８の復号化に必要な符号化データである、動きベクトル701、カメラパラメタ702、第3レベルの低周波画像703および第1レベルの高周波画像710を選択し、係数復号化部805に上記符号化データを出力する。
【０２０２】
ステップ903では、係数復号化処理が行われる。
【０２０３】
係数復号化部805は、データ選択部804から入力された低周波画像、高周波画像、動きベクトル、カメラパラメタの符号化データを復号化し、復号化後の低周波画像、高周波画像、動きベクトル、カメラパラメタを動きベクトル算出部806に出力する。
【０２０４】
ステップ904では、仮想動きベクトル算出処理が行われる。
【０２０５】
動きベクトル算出部806は、係数復号化部805から入力された動きベクトルとカメラパラメタを用いて、低周波画像から特定カメラ番号までの仮想動きベクトルを算出し、仮想動きベクトルを逆フィルタ部807に出力する。
【０２０６】
仮想動きベクトルの算出方法を数式３に示す（以下）。
【０２０７】
【数３】
2007013828.tif 000005
【０２０８】
数式３において、MV(x)は２次元空間座標ｘにおける仮想動きベクトル、mv_i(x)は第iレベルにおける特定画像に関連する２次元空間座標xにおける動きベクトル、Ｎはフィルタ処理のレベル数である。
【０２０９】
数式３のように、特定カメラ番号に対応する高周波画像から動きベクトルを累積加算していくことにより、最大レベルの高周波画像までの仮想動きベクトルを算出する。
【０２１０】
なお、仮想動きベクトルの算出は数式３以外の方法でも良く、例えば第1レベルの動きベクトルのみを用いることも可能である。
【０２１１】
ステップ905では、フィルタ処理が行われる。
【０２１２】
逆フィルタ部807では、動きベクトル算出部806から入力された低周波画像、高周波画像、仮想動きベクトルを用いて逆フィルタ処理を行うことにより、特定カメラの画像を復号化する。
【０２１３】
図10は逆フィルタ処理を図示した模式図である。
【０２１４】
図10において、1007は高周波画像、1008は低周波画像、1005はＵＰＤＡＴＥ処理部、1004はＰＲＥＤＩＣＴ処理部、1003および1006は加算部、1001は高周波画像の位置に対応する復号化画像、1002は低周波画像の位置に対応する復号化画像である。ＵＰＤＡＴＥ，ＰＲＥＤＩＣＴ処理に関しては、数式2と同様の処理を行う。
【０２１５】
図１２は、逆フィルタ前の画像の概念図である。
【０２１６】
ここで、図１２における第Ｎレベル画像ペアには、便宜上、図６における第Ｎレベル画像ペアと同じ番号を付してある。
【０２１７】
例えば、特定カメラ８番の復号化画像を得る場合には、図１２においてカメラ8番に対応するのは高周波画像1211であるため、復号化画像は1001となる。逆に特定カメラが1番の場合は、図12においてカメラ1番に対応するのは低周波画像1207であるため、復号化画像は1002となる。
【０２１８】
本実施例のポイントとなる画像の復号化について図１２を用いて、以下、詳述する。
【０２１９】
図１３は、上記実施例１における単純ＭＣＦＴ適用符号化により符号化された画像を復号化する復号化装置（以下、単純ＭＣＦＴ適用復号化装置）の逆フィルタ前の画像の概念図である。
【０２２０】
図１３中の第１レベル画像ペアに付された番号（例えば、画像１３１１の番号１）は、図３に示すカメラ番号である。
【０２２１】
つまり、画像１３１１は、カメラ１により撮影された画像である。
【０２２２】
この単純ＭＣＦＴ適用復号化装置において、例えば、カメラ８により撮影された画像にアクセスすることを考える。
【０２２３】
単純ＭＣＦＴ適用符号化では、図１３の第１レベル画像ペアに示すように、圧縮率を高めるため、カメラ間の距離の差分が小さい画像ペアを符号化する。
【０２２４】
これにより、復号化する場合、画像１３２７、１３２８、１３３２、１３３１の４フレームの復号が必要となる。
【０２２５】
本実施例１記載の符号化によれば、このように、カメラ間の距離の差分が大きいカメラペアを先に動き予測することにより、最終レベルに行くほど差分情報が小さくなる。
【０２２６】
これは、最終レベルに行くほど、カメラペア間の距離が小さくなるためである。
【０２２７】
そのため、例えば、図１２のカメラ８の画像を復号する場合、画像６０８、画像６１２は、情報量が少ないため、復号化は不要となる。
【０２２８】
よって、差分情報の最も多い画像６１１と、画像６０７とを用いれば、画像カメラ８の画像を復号化することができ、単純ＭＣＦＴ適用復号化装置よりもさらに復号化を高速に行うことができる。
【０２２９】
以上のように、本実施例の復号化装置では、符号化データから所定のカメラに対応する符号化データを選択し、選択された符号化データから動きベクトルと低周波画像および高周波画像を復号化し、この周波数画像と前記動きベクトルを用いて逆動き補償フィルタ処理により、所定のカメラ画像を復号化することで、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化することができる。
【０２３０】
これにより、例えば、多視点画像復号化装置において、あるカメラの画像へのランダムアクセスを可能にすることができる。
【０２３１】
なお、本実施例では、復号化装置について説明したが、各構成要素により行われる処理手順に従って上記復号化装置と同様な作用効果を奏する復号化方法についても考え得る。
【０２３２】
また、上記復号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この復号化方法を実行させるためのプログラムも考え得る。
【０２３３】
また、上記復号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この復号化方法を実行させる集積回路についても同様である。
【産業上の利用可能性】
【０２３４】
本発明によって、任意のカメラ画像へランダムアクセスを容易にする符号化装置、復号化装置を提供することができる。
【図面の簡単な説明】
【０２３５】
【図１】実施例１に係る多視点画像符号化装置の構成を示す図
【図２】実施例１に係る多視点画像符号化処理のフローを示す図
【図３】実施例１に係るGOP算出処理の概念図
【図４】実施例１に係るＧＯＰ算出処理のフローを示す図
【図５】実施例１に係るフィルタ処理の概念図
【図６】実施例１に係るフィルタ処理後の画像の概念図
【図７】実施例１に係る符号化データのデータ構造を示す図
【図８】実施例２に係る多視点画像復号化装置の構成を示す図
【図９】実施例２に係る多視点画像復号化処理のフローを示す図
【図１０】実施例２に係る逆フィルタ処理の概念図
【図１１】従来文献１のフレーム構成を示す図
【図１２】実施例２に係る逆フィルタ処理前の画像の概念図
【図１３】単純ＭＣＴＦ適用復号装置の逆フィルタ処理前の画像の概念図
【図１４】ＧＯＰ算出部の詳細図
【符号の説明】
【０２３６】
１０１    多視点画像符号化装置
１０２    カメラ画像入力部
１０３    カメラパラメタ入力部
１０４    ＧＯＰ算出部
１０５    動き探索部
１０６    フィルタ部
１０７    係数符号化部
１０８    動きベクトル予測部
１０９    データ出力部
１１０    動き補償フィルタ部
３０１，３０２，３０３，３０４    第１レベル画像ペア
３０５，３０６    第２レベル画像ペア
３０７    第３レベル画像ペア
３０８    第３レベルカメラ距離
３０９    第２レベルカメラ距離
３１０    第１レベルカメラ距離
３１１    原画像１
３１２    原画像２
３１３    原画像３
３１４    原画像４
３１５    原画像５
３１６    原画像６
３１７    原画像７
３１８    原画像８
３１９    撮像対象物体
３２０    カメラ１
３２１    カメラ２
３２２    カメラ３
３２３    カメラ４
３２４    カメラ５
３２５    カメラ６
３２６    カメラ７
３２７    カメラ８
５０１，５０２    原画像
５０３，５０６    加算部
５０４    ＰＲＥＤＩＣＴ処理部
５０５    ＵＰＤＡＴＥ処理部
５０７    高周波画像
５０８    低周波画像
６０１，６０３    第１レベル低周波画像
６０２，６０９，６１０，６１１    第１レベル高周波画像
６０４，６０６    第２レベル低周波画像
６０５，６１２    第２レベル低周波画像
６０７    第３レベル低周波画像
６０８    第３レベル高周波画像
７０１    動きベクトル符号化データ
７０２    カメラパラメタ，画像構成情報符号化データ
７０３    第３レベル低周波画像符号化データ
７０４    第３レベル高周波画像符号化データ
７０５，７０６    第２レベル高周波画像符号化データ
７０７，７０８，７０９，７１０    第１レベル高周波画像符号化データ
８０１    多視点画像復号化装置
８０２    データ入力部
８０３    カメラ番号入力部
８０４    データ選択部
８０５    係数符号化部
８０６    動きベクトル算出部
８０７    フィルタ部
８０８    データ出力部
８０９    逆動き補償フィルタ部
１００１，１００２    復号化画像
１００３，１００６    加算部
１００４    ＰＲＥＤＩＣＴ処理部
１００５    ＵＰＤＡＴＥ処理部
１００７    高周波画像
１００８    低周波画像
【図１】
2007013828.tif 000006
【図２】
2007013828.tif 000007
【図３】
2007013828.tif 000008
【図４】
2007013828.tif 000009
【図５】
2007013828.tif 000010
【図６】
2007013828.tif 000011
【図７】
2007013828.tif 000012
【図８】
2007013828.tif 000013
【図９】
2007013828.tif 000014
【図１０】
2007013828.tif 000015
【図１１】
2007013828.tif 000016
【図１２】
2007013828.tif 000017
【図１３】
2007013828.tif 000018
【図１４】
2007013828.tif 000019