(57)【要約】【課題】カメラから被写体までの距離を表す距離情報を効率的に符号化する。【解決手段】三次元点復元部１０２１で，カメラから被写体までの距離を符号化対象の距離の基準となっているカメラの位置や向きによらない三次元位置を表す値に変換し，変換距離情報計算部１０２２で，その三次元位置をその座標値の表す点から予め定められた三次元空間上の数直線に下ろした足に対する値へ変換し，変換距離情報量子化部１０２３で，その値を量子化する。その量子化された値を距離情報符号化部１０３で符号化する。【選択図】図１
2012135019.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化方法において，
撮影を行ったカメラのパラメータと符号化対象となる距離情報とを用いて，その距離情報によって示される被写体の三次元座標を計算する三次元点復元ステップと，
上記計算された三次元座標値によって表現される点から，予め定められた数直線に下ろした垂線の足を計算する変換距離情報計算ステップと，
上記計算された垂線の足の示す値を，予め定められた方法で量子化する変換距離情報量子化ステップと，
上記量子化された値を符号化する変換距離情報符号化ステップと，
を有することを特徴とする距離情報符号化方法。
【請求項２】
請求項１に記載の距離情報符号化方法において，
上記変換距離情報計算ステップで用いる数直線として，カメラの焦点と投影面とを通る直線と直交するどの平面にも存在しない直線を用いること，
を特徴とする距離情報符号化方法。
【請求項３】
請求項１に記載の距離情報符号化方法において，
上記三次元点復元ステップで得られた三次元点集合の部分集合に対して，主成分分析を行い，主成分得点の分散が最大となる軸を設定する軸設定ステップと，
上記軸設定ステップで設定された軸を示す情報を符号化する軸情報符号化ステップとを有し，
上記変換距離情報計算ステップで用いる数直線として，上記軸設定ステップで設定された軸を用いること，
を特徴とする距離情報符号化方法。
【請求項４】
請求項１に記載の距離情報符号化方法において，
上記三次元点復元ステップで得られた三次元点集合の部分集合に対して，主成分分析を行い，主成分得点の分散が最小となる軸を設定する軸設定ステップと，
上記軸設定ステップで設定された軸を示す情報を符号化する軸情報符号化ステップとを有し，
上記変換距離情報計算ステップで用いる数直線として，上記軸設定ステップで設定された軸を用いること，
を特徴とする距離情報符号化方法。
【請求項５】
請求項１に記載の距離情報符号化方法において，
上記三次元点復元ステップで得られた三次元点集合の部分集合に対して，主成分分析を行い，主成分得点となる値の数が最小となる軸を設定する軸設定ステップと，
上記軸設定ステップで設定された軸を示す情報を符号化する軸情報符号化ステップとを有し，
上記変換距離情報計算ステップで用いる数直線として，上記軸設定ステップで設定された軸を用いること，
を特徴とする距離情報符号化方法。
【請求項６】
請求項３から請求項５までのいずれか１項に記載の距離情報符号化方法において，
上記軸設定ステップで用いた三次元点集合の部分集合に含まれる各点から，上記軸設定ステップで得られた軸に下ろした垂線の足を計算するサンプル変換距離情報計算ステップと，
上記計算された垂線の足の示す値を，予め定められた数に量子化する場合に，最も量子化による誤差が小さくなるような量子化手法を設定する量子化手法設定ステップと，
上記設定された量子化手法を表す情報を符号化する量子化手法符号化ステップとを有し，
上記変換距離情報量子化ステップでは，上記量子化手法設定ステップで設定された量子化手法を用いて，上記変換距離情報計算ステップで計算された垂線の足を示す値を量子化すること，
を特徴とする距離情報符号化方法。
【請求項７】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号方法において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号ステップと，
上記復号された復号距離情報を，予め定められた方法で逆量子化する復号距離情報逆量子化ステップと，
上記逆量子化された値に対応する予め定められた数直線上の点を通り，上記数直線に直交する平面を設定する被写体平面設定ステップと，
復号対象の距離情報の撮影を行ったカメラの焦点と，カメラの投影面上の復号対象の距離情報の位置とを結ぶ直線を被写体光線として設定する被写体光線設定ステップと，
カメラから上記被写体平面と上記被写体光線との交点までの距離を算出し，復号対象のカメラから被写体までの距離とする被写体距離算出ステップと，
を有することを特徴とする距離情報復号方法。
【請求項８】
請求項７に記載の距離情報復号方法において，
三次元空間における軸を定義する情報の符号化データを復号する軸情報復号ステップを有し，
上記被写体平面設定ステップでは，上記軸情報復号ステップで復号された軸を数直線として用いること，
を特徴とする距離情報復号方法。
【請求項９】
請求項７または請求項８に記載の距離情報復号方法において，
ある数直線上の値を量子化する手法を示した情報の符号化データを復号する量子化手法復号ステップを有し，
上記復号距離情報逆量子化ステップでは，上記量子化手法復号ステップで復号された量子化手法の逆変換を，逆量子化の手法として用いること，
を特徴とする距離情報復号方法。
【請求項１０】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化装置において，
撮影を行ったカメラのパラメータと符号化対象となる距離情報とを用いて，その距離情報によって示される被写体の三次元座標を計算する三次元点復元手段と，
上記計算された三次元座標値によって表現される点から，予め定められた数直線に下ろした垂線の足を計算する変換距離情報計算手段と，
上記計算された垂線の足の示す値を，予め定められた方法で量子化する変換距離情報量子化手段と，
上記量子化された値を符号化する変換距離情報符号化手段と，
を備えることを特徴とする距離情報符号化装置。
【請求項１１】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号装置において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号手段と，
上記復号された復号距離情報を，予め定められた方法で逆量子化する復号距離情報逆量子化手段と，
上記逆量子化された値に対応する予め定められた数直線上の点を通り，上記数直線に直交する平面を設定する被写体平面設定手段と，
復号対象の距離情報の撮影を行ったカメラの焦点と，カメラの投影面上の復号対象の距離情報の位置とを結ぶ直線を被写体光線として設定する被写体光線設定手段と，
カメラから上記被写体平面と上記被写体光線との交点までの距離を算出し，復号対象のカメラから被写体までの距離とする被写体距離算出手段と，
を備えることを特徴とする距離情報復号装置。
【請求項１２】
請求項１から請求項６までのいずれか１項に記載の距離情報符号化方法をコンピュータに実行させるための距離情報符号化プログラム。
【請求項１３】
請求項１２に記載の距離情報符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
請求項７から請求項９までのいずれか１項に記載の距離情報復号方法をコンピュータに実行させるための距離情報復号プログラム。
【請求項１５】
請求項１４に記載の距離情報復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，多視点距離情報の符号化および復号技術に関するものである。
【背景技術】
【０００２】
多視点画像とは，複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり，多視点動画像（多視点映像）とは，その動画像のことである。また，ここで言う距離情報とは，ある画像に対して与えられる領域ごとのカメラから被写体までの距離を表す情報である。多視点距離情報とは，多視点画像に対する距離情報であり，通常の距離情報複数個からなる集合となる。カメラから被写体までの距離はシーンの奥行きということもできるため，距離情報は奥行き情報と呼ばれることもある。
【０００３】
一般に，このような距離情報はカメラで撮影された結果の２次元平面に対して与えられるため，その距離を画像の画素値にマッピングすることで距離画像として表される。２次元平面のある点に対する情報としては１つの距離という情報のみになるため，距離画像はグレースケール画像として表現することが可能である。なお，距離画像は奥行き画像やデプスマップ(Depth Map) と呼ばれることもある。
【０００４】
距離情報の利用用途の１つとして立体画像がある。一般的な立体画像の表現では，観測者の右目用の画像と左目用の画像からなるステレオ画像であるが，あるカメラにおける画像とその距離情報とを用いて立体画像を表現することができる（詳しい技術は非特許文献１を参照）。
【０００５】
このような１視点における映像と距離情報とを用いて表現された立体映像を符号化する方式には，ＭＰＥＧ−Ｃ  Ｐａｒｔ．３（ＩＳＯ／ＩＥＣ  ２３００２−３）を使用することが可能である（詳しい内容は非特許文献２を参照）。
【０００６】
多視点距離情報は，単視点の距離情報を用いて表現可能な立体映像よりも，大きな視差を持った立体映像を表現するのに利用される（詳細は非特許文献３を参照）。
【０００７】
また，このような立体映像を表現する用途以外に，多視点距離情報は，鑑賞者が撮影カメラの配置を気にせずに自由に視点を移動できる自由視点映像を生成するデータの１つとしても使用される。このような撮影カメラとは別のカメラからシーンを見ているとしたときの合成画像を仮想視点画像と呼ぶことがあり，Ｉｍａｇｅ−ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇの分野で盛んにその生成法が検討されている。多視点映像と多視点距離情報とから仮想視点映像を生成する代表的な手法としては，非特許文献４に記載されている手法がある。
【０００８】
前述のとおり，距離情報はグレースケール動画像とみなすことができ，被写体は実空間上で連続的に存在し，瞬間的に移動することができないため，画像信号と同様に空間的相関および時間的相関を持つと言える。したがって，通常の映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって，距離情報は空間的冗長性や時間的冗長性を取り除きながら効率的に符号化される。実際にＭＰＥＧ−Ｃ  Ｐａｒｔ．３では，既存の動画像符号化方式を用いて符号化を行っている。
【０００９】
ここで，従来の一般的な映像信号の符号化方式について説明する。一般に被写体が実空間上で空間的および時間的連続性を持つことから，その見え方は空間的および時間的に高い相関を持つ。映像信号の符号化では，そのような相関性を利用して高い符号化効率を達成している。
【００１０】
具体的には，符号化対象ブロックの映像信号を既に符号化済みの映像信号から予測して，その予測残差のみを符号化することで，符号化される必要のある情報を減らし，高い符号化効率を達成する。代表的な映像信号の予想の手法としては，単視点映像では，隣接するブロックから空間的に予測信号を生成する画面内予測や，近接時刻に撮影された符号化済みフレームから被写体の動きを推定して時間的に予測信号を生成する動き補償予測があり，多視点映像では，これらの他に別のカメラで撮影された符号化済みフレームから被写体の視差を推定して，カメラ間で予測信号を生成する視差補償予測がある。各手法の詳細は，非特許文献５，非特許文献６などに記載されている。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】C.Fehn, P.Kauff, M.Op de Beeck, F.Emst, W.IJsselsteijn, M.Pollefeys, L.Van Gool, E.Ofek and I.Sexton, “An Evolutionary and Optimised Approach on 3D-TV ”, Proceedings of International Broadcast Conference, pp. 357-365, Amsterdam, The Netherlands, September 2002.
【非特許文献２】W.H.A. Bruls, C.Varekamp, R.Klein Gunnewiek, B.Barenbrug and A.Bourge,“Enabling Introduction of Stereoscopic(3D）Video: Formats and Compression Standards”, Proceedings of IEEE International Conference on Image Processing, pp.I-89-I-92, San Antonio, USA, September 2007.
【非特許文献３】A.Smolic, K.Mueller, P.Merkle, N.Atzpadin, C.Fehn, M.Mueller, O.Schreer, R.Tanger, P.Kauff and T.Wiegand, “Multi-view video plus depth (MVD) format for advanced 3D video systems”, Joint Video Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, Doc. JVT-W100, San Jose, USA, April 2007.
【非特許文献４】C.L.Zitnick, S.B.Kang, M.Uyttendaele, S.A.J.Winder, and R.Szeliski, “High-quality Video View Interpolation Using a Layered Representation”, ACM Transactions on Graphics, vol.23, no.3, pp.600-608, August 2004.
【非特許文献５】ITU-T Rec.H.264/ISO/IEC 11496-10, “Advanced Video Coding ”, Final Committee Draft, Document JVT-E022, September 2002.
【非特許文献６】H.Kimata and M.Kitahara,“Preliminary results on multiple view video coding （3DAV）”, document M10976 MPEG Redmond Meeting, July, 2004.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
被写体は実空間上で連続であるため高い空間相関を持ち，瞬間的に移動することが不可能であるため高い時間相関を持つ。したがって，空間相関と時間相関とを利用する既存の映像符号化方式を用いることで，グレースケール画像として表した距離情報を効率的に符号化することが可能である。
【００１３】
しかしながら，図５のようにカメラの位置や向きが異なる場合，同じ被写体であっても，カメラから被写体までの距離は異なる。そのような場合，同じ被写体であってもフレームごとに距離が異なるため，時間的もしくは空間的にその距離を精度よく予測することは不可能である。
【００１４】
シーン全体の明るさの変化等に対応するために，ルックアップテーブル(Look up table) やＨ．２６４／ＡＶＣの重み付き予測等を用いて，参照先の元の値と参照する値を変化させることで，フレームごとに変化する値を効率的に予測する手法がある。
【００１５】
このような手法では，ある与えられた値に対して唯一の変換後の値を与えるため，多対一の変換になる。しかしながら，図６に示すように，あるカメラからは同じ距離の被写体であっても，別のカメラからは異なる距離の被写体になる場合がある。この場合，変換は一対多の変換を取り扱う必要があり，従来の処理では効率的な予測を行うことができない。
【００１６】
本発明は係る事情に鑑みてなされたものであって，距離情報に対して適切な変換を行うことで，従来よりも効率的に距離情報を符号化することを目的とする。
【課題を解決するための手段】
【００１７】
前述の課題を解決するために，本発明では，カメラから被写体までの距離を符号化対象の距離の基準となっているカメラの位置や向きによらない三次元位置を表す値に変換し，さらにその三次元位置をその座標値の表す点から予め定められた三次元空間上の数直線に下ろした足に対する値へ変換して，その値を符号化する。これにより，復号側では符号化されたデータを復号することで数直線上のある点を示す値が得られ，その値が示す被写体は，数直線上でその値が示す点を通り，その数直線に直交する平面上に存在することが分かる。したがって，復号対象のカメラの位置とその値がサンプリングされていた画像平面上の位置情報とを用いて，被写体の存在する三次元位置を同定することができる。被写体の三次元位置が分かるということは，カメラの位置と向きから，復号した値の示すカメラから被写体までの距離を復元することが可能ということである。
【００１８】
このようなプレ処理を行うことで，カメラから被写体までの距離というカメラの位置や向きに依存する情報ではなく，予め設定された共通の数直線上での位置というカメラの位置や向きによらない情報を符号化することになる。これによって，カメラの位置や向きが時間的・空間的に異なる場合においても，符号化対象の情報と参照する情報との表現が統一されることになり，効率的な予測符号化を実現することが可能となる。
【００１９】
なお，距離を三次元座標に変換しただけでは，一次元量が三次元量になり符号化対象サンプル数が増えてしまうため，符号化効率が向上するとは限らないが，本発明では距離をある数直線上の値という一次元量に変換するため符号化対象サンプル数が増加することはない。
【００２０】
また，この変換はカメラによって実空間のオブジェクトが撮影される際の物理現象に従って行われるため，カメラによる射影変換を十分にモデル化することが可能であれば非常に高い精度で変換を実現することができる。
【００２１】
一般に，三次元空間における平面と直線は必ずしも交点を持つとは限らない。つまり，復号時に，数直線に直交する平面とカメラによってサンプリングされた光線が交点を持つ保証はない。交点がないということは，符号化する数直線上の値を決められないことや，与えられた値から被写体の三次元位置を復元できないことを表す。すなわち，前述した距離情報の符号化および復号が行えないことになる。しかしながら，数直線としてカメラの焦点と投影面とを通る直線と直交するどの平面にも存在しない直線を用いることで，必ず符号化および復号を行えるような数直線を設定できる。
【００２２】
上記の条件を満たす数直線であれば，どのような数直線でも適切な変換が可能であり，カメラの位置や向きが時間的・空間的に異なる場合に，符号化対象の情報と参照する情報との表現が統一され，効率的な予測符号化を実現できる。しかしながら，数直線の選び方によっては，符号化する値のレンジや分布が異なる。そのため，いくつかのサンプルを用いて，変換後の値の分散が小さくなるような数直線を選択することで，さらに符号化効率を向上させることが可能となる。また，一方で変換後の分散を大きくすることで，量子化歪みの影響を受け難い値に変換することも可能である。なお，このようにシーケンスに対して数直線を変化させる場合には，復号側にどのような数直線を用いたかを通知する。
【００２３】
また，分散ではなく，変換後の値の個数が最小となるような軸を決定することで，距離情報をロスレス符号化する際に，少ない代表値を用いて符号化できるため，効率的な符号化を実現することが可能となる。
【００２４】
また，上記三次元空間上の数直線に下ろした足に対する値の符号化にあたって量子化する際に，数直線の選択に用いたいくつかのサンプルについて，最も量子化による誤差が小さくなるような量子化手法を選択し，その量子化手法を用いて符号化対象の値を量子化して符号化することも好適である。
【発明の効果】
【００２５】
本発明によれば，参照対象の距離情報と符号化対象の距離情報の基準とするカメラの位置や向きが異なる場合においても，符号化対象の距離情報もしくは参照対象の距離情報を適切に変換することで，従来に比べて効率よく距離情報を符号化することができるようになる。
【図面の簡単な説明】
【００２６】
【図１】実施例１の距離情報符号化装置の構成を示す図である。
【図２】実施例１における距離情報符号化フローチャートである。
【図３】実施例２の距離情報復号装置の構成を示す図である。
【図４】実施例２における距離情報復号フローチャートである。
【図５】カメラの位置や向きによって同じ被写体に対する距離が異なることを示す図である。
【図６】被写体によってカメラ間の距離の差が異なることを示す図である。
【発明を実施するための形態】
【００２７】
以下，実施の形態に従って本発明を詳細に説明する。まず，第１の実施例（以下，実施例１）として，距離情報符号化装置について説明する。実施例１に係る距離情報符号化装置の構成図を図１に示す。
【００２８】
図１に示すように，距離情報符号化装置１００は，符号化対象となる距離情報を入力する距離情報入力部１０１と，入力された距離情報をあらかじめ定められた表示形式へ変換する距離情報プレ変換部１０２と，プレ変換された距離情報を実際に符号化する距離情報符号化部１０３とを備える。
【００２９】
距離情報プレ変換部１０２は，撮影を行ったカメラの位置や向きなどのカメラパラメータと符号化対象となる距離情報とを用いて，その距離情報によって示される被写体の三次元座標を計算する三次元点復元部１０２１と，計算された三次元座標値によって表現される点から予め定められた数直線に下ろした垂線の足を計算する変換距離情報計算部１０２２と，計算された垂線の足の示す値を予め定められた方法で量子化する変換距離情報量子化部１０２３とを備える。
【００３０】
図２に，このようにして構成される距離情報符号化装置１００の実行する処理フローを示す。この処理フローに従って，距離情報符号化装置１００の実行する処理について詳細に説明する。
【００３１】
まず，距離情報入力部１０１より，符号化対象となる距離情報が入力される［ステップＡ１］。本実施例１では，各時刻・各カメラの距離情報はグレースケール画像として与えられるものとする。なお，カメラから被写体までの距離は，適切に量子化され画素値として表されているものとし，距離の値から画素値への写像をＳで表す。以下では，距離情報をＤと表し，記号［］で挟まれた画像上の位置情報を付加することで特定の領域の距離情報を表す。
【００３２】
入力された距離情報Ｄは，距離情報プレ変換部１０２でＤ′へと変換される［ステップＡ２−Ａ６］。変換はサンプル（画素）ごとに行われる。つまり，サンプルを表すインデックスをｐｉｘ，入力サンプル数をｎｕｍＰｉｘｓとすると，ｐｉｘを０に初期化した後［ステップＡ２］，ｐｉｘに１を加算しながら［ステップＡ５］，ｐｉｘがｎｕｍＰｉｘｓになるまで［ステップＡ６］，以下のステップＡ３−Ａ４の処理を繰り返す。
【００３３】
サンプルごとに行われる処理では，まず三次元点復元部１０２１が，カメラパラメータを用いて，画像上のｐｉｘの位置で観測された被写体の統一座標系における三次元位置ｇpix を求める［ステップＡ３］。三次元空間上の被写体はカメラの投影モデルに従って，２次元の画像平面へと投影されるため，その逆変換を行うことで三次元位置を求めることが可能である。具体的には次の数式を用いて計算できる。
【００３４】
【数１】
2012135019.tif 000003
【００３５】
カメラパラメータの表現法には様々なものがあるため，定義に従った数式を用いる必要がある。本実施例では，画像座標ｍと世界座標Ｍの対応関係が，Ｍ* ＝ＲＡ-1ｍ* ＋ｔの式で得られるカメラパラメータ表現を用いているものとする。なお，Ａ，Ｒ，ｔは，それぞれカメラの内部パラメータ行列，回転行列，並進ベクトルを表し，Ｍ* およびｍ* は，Ｍ，ｍについて任意スカラ倍を許した斉次座標を表す。ＡとＲは３×３の行列であり，ｔは三次元ベクトルである。（ｕpix ，ｖpix ）がｐｉｘの画像平面上での位置を表す。Ｓ-1はＳの逆射影を表す。
【００３６】
ｐｉｘの三次元座標ｇpix が得られたら，変換距離情報計算部１０２２はその点を予め定められた数直線Ｖに投影しスカラ値を求める。また，変換距離情報量子化部１０２３は，その値を予め定められた手法で量子化して変換後の値Ｄ′［ｕpix ，ｖpix ］とする［ステップＡ４］。
【００３７】
カメラの焦点と任意の画素とを結ぶ直線と直交するどの平面とも平行でなければ，任意の数直線をＶとしても構わない。なお，このＶと量子化手法は全ての距離情報に対して同じものを用いる。
【００３８】
例えば，カメラの投影面に垂直な軸をＶ，原点をカメラの焦点を投影した点，向きをカメラの向きと同じとすると，ｇpix を投影した値はＳ-1（Ｄ［ｕpix ，ｖpix ］）となり，量子化をＳで行えばＤの値が得られ変換を行わないことになる。
【００３９】
処理が簡単な例としては，統一座標系の１つの軸をＶとし，ｇpix のある成分を量子化することで変換を行う手法がある。ｘ軸をＶとするならば第１成分を，ｙ軸をＶとするならば第２成分を，ｚ軸をＶとするならば第３成分を量子化することになる。このとき，次の連立方程式を解くことで距離の値を復元できる。
【００４０】
【数２】
2012135019.tif 000004
【００４１】
これは変換においてｚ軸をＶとし，量子化を行わずにｇpix の第３成分の値をそのまま変換後の値とした場合の復元式である。なお，Ｄ′［ｕpix ，ｖpix ］＝ｚpix である。上記の式２において，未知数はｘ，ｙ，ｄの３つであり，３つの等式が与えられているため，未知数に対して式を解くことが可能である。ここで，距離の値のみを復元する場合，３行目に対する等式をｄに対して解くことで，無駄な演算をすることなく距離の値を復元することができる。
【００４２】
Ｖとして点ｐを零点として大きさが１の向きベクトルｍを持つ直線を用いた場合，ｇpix をＶに投影した際の値Ｌは次の式で計算される。
【００４３】
Ｌ＝（ｇpix −ｐ）●ｍ                                          （式３）
なお，●はベクトルの内積を表す。また，Ｌから距離を復元する処理は，次の連立方程式を解くことで実現できる。
【００４４】
【数３】
2012135019.tif 000005
【００４５】
ここで，未知数はｘ，ｙ，ｚ，ｄの４つであり，４つの等式が与えられているため必ず解くことができる。具体的には１つ目の式からｘ，ｙ，ｚそれぞれをｄの式で表し，それを２つ目の式に代入することでｄを求めることが可能である。
【００４６】
また，いくつかの距離情報を用いて，変換後の値Ｌの分散を加味して軸を決定しても構わない。この分散に対する最適化問題は，サンプル距離情報集合に対して主成分分析を行うことで解くことができる。なお，今回の場合は分散を最大化すると量子化の影響を受け難い表現となり，分散を最小化するとコンパクトな表現を作り出すことができる。また，サンプル距離情報集合に対して主成分分析を行い，主成分得点となる値の数が最小となる軸を決定してもよい。変換後の値の個数が最小となるような軸を決定することにより，距離情報をロスレス符号化する際に，少ない代表値を用いて符号化することができる。
【００４７】
量子化には，線形量子化と非線形量子化のどちらを使っても構わない。また，上記変換後のＬの値に対して量子化を行ってもよいし，Ｌの逆数に対して量子化を行っても構わない。距離の値そのものに意味がある場合にはＬの値をそのまま量子化し，被写体距離によって生じる視差量に意味がある場合にはＬの逆数に対して行ったほうがよい。これは，Ｌがある視点を定めた際の被写体距離に比例した値であり，視差量は被写体距離の逆数に比例する値であるためである。
【００４８】
また，量子化では，例えば上記のサンプル距離情報集合に対して，最も量子化による誤差が小さくなるような量子化手法を設定する量子化手法設定手段を設け，設定された量子化手法を表す情報を符号化するとともに，その設定された量子化手法を用いて，符号化対象の値を量子化するようにしてもよい。
【００４９】
全てのｐｉｘに対してＤ′の値が得られたら，変換された距離情報Ｄ′を距離情報符号化部１０３で符号化する［ステップＡ７］。その符号化結果が距離情報符号化装置１００の出力となる。
【００５０】
なお，数直線の軸Ｖや量子化の手法は，符号化側と復号側で共通のものを用いる必要がある。つまり，符号化側と復号側で予め共通して定められたものを常に用いるか，利用した値を符号化して復号側へ通知する必要がある。
【００５１】
このようなプレ変換を用いることで，カメラの位置や向きによらず被写体の位置が変化しない限りは同じ値で表現されるようになる。また，値の変化も被写体の位置の変化に応じたものになるため，符号化対象となる情報のフレーム間相関が高まり効率のよい予測符号化を実現することができる。
【００５２】
なお，本実施例１ではサンプル毎に統一座標系の座標値を求め，Ｄ′を計算しているが，全てのサンプルに対して統一座標系の座標値を求めてから，Ｄ′を計算しても構わない。
【００５３】
次に，第２の実施例（以下，実施例２）として，距離情報復号装置について説明する。実施例２に係る距離情報復号装置の構成図を図３に示す。
【００５４】
図３に示すように，距離情報復号装置２００は，復号対象となる距離情報の符号化データを入力する距離情報符号化データ入力部２０１と，入力された符号化データを実際に復号する距離情報復号部２０２と，復号結果を実際のカメラから被写体までの距離を表す情報に変換する距離情報ポスト変換部２０３とを備える。
【００５５】
距離情報ポスト変換部２０３は，復号された復号距離情報を，予め定められた方法で逆量子化する復号距離情報逆量子化部２０３１と，逆量子化された値に対応する予め定められた数直線上の点を通り，数直線に直交する平面を設定する被写体平面設定部２０３２と，復号対象の距離情報の撮影を行ったカメラの焦点とカメラの投影面上の復号対象の距離情報の位置とを結ぶ直線を被写体光線として設定する被写体光線設定部２０３３と，カメラから被写体平面と被写体光線との交点までの距離を復号対象のカメラから被写体までの距離とする被写体距離算出部２０３４とを備える。
【００５６】
図４に，このようにして構成される距離情報復号装置２００の実行する処理フローを示す。この処理フローに従って，距離情報復号装置２００の実行する処理について詳細に説明する。
【００５７】
まず，距離情報符号化データ入力部２０１より，復号対象となる距離情報の符号化データが入力される［ステップＢ１］。入力された符号化データは距離情報復号部２０２で復号される［ステップＢ２］。本実施例２では，各時刻・各カメラの距離情報はグレースケール画像として表現されるものとする。つまり，ここでの復号処理の結果，復号したい距離情報に何らかの変換が加えられた擬似距離情報が得られる。以下では，復号された擬似距離情報をＤｅｃ′と表し，記号［］で挟まれた位置情報を付加することで特定の領域の擬似距離情報を表す。
【００５８】
復号された擬似距離情報Ｄｅｃ′は，距離情報ポスト変換部２０３で実際のカメラから被写体までを現す距離情報Ｄｅｃへと変換される［ステップＢ３−Ｂ７］。変換は画素ごとに行われる。つまり，画素を表すインデックスをｐｉｘ，画素数をｎｕｍＰｉｘｓとすると，ｐｉｘを０に初期化した後［ステップＢ３］，ｐｉｘに１を加算しながら［ステップＢ６］，ｐｉｘがｎｕｍＰｉｘｓになるまで［ステップＢ７］，以下のステップＢ４−Ｂ５の処理を繰り返す。
【００５９】
画素ごとに行われる処理では，まず，擬似距離情報Ｄｅｃ′［ｐｉｘ］から，画像上のｐｉｘの位置で観測された被写体の三次元点が存在する統一座標系における平面Ｐを求める［ステップＢ４］。復号された擬似距離情報Ｄｅｃ′［ｐｉｘ］は被写体の三次元点をある数直線Ｖに対して投影した際のスカラ値を量子化したものである。つまり，求める平面Ｐは数直線ＶにＤｅｃ′［ｐｉｘ］の示す位置で直交する平面となる。なお，数直線と量子化手法は予め符号化側で設定されたものを用いる。常に一定のものを用いても構わないし，シーケンスごとに適切な数直線と量子化手法を設計して用いても構わない。後者の場合は，それらを示す情報が符号化されて本復号装置に通知されることとなる。
【００６０】
ここで，数直線Ｖとして点ｐ0 を零点として大きさが１の向きベクトルｎを持つ直線とし，量子化関数をＱとすると，求める平面Ｐは以下の式で表される。なお平面上の任意の点をｇで表した。
【００６１】
ｎ・（ｐ0 ＋Ｑ-1［Ｄｅｃ′［ｐｉｘ］］・ｎ）＝ｎ・ｇ            （式５）
次に，この平面Ｐとカメラパラメータとから，ｐｉｘの位置で観測された被写体の距離情報を計算し，結果をＤｅｃ［ｐｉｘ］とする［ステップＢ５］。具体的には，カメラパラメータとｐｉｘの位置という情報から，被写体の存在する直線を求め，直線と平面の交点に被写体が存在するとして，距離の値を求める。被写体が存在する直線は以下の数式で表される。
【００６２】
【数４】
2012135019.tif 000006
【００６３】
カメラパラメータの表現法は実施例１で説明したものと同様であり，Ａ，Ｒ，ｔはそれぞれカメラの内部パラメータ行列，回転行列，並進ベクトルを表す。ｄは任意のスカラ変数であり，ｇが直線上の点を示す。（ｕpix ，ｖpix ）はｐｉｘの画像平面上での位置を表す。
【００６４】
ここで，式６のｄがカメラから被写体までの距離を表すため，式５と式６の連立方程式をｄについて解くことで，距離の値を求めることができる。なお，ｇは被写体の三次元座標値を表すが，ここでは必ずしも求める必要はない。なお，実施例１で述べたように，数直線Ｖとしてカメラの焦点と任意の画素とを結ぶ直線と直交するどの平面とも平行ではない直線を選択している場合，式５と式６からなる連立方程式は必ず唯一の解を持つ。
【００６５】
また，本実施例ではカメラから被写体までの距離の値を出力の値Ｄｅｃ［ｐｉｘ］としているが，カメラから被写体までの距離を予め定められた方法で量子化した値を出力する必要がある場合には，上記得られたｄの値を与えられた手法で量子化して出力することになる。
【００６６】
以上説明した処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００６７】
また，以上の実施の形態では距離情報符号化装置および距離情報復号装置を中心に説明したが，これらの装置の各部の動作に対応したステップによって本発明の距離情報符号化方法および距離情報復号方法を実現することができる。
【００６８】
以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものでないことは明らかである。したがって，本発明の精神および範囲を逸脱しない範囲で構成要素の追加，省略，置換，その他の変更を行っても良い。
【符号の説明】
【００６９】
１００  距離情報符号化装置
１０１  距離情報入力部
１０２  距離情報プレ変換部
１０２１  三次元点復元部
１０２２  変換距離情報計算部
１０２３  変換距離情報量子化部
１０３  距離情報符号化部
２００  距離情報復号装置
２０１  距離情報符号化データ入力部
２０２  距離情報復号部
２０３  距離情報ポスト変換部
２０３１  復号距離情報逆量子化部
２０３２  被写体平面設定部
２０３３  被写体光線設定部
２０３４  被写体距離算出部
【図１】
2012135019.tif 000007
【図２】
2012135019.tif 000008
【図３】
2012135019.tif 000009
【図４】
2012135019.tif 000010
【図５】
2012135019.tif 000011
【図６】
2012135019.tif 000012
【手続補正書】
【提出日】平成24年4月23日(2012.4.23)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化方法において，
撮影を行ったカメラのパラメータと，予め定められた数直線とを用いて，符号化対象となる距離画像の距離を，前記数直線上の値へと変換する距離画像変換ステップと，
上記変換された距離からなる変換距離画像を符号化する変換距離情報符号化ステップと，
を有することを特徴とする距離情報符号化方法。
【請求項２】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化方法において，
撮影を行ったカメラのパラメータと，予め定められた数直線とを用いて表される，符号化対象となる距離画像の距離を前記数直線上の値へと変換する規則を用いて，符号化対象となる距離画像を変換する距離画像変換ステップと，
上記変換された距離画像を符号化する変換距離情報符号化ステップと，
を有することを特徴とする距離情報符号化方法。
【請求項３】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化方法において，
撮影を行ったカメラのパラメータと，予め定められた数直線とを用いて，符号化対象となる距離画像の距離を，前記数直線上の値へと変換する変換規則を設定する変換規則設定ステップと，
上記変換規則を用いて，符号化対象となる距離画像を変換する距離画像変換ステップと，
上記変換された距離画像を符号化する変換距離情報符号化ステップと，
を有することを特徴とする距離情報符号化方法。
【請求項４】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化装置において，
撮影を行ったカメラのパラメータと，予め定められた数直線とを用いて，符号化対象となる距離画像の距離を，前記数直線上の値へと変換する距離画像変換手段と，
上記変換された距離からなる変換距離画像を符号化する変換距離情報符号化手段と，
を備えることを特徴とする距離情報符号化装置。
【請求項５】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化装置において，
撮影を行ったカメラのパラメータと，予め定められた数直線とを用いて表される，符号化対象となる距離画像の距離を前記数直線上の値へと変換する規則を用いて，符号化対象となる距離画像を変換する距離画像変換手段と，
上記変換された距離画像を符号化する変換距離情報符号化手段と，
を備えることを特徴とする距離情報符号化装置。
【請求項６】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化装置において，
撮影を行ったカメラのパラメータと，予め定められた数直線とを用いて，符号化対象となる距離画像の距離を，前記数直線上の値へと変換する変換規則を設定する変換規則設定手段と，
上記変換規則を用いて，符号化対象となる距離画像を変換する距離画像変換手段と，
上記変換された距離画像を符号化する変換距離情報符号化手段と，
を備えることを特徴とする距離情報符号化装置。
【請求項７】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号方法において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号ステップと，
符号化時に距離情報の変換に用いられた数直線と上記カメラのパラメータとを用いて，上記復号距離情報を，復号対象のカメラから被写体までの距離を表す距離情報に変換する被写体距離算出ステップと，
を有することを特徴とする距離情報復号方法。
【請求項８】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号方法において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号ステップと，
符号化時に距離情報の変換に用いられた数直線と上記カメラのパラメータとを用いて距離情報を変換する変換規則に従い，上記復号距離情報を，復号対象のカメラから被写体までの距離を表す距離情報に変換する被写体距離算出ステップと，
を有することを特徴とする距離情報復号方法。
【請求項９】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号方法において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号ステップと，
符号化時に距離情報の変換に用いられた数直線と上記カメラのパラメータとを用いて距離情報を変換する変換規則を設定する変換規則設定ステップと，
上記変換規則を用いて，上記復号距離情報を，復号対象のカメラから被写体までの距離を表す距離情報に変換する被写体距離算出ステップと，
を有することを特徴とする距離情報復号方法。
【請求項１０】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号装置において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号手段と，
符号化時に距離情報の変換に用いられた数直線と上記カメラのパラメータとを用いて，上記復号距離情報を，復号対象のカメラから被写体までの距離を表す距離情報に変換する被写体距離算出手段と，
を備えることを特徴とする距離情報復号装置。
【請求項１１】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号装置において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号手段と，
符号化時に距離情報の変換に用いられた数直線と上記カメラのパラメータとを用いて距離情報を変換する変換規則に従い，上記復号距離情報を，復号対象のカメラから被写体までの距離を表す距離情報に変換する被写体距離算出手段と，
を備えることを特徴とする距離情報復号装置。
【請求項１２】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号装置において，
入力された符号化データを復号して復号距離情報を設定する入力データ復号手段と，
符号化時に距離情報の変換に用いられた数直線と上記カメラのパラメータとを用いて距離情報を変換する変換規則を設定する変換規則設定手段と，
上記変換規則を用いて，上記復号距離情報を，復号対象のカメラから被写体までの距離を表す距離情報に変換する被写体距離算出手段と，
を備えることを特徴とする距離情報復号装置。
【請求項１３】
請求項１から請求項３までのいずれか１項に記載の距離情報符号化方法をコンピュータに実行させるための距離情報符号化プログラム。
【請求項１４】
請求項７から請求項９までのいずれか１項に記載の距離情報復号方法をコンピュータに実行させるための距離情報復号プログラム。