(57)【特許請求の範囲】
【請求項１】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、
前記奥行値を予め定めた語長の制限付き奥行値に変換して前記符号化する奥行値とする奥行変換手段を、さらに備え、
前記奥行変換手段は、
前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘとしたとき、非線形変換式である
【数１】
0005751616.tif 000023
によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化装置。
【請求項２】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、
前記奥行値を予め定めた語長の制限付き奥行値に変換して前記符号化する奥行値とする奥行変換手段を、さらに備え、
前記奥行変換手段は、
前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘ、前記被写体までの予め定めた最大距離に対応する奥行値をｘｍｉｎ、前記被写体までの予め定めた最近距離に対応する奥行値をｘｍａｘとしたとき、非線形変換式である
【数２】
0005751616.tif 000024
によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化装置。
【請求項３】
前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記非線形変換式によって予め計算して対応付けた対応表を記憶する奥行対応表記憶手段をさらに備え、
前記奥行変換手段は、前記非線形変換式による計算に代えて、前記対応表を参照して、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする請求項１または請求項２に記載の立体映像符号化装置。
【請求項４】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、
前記符号化の前に、奥行変換手段によって、前記奥行値を予め定めた語長の制限付き奥行値に変換する奥行変換ステップを、さらに含み、
前記奥行変換ステップは、
前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘとしたとき、非線形変換式である
【数３】
0005751616.tif 000025
によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化方法。
【請求項５】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、
前記符号化の前に、奥行変換手段によって、前記奥行値を予め定めた語長の制限付き奥行値に変換する奥行変換ステップを、さらに含み、
前記奥行変換ステップは、
前記カメラから前記被写体までの予め定めた最近距離に対応する奥行値を前記制限付き奥行値が取り得る最大値となるように、
前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘ、前記被写体までの予め定めた最大距離に対応する奥行値をｘｍｉｎ、前記被写体までの予め定めた最近距離に対応する奥行値をｘｍａｘとしたとき、非線形変換式である
【数４】
0005751616.tif 000026
によって、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする立体映像符号化方法。
【請求項６】
前記奥行変換ステップは、前記非線形変換式による計算に代えて、前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記非線形変換式によって予め計算して対応付けた対応表を参照して、前記被写体までの距離に対応した奥行値を前記制限付き奥行値に変換することを特徴とする請求項４または請求項５に記載の立体映像符号化方法。
【請求項７】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、
前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘとしたとき、非線形変換式である
【数５】
0005751616.tif 000027
によって計算された値であって、
前記非線形変換式の逆変換式である
【数６】
0005751616.tif 000028
によって、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換手段を、さらに備えることを特徴とする立体映像復号化装置。
【請求項８】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、
前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘ、前記被写体までの予め定めた最大距離に対応する奥行値をｘｍｉｎ、前記被写体までの予め定めた最近距離に対応する奥行値をｘｍａｘとしたとき、非線形変換式である
【数７】
0005751616.tif 000029
によって計算された値であって、
前記非線形変換式の逆変換式である
【数８】
0005751616.tif 000030
によって、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換手段を、さらに備えることを特徴とする立体映像復号化装置。
【請求項９】
前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記逆変換式によって予め計算して対応付けた対応表を記憶する奥行対応表記憶手段をさらに備え、
前記奥行逆変換手段は、前記逆変換式による計算に代えて、前記対応表を参照して、前記制限付き奥行値を前記被写体までの距離に対応した奥行値に逆変換することを特徴とする請求項７または請求項８に記載の立体映像復号化装置。
【請求項１０】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、
前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘとしたとき、非線形変換式である
【数９】
0005751616.tif 000031
によって計算された値であって、
前記復号化の後に、奥行逆変換手段によって、前記非線形変換式の逆変換式である
【数１０】
0005751616.tif 000032
により、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換ステップを、さらに含むことを特徴とする立体映像復号化方法。
【請求項１１】
カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、
前記制限付き奥行値は、前記被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘ、前記被写体までの予め定めた最大距離に対応する奥行値をｘｍｉｎ、前記被写体までの予め定めた最近距離に対応する奥行値をｘｍａｘとしたとき、非線形変換式である
【数１１】
0005751616.tif 000033
によって計算された値であって、
前記復号化の後に、奥行逆変換手段によって、前記非線形変換式の逆変換式である
【数１２】
0005751616.tif 000034
により、前記制限付き奥行値Ｘを前記被写体までの距離に対応した奥行値ｘに逆変換する奥行逆変換ステップを、さらに含むことを特徴とする立体映像復号化方法。
【請求項１２】
前記奥行逆変換ステップは、前記逆変換式による計算に代えて、前記被写体までの距離に対応した奥行値と前記制限付き奥行値とを、前記逆変換式によって予め計算して対応付けた対応表を参照して、前記制限付き奥行値を前記被写体までの距離に対応した奥行値に逆変換することを特徴とする請求項１０または請求項１１に記載の立体映像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を符号化する立体映像符号化装置およびその方法、ならびに、符号化された立体映像を復号化する立体映像復号化装置およびその方法に関する。
【背景技術】
【０００２】
従来、人間の左眼に対応する映像（左眼映像）と右眼に対応する映像（右眼映像）とで構成される立体映像を符号化伝送する場合、伝送量を抑えるための手法として、左眼映像と右眼映像とのいずれか一方のみの映像と、両映像の対応する画素のずれ量（奥行値）とを符号化して伝送する手法が存在する（特許文献１参照）。
【０００３】
この手法は、図１１に示すような立体映像符号化装置１００で実現される。
立体映像符号化装置１００は、２つの視点位置で撮影された左眼映像と右眼映像とを入力する。そして、立体映像符号化装置１００は、奥行推定部１０１によって、左眼映像と右眼映像との間で画素マッチングを行い、左眼映像の画素ごとに、対応する右眼映像の画素位置のずれ量を奥行値と推定する。
【０００４】
また、立体映像符号化装置１００は、奥行情報圧縮部１０２によって、被写体の空間周波数成分に応じ、周波数成分が高ければ奥行値を細かく量子化し、周波数成分が低ければ奥行値を粗く量子化することで奥行値を圧縮する。
そして、立体映像符号化装置１００は、符号化部１０３によって、入力された左眼映像と、奥行情報圧縮部１０２で圧縮された奥行値とを符号化する。
このように、立体映像符号化装置１００は、立体映像を伝送する際に、左眼映像または右眼映像の一方の映像と、圧縮された奥行値とにより、伝送量を抑えることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−６１１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、立体映像は、映像中の被写体が視点の近くにあればあるほど、視差が大きくなり、奥行値は限りなく大きな値となる。
しかし、従来の手法のように、奥行値を符号化して伝送しようとすると、その奥行値の取り得る範囲は、伝送に使用する奥行値の語長（ビット数）で制限されてしまう。すなわち、従来の手法では、奥行値が制限されてしまうことで、広い奥行範囲を持つ立体映像を伝送することができないという問題があった。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、ある視点の映像ともに奥行値を符号化して伝送する場合、立体映像の至近距離から遠方までの被写体に対応した奥行値を、限られた語長で精度よく表すことが可能な立体映像符号化装置およびその方法、ならびに、立体映像復号化装置およびその方法を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、前記課題を解決するために創案されたものであり、まず、本発明に係る立体映像符号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、奥行変換手段を、さらに備える構成とした。
【０００９】
かかる構成において、立体映像符号化装置は、奥行変換手段によって、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって、被写体までの距離に対応した奥行値を制限付き奥行値に変換する。
【００１０】
通常、立体映像において、奥行値は視差量で表される。すなわち、被写体までの距離が近ければ近いほど、視差量、すなわち、奥行値は、無限に大きくなっていく。そこで、立体映像符号化装置は、奥行変換手段によって、非線形変換式で、最近距離に対応する奥行値を制限付き奥行値が取り得る最大値に変換することで、奥行値を制限付き奥行値内で表すことができる。
【００１１】
また、本発明に係る立体映像符号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化手段により符号化する立体映像符号化装置において、奥行対応表記憶手段と、奥行変換手段とを、さらに備える構成としてもよい。
【００１２】
かかる構成において、立体映像符号化装置は、奥行対応表記憶手段に、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって、被写体までの距離に対応した奥行値と制限付き奥行値との各値を予め計算して対応付けた対応表を記憶しておく。
【００１３】
これによって、最近距離に対応する奥行値を制限付き奥行値が取り得る最大値として、奥行値が制限付き奥行値内で表されることになる。そして、立体映像符号化装置は、奥行変換手段によって、対応表を参照して、被写体までの距離に対応した奥行値を制限付き奥行値に変換して符号化する奥行値とする。
【００１４】
ここで、被写体までの距離に対応した奥行値をｘ、制限付き奥行値をＸ、制限付き奥行値が取り得る最大値をＸｍａｘとしたとき、非線形変換式として、
【数１３】
0005751616.tif 000002
を用いることができる。
【００１５】
また、被写体までの距離に対応した奥行値をｘ、前記制限付き奥行値をＸ、前記制限付き奥行値が取り得る最大値をＸｍａｘ、前記被写体までの予め定めた最大距離に対応する奥行値をｘｍｉｎ、前記被写体までの予め定めた最近距離に対応する奥行値をｘｍａｘとしたとき、非線形変換式として、
【数１４】
0005751616.tif 000003
を用いることができる。
【００１６】
また、本発明に係る立体映像符号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、符号化の前に非線形変換式によって奥行値を変換する奥行変換ステップを、さらに含む手順とした。
【００１７】
かかる手順において、立体映像符号化方法は、符号化の前に、奥行変換ステップで、奥行変換手段によって、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式を用いて、被写体までの距離に対応した奥行値を制限付き奥行値に変換する。
【００１８】
さらに、本発明に係る立体映像符号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値とを符号化する立体映像符号化方法において、符号化の前に対応表を参照して奥行値を変換する奥行変換ステップを、さらに含む手順としてもよい。
【００１９】
かかる手順において、立体映像符号化方法は、符号化の前に、奥行変換ステップで、奥行変換手段によって、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式を用いて、被写体までの距離に対応した奥行値と制限付き奥行値との各値を予め計算して対応付けた対応表を参照して、被写体までの距離に対応した奥行値を制限付き奥行値に変換する。
【００２０】
また、本発明に係る立体映像復号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、奥行逆変換手段を、さらに備える構成とした。
【００２１】
かかる構成において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化装置は、非線形変換式の逆変換式によって、制限付き奥行値を被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
【００２２】
また、本発明に係る立体映像復号化装置は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化手段により復号化する立体映像復号化装置において、奥行対応表記憶手段と、奥行逆変換手段とを、さらに備える構成としてもよい。
【００２３】
かかる構成において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化装置は、奥行対応表記憶手段に、非線形変換式の逆変換式によって、被写体までの距離に対応した奥行値と制限付き奥行値との各値を計算して対応付けた対応表を予め記憶しておく。そして、立体映像復号化装置は、奥行逆変換手段によって、対応表を参照して、制限付き奥行値を、被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
【００２４】
ここで、制限付き奥行値が、被写体までの距離に対応した奥行値をｘ、制限付き奥行値をＸ、制限付き奥行値が取り得る最大値をＸｍａｘとしたとき、非線形変換式である
【数１５】
0005751616.tif 000004
によって計算された値である場合、逆変換式として、
【数１６】
0005751616.tif 000005
を用いることができる。
【００２５】
また、制限付き奥行値が、被写体までの距離に対応した奥行値をｘ、制限付き奥行値をＸ、制限付き奥行値が取り得る最大値をＸｍａｘ、被写体までの予め定めた最大距離に対応する奥行値をｘｍｉｎ、被写体までの予め定めた最近距離に対応する奥行値をｘｍａｘとしたとき、非線形変換式である
【数１７】
0005751616.tif 000006
によって計算された値である場合、逆変換式として、
【数１８】
0005751616.tif 000007
を用いることができる。
【００２６】
また、本発明に係る立体映像復号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、復号化の後に、非線形変換式の逆変換式により制限付き奥行値を逆変換する奥行逆変換ステップを、さらに含む手順とした。
【００２７】
かかる手順において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化方法は、復号化の後に、奥行逆変換ステップで、奥行逆変換手段によって、非線形変換式の逆変換式を用いて、制限付き奥行値を被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
【００２８】
さらに、本発明に係る立体映像復号化方法は、カメラで撮影された被写体の映像と、前記カメラから前記被写体までの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値とが符号化されたビットストリームを復号化する立体映像復号化方法において、復号化の後に、対応表を参照して制限付き奥行値を逆変換する奥行逆変換ステップを、さらに含む手順としてもよい。
【００２９】
かかる手順において、制限付き奥行値は、カメラから被写体までの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式によって計算された値であって、立体映像復号化方法は、復号化の後に、奥行逆変換ステップで、奥行逆変換手段によって、非線形変換式の逆変換式を用いて、被写体までの距離に対応した奥行値と制限付き奥行値との各値を予め計算して対応付けた対応表を参照して、制限付き奥行値を、被写体までの距離に対応した奥行値に逆変換する。これによって、元の奥行値が再現されることになる。
【発明の効果】
【００３０】
本発明は、以下に示す優れた効果を奏するものである。
請求項１〜６に記載の発明によれば、ある視点の映像と当該映像に対する奥行値とを符号化伝送する際に、奥行値を、限られた語長の範囲の制限付き奥行値に変換して符号化することができる。これによって、立体映像を符号化伝送する場合に、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像を符号化することができる。
【００３１】
請求項２，５に記載の発明によれば、前記した効果に加え、被写体までの最大距離に対応する奥行値と、被写体までの最近距離に対応する奥行値とを予め設定することで、使用する奥行値を、制限付き奥行値に対して最大限に割り当てることができ、制限付き奥行値を最大限に利用して、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像を符号化することができる。
【００３２】
請求項７〜１２に記載の発明によれば、ある視点の映像と当該映像に対する奥行値とを符号化伝送する際に、限られた語長の範囲の奥行値に変換して符号化された奥行値を復号化することができる。これによって、符号化伝送された立体映像を復号化する場合に、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像として復号化することができる。
【００３３】
請求項８，１１に記載の発明によれば、前記した効果に加え、使用する奥行値を、制限付き奥行値に対して最大限に割り当てることができ、奥行精度を損なうことなく、広い奥行範囲を持つ立体映像として復号化することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１，２実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成を示すブロック図である。
【図２】奥行推定手段で推定する奥行値の概念を説明するための説明図である。
【図３】多視点映像生成手段で生成する多視点映像の生成手法を説明するための説明図である。
【図４】奥行値と被写体距離との関係を示すグラフである。
【図５】本発明の第１実施形態に係る立体映像符号化装置および立体映像復号化装置における奥行値と非線形奥行値（制限付き奥行値）との関係を表すグラフである。
【図６】被写体距離を制限したときの奥行値と被写体距離との関係を示すグラフである。
【図７】本発明の第２実施形態に係る立体映像符号化装置および立体映像復号化装置における奥行値と非線形奥行値（制限付き奥行値）との関係を表すグラフである。
【図８】本発明の第１，２実施形態に係る立体映像符号化装置の動作を示すフローチャートである。
【図９】本発明の第１，２実施形態に係る立体映像復号化装置の動作を示すフローチャートである。
【図１０】本発明の他の実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成を示すブロック図である。
【図１１】従来の立体映像符号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施形態について図面を参照して説明する。
［立体映像伝送システムの構成：第１実施形態］
まず、図１を参照して、本発明の第１実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
【００３６】
立体映像伝送システムＳは、カメラＣで撮影された映像を、奥行値とともに符号化して伝送し、伝送先において多視点映像を生成するものである。ここでは、立体映像伝送システムＳは、立体映像符号化装置１と、立体映像復号化装置２とを備えている。以下、図１を参照して、立体映像符号化装置１および立体映像復号化装置２の構成について説明を行う。
【００３７】
〔立体映像符号化装置の構成〕
図１に示すように、立体映像符号化装置１は、ある視点のカメラＣで撮影された被写体の映像と、カメラＣから被写体までの距離に対応した奥行値とを符号化するものである。本実施形態において、立体映像符号化装置１は、外部に接続した左眼用の映像を撮影するカメラＣＬと右眼用の映像を撮影するカメラＣＲとから、それぞれ左視点映像ＭＬと右視点映像ＭＲとを入力し、符号化することで伝送用のビットストリームを生成する。
ここでは、立体映像符号化装置１は、奥行推定手段１０と、奥行変換手段１１と、符号化手段１２と、を備えている。
【００３８】
奥行推定手段１０は、カメラＣ（ＣＬ，ＣＲ）から入力される多視点の映像（左視点映像ＭＬ，右視点映像ＭＲ）から、映像の奥行きを推定するものである。
この奥行推定手段１０は、多視点の映像間で、対応する画素を探索し、画素位置のずれを、視差すなわち奥行きと推定する。この対応する画素の探索は、一般的な画素マッチングを用いることができる。例えば、ある画素を含んだ予め定めた領域（ブロック）の画像特徴量を、他の映像内の近接領域で画像特徴量が近似する領域を探索するブロックマッチングにより、対応する画素を検索することができる。
【００３９】
ここでは、奥行推定手段１０は、図２に示すように、左視点映像ＭＬと右視点映像ＭＲとが入力された際に、いずれか一方の映像を基準（ここでは、左視点映像ＭＬを基準）として、基準となる映像（ＭＬ）のある画素が、他方の映像（ＭＲ）との間で、何画素ずれているかを探索し、そのずれ量を当該画素における奥行値ｘとする。
このように推定された基準映像の画素ごとの奥行値は、奥行変換手段１１に出力される。
【００４０】
奥行変換手段１１は、奥行推定手段１０で推定された奥行値を、予め定めた語長の制限付き奥行値に変換するものである。すなわち、奥行変換手段１１は、符号化伝送を行うビットストリームにおいて、奥行値を格納する限られた語長（ビット長）の領域に収まるように、奥行推定手段１０で推定された奥行値を制限付き奥行値に変換するものである。
【００４１】
ここでは、奥行変換手段１１は、カメラＣから被写体Ｏまでの予め定めた最近距離に対応する奥行値を制限付き奥行値が取り得る最大値となるように予め定めた非線形変換式（後記する（６）式）によって、被写体Ｏまでの距離に対応した奥行値を制限付き奥行値に変換する。この語長が制限された奥行値（制限付き奥行値）は、非線形変換式によって変換された非線形な値であるため、以下、制限付き奥行値を非線形奥行値と呼ぶこととする。
この奥行変換手段１１で変換された非線形奥行値は、符号化手段１２に出力される。
なお、この奥行変換手段１１において行う変換、すなわち、予め定めた非線形変換式による奥行値の変換については、後で詳細に説明を行う。
【００４２】
符号化手段１２は、カメラＣで撮影された基準となる映像（ここでは、左視点映像ＭＬ）と、奥行変換手段１１で変換された非線形奥行値とを符号化してビットストリームを生成するものである。この符号化手段１２における符号化方式は、一般的な方式を用いればよい。例えば、デジタルテレビ、ブルーレイディスクレコーダ等に用いられているＭＰＥＧ−２、Ｈ．２６４等である。なお、このとき、符号化手段１２は、非線形奥行値を映像データとみなして符号化する。
このように符号化されたビットストリームは、外部に出力される。例えば、外部に接続した記録媒体に記録されたり、通信回線を介して伝送路上に出力されたりする。
【００４３】
以上説明したように、立体映像符号化装置１は、入力されるカメラの映像（左視点映像ＭＬ，右視点映像ＭＲ）よりも少ない映像と、語長が制限された非線形奥行値とによって、符号化されたビットストリームの伝送量を抑えることができる。
【００４４】
（奥行値変換の詳細）
次に、奥行変換手段１１において行う非線形変換による奥行値の変換について詳細に説明する。
図１に示すように、カメラＣ（ＣＬ，ＣＲ）のレンズ間隔である基線長をＢとし、基線（レンズの主点同士を結んだ直線）から被写体Ｏまでの距離（被写体距離）をカメラＣから被写体Ｏまでの距離Ｄと定め、カメラＣのレンズの焦点距離をｆ、カメラＣのイメージセンサの画素サイズをｐとすると、これらには、以下の（１）式に示す関係がある。
【００４５】
【数５】
0005751616.tif 000008
【００４６】
この（１）式の関係は、例えば、基線長Ｂ＝６５ｍｍ、レンズの焦点距離ｆ＝１５ｍｍ、イメージセンサの画素サイズｐ＝５μｍとすると、図４に示す曲線Ｌ１で表される。この図４のグラフの横軸は奥行値［画素］、縦軸は被写体距離［ｍｍ］を示している。この曲線Ｌ１に示すように、（１）式の関係において、被写体距離Ｄが大きく（遠く）なるほど奥行値ｘは“０”に近づくため、有限語長の奥行値ｘで表すことができる。しかし、被写体距離Ｄが小さく（近く）なるほど、奥行値ｘは無限に大きくなるため、有限語長の奥行値ｘで表せる最大値（例えば、ｘ＝２５５）よりも近い被写体Ｏの奥行きを表すことができない。
そこで、奥行変換手段１１は、奥行値を非線形な値（非線形奥行値）に変換することとする。
【００４７】
具体的には、非線形奥行値をＸ、有限語長の奥行値Ｘで表せる最大値をＸｍａｘ（例えば、Ｘｍａｘ＝２５５）とし、以下の（２）式の関係を満たせば、図４の曲線Ｌ２で表されるように、有限の非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）で、被写体距離Ｄの“０”から無限遠の奥行きを表すことができる。
【００４８】
【数６】
0005751616.tif 000009
【００４９】
また、奥行値を非線形な値に変換する場合、この（２）式の第２項に非線形奥行値Ｘの重み（Ｘ／Ｘｍａｘ）を掛けた以下の（３）式の関係を満たすことがさらに有効である。
【００５０】
【数７】
0005751616.tif 000010
【００５１】
この（３）式は、図４の曲線Ｌ３で表される。
前記（２）式の曲線Ｌ２では、非線形奥行値Ｘ＝０からＸ＝２５５の奥行値の多くが、被写体距離Ｄが１ｍより近い被写体の奥行値に使用されている。
一方、（３）式の曲線Ｌ３では、（２）式の曲線Ｌ２よりも、被写体距離Ｄが１ｍより近い被写体の奥行値に使用される奥行値が少ないため、一般的な撮影で重要となる距離１ｍ以上の被写体の奥行きに多くの奥行値を割り当て、奥行きの精度を高めることができる。
【００５２】
また、（３）式の曲線Ｌ３では、遠くの被写体の奥行きについては、曲線Ｌ１に近づくため、非線形奥行値Ｘによって奥行きの精度を保つことができる。また、近くの被写体の奥行きについては、（２）式の曲線Ｌ２に近づくため、被写体距離Ｄが“０”の被写体の奥行きまで、限られた語長の非線形奥行値Ｘで表すことができる。
なお、（３）式は、以下の（４）式に変形することができる。
【００５３】
【数８】
0005751616.tif 000011
【００５４】
ここで、（４）式と（１）式とを比べると、（４）式は、元の（１）式の奥行値ｘを、以下の（５）式に示すような非線形奥行値Ｘの関数で置き換えた関係にある。
【００５５】
【数９】
0005751616.tif 000012
【００５６】
すなわち、奥行値ｘを、この（５）式で与えられる非線形奥行値Ｘで置き換えれば、距離“０”から無限遠までの被写体の奥行きを、限られた語長の非線形奥行値Ｘで精度よく表すことができる。
そこで、図１に示す立体映像符号化装置１の奥行変換手段１１は、奥行推定手段１０で推定された奥行値ｘを、（５）式を非線形奥行値Ｘで解いた以下の（６）式に示す非線形変換式により計算することで、非線形奥行値Ｘを求める。
【００５７】
【数１０】
0005751616.tif 000013
【００５８】
なお、参考までに、この（６）式の関係をグラフで表すと、図５に示すような曲線となる。この図５に示すように、非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）の値によって、元の奥行値ｘ（０〜無限大）の値を表すことができる。
以上説明したように、立体映像符号化装置１は、至近距離から遠方までの奥行値を、語数が制限された奥行値（非線形奥行値）で精度よく表すことができ、少ないビットストリームで立体映像を伝送することが可能になる。
【００５９】
〔立体映像復号化装置の構成〕
次に、図１を参照して、立体映像復号化装置の構成について説明する。
図１に示すように、立体映像復号化装置２は、ある視点のカメラＣで撮影された被写体の映像と、カメラＣから被写体Ｏまでの距離に対応した奥行値が予め定めた語長に変換された制限付き奥行値（非線形奥行値）とが符号化されたビットストリームを復号化するものである。本実施形態において、立体映像復号化装置２は、立体映像符号化装置１で符号化されたビットストリームを復号化する。
ここでは、立体映像復号化装置２は、復号化手段２０と、奥行逆変換手段２１と、多視点映像生成手段２２と、を備えている。
【００６０】
復号化手段２０は、立体映像符号化装置１で符号化されて伝送されるビットストリームを入力し、復号化するものである。
この復号化手段２０は、立体映像符号化装置１の符号化手段１２と同一の符号化方式を用いて、ビットストリームから、カメラＣで撮影された基準となる映像（ここでは、左視点映像ＭＬ）と、非線形奥行値Ｘとを復号化する。例えば、符号化手段１２でＭＰＥＧ−２の符号化方式を用いるのであれば、復号化手段２０においてもＭＰＥＧ−２を用いてビットストリームを復号化し、符号化手段１２でＨ．２６４の符号化方式を用いるのであれば、復号化手段２０においてもＨ．２６４を用いてビットストリームを復号化する。なお、このとき、復号化手段２０は、映像データとして符号化された非線形奥行値を復号化する。
このように復号化された非線形奥行値Ｘは、奥行逆変換手段２１に出力され、基準となる映像（ここでは、左視点映像ＭＬ）は、多視点映像生成手段２２に出力される。
【００６１】
奥行逆変換手段２１は、復号化手段２０で復号化された非線形奥行値Ｘを、立体映像符号化装置１の奥行推定手段１０で推定された元の奥行値ｘに逆変換するものである。
この奥行逆変換手段２１は、立体映像符号化装置１の奥行変換手段１１で使用された非線形変換式の逆変換式によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
すなわち、奥行逆変換手段２１は、非線形変換式である前記（６）式の逆変換式である前記（５）式によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
このように求められた元の奥行値ｘは、多視点映像生成手段２２に出力される。
【００６２】
多視点映像生成手段２２は、復号化手段２０で復号化された基準となる映像（ここでは、左視点映像ＭＬ）と、奥行逆変換手段２１で逆変換された元の奥行値ｘとから、複数の視点の映像（多視点映像）を生成するものである。
この多視点映像生成手段２２は、図３（ａ）に示すように、基準となる映像（ここでは、左視点映像ＭＬ）の各画素位置を、奥行値ｘの値だけ、左にシフトして合成することで、元の右視点映像を多視点映像ＭＮとして生成する。
なお、このように、右視点映像を復元することができるのは、奥行値ｘが、左右視点映像間の対応画素位置のずれ量を表しているからである。
【００６３】
また、多視点映像生成手段２２は、左右視点の間の映像、例えば、左視点位置から、１／４基線長だけ右に寄った多視点映像Ｍ１、２／４基線長だけ右に寄った多視点映像Ｍ２、３／４基線長だけ右に寄った多視点映像Ｍ３を生成するためには、それぞれ、奥行値ｘを、ｘ／４、２ｘ／４、３ｘ／４として、画素位置をそれぞれの奥行値だけ左にずらして合成すればよい。このとき、左視点位置の映像である多視点映像Ｍ０は、復号化手段２０で復号化された左視点映像ＭＬを用いればよい。
【００６４】
なお、多視点映像生成手段２２は、シフト量が大きくなることで発生する、画素をシフトした後に発生する穴（欠損した画素）については、近接する画素の値をコピーすることとすればよい。このとき、近接の画素の中で最も奥行値の小さい画素の値を用いて穴を埋めると、近接画素と同じ背景の画素で穴が埋められることになり、穴を目立たなくすることができる。
【００６５】
また、ここでは、多視点映像を生成するために、少数の視点映像（基準となる映像）である左視点映像ＭＬのみを符号化伝送することとしたが、右視点映像ＭＲを併せて符号化伝送することとしてもよい。その場合、画素をシフトした後に発生する穴を、右視点映像ＭＲにおける対応画素位置の画素の値でコピーすればよい。なお、この対応画素位置は、穴に近接する画素の奥行値の中で最小値を穴の奥行値とし、その奥行値だけシフトした右視点映像ＭＲにおける画素位置の画素の値を用いればよい。
【００６６】
なお、多視点映像の視点位置をさらに広げたい場合、多視点映像生成手段２２は、図３（ｂ）に示すように、少数の視点映像である基準となる映像（ここでは、左視点映像ＭＬ）の画素を、その画素の奥行値ｘだけ右にシフトすることで多視点映像Ｍ−Ｎを合成して生成することができる。また、多視点映像Ｍ−Ｎと多視点映像Ｍ０との間の視点位置の多視点映像についても、前記したように基線長に応じて奥行値をずらして合成すればよい。
【００６７】
このように生成された多視点映像Ｍ０〜ＭＮ（あるいは、Ｍ−Ｎ〜ＭＮ）は、外部に出力される。この出力された多視点映像Ｍ０〜ＭＮ（あるいは、Ｍ−Ｎ〜ＭＮ）は、立体ディスプレイＧによって、それぞれの視点に対応した映像として表示されることで、立体映像が画面上に表示されることになる。
【００６８】
以上説明したように、立体映像復号化装置２は、至近距離から遠方までの奥行値を、語数が制限された奥行値（非線形奥行値）からの逆変換で精度よく表すことができ、少ないビットストリームの伝送量で立体映像を伝送することが可能になる。
【００６９】
以上、本発明の第１実施形態に係る立体映像符号化装置１および立体映像復号化装置２の構成について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、立体映像符号化装置１の奥行変換手段１１が非線形変換式（（６）式参照）を用いて非線形奥行値を算出し、立体映像復号化装置２の奥行逆変換手段２１が、逆変換式（（５）式参照）を用いて非線形奥行値から元の奥行値を算出することとした。しかし、奥行変換手段１１や奥行逆変換手段２１は、演算を行わずに、非線形奥行値と元の奥行値とを予め対応付けた対応表を参照して、変換、逆変換を行うこととしてもよい。
【００７０】
すなわち、図１に示した立体映像符号化装置１および立体映像復号化装置２は、図１０に示した立体映像符号化装置１Ｂおよび立体映像復号化装置２Ｂとすることで、第１実施形態の変形例としてもよい。
ここで、図１０に示すように、立体映像符号化装置１Ｂは、図１で示した立体映像符号化装置１に対して、奥行対応表記憶手段１３Ｂが構成として付加され、奥行変換手段１１を、機能を変えた奥行変換手段１１Ｂに置き換えている点が異なっている。他の構成については、立体映像符号化装置１と同じである。
【００７１】
奥行対応表記憶手段１３Ｂは、奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段１３Ｂには、非線形奥行値Ｘごとに、前記（５）式に示した関数で予め計算した奥行値ｘの値を、それぞれ対応付けた対応表を記憶しておく。
そして、奥行変換手段１１Ｂは、奥行推定手段１０で推定された奥行値ｘに対応する非線形奥行値Ｘを、奥行対応表記憶手段１３Ｂに記憶されている対応表において検索し、対応する非線形奥行値Ｘを、符号化手段１２に出力する。
【００７２】
また、図１０に示すように、立体映像復号化装置２Ｂは、図１で示した立体映像復号化装置２に対して、奥行対応表記憶手段２３Ｂが構成として付加され、奥行逆変換手段２１を、機能を変えた奥行逆変換手段２１Ｂに置き換えている点が異なっている。他の構成については、立体映像復号化装置２と同じである。
【００７３】
奥行対応表記憶手段２３Ｂは、奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段２３Ｂには、非線形奥行値Ｘごとに、前記（５）式に示した関数で予め計算した奥行値ｘの値を、それぞれ対応付けた対応表を記憶しておく。
【００７４】
そして、奥行逆変換手段２１Ｂは、復号化手段２０で復号化された非線形奥行値Ｘに対応する奥行値ｘを、奥行対応表記憶手段２３Ｂに記憶されている対応表において検索し、対応する奥行値ｘを、多視点映像生成手段２２に出力する。
これによって、立体映像符号化装置１Ｂおよび立体映像復号化装置２Ｂは、奥行値を変換あるいは逆変換する演算処理を行うことなく、高速に、立体映像の符号化、復号化を行うことができる。
【００７５】
なお、図１に示した立体映像符号化装置１と、図１０に示した立体映像復号化装置２Ｂとで立体映像伝送システムを構成してもよいし、図１０に示した立体映像符号化装置１Ｂと、図１に示した立体映像復号化装置２とで立体映像伝送システムを構成してもよいことはいうまでもない。
【００７６】
［立体映像伝送システムの動作：第１実施形態］
次に、本発明の第１実施形態に係る立体映像符号化装置および立体映復号化装置の動作について説明する。
【００７７】
〔立体映像符号化装置の動作〕
最初に、図８を参照（構成については適宜図１，図１０参照）して、立体映像符号化装置１（１Ｂ）の動作について説明する。なお、ここでは、基本的に立体映像符号化装置１の動作について説明し、立体映像符号化装置１Ｂの動作については、立体映像符号化装置１と異なる動作についてのみ説明することとする。
【００７８】
まず、立体映像符号化装置１は、奥行推定手段１０によって、カメラＣ（ＣＬ，ＣＲ）から多視点の映像（左視点映像ＭＬ，右視点映像ＭＲ）を入力する（ステップＳ１）。
そして、立体映像符号化装置１は、奥行推定手段１０によって、基準となる映像（左視点映像ＭＬ）のある画素が、他方の映像（右視点映像ＭＲ）との間で、何画素ずれているかを探索し、そのずれ量を当該画素における奥行値ｘと推定する（ステップＳ２）。
そして、立体映像符号化装置１は、奥行変換手段１１によって、ステップＳ２で推定された奥行値ｘを、前記した（６）式によって演算することで、非線形奥行値Ｘに変換する（ステップＳ３）。
【００７９】
なお、このステップＳ３の動作は、図１０に示した立体映像符号化装置１Ｂの場合であれば、奥行変換手段１１Ｂが、ステップＳ２で推定された奥行値ｘに対応する非線形奥行値Ｘを、奥行対応表記憶手段１３Ｂに記憶されている対応表から検索することになる。
これによって、奥行値ｘは、語長が制限された奥行値に変換されることになる。
【００８０】
その後、立体映像符号化装置１は、符号化手段１２によって、ステップＳ１で入力した基準となる映像（左視点映像ＭＬ）と、ステップＳ３で変換された非線形奥行値Ｘとを符号化してビットストリームを生成し（ステップＳ４）、外部に出力する（ステップＳ５）。
【００８１】
〔立体映像復号化装置の動作〕
次に、図９を参照（構成については適宜図１，図１０参照）して、立体映像復号化装置２（２Ｂ）の動作について説明する。なお、ここでは、基本的に立体映像復号化装置２の動作について説明し、立体映像復号化装置２Ｂの動作については、立体映像復号化装置２と異なる動作についてのみ説明することとする。
【００８２】
まず、立体映像復号化装置２は、復号化手段２０によって、立体映像符号化装置１で符号化されて伝送されるビットストリームを入力する（ステップＳ１１）。
そして、立体映像復号化装置２は、復号化手段２０によって、ビットストリームから、カメラＣで撮影された基準となる映像（左視点映像ＭＬ）と、非線形奥行値Ｘとを復号化する（ステップＳ１２）。
【００８３】
そして、立体映像復号化装置２は、奥行逆変換手段２１によって、ステップＳ１２で復号化された非線形奥行値Ｘを、前記した（５）式によって演算することで、立体映像符号化装置１の奥行推定手段１０で推定された元の奥行値ｘに逆変換する（ステップＳ１３）。
【００８４】
なお、このステップＳ１３の動作は、図１０に示した立体映像復号化装置２Ｂの場合であれば、ステップＳ１２で復号化された非線形奥行値Ｘに対応する奥行値ｘを、奥行対応表記憶手段２３Ｂに記憶されている対応表から検索することになる。
これによって、語長が制限された奥行値（非線形奥行値Ｘ）は、元の奥行値に逆変換されることになる。
【００８５】
その後、立体映像復号化装置２は、多視点映像生成手段２２によって、ステップＳ１２で復号化された基準となる映像（左視点映像ＭＬ）と、ステップＳ１３で逆変換された奥行値ｘとから、複数の視点の映像（多視点映像）を生成し（ステップＳ１４）、外部に出力する（ステップＳ１５）。
【００８６】
［立体映像伝送システムの構成：第２実施形態］
次に、図１を参照して、本発明の第２実施形態に係る立体映像符号化装置および立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
立体映像伝送システムＳＣは、カメラＣで撮影された映像を奥行値とともに符号化して伝送し、伝送先において多視点映像を生成するものであって、基本的に第１実施形態で説明した立体映像伝送システムＳと同じである。
【００８７】
第１実施形態では、被写体距離Ｄを“０”から無限遠までとした奥行値ｘを符号化および復号化することとしたが、被写体Ｏが予め最近距離Ｄｍｉｎから最遠距離Ｄｍａｘの間にしか存在しないことが既知の場合、この距離間を、“０”から最大奥行値Ｘｍａｘ（例えば、Ｘｍａｘ＝２５５）までの非線形奥行値Ｘで表した方が、奥行値の精度を落とさなくて済む。
【００８８】
そこで、第２実施形態に係る立体映像符号化装置１Ｃでは、第１実施形態に係る立体映像符号化装置１の奥行変換手段１１を奥行変換手段１１Ｃとし、第２実施形態に係る立体映像復号化装置２Ｃでは、第１実施形態に係る立体映像復号化装置２の奥行逆変換手段２１を奥行逆変換手段２１Ｃとして構成している。他の構成については、第１実施形態と同一であるため、同一の符号を付して説明を省略する。
【００８９】
奥行変換手段１１Ｃは、奥行推定手段１０で推定された奥行値を、予め定めた語長の制限付き奥行値（非線形奥行値）に変換するものである。なお、奥行推定手段１０で推定された奥行値は、予め既知の範囲（最小奥行値ｘｍｉｎ、最大奥行値ｘｍａｘ）とする。この最小奥行値ｘｍｉｎ、最大奥行値ｘｍａｘは、図示を省略した入力手段を介して入力することとしてもよいし、図示を省略した記憶手段に予め設定されていることとしてもよい。
【００９０】
この奥行変換手段１１Ｃは、カメラＣから被写体Ｏまでの予め定めた最遠距離に対応する奥行値を制限付き奥行値（非線形奥行値）の最小値とし、カメラＣから被写体Ｏまでの予め定めた最近距離に対応する奥行値を制限付き奥行値（非線形奥行値）が取り得る最大値となるように予め定めた非線形変換式（後記する（１５）式）によって、被写体Ｏまでの距離に対応した奥行値を非線形奥行値に変換する。
この奥行変換手段１１Ｃで変換された非線形奥行値は、符号化手段１２に出力される。
なお、この奥行変換手段１１Ｃにおいて行う変換、すなわち、予め定めた非線形変換式による奥行値の変換については、後で詳細に説明を行う。
【００９１】
奥行逆変換手段２１Ｃは、復号化手段２０で復号化された非線形奥行値Ｘを、立体映像符号化装置１Ｃの奥行推定手段１０で推定された元の奥行値ｘに逆変換するものである。なお、奥行逆変換手段２１Ｃには、立体映像符号化装置１Ｃの奥行変換手段１１Ｃで設定される最小奥行値ｘｍｉｎおよび最大奥行値ｘｍａｘが、予め図示を省略した入力手段を介して入力され、あるいは、図示を省略した記憶手段に予め設定されているものとする。もちろん、最小奥行値ｘｍｉｎおよび最大奥行値ｘｍａｘは、ビットストリーム内に付加されて立体映像符号化装置１Ｃから取得する形態であっても構わない。
この奥行逆変換手段２１Ｃは、奥行変換手段１１Ｃが用いた非線形変換式の逆変換式（後紀する（１４）式）によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
このように求められた元の奥行値ｘは、多視点映像生成手段２２に出力される。
【００９２】
（奥行値変換の詳細）
次に、奥行変換手段１１Ｃにおいて行う非線形変換式による奥行値の変換、ならびに、奥行逆変換手段２１Ｃにおいて行う奥行値の逆変換について詳細に説明する。
ここで、図１に示すようにカメラＣ（ＣＬ，ＣＲ）のレンズ間隔である基線長をＢとし、基線（レンズの主点同士を結んだ直線）から被写体Ｏまでの距離（被写体距離）をカメラＣから被写体Ｏまでの距離Ｄと定め、カメラＣのレンズの焦点距離をｆ、カメラＣのイメージセンサの画素サイズをｐとしたとき、前記したとおり、（１）式の関係式が成り立つ。
そこで、奥行値ｘが取り得る範囲である最小奥行値をｘｍｉｎ、最大奥行値をｘｍａｘとすると、以下の（７）式および（８）式の関係式が成り立つ。
【００９３】
【数１１】
0005751616.tif 000014
【００９４】
【数１２】
0005751616.tif 000015
【００９５】
ここで、Ｄｍａｘは、最小奥行値ｘｍｉｎに対応する最大被写体距離であり、Ｄｍｉｎは、最大奥行値ｘｍａｘに対応する最小被写体距離である。
このとき、非線形奥行値Ｘの最大値Ｘｍａｘで、最小被写体距離Ｄｍｉｎを表すには、前記（１）式を以下の（９）式に変形すればよい。
【００９６】
【数１３】
0005751616.tif 000016
【００９７】
この（９）式の関係は、例えば、基線長Ｂ＝６５ｍｍ、レンズの焦点距離ｆ＝１５ｍｍ、イメージセンサの画素サイズｐ＝５μｍとすると、図６に示す曲線Ｌ２で表される。この図６のグラフの横軸は奥行値［画素］、縦軸は被写体距離［ｍｍ］を示している。また、ここでは、ｘｍｉｎ＝５０、ｘｍａｘ＝５６１とした例を示している。なお、曲線Ｌ１は、（１）式の関係を示している。
この図６の曲線Ｌ２によれば、有限の非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）で、被写体距離Ｄの最小被写体距離Ｄｍｉｎから、無限遠の被写体の奥行きを表すことができる。
【００９８】
しかし、このままでは、非線形奥行値Ｘは、“０”から、最大被写体距離Ｄｍａｘに対応する非線形奥行値の最小値ｘｍｉｎまでの値が使われないため無駄である。
そこで、非線形奥行値Ｘに、最大被写体距離Ｄｍａｘに対応する非線形奥行値の最小値Ｘｍｉｎ（≒ｘｍｉｎ）をオフセットとして加え、図６の曲線Ｌ２を左にＸｍｉｎ（≒ｘｍｉｎ）だけシフトすれば、非線形奥行値Ｘは、“０”から有効に使用されることになる（グラフとして図示せず）。
【００９９】
しかし、このままでは、最近被写体距離Ｄｍｉｎに対応する非線形奥行値Ｘの値が、Ｘｍａｘ＝２５５よりも小さくなってしまい非線形奥行値Ｘとして使われない無駄な部分が発生する。
そこでさらに、前記（９）式を、非線形奥行値Ｘに、最大被写体距離Ｄｍａｘに対応する非線形奥行値の最小値Ｘｍｉｎ（≒ｘｍｉｎ）をオフセットとして加えるとともに、前記（９）式の第２項に非線形奥行値Ｘの重み（Ｘ／Ｘｍａｘ）を掛けることで、以下の（１０）式に変形する。
【０１００】
【数１４】
0005751616.tif 000017
【０１０１】
ここで、ｋを以下の（１１）式とおくと、（１０）式は、以下の（１２）に変形することができる。
【０１０２】
【数１５】
0005751616.tif 000018
【０１０３】
【数１６】
0005751616.tif 000019
【０１０４】
この（１２）式の関係は、図６に示す曲線Ｌ３で表される。
この（１２）式の曲線Ｌ３では、最大被写体距離Ｄｍａｘに対応する奥行値は、非線形奥行値の最小値Ｘｍｉｎ＝０で表され、最小被写体距離Ｄｍｉｎに対応する奥行値は、非線形奥行値の最大値Ｘｍａｘ＝２５５で表される。
【０１０５】
また、曲線Ｌ３は、曲線Ｌ１に比べ、奥行値の取り得る値の半分で、約１ｍ以上の被写体距離を表すことができ、より多くの奥行値を、通常の撮影で重要となる距離１ｍ以上の被写体距離に割り当てることができる。さらに、距離１ｍから最近距離Ｄｍｉｎまでの間にある被写体の奥行値も、残り約半分の非線形奥行値を使って表すことができる。これによって、限られた語長の非線形奥行値Ｘで、遠方の被写体の奥行値から近くの被写体の奥行値までを、有効かつ精度よく表すことができる。
この（１２）式は、以下の（１３）式に変形することができる。
【０１０６】
【数１７】
0005751616.tif 000020
【０１０７】
ここで、（１３）式と（１）式とを比べると、（１３）式は、元の（１）式の奥行値ｘを、以下の（１４）式に示すような非線形奥行値Ｘの関数で置き換えた関係にある。
【０１０８】
【数１８】
0005751616.tif 000021
【０１０９】
すなわち、奥行値ｘを、この（１４）式で与えられる非線形奥行値Ｘで置き換えれば、最小被写体距離から、最大被写体距離までの被写体の奥行きを、限られた語長の非線形奥行値Ｘで精度よく表すことができる。
そこで、図１に示す立体映像符号化装置１Ｃの奥行変換手段１１Ｃは、奥行推定手段１０で推定された奥行値ｘを、（１４）式を非線形奥行値Ｘで解いた以下の（１５）式により計算することで、非線形奥行値Ｘを求める。
【０１１０】
【数１９】
0005751616.tif 000022
【０１１１】
なお、参考までに、この（１５）式の関係をグラフで表すと、図７に示すような曲線となる。この図７に示すように、非線形奥行値Ｘ（０〜Ｘｍａｘ＝２５５）の値によって、元の奥行値ｘ（ｘｍｉｎ〜ｘｍａｘ）の値を表すことができる。
また、図１に示す立体映像復号化装置２Ｃの奥行逆変換手段２１Ｃは、前記（１５）式の逆変換式である前記（１４）式によって、非線形奥行値Ｘを元の奥行値ｘに逆変換する。
【０１１２】
以上、本発明の第２実施形態に係る立体映像符号化装置１Ｃおよび立体映像復号化装置２Ｃの構成について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、立体映像符号化装置１Ｃの奥行変換手段１１Ｃが非線形変換式（（１５）式参照）を用いて非線形奥行値を算出し、立体映像復号化装置２Ｃの奥行逆変換手段２１Ｃが、逆変換式（（１４）式参照）を用いて非線形奥行値から元の奥行値を算出することとした。しかし、奥行変換手段１１Ｃや奥行逆変換手段２１Ｃは、演算を行わずに、非線形奥行値と元の奥行値とを予め対応付けた対応表を参照して、変換、逆変換を行うこととしてもよい。
【０１１３】
すなわち、図１に示した立体映像符号化装置１Ｃおよび立体映像復号化装置２Ｃは、図１０に示した立体映像符号化装置１Ｄおよび立体映像復号化装置２Ｄとすることで、第２実施形態の変形例としてもよい。
ここで、図１０に示すように、立体映像符号化装置１Ｄは、第１実施形態の変形例の立体映像符号化装置１Ｂに対して、奥行対応表記憶手段１３Ｂを奥行対応表記憶手段１３Ｄに置き換えて構成している。他の構成については、立体映像符号化装置１Ｂと同じである。
【０１１４】
奥行対応表記憶手段１３Ｄは、奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段１３Ｄには、被写体距離を制限した奥行値ｘごとに、前記（１５）式に示した関数で予め計算した非線形奥行値Ｘの値を、それぞれ対応付けた対応表を記憶しておく。
【０１１５】
また、図１０に示すように、立体映像復号化装置２Ｄは、第１実施形態の変形例の立体映像復号化装置２Ｂに対して、奥行対応表記憶手段２３Ｂを奥行対応表記憶手段２３Ｄに置き換えて構成している。他の構成については、立体映像復号化装置２Ｂと同じである。
【０１１６】
奥行対応表記憶手段２３Ｄは、被写体距離を制限した奥行値の各値と、予め定めた語長の制限付き奥行値（非線形奥行値）の各値とを対応付けた対応表を記憶するもので、ハードディスク等の一般的な記憶装置である。
この奥行対応表記憶手段２３Ｄには、被写体距離を制限した非線形奥行値Ｘごとに、前記（１４）式に示した関数で予め計算した奥行値ｘの値を、それぞれ対応付けた対応表を記憶しておく。
これによって、立体映像符号化装置１Ｄおよび立体映像復号化装置２Ｄは、奥行値を変換あるいは逆変換する演算処理を行うことなく、高速に、立体映像の符号化、復号化を行うことができる。
【０１１７】
なお、図１に示した立体映像符号化装置１Ｃと、図１０に示した立体映像復号化装置２Ｄとで立体映像伝送システムを構成してもよいし、図１０に示した立体映像符号化装置１Ｄと、図１に示した立体映像復号化装置２Ｃとで立体映像伝送システムを構成してもよいことはいうまでもない。
【０１１８】
この第２実施形態に係る立体映像符号化装置１Ｃ，１Ｄおよび立体映像復号化装置２Ｃ，２Ｄの動作は、使用する非線形変換式あるいは対応表が異なるだけで、図８，図９で説明した第１実施形態に係る立体映像符号化装置１，１Ｂおよび立体映像復号化装置２，２Ｂの動作と基本的に同じであるため、ここでは、動作の説明は省略する。
以上、本発明の実施形態に係る立体映像符号化装置１，１Ｂ，１Ｃ，１Ｄおよび立体映像復号化装置２，２Ｂ，２Ｃ，２Ｄについて説明したが、本発明はこれらの構成に限定されるものではない。
【０１１９】
ここでは、左右カメラの一方が撮影した映像を基準映像として、奥行値とともに、符号化伝送することとしたが、立体映像符号化装置が入力するカメラの映像の数は２つ以上であっても構わない。すなわち、本発明は、２つの映像間の視差である奥行値を語長が制限された奥行値に変換するため、複数の映像を入力し、各映像間で奥行値を求めて符号化伝送する一般的な立体映像符号化装置、立体映像復号化装置に適用することができる。
【０１２０】
また、ここでは、非線形奥行値の最大値を、語長が８ビットの最大値である“２５５”を例に説明したが、非線形奥行値は、８ビットの語長に限定されることはなく、伝送に用いる語長で表すことができる最大値を用いればよい。
【０１２１】
また、ここでは、奥行推定手段１０によって、複数の映像の視差によって奥行値を推定することとしたが、レンジファインダ等の距離計を用いて、測定した距離を奥行値に対応付けることとしてもよい。その場合、奥行推定手段１０を構成から省略することができる。
【符号の説明】
【０１２２】
Ｓ      立体映像伝送システム
１      立体映像符号化装置
１０    奥行推定手段
１１    奥行変換手段
１２    符号化手段
１３Ｂ  奥行対応表記憶手段
２      立体映像復号化装置
２０    復号化手段
２１    奥行逆変換手段
２２    多視点映像生成手段
２３Ｂ  奥行対応表記憶手段
【図１】
0005751616.tif 000035
【図２】
0005751616.tif 000036
【図３】
0005751616.tif 000037
【図４】
0005751616.tif 000038
【図５】
0005751616.tif 000039
【図６】
0005751616.tif 000040
【図７】
0005751616.tif 000041
【図８】
0005751616.tif 000042
【図９】
0005751616.tif 000043
【図１０】
0005751616.tif 000044
【図１１】
0005751616.tif 000045