(57)【要約】【課題】３Ｄ映像のシーンを奥行き圧縮する際に、３Ｄ映像制作者の意図を反映可能な奥行き制御装置及びプログラムを提供する。【解決手段】奥行き制御装置３の制御点設定部１０は、制御点操作装置２に対する３Ｄ映像制作者の操作に従い、制御点Ｃi（ｓi，ｕi）を設定し、関数生成部１１は、次数Ｋの基底関数が制御点Ｃi（ｓi，ｕi）に近似するように、奥行き圧縮関数ｆを生成する。奥行き圧縮部１２は、３Ｄ映像に対し、奥行き圧縮関数ｆを用いた奥行き圧縮を行う。３Ｄ描画部１３は、奥行き圧縮後の３Ｄ映像をレンダリングすることで３Ｄ描画する。３Ｄ映像表示装置４は、奥行き圧縮後の３Ｄ映像を画面表示し、関数表示装置５は、奥行き圧縮関数ｆの形状及び制御点Ｃi（ｓi，ｕi）の位置を画面表示する。【選択図】図３
2020184721.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる３Ｄ映像の制御点操作装置の操作に従って複数の制御点を設定し、前記複数の制御点を表示装置へ出力する制御点設定部と、
所定次数の基底関数が、前記制御点設定部により設定された前記複数の制御点に近似するように、奥行き圧縮関数を生成し、前記奥行き圧縮関数を表示装置へ出力する関数生成部と、
３Ｄ映像を入力し、当該３Ｄ映像に対し、前記関数生成部により生成された前記奥行き圧縮関数を用いて奥行きを圧縮し、奥行き圧縮後の３Ｄ映像を生成する奥行き圧縮部と、
前記奥行き圧縮部により生成された前記奥行き圧縮後の３Ｄ映像を、表示装置へ出力する３Ｄ表示部と、
を備えたことを特徴とする奥行き制御装置。
【請求項２】
請求項１に記載の奥行き制御装置において、
前記奥行き圧縮関数を、圧縮前の奥行き座標値を圧縮後の奥行き座標値に変換する前記所定次数の基底関数とし、
前記制御点を、前記圧縮前の奥行き座標値及び前記圧縮後の奥行き座標値からなる座標点とする、ことを特徴とする奥行き制御装置。
【請求項３】
請求項２に記載の奥行き制御装置において、
前記制御点設定部は、
前記ユーザによる前記制御点操作装置の操作に従って、前記制御点操作装置から、前記複数の制御点のそれぞれに対応する奥行きデータ及び高さデータを入力し、前記奥行きデータ及び前記高さデータに基づいて奥行き高さデータを求め、前記圧縮前の奥行き座標値に対応する前記奥行きデータ、及び前記圧縮後の奥行き座標値に対応する前記奥行き高さデータからなる前記制御点を設定し、
前記関数生成部は、
前記複数の制御点の数をＮとし、前記所定次数をＫとして、式：Ｎ＝Ｋ＋１を満たす場合、前記奥行きデータを要素とする奥行き行列の逆行列と、前記奥行き高さデータを要素とする奥行き高さ行列との積を演算することで、前記所定次数の基底関数における次数毎の係数を決定し、
式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たす場合、前記奥行き行列の疑似逆行列と前記奥行き高さ行列との積を演算することで、前記次数毎の係数を決定する係数決定部と、
前記係数決定部により決定された前記次数毎の係数を、前記所定次数の基底関数に設定し、前記奥行き圧縮関数を決定する関数決定部と、
を備えたことを特徴とする奥行き制御装置。
【請求項４】
コンピュータを、請求項１から３までのいずれか一項に記載の奥行き制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ映像のシーンの奥行きを圧縮する奥行き制御装置及びプログラムに関する。
【背景技術】
【０００２】
従来、３Ｄ映像を表示する装置（以下、「３Ｄ映像表示装置」という。）において、広い奥行きのシーンを表示する際に様々な課題があることが知られている。
【０００３】
例えば、３Ｄ映像表示装置として２眼立体ディスプレイを用いた場合には、広い奥行きを表現すると、輻輳と調節の矛盾が大きくなる。また、特別な眼鏡なしで立体像を観ることが可能なボリュメトリックディスプレイを用いた場合には、表示面から奥行き方向に離れた物体がぼやけて表示されるという特徴がある。
【０００４】
このような課題を解決するため、シーンの奥行きを圧縮して表示する奥行き圧縮表現技術が研究されている。奥行き圧縮表現は、３Ｄモデルの頂点を幾何学的に制御し、広い奥行きのシーンを狭い範囲に圧し潰す表現である。シーンを圧縮する際には、奥行き方向の圧縮の程度にかかわらず、網膜像に投影されるサイズを維持するような変換処理が行われる。
【０００５】
奥行き圧縮表現技術の例としては、単純な形状の非線形関数であるシグモイド（Sigmoid）関数を奥行き圧縮関数として用いた技術が知られている（例えば、非特許文献１を参照）。
【０００６】
シグモイド関数は、３Ｄモデルを構成する頂点の初期の奥行き座標値ｚを圧縮後の奥行き座標値ｚ’に変換する関数ｆ（ｚ）＝ｚ’である。このシグモイド関数を奥行き圧縮関数として用いることにより、被写体が観視者から奥行き方向に離れるほど、圧縮の程度を大きくすることができる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Yasuhito Sawahata and Toshiya Morita，“Estimating Depth Range Required for 3-D Displays to Show Depth-Compressed Scenes Without Including Sense of Unnaturalness”，IEEE Transactions on Broadcasting Vol.64 No.2 June 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、シグモイド関数を奥行き圧縮関数として用いた場合には、予め設定された基底関数及び少数のパラメータにより３Ｄ映像のシーンの奥行きが制御されることから、奥行き範囲にある被写体を強調表現する際の自由度が小さい。
【０００９】
これは、従来の奥行き圧縮表現技術では、奥行き範囲にある被写体を柔軟に強調表現することが考慮されなかったからである。シグモイド関数は、奥行き圧縮関数として簡潔に記述できるが、複雑な形状の関数ではないため、被写体を強調表現する際の自由度は小さい。
【００１０】
ここで、被写体を強調表現するとは、奥行きが制御された後の被写体の画質が、奥行きが制御される前の元の被写体の画質に近くなるように表現することを意味する。
【００１１】
３Ｄ映像のシーンにおいて、ある奥行き範囲に１つの被写体が存在する場合、従来の奥行き圧縮表現技術により、その１つの被写体を強調することができる。これに対し、複数の奥行き範囲のそれぞれに被写体が存在する場合には、１つの被写体を強調することはできるが、全ての被写体を強調することができない。
【００１２】
このように、従来の奥行き圧縮表現技術では、複数の被写体の奥行きをそれぞれ柔軟に表現することができず、３Ｄ映像制作者の意図を反映した映像を表現することができないという問題があった。  
【００１３】
このため、シグモイド関数に代わる新たな関数を奥行き圧縮関数として用いることが所望されていた。新たな関数は、ステップが複数存在する複雑な関数であることが想定され、複数の奥行き範囲のそれぞれに被写体が存在する場合であっても、３Ｄ映像制作者の意図を反映して、所望の複数の被写体を強調表現できる関数であることが望ましい。
【００１４】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、３Ｄ映像のシーンを奥行き圧縮する際に、３Ｄ映像制作者の意図を反映可能な奥行き制御装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
前記課題を解決するために、請求項１の奥行き制御装置は、ユーザによる３Ｄ映像の制御点操作装置の操作に従って複数の制御点を設定し、前記複数の制御点を表示装置へ出力する制御点設定部と、所定次数の基底関数が、前記制御点設定部により設定された前記複数の制御点に近似するように、奥行き圧縮関数を生成し、前記奥行き圧縮関数を表示装置へ出力する関数生成部と、３Ｄ映像を入力し、当該３Ｄ映像に対し、前記関数生成部により生成された前記奥行き圧縮関数を用いて奥行きを圧縮し、奥行き圧縮後の３Ｄ映像を生成する奥行き圧縮部と、前記奥行き圧縮部により生成された前記奥行き圧縮後の３Ｄ映像を、表示装置へ出力する３Ｄ表示部と、を備えたことを特徴とする。
【００１６】
また、請求項２の奥行き制御装置は、請求項１に記載の奥行き制御装置において、前記奥行き圧縮関数を、圧縮前の奥行き座標値を圧縮後の奥行き座標値に変換する前記所定次数の基底関数とし、前記制御点を、前記圧縮前の奥行き座標値及び前記圧縮後の奥行き座標値からなる座標点とする、ことを特徴とする。
【００１７】
また、請求項３の奥行き制御装置は、請求項２に記載の奥行き制御装置において、前記制御点設定部が、前記ユーザによる前記制御点操作装置の操作に従って、前記制御点操作装置から、前記複数の制御点のそれぞれに対応する奥行きデータ及び高さデータを入力し、前記奥行きデータ及び前記高さデータに基づいて奥行き高さデータを求め、前記圧縮前の奥行き座標値に対応する前記奥行きデータ、及び前記圧縮後の奥行き座標値に対応する前記奥行き高さデータからなる前記制御点を設定し、前記関数生成部が、前記複数の制御点の数をＮとし、前記所定次数をＫとして、式：Ｎ＝Ｋ＋１を満たす場合、前記奥行きデータを要素とする奥行き行列の逆行列と、前記奥行き高さデータを要素とする奥行き高さ行列との積を演算することで、前記所定次数の基底関数における次数毎の係数を決定し、式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たす場合、前記奥行き行列の疑似逆行列と前記奥行き高さ行列との積を演算することで、前記次数毎の係数を決定する係数決定部と、前記係数決定部により決定された前記次数毎の係数を、前記所定次数の基底関数に設定し、前記奥行き圧縮関数を決定する関数決定部と、を備えたことを特徴とする。
【００１８】
さらに、請求項４のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の奥行き制御装置として機能させることを特徴とする。
【発明の効果】
【００１９】
以上のように、本発明によれば、３Ｄ映像のシーンを奥行き圧縮する際に、複数の奥行き範囲にある複数の被写体を強調することができ、３Ｄ映像制作者の意図を反映することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態による奥行き制御装置を含む奥行き制御システムの全体構成例を説明する概略図である。
【図２】制御点操作装置の外観構成及び出力データの例を説明する概略図である。
【図３】奥行き制御装置の構成例を示すブロック図である。
【図４】奥行き制御装置の処理例を示すフローチャートである。
【図５】関数生成部の構成例を示すブロック図である。
【図６】奥行き圧縮関数ｆを説明する図である。
【図７】奥行き圧縮部による奥行き圧縮の原理を説明する図である。
【図８】３Ｄ映像のシーンにおける俯瞰図の例である。
【図９】３Ｄ映像表示装置に表示される３Ｄ映像の例を示す図である。
【図１０】関数表示装置に表示される奥行き圧縮関数ｆ及び制御点Ｃi（ｓi，ｕi）の例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔奥行き制御システム〕
まず、奥行き制御システムについて説明する。図１は、本発明の実施形態による奥行き制御装置を含む奥行き制御システムの全体構成例を説明する概略図である。この奥行き制御システム１は、制御点操作装置２、奥行き制御装置３、３Ｄ映像表示装置４及び関数表示装置５を備えて構成される。
【００２２】
奥行き制御システム１は、当該奥行き制御システム１のユーザである３Ｄ映像制作者による３Ｄ映像の制御点操作装置２の操作に従って複数の制御点Ｃiを設定し、複数の制御点Ｃiを有する形状（特性）に近くなるように奥行き圧縮関数ｆを生成する。そして、奥行き制御システム１は、奥行き圧縮関数ｆを用いて３Ｄ映像を奥行き圧縮し、奥行き圧縮関数ｆ、制御点Ｃi及び奥行き圧縮後の３Ｄ映像を画面表示する。
【００２３】
制御点操作装置２は、３Ｄ映像制作者が操作する奥行圧縮関数制御インターフェースである。制御点操作装置２は、予め設定されたフェーダ本数Ｎのそれぞれのフェーダ等に対する３Ｄ映像制作者の操作に従い、奥行き圧縮関数ｆを生成する際に用いる制御点Ｃiを設定するための奥行きデータｓi及び高さデータｔiを生成する。Ｎは３以上の整数であり、ｉ＝０〜Ｎ−１である。
【００２４】
尚、フェーダ本数Ｎは、３Ｄ映像制作者により自由に変更できるようにしてもよい。フェーダ本数Ｎは、制御点Ｃiの数でもある。
【００２５】
制御点操作装置２は、フェーダ本数Ｎ、奥行きデータｓi及び高さデータｔiを奥行き制御装置３へ出力する。制御点操作装置２の詳細については後述する。
【００２６】
制御点Ｃiは、奥行き圧縮関数ｆの形状を決定するためのデータ、具体的には、奥行き圧縮関数ｆを近似するためのデータである。奥行きデータｓiは、圧縮前の奥行き座標値ｚの軸における位置を示す値である。高さデータｔiは、奥行き圧縮関数ｆにより奥行き座標値ｚを圧縮変換する際の圧縮度合いを示す値であり、その範囲は０≦ｔi≦１である。高さデータｔi＝１は、奥行き圧縮されないことを意味し、高さデータｔi＝０は、最大の奥行き圧縮がなされることを意味する。
【００２７】
奥行き制御装置３は、３Ｄ映像制作者による制御点操作装置２の操作に従い、奥行き圧縮関数ｆを生成し、奥行き圧縮関数ｆを用いて３Ｄ映像を奥行き圧縮する装置である。
【００２８】
奥行き制御装置３は、制御点操作装置２からフェーダ本数Ｎ、奥行きデータｓi及び高さデータｔiを入力すると共に、予め設定された次数Ｋを入力し、さらに３Ｄ映像を入力する。そして、奥行き制御装置３は、奥行きデータｓi及び高さデータｔiに基づいて制御点Ｃiを設定し、次数Ｋの基底関数が制御点Ｃiに近似するように、奥行き圧縮関数ｆを生成する。奥行き制御装置３は、奥行き圧縮関数ｆを用いて３Ｄ映像を奥行き圧縮する。
【００２９】
奥行き制御装置３は、奥行き圧縮後の３Ｄ映像をレンダリングし、例えば２次元の描画データを生成し、２次元の描画データを３Ｄ映像表示装置４へ出力する。また、奥行き制御装置３は、奥行き圧縮関数ｆ（奥行き圧縮関数ｆの形状を表すデータ）及び制御点Ｃiを関数表示装置５へ出力する。奥行き制御装置３の詳細については後述する。
【００３０】
３Ｄ映像表示装置４は、奥行き制御装置３から例えば２次元の描画データを入力し、これを３Ｄ映像として画面表示する。関数表示装置５は、奥行き制御装置３から奥行き圧縮関数ｆ及び制御点Ｃiを入力し、奥行き圧縮関数ｆの形状及び制御点Ｃiを画面表示する。
【００３１】
これにより、３Ｄ映像制作者は、３Ｄ映像表示装置４及び関数表示装置５の表示から、リアルタイムに、奥行き圧縮関数ｆによる奥行き圧縮の表現の効果を確かめることができる。
【００３２】
また、３Ｄ映像制作者は、奥行き圧縮後の３Ｄ映像及び奥行き圧縮関数ｆの形状をリアルタイムに確認しながら、フェーダ等を操作することで、手動で制御点Ｃiを設定し、シーンの特徴に合わせた奥行き圧縮関数ｆを設定することができる。この場合、３Ｄ映像制作者は、フェーダ本数Ｎ及び奥行き圧縮関数ｆの次数Ｋを変更することもできる。
【００３３】
したがって、奥行き制御装置３は、３Ｄ映像制作者の意図を反映した、奥行き圧縮された３Ｄ映像を生成することができる。つまり、３Ｄ映像のシーンを奥行き圧縮する際に、複数の奥行き範囲にある所望の複数の被写体を強調することができ、３Ｄ映像制作者の意図を反映することができる。
【００３４】
〔制御点操作装置２〕
次に、図１に示した制御点操作装置２について詳細に説明する。図２は、制御点操作装置２の外観構成及び出力データの例を説明する概略図である。この制御点操作装置２は、奥行き操作ダイヤル部３０、高さ操作フェーダ部３１及び奥行きデータ表示部３２を備えている。フェーダ本数Ｎは８とする。
【００３５】
奥行き操作ダイヤル部３０は、フェーダ本数Ｎ分のダイヤルからなり、３Ｄ映像制作者がダイヤルを左右に回転操作することで、ダイヤルの回転位置に対応する奥行きデータｓ0〜ｓ7を生成する。
【００３６】
具体的には、奥行き操作ダイヤル部３０は、ダイヤル毎に予め設定されたそれぞれの奥行きデータ基準値に対し、予め設定された範囲内で、ダイヤルの操作によるその回転位置に対応する奥行きデータｓ0〜ｓ7を生成する。そして、奥行き操作ダイヤル部３０は、奥行きデータｓ0〜ｓ7を奥行き制御装置３へ出力する。
【００３７】
高さ操作フェーダ部３１は、フェーダ本数Ｎ分のフェーダからなり、フェーダ毎に、３Ｄ映像制作者がフェーダをスライド操作することで、予め設定された０≦ｔi≦１の範囲内で、フェーダの高さ位置に対応する高さデータｔ0〜ｔ7を生成する。
【００３８】
高さ操作フェーダ部３１は、高さデータｔ0〜ｔ7を奥行き制御装置３へ出力する。高さデータｔiは、ｔi-1≦ｔi≦ｔi+1を満たすものとする。
【００３９】
奥行きデータ表示部３２は、フェーダ本数Ｎ分の表示器からなり、奥行き操作ダイヤル部３０により生成された奥行きデータｓ0〜ｓ7を、対応する表示器にそれぞれ表示する。
【００４０】
これにより、３Ｄ映像制作者は、奥行き操作ダイヤル部３０のダイヤル操作に伴う奥行きデータｓ0〜ｓ7を、奥行きデータ表示部３２にて確認することができる。
【００４１】
また、制御点操作装置２は、奥行き操作ダイヤル部３０により生成された奥行きデータｓi及び高さ操作フェーダ部３１により生成された高さデータｔiを、制御点Ｆi（ｓi，ｔi）として生成することができる。
【００４２】
つまり、３Ｄ映像制作者は、奥行き操作ダイヤル部３０のダイヤル及び高さ操作フェーダ部３１のフェーダを操作することにより、制御点Ｆi（ｓi，ｔi）を変更することができる。
【００４３】
〔奥行き制御装置３〕
次に、図１に示した奥行き制御装置３について詳細に説明する。図３は、奥行き制御装置３の構成例を示すブロック図であり、図４は、奥行き制御装置３の処理例を示すフローチャートである。
【００４４】
奥行き制御装置３は、制御点設定部１０、関数生成部１１、奥行き圧縮部１２及び３Ｄ描画部（３Ｄ表示部）１３を備えている。奥行き制御装置３は、複雑な形状を表現可能なＫ次関数を基底関数として用いる。次数Ｋは、３Ｄ映像制作者が表現したい奥行き圧縮関数ｆの複雑さに応じて予め設定される。尚、次数Ｋは、３Ｄ映像制作者により自由に変更できるようにしてもよい。
【００４５】
奥行き制御装置３は、予め設定された次数Ｋを入力し、制御点操作装置２からフェーダ本数Ｎ、奥行きデータｓi及び高さデータｔiを入力し、さらに３Ｄ映像を入力する（ステップＳ４０１）。
【００４６】
（制御点設定部１０）
制御点設定部１０は、奥行きデータｓi及び高さデータｔiを入力し、パラメータｉ毎に、奥行きデータｓiを高さデータｔiに乗算することで、奥行き高さデータｕiを求める（ｕi＝ｓi×ｔi）。
【００４７】
制御点設定部１０は、パラメータｉ毎に、奥行きデータｓi及び奥行き高さデータｕiからなる制御点Ｃi（ｓi，ｕi）を設定し、制御点リストを関数生成部１１及び関数表示装置５に出力する（ステップＳ４０２）。
【００４８】
制御点リストは、制御点Ｃ0（ｓ0，ｕ0）〜ＣN-1（ｓN-1，ｕN-1）から構成される。制御点Ｃi（ｓi，ｕi）において、奥行きデータｓiは、圧縮前の奥行き座標値ｚに相当し、奥行き高さデータｕiは、圧縮後の奥行き座標値ｚ’に相当する。つまり、制御点Ｃi（ｓi，ｕi）は、圧縮前の奥行き座標値ｚを示す横軸、及び圧縮後の奥行き座標値ｚ’を示す縦軸における座標系上の座標点である。
【００４９】
これにより、制御点操作装置２により生成された制御点Ｆi（ｓi，ｔi）が制御点Ｃi（ｓi，ｕi）に変換され、３Ｄ映像制作者は、関数表示装置５にて制御点Ｃi（ｓi，ｕi）の位置を確認することができる。
【００５０】
制御点Ｆi（ｓi，ｔi）を制御点Ｃi（ｓi，ｕi）に変換するのは、高さデータｔi＝１のときに、圧縮前の奥行き座標値ｚと圧縮後の奥行き座標値ｚ’とが同じになることを考慮したからである。
【００５１】
高さデータｔi＝１は非圧縮であることを意味し、制御点Ｃi（ｓi，ｓi）となり、ｚ’＝ｚとなる（後述する図６の直線α上の点に相当する）。高さデータｔi＝０は最大圧縮であることを意味し、制御点Ｃi（ｓi，０）となり、ｚ’＝０となる（後述する図６の横軸を参照）。
【００５２】
（関数生成部１１）
関数生成部１１は、制御点設定部１０から制御点リストを入力すると共に、予め設定された次数Ｋを入力し、さらに、制御点操作装置２からフェーダ本数Ｎを入力する。
【００５３】
関数生成部１１は、次数Ｋの基底関数が制御点Ｃi（ｓi，ｕi）に近似するように、奥行き圧縮関数ｆを生成し、奥行き圧縮関数ｆを奥行き圧縮部１２及び関数表示装置５に出力する（ステップＳ４０３）。
【００５４】
これにより、次数Ｋの基底関数及び制御点Ｃi（ｓi，ｕi）から奥行き圧縮関数ｆが生成され、３Ｄ映像制作者は、関数表示装置５にて奥行き圧縮関数ｆの形状を確認することができる。
【００５５】
（奥行き圧縮関数ｆの近似処理）
ここで、奥行き圧縮関数ｆの近似処理の原理について説明する。次数Ｋの基底関数を以下の式に示す。ａk（ｋ＝０〜Ｋ）は、基底関数における次数毎の係数である。前述のとおり、ｚは圧縮前の奥行き座標値であり、ｚ’は圧縮後の奥行き座標値である。つまり、奥行き圧縮関数ｆは、圧縮前の奥行き座標値ｚを圧縮後の奥行き座標値ｚ’に変換する関数である。
【数１】
2020184721.tif 000003
次数Ｋは、表現の自由度に関連する。係数ａk（ｋ＝０〜Ｋ）により係数行列ａが構成されるものとする。
【００５６】
以下の式に示す誤差Ｅが最小となるように係数行列ａを求めることで、次数Ｋの基底関数を制御点Ｃi（ｓi，ｕi）に近似することができ、そのときの次数Ｋの基底関数を奥行き圧縮関数ｆとすることができる。
【数２】
2020184721.tif 000004
【００５７】
前記式（２）の誤差Ｅが最小となるように係数行列ａを求める場合、以下の式が成り立つ。
【数３】
2020184721.tif 000005
【００５８】
このとき、以下の関係が得られる。
【数４】
2020184721.tif 000006
奥行き高さ行列ｕは、奥行き高さデータｕiから構成され、奥行き行列Ｓは、奥行きデータｓikにより構成されるものとする。ｉ＝０〜Ｎ−１、ｋ＝０〜Ｋである。
【００５９】
奥行き行列Ｓは、以下の式で表される。
【数５】
2020184721.tif 000007
奥行き行列Ｓを構成する各要素は、ｉ＝０のとき奥行きデータｓ00〜ｓ0K＝ｓ0であり、・・・、ｉ＝Ｎ−１のとき奥行きデータｓN-10〜ｓN-1K＝ｓN-1である。
【００６０】
フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＝Ｋ＋１を満たす場合（フェーダ本数Ｎが次数Ｋに１を加えた値に等しい場合）、奥行き行列Ｓは正則行列（行数と列数が同じ行列）となる。したがって、係数行列ａは、以下の式のとおり、奥行き行列の逆行列Ｓ-1と奥行き高さ行列ｕの積を演算することで求めることができる。
【数６】
2020184721.tif 000008
【００６１】
一方、フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たす場合（フェーダ本数Ｎが次数Ｋに１を加えた値よりも小さいまたは大きい場合、すなわちフェーダ本数Ｎが次数Ｋに１を加えた値に等しくない場合）、奥行き行列Ｓは正則行列ではない。したがって、係数行列ａは、以下の式のとおり、奥行き行列の疑似逆行列Ｓ+と奥行き高さ行列ｕの積を演算することで求めることができる。
【数７】
2020184721.tif 000009
【００６２】
このように、前記式（６）または前記式（７）により係数行列ａを求めることで、次数Ｋの基底関数を制御点Ｃi（ｓi，ｕi）に近似することができ、そのときの次数Ｋの基底関数を奥行き圧縮関数ｆとすることができる。つまり、次数Ｋの基底関数が制御点Ｃi（ｓi，ｕi）に近似するように、奥行き圧縮関数ｆを生成することができる。
【００６３】
（関数生成部１１の構成例）
図５は、関数生成部１１の構成例を示すブロック図である。この関数生成部１１は、係数決定部２０及び関数決定部２１を備えている。
【００６４】
係数決定部２０は、制御点設定部１０から制御点リストの制御点Ｃi（ｓi，ｕi）を入力すると共に、制御点操作装置２からフェーダ本数Ｎを入力し、さらに、予め設定された次数Ｋを入力する。
【００６５】
係数決定部２０は、次数Ｋの基底関数が制御点Ｃi（ｓi，ｕi）に近似するように、係数ａkにより構成される係数行列ａを決定する。係数決定部２０は、係数行列ａを構成する係数ａkを関数決定部２１に出力する。
【００６６】
具体的には、係数決定部２０は、フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＝Ｋ＋１を満たすと判定した場合、前記式（６）を用いて係数行列ａを決定する。すなわち、係数決定部２０は、奥行きデータｓikにより構成される奥行き行列の逆行列Ｓ-1と奥行き高さデータｕiにより構成される奥行き高さ行列ｕの積を演算し、係数行列ａを決定する。
【００６７】
一方、係数決定部２０は、フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たすと判定した場合、前記式（７）を用いて係数行列ａを決定する。すなわち、係数決定部２０は、奥行き行列の疑似逆行列Ｓ+と奥行き高さ行列ｕの積を演算し、係数行列ａを決定する。
【００６８】
関数決定部２１は、係数決定部２０から係数ａkを入力すると共に、予め設定された次数Ｋを入力する。そして、関数決定部２１は、前記式（１）に示した次数Ｋの基底関数に係数ａkを設定し、奥行き圧縮関数ｆを決定する。関数決定部２１は、奥行き圧縮関数ｆを奥行き圧縮部１２及び関数表示装置５に出力する。
【００６９】
（奥行き圧縮関数ｆ）
図６は、奥行き圧縮関数ｆを説明する図である。横軸は、圧縮前の奥行き座標値ｚ［ｍ］を示し、縦軸は、圧縮後の奥行き座標値ｚ’［ｍ］を示す。直線αは、高さデータｔi＝１のときの奥行き圧縮関数ｆを示し、このときの奥行き圧縮関数ｆは非圧縮の関数であり、ｚ’＝ｆ（ｚ）＝ｚである。
【００７０】
丸点は、制御点Ｃ0（ｓ0，ｕ0）〜Ｃ7（ｓ7，ｕ7）を示し、図２に示した奥行き操作ダイヤル部３０の各ダイヤルの位置及び高さ操作フェーダ部３１の各フェーダの位置に対応している。
【００７１】
制御点Ｃi（ｓi，ｕi）は、圧縮前の奥行き座標値ｚを示す横軸、及び圧縮後の奥行き座標値ｚ’を示す縦軸における座標系上の座標点である。奥行きデータｓiは、圧縮前の奥行き座標値ｚ（図６の横軸）に対応し、奥行き高さデータｕiは、圧縮後の奥行き座標値ｚ’（図６の縦軸）に対応する。奥行き高さデータｕi＝ｓiの場合（高さデータｔi＝１の場合）、制御点Ｃi（ｓi，ｕi）は直線α上の点にあることを意味する。
【００７２】
従来の奥行き圧縮関数はシグモイド関数であり、本発明の実施形態による奥行き圧縮関数ｆは、その形状を制御点Ｃi（ｓi，ｕi）に近似するように生成された関数である。図６の奥行き圧縮関数ｆの形状は、次数Ｋ＝４の場合を示している。
【００７３】
図６から、従来の奥行き圧縮関数には、１つのフラットな領域（傾きが０に近い領域、β１）が存在するのに対し、奥行き圧縮関数ｆには、２つのフラットな領域（β２，β３）が存在することがわかる。
【００７４】
３Ｄ映像制作者は、図２に示した奥行き操作ダイヤル部３０のダイヤルを操作することにより、当該フェーダに対応する制御点Ｃi（ｓi，ｕi）の位置を、図６の座標系において左右に移動させることができる。この場合の制御点Ｃi（ｓi，ｕi）は、圧縮後の奥行き座標値ｚ’を保持したまま、圧縮前の奥行き座標値ｚを変化させた位置へ移動する。
【００７５】
また、３Ｄ映像制作者は、高さ操作フェーダ部３１のフェーダをスライドすることにより、当該フェーダに対応する制御点Ｃi（ｓi，ｕi）の位置を、図６の座標系において上下に移動させることができる。この場合の制御点Ｃi（ｓi，ｕi）は、圧縮前の奥行き座標値ｚを保持したまま、圧縮後の奥行き座標値ｚ’を変化させた位置（所定の圧縮前の奥行き座標値ｚにおいて、圧縮後の奥行き座標値ｚ’＝０から直線αの値までの間の位置）へ移動する。
【００７６】
このように、奥行き圧縮関数ｆは、制御点Ｃi（ｓi，ｕi）及び基底関数の次数Ｋに応じて、表現したい複雑さの形状となるように、自在に決定することができる。
【００７７】
（奥行き圧縮部１２）
図３及び図４に戻って奥行き圧縮部１２は、関数生成部１１から奥行き圧縮関数ｆを入力すると共に、外部から３Ｄ映像を入力する。そして、奥行き圧縮部１２は、３Ｄ映像に対し、奥行き圧縮関数ｆを用いて奥行き圧縮を行うことで、奥行き圧縮後の３Ｄ映像を生成する（ステップＳ４０４）。奥行き圧縮部１２は、奥行き圧縮後の３Ｄ映像を３Ｄ描画部１３に出力する。
【００７８】
図７は、奥行き圧縮部１２による奥行き圧縮の原理を説明する図である。３Ｄ映像のＸＹＺ座標系において、奥行き圧縮関数ｆにより、被写体Ｈ１の奥行き座標値ｚが被写体Ｈ２の奥行き座標値ｚ’に圧縮されるものとする。奥行き圧縮前の被写体Ｈ１の頂点ｐの座標を（ｘ，ｙ，ｚ）とし、奥行き圧縮後の被写体Ｈ２の頂点ｐ’の座標を（ｘ’，ｙ’，ｚ’）とする。
【００７９】
奥行き圧縮の処理は、奥行き圧縮前の被写体Ｈ１の頂点ｐ（ｘ，ｙ，ｚ）を、奥行き圧縮後の被写体Ｈ２の頂点ｐ’（ｘ’，ｙ’，ｚ’）に変換する処理である。ここで、Ｚ軸は、観視者からみた画面の奥行き方向に一致するものとする。
【００８０】
奥行き圧縮の処理による変換を式で表すと、ｚ’＝ｆ（ｚ），ｘ’＝ｘ×ｚ’／ｚ，ｙ’＝ｙ×ｚ’／ｚとなる。ｘ’及びｙ’の変換は、座標系の原点から単眼視した際に、物体の網膜像に投影されるサイズが奥行き圧縮前後で変化しないようにするための処理である。
【００８１】
このように、奥行き圧縮部１２は、入力した３Ｄ映像に含まれる被写体Ｈ１について複数の頂点を設定し、これらの頂点に対し、奥行き圧縮関数ｆによる奥行き圧縮の処理をそれぞれ行う。そして、奥行き圧縮部１２は、奥行き圧縮後の被写体Ｈ２における複数の頂点をそれぞれ求め、奥行き圧縮後の３Ｄ映像を生成する。
【００８２】
（３Ｄ描画部１３）
図３及び図４に戻って、３Ｄ描画部１３は、奥行き圧縮部１２から奥行き圧縮後の３Ｄ映像を入力する。そして、３Ｄ描画部１３は、奥行き圧縮後の３Ｄ映像をレンダリングすることで、例えば３Ｄ描画するための２次元の描画データを生成し、２次元の描画データを３Ｄ映像表示装置４へ出力する（ステップＳ４０５）。
【００８３】
これにより、３Ｄ映像制作者は、３Ｄ映像表示装置４にて奥行き圧縮後の３Ｄ映像を確認することができる。
【００８４】
〔画面表示例〕
次に、図１に示した３Ｄ映像表示装置４に表示される３Ｄ映像の例、及び関数表示装置５に表示される奥行き圧縮関数ｆの例について説明する。
【００８５】
図８は、３Ｄ映像のシーンにおける俯瞰図の例である。図８に示す３Ｄ映像の俯瞰図において、矢印γ１に示す方向（奥行き圧縮方向）にて、３Ｄ映像のシーンを奥行き圧縮するものとする。
【００８６】
図９は、３Ｄ映像表示装置４に表示される３Ｄ映像の例を示す図である。この例では、３Ｄ映像表示装置４により、偏光方式を用いたラインバイラインにて左右眼映像が３Ｄ映像として表示される。
【００８７】
３Ｄ映像のシーンが図８に示した矢印γ１の方向にて奥行き圧縮されることで、３Ｄ映像表示装置４には、図９に示すように、図８に示した矢印γ２の方向（描画方向）から見た３Ｄ映像が表示される。
【００８８】
尚、３Ｄ映像表示装置４は、シャッターメガネ方式を用いた２眼立体ディスプレイであってもよいし、特別な眼鏡を必要としないボリュメトリックディスプレイであってもよい。
【００８９】
図１０は、関数表示装置５に表示される奥行き圧縮関数ｆ及び制御点Ｃi（ｓi，ｕi）の例を示す図である。横軸は、圧縮前の奥行き座標値ｚ［ｍ］を示し、縦軸は、圧縮後の奥行き座標値ｚ’［ｍ］を示す。直線は、ｚ’＝ｆ（ｚ）＝ｚである非圧縮の奥行き圧縮関数ｆである。曲線は奥行き圧縮関数ｆであり、丸点は制御点Ｃi（ｓi，ｕi）である。
【００９０】
このように、３Ｄ映像制作者は、図２に示した制御点操作装置２を操作しながら、図９に示した奥行き圧縮後の３Ｄ映像、並びに図１０に示した奥行き圧縮関数ｆの形状及び制御点Ｃi（ｓi，ｕi）の位置を確認することができる。
【００９１】
これにより、３Ｄ映像制作者による制御点操作装置２の操作に従い、複数の奥行き範囲にある複数の被写体を、所望の形態で強調することができ、３Ｄ映像制作者の意図を反映することができる。
【００９２】
以上のように、本発明の実施形態の奥行き制御装置３によれば、制御点設定部１０は、３Ｄ映像制作者の操作に従い制御点操作装置２から入力した奥行きデータｓi及び高さデータｔiを乗算することで、奥行き高さデータｕiを求め、制御点Ｃi（ｓi，ｕi）を設定する。
【００９３】
関数生成部１１は、次数Ｋの基底関数が制御点Ｃi（ｓi，ｕi）に近似するように、奥行き圧縮関数ｆを生成する。奥行き圧縮部１２は、３Ｄ映像に含まれる被写体Ｈ１の各頂点を設定し、各頂点に対し、奥行き圧縮関数ｆによる奥行き圧縮の処理を行い、奥行き圧縮後の被写体Ｈ２の各頂点を求め、奥行き圧縮後の３Ｄ映像を生成する。
【００９４】
３Ｄ描画部１３は、奥行き圧縮後の３Ｄ映像をレンダリングし、３Ｄ描画するための２次元の描画データを生成する。
【００９５】
そして、２次元の描画データは、３Ｄ映像表示装置４に３Ｄ映像として画面表示され、奥行き圧縮関数ｆ及び制御点Ｃi（ｓi，ｕi）は、関数表示装置５に画面表示される。
【００９６】
これにより、３Ｄ映像制作者は、制御点操作装置２を操作しながら、奥行き圧縮後の３Ｄ映像、奥行き圧縮関数ｆの形状及び制御点Ｃi（ｓi，ｕi）の位置を画面にて確認することができる。
【００９７】
したがって、３Ｄ映像制作者は、制御点操作装置２を操作しながら、場合によっては次数Ｋ及びフェーダ本数Ｎを変更しながら、自分の意図する奥行き圧縮関数ｆを設定し、複数の奥行き範囲にある複数の被写体を、所望の形態で強調することができる。つまり、３Ｄ映像のシーンを奥行き圧縮する際に、複数の奥行き範囲にある複数の被写体を強調することができ、３Ｄ映像制作者の意図を反映することが可能となる。
【００９８】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【００９９】
例えば前記実施形態では、３Ｄ映像制作者は、制御点操作装置２の奥行き操作ダイヤル部３０及び高さ操作フェーダ部３１を操作することにより、制御点Ｃiを設定するようにした。これに対し、３Ｄ映像制作者は、例えば音声ミキサーのフェーダまたはマウスを操作することで、ＧＵＩ（Graphical User Interface：グラフィカルユーザインタフェース）上に表示された制御点Ｃiを設定するようにしてもよい。
【０１００】
また、前記実施形態では、３Ｄ映像表示装置４は、２次元の描画データを入力し、これを３Ｄ映像として画面表示し、関数表示装置５は、奥行き圧縮関数ｆ及び制御点Ｃiを入力し、奥行き圧縮関数ｆの形状及び制御点Ｃiの位置を画面表示するようにした。これに対し、１台の表示装置が、２次元の描画データ、奥行き圧縮関数ｆ及び制御点Ｃiを入力し、３Ｄ映像を画面表示すると共に、奥行き圧縮関数ｆの形状及び制御点Ｃiの位置を画面表示するようにしてもよい。
【０１０１】
尚、本発明の実施形態による奥行き制御装置３のハードウェア構成としては、通常のコンピュータを使用することができる。奥行き制御装置３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【０１０２】
奥行き制御装置３に備えた制御点設定部１０、関数生成部１１、奥行き圧縮部１２及び３Ｄ描画部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１０３】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【産業上の利用可能性】
【０１０４】
本発明の実施形態による奥行き制御装置３を含む奥行き制御システム１は、３Ｄ映像制作者がポストプロダクションの作業を行う際に利用することができる。
【符号の説明】
【０１０５】
１  奥行き制御システム
２  制御点操作装置
３  奥行き制御装置
４  ３Ｄ映像表示装置
５  関数表示装置
１０  制御点設定部
１１  関数生成部
１２  奥行き圧縮部
１３  ３Ｄ描画（３Ｄ表示）部
２０  係数決定部
２１  関数決定部
３０  奥行き操作ダイヤル部
３１  高さ操作フェーダ部
３２  奥行きデータ表示部
Ｎ  フェーダ本数
ｓi，ｓik  奥行きデータ
ｔi  高さデータ
ｕi  奥行き高さデータ
Ｃi，Ｆi  制御点
Ｋ  次数
ｆ  奥行き圧縮関数
ａk  係数
Ｈ１，Ｈ２  被写体
ｐ，ｐ’  頂点
ｚ，ｚ’  奥行き座標
ａ  係数行列
ｕ  奥行き高さ行列
Ｓ  奥行き行列
Ｓ-1  奥行き行列の逆行列
Ｓ+  奥行き行列の疑似逆行列
【図１】
2020184721.tif 000010
【図２】
2020184721.tif 000011
【図３】
2020184721.tif 000012
【図４】
2020184721.tif 000013
【図５】
2020184721.tif 000014
【図６】
2020184721.tif 000015
【図７】
2020184721.tif 000016
【図８】
2020184721.tif 000017
【図９】
2020184721.tif 000018
【図１０】
2020184721.tif 000019