(57)【要約】      （修正有）【課題】従来、三次元映像における奥行きの概念には、種々のものが存在するが、一般的なものとして近景と遠景との奥行きを指す。奥行きの尺度である深度を制御する場合、深度の適切な設定が行われないことにより、鑑賞中、気分が悪くなることがあった。臨場感を損なうことなく、快適に三次元映像を鑑賞可能とする。【解決手段】ダイナミックレンジ変換回路１８で、音量の大小のダイナミック変化を検出し、大きいときは近景と遠景の幅を大きく、音量の小さいときは、近景と遠景の幅を小さくする。タイマ回路１９では、３Ｄ表示の深度を検出し、近景と遠景の幅が大きい状態が長時間（１５分）以上継続すると、自動的に近景と遠景の幅を２／３〜１／２へ減少させる。深度規制回路２０は、視聴時の環境から標準的な深度を演算で求め、当該深度が別途入力される上限と下限の間に含まれるように規制する。【選択図】図１
2011109408.tif 000002
【特許請求の範囲】
【請求項１】
三次元の立体テレビジョン信号を生成する三次元信号生成装置であって、
音量のダイナミックレンジを検出するダイナミックレンジ検出手段と、
同ダイナミックレンジが大きいときに、近影と遠影の幅である深度を大きく設定し、同ダイナミックレンジが小さいときに、同深度を小さく設定する深度設定手段と、
設定された深度で三次元の立体テレビジョン信号を生成する信号生成手段とを具備することを特徴とする三次元信号生成装置。
【請求項２】
上記設定される深度に基づき、深度が大きい期間が所定の継続時間よりも長くなると、同深度を小さく設定する深度制限手段を具備することを特徴とする請求項１に記載の三次元信号生成装置。
【請求項３】
上記信号生成手段は、二次元のテレビジョン信号を入力し、映像の動きを解析して深度を与えた擬似的な三次元のテレビジョン信号に変換することを特徴とする請求項１または請求項２に記載の三次元信号生成装置。
【請求項４】
上記信号生成手段は、映像の変化を予測する予測ユニットにより、映像の動きを解析して深度を与えることを特徴とする請求項３に記載の三次元信号生成装置。
【請求項５】
視聴時の距離と映像の大きさと視差とに基づいて視聴時の深度を求め、同視聴時の深度が所定の上限と下限の間に含まれるようにする深度規制手段を有することを特徴とする請求項１〜請求項４のいずれかに記載の三次元信号生成装置。
【請求項６】
三次元映像のための左眼用画像と右目用画像を多重化する回路と、
多重化後の信号を符号化する回路と、
音声信号を入力して音量のダイナミックレンジを検出して遠景と近景との差となる深度を調節する回路と、
上記符号化後の信号に基づいて映像の動きを予測する回路と、
予測された映像の動きと左眼用画像と右目用画像とに基づいて深度を設定する回路と、
三次元のタイトル画像などを生成する回路と、
上記三次元のタイトル画像などに上記符号化後の画像を多重化するとともに、それぞれ設定された深度となるように上記符号化後の信号の深度を出力する回路と、
設定された深度が所定の時間以上にわたって大きな状態を継続しないようにする回路と、
予め深度の上限と下限とを決めておいて上記設定される深度が上記上限と下限の間に入るように規制する回路と
を具備することを特徴とする請求項１に記載の三次元信号生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元の映像信号および音声信号からなる三次元テレビジョン信号（以下、単に三次元信号と呼ぶ）を生成する三次元信号生成装置に関する。
【背景技術】
【０００２】
三次元信号における奥行きの概念には、種々のものが存在するが、一般的なものとして近景（以下、近影と呼ぶ）と遠景（以下、遠影と呼ぶ）との奥行きを指して深度と呼ぶことにする。ここでは、二次元画像から疑似的に三次元画像を生成するものも含む。
このような深度を制御するものとして、特許文献１〜５に示すものが知られている。
特許文献１に示す文献は、視差角の変化量、変化時間および変化回数に基づき目の疲労度に相当する評価値を算出する技術を開示する。
【０００３】
特許文献２に示す文献は、奥行きが大きく変化する瞬間を検出し、奥行きの変化をなだらかにする技術を開示する。
特許文献３に示す文献は、高レベルに深度コンテンツを比較的短い時間の間のみに用いる技術を開示する。
特許文献４に示す文献は、立体表示に係る処理全体の高速化を実現する技術を開示する。
特許文献５に示す文献は、三次元動画像を再現する場合に視覚的な目の疲労を防止する技術を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１３５６８６
【特許文献２】特開平１０−０４０４２０
【特許文献３】特表２００９−５２０３９２
【特許文献４】特開２００５−３５３０４７
【特許文献５】特開２００７−０２０１３０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
二次元画像から擬似的な三次元画像を生成したり、三次元画像自体の編集を行う装置では、深度を設定する。しかし、上述した従来の装置では、深度制御は自由だが、基準が無く、不十分であった。
また、深度の適切な設定が行われないことにより、鑑賞中、気分が悪くなることがあった。すなわち、三次元の近影と遠影が頻繁に時間軸とともに変動すると、気分を害することがあり、これを仮に三次元酔いあるいはステレオシック（StereoSickto）と称することにする。
【０００６】
本発明は、臨場感を損なうことなく、快適に三次元映像を鑑賞可能とする。
【課題を解決するための手段】
【０００７】
本発明は、三次元の立体テレビジョン信号を生成する三次元信号生成装置であって、音量のダイナミックレンジを検出するダイナミックレンジ検出手段と、同ダイナミックレンジが大きいときに、近影と遠影の幅である深度を大きく設定し、同ダイナミックレンジが小さいときに、同深度を小さく設定する深度設定手段と、設定された深度で三次元の立体テレビジョン信号を生成する信号生成手段とを具備する構成としてある。
上記構成において、ダイナミックレンジ検出手段が音量のダイナミックレンジを検出すると、深度設定手段は、同ダイナミックレンジが大きいときに、近影と遠影の幅である深度を大きく設定し、同ダイナミックレンジが小さいときに、同深度を小さく設定する。そして、信号生成手段が設定された深度で三次元の立体テレビジョン信号を生成する。
【０００８】
深度は臨場感とも深く関係するが、音量もまた臨場感などとの関連が深い。このため、音量のダイナミックレンジを臨場感の一つの指標と捉えて深度の制御に利用することにより、適切な深度設定を行える。
また、本発明は、上記設定される深度に基づき、深度が大きい期間が所定の継続時間よりも長くなると、同深度を小さく設定する深度制限手段を具備する構成としてもよい。
上記構成において、深度制限手段は、設定される深度に基づき、深度が大きい期間が所定の継続時間よりも長くなると、同深度を小さく設定する。
【０００９】
深度が大きいと臨場感は増すが、これが長時間続くと一種の乗り物酔いのようになる。このため、深度が大きい状態が長時間にわたって継続しないように、適時、深度を小さくしている。
さらに、本発明では、上記信号生成手段は、二次元のテレビジョン信号を入力し、映像の動きを解析して深度を与えた擬似的な三次元のテレビジョン信号に変換する構成としてもよい。
三次元信号のソースとして、視差を含む二つの左目用画像と右目用画像とに基づくものであってもよいし、二次元のテレビジョン信号の映像を解析することで映像に深度を与えるものであってもよい。例えば、映像の中で動きの大きい部分と小さい部分とを解析し、小さい部分は遠景の画像とし、大きい部分は近景の画像とする。このように分類して両者に擬似的な深度を与えることで三次元のテレビジョン信号に変換する。なお、映像信号自体は広義に解し、テレビジョン用だけに限定されるものではない。
【００１０】
また、本発明では、上記信号生成手段は、映像の変化を予測する予測ユニットにより、映像の動きを解析して深度を与える構成としてもよい。
動きの解析は各種の手法を利用可能であるが、予測ユニットは映像の変化を予測することにより映像の動きを解析するので、かかる予測ユニットを利用して深度を与えることができる。
さらに、本発明は、視聴時の距離と映像の大きさと視差とに基づいて深度を求め、同深度が所定の上限と下限の間に含まれるようにする深度規制手段を有する構成としてもよい。
【００１１】
上記構成において、深度規制手段は、視聴時の距離と映像の大きさと視差とに基づいて視聴時の深度を求め、同視聴時の深度が所定の上限と下限の間に含まれるようにする。
同じ三次元信号に基づく映像であっても、深度は視聴環境によって変化する。従って、三次元信号に設定されている深度は一定であっても、ある視聴者の環境では他の視聴者の環境よりも視聴時の深度が大きくなることがある。そして、深度が過度に大きいのは好ましくない点もある。視聴時の距離と映像の大きさと視差とに基づいて視聴時の深度を求めることができるので、実際の視聴時の深度が所定の上限と下限の間に含まれるようにする。
【００１２】
また、本発明は、三次元映像のための左眼用画像と右目用画像を多重化する回路と、多重化後の信号を符号化する回路と、音声信号を入力して音量のダイナミックレンジを検出して遠景と近景との差となる深度を調節する回路と、上記符号化後の信号に基づいて映像の動きを予測する回路と、予測された映像の動きと左眼用画像と右目用画像とに基づいて深度を設定する回路と、三次元のタイトル画像などを生成する回路と、上記三次元のタイトル画像などに上記符号化後の画像を多重化するとともに、それぞれ設定された深度となるように上記符号化後の信号の深度を出力する回路と、設定された深度が所定の時間以上にわたって大きな状態を継続しないようにする回路と、予め深度の上限と下限とを決めておいて上記設定される深度が上記上限と下限の間に入るように規制する回路とを備える構成としてもよい。
【００１３】
上記構成において、三次元映像のための左眼用画像と右目用画像を多重化するとともに、多重化後の信号を符号化する。また、音声信号を入力して音量のダイナミックレンジを検出して遠景と近景との差となる深度を調節したり、上記符号化後の信号に基づいて映像の動きを予測して、予測された映像の動きと左眼用画像と右目用画像とに基づいて深度を設定する。さらに、三次元のタイトル画像などを生成するとともに、三次元のタイトル画像などに上記符号化後の画像を多重化する。そして、それぞれに設定された深度となるように上記符号化後の信号の深度を出力する。さらに、設定された深度が所定の時間以上にわたって大きな状態を継続しないようにしたり、予め深度の上限と下限とを決めておいて上記設定される深度が上記上限と下限の間に入るように規制する。
【００１４】
本発明は、必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。このため、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
ところで、本発明の装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
【００１５】
発明の思想の具現化例としてソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
【００１６】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
本発明をソフトウェアで実現する場合、ハードウェアやオペレーティングシステムを利用する構成とすることも可能であるし、これらと切り離して実現することもできる。例えば、各種の演算処理といっても、その実現方法はオペレーティングシステムにおける所定の関数を呼び出して処理することも可能であれば、このような関数を呼び出すことなくハードウェアから入力することも可能である。そして、実際にはオペレーティングシステムの介在のもとで実現するとしても、プログラムが媒体に記録されて流通される過程においては、このプログラムだけで本発明を実施できるものと理解することができる。
【００１７】
また、本発明をソフトウェアで実施する場合、発明がプログラムを記録した媒体として実現されるのみならず、本発明がプログラム自体として実現されるのは当然であり、プログラム自体も本発明に含まれる。
【発明の効果】
【００１８】
本発明によれば、音量は迫力にも影響が大きい要素なので、深度と比例的な関係を持たせることで、ほどよい迫力を得られる。
また、深度が深い状態が長く続くと、乗り物酔いのような状態になりやすいが、深度を監視して、長期間にわたって深度が深い状態が続かなくすることで、これを防止できる。
【図面の簡単な説明】
【００１９】
【図１】本発明が適用される三次元光ディスクマスタリング装置のブロック図である。
【図２】深度を設定する処理のフローチャートである。
【図３】ダイナミックレンジ−デプステーブルの中身を示す図である。
【図４】深度が深い期間が長期間とならないようにする処理のフローチャートである。
【図５】深度が深い期間が長期間とならないようにする処理の模式図である。
【図６】ユーザが感じる視聴時の深度の模式図である。
【図７】深度を規制する処理のフローチャートである。
【発明を実施するための形態】
【００２０】
以下、下記の順序に従って添付図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の三次元信号生成装置が適用される三次元光ディスクマスタリング装置のブロック図を示している。
三次元映像のための左目用画像Lvと右目用画像Rvは、イメージマルチプレクサ１１に入力され、多重化される。多重化後の信号はビデオエンコーダ１２に入力され、符号化される。符号化後の画像はＮＡＬトランスポートマルチプレクサ１３に入力され、同ＮＡＬトランスポートマルチプレクサ１３にて多重化や深度の設定が行われ、ビットストリーム（Ｂｉｔｓｔｒｅａｍ）としてネットワークに向けて出力される。ここで、３Ｄレンダリングプロセッサ１４は、メニュー（Ｍｅｎｕｓ）や字幕（Ｓｕｂｔｉｔｌｅｓ）を個別に設定される深度（Ｄｅｐｔｈ）によってレンダリングし、三次元のタイトル画像などを生成するとともに、上記ＮＡＬトランスポートマルチプレクサ１３に出力し、映像信号などに多重化させている。
【００２１】
プレディクションユニット（予測ユニット）１５は、ビデオエンコーダ１２からの映像信号に基づいて映像の動きを予測し、予測結果をエンハンスメントエンコーダ１６に出力する。このエンハンスメントエンコーダ１６は予測された映像の動きと左眼用画像と右目用画像とに基づいて深度を設定する。設定された深度はデプスコントローラ１７に出力され、このデプスコントローラ１７を介してＮＡＬトランスポートマルチプレクサ１３の深度として設定される。
【００２２】
また、プレディクションユニット１５とビデオエンコーダ１２とにより、二次元のテレビジョン信号を入力し、映像の動きを解析して深度を与えた擬似的な三次元のテレビジョン信号に変換することもできる。この際、プレディクションユニット１５が、映像の動きを解析して深度を与える。映像の中で動きの大きい部分と小さい部分とを解析し、小さい部分は遠景の画像としつつ大きい部分は近景の画像として分類し、両者に擬似的な深度を与えることで三次元のテレビジョン信号に変換できる。
【００２３】
ダイナミックレンジ変換回路１８は音声信号（左音声Laと右音声Lb）を入力して音量のダイナミックレンジを検出し、遠景と近景との差となる深度を決定（調節）する。決定した深度は、デプスコントローラ１７を介してＮＡＬトランスポートマルチプレクサ１３の深度として設定される。
タイマ回路１９はデプスコントローラ１７で設定される深度を入力しており、この深度を所定のしきい値とを比較し、同しきい値を超える期間の長さを測定する。そして、ある期間を超えるようであれば、デプスコントローラ１７で設定される深度を小さくする。言い換えれば、設定された深度が所定の時間以上にわたって大きな状態を継続しないようにさせる。なお、小さくする値は、２／３〜１／２というように適宜設定可能としている。
【００２４】
深度規制回路２０は後述するように視聴時の環境から標準的な深度を演算で求め、当該深度が別途入力される上限と下限の間に含まれるように規制する。すなわち、予め深度の上限と下限とを決めておいて設定される深度がこの上限と下限の間に入るようにしている。
図２は、ダイナミックレンジ変換回路１８が深度を設定する処理をフローチャートにより示している。
ステップ１１では、音声信号（左音声Laと右音声Lb）に基づいて音量を入力する。ステップ１２では、入力された音量に基づいてダイナミックレンジを取得する。ステップ１３では、取得されたダイナミックレンジでダイナミックレンジ−デプステーブルを参照する。なお、ステップ１１，１２は、ダイナミックレンジ検出手段に相当する。
【００２５】
図３は、ダイナミックレンジ−デプステーブルの中身を示しており、ダイナミックレンジに対応して遠景と近景との差となる深度(デプス）が記録されている。ダイナミックレンジとデプスは、概略的には比例関係になっており、ダイナミックレンジが大きくなるほど、深度も大きくなっている。この対応関係は、音量に基づく臨場感と深度とを調和させたものであり、実験的に適切な対応関係を求めている。また、一つの関係に固定的とせずに、複数の対応関係を用意しておき、ユーザーの好みに応じて選択できるようにしてもよい。
【００２６】
ステップ１４では、参照された深度をデプスコントローラ１７へ出力し、デプスコントローラ１７を介してＮＡＬトランスポートマルチプレクサ１３の深度として設定する。このように、ステップ１３，１４は、深度設定手段に相当する。
ダイナミックレンジ変換回路１８は、かかる処理をフローチャートに示すようにソフトウェア的に処理してもよいし、予め上記対応関係を含んだハードウェア回路で実現してもよい。
このように、ダイナミックレンジ変換回路１８を備えることで、ダイナミックレンジを検出し、ダイナミックレンジの大きさに合わせて３Ｄ表示の深度（デプス）を制御できる。より具体的には、この近影と遠影を監視し、音量の大小のダイナミック変化を検出し、大きいときは近影と遠影の幅を大きく、音量の小さいときは、近影と遠影の幅を小さくしている。
【００２７】
なお、信号生成手段は、設定された深度で三次元の立体テレビジョン信号を生成するという狭義の意味ではＮＡＬトランスポートマルチプレクサ１３が相当するが、広義の意味では、イメージマルチプレクサ１１、ビデオエンコーダ１２、エンハンスメントエンコーダ１６、デプスコントローラ１７などの本システム全体ともいえる。
次に、図４は、タイマ回路１９が深度を制御する処理をフローチャートにより示している。
ステップ２１では深度（デプス）をデプスコントローラ１７から取得する。これはその時点でＮＡＬトランスポートマルチプレクサ１３に設定されている深度である。ステップ２２ではデプスフラグがオンとなっているかオフとなっているかを判断する。
【００２８】
デプスフラグはステップ２６で深度が深いと判断されたときに、ステップ２７にてオンに設定されるものであり、ステップ２２でオンと判断されるのは、深度が深い状態が継続しているということになる。一方、ステップ２６で深度が深くないと判断されると、ステップ２８でフラグはオフに設定され、さらに、ステップ２９でタイマがリセットされる。すなわち、深度が浅い状態になればフラグはオフに設定されるし、タイマも「０」となる。従って、ステップ２２でオフと判断されれば、深度が深い状態は継続していないということになる。
【００２９】
深度が深い状態が継続しているときは、この継続期間の長さを測るべく、ステップ２３にてタイマを継続する。そして、ステップ２４で、継続時間が１５分を超えたか判断する。超えている場合にはステップ２５でデプスを縮小するが、超えていなければステップ２６へと進む。また、デプスフラグがオフであるときはステップ２３〜２５を実行することなく、ステップ２６へと進む。
図５は上記処理を模式的に示している。上述したように音量のダイナミックレンジに対応して深度が制御されている状態では、音量のダイナミックレンジが大きければ深度も大きく設定されている。この間は臨場感も増してユーザは三次元画像を楽しめる。しかし、あまりにも深度が大きい期間が長くなると、気分を害しかねない。
【００３０】
このため、深度が大きい期間が１５分を超えた時点で、近影と遠影の幅を２／３〜１／２へさせるようにしている。むろん、１５分というのは一例であり、適宜、変更可能である。例えば、ユーザの経験からこの期間を長くしたり、短くしてもよい。また、後述する深度の上限に応じてこの期間を反比例させるようにしてもよい。すなわち、上限が大きい場合は比較的短めとして早期に対策を施す。一方で、上限が小さければさほど気分を害しないであろうと予測されるので長めとする。
【００３１】
このようにタイマ回路１９での処理は、３Ｄ表示の深度を検出し、幅が大きい状態が長時間継続したら、幅を減少させるものであり、より具体的には、近影と遠影の幅が大きい状態が長時間（１５分）以上継続すると、自動的に近影と遠影の幅を２／３〜１／２へさせるべく、デプスコントローラ１７とＮＡＬトランスポートマルチプレクサ１３を介して、縮小させている。なお、このタイマ回路１９等が深度制限手段に相当する。
図６はユーザが感じる視聴時の深度を模式的に示している。この図は、同じ映像でも異なる環境で視聴すると深度の距離が異なって見えることを示している。
【００３２】
図には、第一の環境として距離L1を隔てた第一のスクリーンS1を視聴する場合と、第二の環境として距離（２×L1）を隔てた第二のスクリーンS2を視聴する場合とを示している。第二の環境では、距離は２倍となり、スクリーンのサイズも２倍と異なっているが、三次元信号に含まれる視差自体は同じである。信号内の視差が同じでも、スクリーンのサイズが２倍となることで、実際に表示される視差は(RA'-LA') と(RA-LA) となり、２倍となる。そして、距離を異にして観察した場合、左目Leと右目Reの視差で感じ取る深度は、第一の環境でのｄ１に対して、第二の環境では４倍（４×ｄ１）となる。
【００３３】
視聴時の臨場感はこの絶対的な深度の幅によると考えられ、この模式図からも明らかなように三次元信号に設定された深度だけでは気分を害さないように制御できるとは言えないことが分かる。
図７はこの対策を図るための深度規制回路２０の処理をフローチャートにより示している。
ステップ３１では、スクリーンまでの距離を入力する。これは映像として距離の入力を促す表示を行なった後、操作子やリモコンなどで操作される数値を入力することで行う。ステップ３２では、同様の手法を介してスクリーンサイズを入力する。
【００３４】
深度はデプスコントローラ１７を介して設定されているので、ステップ３３ではデプスコントローラ１７を介して深度を入力しつつ、入力されている距離とスクリーンのサイズに基づいて視聴時の実際の深度を計算する。これを仮に標準デプスと呼ぶことにする。
ステップ３４では深度の上限と下限を入力する。これらは上述したようにユーザから設定させてもよいし、深度に応じて自動的に決めてもよいし、別に設定されている標準的な値を入力してもよい。
【００３５】
そして、ステップ３５では標準デプスがこれらの上限と下限の間に含まれているかを判断する。含まれていればそのまま深度を維持させるが、含まれていなければステップ３６にて深度の最適化を図る。具体的には上限と下限の間に含まれるようにする。なお、上限は気分を害さないようにするという意味で有用であるし、下限は臨場感があまりに乏しくならないように強調するという意味で有用となる。その意味で、両者は必ずしも一体的に適用される必要はなく、それぞれ独立した目的で適用することが可能である。
【００３６】
このように、近影と遠影の幅の上限下限をあらかじめ設定し、深度の規制を加えている。なお、深度規制回路２０等が深度規制手段に相当する。
また、本発明は、上述した実施形態や変形例に限られず、上述した実施形態及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施形態及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。
【符号の説明】
【００３７】
１１…イメージマルチプレクサ、１２…ビデオエンコーダ、１３…ＮＡＬトランスポートマルチプレクサ、１４…３Ｄレンダリングプロセッサ、１５…プレディクションユニット（予測ユニット）、１６…エンハンスメントエンコーダ、１７…デプスコントローラ、１８…ダイナミックレンジ変換回路、１９…タイマ回路、２０…深度規制回路。
【図１】
2011109408.tif 000003
【図２】
2011109408.tif 000004
【図３】
2011109408.tif 000005
【図４】
2011109408.tif 000006
【図５】
2011109408.tif 000007
【図６】
2011109408.tif 000008
【図７】
2011109408.tif 000009