(57)【特許請求の範囲】
【請求項１】
画面サイズと、観察者と画面との距離である観察距離と、を含む観察環境情報を登録する観察環境登録部と、
両眼視差を有する２つの映像データおよびその視差に関する視差情報を取得する映像データ取得部と、
前記観察環境登録部に登録された前記観察環境情報および前記映像データ取得部が取得した前記視差情報に基づいて前記映像データの視差が所定の視差範囲に収まるか否かを判断し、所定の視差範囲に収まらないと判断した場合に前記映像データの視差がその所定の視差範囲に収まるように、前記２つの映像データに基づく映像を、所定の視差範囲を超えた超過視差が、第１閾値未満の場合、前記映像を水平方向にのみ縮小し、前記超過視差が前記第１閾値以上であり、前記第１閾値より大きい第２閾値未満の場合、前記映像を水平方向および垂直方向に縮小し、前記超過視差が前記第２閾値以上の場合、所定の横縦比を維持しつつ前記映像を水平方向および垂直方向に縮小する視差補正部と、
を備えることを特徴とする立体映像制御装置。
【請求項２】
前記映像データ取得部は、前記２つの映像データの所定映像単位の視差の飛び出し方向の最大値である近最大値と奥まる方向の最大値である遠最大値とを取得し、
前記視差補正部は、前記近最大値と前記遠最大値とがともに所定の視差範囲に収まるように前記映像を少なくとも水平方向に縮小することを特徴とする請求項１に記載の立体映像制御装置。
【請求項３】
前記映像データ取得部はさらに、前記２つの映像データの全時間に亘る近最大値のうち最も大きな値を総近最大値として導出するとともに、前記２つの映像データの全時間に亘る遠最大値のうち最も大きな値を総遠最大値として導出し、
前記視差補正部は、前記総近最大値と前記総遠最大値とがともに所定の視差範囲に収まる１の縮小割合によって、全時間に亘って前記映像を少なくとも水平方向に縮小することを特徴とする請求項２に記載の立体映像制御装置。
【請求項４】
前記視差補正部は、前記２つの映像データに基づく映像を水平方向に相対的にシフトした後、前記２つの映像データに基づく映像を縮小することを特徴とする請求項１から３のいずれか１項に記載の立体映像制御装置。
【請求項５】
画面サイズと、観察者と画面との距離である観察距離と、を含む観察環境情報を登録し、
両眼視差を有する２つの映像データおよびその視差に関する視差情報を取得し、
登録された前記観察環境情報および取得された前記視差情報に基づいて前記２つの映像データの視差が所定の視差範囲に収まるか否かを判断し、所定の視差範囲に収まらないと判断した場合に前記映像データの視差がその所定の視差範囲に収まるように、前記２つの映像データに基づく映像を、所定の視差範囲を超えた超過視差が、第１閾値未満の場合、前記映像を水平方向にのみ縮小し、前記超過視差が前記第１閾値以上であり、前記第１閾値より大きい第２閾値未満の場合、前記映像を水平方向および垂直方向に縮小し、前記超過視差が前記第２閾値以上の場合、所定の横縦比を維持しつつ前記映像を水平方向および垂直方向に縮小することを特徴とする立体映像制御方法。
【請求項６】
コンピュータを、
画面サイズと、観察者と画面との距離である観察距離と、を含む観察環境情報を登録する観察環境登録部と、
両眼視差を有する２つの映像データおよびその視差に関する視差情報を取得する映像データ取得部と、
前記観察環境登録部に登録された前記観察環境情報および前記映像データ取得部が取得した前記視差情報に基づいて前記映像データの視差が所定の視差範囲に収まるか否かを判断し、所定の視差範囲に収まらないと判断した場合に前記映像データの視差がその所定の視差範囲に収まるように、前記２つの映像データに基づく映像を、所定の視差範囲を超えた超過視差が、第１閾値未満の場合、前記映像を水平方向にのみ縮小し、前記超過視差が前記第１閾値以上であり、前記第１閾値より大きい第２閾値未満の場合、前記映像を水平方向および垂直方向に縮小し、前記超過視差が前記第２閾値以上の場合、所定の横縦比を維持しつつ前記映像を水平方向および垂直方向に縮小する視差補正部と、
して機能させることを特徴とする立体映像制御用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を知覚させるための映像データを制御する立体映像制御装置、立体映像制御方法および立体映像制御用プログラムに関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、両眼視差（水平視差）を有する２つの映像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる立体映像の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したものに相当するＣＧ（Computer Graphics）の映像である。かかる２つの映像に含まれる被写体像の遠近方向の結像位置は、２つの映像間における被写体像の両眼視差（以下、単に「視差」と記載する場合もある。）の大小によって定まる。
【０００３】
このように２つの映像間における被写体像の視差を調整すれば被写体像の遠近方向の結像位置を変化させることができるが、近方向に視差を大きくとり過ぎて、被写体像が過度に飛び出して結像されたり、遠方向に視差を大きくとり過ぎて、過度に奥まって結像されると、観察者の目に負担がかかる場合がある。そこで、２つの映像間における視差が大きくなると、その視差に応じて、立体映像の飛び出し方向（近方向）と奥まる方向（遠方向）で表現される奥行き量の幅（ダイナミックレンジ）を、映像の水平方向の相対位置をずらして補正する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−４５５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、眼精疲労を起こすことなく観察者が快適に立体映像を視認できる映像間の視差範囲は画角にして１．７°以下といわれ、また、両眼それぞれの瞳孔間の距離である瞳孔間距離は５ｃｍ以下とすることが望ましいといわれている。したがって、２つの映像間の視差を所定の（適切な）視差範囲に抑えるのが望ましい。しかし、撮像範囲に含まれる全ての被写体の視差が所定の視差範囲に収まるよう常に気を配りながら撮像を実行するのは困難であり、撮像した映像間の視差が所定の視差範囲を超えてしまうことが往々にしてある。
【０００６】
また、たとえ、撮像段階では所定の視差範囲に収まるようにしたとしても、再生段階において立体映像表示装置の画面サイズや、観察者と立体映像表示装置との距離である観察距離によっては、やはり、視差が大きくなってしまい、眼精疲労を起こすおそれがあった。
【０００７】
そこで本発明は、このような課題に鑑み、立体映像の再生時において、立体映像の視差、画面サイズおよび観察距離に拘わらず、立体映像を所定の視差範囲で観察者に結像させることが可能な立体映像制御装置、立体映像制御方法および立体映像制御用プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の立体映像制御装置は、画面サイズと、観察者と画面との距離である観察距離と、を含む観察環境情報を登録する観察環境登録部と、両眼視差を有する２つの映像データおよびその視差に関する視差情報を取得する映像データ取得部と、観察環境登録部に登録された観察環境情報および映像データ取得部が取得した視差情報に基づいて映像データの視差が所定の視差範囲に収まるか否かを判断し、所定の視差範囲に収まらないと判断した場合に映像データの視差がその所定の視差範囲に収まるように、２つの映像データに基づく映像を、所定の視差範囲を超えた超過視差が、第１閾値未満の場合、映像を水平方向にのみ縮小し、超過視差が第１閾値以上であり、第１閾値より大きい第２閾値未満の場合、映像を水平方向および垂直方向に縮小し、超過視差が第２閾値以上の場合、所定の横縦比を維持しつつ映像を水平方向および垂直方向に縮小する視差補正部と、を備えることを特徴とする。
【０００９】
映像データ取得部は、２つの映像データの所定映像単位の視差の飛び出し方向の最大値である近最大値と奥まる方向の最大値である遠最大値とを取得し、視差補正部は、近最大値と遠最大値とがともに所定の視差範囲に収まるように映像を少なくとも水平方向に縮小してもよい。
【００１０】
映像データ取得部はさらに、２つの映像データの全時間に亘る近最大値のうち最も大きな値を総近最大値として導出するとともに、２つの映像データの全時間に亘る遠最大値のうち最も大きな値を総遠最大値として導出し、視差補正部は、総近最大値と総遠最大値とがともに所定の視差範囲に収まる１の縮小割合によって、全時間に亘って映像を少なくとも水平方向に縮小してもよい。
【００１２】
視差補正部は、２つの映像データに基づく映像を水平方向に相対的にシフトした後、２つの映像データに基づく映像を縮小してもよい。
【００１３】
上記課題を解決するために、本発明の立体映像制御方法は、画面サイズと、観察者と画面との距離である観察距離と、を含む観察環境情報を登録し、両眼視差を有する２つの映像データおよびその視差に関する視差情報を取得し、登録された観察環境情報および取得された視差情報に基づいて２つの映像データの視差が所定の視差範囲に収まるか否かを判断し、所定の視差範囲に収まらないと判断した場合に映像データの視差がその所定の視差範囲に収まるように、２つの映像データに基づく映像を、所定の視差範囲を超えた超過視差が、第１閾値未満の場合、映像を水平方向にのみ縮小し、超過視差が第１閾値以上であり、第１閾値より大きい第２閾値未満の場合、映像を水平方向および垂直方向に縮小し、超過視差が第２閾値以上の場合、所定の横縦比を維持しつつ映像を水平方向および垂直方向に縮小することを特徴とする。
【００１４】
上記課題を解決するために、本発明の立体映像制御用プログラムは、コンピュータを、画面サイズと、観察者と画面との距離である観察距離と、を含む観察環境情報を登録する観察環境登録部と、両眼視差を有する２つの映像データおよびその視差に関する視差情報を取得する映像データ取得部と、観察環境登録部に登録された観察環境情報および映像データ取得部が取得した視差情報に基づいて映像データの視差が所定の視差範囲に収まるか否かを判断し、所定の視差範囲に収まらないと判断した場合に映像データの視差がその所定の視差範囲に収まるように、２つの映像データに基づく映像を、所定の視差範囲を超えた超過視差が、第１閾値未満の場合、映像を水平方向にのみ縮小し、超過視差が第１閾値以上であり、第１閾値より大きい第２閾値未満の場合、映像を水平方向および垂直方向に縮小し、超過視差が第２閾値以上の場合、所定の横縦比を維持しつつ映像を水平方向および垂直方向に縮小する視差補正部と、して機能させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、立体映像の再生時において、立体映像の視差、立体映像表示装置の画面サイズや観察距離に拘わらず、立体映像を所定の視差範囲で観察者に結像させることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】立体映像システムの概略的な関係を示した機能ブロック図である。
【図２】立体映像撮像装置の概略的な機能を示した機能ブロック図である。
【図３】立体映像撮像装置の外観を示した斜視図である。
【図４】パターンマッチングによる視差の導出処理を説明するための説明図である。
【図５】立体映像制御装置の概略的な機能を示した機能ブロック図である。
【図６】観察環境情報に基づく所定の視差範囲を説明するための説明図である。
【図７】視差補正部によるサイズ調整処理を説明するための説明図である。
【図８】立体映像撮像方法の処理の流れを示すフローチャートである。
【図９】立体映像制御方法の処理の流れを示すフローチャートである。
【図１０】立体映像表示装置の表示態様を示した説明図である。
【図１１】１フレームにおける視差分布を例示した説明図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（立体映像システム１００）
図１は、立体映像システム１００の概略的な関係を示した機能ブロック図である。立体映像システム１００は、両眼視差を有する２つの映像データ（以下、左右を識別する必要がある場合には、それぞれを左眼用映像データ、右眼用映像データと表現する。）を生成するための立体映像撮像装置１１０と、生成された映像データを再生制御する立体映像制御装置１２０と、その再生制御された表示データを表示する立体映像表示装置１３０とを含んで構成される。立体映像システム１００では、例えば、撮像者１０が立体映像撮像装置１１０を用いて、２つの映像データを生成し、観察者１２は、偏光メガネ等を用い、立体映像表示装置１３０を通じて提供された映像データを観察する。ここでは、理解を容易にするため、映像データを生成する者を撮像者１０、その映像データを観察する者を観察者１２としているが、本実施形態が、これら撮像者または観察者といった利用者の、映像データの生成または観察といった利用形態によって限定されないのは言うまでもない。
【００１９】
撮像者１０は、立体映像撮像装置１１０と被写体との距離や、輻輳角を調整することで、撮像された映像を表示した場合の被写体像の遠近方向の結像位置を変化させることができる。しかし、何の基準もなく立体映像の撮像を試みると被写体の視差が大きくなりすぎ、再生時に観察者１２の目に負担がかかる場合がある。本実施形態では、対象となる映像データにおいて視差が所定の視差範囲に収まっていない場合においても、観察者１２に所定の視差範囲で立体映像を結像させること目的としている。以下、このような目的を実現可能な立体映像撮像装置１１０および立体映像制御装置１２０について詳細に説明する。
【００２０】
（立体映像撮像装置１１０）
図２は、立体映像撮像装置１１０の概略的な機能を示した機能ブロック図であり、図３は、立体映像撮像装置１１０の外観を示した斜視図である。図２中、実線はデータの流れを示し、破線は制御信号の流れを示している。図２および図３に示すように、立体映像撮像装置１１０は、２つの撮像部１５０と、データ処理部１５２と、合成部１５４と、表示部１５６と、操作部１５８と、映像保持部１６０と、中央制御部１６２とを含んで構成される。
【００２１】
撮像部１５０は、立体映像撮像装置１１０において、２つ設けられ、それぞれが、撮像レンズ１５０ａと、焦点調整に用いられるフォーカスレンズ１５０ｂと、露光調整に用いられる絞り（アイリス）１５０ｃと、撮像レンズ１５０ａを通じて入射した光束を電気データ（映像データ）に光電変換する撮像素子１５０ｄと、後述する撮像制御部１７０の制御信号に応じてフォーカスレンズ１５０ｂ、絞り１５０ｃおよび撮像素子１５０ｄをそれぞれ駆動させる駆動部１５０ｅとを含んで構成され、略平行に並んだまたは撮像方向で交わる２つの光軸それぞれにおける左右２つの映像データを生成する。かかる映像データは動画であっても静止画であってもよい。
【００２２】
データ処理部１５２は、撮像部１５０から受信した映像データに、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理等の映像信号処理を施し、処理後の映像データを合成部１５４に出力する。合成部１５４は、データ処理部１５２によって処理が為された左右２つの映像データを合成して表示データを生成する。表示部１５６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、合成部１５４で合成された表示データを表示する。操作部１５８は、操作キー、十字キー、ジョイスティック、表示部１５６の表示面に重畳されたタッチパネル等で構成され、撮像者１０の操作入力を受け付ける。
【００２３】
映像保持部１６０は、ＨＤＤ、フラッシュメモリ、不揮発性ＲＡＭ等で構成され、後述する記憶制御部１７２の制御信号に応じて、中央制御部１６２から送信された映像データを保持する。また、映像保持部１６０は、ＣＤ（Compact Disc）、ＤＶＤやＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に映像データを保持させる装置として構成されてもよい。
【００２４】
中央制御部１６２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像撮像装置１１０全体を管理および制御する。また、本実施形態において、中央制御部１６２は、撮像制御部１７０、記憶制御部１７２、視差導出部１７４としても機能する。
【００２５】
撮像制御部１７０は、撮像者１０の操作入力に応じて、適切な映像データが得られるように、フォーカスレンズ１５０ｂ、絞り１５０ｃおよび撮像素子１５０ｄを駆動部１５０ｅに駆動させる。記憶制御部１７２は、撮像部１５０が映像データを生成している間、データ処理部１５２から送信された映像データを映像保持部１６０に記憶する。
【００２６】
視差導出部１７４は、まず、データ処理部１５２から送信された２つの映像データに対しパターンマッチングを実行し、各フレーム（１の映像を構成する時系列に並べられた静止画データであり、立体映像においては左右２つの静止画データをいう。）における視差を導出する。具体的に、視差導出部１７４は、データ処理部１５２から送信された立体映像を結像するための２つの映像データ（左眼用映像データおよび右眼用映像データ）を比較し、両映像データ中のオブジェクト（被写体）の視差の方向と大きさとを示す視差ベクトル（以下、単に視差という。）を導出する。ここでは、映像内のオブジェクトを特定せず、左眼用映像データおよび右眼用映像データそれぞれを格子状に分割した複数のブロックについて視差を導出している（空間周波数等を導出しオブジェクトを特定し、そのオブジェクト毎に視差を導出してもよい。）。ただし、立体映像において、視差は水平方向にしか生じないので、視差の方向は単純に正負の符号（＋−）で示すことができる。ここでは、立体映像表示装置１３０の表示位置より観察者１２側（飛び出し側）に結像させる方向を正、立体映像表示装置１３０の表示位置より観察者と逆側（奥まる側）に結像される方向を負とする。視差導出部１７４は、パターンマッチングのアルゴリズムにより視差を導出する。
【００２７】
図４は、パターンマッチングによる視差の導出処理を説明するための説明図である。視差導出部１７４は、図４に示すように、２つの映像データのうちの一方の映像データ（ここでは、左眼用映像データ）を、所定の大きさ（例えば２４０画素×１３５画素）のブロック（領域）１８０に分割し（ここでは６４分割）、左眼用映像データから選択した任意のブロック１８０ａについて、右眼用映像データのうち、同一の大きさで相関値の高いブロック１８０ｂを抽出し、両者の位置関係から視差１８２を検出する。このようなパターンマッチングとしては、例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等、既存の様々な手法を採用することが可能なので、ここでは、その詳細な説明を省略する。
【００２８】
続いて、視差導出部１７４は、導出した複数のブロック１８０の視差をフレーム単位で集計する。例えば、視差導出部１７４は、１フレームにおける複数のブロック１８０それぞれの視差の飛び出し方向の最大値である近最大値と、奥まる方向の最大値である遠最大値を抽出する。ただし、その遠近方向を踏まえ、近最大値は正の値で表され、遠最大値は負の値で表される。したがって、遠最大値は、その絶対値が奥まる方向の最大値であるものの、その値自体は最小値に相当することとなる。
【００２９】
また、視差導出部１７４は、所定数のフレームにおいて、各フレーム毎にブロック１８０の飛び出し方向の視差が最大となるものを抽出した後、抽出した最大値を各フレーム間で比較し、抽出した最大値のうちで最も大きい最大値を、それら所定数のフレームにおける近最大値として特定することもできる。遠最大値についても同様である。
【００３０】
さらに、視差導出部１７４は、フレーム内の近最大値の、全時間（全フレーム）に亘る最大値（以下、総近最大値という。）およびフレーム内の遠最大値の、全時間（全フレーム）に亘る最小値（絶対値では最大値）（以下、総遠最大値という。）を導出する。したがって総近最大値および総遠最大値は、映像データの全時間に亘る視差の飛び出し方向の最大値および奥まる方向の最大値ということになる。ただし、近最大値や遠最大値同様、総近最大値は正の値で表され、総遠最大値は負の値で表される。こうして導出された総近最大値と総遠最大値は、視差情報として映像データと共に保持され、立体映像制御装置１２０において参照される。
【００３１】
（立体映像制御装置１２０）
図５は、立体映像制御装置１２０の概略的な機能を示した機能ブロック図である。図５に示すように、立体映像制御装置１２０は、映像データ取得部２１０と、合成部２１２と、操作部２１４と、中央制御部２１６とを含んで構成される。また、中央制御部２１６は、観察環境登録部２２０、視差補正部２２２として機能する。合成部２１２、操作部２１４、中央制御部２１６は、立体映像撮像装置１１０における構成要素として既に述べた合成部１５４、操作部１５８、中央制御部１６２と実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する映像データ取得部２１０、観察環境登録部２２０、視差補正部２２２を主に説明する。
【００３２】
映像データ取得部２１０は、立体映像として知覚される、異なる光軸それぞれにおいて撮像された映像、または異なる光軸で撮像したものに相当するＣＧの映像をデータ化した、両眼視差を有する左右２つの映像データを取得する。ここで、左右２つの映像データは独立して個々に取得されてもよいし、一体的なデータとして取得されてもよい。本実施形態において、映像データ取得部２１０は、立体映像撮像装置１１０で生成された映像データを取得するとし、その映像データには総近最大値と総遠最大値とを含む視差情報が関連付けられているとする。
【００３３】
観察環境登録部２２０は、操作部２１４を通じた観察者１２による入力に応じて立体映像表示装置１３０の観察環境情報を登録する。ここで、観察環境情報は、立体映像表示装置１３０の画面サイズと、観察者１２と立体映像表示装置１３０との距離である観察距離とを含む情報である。
【００３４】
図６は、観察環境情報に基づく所定の視差範囲を説明するための説明図である。図６（ａ）のように左眼用映像データ２３０ａにオブジェクト２３２ａが配され、右眼用映像データ２３０ｂにオブジェクト２３２ｂが配されている場合（左眼用映像データ２３０ａのオブジェクト２３２ａが右眼用映像データ２３０ｂのオブジェクト２３２ｂより右側に存在する場合：視差＞０）、左眼２３４ａと左眼用映像データ２３０ａのオブジェクト２３２ａとを結ぶ直線と、右眼２３４ｂと右眼用映像データ２３０ｂのオブジェクト２３２ｂとを結ぶ直線とが立体映像表示装置１３０の画面前方で交差し、その交差する点でオブジェクト２３２の映像が結像され、観察者１２は、そのオブジェクト２３２が飛び出して見えることとなる。
【００３５】
例えば、オブジェクト２３２の結像位置と左眼２３４ａおよび右眼２３４ｂを結ぶ結線の成す角をθｆとし、立体映像表示装置１３０の画面上の凝視点２３６と左眼２３４ａおよび右眼２３４ｂを結ぶ結線の成す角をθｃとすると、所定の視差範囲は、θｆ−θｃ＜１．７°である。したがって、瞳孔間距離Ｉを５ｃｍ〜６．２５ｃｍで固定すると、立体映像表示装置１３０の画面サイズＳと観察距離Ｌとから所定の視差範囲Ｈが一義的に導出される。
【００３６】
また、所定の視差範囲は、立体映像表示装置１３０の手前側にオブジェクト２３２を結像する場合に限られず、奥側にオブジェクト２３２を結像する場合にも適用される。図６（ｂ）のように左眼用映像データ２３０ａにオブジェクト２３２ａが配され、右眼用映像データ２３０ｂにオブジェクト２３２ｂが配されている場合（左眼用映像データ２３０ａのオブジェクト２３２ａが右眼用映像データ２３０ｂのオブジェクト２３２ｂより左側に存在する場合：視差＜０）、左眼２３４ａと左眼用映像データ２３０ａのオブジェクト２３２ａとを結ぶ直線と、右眼２３４ｂと右眼用映像データ２３０ｂのオブジェクト２３２ｂとを結ぶ直線とが立体映像表示装置１３０の画面後方で交差し、その交差する点でオブジェクト２３２の映像が結像され、観察者１２は、そのオブジェクト２３２が奥まって見えることとなる。このとき、オブジェクト２３２の結像位置と左眼２３４ａおよび右眼２３４ｂを結ぶ結線の成す角をθｂとすると、所定の視差範囲は、θｃ−θｂ＜１．７°となり、図６（ａ）同様、立体映像表示装置１３０の画面サイズＳと観察距離Ｌとから所定の視差範囲Ｈが一義的に導出される。
【００３７】
したがって、観察環境登録部２２０は、立体映像表示装置１３０の画面サイズと、観察距離とに応じて、所定の視差範囲を導出することが可能となる。
【００３８】
（シフト調整）
視差補正部２２２は、映像データ取得部２１０が取得した２つの映像データに関連付けられた総近最大値および総遠最大値と、観察環境登録部２２０が導出した所定の視差範囲とを比較し、その比較結果に応じて映像データを加工し、その視差を補正する。
【００３９】
例えば、上述したθｆ−θｃ＜１．７°およびθｃ−θｂ＜１．７°を満たす視差範囲を下限ＰＤ＜視差ｐ＜上限ＰＵとする。このとき視差ｐの総近最大値が上限ＰＵを超えることが把握されると、その総近最大値に相当するブロックが存在するフレームにおいて、視差が所定の視差範囲に収まらないことがわかる。ただし、このように、視差ｐが上限ＰＵを超えてしまう場合であっても、そのときの他のブロックの視差ｐが下限ＰＤ以上であれば、視差を全体的に負の方向にシフトすることで、視差ｐが上限ＰＵを超えてしまうことを回避することができる。
【００４０】
具体的に、視差補正部２２２は、総近最大値が上限ＰＵを超しているか、総遠最大値が下限ＰＤを下回っており（総遠最大値の絶対値が加減ＰＤの絶対値を越しており）、かつ、総近最大値と総遠最大値との差が上限ＰＵと下限ＰＤとの差よりも小さい場合、２つの映像データを水平方向に相対的にシフトすることで総近最大値と総遠最大値とがともに上限ＰＵと下限ＰＤとの間に収まるように処理する。ただし、通常、映像データの大きさは固定されているので、一方を水平方向にシフトすることにより、視認可能な映像データが水平方向で一部欠落することとなる。したがって、視認可能な映像のアスペクト比が水平方向において維持できなくなり、その部分には、映像がないことを示す表示（帯状の黒領域）がなされる。かかる構成により、オリジナルの映像データが意図している遠近感とは異なるものの、観察者１２の目に負担がかかる事態を回避することが可能となる。
【００４１】
（サイズ調整）
一方で、上記のシフト調整には限界がある。すなわち、近くのオブジェクトと遠くのオブジェクトが撮像部１５０に同時に写り込んでしまい、総近最大値と総遠最大値との差が上限ＰＵと下限ＰＤとの差よりも大きくなった場合、２つの映像データをいずれの方向に相対的にシフトしたとしても、総近最大値と総遠最大値とのいずれかが必ず上限ＰＵと下限ＰＤの範囲を超えてしまう。
【００４２】
そこで、視差補正部２２２は、総近最大値と総遠最大値が所定の視差範囲に収まるか否かを判断し、所定の視差範囲に収まらないと判断した場合に、総近最大値と総遠最大値とが所定の視差範囲に収まるように映像を水平方向に縮小する。立体映像では、水平方向の視差が大きければ大きいほど、オブジェクトがより手前に飛び出す、また、より奥まることとなる。ここでは、視差補正部２２２が映像自体を水平方向に縮小することで、視差の絶対量を小さくしている。
【００４３】
図７は、視差補正部２２２によるサイズ調整処理を説明するための説明図である。ここでは、横軸に超過視差をとり、最大の超過視差（限界値）を１として相対値で示している。ここで、超過視差は、視差が、所定の視差範囲である上限ＰＵと下限ＰＤとの差を超えた場合における、その超えた分の視差を言う。また、縦軸に画面の縮小割合をとり、縮小していない状態を１として相対値で示している。総近最大値と総遠最大値との差が上限ＰＵと下限ＰＤとの差よりも大きくなると、視差補正部２２２は、上述したシフト調整を所定の調整値で固定し、サイズ調整を行う。視差補正部２２２は、超過視差が小さい間、映像の垂直方向の縮小割合を１に維持したまま、映像を水平方向にのみ縮小する（図７（１）参照）。
【００４４】
そして、超過視差が、水平方向に縮小すると水平方向と垂直方向の比（以下、単に横縦比という。）が違和感を伴うと想定される第１閾値（ここでは１／１６）以上であると（例えば、縮小前の横縦比が１６：９であるのに対して１５：９となる場合）、これ以上、横縦比の違和感を大きくしないように、映像の水平方向の縮小と共に垂直方向の縮小も実行する（図７（２）参照）。ただし、超過視差に対する垂直方向の縮小率（縮小割合／超過視差）の絶対値は水平方向の縮小率の絶対値より大きい。これは、超過視差が第１閾値以上の場合に、横縦比を縮小前の横縦比と等しくするためである。ここでは、垂直方向の縮小の開始点を横縦比１５：９に相当する超過視差の値としたが、かかる値に限らず、観察者１２が任意に設定できる。
【００４５】
図７において、超過視差が第２閾値（ここでは０．５）に至ると、横縦比が縮小前の横縦比に戻る。したがって、超過視差が第２閾値以上の場合、超過視差に対して同一の縮小率（横縦比を維持）で水平方向および垂直方向に縮小することとなる（図７（３）参照）。図７に示した軌跡に基づいて映像の縮小割合を決定することで、観察者１２が横縦比による違和感を覚えることなく、視認する映像を可能な限り大きくとることが可能となる。
【００４６】
ここで、縮小前および図７（３）の状態の横縦比は１６：９や４：３であることが望ましいが、上述したシフト調整により、有効な表示領域が１６：９や４：３を維持できなくなってしまう場合がある。この場合、シフト調整の最終的な横縦比に基づいて、映像の縮小割合が決定されることとなる。
【００４７】
以下、上述した立体映像撮像装置１１０と立体映像制御装置１２０の具体的な処理の流れを図８および図９のフローチャートを用いて説明する。
【００４８】
（立体映像撮像方法）
図８によれば、立体映像撮像装置１１０の電源が投入されると、初期化処理が作動し、立体映像撮像装置１１０内の変数（総近最大値および総遠最大値）が０にリセットされる（Ｓ３００）。撮像者１０が、立体映像撮像装置１１０を通じた立体映像の撮像を試みると（Ｓ３０２におけるＹＥＳ）、立体映像撮像装置１１０の撮像制御部１７０は、撮像者１０の操作入力に応じて、適切な映像データが得られるように、フォーカスレンズ１５０ｂ、絞り１５０ｃおよび撮像素子１５０ｄを駆動部１５０ｅに駆動させる（Ｓ３０４）。また、記憶制御部１７２は、撮像部１５０が映像データを生成している間、データ処理部１５２から送信された映像データを映像保持部１６０に記憶する（Ｓ３０６）。
【００４９】
そして、視差導出部１７４は、パターンマッチングを通じて、記憶された２つの映像データの１または複数のブロックの視差を導出し（Ｓ３０８）、その近最大値と遠最大値とを抽出する（Ｓ３１０）。続いて、視差導出部１７４は、近最大値と総近最大値とを比較し（Ｓ３１２）、近最大値が総近最大値を超えると（Ｓ３１２におけるＹＥＳ）、総近最大値を近最大値に書き換え、新たな総近最大値を生成する（Ｓ３１４）。同様に、視差導出部１７４は、遠最大値と総遠最大値とを比較し（Ｓ３１６）、遠最大値が総遠最大値を下回ると（Ｓ３１６におけるＹＥＳ）、総遠最大値を遠最大値に書き換え、新たな総遠最大値を生成する（Ｓ３１８）。
【００５０】
次に、撮像者１０が立体映像撮像の停止操作を行ったか否か判定され（Ｓ３２０）、停止操作が行われていなければ（Ｓ３２０におけるＮＯ）、ステップＳ３０４の撮像部駆動処理からを繰り返し、停止操作が行われていたら（Ｓ３２０におけるＹＥＳ）、総近最大値と総遠最大値とを視差情報として映像データと共に保持し（Ｓ３２２）、ステップＳ３０２における撮像者１０の操作待ち処理に戻る。
【００５１】
（立体映像制御方法）
図９によれば、立体映像制御装置１２０の観察環境登録部２２０は、操作部２１４を通じた観察者１２による入力があると（Ｓ３５０におけるＹＥＳ）、その観察者１２による入力に応じて立体映像表示装置１３０の観察環境情報（立体映像表示装置１３０の画面サイズおよび観察距離）を登録する（Ｓ３５２）。そして、観察者１２が、立体映像制御装置１２０を通じた立体映像の再生を試みると（Ｓ３５４におけるＹＥＳ）、映像データ取得部２１０は、２つの映像データの取得を開始し（Ｓ３５６）、観察環境登録部２２０は、観察環境と映像データと共に保持された視差情報とを通じて所定の視差範囲を導出する（Ｓ３５８）。
【００５２】
ここで、上記θｆ−θｃ＜１．７°、θｃ−θｂ＜１．７°を満たす視差範囲を下限ＰＤ＜視差ｐ＜上限ＰＵとした場合に、視差の総近最大値が上限ＰＵを超えるか、または、視差の総遠最大値が下限ＰＤを下回っているかが判定される（Ｓ３６０）。いずれの条件も満たさない場合（Ｓ３６０におけるＮＯ）、ステップＳ３７６の映像データ伝送処理に移行する。いずれかの条件を満たす場合（Ｓ３６０におけるＹＥＳ）、総近最大値と総遠最大値との差が上限ＰＵと下限ＰＤとの差よりも小さいか否か判定され（Ｓ３６２）、上限ＰＵと下限ＰＤとの差よりも小さい場合（Ｓ３６２におけるＹＥＳ）、視差補正部２２２は、２つの映像データの一方を水平方向にシフトする（Ｓ３６４）。こうして、図１０（ａ）の如く、立体映像表示装置１３０に表示された映像の水平方向の端部が欠落するものの、観察者１２は所定の視差範囲で立体映像を観察することができる。
【００５３】
また、総近最大値と総遠最大値との差が上限ＰＵと下限ＰＤとの差以上の場合（Ｓ３６２におけるＮＯ）、その上限ＰＵと下限ＰＤとの差以上の超過視差が第１閾値（ここでは１／１６）未満であるか否か判定され（Ｓ３６６）、第１閾値未満であれば（Ｓ３６６におけるＹＥＳ）、視差補正部２２２は、図７を参照し、図１０（ｂ）の白抜き矢印の如く、その超過視差に応じた縮小割合で映像の水平方向のみ縮小する（Ｓ３６８）。超過視差が第１閾値以上であれば（Ｓ３６６におけるＮＯ）、その超過視差が第２閾値（ここでは０．５）未満であるか否か判定され（Ｓ３７０）、第２閾値未満であれば（Ｓ３７０におけるＹＥＳ）、視差補正部２２２は、図７を参照し、図１０（ｃ）の白抜き矢印の如く、その超過視差に応じた縮小割合で映像の水平方向および垂直方向を縮小する（Ｓ３７２）。ただし、この時点では、所望の横縦比に至っていない。超過視差が第２閾値以上であれば（Ｓ３７０におけるＮＯ）、視差補正部２２２は、図７を参照し、図１０（ｄ）の白抜き矢印の如く、その超過視差に応じた縮小割合で映像の水平方向および垂直方向を縮小する（Ｓ３７４）。ただし、ここでは、超過視差に対して同一の縮小率で（所望の横縦比を維持して）、映像を水平方向および垂直方向に縮小することとなる。そして、このように決定された縮小割合で取得された映像データが合成され、立体映像表示装置１３０に伝送される（Ｓ３７６）。
【００５４】
以上、説明した立体映像撮像装置１１０および立体映像制御装置１２０により、立体映像の再生時において、立体映像の視差、立体映像表示装置の画面サイズおよび観察距離に拘わらず、立体映像を所定の視差範囲で観察者に結像させることが可能となる。
【００５５】
さらに、コンピュータを立体映像撮像装置１１０や立体映像制御装置１２０として機能させる立体映像撮像用プログラムおよび立体映像制御用プログラムや、その立体映像撮像用プログラムおよび立体映像制御用プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００５６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５７】
例えば、上述した実施形態では、立体映像制御装置１２０における観察環境登録部２２０が観察環境を取得して、視差情報と合わせ所定の視差範囲を導出する例を挙げて説明しているが、対象となる立体映像表示装置１３０を特定できる等、観察環境を予め把握することができる場合、このような所定の視差範囲を立体映像撮像装置１１０側で導出することもできる。すなわち、観察環境登録部２２０の機能を立体映像撮像装置１１０が有することも可能である。
【００５８】
また、上述した実施形態では、立体映像制御装置１２０における観察環境登録部２２０が、立体映像撮像装置１１０が生成した総近最大値や総遠最大値を利用して所定の視差範囲を求めているが、取得された映像データにこのような総近最大値や総遠最大値が含まれていない場合、立体映像制御装置１２０側で、映像データを取得した後、複数のフレームを一通り確認し、フレーム毎の視差の近最大値と遠最大値とを抽出して、総近最大値や総遠最大値を決めるとしてもよい。すなわち、視差導出部１７４の機能の一部を立体映像制御装置１２０が有することも可能である。
【００５９】
また、上述した実施形態では、立体映像制御装置１２０における視差補正部２２２が、取得された映像データに対して視差に関する１の補正量（シフト調整およびサイズ調整）を決定し、その決定結果を映像データの全時間に固定的に適用する例を挙げて説明したが、かかる場合に限らず、映像データ内の視差の変化に応じて時々刻々、シフト調整やサイズ調整を遂行するとしてもよい。この場合、映像データには視差情報としてフレーム毎に視差の近最大値と遠最大値が含まれるとし、視差補正部２２２は、その近最大値および遠最大値と所定の視差範囲とをその都度比較して水平方向のシフト量や水平方向および垂直方向の縮小割合をリアルタイムに決定するとする。このとき、その計算結果に対して例えば１または複数次の低域通過フィルタ（ＬＰＦ）を施して映像の大きさが煩雑に変化するのを防止するとしてもよい。こうすることで、視差が大きくない映像においてまで、シフト調整やサイズ調整により画面の大きさが制限されることがなくなるので、大きな画面で立体映像を視認することが可能となる。
【００６０】
また、立体映像撮像装置１１０において、１または複数のブロックに関し視差を導出すると共に、その近最大値と遠最大値を抽出する構成を述べたが、シフト調整やサイズ調整への視差の反映手法はかかる場合に限られず、１または複数のブロックにおける視差の分布（視差分布）を用いた他の様々な統計的手法を採用することができる。
【００６１】
図１１は、１フレームにおける視差分布を例示した説明図である。図１１のような視差分布において、上述した実施形態の如く近最大値と遠最大値とを抽出すると、例えば、ブロック１９０の視差が遠最大値となる。しかし、かかるブロック１９０の視差は、ブロック数が少ないので、そのブロック１９０自体の映像データ全体に対する影響が小さい、あるいはノイズであると判断することができる。このように、近最大値や遠最大値といった単純計算のみならず、視差分布を用いて、各ブロックの視差の全体への影響を勘案することが可能となる。例えば、図１１のような視差分布の平均値を導出し、その平均値から所定の視差範囲（例えば±４０％）のみを対象として、他の視差範囲を無視することとしたり、視差が０となる点から所定の視差範囲（例えば±４０％）のみを対象として、他の視差範囲を無視することとしたりしてもよい。また、単にブロック数が所定の数（例えば２）以下の視差を無視するとしてもよい。
【００６２】
かかる構成により、映像データに対する各ブロックの視差の影響度合いをより具体的に反映することができるので、観察者１２は、目への負担を回避しつつ、より最適な画面の大きさで立体映像を視認することが可能となる。
【００６３】
なお、本明細書の立体映像撮像方法および立体映像制御方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００６４】
本発明は、立体映像を知覚させるための映像データを再生する立体映像制御装置、立体映像制御方法および立体映像制御用プログラムに利用することができる。
【符号の説明】
【００６５】
１００  …立体映像システム
１１０  …立体映像撮像装置
１２０  …立体映像制御装置
１７４  …視差導出部
２２０  …観察環境登録部
２２２  …視差補正部
【図１】
0005720475.tif 000002
【図２】
0005720475.tif 000003
【図３】
0005720475.tif 000004
【図４】
0005720475.tif 000005
【図５】
0005720475.tif 000006
【図６】
0005720475.tif 000007
【図７】
0005720475.tif 000008
【図８】
0005720475.tif 000009
【図９】
0005720475.tif 000010
【図１０】
0005720475.tif 000011
【図１１】
0005720475.tif 000012