(57)【特許請求の範囲】
【請求項１】
複数の視差画像を撮像するための撮像光学系と、
視線検出手段を有する複数の画像表示手段と、
前記視線検出手段からの出力値から所定の計算を行う演算手段と、
前記演算手段の結果に応じて前記画像表示手段を制御する制御手段とを備え、
前記画像表示手段は、右眼用，左眼用の表示手段と視線検出手段とをそれぞれ有し、
前記演算手段は、右眼用視線検出手段からの出力値から右眼用表示手段の対応する右眼視線範囲を算出する右眼視線範囲算出手段と、左眼用視線検出手段からの出力値から左眼用表示手段の対応する左眼視線範囲を算出する左眼視線範囲算出手段と、該右眼，左眼視線範囲から被写体方向を示す右眼及び左眼方向ベクトルを算出する方向ベクトル算出手段と、該方向ベクトルから右眼方向ベクトルと左眼方向ベクトルの交点を算出する交点算出手段と、該交点と前記撮像光学系の所定の基準点との距離を算出する距離算出手段と、所定のパラメータから融像可能範囲を算出する融像可能範囲算出手段と、該融像可能範囲内に前記距離算出手段によって算出された距離があるかどうか比較する比較手段とを有することを特徴とする立体映像撮像装置。
【請求項２】
前記画像表示手段は、ヘッドマウントディスプレイであることを特徴とする請求項１記載の立体映像撮像装置。
【請求項３】
前記画像表示手段は、ＬＥＤを有することを特徴とする請求項１または２記載の立体映像撮像装置。
【請求項４】
前記制御手段は、前記比較手段からの出力結果に応じて、前記ＬＥＤの発光を制御することを特徴とする請求項３記載の立体映像撮像装置。
【請求項５】
前記制御手段は、前記融像可能範囲算出手段からの出力結果を前記画像表示手段の表示画像として表示することを特徴とする請求項１記載の立体映像撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、視差画像による立体映像を撮影、及び表示可能な立体映像撮像装置に関するものである。
【０００２】
【従来の技術】
従来、立体映像撮像装置としては複数台のカメラによって異なる視差画像を取得するものがある。そして、雲台の上に複数台カメラを設置し撮影場面によって経験的にカメラ光軸間隔や輻輳角を手動で設定し実際にモニタで立体感を確認しながら撮影していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような経験的な作業では効率が悪く、また立体映像の撮影に詳しい人がいない場合は良好な撮影ができないといった不具合があった。
【０００４】
本発明は、このような状況のもとでなされたもので、主被写体が融像可能範囲内にあるか否かを、撮影者が撮影時に容易に知ることのできる立体映像撮像装置を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
前記目的を達成するため、本発明では立体映像撮像装置を次の（１）〜（９）のとおりに構成する。
【０００６】
（１）複数の視差画像を撮像するための撮像光学系と、視線検出手段を有する複数の画像表示手段と、前記視線検出手段からの出力値から所定の計算を行う演算手段と、前記演算手段の結果に応じて前記画像表示手段を制御する制御手段とを備え、前記画像表示手段は、右眼用，左眼用の表示手段と視線検出手段とをそれぞれ有し、前記演算手段は、右眼用視線検出手段からの出力値から右眼用表示手段の対応する右眼視線範囲を算出する右眼視線範囲算出手段と、左眼用視線検出手段からの出力値から左眼用表示手段の対応する左眼視線範囲を算出する左眼視線範囲算出手段と、該右眼，左眼視線範囲から被写体方向を示す右眼及び左眼方向ベクトルを算出する方向ベクトル算出手段と、該方向ベクトルから右眼方向ベクトルと左眼方向ベクトルの交点を算出する交点算出手段と、該交点と前記撮像光学系の所定の基準点との距離を算出する距離算出手段と、所定のパラメータから融像可能範囲を算出する融像可能範囲算出手段と、該融像可能範囲内に前記距離算出手段によって算出された距離があるかどうか比較する比較手段とを有することを特徴とする立体映像撮像装置。
（２）前記画像表示手段は、ヘッドマウントディスプレイであることを特徴とする前記（１）記載の立体映像撮像装置。
（３）前記画像表示手段は、ＬＥＤを有することを特徴とする前記（１）または（２）記載の立体映像撮像装置。
（４）前記制御手段は、前記比較手段からの出力結果に応じて、前記ＬＥＤの発光を制御することを特徴とする前記（３）記載の立体映像撮像装置。
（５）前記制御手段は、前記融像可能範囲算出手段からの出力結果を前記画像表示手段の表示画像として表示することを特徴とする前記（１）記載の立体映像撮像装置。
【００１５】
【発明の実施の形態】
以下本発明の実施の態様を立体映像撮像装置の実施例により詳しく説明する。
【００１６】
【実施例】
図１は、実施例である“立体映像撮像装置”の構成を示すブロック図である。図１において、１は複数の視差画像を取り込むための立体カメラであり、本実施例においては右眼用の視差画像を取り込むための光学系１０１と光電変換素子であるＣＣＤ１０３、左眼用の視差画像を取り込むための光学系１０２とＣＣＤ１０４を有している。該光学系１０１とＣＣＤ１０３、光学系１０２とＣＣＤ１０４は同一の光学スペックであればよく、光学スペックを限定するものでない。また、光学系１０１とＣＣＤ１０３と、光学系１０２とＣＣＤ１０４は互いの間隔（以下基線長という）と互いに光軸のなす角度（以下輻輳角という）は図示しない機構によって可変であり、輻輳角／基線長駆動制御手段１１によって駆動制御される。本実施例においてはカメラ光軸が交差する交差式による撮影を行っているが、カメラ光軸が平行である平行式による撮影も可能である。１０は輻輳角／基線長検出手段であり、立体カメラ１の基線長と輻輳角を図示しないエンコーダにより検出する。
【００１７】
２は画像表示手段であり、右眼用表示手段２０１と左眼用表示手段２０２と、右眼用視線検出手段２０３と左眼用視線検出手段２０４とを有する。右眼用表示手段２０１と左眼用表示手段２０２はそれぞれ同一スペックであり、観察光学系を有する液晶またはＣＲＴ、またはＬＥＤやレーザからの光ビームを網膜に照射しスキャニングすることで残像効果で映像を観察するいわゆる網膜ディスプレイである。本実施例の右眼用視線検出手段２０３と左眼用視線検出手段２０４はいわゆる角膜反射光により視線を検出する方式である。詳しくは特開平５−６８１８８号公報に開示されているためここでは説明は省略する。しかしながら、本発明においてはこの方式に限定するものではなく、眼球の電位差を利用するＥＯＧ法や、強膜の白目と黒目の反射率の違いを利用するものや、コイルを埋め込んだコンタクトレンズを一様な磁界のもとで装着し眼球運動を計測するサーチコイル法を利用し視線を検出するものでもよい。また、画像表示手段２は固定タイプを想定しているが、これに限らず、ヘッドマウントディスプレイ（ＨＭＤ）等の適宜のタイプの表示手段で実施できる。
【００１８】
３は右眼用視線検出手段２０３と左眼用視線検出手段２０４からの出力値に応じて撮影可能範囲（融像可能範囲を指す）を演算する演算手段であり、右眼用視線範囲算出手段３０１と左眼用視線範囲算出手段３０２と方向ベクトル算出手段３０３と距離算出手段３０５と撮影可能範囲算出手段３０４と比較手段３０６と交点算出手段３０７とを有する。
【００１９】
４は画像制御手段であり、ＣＣＤ１０３，１０４からの画像信号を所定の画像フォーマットに変換する右眼用，左眼用カメラプロセス手段５，６によって本実施例においてはビデオ信号によって駆動手段７，８に画像信号を送る。また画像モメリ９とデータのやり取りを行う。また、画像表示手段２内に設けられた図示しないＬＥＤの発光／消灯を制御する信号をＬＥＤ発光回路１２に送る。前記画像メモリ９は本実施例においては媒体が磁気テープであるが、これに限定するものではなく、ＩＣメモリ，光磁気ディスク，ＤＶＤ，ＣＤ，ＰＤ等でもよい。
【００２０】
次に本システムの一連の動作について説明する。
【００２１】
図２に視線検出手段２０３，２０４から演算手段３に至る動作を示すフローチャートを示す。ここでステップ１は２０３，２０４に対応し、ステップ２，３は３０１，３０２に対応し、ステップ４は３０３に対応し、ステップ５，６，８，９，１０は３０７に対応し、ステップ７は３０５に対応する。
【００２２】
ステップ１は視線検出である。左眼及び右眼のそれぞれの角膜反射の座標を出力する。ステップ２でこの座標と対応する右眼及び左眼用のＬＣＤ上の座標を求める。ステップ３で対応する右眼及び左眼用のＣＣＤ上の座標を求める。ステップ４でこの各ＣＣＤ上の座標と各光学系１０１，１０２の基準点を結ぶ直線の方向ベクトルを求める。
【００２３】
ステップ５で右眼用方向ベクトルｄR 、左眼用方向ベクトルｄL が同一平面内にあるかどうか調べ、同一平面内であればステップ６へ進み、そうでなければステップ８に進む。ステップ６で右眼用方向ベクトルｄR と左眼用方向ベクトルｄL の交点の座標を求める。ステップ８で右眼用方向ベクトルｄR と光学系１０２の基準点を通る平面Ｐを求める。ステップ９にて平面Ｐへの左眼用方向ベクトルｄL の正射影したベクトルｄL ′を求める。ステップ１０にて右眼用方向ベクトルｄR と左眼用方向ベクトルｄL ′の交点の座標を求める。ステップ７で立体カメラ１の所定の基準点（右眼用光学系１０１の基準座標と左眼用光学系１０２の基準座標の中点）とステップ６またはステップ１０にて求めた交点との距離と座標を求める。
【００２４】
次に撮影可能範囲の算出について述べる。視差画像を人が融像できるのは、奥行き方向（表示画面よりも奥行方向）では表示画面上で、被写体の視差（ここでは画面上のズレ量）が人の瞳間隔（約６５ｍｍ）以下であるときである。また手前方向（表示画面よりも手前方向）では目の前約２０ｃｍ程度（明視距離ともいう）までである。これを利用して撮影可能範囲を決定する手順について説明する。
【００２５】
図３に従い説明する。図３のｙ軸は奥行き方向を表す。ｚ軸は天地方向を表わす。ｘ軸は奥行き方向に垂直方向である。本図ではｚ座標は一定とする。
【００２６】
ＣL は左眼用光学系１０２の基準座標（光学系を１個の薄肉レンズとみなしたときのレンズ中心）、ＣR は右眼用光学系１０１の基準座標（光学系を１個の薄肉レンズとみなしたときのレンズ中心）、Ｂは左眼，右眼用光学系１０２，１０１の光軸中心の交点である。点Ａは点Ｂに対して奥行方向の点、点Ｃは点Ｂに対して手前方向の点である。このとき点Ｂは左右光学系１０２，１０１の画面中心となり視差０の点であり、表示された立体映像では表示画面上の点になる。点Ａは表示画面の奥の点、点Ｃは表示画面の手前の点として表示されることになる。点Ａと点Ｃは、左眼，右眼用光学系１０２，１０１のレンズ画角２θｗ内にあるとするとする。ここで、各座標をＡ（０，Ａ），Ｂ（０，Ｂ），Ｃ（０，Ｃ），ＣL （−ｋ，０），ＣR （ｋ，０）とする。
【００２７】
また、∠ＢＣL Ｏ＝∠ＢＣR Ｏ＝θｂ
∠ＢＣL Ａ＝∠ＢＣR Ａ＝θａ
∠ＢＣL Ｃ＝∠ＢＣR Ｃ＝θｃとする。
【００２８】
ここで、表示画面の水平方向の長さを２ＷS とすると、画面中心からの点Ａのズレ量Ｄa は以下の式で表わせる。
【００２９】
Ｄa ＝ＷS ×ｔａｎ（θa ）÷ｔａｎ（θW ）    式１
したがって、観察者の瞳間隔を２ｄh とすれば、以下の式が成り立つ。
【００３０】
ｄh ≧Ｄa                                     式２
また、ｔａｎ（θa ＋θb ）＝Ａ÷ｋ                  式３
ｔａｎ（θb ）＝Ｂ÷ｋ                        式４
だから、式１から式４により以下の式が成り立つ。
【００３１】
0003976860.tif 000002
式５によって画面中心にＢ点がくるときの奥行き方向の融像可能範囲が算出される。すなわち、Ｂ点から奥行き方向の点で融像可能なのは式５の右式で計算される値よりもＡが小さい事が条件となる。式５で、ｋとθｂは輻輳角／基線長検出手段１０によって取得される。また、θW はレンズデータより既知であり、ＷS は表示条件によって既知である。ｄh は本実施例においては所定の値（本実施例においては６５mm／２）を使用するがこれに限定するものではない。
【００３２】
次に点Ｃについて考える。上と同様にして、点Ｃの画面上でのズレ量ＤC は以下の式で表わせる。
【００３３】
ＤC ＝ＷS ×ｔａｎ（θC ）÷ｔａｎ（θW ）        式６
画面からの飛び出し量を目の前からｄ、表示画面までの視距離ｄS とすると
ＤC ≦ｄh ×（ｄS −ｄ）÷ｄ                      式７
ｔａｎ（θC ）＝ｋ×（Ｂ−Ｃ）÷（ｋ2 ＋Ｂ×Ｃ）  式８
以上より以下の式が成り立つ。
【００３４】
Ｃ≧｛ｄ×ＷＳ×ｔａｎ（θｂ）−ｄｈ×（ｄＳ−ｄ）×ｔａｎ（θＷ）｝＊｛ＷＳ×ｄ＋ｔａｎ（θｂ）×ｄｈ×（ｄＳ−ｄ）×ｔａｎ（θＷ）｝          式９
式９によって画面中心に点Ｂがくるときの手前方向の融像可能範囲が算出される。すなわち、Ｂ点から手前方向の点で融像可能なのは式９の右式で計算される値よりもＣが大きい事が条件となる。式９で、ｋとθｂは輻輳角／基線長検出手段１０によって取得される。また、θＷはレンズデータより既知であり、ＷＳ，ｄＳは表示条件によって既知である。ｄｈ、ｄは本実施例においては所定の値（本実施例においてはｄｈ＝６５ｍｍ、ｄ＝２００ｍｍ）を使用するがこれに限定するものでない。
【００３５】
図４にこのフローチャートを示す。ステップ１１にてθｂとｋを読み込む。ステップ１２にてＷＳ，ｄＳ，ｄｈ，ｄを読み込む。ステップ１３にて式５にしたがって奥行き融像限界点Ａ求める。ステップ１４にて式９にしたがって手前融像限界点Ｃを求める。ステップ１５にてステップ１３，１４とレンズ撮影画角θＷ、基線長ｋ、輻輳角θｂから撮影可能範囲が決定される。次にステップ７で求められた視線対象までの距離と、ステップ１５で決定された撮影可能範囲とを比較手段３０６にて比較する。すなわち視線対象が前記撮影可能範囲内か、範囲外であるか比較する。
【００３６】
次に範囲内であるか、範囲外であるかを撮影者に知らせるように画像制御手段４へ指令する。
【００３７】
本実施例においては、表示手段２０１か２０２、また両方の表示手段内にＬＥＤを配置し、画像制御手段４からの信号にもとずいてＬＥＤを点灯、または点滅させることでＬＥＤからの光線を撮影者に観察させることで範囲内か範囲外であることを表示する。ＬＥＤが点灯のときは範囲外、ＬＥＤが消灯のときは範囲内としてもよいし、ＬＥＤが点滅のときは範囲外、ＬＥＤが消灯のときは範囲内としてもよい。また、前記撮影可能範囲からの出力結果を画像表示手段２に出力してもよい。
【００３８】
以上説明したように、本実施例により主被写体が融像可能範囲（撮影可能範囲）内にあるか否かを撮影の際に容易に知ることができる。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、主被写体が融像可能範囲内にあるか否かを撮影者が撮影時に容易に知ることができるため、疲労感の小さい見やすい立体映像を撮影することができる。
【図面の簡単な説明】
【図１】  実施例の構成を示すブロック図
【図２】  実施例の動作を示すフローチャート
【図３】  実施例の説明図
【図４】  実施例の動作を示すフローチャート
【符号の説明】
１  立体カメラ
２  画像表示手段
３  演算手段
【図１】
0003976860.tif 000003
【図２】
0003976860.tif 000004
【図３】
0003976860.tif 000005
【図４】
0003976860.tif 000006