(57)【特許請求の範囲】
【請求項１】
両眼視差を有する左眼用映像および右眼用映像を夫々所定の表示領域に表示することが可能になされた表示手段と、
観察者の眼球のピント調節状態を検出するための眼球調節検出手段と、
上記眼球調節検出手段により検出された眼球の調節に応じて上記両眼視差を実効的に変化させるように制御する両眼視差制御手段と、
を備えてなることを特徴とする立体映像ディスプレイ装置。
【請求項２】
上記両眼視差制御手段は上記左眼用映像および右眼用映像を夫々所定の表示領域内での水平表示位置を変化させることにより両眼視差を実効的に変化させるように制御するものであることを特徴とする請求項１に記載の立体映像ディスプレイ装置。
【請求項３】
上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値とを比較し、該検出した値が目標調節値より近点であれば、上記両眼視差を小さくするように制御し、検出した調節値が目標調節値より遠点であれば、上記両眼視差を大きくするように制御するものであることを特徴とする請求項１に記載の立体映像ディスプレイ装置。
【請求項４】
上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果と、該比較結果に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量と、の対応関係を表わすデータを保持する所要変化量データ保持手段に保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする請求項１に記載の立体映像ディスプレイ装置。
【請求項５】
上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする請求項１に記載の立体映像ディスプレイ装置。
【請求項６】
両眼視差を有する左眼用映像および右眼用映像を夫々所定の表示領域に表示することが可能になされた表示手段と、
観察者の眼球の輻輳角を検出する眼球輻輳角検出手段と、
上記表示手段に映出される映像に係る目標輻輳角を設定するための目標輻輳角設定手段と、
上記目標輻輳角設定手段により設定された目標輻輳角に対する上記眼球輻輳角検出手段により検出された眼球輻輳角の偏差の値に応じて、上記表示手段の各所定の表示領域上での水平方向に関する左眼用映像の表示位置と右眼用映像の水平表示位置とをこれら両表示位置の移動量の絶対値が等しくその方向が逆方向となるように移動制御する水平表示位置制御手段と、
を備えてなることを特徴とする立体映像ディスプレイ装置。
【請求項７】
上記水平表示位置制御手段は、所定の目標輻輳角と上記輻輳角検出手段により検出した眼球の輻輳角を表わす値との比較結果と、該比較結果に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量と、の対応関係を表わすデータを保持する所要変化量データ保持手段に保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする請求項６に記載の立体映像ディスプレイ装置。
【請求項８】
上記水平表示位置制御手段は、所定の目標輻輳角と上記輻輳角検出手段により検出した眼球の輻輳角を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする請求項６に記載の立体映像ディスプレイ装置。
【請求項９】
上記目標輻輳角設定手段は、観察者から所定距離に設定された標準立体映像についての当該観察者の眼球輻輳角の実測値を当該目標輻輳角を表わすデータとして保持したデータ保持手段を有してなるものであることを特徴とする請求項６に記載の立体映像ディスプレイ装置。
【請求項１０】
上記輻輳角検出手段は、観察者の左眼の映像を得るための左眼用撮像手段と、観察者の右眼の映像を得るための右眼用撮像手段と、上記左眼の映像と右眼の映像との相関を求めるための相関手段とを含んで構成されたものであることを特徴とする請求項６に記載の立体映像ディスプレイ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、両眼視差を有する左眼用映像および右眼用映像によって、観察者に立体映像を呈示できる立体映像ディスプレイ装置に関し、特に立体映像を観察する際の観察者の違和感や疲労を低減するようした立体映像ディスプレイ装置の改良に関するものである。
【０００２】
【従来の技術】
視覚表示装置やシステムとして、立体視できるように映像を表示する立体ディスプレイ装置は、種々のものが提案されている。
図１８はこのような立体映像ディスプレイ装置の一例である頭部装置型表示装置（ＨＭＤ：Head Mounted Display）７００を示す外観図である。同図のＨＭＤ７００は二眼式立体ディスプレイの一種であり、観察者の左右眼球の前にそれぞれ左右の表示素子と左右の拡大光学系７０１がフレーム部材７０２に支持されて配置されている。左眼用映像左目に、右眼用映像は右目に提示することで立体視できる。又、頭部頂上には支持アーム７０３を介して頭の動きを検出するヘッドモーションセンサ７０４が取り付けられ、頭部の動きに対応した映像を表示できるように構成されている。情報処理装置７２０はケーブル７２２を介して支持部７０５に支持された接続部７０６に接続されており、耳元には音響を出力するためのスピーカ７０９が設けられている。情報処理装置７２０には操作釦７２０ａが設けられ、使用者が種々の操作を行なうことができる。
上記のようなＨＭＤをその一例とする立体映像ディスプレイ装置では、視距離と輻輳距離が一致しない為に不自然な見え方になってしまうという問題がある。
【０００３】
図１９は立体映像ディスプレイ装置における左眼用映像および右眼用映像による立体映像の見え方を説明する図である。同図で、左右の眼に呈示する立体映像の例として、球と三角錐の２つの物体があり、球が近づいてくる映像を考える。このときの左眼用映像および右眼用映像は図１９の（ａ）から（ｂ）へ遷移し、更に（ｃ）に示すように遷移する。即ち図示のとおり球は段々大きくなりながら中央に寄ってくる。つまり、両眼視差はだんだん大きくなっている。
【０００４】
図２０は図１９の映像を両眼で観察した時の見え方を示す図である。両眼視差が大きくなってくるので融像（または「融合」。観察者が複数の映像に基づいて一つの映像を知覚する状態に到るかまたはこの状態に到ろうとすること）するために観察者の眼球は内側に回転する。この回転を輻輳といい、回転角を図示した定義で輻輳角と呼ぶ。また、輻輳による眼球光軸の交差点と眼球までの距離を本明細書では輻輳距離と呼ぶことにする。ただし、ＨＭＤの場合は、この輻輳距離は左右像の主光線が交わる点と接眼光学系の主平面までの距離に等しい。このように眼球が輻輳すると、ピント調節作用も同時に誘発される。輻輳角が大きくなる方向に変化すると、ピント調節は近方に変化しようとし、逆に輻輳角が小さくなる方向に変化すると、ピント調節は遠方に変化しようとする。しかし、立体映像ディスプレイ装置の場合は、映像を最もコントラスト良く見ることのできる面（本明細書では、この面から眼球までの距離を視距離と呼ぶ）は固定である。従って、ここで矛盾が生じることになる。この現象はＨＭＤのみならずシャッター切り替え方式やレンチキュラー方式等の各種立体ＴＶに共通して生じる。これら方式の立体ＴＶの視距離はＣＲＴ等の表示装置の表示面から観察者の眼球までの距離となる。
【０００５】
このように立体映像観察時に視距離と輻輳距離が一致しない状態で輻輳距離の変化が大きな映像を見ると不自然な見え方になってしまうという問題が起こる。この問題を回避するために飛び出し量の変化が小さな映像を作る方法があるが、そうすると立体映像としてのインパクトが弱くなってしまう。
そこで、特公平6-85590号公報記載のものでは、この問題を解決するためにＨＭＤでの観察時において接眼レンズを機械的に駆動することで視距離を映像の動き等に合わせて変化させている。また、特開平3-292093号公報には観察者の注視点を検出して注視点での奥行き情報からレンズを動かして視度を変える方法が示されている。これらの方法では、視度と輻輳角を一致させることができる。
また、特開平7-167633号公報には、画像の両眼視差から観察者が最も広い範囲で被写体の奥行き世界を知覚可能である最適注視点を計算し、これが立体画像表示部の表面もしくは表面から指定された距離に再現するように制御する方法が示されている。具体的な手段としては、左右画像から相関マッチング法を用いて視差地図を計算し、その後、画像全体の視差の平均値または画像中央に重みをかけた加重平均値を算出する。そして、視差制御部により、この視差の平均値を用いて左右画像の水平読み出しタイミングを制御し、画像を水平方向に平行移動する。この方法は機械的駆動系を要しないため大型化を防ぐことができる。
【０００６】
図２１は本発明者が既に提案した立体映像ディスプレイ装置における左眼用および右眼用映像の表示状態を示す図である（特願平8-28856 号）。図１９の場合と同様に球と三角錐の２つの物体（オブジェクト）があり、球が近づいてくる映像を想定している。このときの左眼用映像および右眼用映像は図２１の（ａ）から（ｂ）へ遷移し、更に（ｃ）に示すように遷移する。即ち図示のとおり上記提案に係る装置では、オブジェクトである球の遠近方向の動きにかかわらず視差がほぼ一定の左右映像を表示するようにしている。
【０００７】
図２２は図２１の映像をＨＭＤで観察した場合の両眼での見え方を示す図である。図示のとおり、球が近づいても球の像は大きくなるが、球に対する輻輳距離Ｌは変化しない。一方、三角錐は大きさは変化しないものの遠距離に動く。つまり、三角錐と球との距離差は従来と同様に大きくなる。しかし球に対する輻輳距離Ｌはほぼ一定である。
これは、人間の眼は相対的距離の変化には敏感であるが絶対的距離の検出にはそれほど敏感でないことを利用している。発明者が行った実験によれば、両眼視差が変化する対象物一つだけの映像（バックは黒）の立体映像を見ても距離が変化しているようには見えないことがわかった。しかし、異なった動きをするものを同時に見せると立体感がでてくる。つまり、ある物体とある物体との距離変化は認識するが、単一の物体の距離変化はわかりにくいということである。上記提案では、球と三角錐との距離差は従来どおり変化し、かつ球の大きさが変わり、三角錐は変化しないことにより、観察者には、あたかも球が近づき、三角錐は位置を変えていないように見える。よって、球に対する輻輳距離をほぼ一定に保ちながら、立体感のある映像を提示することができる。このとき、図２２における球の輻輳距離Ｌを視距離と一致させるといっそう良い。又、観察者が球を注視しているのか三角錐を注視しているのかを視線検出器で判断し、注視している像の輻輳距離をほぼ一定とすればさらに良い。
【０００８】
図２３は実際に左右の表示面上に表示する立体画像の融像の状況を説明するための図である。立体映像観察時の両眼視差と輻輳距離Ｌとの関係を求める。図中、融像できたとき、輻輳距離Ｌ、水平位置−Ｈ上に球が存在するよう見えるときの左表示面上の球の水平位置Ｘ１と右表示面上の球の水平位置Ｘ２は、それぞれ（数１）、（数２）で表される。
【０００９】
【数１】
0003771964.tif 000002
【数２】
0003771964.tif 000003
【００１０】
上式で、ｄは左の右レンズ間の中点から左右それぞれのレンズまでの距離である（右眼は正、左眼は負の値となる）。θはレンズの半画角である。ここで、水平位置Ｘ１と水平位置Ｘ２は、次に示すようにして規格化したものである。
【００１１】
図２４は図２３における水平位置Ｘ１と水平位置Ｘ２とを規格化する様子を説明するための図である。図２４のように、表示領域の水平中心値を０とし、表示領域の水平長さを２として規格化している。（数１）は、図２３における点Ａ、点Ｂ、点Ｃによって作られる三角形と左表示面での原点０と点Ｘ１と点Ｃによって作られる三角形とが相似であることから導くことが出来る。（数２）も同様に、点Ｄ、点Ｂ、点Ｅによって作られる三角形と右表示面での原点０と原点Ｘ２と点Ｅによって作られる三角形とが相似であることから導くことが出来る。
上式（数１）、（数２）は書き換えると次式（数３）となる。
【００１２】
【数３】
0003771964.tif 000004
（数３）で、左辺の｜ｘ1−ｘ2｜が視差である１。（数３）は、水平位置Ｈに依らず、視差が決定すると融像時の輻輳距離Ｌも決まることを表している。
【００１３】
次に、輻輳距離Ｌの変化量の許容値、すなわち視差量の変化の許容値を示す。図２５は輻輳と調節（眼の焦点調節の状態如何）との対応関係を示す図である。同図には輻輳−調節と視差量の変化の許容範囲が示されている（文献名「オー  プラス  イー」（ 0 Plus E ）1985年12月 PP.103 生理光学15）。この図の横軸は輻輳（輻輳角：ＭＷ）で縦軸は調節（視度）（Ｄ：ディオプター）を示す。この図から分かるように輻輳が４ディオプター内の変化量であれば短時間提示で輻輳できる。
【００１４】
【発明が解決しようとする課題】
以上の各従来技術や本発明者による既提案の方式のものでは、観察者のその時点での眼の調節（ピント合わせの状態）や輻輳がどのような状態にあるかに直接依拠して左眼用映像および右眼用映像による両眼視差を調節するものではないため、観察者の受ける違和感や疲労を低減するために十全な設計を行なうことが比較的難しくなる虞れがある。
また、特開平7-167633号公報に記載の方式のように画像の両眼視差から観察者が最も広い範囲で被写体の奥行き世界を知覚可能である最適注視点を算出しこれが立体画像表示部の表面もしくは表面から指定された距離に再現するように制御すべく、左右画像から相関マッチング法を用いて視差地図を算出し、左右画像信号とこの視差地図信号を伝送するような構成では、複数個のフレームメモリが必要なためコストが高くなるという課題や、左右画像信号と視差地図信号を伝送するために伝送容量が多くなるなどの課題が生じる。
【００１５】
本発明は、従来のこのような課題を考慮し、観察時点での眼の現実の調節や輻輳がどのような状態にあるかが十分に反映された両眼視差の制御が行われ得るようにしたこの種の立体映像ディスプレイ装置を提供することを目的とするものである
【００１６】
【課題を解決するための手段および作用】
上記課題を解決するため、一つの本願発明は：
両眼視差を有する左眼用映像および右眼用映像を夫々所定の表示領域に表示することが可能になされた表示手段と、
観察者の眼球のピント調節状態を検出するための眼球調節検出手段と、
上記眼球調節検出手段により検出された眼球の調節に応じて上記両眼視差を実効的に変化させるように制御する両眼視差制御手段と、
を備えてなることを特徴とする立体映像ディスプレイ装置である。……（１）
【００１７】
また、他の一つの本願発明は：
上記両眼視差制御手段は上記左眼用映像および右眼用映像を夫々所定の表示領域内での水平表示位置を変化させることにより両眼視差を実効的に変化させるように制御するものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置である。……（２）
【００１８】
また、更に他の一つの本願発明は：
上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値とを比較し、該検出した値が目標調節値より近点であれば、上記両眼視差を小さくするように制御し、検出した調節値が目標調節値より遠点であれば、上記両眼視差を大きくするように制御するものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置である。……（３）
【００１９】
また、更に他の一つの本願発明は：
上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果と、該比較結果に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量と、の対応関係を表わすデータを保持する所要変化量データ保持手段に保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置である。……（４）
【００２０】
また、更に他の一つの本願発明は：
上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置である。……（５）
【００２１】
また、更に他の一つの本願発明は：
両眼視差を有する左眼用映像および右眼用映像を夫々所定の表示領域に表示することが可能になされた表示手段と、
観察者の眼球の輻輳角を検出する眼球輻輳角検出手段と、
上記表示手段に映出される映像に係る目標輻輳角を設定するための目標輻輳角設定手段と、
上記目標輻輳角設定手段により設定された目標輻輳角に対する上記眼球輻輳角検出手段により検出された眼球輻輳角の偏差の値に応じて、上記表示手段の各所定の表示領域上での水平方向に関する左眼用映像の表示位置と右眼用映像の水平表示位置とをこれら両表示位置の移動量の絶対値が等しくその方向が逆方向となるように移動制御する水平表示位置制御手段と、
を備えてなることを特徴とする立体映像ディスプレイ装置である。……（６）
【００２２】
また、更に他の一つの本願発明は：
上記水平表示位置制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果と、該比較結果に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量と、の対応関係を表わすデータを保持する所要変化量データ保持手段に保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置である。……（７）
【００２３】
また、更に他の一つの本願発明は：
上記水平表示位置制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置である。……（８）
【００２５】
また、更に他の一つの本願発明は：
上記目標輻輳角設定手段は、観察者から所定距離に設定された標準立体映像についての当該観察者の眼球輻輳角の実測値を当該目標輻輳角を表わすデータとして保持したデータ保持手段を有してなるものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置である。……（９）
また、更に他の一つの本願発明は：
上記輻輳角検出手段は、観察者の左眼の映像を得るための左眼用撮像手段と、観察者の右眼の映像を得るための右眼用撮像手段と、上記左眼用映像と右眼用映像との相関を求めるための相関手段とを含んで構成されたものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置である。……（１０）
【００３２】
上記本願発明によれば、観察時点での眼の現実の調節や輻輳がどのような状態にあるかが十分に反映された両眼視差の制御が行われ得るこの種の立体映像ディスプレイ装置を実現することが出来る。
【００３３】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
図１は本発明の一実施の形態としての立体映像ディスプレイ装置のブロック図である。右眼１０Ｒおよび左眼１０Ｌに各対応して右眼用映像表示面を有する右眼用ＬＣＤ１１Ｒおよび左眼用映像表示面を有する左眼用ＬＣＤ１１Ｌが設けられ、これら各ＬＣＤ１１Ｒおよび１１Ｌの表示面の映像が右眼用接眼光学系１２Ｒおよび左眼用接眼光学系１２Ｌによる像として右眼１０Ｒおよび左眼１０Ｌを通して観察者に認識されるようになされている。右眼用ＬＣＤ１１Ｒには立体映像信号を再生し出力するための映像再生装置３１からの右眼用映像信号が映像シフト回路３２Ｒおよび右眼用ＬＣＤドライバー回路３３Ｒを通して供給されて右眼用映像が同ＬＣＤ１１Ｒに映出されるようになされている。同様に、左眼用ＬＣＤ１１Ｌには上記映像再生装置３１からの左眼用映像信号が映像シフト回路３２Ｌおよび左眼用ＬＣＤドライバー回路３３Ｌを通して供給されて左眼用映像が同ＬＣＤ１１Ｌに映出されるようになされている。
【００３４】
右眼１０Ｒおよび左眼１０Ｌのいずれか（この場合は左眼１０Ｌ）に対応して、眼球に向けて赤外線等を投射する光源１５と、この光源１５からの投射光の反射光をレンズ１６を通して受光する光電変換素子１７等を含んでなり、当該眼の調節を検出するための眼球調節検出器１８が設けられている。眼球調節検出器１８により検出された眼の調節値を表わす信号はシフト量計算回路３４に供給される。シフト量計算回路３４は眼の調節値に応じた左眼用映像および右眼用映像の水平方向の所要のシフト量を算出し、所要シフト量を表わす各信号を映像シフト回路３２Ｒおよび３２Ｌにそれぞれ供給する。映像シフト回路３２Ｒおよび３２Ｌはこの所要シフト量を表わす各信号に基づいて映像再生装置３１からの右眼用映像信号および左眼用映像信号に対しこれらによる右眼用ＬＣＤ１１Ｒおよび左眼用ＬＣＤ１１Ｌ上での各映像を上記所要のシフト量だけ水平方向にシフトせしめ、右眼用映像および左眼用映像に係る両眼視差が適切となるような信号処理を実行する。
尚、映像シフト回路３２Ｒおよび３２Ｌ，シフト量計算回路３４はディジタル回路として一体のまたは個々のデータ処理装置乃至回路として構成してもよく、更に映像再生装置３１や右眼用ＬＣＤドライバー回路３３Ｒおよび左眼用ＬＣＤドライバー回路３３Ｌの全部または一部もディジタル回路として上記データ処理装置乃至回路に含むように構成してもよい。
また、上述においては、右眼用映像および左眼用映像の各表示面内で注目映像パターンの水平表示位置が（背景と共に）シフトするように構成したが、これに替えて、右眼用映像および左眼用映像の各表示面（表示デバイスである右眼用ＬＣＤ１１Ｒおよび左眼用ＬＣＤ１１Ｌ）ごとシフトするようにして、結果的にこれら表示面により映出さている注目映像パターンの水平表示位置が（背景と共に）シフトするように構成してもよい。
【００３５】
図２は図１の装置の眼球調節検出器１８回りの光学系および回路の一例についてその詳細を示す模式図である。図１の左眼用ＬＣＤ１１Ｌは図２のとおりバックライト１１ＬａとＬＣＤ１１Ｌｂとを含んで成る。左眼用接眼光学系１２Ｌは自己の底部内面の凹面ミラー１２Ｌａと内部中央に略々対角線状に設けられたハーフミラー１２Ｌｂとを有するプリズムで成る。眼球調節検出器１８の光源１５は所定間隔の平行光線（赤外線）を投射する各赤外線投射用ＬＥＤ１５ａおよび１５ｂを含んで成り、これら各赤外線投射用ＬＥＤ１５ａおよび１５ｂからの投射光は上記プリズム（左眼用接眼光学系）１２Ｌのハーフミラー１２Ｌｂで反射されて左眼１０Ｌに平行に投射され、その反射光がハーフミラー１２Ｌｂを透過してレンズ１６を通して光電変換素子１７の一対の光電変換面１７ａおよび１７ｂに入射する。光電変換面１７ａおよび１７ｂによる光電変換出力の差分が差動増幅器１８ａで増幅されて、眼球の当該調節（眼のピント調節状態）を表わす信号としてシフト量計算回路３４に供給される。上記バックライト１１ＬａとＬＣＤ１１Ｌｂとを含んで成る左眼用ＬＣＤ１１Ｌによる映像は、ハーフミラー１２Ｌｂを一旦透過した後凹面ミラー１２Ｌａで反射されハーフミラー１２Ｌｂの下面で反射して左眼１０Ｌに入射する。
尚、本願発明では眼球調節検出器自体は公知のものを適用するを可とする。
【００３６】
図３は図１の装置の眼球調節検出器１８回りの光学系および回路の他の例についてその詳細を示す模式図である。図３において既述の図２との対応部には同一の符号を附してそれら各部の詳細な説明は省略する。この図３のものではプリズム（左眼用接眼光学系）１２Ｌの凹面ミラー１２Ｌａおよびハーフミラー１２Ｌｂは図示のとおり共に非球面の独特な形状のものとなされ、プリズム全体として薄型化（即ち軽量化）および高倍率化が図られている。
【００３７】
図４は図１の装置の動作の一例を説明するためのフローチャートである。以下にこのフローチャートを用いて図１の装置の動作を説明する。先ず映像観察前に眼球調節に係る初期値Ａ0 を設定する（ステップＳ１）。次に、映像表示とともに眼球調節検出器で眼球の調節を検出しこの調節Ａt を認識する（ステップＳ２）。更にこの調節Ａt を先の初期値Ａ0 と比較する（ステップＳ３）。ステップＳ３での比較の結果、調節Ａt が初期値Ａ0 より近点に対応するものであるときには左眼用映像を水平方向左向きに、右眼用映像を水平方向右向きに所定量シフトさせるように（即ち、両眼視差を小さくするように）制御動作を行なう（ステップＳ４）。また、ステップＳ３での比較の結果、調節Ａt が初期値Ａ0 より遠点に対応するものであるときには左眼用映像を水平方向右向きに、右眼用映像を水平方向左向きに所定量シフトさせるように（即ち、両眼視差を大きくするように）制御動作を行なう（ステップＳ５）。このステップＳ２〜Ｓ５までを映像観察中繰り返して行う。ステップＳ３での比較およびステップＳ４およびＳ５での制御は図１について既述のシフト量計算回路３４および各映像シフト回路３２Ｒおよび３２Ｌ等を以てなる両眼視差制御手段によって実行される。尚、調節Ａt が初期値Ａ0 と等しいときにはステップＳ２に戻る。以上を要約すると、上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものである。結果として、本実施例では観察者の調節値の変化量が少ない立体映像を提示することができる。
【００３８】
図５は図１の装置の動作の他の例を説明するためのフローチャートである。この図５の動作では、先ず映像観察前に眼球調節に係る初期値Ａ0 を設定し（ステップＳ１）、次いで、映像表示とともに眼球調節検出器で眼球の調節を検出してこの調節Ａt を認識し（ステップＳ２）、更に、この調節Ａt と初期値Ａ0 との差分値（Ａt −Ａ0 ）を求める（ステップＳ３）。この図５の動作モードでの動作を行なう実施の形態では、このようにして求められる種々の差分値（Ａt −Ａ0 ）に対応した左眼用映像と右眼用映像に係る所要のシフト量（即ち、これらの映像に係る両眼視差に対する所要の変化量）がテーブルデータとして備えられる。ステップＳ３に次ぐステップでは、このテーブルデータに基づいて上記求められた当該差分値（Ａt −Ａ0 ）としての特定値（ｘ0 〜ｘn のいずれか）に相応する所要のシフト量（y 0 〜y n のいずれか）を認識し、該当する所要シフト量だけ左眼用映像と右眼用映像とが逆向きにシフトされる（即ち、これらの映像に係る両眼視差が変化させられる）。このステップＳ２〜Ｓ４までを映像観察前に繰り返して行う。
ステップＳ３での差分値（Ａt −Ａ0 ）を求める処理およびステップＳ４での制御は図１について既述のシフト量計算回路３４および各映像シフト回路３２Ｒおよび３２Ｌ等を以てなる水平表示位置制御手段（両眼視差制御手段）によって実行される。
【００３９】
図５の動作について要約すると、上記水平表示位置制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果（Ａt −Ａ0 ）と、該比較結果に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量（シフト量）との種々の対応関係（ｘ0 〜ｘn ：y 0 〜y n ）を表わすデータを保持する所要変化量データ保持手段としてのテーブルに保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものである。
尚、このテーブルデータを保持するための「所要変化量データ保持手段」は水平表示位置制御手段自体に内蔵されるＲＯＭであってもよいが、発明思想としてはこれに限定されず、例えば、該水平表示位置制御手段が読み取り得る形式でデータを保持乃至記憶しているメモリカードのような当該装置に着脱自在なデバイスであってもよい。
【００４０】
図６は本願発明の他の実施の形態としての立体映像ディスプレイ装置のブロック図である。右眼１０Ｒおよび左眼１０Ｌに各対応して右眼用映像表示面を有する右眼用ＬＣＤ１１Ｒおよび左眼用映像表示面を有する左眼用ＬＣＤ１１Ｌが設けられ、これら各ＬＣＤ１１Ｒおよび１１Ｌの表示面の映像が右眼用接眼光学系１２Ｒおよび左眼用接眼光学系１２Ｌによる像として右眼１０Ｒおよび左眼１０Ｌを通して観察者に認識されるようになされている。右眼用ＬＣＤ１１Ｒには立体映像信号を再生し出力するための映像再生装置３１からの右眼用映像信号が映像シフト回路３２Ｒおよび右眼用ＬＣＤドライバー回路３３Ｒを通して供給されて右眼用映像が同ＬＣＤ１１Ｒに映出されるようになされている。同様に、左眼用ＬＣＤ１１Ｌには上記映像再生装置３１からの左眼用映像信号が映像シフト回路３２Ｌおよび左眼用ＬＣＤドライバー回路３３Ｌを通して供給されて左眼用映像が同ＬＣＤ１１Ｌに映出されるようになされている。
【００４１】
右眼１０Ｒに対応して、眼球表面に向けて赤外線等を投射する光源１５Ｒと、この光源１５Ｒからの投射光の反射光をレンズ１６Ｒを通して受光する光電変換素子１７Ｒ等を含んでなり、当該両眼の輻輳角を検出するための右眼用輻輳角検出部１８Ｒが設けられている。この右眼用輻輳角検出部１８Ｒと対称に左眼１０Ｌに対応して、眼球表面に向けて赤外線等を投射する光源１５Ｌと、この光源１５Ｌからの投射光の反射光をレンズ１６Ｌを通して受光する光電変換素子１７Ｌ等を含んでなり、当該両眼の輻輳角を検出するための左眼用輻輳角検出部１８Ｌが設けられている。上記右眼用輻輳角検出部１８Ｒおよび左眼用輻輳角検出部１８Ｌを含んで成る眼球輻輳角検出器１８′により検出されたそれら自体は当該左眼および右眼に係る視線方向を表わす各検出値は両検出値を相互に比較する相関計算回路３５に入力される。この相関計算回路３５で上記両検出値の関係を表わす値が算出され、この算出値が次段の輻輳角換算回路３６に供給される。輻輳角換算回路３６は、相関計算回路３５で算出された両眼に係る各視線方向を表わす値の相関の程度に応じた値を輻輳角に換算し、該輻輳角を表わす出力を次段の比較回路３７の一方の入力端に供給する。比較回路３７の他方の入力端には初期輻輳角メモリ３８に保持された初期輻輳角のデータが供給される。比較回路３７は両入力端から供給される上記輻輳角を表わす値と初期輻輳角の値との比較値をシフト量計算回路３４に入力する。シフト量計算回路３４は両眼の輻輳角に応じた左眼用映像および右眼用映像の水平方向の所要のシフト量を算出し、所要シフト量を表わす各信号を映像シフト回路３２Ｒおよび３２Ｌにそれぞれ供給する。映像シフト回路３２Ｒおよび３２Ｌはこの所要シフト量を表わす各信号に基づいて映像再生装置３１からの右眼用映像信号および左眼用映像信号に対しこれらによる右眼用ＬＣＤ１１Ｒおよび左眼用ＬＣＤ１１Ｌ上での各映像を上記所要のシフト量だけ水平方向にシフトせしめ、右眼用映像および左眼用映像に係る両眼視差が適切となるような信号処理を実行する。
尚、映像シフト回路３２Ｒおよび３２Ｌ，シフト量計算回路３４，相関計算回路３５，輻輳角換算回路３６，比較回路３７はディジタル回路として一体のまたは個々のデータ処理装置乃至回路として構成してもよく、更に映像再生装置３１や右眼用ＬＣＤドライバー回路３３Ｒおよび左眼用ＬＣＤドライバー回路３３Ｌの全部または一部もディジタル回路として上記データ処理装置乃至回路に含むように構成してもよい。
【００４２】
図７は図６の装置の眼球輻輳角検出器１８′回りの光学系についてその詳細を示す斜視図である。先ず右眼用の検出系統について説明する。右眼用接眼光学系１２Ｒは自己の底部内面に凹面ミラーと内部中央に略々対角線状に設けられたハーフミラーとを有するプリズムで成る。右眼１０Ｒに対応して、眼球表面に向けて赤外線等を投射する光源１５Ｒは所定角度をなす２本の光線（赤外線）を投射する一対の赤外線投射用ＬＥＤ１５Ｒａおよび１５Ｒｂを含んで成り、これら各赤外線投射用ＬＥＤ１５Ｒａおよび１５Ｒｂからの投射光は上記プリズム１２Ｒのハーフミラーを透過して右眼１０Ｌに向けて相互に所定角度をなすようにして投射され、眼によるそれらの反射光がプリズム１２Ｒを透過し、レンズ１６Ｒを通して光電変換素子（エリアセンサー）１７Ｒの光電変換面に結像される。
左眼用の検出系統については上述した右眼用の検出系統と左右対称をなすように構成されており、右眼用の検出系統についての説明で用いた符号中の「Ｒ」をそれぞれ「Ｌ」と読み替えて図面を参酌することにより理解される。
【００４３】
図８は図７に示された光学系を持つ眼球輻輳角検出器１８′（図６）による輻輳角検出の原理を説明する模式図である。先ず右眼用の検出系統では、図７について既述の一対の赤外線投射用ＬＥＤ１５Ｒａおよび１５Ｒｂによる２本の投射光の角膜面反射光が右眼用エリアセンサー上で結像する。この像はプルキンエ像と称されるものであり、このプルキンエ像と瞳孔像とを右眼用エリアセンサー１７Ｒで検出する。左眼用の検出系統でも同様にして、プルキンエ像と瞳孔像を左眼用エリアセンサー１７Ｌで検出する。これら両眼の像は既述の相関計算回路３５に入力される。相関計算回路３５では前段の相関計算部３５ａで両眼像間の相関演算を行う。結果として図８（ｂ）のように両眼像のうち瞳孔像の相関値が高いピークと両眼像のうちプルキンエ像の相関値が高いピークがあらわれる。この演算結果に基づいて後段のピーク間隔検出部３５ｂではプルキンエ像の相関ピークと瞳孔像の相関ピークとの間隔に相応するデータを算出し、このデータを次段の輻輳角換算回路３６に供給する。輻輳角換算回路３６は、相関計算回路３５で算出された上記データに応じた値を輻輳角に換算する。
【００４４】
図９は図６の装置の動作の一例を説明するためのフローチャートである。以下にこのフローチャートを用いて図６の装置の動作を説明する。先ず映像観察前に輻輳角に係る初期値Ｃ0 を設定する（ステップＳ１）。次に映像表示とともに輻輳角検出器で眼球の輻輳角を検出しこの輻輳角Ｃt を認識する（ステップＳ２）。更にこの輻輳角Ｃt を先の初期値Ｃ0 と比較する（ステップＳ３）。ステップＳ３での比較の結果、輻輳角Ｃt が初期値Ｃ0 より近点に対応するものであるとき（Ｃt ＞Ｃ0 ）には左眼用映像を水平方向左向きに、右眼用映像を水平方向右向きに所定量シフトさせるように（即ち、両眼視差を小さくするように）制御動作を行なう（ステップＳ４）。また、ステップＳ３での比較の結果、輻輳角Ｃt が初期値Ｃ0 より遠点に対応するものであるとき（Ｃt ＜Ｃ0 ）には左眼用映像を水平方向右向きに、右眼用映像を水平方向左向きに所定量シフトさせるように（即ち、両眼視差を大きくするように）制御動作を行なう（ステップＳ５）。このステップＳ２〜Ｓ５を映像観察前に繰り返して行う。ステップＳ３での比較およびステップＳ４およびＳ５での制御は図６について既述の映像シフト回路３２Ｒおよび３２Ｌ，シフト量計算回路３４，相関計算回路３５，輻輳角換算回路３６，比較回路３７等を以てなる両眼視差制御手段によって実行される。尚、調節輻輳角Ｃt が初期値Ｃ0 と等しいときにはステップＳ２に戻る。以上を要約すると、上記両眼視差制御手段は、所定の目標輻輳角と上記輻輳角節検出手段により検出した眼球の輻輳角を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものである。
ここで、右眼用の映像シフト量と左眼用の映像シフト量は同一量で逆方向にシフトする。もし、左右のシフト量が同一ではないと、左右眼で融像した時の像の水平位置がシフト前とシフト後で変化してしまう。よって、観察者の輻輳角が変化するたびに像は左右にちらちら変化してしまい見づらくなる。この問題を解決する為に左右のシフト量を略同一にする。
【００４５】
図１０は図６の装置の動作の他の例を説明するためのフローチャートである。この図１０の動作では、先ず映像観察前に輻輳角に係る初期値Ｃ0 を設定し（ステップＳ１）、次いで、映像表示とともに輻輳角検出器で眼球の輻輳角を検出してこの輻輳角Ｃt を認識し（ステップＳ２）、更に、この輻輳角Ｃt と初期値Ｃ0 との差分値（Ｃt −Ｃ0 ）を導出する（ステップＳ３）。この図１０の動作モードでの動作を行なう実施の形態では、このようにして求められる種々の差分値（Ｃt −Ｃ0 ）に対応した左眼用映像と右眼用映像に係る所要のシフト量（即ち、これらの映像に係る両眼視差に対する所要の変化量）がテーブルデータとして備えられる。ステップＳ３に次ぐステップでは、このテーブルデータに基づいて上記求められた当該差分値（Ｃt −Ｃ0 ）としての特定値（ｘ0 〜ｘn のいずれか）に相応する所要のシフト量（y 0 〜y n のいずれか）を認識し、該当する所要シフト量だけ左眼用映像と右眼用映像とが逆向きにシフトされる（即ち、これらの映像に係る両眼視差が変化させられる）。このステップＳ２〜Ｓ４を映像観察前に繰り返して行う。
ステップＳ３での差分値（Ｃt −Ｃ0 ）を求める処理およびステップＳ４での制御は図６について既述のシフト量計算回路３４，相関計算回路３５，輻輳角換算回路３６，比較回路３７および各映像シフト回路３２Ｒおよび３２Ｌ等を以てなる水平表示位置制御手段（両眼視差制御手段）によって実行される。
【００４６】
図１０の動作について要約すると、上記水平表示位置制御手段は、所定の目標輻輳角Ｃ0 と上記輻輳角検出手段により検出した眼球の輻輳角を表わす値Ｃt との比較結果（Ｃt −Ｃ0 ）と、該比較結果（Ｃt −Ｃ0 ）に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量と、の種々の対応関係（ｘ0 〜ｘn ：y 0 〜y n ）を表わすデータを保持する所要変化量データ保持手段に保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものである。尚、この「所要変化量データ保持手段」は水平表示位置制御手段自体に内蔵されるＲＯＭであってもよいが、発明思想としてはこれに限定されず、例えば、該水平表示位置制御手段が読み取り得る形式でデータを保持乃至記憶しているメモリカードのような当該装置に着脱自在なデバイスであってもよい。
【００４７】
図１１は図９および図１０での輻輳角に係る初期値Ｃ0 を設定するための処理を説明するためのフローチャートである。先ず初期設定用の標準パターンとしての右眼用映像と左眼用映像とを所定の記憶部に記憶しておく（ステップＳ１）。次にこの記憶された標準パターンを記憶部から読み出して右眼用ＬＣＤ１１Ｒおよび左眼用ＬＣＤ１１Ｌ（図１，図６）上に表示する（ステップＳ２）。観察者がこのようにして表示さた標準パターンとしての映像を見ている状態で、上述した輻輳角検出器１８′で実測により当該輻輳角を検出する（ステップＳ３）。次にこの実測により検出された輻輳角Ｃ0 を所定の記憶手段に記憶せしめる（ステップＳ４）。この記憶された輻輳角Ｃ0 が図９および図１０のフローチャートにおけるステップＳ１で設定される輻輳角に係る初期値Ｃ0 である。
【００４８】
図１２は図９のフローチャートでのステップＳ４およびＳ５での両眼視差の補正動作を説明するための模式図である。図９について説明し、且つこの図１２に示すように、検出された輻輳角Ｃt が目標値Ｃ0 より近点に対応するものであるとき（Ｃt ＞Ｃ0 ）には左眼用映像を水平方向左向きに、右眼用映像を水平方向右向きにシフトさせるように（即ち、両眼視差を小さくするように）制御動作を行なう。また、検出された輻輳角Ｃt が目標値Ｃ0 より遠点に対応するものであるとき（Ｃt ＜Ｃ0 ）には左眼用映像を水平方向右向きに、右眼用映像を水平方向左向きにシフトさせるように（即ち、両眼視差を大きくするように）制御動作を行なう。結果として、本実施例では観察者の輻輳角の変化量が少ない立体映像を提示することができる。
【００４９】
図１３及び図１４は本願発明の更に他の実施の形態を示すブロック図である。図１３は、本願発明の実施の形態としての立体映像ディスプレイ装置の立体映像作成装置側のブロック図であり、図１４は、同、立体映像ディスプレイ装置の立体映像処理装置側のブロック図であり、その立体映像処理装置はＨＭＤとして構成されるを可とする。
図１３において、立体映像作成装置１００は、ステレオカメラ１０１，１０１とマイクロフォン１０２，１０２と視差分布信号生成器１０３と視差分布信号圧縮器１０４と左眼用映像信号圧縮器１０５と初段の合波器１０６と次段の合波器１０７と送信機１０８とを含んで構成されている。ステレオカメラ１０１からの左眼用映像信号１１１及び右眼用映像信号１１２が視差分布信号生成器１０３に供給され、ここでの信号処理により視差分布信号１１３が生成される。視差分布信号１１３は左眼用映像の画面中の各座標位置毎の視差の分布に対応した視差地図を表わすものである。
【００５０】
この視差分布信号生成器１０３からはこの視差分布信号１１３と元のままの左眼用映像信号１１１とが出力される。これら出力はそれぞれ対応する視差分布信号圧縮器１０４および左眼用映像信号圧縮器１０５で信号圧縮処理を受け圧縮視差分布信号１１４および圧縮左眼用映像信号１１５となる。これら信号１１４および１１５は初段の合波器１０６に供給され、ここで合波される。初段の合波器１０６のこの合波された出力とマイクロフォン１０２，１０２による右音声信号１１６および左音声信号１１７が次段の合波器１０７に供給され、ここで合波される。合波器１０７により合波された映像信号、視差分布信号、及び音声信号は送信機１０８により図１７の立体映像処理装置２００へ送信される。
【００５１】
図１４の立体映像処理装置２００において、図１３の立体映像作成装置１００の送信機１０８から伝送された合波された映像信号、視差分布信号、及び音声信号は受信機２０１で受信される。受信された信号は映像／音声分波器２０２で映像系の信号と音声信号とに分離され、映像系の信号は次段の映像／視差分布信号分波器２０３に供給される。一方音声信号は音声信号処理回路２０４に供給されここで音声を再生するための所定の音声信号処理を受ける。映像／視差分布信号分波器２０３では上記供給された映像系の信号を分波して圧縮視差分布信号２１４および圧縮左眼用映像信号２１５を再生し出力する。これらの再生出力２１４，２１５は各対応する視差分布信号伸張器２０５および左眼用映像信号伸張器２０６で信号伸張処理を受け視差分布信号２１３および左眼用映像信号２１１となる。
【００５２】
この視差分布信号２１３は図１３の信号１１３に相応するものであって、上述したように左眼用映像の画面に係る視差地図を表わすものである。視差分布信号２１３は左眼用映像の画面に係る視差地図のうち注視位置検出器２０７で検出された観察者の注視位置である特定の座標位置（乃至領域）の視差値を選択的に抽出するための視差信号選択器２０８に供給され、ここで抽出された特定の座標位置（乃至領域）の視差信号が視差差分導出回路２０９の一方の入力端に入力される。視差差分導出回路２０９の他方の入力端には所定の目標視差値を保持する目標視差記憶回路２１０から目標視差値を表わす信号が入力される。視差差分導出回路２０９ではこれら両入力である視差信号と目標視差値を表わす信号との差分値である偏差を表わす信号を生成する。一方、上記視差分布信号伸張器２０５の出力である視差分布信号２１３は視差分布信号増減回路２２０の被制御信号入力端に入力される。視差分布信号増減回路２２０の制御信号入力端には上述した視差差分導出回路２０８からの偏差を表わす信号が入力され、この偏差を表わす信号に応じて被制御信号入力端に入力された視差分布信号２１３について視差地図の全体のレベル値に対して同量の増減を行なうような調節処理が行われる。
【００５３】
視差分布信号増減回路２２０で上記の調節処理を受けた視差地図に相応する信号は右眼用映像生成回路２２１の一方の入力端に供給される。また、右眼用映像生成回路２２１の他方の入力端には上記左眼用映像信号伸張器２０６で信号伸張処理を受けた左眼用映像信号２１１が供給される。右眼用映像生成回路２２１はこれら両入力信号に基づいて当該目標視差との差分が調整された右眼用映像信号２１２を再構成して出力する。このようして再構成された右眼用映像信号２１２および上記左眼用映像信号伸張器２０６で信号伸張処理を受けた左眼用映像信号２１１は各対応する右眼用ＬＣＤドライバー回路３３Ｒ，左眼用ＬＣＤドライバー回路３３Ｌに入力され、これら右眼用および左眼用ＬＣＤドライバー回路３３Ｒ，３３Ｌによって適切な両眼視差をもった立体映像が再生される。
尚、図１３および図１４について上述した各部回路はディジタル回路および／またはマイクロコンピュータを含む演算処理手段の各該当機能部として実現できる。
また、上述の装置においては左眼用映像の系統と右眼用映像の系統とに関してそれらの役割が反転（交換）したような構成を採ることも可能である。結果として、本実施例では観察者の輻輳角の変化量が少ない立体映像を提示することができる。
【００５４】
図１５は図１３および図１４の各部により構成される本願発明の実施の形態の動作を説明するための模式図である。三角錘と球の右眼用映像及び左眼用映像に基づいて左眼用映像の画面に関する視差の位置的分布（視差地図）を示す視差分布信号が生成され、この視差分布信号（視差地図の信号）と左眼用映像信号とが既述のように圧縮処理されて立体映像作成装置１００側から立体映像処理装置２００側に伝送される。視差分布信号は例えば視差の大小に応じた映像信号レベルを持つ信号であり、図示の例では、視差の大きい球については高輝度、視差の小さい円錐については低輝度の映像となる。
圧縮視差分布信号と左眼用圧縮映像信号を伝送するときの伝送情報量は、圧縮処理された右眼用映像信号および左眼用映像信号をそれぞれ伝送する場合よりも格段に少なくできることが知られている。
【００５５】
立体映像処理装置２００側では、受信され伸張復元された視差分布信号Ｂと図１４について既述の目標視差値を表わす信号Ａとの差分値（偏差）Ａ−Ｂの信号が導出される。この差分値Ａ−Ｂにより、視差分布信号について視差地図中の全体の視差値のレベルに対して同量の増減を行なうような調節処理が行われる。例えば図示のように、画面内の略々中央の一水平ラインについての視差である、比較的低い山を示す三角錐の視差値と比較的高い山を示す球の視差値とを含むレベルが、この調節処理により、低レベルとなるように全体的に同量だけ調節されることにな。即ち、視差地図による視差が画面全体に亘って小さくなるように補正される。
【００５６】
上記左眼用圧縮映像信号が伸張処理されてなる左眼用映像信号とこの補正された視差地図による視差の値とに依拠して視差が補正された右眼用映像信号が再構成される。従って、この実施の形態によれば、両眼視差を補正するために再生映像の水平表示位置をシフトするような別段の手段を備えずに視差補正された映像が受信側の装置（本例では立体映像処理装置２００側）で得られ、簡素な構成で両眼視差を補正することができる。
【００５７】
図１６は図１３の立体映像作成装置１００と全く同様の立体映像作成装置とこれに対応した立体映像処理装置により構成される本発明の他の実施の形態を説明するためのブロック図であり、この図１６は特にその立体映像処理装置２００′を示すブロック図である。
図１６の装置は既述の図１４のものと多くの部分を共通にするものであるため、それら共通部分については同一の符号を附して示し、詳細な説明は省略する。図１６の装置において既述の図１４のものとの相違点は、図１４の視差差分導出回路２０９が右眼用映像に係る補正値を得るものであったのに対し、この視差差分導出回路２０９′では右眼用映像および左眼用映像に係る夫々の補正のための信号を生成して、右眼用の補正信号を視差分布信号増減回路２２０の制御信号入力端に入力する一方、左眼用の補正信号を左眼用映像信号伸張器２０６で信号伸張処理を受けた左眼用映像信号２１１による画像の水平表示位置をシフトするための水平方向シフト回路２２２に供給するように構成されている点である。上記視差差分導出回路２０９′による右眼用映像および左眼用映像に係る夫々の補正のための信号による補正（画像の水平表示位置のシフト）の効き加減はこの回路２０９′によって適切に案分される。例えば右眼用映像および左眼用映像に対して夫々１／２ずつの効き加減となるように案分される。
【００５８】
この図１６の装置を立体映像処理装置として構成される本発明の立体映像ディスプレイ装置によれば、右眼用映像と右眼用映像との双方に対して適切な補正が行われるため、補正後の映像によって立体視される映像の水平位置が不所望に変化してしまうことが回避される。
尚、図１６装置においても左眼用映像の系統と右眼用映像の系統とに関してそれらの役割が反転（交換）したような構成を採ることも可能である。
【００５９】
図１７は図１３および図１６の各部により構成される本願発明の実施の形態の動作を説明するための模式図である。三角錘と球の右眼用映像及び左眼用映像に基づいて左眼用映像の画面に関する視差の位置的分布（視差地図）を示す視差分布信号が生成され、この視差分布信号（視差地図の信号）と左眼用映像信号とが既述のように圧縮処理されて立体映像作成装置１００側から立体映像処理装置２００側に伝送される。視差分布信号は例えば視差の大小に応じた映像信号レベルを持つ信号であり、図１５の例と同様に、視差の大きい球については高輝度、視差の小さい円錐については低輝度の映像となる。
【００６０】
立体映像処理装置２００′側では、受信され伸張復元された視差分布信号Ｂと目標視差値を表わす信号Ａとの差分値（偏差）Ａ−Ｂの信号が導出される。この差分値Ａ−Ｂにより、視差分布信号について視差地図中の全体の視差値のレベルに対して、対応する右眼用映像と左眼用映像について案分した同量の増減を行なうような調節処理が行われる。例えば図示のように、画面内の略々中央の一水平ラインについての視差である、比較的低い山を示す三角錐の視差値と比較的高い山を示す球の視差値とを含むレベルが、この調節処理により、低レベルとなるように全体的に上記偏差の１／２の値だけ同量に調節されることにな。即ち、視差地図による視差が画面全体に亘って小さくなるように補正される。
【００６１】
上記左眼用圧縮映像信号が伸張処理されてなる左眼用映像信号とこの補正された視差地図による視差の値とに依拠して視差が補正された右眼用映像信号が再構成される。また一方、この実施の形態のものでは、左眼用映像について上記偏差の１／２の値だけ水平表示位置をシフトする補正がなされる。従って、この実施の形態によれば、両眼視差を補正するために再生映像の水平表示位置が不所望にシフトしてしまうようなことが回避される。
尚、上述した本願発明の種々の実施の形態においては、当該装置内において右眼用映像を得るためのデータ（または信号）と左眼用映像を得るためのデータ（または信号）とを得るように構成し、これらデータ（または信号）によって視認可能な表示を得るための表示手段自体は外部接続するように構成してもよい。
【００６２】
本願明細書に含まれる種々の局面で見た発明の構成ならびにそれらにより解決される課題、発明としての効果について以下にまとめて記す。
【００６３】
（１）  両眼視差を有する左眼用映像および右眼用映像を夫々所定の表示領域に表示することが可能になされた表示手段と、観察者の眼球のピント調節状態を検出するための眼球調節検出手段と、上記眼球調節検出手段により検出された眼球の調節に応じて上記両眼視差を実効的に変化させるように制御する両眼視差制御手段と、を備えてなることを特徴とする立体映像ディスプレイ装置。
【００６４】
上記（１）の発明以前の従来の技術では、画像の両眼視差から観察者が最も広い範囲で被写体の奥行き世界を知覚可能である最適注視点を計算し、これが立体画像表示部の表面もしくは表面から指定された距離に再現するように制御する方法があったが、この最適注視点の計算に時間が掛かり、速やかな視差調整を行なうことが困難であった。
上記（１）の発明は、簡単な構成で応答性に優れた立体映像ディスプレイ装置を提供しようとするものである。
【００６５】
上記（１）の発明によれば、観察者の眼球の調節を検出して、この検出値に両眼視差を合わせ込むものであるため、簡単な構成で応答性に優れた立体映像ディスプレイ装置を実現できる。
【００６６】
（２）上記両眼視差制御手段は上記左眼用映像および右眼用映像を夫々所定の表示領域内での水平表示位置を変化させることにより両眼視差を実効的に変化させるように制御するものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置。
【００６７】
上記（２）の発明によれば、上記（１）の発明による効果に加えて、特に、機械的駆動部持たない小型で軽量な装置が実現できる。
【００６８】
（３）上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値とを比較し、該検出した値が目標調節値より近点であれば、上記両眼視差を小さくするように制御し、検出した調節値が目標調節値より遠点であれば、上記両眼視差を大きくするように制御するものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置。
【００６９】
上記（３）の発明によれば、上記（１）の発明による効果に加えて、特に、両眼視差の調整の方法が具体的に提供される。
【００７０】
（４）上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果と、該比較結果に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量と、の種々の対応関係を表わすデータを保持する所要変化量データ保持手段に保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置。
【００７１】
上記（４）の発明によれば、上記（１）の発明による効果に加えて、特に、ＲＯＭ等でなる所要変化量データ保持手段に保持された該当データに依拠して適切な両眼視差調整動作が迅速に行われ得る。
【００７２】
（５）上記両眼視差制御手段は、所定の目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（１）に記載の立体映像ディスプレイ装置。
【００７３】
上記（５）の発明によれば、上記（１）の発明による効果に加えて、特に、目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果としての偏差零にすべくフィードバック制御などによる制御が行われるため状況の変化に追随した適切な両眼視差調整が行われ得る。
【００７４】
（６）両眼視差を有する左眼用映像および右眼用映像を夫々所定の表示領域に表示することが可能になされた表示手段と、
観察者の眼球の輻輳角を検出する眼球輻輳角検出手段と、
上記表示手段に映出される映像に係る目標輻輳角を設定するための目標輻輳角設定手段と、
上記目標輻輳角設定手段により設定された目標輻輳角に対する上記眼球輻輳角検出手段により検出された眼球輻輳角の偏差の値に応じて、上記表示手段の各所定の表示領域上での水平方向に関する左眼用映像の表示位置と右眼用映像の水平表示位置とをこれら両表示位置の移動量の絶対値が等しくその方向が逆方向となるように移動制御する水平表示位置制御手段と、
を備えてなることを特徴とする立体映像ディスプレイ装置。
【００７５】
上記（６）の発明によれば、両眼視差の調整動作において左眼用映像の表示位置と右眼用映像の水平表示位置とをこれら両表示位置の移動量の絶対値が等しくその方向が逆方向となるように移動制御されるため、立体視される目的映像の水平方向位置が不所望に変化してしまう虞れがない。
【００７６】
（７）上記水平表示位置制御手段は、所定の目標輻輳角と上記輻輳角検出手段により検出した眼球の輻輳角を表わす値との比較結果と、該比較結果に応じた上記表示手段により表示される左眼用映像の位置と右眼用映像の位置との水平方向の間隔の所要の実効的変化量と、の種々の対応関係を表わすデータを保持する所要変化量データ保持手段に保持された該当データに依拠して、上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置。
【００７７】
上記（７）の発明によれば、上記（６）の発明による効果に加えて、特に、ＲＯＭ等でなる所要変化量データ保持手段に保持された該当データに依拠して適切な両眼視差調整動作が迅速に行われ得る。
【００７８】
（８）上記水平表示位置制御手段は、所定の目標輻輳角と上記輻輳角検出手段により検出した眼球の輻輳角を表わす値との比較結果としての偏差を零にすべく上記両眼視差を実効的に変化させるように構成されたものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置。
【００７９】
上記（８）の発明によれば、上記（６）の発明による効果に加えて、特に、目標調節値と上記眼球調節検出手段により検出した眼球の調節を表わす値との比較結果としての偏差零にすべくフィードバック制御などによる制御が行われるため状況の変化に追随した適切な両眼視差調整が行われ得る。
【００８２】
（９）  上記目標輻輳角設定手段は、観察者から所定距離に設定された標準立体映像についての当該観察者の眼球輻輳角の実測値を当該目標輻輳角を表わすデータとして保持したデータ保持手段を有してなるものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置。
【００８３】
上記（９）の発明によれば、上記（６）の発明による効果に加えて、特に、観察者の現実の眼球輻輳角に適合した両眼視差調整が行われ得る。
【００８４】
（１０）  上記輻輳角検出手段は、観察者の左眼の映像を得るための左眼用撮像手段と、観察者の右眼の映像を得るための右眼用撮像手段と、上記左眼用映像と右眼用映像との相関を求めるための相関手段とを含んで構成されたものであることを特徴とする上記（６）に記載の立体映像ディスプレイ装置。
【００８５】
上記（１０）の発明によれば、上記（６）の発明による効果に加えて、特に、輻輳角検出手段を実現する具体的な方途が提供される。
【００９８】
【発明の効果】
観察時点での眼の現実の調節や輻輳がどのような状態にあるかが十分に反映された両眼視差の制御が行われ得るこの種の立体映像ディスプレイ装置を実現することが出来る。
【図面の簡単な説明】
【図１】本発明の一実施の形態としての立体映像ディスプレイ装置のブロック図である。
【図２】図１の装置の眼球調節検出器回りの光学系および回路の一例についてその詳細を示す模式図である。
【図３】図１の装置の眼球調節検出器回りの光学系および回路の他の例についてその詳細を示す模式図である。
【図４】図１の装置の動作の一例を説明するためのフローチャートである。
【図５】図１の装置の動作の他の例を説明するためのフローチャートである。
【図６】本願発明の他の実施の形態としての立体映像ディスプレイ装置のブロック図である。
【図７】図６の装置の眼球輻輳角検出器回りの光学系についてその詳細を示す斜視図である。
【図８】図７に示された光学系を持つ眼球輻輳角検出器による輻輳角検出の原理を説明する模式図である。
【図９】図６の装置の動作の一例を説明するためのフローチャートである。
【図１０】図６の装置の動作の他の例を説明するためのフローチャートである。
【図１１】図９および図１０での輻輳角に係る初期値を設定するための処理を説明するためのフローチャートである。
【図１２】図９のフローチャートでのステップＳ４およびＳ５での両眼視差の補正動作を説明するための模式図である。
【図１３】本願発明の実施の形態としての立体映像ディスプレイ装置の立体映像作成装置側のブロック図である。
【図１４】本願発明の実施の形態としての立体映像ディスプレイ装置の立体映像処理装置側のブロック図である。
【図１５】図１３および図１４の各部により構成される本願発明の実施の形態の動作を説明するための模式図である。
【図１６】図１３の立体映像作成装置と全く同様の立体映像作成装置とこれ対応した立体映像処理装置により構成される本発明の他の実施の形態を説明するためのブロック図である。
【図１７】図１３および図１６の各部により構成される本願発明の実施の形態の動作を説明するための模式図である。
【図１８】立体映像ディスプレイ装置の一例である頭部装置型表示装置（ＨＭＤ：Head Mounted Display）を示す外観図である。
【図１９】立体映像ディスプレイ装置における左眼用映像および右眼用映像による立体映像の見え方を説明する図である。
【図２０】図２９の映像を両眼で観察した時の見え方を示す図である。
【図２１】既に提案した立体映像ディスプレイ装置における左眼用および右眼用映像の表示状態を示す図である。
【図２２】図３１の映像をＨＭＤで観察した場合の両眼での見え方を示す図である。
【図２３】実際に左右の表示面上に表示する立体画像の融像の状況を説明するための図である。
【図２４】図３３における水平位置Ｘ１と水平位置Ｘ２とを規格化する様子を説明するための図である。
【図２５】輻輳と調節（眼の焦点調節の状態如何）との対応関係を示す図である。
【符号の説明】
１０Ｒ          右眼
１０Ｌ          左眼
１１Ｒ          右眼用ＬＣＤ
１１Ｌ          左眼用ＬＣＤ
１２Ｒ          右眼用接眼光学系
１２Ｌ          左眼用接眼光学系
１５            光源
１５ａ，１５ｂ  赤外線投射用ＬＥＤ
１６，１６′    レンズ
１７，１７′    光電変換素子
１７ａ，１７ｂ  光電変換面
１８            眼球調節検出器
１８ａ          差動増幅器
１８′          輻輳角検出器
３１            映像再生装置
３２Ｒ          右眼用映像信号
３２Ｌ          左眼用映像信号
３３Ｒ          右眼用ＬＣＤドライバー回路
３４            シフト量積算回路
３５            相関計算回路
３６            輻輳角換算回路
３７            比較回路
１００          立体映像作成装置
１０１          ステレオカメラ
１０２          マイクロフォン
１０３          視差分布信号生成器
１０４          視差分布信号圧縮器
１０５          左眼用映像信号圧縮器
１０６，１０７  合波器
１０８          送信機
１１１          左眼用映像信号
１１２          右眼用映像信号
１１３          視差分布信号
１１４          圧縮視差分布信号
１１５          圧縮左眼用映像信号
１１６          右音声信号
１１７          左音声信号
２００，２００′立体映像処理装置
２０１          受信機
２０２          映像／音声分波器
２０３          映像／視差分布信号分波器
２０４          音声信号処理回路
２０５          視差分布信号伸張器
２０６          左眼用映像信号伸張器
２０７          注視位置検出器
２０８          視差信号選択器
２０９，２０９′視差差分導出回路
２１０          目標視差記憶回路
２１１          左眼用映像信号
２１２          右眼用映像信号
２１３          視差分布信号
２１４          圧縮視差分布信号
２１５          圧縮左眼用映像信号
２２０          視差分布信号増減回路
２２１          右眼用映像生成回路
７００          頭部装置型表示装置（ＨＭＤ：Head Mounted Display）
【図１】
0003771964.tif 000005
【図２】
0003771964.tif 000006
【図３】
0003771964.tif 000007
【図４】
0003771964.tif 000008
【図５】
0003771964.tif 000009
【図６】
0003771964.tif 000010
【図７】
0003771964.tif 000011
【図８】
0003771964.tif 000012
【図９】
0003771964.tif 000013
【図１０】
0003771964.tif 000014
【図１１】
0003771964.tif 000015
【図１２】
0003771964.tif 000016
【図１３】
0003771964.tif 000017
【図１４】
0003771964.tif 000018
【図１５】
0003771964.tif 000019
【図１６】
0003771964.tif 000020
【図１７】
0003771964.tif 000021
【図１８】
0003771964.tif 000022
【図１９】
0003771964.tif 000023
【図２０】
0003771964.tif 000024
【図２１】
0003771964.tif 000025
【図２２】
0003771964.tif 000026
【図２３】
0003771964.tif 000027
【図２４】
0003771964.tif 000028
【図２５】
0003771964.tif 000029