(57)【特許請求の範囲】
【請求項１】
左右の独立した画像表示部に両眼視差のある画像を与えて立体視を行なう立体画像表示装置において、
入力した左右の画像をそれぞれ複数のエリアに分割し、これら分割した各エリア内の画像である各画像ブロックの特徴を示す複数種（ｎ種）の特徴ベクトルを前記左右の画像ブロックからそれぞれ別個に抽出する特徴ベクトル抽出部と、
観察者の視線の方向を検出する視線検出部と、
この視線検出部の検出結果により注視点が存在すると認定されるエリアにおける画像ブロックの特徴ベクトルを用いて左右の対応する当該エリア内の画像の違いを定数化し、当該定数値を前記観察者の目の位置に相当する点から当該エリアの画像を構成する物体までの物理的距離に換算し、当該換算値に対応した画素数分だけ前記左右の画像もしくはいずれか一方の画像を、左右の眼の輻輳と眼のピント位置とを略一致させるように左右方向にずらす処理を行なう画像補正部と、
この画像補正部により補正処理された左右画像出力を独立に表示する画像表示部と、
を備えたことを特徴とする立体画像表示装置。
【請求項２】
前記左右の画像ブロックの違いを定数化する手段は、前記視線検出部の検出結果により選択されたエリアの右側画像ブロックの特徴ベクトルをｆｒ、左側画像ブロックの特徴ベクトルをｆｈとしたとき、次式により類似度ｓを求めるものであることを特徴とする請求項１に記載の立体画像表示装置。
類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）
ただし、
ｆｒ・ｆｈ：特徴ベクトル間の内積
‖ｆｒ‖：特徴ベクトルｆｒのノルム
‖ｆｒ‖及び‖ｆｈ‖：ｆｒ及びｆｈを夫々ｆｒ＝（ａ１，ａ２，…ａｎ）、ｆｈ＝（ｂ１，ｂ２，…，ｂｎ）としたとき、次式で定義されるもの
‖ｆｒ‖＝（ａ１2 ＋ａ２2 ＋…＋ａｎ2 ）1/2
‖ｆｈ‖＝（ｂ１2 ＋ｂ２2 ＋…＋ｂｎ2 ）1/2
【請求項３】
前記分割されたエリアの各画像ブロックをＦ（Ｘ，Ｙ）とし、その位置を示す横方向（左右方向）のブロック番号をＸ（Ｘ１，Ｘ２…）とし、縦方向のブロック番号をＹ（Ｙ１，Ｙ２…）としたとき、
前記類似度ｓが定数ｑより小さい画像ブロックＦ（Ｘ１，Ｙ１）が存在する場合であって、且つ同じ値のＹ１において類似度ｓが上記定数ｑよりも小さい他の画像ブロックＦ（Ｘｎ，Ｙ１）が存在する場合、前記一方の画像ブロックＦ（Ｘ１，Ｙ１）と他方の画像ブロックＦ（Ｘｎ，Ｙ１）との間の類似度ｓを算出し、この類似度ｓが定数ｐよりも大きいとき、当該画像ブロックＦ（Ｘ１，Ｙ１）と画像ブロックＦ（Ｘｎ，Ｙ１）との横方向の距離｜Ｘｎ−Ｘ１｜を類似度ｔと定め、この類似度ｔを前記観察者の目の位置に相当する点から当該エリアの画像を構成する物体までの物理的距離に換算して使用することを特徴とする請求項２に記載の立体画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、左右に独立した画像表示部を有し、この画像表示部により立体画像を表示可能とした立体画像表示装置に関する。なお本発明において特徴ベクトルとは、各画像ブロックの特徴を示す複数種（ｎ種）の特徴点一つ一つを座標軸としたｎ次元の空間を想定し、この空間上の原点を始点とするベクトルをいう。
【０００２】
【従来の技術】
従来のこの種の立体画像表示装置には、観察者がこの表示装置に表示された画像を観察し続けると、比較的短い観察時間で眼に疲労感を覚えるという問題があった。
【０００３】
この疲労感を覚える原因の一つとして、両眼の輻輳と眼のピント調節との関係が、通常の生活における場合とは異なる点が挙げられる。両眼の輻輳と眼のピントの調節作用との間には密接な関係がある。すなわち両眼の輻輳に変化が生じると、眼のピント調節がこれに自動的に追従するという特性を持っている。しかるに、一般に立体画像表示装置においては、光学系と画像表示部との関係が予め固定化されていることから、視差のある画像を左右の画像表示部に独立に与えると両眼の輻輳は変化するが、眼のピント調節は行なわれずに固定化された状態を呈する。
【０００４】
このように輻輳に合わせて自動的に行なわれる筈の眼のピント調節が行なわれない状態が持続すると、観察者が不自然さを感じ、これが疲労感につながる。したがって上記疲労感を軽減するには、両眼の輻輳と眼のピント調節との関係を通常の生活と同じ状態にすることが必要となる。
【０００５】
上記問題を解決するものとして、特開平３−２９２０９３号公報に示されているように、輻輳に合わせて光学系のレンズを駆動し、眼のピント調節が行なわれるようにしたものがある。
【０００６】
また、特開平７−１６７６３３号公報に示されているように、両眼の輻輳が画像表示装置における光学系の視度に合った角度となるように、左右の画像を画像表示部に与えるようにしたものがある。この特開平７−１６７６３３号公報に示されている例では、左右の画像間で画素がｎ×ｎのブロックを平行移動しながらブロック相互間における相関度をとり、最も相関の高いブロック位置との距離を構成要素とする視差地図を作成し、検出した視線方向に対応する画素の視差地図の値だけ片方もしくは両方の画像を平行移動し、注視対象が表示面上で同一位置にくるようにして、輻輳と眼のピント調節との関係が通常の生活における場合と同じになるようにしている。
【０００７】
【発明が解決しようとする課題】
しかしながら上記従来の技術には次のような問題がある。前者すなわち輻輳に合わせてレンズを駆動するようにしたものでは、機械駆動系が必要となることから、装置の重量が増し、装置全体が大型化するという問題がある。また上記機械駆動系の動作に伴う騒音や微細な振動が発生する難点もある。
【０００８】
他方、後者すなわち視差地図を作成するようにしたものでは、左右の一画面分のデータを一旦すべて取り込んでからでないと必要な処理が行なえない。加えてその演算量が多いことから、すべての画像フレームに対して連続的に処理する事が困難であるという問題がある。
【０００９】
本発明の目的は、観察者にとって疲労感の少ない表示を行なえるのは勿論、小型軽量に製作可能であり、加えて演算量の少ない立体画像表示装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記課題を解決し目的を達成するために、本発明の立体画像表示装置は以下に示す如く構成されている。
なお本発明における左右の入力画像は、それぞれ眼の位置が画面の中央にくるようにした画像である。従って、左右の画像の違いは両眼の視軸を平行に置いたときに見られる視差だけとなる。このような違いをもった画像であれば、カメラで撮像したものでも、ＣＧで作成したものでも、その他いかなるのものであってもよい。上記視差による左右の画像の違いが類似度ｓとなって現れてくる。そこで本発明においては、これを利用して類似度ｓを距離に換算することを特徴としている。
（１）本発明の立体画像表示装置は、
左右の独立した画像表示部に両眼視差のある画像を与えて立体視を行なう立体画像表示装置において、
入力した左右の画像をそれぞれ複数のエリアに分割し、これら分割した各エリア内の画像である各画像ブロックの特徴を示す複数種（ｎ種）の特徴ベクトルを前記左右の画像ブロックからそれぞれ別個に抽出する特徴ベクトル抽出部と、
観察者の視線の方向を検出する視線検出部と、
この視線検出部の検出結果により注視点が存在すると認定されるエリアにおける画像ブロックの特徴ベクトルを用いて左右の対応する当該エリア内の画像の違いを定数化し、当該定数値を前記観察者の目の位置に相当する点から当該エリアの画像を構成する物体までの物理的距離に換算し、当該換算値に対応した画素数分だけ前記左右の画像もしくはいずれか一方の画像を、左右の眼の輻輳と眼のピント位置とを略一致させるように左右方向にずらす処理を行なう画像補正部と、
この画像補正部により補正処理された左右画像出力を独立に表示する画像表示部と、
を備えている。
（２）本発明の立体画像表示装置は、上記（１）に記載した装置であって、かつ前記左右の画像ブロックの違いを定数化する手段は、前記視線検出部の検出結果により選択されたエリアの右側画像ブロックの特徴ベクトルをｆｒ、左側画像ブロックの特徴ベクトルをｆｈとしたとき、次式により類似度ｓを求めるものであることを特徴としている。
【００１１】
類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）
ただし、
ｆｒ・ｆｈ：特徴ベクトル間の内積
‖ｆｒ‖：特徴ベクトルｆｒのノルム（複素数の絶対値に類似の性質をもつベクトル空間上のスカラー値関数）
‖ｆｒ‖及び‖ｆｈ‖：ｆｒ及びｆｈを夫々ｆｒ＝（ａ１，ａ２，…ａｎ）、ｆｈ＝（ｂ１，ｂ２，…，ｂｎ）としたとき、次式で定義されるもの
‖ｆｒ‖＝（ａ１2 ＋ａ２2 ＋…＋ａｎ2 ）1/2
‖ｆｈ‖＝（ｂ１2 ＋ｂ２2 ＋…＋ｂｎ2 ）1/2
（３）本発明の立体画像表示装置は、上記（２）に記載した装置であって且つ前記分割されたエリアの各画像ブロックをＦ（Ｘ，Ｙ）とし、その位置を示す横方向（左右方向）のブロック番号をＸ（Ｘ１，Ｘ２…）とし、縦方向のブロック番号をＹ（Ｙ１，Ｙ２…）としたとき、
前記類似度ｓが定数ｑより小さい画像ブロックＦ（Ｘ１，Ｙ１）が存在する場合であって、且つ同じ値のＹ１において類似度ｓが上記定数ｑよりも小さい他の画像ブロックＦ（Ｘｎ，Ｙ１）が存在する場合、前記一方の画像ブロックＦ（Ｘ１，Ｙ１）と他方の画像ブロックＦ（Ｘｎ，Ｙ１）との間の類似度ｓを算出し、この類似度ｓが定数ｐよりも大きいとき、当該画像ブロックＦ（Ｘ１，Ｙ１）と画像ブロックＦ（Ｘｎ，Ｙ１）との横方向の距離｜Ｘｎ−Ｘ１｜を類似度ｔと定め、この類似度ｔを前記観察者の目の位置に相当する点から当該エリアの画像を構成する物体までの物理的距離に換算して使用することを特徴としている。
【００１２】
【発明の実施の形態】
（第１実施形態）
図１は本発明を頭部装着型画像表示装置に適用した本発明の第１実施形態に係る立体画像表示装置の外観を示す斜視図である。図１に示すように、この立体画像表示装置Ａは使用時において観察者Ｂの頭部１に対して装着して使用される。この立体画像表示装置Ａの前部には、後述する画像表示部８００を内蔵する表示装置本体１０が設けられており、これが観察者Ｂの顔面２における両眼の前方に位置する。表示装置本体１０の左右両側には連結フレーム２０，３０の一端部が結合されている。連結フレーム２０，３０の他端部は、電装部品収容体４０の両側に結合している。この電装部品収容体４０には、本発明に直接関係のない位置情報検出手段や、信号処理系１００等の電装部品が、例えば基板に搭載された状態で収容されている。
【００１３】
図２は第１実施形態に係る立体画像表示装置Ａの電装部品収容体４０および表示装置本体１０に分離収容されている信号処理系１００の概略的構成を示すブロック図である。図２に示すように入力端子１１０からは右側画像信号１０１が入力し、入力端子１２０からは左側画像信号１０２が入力する。
【００１４】
画像入力部２００は、入力端子１１０から入力する右側画像信号１０１および入力端子１２０から入力する左側画像信号１０２をＡ／Ｄ変換する。このＡ／Ｄ変換によりディジタル化された右眼用画像データ２０１および左眼用画像データ２０２は、一方において類似度検出部３００に入力し、他方において画像加工部７００に入力する。
【００１５】
類似度検出部３００は、特徴ベクトル抽出部を含む画像認識部４００および類似度保持部５００からなり、入力する左右画像データに基づいて類似度ｓを示す信号を生成し、且つ後述する如く選択された信号のみを出力するものとなっている。
【００１６】
画像認識部４００は、入力する左右の画像データ２０１，２０２から類似度ｓを生成して出力する。また類似度保持部５００は画像認識部４００で生成された類似度ｓを示す信号４０１〜４０ｉを格納する。
【００１７】
視線検出部６００は、観察者の視線の方向を検出するものである。この視線検出部６００の検出結果は、視線検出結果信号６０１となって類似度検出部３００の類似度保持部５００および画像加工部７００に入力する。視線検出結果信号６０１が類似度保持部５００に入力する結果、この類似度保持部５００から上記視線検出結果信号６０１によって選択された類似度ｓを示す出力信号５０１が出力される。この出力信号５０１は画像加工部７００に入力する。
【００１８】
画像加工部７００は、画像補正部を含んでおり、入力する画像データ２０１，２０２を前記信号５０１，６０１に基づいて加工処理する。加工処理された結果は右眼用画像データ７０１、左眼用画像データ７０２として画像表示部８００へ出力される。
【００１９】
画像表示部８００は表示装置本体１０に内蔵されており、画像加工部７００により加工処理されたデジタル信号である左右画像データ７０１，７０２を、左右の画像表示に適した信号形態にそれぞれ変換したのち、各々独立した表示部により立体画像を表示する。
【００２０】
制御部９００は、信号処理系１００全体の動作を制御するためのもので、画像認識部４００、視線検出部６００、画像加工部７００をそれぞれ動作させるのに必要なモード指示信号９０４，９０６，９０７を各々出力する。
【００２１】
なお上記各ブロック２００〜９００は、電源投入時に生成されるパワーオンリセット信号によりリセットされ、かつ同期がとられるものとなっている。
以下、各ブロック２００〜９００の機能について、さらに詳細に説明する。
【００２２】
「画像入力部２００」
画像入力部２００は、前述したように画像信号１０１，１０２をＡ／Ｄ変換して信号処理系１００内に取り込む。このＡ／Ｄ変換された画像データを濃度と呼ぶ事とする。この画像データは、説明を簡単にするために、ノンインターレースのものとする。
【００２３】
「画像認識部４００」
画像認識部４００で生成される特徴ベクトルを、本実施形態においては次のように定義する。
【００２４】
画像ブロックＦ（Ｘ，Ｙ）に属する画素の平均濃度値をｍ、隣合う画素間の濃度の差を変化値と呼ぶときｘ方向の変化値がある定数以内にある画素のｘの平均値をｗ、前記画像ブロックＦ（Ｘ，Ｙ）に属する画像の濃度値の分散をｕとしたとき、
ｆ（Ｘ，Ｙ）＝（ｍ，ｗ，ｕ）
を前記画像ブロックの特徴ベクトルとする。
【００２５】
本実施形態においては、画像画面を横、縦ともに２０分割することにより、４００個に分けられた各エリアの画像を画像ブロックとして取り扱うものとする。図３の（ａ）（ｂ）は、分割されたエリア毎の画像ブロックおよび１画像ブロック内の画素数を示す模式図である。図３の（ａ）（ｂ）に示すように、横がａ個、縦がｂ個の画素数とし、アドレスをｘ，ｙで表すものとする。特徴ベクトルの生成処理は、左右独立に行なわれる。
【００２６】
図４は画像認識部４００の内部構成を示す図である。図中４１０は右側画像データの特徴ベクトル生成部、４２０は左側画像データの特徴ベクトル生成部である。この両者４１０，４２０によって特徴ベクトル抽出部が構成されている。右側画像データの特徴ベクトル生成部４１０と左側画像データの特徴ベクトル生成部４２０の内部構成は同じである。このため、図４では左側画像データの特徴ベクトル生成部４２０の内部構成については図示を省略してある。以下、右側画像データの特徴ベクトル生成部４１０の内部構成について説明する。
【００２７】
特徴ベクトル生成部４１０は、制御部４３０，記憶部４４０，制御ライン部４５０，セレクタ部４６０，組み合わせ回路部４７０，等から構成されている。
制御部４３０は、動作タイミング信号やアドレス指定信号を制御ライン部４５０を介して出力する。
【００２８】
記憶部４４０は、二つの記憶ユニット４４１，４４２を備えている。各記憶ユニット４４１，４４２は、それぞれ画像ブロックＦ（Ｘ，Ｙ）の画素数ａ×ｂに相当するサイズの記憶要素Ｍ（Ｍ1 〜Ｍｉ）を、上記画像ブロックＦ（Ｘ，Ｙ）の横方向の分割数と同数の２０個分だけ配列したものとなっている。すなわち本実施形態においては、ｉ＝２０である。記憶部４４１と４４２とは、一方が書き込み動作を行なう時は他方が読み出し動作を行なうように、制御部４３０によって、書き込み動作と読み出し動作とが交互に繰り返される如く制御される。
【００２９】
制御ライン４５０は、制御部４３０からのアドレス指定信号を各記憶ユニット４４１および４４２の各記憶要素Ｍに与えるための書き込みアドレス指定ライン４５１および読み出しアドレス指定ライン４５２と、記憶ユニット動作切換え指令ライン４５３とからなっている。記憶ユニット動作切換え指定ライン４５３の二股に分岐された分岐ラインの一方には極性反転用インバータ素子４５４が介挿されている。
【００３０】
セレクタ部４６０は、記憶部４４０の記憶ユニット４４１に対応するセレクタ群４６１と記憶ユニット４４２に対応するセレクタ群４６２とに分かれている。セレクタ群４６１は、対応する記憶ユニット４４１の所定の記憶要素Ｍに対し、書き込みアドレス指定ライン４５１および読み出しアドレス指定ライン４５２を介して送り込まれる所定のアドレス指定信号を、選択的に与え得るものとなっている。同様にセレクタ群４６２は、対応する記憶ユニット４４２の所定の記憶要素Ｍに対し、書き込みアドレス指定ライン４５１および読み出しアドレス指定ライン４５２を介して送り込まれる所定のアドレス指定信号を選択的に与え得るものとなっている。
【００３１】
各記憶要素Ｍへのアドレスは、記憶ユニット４４１，４４２内の記憶要素Ｍを選択する上位部と、各記憶要素Ｍの内部のデータ位置を選択する下位部とに分かれている。そして書き込みアドレス指定ライン４５１を介しての書き込みアドレスは、上位部と下位部とを連結した一つのアドレスとして、また読み出しアドレス指定ライン４５２を介しての読み出しアドレスは、上位部は各々の記憶要素Ｍを選択する固定アドレスを与え、下位部は書き込みアドレスの１／２０の早さでインクリメントを行なう。
【００３２】
組み合わせ回路部４７０は、記憶ユニット４４１および４４２の各記憶要素Ｍの記憶情報を組み合わせて特徴ベクトルの生成を行なう回路である。
上述した右側画像データの特徴ベクトル生成部４１０および左側データの特徴ベクトル生成部４２０の出力は、類似度計算部４８０に入力する。
【００３３】
類似度計算部４８０は、上記特徴ベクトル生成部４１０及び４２０における各組み合わせ回路部４７０のそれぞれの回路４７１，４７２〜４７ｉから出力される対応する画像ブロック同士を、各計算回路４８１，４８２〜４８ｉのそれぞれの入力とし類似度ｓを計算する。類似度計算部４８０の各計算回路４８１，４８２〜４８ｉで計算された各類似度ｓは、出力信号４０１，４０２〜４０ｉとして前記類似度保持部５００に出力される。上記類似度ｓは左右の特徴ベクトルを
ｆｒ＝（ｍ１，ｗ１，ｕ１，）、  ｆｈ＝（ｍ２，ｗ２，ｕ２）
としたとき、前記定義から
類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）
ｆｒ・ｆｈ＝ｍ１ｍ２＋ｗ１ｗ２＋ｕ１ｕ２
‖ｆｒ‖＝（ｍ１2 ＋ｗ１2 ＋ｕ１2 ）1/2
‖ｆｈ‖＝（ｍ２2 ＋ｗ２2 ＋ｕ２2 ）1/2
であり、０≦ｓ≦１となる。
【００３４】
「類似度保持部５００」
図５は類似度保持部５００の内部構成を示すブロック図である。書き込みアドレス生成部５１０は書き込みアドレス信号５１１および書き込みイネーブル信号５１２を出力する。
【００３５】
読み出しアドレス生成部５２０は、視線検出部６００からの出力信号６０１に対応した読み出しアドレス信号５２１を生成して出力する。
類似度記憶部５３０は、書き込みアドレス生成部５１０からの書き込みアドレス信号５１１および書き込みイネーブル信号５１２と、読み出しアドレス生成部５２０からの読み出しアドレス信号５２１と、画像認識部４００からの類似度ｓを示す各出力信号４０１，４０２〜４０ｉとを入力する。かくして類似度記憶部５３０は読み出しアドレス信号５２１で指示されたデータを類似度保持部出力信号５０１として出力する。
【００３６】
「視線検出部６００」
本実施形態では表示画面のどの位置に視線が向いているかが判ればよいので、視線検出部６００での視線検出法についての詳細な記述は行なわない。ただし、精度としては最低でも画像ブロックＦ（Ｘ，Ｙ）の位置を指定できることが必要である。本実施形態では、右眼側の視線方向を検出する事とする。
【００３７】
図６は、視線検出部６００によって検出する視線変化領域の定義を示す図である。（ａ）に示す如く水平方向の視線変化領域については、表示画面の中心Ｏを境として視線が左側の領域にあるときは「＋」、右側の領域にあるときは「−」と定める。また（ｂ）に示す如く上下方向の視線変化領域については、表示画面の中心Ｏを境として視線が上側の領域にあるときは「＋」、下側の領域にあるときは「−」と定める。
【００３８】
かくして類似度保持部５００内の読み出しアドレス生成部５２０においては、視線検出部６００の出力信号６０１に基づき画像ブロックＦ（Ｘ，Ｙ）に対応したアドレスが生成されることになる。
【００３９】
「画像加工部７００」
図７は、画像加工部７００の内部構成を示すブロック図である。書き込みアドレス生成部７１０は書き込みアドレス信号７１１および書き込みイネーブル信号７１２を生成し、これはフレームメモリ７３１，７３２に対して共に出力する。また一方の読み出しアドレス生成部７２１は、読み出しアドレス７２１１を生成し、フレームメモリ７３１に出力する。他方の読み出しアドレス生成部７２２は読み出しアドレス７２１２を生成し、フレームメモリ７３２に出力する。
【００４０】
フレームメモリ７３１は入力する右眼用の画像データ２０１を格納し、フレームメモリ７３２は入力する左眼用の画像データ２０２を格納する。画像データ２０１，２０２の画像は、視線検出を行なわない左側画像の方が水平方向に幅広いものとする。フレームメモリ７３１，７３２は、それぞれ２セットづつ設けてあり、一方が書き込み用として用いられる時は他方は読み出し用として用いられ、交互に使用される。
【００４１】
距離換算部７４０は、類似度保持部５００から送られてくる類似度ｓを示す信号５０１を距離データに置き換える。ずらし幅計算部７５０は距離換算部７４０の出力信号７４１と視線検出部６００から送られてくる信号６０１とから左側画像のずらし幅を計算し、これを前記読み出しアドレス生成部７２２に出力する。
【００４２】
前述した読み出しアドレス生成部７２２は、上記ずらし幅計算部７５０からの出力信号に基づいて前記フレームメモリ７３２の読み出しアドレスを生成し、これをフレームメモリ７３２へ出力する。
【００４３】
セレクタ７６１および７６２は、フレームメモリ７３１および７３２の出力を選択的に取り出す。選択的に取り出された出力信号は、画像加工部７００の出力信号すなわち左右の画像データ７０１，７０２として画像表示部８００に送られる。
距離換算部７４０における処理は、表１，表２等に示すような対応づけにより行なわれる。
【００４４】
【表１】
0003803442.tif 000002
【００４５】
【表２】
0003803442.tif 000003
【００４６】
［表１］［表２］に示される類似度と距離値との関係は、取り扱う画像の種類等を考慮し、予め実際の画像を用いてシミュレーション等で求めておき決定することが望ましい。
【００４７】
図８および図９は、ずらし幅計算部７５０の処理内容の説明図である。画像入力部２００の入力となる右眼用画像信号１０１による画像の中心は図８の符号Q1で示す位置にあり、左眼用画像信号１０２による画像の中心は図８の符号Q2で示す位置にある。光学系による虚像表示位置までの距離をｇメートル、観察対象物までの実際の距離をＬメートル、眼幅をｄメートル、視線検出部６００での水平方向の検出角をθとしたときの観察対象物の左眼用画像信号１０２による虚像表示位置は、中心から
ｅ＝ｇｄ／Ｌ−ｇtan θ
だけずれた位置である。輻輳と眼のピント調節とを合わせる為には、図９に示すように、観察対象物の虚像表示位置が
ｅ′＝ｇtan θ−ｄ
だけ中心からずれた位置に表示されればよい。観察物までの実際の距離Ｌは、前述した距離換算部７４０からの出力信号７４１を用いて求め得る。また水平方向の検出角θは、視線検出部６００の出力６０１から得る事ができる。ここで仮に距離換算部７４０の出力をｇ１とすれば、左眼用画像データのずらし幅ｋは
ｋ＝ｅ′−ｅ＝２ｇtan θ−ｄ（ｇ１＋ｇ）／ｇ１
に相当する値となる。このずらし幅ｋを示す出力信号７５１は、図７に示されているずらし幅計算部７５０から出力される。読み出しアドレス生成部７２２ではずらし幅ｋに相当する分だけずれたアドレスを生成し、フレームメモリ７３２に与える。このため左眼用画像出力７０２は水平方向に所定距離だけシフトされたものとなり、画像表示部８００で表示される画像は輻輳と眼のピント位置とが略一致したものとなる。
【００４８】
「画像表示部８００」
画像表示部８００は、上記画像加工部７００からの左右の画像データ７０１，７０２に基づいて所要の立体画像を表示する。
【００４９】
上記の如く構成された本実施形態の立体画像表示装置は、以下のように動作する。入力画像信号１０１，１０２は、信号処理系１００に取り込まれるに際し、その入力端において画像入力部２００によりＡ／Ｄ変換され、ディジタル画像信号すなわち画像データ２０１，２０２として取り込まれる。画像データ２０１，２０２は連続的に画像認識部４００内の記憶ユニット４４１，４４２と，画像加工部７００のフレームメモリ７３１，７３２とに格納される。
【００５０】
このとき画像認識部４００は次のように動作する。左右の特徴ベクトル生成部４１０，４２０において各制御部４３０からの制御信号により、取り込まれた画像データ２０１，２０２は、まず記憶ユニット４４１に順次格納されていく。ｂ行分の画像データの格納が終わった段階では、記憶ユニット４４１の記憶要素Ｍ（Ｍ1 〜Ｍｉ）の各々には、それぞれ一つの画像ブロックＦ（Ｘ，Ｙ）の画像データが格納終了済みである。したがって記憶ユニット４４１全体では、Ｆ（１，１），Ｆ（１，２），…，Ｆ（１，２０）の各画像ブロックの各画像データが格納されることになる。
【００５１】
次の段階にて、記憶ユニット４４１は読みだし動作に切り換わり、記憶ユニット４４２は書き込み動作に切り換わる。記憶ユニット４４２への書き込み動作は記憶ユニット４４１に対する書き込み動作と同じである。ただし記憶ユニット４４２には次の列の画像ブロックＦ（Ｘ，Ｙ）のデータが格納される。記憶ユニット４４２の書き込みと平行して読み出される記憶ユニット４４１の画像データは組み合わせ回路部４７０の各回路４７１，４７２〜４７ｉへの入力となる。
【００５２】
読み出しアドレスの上位部を、各記憶要素Ｍ（Ｍ1 〜Ｍｉ）の各々に固有のものとすることで、各画像ブロックＦ（Ｘ，Ｙ）内の同じ（ｘ，ｙ）番地にある画像データを同時に読み出し、１列分の画像ブロックＦ（Ｘ，Ｙ）の処理が並列に行なわれる。読み出しアドレス指定ライン４５２による読み出しアドレスの下位部を、書き込みアドレス指定ライン４５１による書き込みアドレスの１／２０の早さでインクリメントすることで、一つの画素データに関しての処理時間は一つの画素データの書き込み時間の２０倍にすることができる。このためリアルタイム処理が可能となる。記憶ユニット４４１，４４２の書き込み動作および読みだし動作は、制御部４３０からの制御信号によって交互に繰り返し行なわれる。
【００５３】
組み合わせ回路部４７０の各回路４７１，４７２〜４７ｉからの出力は、１列分の画像ブロックＦ（Ｘ，Ｙ）のデータ処理終了に同期して類似度計算部４８０の各計算回路４８１，４８２〜４８ｉに取り込まれる。類似度計算部４８０は前述の定義にしたがって類似度ｓを計算する。その計算結果は出力信号４０１，４０２〜４０ｉとして送り出される。
【００５４】
左側画像データ２０１による画像の方が右側画像データ２０２による画像よりも幅が広いが、類似度ｓの算出は、画像の中心を一致させた、右側の画像と同じ幅の分の画像ブロックＦ（Ｘ，Ｙ）に対して行なう。
【００５５】
画像加工部７００では、画素データが、書き込みアドレス生成部７１０の制御により指示されたフレームメモリ７３１，７３２の所定位置に書き込まれる。２セットあるフレームメモリは、一方が書き込み用で他方が読み出し用となり、交互に使用される。
【００５６】
本実施形態では、左側画像データの方が右側画像データよりも幅が広いものとなっているが、説明を簡単化するために、右側画像データも表示に必要な画素データの前後に空データを付加することにより、見掛け上、左側データと同じ幅を持つものとする。ただし読みだし時においては、前後の空データのアドレスは生成されない。
【００５７】
類似度保持部５００における類似度記憶部５３０は、画像認識部４００から出力される類似度ｓを一画面分だけ格納可能となっている。視線検出部６００からの視線検出信号６０１で指示される画像ブロックＦ（Ｘ，Ｙ）に対応したアドレスが、読み出しアドレス生成部５２０により生成される。この生成されたアドレス５２１が類似度記憶部５３０に与えられることによって指示された類似度ｓが出力信号５０１として画像加工部７００に出力される。
【００５８】
画像加工部７００では、類似度保持部５００からの出力信号５０１に基づいて距離換算部７４０が作動し、対応する距離Ｌを算出する。この距離Ｌを示す信号７４１に基づいて、ずらし幅計算部７５０では既に説明した計算法により、左側画像のずらし幅が算出される。読み出しアドレス生成部７２２では上記算出されたずらし幅に相当する分だけずらしたアドレス７２１２を発生させる。フレームメモリ７３２では上記ずらされたアドレス７２１２での読み出し動作が行なわれる。これにより画像表示部８００で表示される画像は、左側の画像が輻輳と光学系の視度が合った状態になるように左右方向にずれた画像となる。
【００５９】
なお、特徴ベクトル生成、類似度ｓの算出、類似度ｓの距離換算、ずらし幅計算、読み出しアドレスの生成までの過程は、画像ブロック１列分のデータ転送時間より若干オーバした時間的ずれが生じるが、ほぼ１フレームの画像データ転送時間と同じ時間内での処理が可能である。
【００６０】
次に、類似度ｔを使用する場合の例を示す。図１０は類似度ｔに対応した画像認識部４００Ｔのブロック図を示す。前にも述べたように、本実施形態における画像表示装置に与えられる左右画像は、それぞれの眼の位置が画面の中央にくるように撮像した画像である。したがって左右画像の違いは、両眼の視軸を平行に置いたときに見られる視差だけである。この違いが類似度ｓとなって現れてくるのであり、これを利用して類似度ｓを距離に換算しているのであるが、観察対象物までの距離やその大きさによっては、当該観察対象物の画像が左右画像の対応する画像ブロックＦ（Ｘ，Ｙ）の片方にしか現れないケースも出てくる。この場合、類似度ｓは十分に小さな或る定数ｑよりも小さくなる。問題となる観察対象物は同じＹ列における類似度ｓが小さい他の画像ブロックＦ（Ｘ，Ｙ）に存在するのであるから、類似度ｓの小さい異なったＸ位置に存在する左右の画像ブロック間で類似度ｓを算出してみたとき、もし同一の観察対象物が存在していれば、類似度ｓは十分に大きな或る定数ｐよりも大きくなる。この場合の画像ブロックＦ（Ｘ，Ｙ）のＸ値の差（｜Ｘｎ−Ｘ１｜）を、類似度ｔと定める。
【００６１】
なお類似度ｔを使用する場合、定数ｐ，ｑの値はシミュレーション等の結果により適切な値に設定される。しかし画像ブロックＦ（Ｘ，Ｙ）内の画像を構成する物体によっては、類似度ｓが定数ｑ以下となる画像ブロックＦ（Ｘ，Ｙ）が他に存在しないケースが発生する場合も考えられる。この場合は類似度ｔを使用しない場合と同等に扱うようにするとか、隣りの画像ブロックＦ（Ｘ，Ｙ）の類似度ｓと関連づけて処理を行なうなどの対応策を盛り込めばよい。
【００６２】
また、類似度ｓが定数ｑより小さい画像ブロックＦ（Ｘ，Ｙ）が３個以上存在し、異なるブロック間の類似度ｓが定数ｐ以上にならなかったり、逆に定数ｐ以上となるものが複数存在するケースが発生することも考えられる。定数ｐ以上にならなかった場合は類似度ｔを使用しない場合と同等に扱うようにし、定数ｐより大きい画像ブロックＦ（Ｘ，Ｙ）が複数ある場合には最も大きい画像ブロックＦ（Ｘ，Ｙ）を選択し類似度ｔを決定するなどの対応策を盛り込めばよい。
【００６３】
画像加工部７００における距離換算部７４０では、上記類似度ｔに基づいて前記表２に示すような対応付けによる距離換算処理が行なわれる。すなわち類似度ｔが観察者の目の位置に相当する点から当該画像を構成する物体までの物理的距離に換算される。なお類似度ｓは１以下の値をとるが、類似度ｔは１以上の値をとる。
【００６４】
図１０において、第１，第２の特徴ベクトル生成部４１０，４２０は、図４に示したものと同じである。ただし、各特徴ベクトル生成部４１０，４２０の出力信号が、新たに追加した類似度ｔ計算部４９０Ｔにも出力されている。類似度計算部４９０は、図４における類似度計算部４８０に，類似度ｓが一定値ｑ以下となった画像ブロックＦ（Ｘ，Ｙ）の位置を示すフラグ信号４９１を出力する機能を付加したものである。このフラグ信号４９１によって指示される画像ブロックＦ（Ｘ，Ｙ）間で、すでに説明した方法により類似度ｔが算出される。算出された類似度ｔを示す出力信号４０１Ｔ〜４０ｉＴは、セレクタ４９２により切り替え選択されて類似度保持部５００に出力される。
【００６５】
類似度ｔの計算の追加により、処理に必要な時間は長くなるが、視線検出信号６０１を入力し、該当する画像ブロックＦ（Ｘ，Ｙ）の列のみ行なうようにし、類似度保持部２３０の格納手順を変更すれば、処理時間の増加は無視できるレベルまで抑制可能である。
【００６６】
（変形例）
実施形態に示された立体画像表示装置は、下記の変形例を含んでいる。
・予めデジタル信号に変換された画像データを、入力画像信号として信号処理系１００内に導入するようにしたもの。
【００６７】
・特徴ベクトルとして、「平均濃度値ｍ」「ｘ方向の変化値がある定数以内にある画素のｘの平均値ｗ」「濃度値の分散ｕ」のほか、取り扱う画像に適合した要素等を適宜組合わせて用いるようにしたもの。
【００６８】
（実施形態における特徴点のまとめ）
実施形態（変形例を含む）に示された立体画像表示装置の特徴点をまとめると次の通りである。
［１］実施形態に示された立体画像表示装置は、
左右の独立した画像表示部 (800)に両眼視差のある画像(701.702) を与えて立体視を行なう立体画像表示装置において、
入力した左右の画像をそれぞれ複数のエリアに分割し、これら分割した各エリア内の画像である各画像ブロックＦ（Ｘ，Ｙ）の特徴を示す複数種（ｎ種）の特徴ベクトル(f) を、前記左右の画像ブロックＦ（Ｘ，Ｙ）からそれぞれ別個に抽出する特徴ベクトル抽出部(300) と、
観察者の視線の方向を検出する視線検出部 (600)と、
この視線検出部 (600)の検出結果により注視点が存在すると認定されるエリアにおける画像ブロックＦ（Ｘ，Ｙ）の特徴ベクトル(f) を用いて左右の対応する当該エリア内の画像の違いを定数化し、当該定数値を前記観察者の目の位置に相当する点から当該エリアの画像を構成する物体までの物理的距離に換算し、当該換算値に対応した画素数分だけ前記左右の画像もしくはいずれか一方の画像を左右方向にずらす処理を行なう画像補正部 (700)と、
この画像補正部 (700)により補正処理された左右画像出力を独立に表示する画像表示部 (800)と、
を備えている。
【００６９】
上記の如く構成された立体画像表示装置においては、輻輳と眼のピント調節とを通常の生活と同じ状態に保つ事ができるため、疲労感の少い立体表示を行なえる。しかも機械駆動系を用いる必要がないため、小型軽量に製作可能である。また特徴ベクトルと類似度ｓ，ｔの計算は該当する画像ブロックＦ（Ｘ，Ｙ）のみで行なえることから、一旦すべての画像(101,102) を取り込んでからでないと処理ができないという制限がなくなり、リアルタイム処理が可能な装置を実現できる。
［２］実施形態に示された立体画像表示装置は、上記［１］に記載した装置であって、かつ左右の画像ブロックＦ（Ｘ，Ｙ）の違いを定数化する手段は、前記視線検出部 (600)の検出結果により選択されたエリアの右側画像ブロックの特徴ベクトルをｆｒ、左側画像ブロックの特徴ベクトルをｆｈとしたとき、次式により類似度ｓを求めるものであることを特徴としている。
【００７０】
類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）
ただし、
ｆｒ・ｆｈ：特徴ベクトル間の内積
‖ｆｒ‖：特徴ベクトルｆｒのノルム（複素数の絶対値に類似の性質をもつベクトル空間上のスカラー値関数）
‖ｆｒ‖及び‖ｆｈ‖：ｆｒ及びｆｈを夫々ｆｒ＝（ａ１，ａ２，…ａｎ）、ｆｈ＝（ｂ１，ｂ２，…，ｂｎ）としたとき、次式で定義されるもの
‖ｆｒ‖＝（ａ１2 ＋ａ２2 ＋…＋ａｎ2 ）1/2
‖ｆｈ‖＝（ｂ１2 ＋ｂ２2 ＋…＋ｂｎ2 ）1/2
上記立体画像表示装置においては、前記［１］と同様の作用効果を奏する上、左右の画像ブロックＦ（Ｘ，Ｙ）の違いを定数化するための具現手段が明確に特定されていることから、実施しやすい利点がある。
［３］実施形態に示された立体画像表示装置は、上記［１］に記載した装置であって、且つ前記分割されたエリアの各画像ブロックをＦ（Ｘ，Ｙ）とし、その位置を示す横方向（左右方向）のブロック番号をＸ（Ｘ１，Ｘ２…）とし、縦方向のブロック番号をＹ（Ｙ１，Ｙ２…）としたとき、
前記類似度ｓが定数ｑより小さい画像ブロックＦ（Ｘ１，Ｙ１）が存在する場合であって、且つ同じ値のＹ１において類似度ｓが上記定数ｑよりも小さい他の画像ブロックＦ（Ｘｎ，Ｙ１）が存在する場合、前記一方の画像ブロックＦ（Ｘ１，Ｙ１）と他方の画像ブロックＦ（Ｘｎ，Ｙ１）との間の類似度ｓを算出し、この類似度ｓが定数ｐよりも大きいとき、当該画像ブロックＦ（Ｘ１，Ｙ１）と画像ブロックＦ（Ｘｎ，Ｙ１）との横方向の距離｜Ｘｎ−Ｘ１｜を類似度ｔと定め、この類似度ｔを前記観察者の目の位置に相当する点から当該エリアの画像を構成する物体までの物理的距離に換算して使用することを特徴としている。
【００７１】
上記立体画像表示装置においては、前記［１］と同様の作用効果を奏する上、当該観察対象物の画像が対応する左右画像ブロックの片方にしか現れないケースにおいても、左右画像の違いを的確に距離換算して、画像の補正処理を行なうことが可能となる。
【００７２】
【発明の効果】
本発明によれば、機械駆動系を使用することなく、輻輳と眼のピントの調節を通常の生活と同じ状態に保つ事ができ、しかもその為の処理を簡単に行なえる。この結果、観察者にとって疲労感の少ない表示を行なえるのは勿論、小型軽量に製作可能であり、加えて演算量の少ない立体画像表示装置を提供できる。
【図面の簡単な説明】
【図１】本発明を頭部装着型画像表示装置に適用した本発明の第１実施形態に係る立体画像表示装置の外観を示す斜視図。
【図２】本発明の第１実施形態に係る立体画像表示装置の信号処理系の概略的構成を示すブロック図。
【図３】本発明の第１実施形態に係る立体画像表示装置の分割された画像エリア毎の画像ブロックおよび１画像ブロック内の画素数を示す模式図。
【図４】本発明の第１実施形態に係る立体画像表示装置の画像認識部の内部構成を示す図。
【図５】本発明の第１実施形態に係る立体画像表示装置の類似度保持部の内部構成を示すブロック図。
【図６】本発明の第１実施形態に係る立体画像表示装置の視線検出部によって検出する視線変化領域の定義を示す図。
【図７】本発明の第１実施形態に係る立体画像表示装置の画像加工部の内部構成を示すブロック図。
【図８】本発明の第１実施形態に係る立体画像表示装置のずらし幅計算部の処理内容説明図。
【図９】本発明の第１実施形態に係る立体画像表示装置のずらし幅計算部の処理内容説明図。
【図１０】本発明の第１実施形態に係る立体画像表示装置の類似度ｔに対応した画像認識部のブロック図。
【符号の説明】
１０…表示装置本体
４０…電装部品収容体
１００…信号処理系
２００…画像入力部
３００…類似度検出部
４００…画像認識部
５００…類似度保持部
６００…視線検出部
７００…画像加工部
８００…画像表示部
９００…制御部
【図１】
0003803442.tif 000004
【図２】
0003803442.tif 000005
【図３】
0003803442.tif 000006
【図４】
0003803442.tif 000007
【図５】
0003803442.tif 000008
【図６】
0003803442.tif 000009
【図７】
0003803442.tif 000010
【図８】
0003803442.tif 000011
【図９】
0003803442.tif 000012
【図１０】
0003803442.tif 000013