(57)【特許請求の範囲】
【請求項１】
立体画像を表わす信号の供給を受けるための入力手段と、
上記入力手段により受けた信号による立体画像の経時的な変化を検出する画像変化検出手段と、
上記画像変化検出手段による検出結果に基づいて画像領域中の特定の部分領域を観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段と、
上記注視予測領域決定手段によって指定される特定の部分領域内に表示される画像の奥行きを表わす情報を得る奥行き検出手段と、
上記奥行き検出手段により得た画像の奥行きを表わす情報に基づいて上記入力手段により受けた信号による立体画像の奥行きに係る量についてこの立体画像の虚像位置までの視距離と左右画像の視差量に依存して決定される融像位置までの輻輳距離とが一致する奥行き量を算出し、当該算出結果に基づいて表示を行う際の画像の奥行き量を決定する奥行き制御手段と、
上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなることを特徴とする立体画像表示装置。
【請求項２】
上記注視予測領域決定手段は、上記画像変化検出手段による検出結果に基づいて被検出画像全体の中で特異な検出結果が得られる特定の部分領域が存在するときには該特定の部分領域を当該注視予測領域として指定し、特異な検出結果が得られる特定の部分領域が存在しないときには予め設定した所定領域を当該注視予測領域として指定するように構成されたものであることを特徴とする請求項１に記載の立体画像表示装置。
【請求項３】
上記画像変化検出手段は、被検出画像全体を複数の各小領域に分割してなる該複数の各小領域毎に、画像の経時変化を検出する画像動き量検出手段を有してなり、且つ、上記注視予測領域決定手段は、上記複数の小領域のうち画像変化検出手段によって検出される画像の経時変化の値が特異な値を示す小領域を、当該注視予測領域として指定するように構成されたものであることを特徴とする請求項２に記載の立体画像表示装置。
【請求項４】
上記画像変化検出手段は、被検出画像全体を複数の各小領域に分割してなる該複数の各小領域毎に画像の経時変化を表わす動きベクトルを検出する動きベクトル検出手段を有してなり、且つ、上記注視予測領域決定手段は、上記複数の小領域のうち上記画像変化検出手段によって検出される自己の動きベクトルが適用された視線検出手段によって検出された観察者の視点の動きを表わす視点動きベクトルに、実質的に等しい小領域を当該注視予測領域として指定するように構成されたものであることを特徴とする請求項１に記載の立体画像表示装置。
【請求項５】
上記画像変化検出手段は、上記被検出画像全体の中で画像の経時変化が認められる変化領域と該経時変化が認められない無変化領域とに区分する画像領域区分手段を備えてなり、且つ、上記注視予測領域決定手段は、上記変化領域と無変化領域とを比較してこれら双方の領域のうち何れかの領域を当該注視予測領域として指定するように構成されたものであることを特徴とする請求項１に記載の立体画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力手段により入力した立体画像を表わす信号について画像の奥行きに係る奥行き量を制御したのち、立体画像表示を行なう立体画像表示装置に関する。
【０００２】
【従来の技術】
視覚表示装置やそのシステムとして、画像を立体視できるように表示する立体視ディスプレイは既知であり、種々のものが提案されている。
しかし、従来の立体視ディスプレイでは、画像表示面の奥行き位置と融像奥行き位置とが異なるために、観察者の眼球の輻輳とピント調節とに矛盾した状態が起こることがあった。この矛盾量が大きくなると、人間は立体画像を一つのものとして知覚できなくなる。
【０００３】
この問題を解決する手段として、従来から幾つかの提案がなされている。特開平3-292093号（セイコーエプソン）には、視線検出器を用いて観察者の注視点を検出し、この注視点での奥行き情報からレンズを動かして視度を変える手段が示されている。この手段は、画像表示面の奥行き位置と融像奥行き位置とが一致するように、「画像表示面の奥行き位置」を制御するものである。
【０００４】
また、特開平7-167633号（松下電器産業）には、視線検出器を用いて観察者の注視点を検出し、この注視点での奥行きが立体画像表示部の表面もしくは表面から指定された距離だけ離れた位置に再現するように視差を制御する手段が示されている。この手段は、画像表示面の奥行き位置と融像奥行き位置とが一致するように、「融像奥行き位置」を制御するものである。
【０００５】
【発明が解決しようとする課題】
上記従来の技術は、両者とも観察者の注視点を検出し、注視点での奥行き情報から立体画像の奥行き位置を制御するという点で共通している。しかしながら上記のようなものでは、観察者の注視点を正確に検出する必要があるため、検出精度の高い視線検出器を必要とし、装置が高価格なものになってしまうと言う問題がある。更に、視線検出器の重量分だけ重くなるため、立体画像表示装置として例えば頭部装着型表示装置（以下ＨＭＤと略称する）を適用する場合には、軽量であることが強く望まれているＨＭＤの重量を大きくしてしまうという問題が生じる。
【０００６】
尚、特開平6-225197号「ビデオカメラによる監視装置」（日本電信電話）には、監視領域内にある対象物を自動認識し、注目すべき対象を自動的に追跡する装置が開示されている。しかしながら上記の監視装置は、立体画像の奥行きを調整するために注目すべき対象を自動認識するものではなく、このような構成を有する立体画像表示装置はこれまでに存在していない。
【０００７】
そこで、本発明の目的は、格別に検出精度の高い視線検出器を用いなくても、観察者が注視するであろう注視点（画像領域）が予測され、その予測された注視点における画像の奥行き情報に基づいて立体画像の奥行き制御が行なわれ、極めて見やすい立体画像を安定に得ることのできる立体画像表示装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明による立体画像表示装置は、立体画像を表わす信号の供給を受けるための入力手段と、上記入力手段により受けた信号による立体画像の経時的な変化を検出する画像変化検出手段と、上記画像変化検出手段による検出結果に基づいて画像領域中の特定の部分領域を観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段と、上記注視予測領域決定手段によって指定される特定の部分領域内に表示される画像の奥行きを表わす情報を得る奥行き検出手段と、上記奥行き検出手段により得た画像の奥行きを表わす情報に基づいて上記入力手段により受けた信号による立体画像の奥行きに係る量についてこの立体画像の虚像位置までの視距離と左右画像の視差量に依存して決定される融像位置までの輻輳距離とが一致する奥行き量を算出し、当該算出結果に基づいて表示を行う際の画像の奥行き量を決定する奥行き制御手段と、上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段とを備えて構成される。…………（１）
【０００９】
ここで、前記（１）に記載の装置であり、加えて、上記注視予測領域決定手段は、上記画像変化検出手段による検出結果に基づいて被検出画像全体の中で特異な検出結果が得られる特定の部分領域が存在するときには該特定の部分領域を当該注視予測領域として指定し、特異な検出結果が得られる特定の部分領域が存在しないときには予め設定した所定領域を当該注視予測領域として指定するように構成される。                    …………（２）
【００１０】
また、前記（２）に記載の装置であり、加えて、複数の各小領域毎に、画像の経時変化を検出する画像動き量検出手段を有してなり、且つ、上記注視予測領域決定手段は、上記複数の小領域のうち画像変化検出手段によって検出される画像の経時変化の値が特異な値を示す小領域を、当該注視予測領域として指定するように構成される。                …………（３）
【００１１】
更に、前記（１）に記載の装置であり、加えて、複数の各小領域毎に画像の経時変化を表わす動きベクトルを検出する動きベクトル検出手段を有してなり、且つ、上記注視予測領域決定手段は、上記複数の小領域のうち上記画像変化検出手段によって検出される自己の動きベクトルが適用された視線検出手段によって検出された観察者の視点の動きを表わす視点動きベクトルに、実質的に等しい小領域を当該注視予測領域として指定するように構成される。…………（４）
【００１２】
更にまた、前記（１）に記載の装置であり、加えて、上記画像変化検出手段は、上記被検出画像全体の中で画像の経時変化が認められる変化領域と該経時変化が認められない無変化領域とに区分する画像領域区分手段を備えてなり、且つ、上記注視予測領域決定手段は、上記変化領域と無変化領域とを比較してこれら双方の領域のうち何れかの領域を当該注視予測領域として指定するように構成されている。                        …………（５）
【００１３】
【発明の実施の形態】
（第１実施形態）
本実施形態は、画面中において一部だけ画像の変化が異なる領域を求め、その求めた領域を観察者が注視するであろうと予測し、その予測した当該領域内にある画像の奥行き距離を求め、これに基づいて立体画像の観察における視距離と輻輳距離とが合致するように制御するものである。尚、本実施形態では視差のある左画像と右画像とを総称して立体画像と呼ぶことにする。
【００１４】
図１は本発明の第１実施形態に係る立体画像表示装置の構成（概要）を示す図である。図１に示す如くこの立体画像表示装置は、立体画像生成装置１と、立体画像処理装置２と、立体画像表示器３とからなる。立体画像生成装置１は、立体画像信号ＳＡ（左画像信号，右画像信号）を生成し、左右の音声信号と共に出力する装置であり、これにはビデオ再生機、立体画像信号受信器、コンピュータ等の画像生成装置、ステレオカメラなどが含まれる。
【００１５】
立体画像処理装置２は、立体画像生成装置１からの立体画像信号ＳＡを受信し所定の画像処理を行なう。この画像処理には、受信した立体画像の経時的変化から観察者の注視点を予測する注視予測処理と、その予測した注視点に存在する画像の奥行き距離を検出する奥行き検出処理と、立体画像の奥行きを制御する奥行き制御処理とが含まれている。この立体画像処理装置２によって奥行き制御された立体画像ＳＢは、電力と共に立体画像表示器３へ送られる。
【００１６】
立体画像表示器３は、入力した奥行き制御済みの立体画像の表示を行なうものであり、本実施形態においては図１に示すような頭部装着型表示装置（以下ＨＭＤと略称する）を用いている。このＨＭＤ３の内部には、観察者の左眼球及び右眼球にそれぞれ対応する左右の表示素子と、左右の接眼光学系とが組み込まれている。尚、ＨＭＤ３から立体画像処理装置２に対して視線方向信号ＳＣが必要に応じて送信され得るものとなっている。
【００１７】
図２はＨＭＤ３の光学系の構成を示す図である。尚、図２に示すものは、一方の眼球（左眼球）に対する光学系であり、これと同じものが、他方の眼球（右眼球）に対しても組み込まれている。奥行き制御された左右画像信号のうちの左画像信号ＳLが左用ＬＣＤ１１に供給されると、左画像が左用ＬＣＤ１１の表示面上に表示される。１０はバックライトである。上記表示画像は、以下の接眼光学系によって拡大されて左眼球１５に導かれる。
【００１８】
図２に示されている接眼光学系はプリズム型の光学系である。ＬＣＤ１１の表示面からの光はプリズム１２に入射し、ハーフミラー１３を透過し、凹面ミラー１４によって反射される。この反射光はハーフミラー１３の裏面で反射され、眼球１５に入射する。ここで、ＬＣＤ１１の表示面上の画像は、図示の如く拡大虚像面１６を形成する。観察者はこの虚像面１６を観察することになる。この拡大虚像面１６から眼球１５までの距離Ｉは接眼光学系とＬＣＤ１１の表示面までの距離によって決定される。本実施形態では拡大虚像面１６から眼球１５までの距離Ｉを視距離と呼ぶ。また、立体画像の融像位置は左右画像の持つ視差によって決定される。本実施形態では、この立体画像の融像位置から接眼レンズの主平面までの距離を輻輳距離と呼ぶ。
【００１９】
尚、本実施形態では立体画像表示器としてＨＭＤ３を例示したが、必ずしもＨＭＤ３に限られるものではない。例えば『３次元画像の基礎』（1995年、泉武博監修、ＮＨＫ放送技術研究所編、（株）オーム社発行、pp.130〜178 ）に記載されている表示装置（シャッター切り替え方式やレンチキュラー方式等の各種立体ＴＶ）等を、立体画像表示器として適用可能である。
【００２０】
これらの立体ＴＶにおける視距離は、ＣＲＴ等の表示画面から観察者の眼球までの距離となり、輻輳距離は融像位置から観察者の眼球までの距離となる。
図３は本実施形態の動作を示すフロー図である。このフロー図は、図１に示す立体画像生成装置１から左右画像が出力されたのち、立体画像処理装置２による画像処理、およびＨＭＤ３による画像表示動作までを示すものである。以下、図４以降の図も適時参照しながら本実施形態の装置の動作を説明する。
【００２１】
[ステップＳ１]
立体画像生成生装置１から出力された立体画像信号ＳＡである左右画像信号が立体画像処理装置２に順次入力し受信される。今、図４の（ａ）に示す左画像フレームｍ−１（Ｌ）と図４の（ｂ）に示す右画像フレームｍ−１（Ｒ）とを受信したのち、同図（ｃ）に示す左画像フレームｍ（Ｌ）と同図（ｄ）に示す右画像フレームｍ（Ｒ）とを受信したとする。
【００２２】
ここに示す画像例は、図面上、右方向に走行している自動車を追尾してステレオ撮影した場合の画像例である。したがって同図（ａ）に対する同図（ｃ）の自動車画像位置は変化していない。一方、背景画像は左方向に変化している。以上のことは同図（ｂ）と同図（ｄ）との間でも同じことが言える。
【００２３】
また、カメラ近方に位置していると想定される自動車は、同図（ａ）に示す左画像の画像位置よりも、同図（ｂ）に示す右画像の画像位置が左にずれている。つまり視差を持っている。一方、背景はカメラから無限遠に位置していると想定されるため、同図（ａ）と同図（ｂ）の画像位置は一致している。つまり視差が０となっている。同図（ｃ）と（ｄ）についても同じことが言える。
【００２４】
[ステップＳ２]
時刻の異なる画像間の動きベクトルを検出する。ここでは、左画像フレームまたは右画像フレームのいずれかを用いる。例えば左画像を用いるものとし、図４では同図（ａ）の画像に対する同図（ｃ）の画像の動きベクトルを検出する。動きベクトルの検出法としては、それぞれの画像を小領域のブロックに分割し、各ブロック毎にテンプレートマッチング処理を行なう。このような処理を行なうことにより、結果として同図（ｅ）に示す如き動きベクトルが求まる。
【００２５】
この図４の（ｅ）は、自動車の画像が位置している領域が動きベクトル０、つまり動きがなく、その他の画像が位置している領域は左方向の動きベクトルつまり左方向へ画像が変化していることを表している。
【００２６】
[ステップＳ３]
観察者が注視するであろうと予測される画像領域（注視予測領域と呼ぶ）が決定される。具体的には、画面中にある多数の動きベクトルの中で一部だけ動きベクトルが異なる領域が選定される。図４の（ｅ）の場合は点線枠で囲った部分だけが他の動きベクトルとは異なる。したがって、この領域が注視予測領域であると判断する。
【００２７】
図４の（ｅ）の場合とは逆に、例えば図５のように画面の一部だけが動きベクトルを有し、その他の動きベクトルが０である場合には、動きベクトルを有する領域を注視予測領域とする。
【００２８】
また、図６のように、画面の一部の画像自体が変化した場合には、その変化した領域のみが動きベクトルが得られない異常値となる。この場合は、その異常値を呈した領域を注視予測領域とする。
【００２９】
上記した例は、いずれも画面中に存在する多数の動きベクトルの中で、一部だけ動きベクトルが他とは異なる領域が存在している例であり、その一部だけ動きベクトルが異なる領域を注視予測領域として選定する。
【００３０】
尚、図７のように、一つの画面中に一部だけ動きベクトルの異なる領域が複数（図７の場合は２箇所）存在する場合には、画面の中央に近い方を注視予測領域として選択する。また、画像がほとんど変化しない場合、動きベクトルの違いが相対的に小さく略０値となる。このような場合には、画面中央部の所定面積の領域を注視予測領域とする。
【００３１】
更に、図８のように、例えば車窓から見た風景のように、画面全体が一様に一方の側から他方の側へ変化している場合には、動きベクトルが全て同じベクトル値を有する。このような場合には、画面の中央位置から動きベクトル量とは逆方向に一定幅だけシフトした位置を注視予測領域とする。すなわち観察者は動きに関して、いわば上流側（図示例では新たな画像が出現してくる左側）に注目する傾向をもつ。したがって上記の如く「動きベクトル量とは逆方向に一定幅シフトした位置」を注視予測領域とすることが妥当と言える。
【００３２】
図９は、上述したステップＳ３における「注視予測領域決定」の判断過程を示すフロー図である。
【００３３】
[ステップＳ４]
注視予測領域内の画像の奥行き距離を求める。画像の奥行き距離を求める方法には幾つかあるが、その代表的なもの三つを以下に例示する。
(1)相関方式；注視予測領域において左画像フレームと右画像フレームとの相関計算を行ない、視差を導出する。
(2)距離信号付加方式；画像領域毎に予め奥行き距離を表す信号を付加しておく。そして注視予測領域を選定することで、その領域に対応した奥行き距離信号を特定する。
(3)測距方式；注視予測領域の方向にある物体の奥行き距離を検出する。この検出には、ステレオカメラに設けられている測距センサや、コンピュータグラフィックスのＺバッファ値を用いる。
【００３４】
ここでは、上記(1)の相関方式で奥行き距離を求める場合について、前述の図４を用いて説明する。同図（ｆ）に示すように、フレームｍ（Ｌ）の左画像における注視予測領域は、ステップＳ３で既に定まっている。そこで点線で囲った領域に対応する部分が右画像ｍ（Ｒ）のどの位置に存在するかを相関演算することによって求める。相関演算の例としては、同図（ｆ）の点線で囲った画像をテンプレートとし、同図（ｇ）に示すフレームｍ（Ｒ）の点線で囲った画像に対してテンプレートマッチングを行なう。ここで、同図（ｇ）の点線の領域は、同図（ｆ）に示すように、点線の領域を中心として左右方向に拡大した領域となっている。
【００３５】
相関演算した結果、例えば図１０の（ａ）に示すように、ある相関ピーク値を有する相関シフト量から対応部分がわかる。結果として、図４の（ｇ）の斜線を施した領域が、同図（ｆ）の点線枠で囲った画像と対応していることがわかる。次に、同図（ｆ）の点線領域の中心位置のＸ座標ｘＬと同図（ｇ）の斜線領域の中心位置のＸ座標ｘＲとのずれ（ｘＬーｘＲ）を求める。ここで、Ｘ座標とは、画像の横方向の位置を示す。このずれ（ｘＬーｘＲ）がいわゆる視差であり、奥行き距離を表している。図１０の（ａ）の場合においては、相関ピーク値の相関シフト量がそのまま視差（ｘＬーｘＲ）を示す。
【００３６】
ところで図４の（ｆ）の中に奥行きの異なる複数の画像が含まれている場合もあり得る。この場合には、相関演算の結果、複数の視差値が出力される。このような場合においては、以下のようにして最終的な視差を決定する。
(1)視差の大きい方を最終的な視差とする。つまり近方の視差を選択する。図１０の（ｂ）のように、二つある相関ピークのうち、相関シフト量の大きい方を選択する。
(2)複数の視差の平均値を最終的な視差とする。図１０の（ｃ）のように、二つある相関ピークの相関シフト量の平均値とする。
(3)視差を求める際の相関ピークの大きい方の視差を最終的な視差とする。コントラストの低い画像の場合には、左右画像の相関ピークは小さくなる。一方、コントラストがはっきりしている画像領域や、一箇所にデータ値が集まっている場合には相関ピークは高くなる。よって観察者は、後者の方を注視するものと予測し、相関ピークの高い方の画像の視差を最終的な視差とする。図１０の（ｄ）のように相関ピーク値の高い方の相関シフト量を視差とする。
【００３７】
[ステップＳ５]
奥行き距離の信号に基づいて視距離と輻輳距離とが一致するように、立体画像の奥行き制御を行なう。この奥行き制御の制御方式は、大きく分けると次の２通りとなる。
(1)輻輳距離制御方式；左右画像を水平方向にシフトすることにより、輻輳距離が目標の輻輳距離（＝視距離）となるように制御する方式。
(2)視距離制御方式；視距離が奥行き距離と一致するように視距離を制御する方式（例えば、ＨＭＤ３の接眼光学系における表示素子とレンズとの距離を制御するもの等）。
【００３８】
ここでは、上記 (1)輻輳距離制御方式について説明する。まず、立体画像観察時の視差と輻輳距離Ｌとの関係について説明する。
【００３９】
図１１に示すように、左表示面２１の水平位置ＸL と右表示面２２の水平位置ＸR とに像を表示したとき、点Ｂの位置でＸL とＸR の像は一致する。この点Ｂから左右の接眼レンズ２３，２４の主平面までの距離を輻輳距離Ｌとする。このときのＸL とＸR は次式（１）（２）で表される。
ＸL ＝｛  ｄ＋（−Ｈ）｝／Ｌ・tanθ                        …（１）
ＸR ＝｛−ｄ＋（−Ｈ）｝／Ｌ・tanθ                        …（２）
ｄは左右レンズの中間点（原点）から左右レンズのそれぞれの中心点（左右の主点Ｃ，Ｅ）までの距離である（右眼側は正、左眼側は負の値となる）。θはレンズの半画角である。また、−Ｈは、点Ｂの水平位置である。
【００４０】
ここで、左表示面２１の水平位置ＸL と右表示面２２の水平位置ＸR とは、表示領域における光軸との交差点を０として、図１２に示すように表示領域の水平長さを「２」として規格化している。式（１）は、図１１における点Ａ、点Ｂ及び点Ｃによって作られる三角形と、左表示面２１での原点０と点ＸL と点Ｃとによって作られる三角形とが相似であることから導くことができる。式（２）も同様に、点Ｄ、点Ｂ及び点Ｅによって作られる三角形と、右表示面２２での原点０と点ＸR と点Ｅとによって作られる三角形とが相似であることから導くことができる。
上記二つの式から次式が導かれる。
ＸL −ＸR ＝２ｄ／Ｌ・tanθ                                …（３）
上式（３）は視差（ＸL-ＸR ）と輻輳距離Ｌとの関係を表している。よって輻輳距離Ｌと視距離Ｉとが一致するための視差の条件は次式（４）で表せる。
ＸL −ＸR ＝２ｄ／Ｉ・tanθ                                …（４）
【００４１】
前記奥行き制御方式のうち、 (1)輻輳距離制御方式では、視差（ＸL-ＸR ）が常に上式（４）を満たすように視差制御が行なわれる。その制御の仕方としてはステップＳ５で求めた視差（ＸL-ＸR ）と、式（４）の差分だけ画像全体を水平方向にシフトする。その左画像のシフト量ＳLと右画像のシフト量ＳRとは例えば次式となる。
ＳL＝−（ＸL −ＸR ）＋ｄ／Ｉ・tanθ                      …（５）
ＳR＝−（ＸL −ＸR ）−ｄ／Ｉ・tanθ                      …（６）
【００４２】
ここで、ＳLとＳRの符号「−」は左水平方向シフトを示し、符号「＋」は右水平方向シフトを示している。視差（ＸL−ＸR ）が目標視差よりも大きい時、つまり輻輳距離Ｌが視距離Ｉよりも近方にあるときは、左画像を右方向へシフトし右画像を左方向へシフトして、輻輳距離Ｌと視距離Ｉとを一致させる。これとは逆に視差（ＸL−ＸR ）が目標視差よりも小さい時、つまり輻輳距離Ｌが視距離Ｉよりも遠方にあるときは、左画像を左方向へシフトし右画像を右方向へシフトして、輻輳距離Ｌと視距離Ｉとを一致させる。
【００４３】
このステップＳ５ではステップＳ４で求めた自動車画像の視差（ＸL−ＸR ）に基づいて式（５）（６）の演算を実行し、シフト量ＳLとＳRとを求め、画像シフトを行なう。図４の例では、自動車画像の視差（ＸL−ＸR ）が目標視差よりも大きい時は、同図（ｈ）（ｉ）に示すように左画像を左方向へシフトさせ、右画像を右方向へシフトさせる。
【００４４】
[ステップＳ６]
立体画像処理装置２で奥行き制御された左右画像信号がＨＭＤ３に供給され、ＨＭＤ３によって上記奥行き制御された左右画像信号の表示が行なわれる。
以下、これらのステップＳ１〜Ｓ６までが繰り返される。
【００４５】
図１３は、図４に示した画像例について上述した如く処理した立体画像を観察する場合の状況を示す図である。図１３に示すように、自動車像が虚像面上で融像し、背景が遠方に融像した状態で、左方向へ流れていく立体画像を観察することができる。
【００４６】
図１４は第１実施形態における立体画像処理装置２の内部構成を示すブロック図である。尚、図１４の左上に、二点鎖線で囲ったブロック６０（視線検出器６１からの信号を視線ベクトル演算部６２で演算して出力するブロック）は、第４実施形態の構成を示すために付加された部分であり、第１実施形態の構成には直接関係がない。
【００４７】
図１４に示すように立体画像生成装置１からの左画像信号および右画像信号を受信すると、この左右画像信号から分離された垂直同期信号が、各ブロックの処理タイミングを制御するためのタイミング制御部３１へ入力する。尚、図１４に示されている符合ＴＣは、上記垂直同期信号に相当する信号を示している。
【００４８】
上記左右画像信号は、Ａ／Ｄ変換器３２，３３でＡ／Ｄ変換された後、切換えスイッチ３４，３５を介してメモリ1〜メモリ5へ選択的に供給されるものとなっている。左画像信号はメモリ1とメモリ2とメモリ3のうちいずれかに記憶される。これらの各メモリへの記憶動作は、切換えスイッチ３４によりフィールド毎またはフレーム毎に交互にスイッチングされながら実行される。したがって、メモリ1〜メモリ3には、１フィールド毎または１フレーム毎に異なった画像が記憶される。
【００４９】
今、時刻ｍにおいてメモリ1には左画像ｍ（Ｌ）が記憶され、メモリ2には左画像ｍ−1（Ｌ）が記憶されるものとする。また、メモリ3には次のフレーム左画像ｍ＋1（Ｌ）が記憶されるものとする。
【００５０】
一方、右画像もメモリ4及びメモリ5に対し、切換えスイッチ３５によりスイッチングされて記憶される。ここではメモリ4には右画像ｍ（Ｒ）が記憶され、メモリ5には右画像ｍ＋１（Ｒ）が記憶されるものとする。
【００５１】
次に、メモリ1〜メモリ3のうち、二つのメモリ内に記憶されている両画像が比較され動きベクトルを演算される。時刻ｍではメモリ1とメモリ2とが選択され、ｍ（Ｌ）画像信号とｍ-1（Ｌ）画像信号とが動きベクトル検出部へ出力される。ここで、選択されるメモリ番号は時刻に応じて順次切り替わる。（以上がステップＳ１に相当。尚、ステップＳ１では全ブロックのベクトルの各値を得てそれらの平均を求める。）
【００５２】
動きベクトル検出部３６は、両画像を複数のブロックに分割し、一方の画像内のブロックと相関の高いブロックをもう一方の画像内から探す。両画像におけるブロックの位置の差が動きベクトルとなる。この演算処理は各ブロック毎に行なわれ、各ベクトル信号が注視予測領域決定部３７に入力する。（以上がステップ２に相当）
【００５３】
注視予測領域決定部３７は、前述したように図９に示すフロー図にしたがって注視予測領域の演算を行なう。以下、図９に示すフロー図について説明する。
【００５４】
ステップＳ３ー１では、全体の動きベクトルの中で一部だけ異なるベクトルがあるか否かを判定する。この判定は先ず全体の動きベクトルの分散値を求め、その分散値が規定の値を超えるか否かを確認することによって行なわれる。ここで、分散値とは、複数に分割した各画像ブロック毎の動きベクトルのバラツキ度合をいう。
【００５５】
ステップＳ３ー２では、ステップＳ３ー１で一部だけ異なるベクトルがあると判定されたとき、そのベクトル領域が一つなのか複数なのかを判定する。この判定は、動きベクトルの偏差（バラツキの幅）の90％以上偏位している動きベクトルがあるか否かを検索し、90％以上偏位している動きベクトルが存在している画面上の座標位置を見つけ、いわゆるラベリングを行ない、このラベリングを行なった数が一つか複数かで判定するものである。
【００５６】
ステップＳ３ー３では、前記ステップＳ３ー２での判定結果が「一つ」である場合、当該ラベリングされた一つのブロック番号に相当する信号を注視予測領域信号として相関演算部３８へ出力する。
【００５７】
一方、ステップＳ３ー４では、ステップＳ３ー２での判定結果が「複数」である場合、各ラベルの中心座標を演算し、その中心座標が画面中央に近い方のラベルにおけるブロック番号に相当する信号を注視予測領域信号として相関演算部３８へ出力する。
【００５８】
前記ステップＳ３ー１において、一部だけ異なる動きベクトルは存在しないと判定された場合には、ステップＳ３ー５へ移る。ステップＳ３ー５では、全体の動きベクトルの平均値が０であるか否かを判定する。ステップＳ３ー６では、ステップＳ３ー５で全体の動きベクトルの平均値が０であると判定されたとき、予め注視予測領域決定部内に記憶されている画面中央部におけるブロック番号に相当する信号を、注視予測領域信号として相関演算部３８へ出力する。ステップＳ３ー７では、ステップＳ３ー５で全体の動きベクトルの平均値が０でないと判定されたとき、上述のブロック番号を動きベクトル平均値の反対方向にシフトしたブロック番号に相当する信号を注視予測領域信号として相関演算部３８へ出力する。
【００５９】
以上が注視予測領域決定部３７の動作である。次に相関演算部３８について説明する。相関演算部３８は、前記した如く注視予測領域として決定されたブロック番号を、そのままメモリ1〜メモリ3のいずれかに出力する。時刻ｍにおいては左画像ｍ（Ｌ）が記憶されているメモリ1へ出力する。一方、右画像に対しては、先ほどのブロック番号に予め相関演算部３８が記憶している水平冗長ブロック数分α（視差相応の見込みずれ量。これだけのマージン領域αを広げてブロック番号で特定される領域を全てカバーし得る領域Ｚを特定し、その上で左右のずれ量の比較を行なう必要があるからである。）を付加して、メモリ4、メモリ5のいずれかに出力する。時刻ｍにおいては、右画像ｍ（Ｒ）が記憶されているメモリ4へ出力する。メモリ1とメモリ4は受信したブロック番号内の画像信号を相関演算部３８に返す。そして相関演算部３８は左画像信号をテンプレートにして、１ブロックづつ左画像をシフトして右画像信号との減算を行なう。ここで、減算値が小さいほど相関値は高い。相関演算部３８は、各シフト量に対する減算値を視差演算部３９へ出力する。
【００６０】
視差演算部３９では、図１０に示す視差決定法に基づき、減算値を利用して最終的な視差値を求める。視差値はシフト量演算部４０へ出力される。（ステップ４に相当）
【００６１】
シフト量演算部４０では、式（５）（６）の演算を行なって左画像用シフト量と右画像用シフト量を求める。各シフト量は左右それぞれの画像読み出し制御部４１，４２へ出力され、各画像読み出し制御部４１，４２は、各メモリ内の画像信号をシフト量だけシフトして読み出す。（ステップ５に相当）
【００６２】
読み出された左右画像信号は、Ｄ／Ａ変換器４３，４４によりそれぞれＤ／Ａ変換されたたのち、ＨＭＤ３の左右表示素子にそれぞれ供給されて表示される。（ステップ６に相当）
【００６３】
上述した第１実施形態は、動きベクトルを検出し、画面中において一部だけ画像の変化が異なる領域を求め、その領域内にある画像の奥行き距離を求め、立体画像観察における視距離と輻輳距離とが合致するよう制御するものである。本実施形態によれば、視線検出器を用いる必要がないので、装置全体を小型に、しかも安価に得ることができる。
【００６４】
「第２実施形態」（左右画像の動きベクトル検知）
第１実施形態では動きベクトルを左右画像の一方のみについて求めたが、この第２実施形態では、第１実施形態の一部を変形し、左右画像の双方に動きベクトルを求めるようにしたものである。
【００６５】
図１５に示す画像例では、同図（ａ）（ｃ）に示す左画像について同図（ｅ）に示す動きベクトルを求めると共に、同図（ｂ）（ｄ）に示す右画像についても同図（ｆ）に示す動きベクトルを求める。そして、同図（ｇ）（ｈ）に示すように、それぞれの注視予測領域を決定する。
【００６６】
次に、それぞれの注視予測領域の中心座標ｘＬ、ｘＲを求める。そして、これらの座標ｘＬとｘＲとの差（ｘＬーｘＲ）を視差と定める。このように第２実施形態では相関演算を行なわない。
【００６７】
図１６は第２実施形態における立体画像処理装置の内部構成を示すブロック図である。左右画像ともに、注視予測領域決定部３７までは共通である。このため共通部分は二点鎖線で囲み一方を省略した。左右それぞれの注視予測領域決定部３７からは中心座標値ｘＬとｘＲとが視差演算部３９へ出力される。視差演算部３９では（ｘＬ−ｘＲ）を行ない、その結果をシフト量演算部４０へ出力する。後の処理は第１実施形態の場合と同じなので説明は省略する。
【００６８】
本実施形態では、相関演算を行なわずに視差量を求め得るので、処理時間を短くて済むというメリットがある。
【００６９】
「第３実施形態」（フィールド順次対応）
第３実施形態は、第１実施形態の一部を変形し、フィールド順次（またはフレーム順次）立体映像に対して有効なものとした例である。すなわち、時刻の異なる左右画像間の動きベクトルを検出し、注視点を予測して視差を求めるようにする。
【００７０】
図１７は第３実施形態の処理動作を示すフロー図である。このフロー図について、図１８に示す画像処理例を参照しながら説明する。尚、本実施形態では、図１８の（ａ）（ｂ）（ｃ）に示すように、右画像フレーム番号ｍ−１（Ｒ）、左画像フレームｍ（Ｌ）、右画像フレームｍ＋１（Ｒ）…と言う具合に、左右画像を交互に受信するものとする。
【００７１】
[ステップＳ１１]
左画像フレームｍ（Ｌ）を受信する。
[ステップＳ１２]
右画像フレーム番号ｍ−１（Ｒ）に対する左画像フレームｍ（Ｌ）の動きベクトルｍをブロック毎に求める。すなわち隣接フィールド区間どうしの比較（左用フィールドと右用フィールドとの間の比較）で動きベクトルを求める。したがってこの結果は左右の視差を含んだものとなる。図１８の（ｄ）は上記結果例を示す。背景画像については左方向の動きベクトルが現れる。また、車の画像領域については視差分の動きベクトルが現れる。
[ステップＳ１３]
右画像フレームｍ＋１（Ｒ）を受信する。
【００７２】
[ステップＳ１４]
左画像フレーム番号ｍ（Ｌ）に対する右画像フレーム番号ｍ＋１（Ｒ）の動きベクトルをブロック毎に求める。図１８の（ｅ）はその結果例を示す。背景画像については、（ｄ）と同様に左方向の動きベクトルが現れる。一方、車の画像領域については、（ｄ）とは逆方向の視差分の動きベクトルが現れる。
【００７３】
[ステップＳ１５]
図１８の（ｄ）の動きベクトルと、同図（ｅ）の動きベクトルとについて、ブロック毎の平均値を求める。等速運動をする物体については視差分がキャンセルされるためこのようにする。図１８の（ｆ）はその結果を示している。背景画像については左方向の動きベクトルが現れ、車の画像に関しては動きベクトルが０となる。
【００７４】
[ステップＳ１６]
得られた動きベクトルの平均を用いて第１実施形態と同様の注視予測領域の決定を行なう。図１８の場合には、等速運動をする物体については視差分がキャンセルされるため動きベクトルが０値である領域を注視予測領域とする。
【００７５】
[ステップＳ１７]
図１８の（ｄ）の動きベクトルから同図（ｅ）の動きベクトルをブロック毎に差分し１／２にする。こうすることにより背景に関する動きがキャンセルされ、視差ベクトルが現われる。図１８の（ｇ）はその結果を示している。図示の如く背景画像についてはベクトル値が０となり、車の画像に関しては右方向の視差ベクトルが現れる。この視差ベクトル値が車の画像の奥行き情報となる。
この後のステップは第１実施形態の場合と同じであるため説明を省略する。
【００７６】
図１９は第３実施形態における立体画像処理装置の内部構成を示すブロック図である。フィールド毎に交互に受信した左右画像信号はＡ／Ｄ変換器５０によりＡ／Ｄ変換されたのち、メモリ1、メモリ2、メモリ3に記憶されていく。
【００７７】
今、時刻ｍにおいて、メモリ1にはフィールド画像ｍ（Ｌ）が記憶され、メモリ2にはフィールド画像ｍ−１（Ｒ）が記憶されており、そして次のフィールド画像ｍ＋１（Ｒ）がメモリ3に記憶されるものとする。三つのメモリのうち二つのメモリが選択され、その内容が動きベクトル検出部３６へ出力される。
【００７８】
時刻ｍにおいては、メモリ1とメモリ2とが選択され、読み出された画像信号が動きベクトル検出部３６に入力する。動きベクトル検出部３６は、選択された二つのメモリの画像における動きベクトルを検出して出力する。この出力された動きベクトルは第１動きベクトルメモリ５１に記憶される。次の時刻ｍ＋１になると、メモリ1とメモリ3とが選択され、両画像の動きベクトルが検出される。この検出された動きベクトルは第２の動きベクトルメモリ５２に記憶される。
【００７９】
次に、第１，第２の動きベクトルメモリ５１，５２に記憶されている各動きベクトルの信号は、動きベクトル加算器５３へ出力される。動きベクトル加算器５３で加算された結果は、注視予測領域決定部３７へ出力される。注視予測領域決定部３７は、図１４に示す第１実施形態の構成ブロック図における注視予測領域決定部３７と同じ働きをする。注視予測領域決定部３７は、演算結果が相対的に特異な値を示す領域を識別し、その領域のブロック番号を視差演算部３９へ出力する。
【００８０】
一方、第１，第２の動きベクトルメモリ５１，５２に記憶されている各動きベクトルは、動きベクトル減算器５４にも出力される。この動きベクトル減算器５４による減算結果は視差演算部３９へ出力される。視差演算部３９では、注視予測領域決定部３７から受信したブロック番号における動きベクトルと動きベクトル減算器５４から受信した減算の結果とに基づいて視差を決定する。決定された視差信号は、シフト量演算部４０へ出力され、シフト量が演算される。この演算されたシフト量に応じて、メモリ1〜メモリ3に記憶されている画像が、表示用読み出し制御部５５によってシフトされた状態で読み出される。読み出された画像は、Ｄ／Ａ変換器５６でＤ／Ａ変換された後、切替え器５７によりフィールド毎に左表示素子と右表示素子への出力に切替られて送出される。
【００８１】
第３実施形態においては、フィールド順次立体画像に対応する如く構成されており、第１実施形態における相関演算部３８の働きを、動きベクトル検出部３６が兼ねた構成となっているため、全体のブロック数が少なくて済み、安価に製作できるという利点を持つ。
【００８２】
「第４実施形態」（視線動きベクトルを利用）
第４実施形態は、第１実施形態の一部を変形し、動画像間の動きベクトルと観察者の視線の動きベクトルとを検出し、両者の比較から注視予測領域を決定するようにした例である。
【００８３】
観察者の視線の動きベクトルを検出する方法として、ＨＭＤ３に設けた視線検出器を利用する。ただしこの視線検出器は、従来用いられていたような、視線の絶対座標を調べるのものではなく、視線の相対的な変動を検出する目的で用いるものである。よって高精度なものである必要はなく、また、視線の絶対座標を割り出すためのキャリブレーション等も不要である。
【００８４】
図２０は第４実施形態の動作を示すフロー図である。図３に示した第１実施形態の動作を示すフロー図との比較から分かるように、「観察者の視線の動きベクトルの検出」（ステップＳ２３）が新たに加わったことと、「立体画像の奥行き制御」（ステップＳ５）の代わりに「視距離と輻輳距離との合致制御」（ステップＳ２６）が加わったことの二点が大きく異なるだけで他はほぼ同様である。
【００８５】
第１実施形態の場合と同様に、まず動きベクトルを検出し、同時に観察者の視線の動きベクトルを検出する。そして全体の動きベクトルの中で、視線の動きベクトルと同じベクトルを有する画像領域を決定し、この画像領域を注視予測領域とする。
【００８６】
尚、ステップＳ２３における「観察者の視線の動きベクトルの検出」は、視線方向角の変化Δθを精度よく検出することは比較的容易であるが、視線方向の絶対値を検出することは困難である。したがって本実施形態では、上記Δθに相応する動きベクトルが、画面内のブロックのいずれの位置に対応するかに基づいて注視予測領域を特定することにした。この結果、例えば図２１の（ｃ）に示すような動きベクトルが現れる。
【００８７】
次に、フレーム間での視線の動きベクトルを検出する。その検出の結果、視線の動きベクトルが、例えば図２１の（ｄ）に示す如く右向きであれば、図２１の（ｃ）に示す如く、注視予測領域は動きベクトルが右向きの領域となる。
【００８８】
第４実施形態における立体画像処理装置の内部構成を示すブロック図は、図１４の左上に、一点鎖線で囲ったブロック６０（視線検出器６１からの信号を視線ベクトル演算部６２で演算して出力するブロック）が付加された状態の全体ブロック図に相当するものとなる。
【００８９】
第４実施形態は、第１実施形態のように画像のみから注視予測領域を決定するのではなく、視線の動きを検出する視線検出器６１を用いて注視予測領域を決定するように構成されているので、注視する領域が観察者によって大きく変わる場合であっても、より的確に対応できるという利点を持つ。
【００９０】
「第５実施形態」（周辺のみの動きベクトル）
第５実施形態は、第１実施形態の一部を変形し、動きベクトルを画像の周辺のみについて検出し、画像周辺において、一部だけ動きベクトルの異なる領域がある場合には、その領域を注視予測領域となし、ない場合には画面中央を注視予測領域とするものである。
【００９１】
図２２は第５実施形態の動作を示すフロー図である。また、図２３は上記フロー図の説明に用いる処理画像例を示す図である。
[ステップＳ３１]
左右画像信号を、例えば図２３の（ａ）（ｂ）（ｃ）（ｄ）の順で順次受信する。
[ステップＳ３２]
画像中央領域内の画像に対する奥行き距離を演算する。図２３の（ｅ）（ｆ）に示すように、左右画像の中央領域の画像を用いて相関演算を行ない、視差1を求める。
[ステップＳ３３]
画像領域の周辺画像についてのみ、動きベクトルを検出する。図２３の（ｇ）に示すような動きベクトルが表れる。
【００９２】
[ステップＳ３４]
第１実施形態の注視予測領域決定と同じ処理を用い注視予測領域を選定する。すなわち周辺画像領域内における特異な動きベクトルを示す領域を特定（判定）する。図２３の（ｇ）における点線で囲んだ部分が注視予測領域となる。
[ステップＳ３５]
第１実施形態の場合と同様に、上記注視予測領域に関する奥行き距離を演算する。図２３の（ｈ）（ｉ）に示すように、相関演算を行ない視差2を求める。
[ステップＳ３６]
ステップＳ３２で得られた画像中央奥行き距離と、ステップＳ３５で得られた注視予測領域奥行き距離とに基づいて、立体画像の奥行き制御値を決定する。その決定方法としては、図１０に示した決定方法と同じ方法を用いる。
【００９３】
尚、ステップＳ３４で、一部だけ動きベクトルの異なる画像領域が見つからなかった場合には、画像中央の奥行き距離をもって奥行き制御を行なう。また、ステップＳ３４で、一部だけ動きベクトルの異なる画像領域が見つかった場合には、図２３に示した二つの視差値、つまり視差1と視差2とを用い、以下の三つの方法により最終視差値を求める。
(1)観察者からみて手前側にある画像を注視するであろうという判断に基づいて、視差の大きい方を最終的な視差とする。
(2)どちらも見ている場合もあり得るため、そのようなケースに対応する為、複数の視差の平均値を最終的な視差とする。
(3)相関比較においてマッチングの度合いが高い方、はっきりした画像部分に注目するであろうという判断に基づき、視差を求める際の相関ピークが大きい方の視差を最終的な視差とする。
この後の処理は第１実施形態の場合と同じである。
【００９４】
図２４は第５実施形態における立体画像処理装置の内部構成を示すブロック図である。図１４に対して以下の点が異なっている。
【００９５】
一対のＡ／Ｄ変換器３２，３３によるＡ／Ｄ変換後の左右画像信号がそれぞれ二つに分岐される。そして一方の左右画像信号は、図１４の場合と同じ処理が行なわれる。ただし動きベクトル検出は周辺画像についてのみ行なわれる。周辺画像の動きベクトル検出部３６は周辺部データの抽出と、抽出したデータ値の比較（動き検出）との双方を行なう。すなわち動きベクトル検出部３６は、メモリ1〜メモリ3から周辺画像信号のみを受信し、動きベクトルを検出した後、注視予測領域決定部３７へ供給される。
【００９６】
他方、分岐されたもう一方の左右画像信号は、画像中央抽出部７１によって画像中央の画像信号のみを抽出される。抽出された画像中央の画像信号は、相関演算部７２に入力し、画像中央のみについての左右画像の相関演算が行なわれる。その結果は視差演算部３９に出力される。視差演算部３９では、上記相関演算部７２および図１４で説明した相関演算部３８からの相関演算の結果を用い、前述した決定方法により最終視差値を決定する。この後の処理は第１実施形態の場合と同じである。
【００９７】
本実施形態では、画像周辺部だけの動きベクトルの検出と、最も注視する確率の高い画像中央部の奥行き距離の演算とが同時平行して行なわれることから、全体の処理時間を大幅に短縮できるという利点がある。また、本実施形態においては前記最終視差値を求める三つの方法(1)(2)(3)が加味された注視予測領域の弁別が行なわれる為、より目的に合致した判別がなされ得る利点がある。
【００９８】
「第６実施形態」（精度の低い視線検出器で選択）
第６実施形態は、第１実施形態の一部を変形し、注視予測領域決定において、動きベクトルの異なる領域が複数存在する場合に、視線検出器での観察者の視線信号を用いて、複数のうちどれかを決定する。ここで用いる視線検出器は、絶対座標として視線位置が可能であるが，検出角度精度が±５°程度のかなり低い精度のものでも使用可能である。
【００９９】
図２５の（ａ）〜（ｃ）に示すように、動きベクトルの異なる二つの領域Ｍ，Ｎがある場合において、観察者が同図（ｄ）に示すように、画面中央下部を見ているという情報を精度の低い視線検出器（例えば角度精度±５°程度のもの）で検出したとき、当該画面中央下部の領域内にある方の動きベクトルを選択するものである。
【０１００】
本実施形態は、第１実施形態のように画像だけから注視予測領域を決定するものではないので、注視する領域が観察者によって大きく変わる場合においても、的確に対応できるという利点を持つ。
【０１０１】
「第７実施形態」
本実施形態では、第１実施形態で用いた動きベクトルの代わりにエッジ差分画像を用い、画面中において一部だけ画像の変化が異なる領域を求め、その領域を観察者が注視するであろうと予測する。その後、第１実施形態と同様に注視予測領域内にある画像の奥行き距離を求め、立体画像観察における視距離と輻輳距離とが合致するように制御する。
【０１０２】
この第７実施形態に係る立体画像表示装置の構成（概要）は、図１及び図２に示した第１実施形態の構成と同じなので、その説明は省略する。
【０１０３】
図２６は第７実施形態の動作を示すフロー図である。このフロー図は、図１に示す立体画像生成装置１から左右画像が出力されたのち、立体画像処理装置２による画像処理、およびＨＭＤ３による画像表示動作までを示すものである。以下他の図も適時参照しながら本実施形態の装置の動作を説明する。
【０１０４】
[ステップＳ４１]
立体画像生成装置１から出力された左右画像信号は、立体画像処理装置２に順次受信される。今、第１実施形態と同様に、図４の（ａ）（ｂ）に示す左画像フレームｍ−1（Ｌ）と右画像フレームｍ−1（Ｒ）を受信した後、同図の（ｃ）（ｄ）に示す左画像フレームｍ（Ｌ）と右画像フレームｍ（Ｒ）とを受信したとする。これらの画像は既に説明したように、自動車は画面上の所定位置にあって動かず背景のみが移動する画像である。
【０１０５】
[ステップＳ４２]
立体画像処理装置２は受信した画像を順次エッジ抽出を行ない、エッジ画像を生成する。図２７の（ａ）（ｂ）（ｃ）（ｄ）は、それぞれ図４の（ａ）（ｂ）（ｃ）（ｄ）に対応するエッジ画像である。これらのエッジ画像は２値化されており、エッジ部分が「１」で、それ以外が「０」である。
[ステップＳ４３]
フレーム間におけるエッジ画像の変形部分を検出する。検出方法として、現フレームのエッジ画像から前フレームのエッジ画像を減算し差分画像を生成する。ここで差分の結果、負の値となるものは０値とする。
【０１０６】
図２７の場合は、同図（ｃ）の左画像フレームｍ（Ｌ）のエッジ画像から同図（ａ）の左画像フレームｍ−1（Ｌ）を減算する。同図（ｅ）は減算により得られた画像を示している。同図（ｅ）に示す如く、静止した車の画像は消える。また、結果がマイナスになるところの画像も消える。また、右画像フレームについても同様に、同図（ｄ）の右画像フレームｍ（Ｒ）のエッジ画像から同図（ｂ）の右画像フレームｍ−1（Ｒ）を減算する。同図（ｆ）は減算により得られる画像を示している。どちらも背景画像に関するエッジ画像が抽出されている。ステップＳ４３の処理により生成される画像を、本実施形態では「変形エッジ画像」と呼ぶことにする。
【０１０７】
[ステップＳ４４]
このステップＳ４４では、フレーム間において変形していない部分の検出を行なう。その検出方法としては、現フレームのエッジ画像からステップＳ４３で検出した変形エッジ画像を減算し、差分画像を生成する。図２７の（ｇ）（ｈ）はそれぞれ同図（ｃ）から（ｅ）を減算した画像と、同図（ｄ）から（ｆ）を減算した画像である。どちらも自動車に関するエッジ画像が抽出されている。
ステップＳ４４の処理によって生成される画像を、本実施形態では「固定エッジ画像」と呼ぶことにする。
【０１０８】
[ステップＳ４５]
このステップＳ４５は第１実施形態のステップＳ３の注視予測領域の決定に相当する。本実施形態では、ステップＳ４３で求めた変化エッジ画像と、ステップＳ４４で求めた固定エッジ画像のうち、どちらに観察者が注目する画像情報が入っているかを予想する。その予想は、エッジが一箇所に集中している方を注視するものと予測する方法を用いて行なう。
【０１０９】
具体的な処理方法としては、「１」の値を示す点の画像内での分布状況を検出する。しかるのち変形エッジ画像と固定エッジ画像のいずれの分布の広がりが小であるかを判別する。これは分布の小さい方が画面内における特異な領域である蓋然性が高いとの思想に基づいている。そこで分布の広がりの小さい方を選ぶ。分布の広がりがほぼ同じ場合には平均値がより画像中央座標に近い方を選ぶ。
【０１１０】
図２８の場合には、同図（ｅ）と（ｇ）を比較し、（ｇ）の方がエッジの分布の広がりが小さいので、固定エッジ画像である（ｇ）を選択する。同様に右画像についても同図（ｆ）と（ｈ）を比較し、（ｈ）の方がエッジの分布の広がりがが小さいので、固定エッジ画像である（ｈ）を選択する。勿論、図２８のように自動車が画面上を移動する画像の場合には、変形エッジ画像である同図（ｅ）又は（ｆ）を選択する。
【０１１１】
このように変形エッジ画像又は固定エッジ画像を選択し、選択したエッジ画像における上記平均座標値を中心とした予め定めた面積の領域を注視予測領域とする。
【０１１２】
図２７の場合には、同図（ｇ）（ｈ）に示した点線で囲んだ領域を注視予測領域とする。
また、変形エッジ画像と固定エッジ画面とのいずれかのデータ数の総和（例えば小区分毎に弁別するときの全画面について「１」となる箇所の総和）が予め設定したデータ数よりも少ない場合には、他方の画像を選択する。つまり少ない方の画像は判断の基礎として用いない。これは画面全体が一様に変化している場合や静止画の場合に適応可能とする為である。
【０１１３】
例えば、図２９に示すように、画面が一様に変化する場合には、変形エッジ画像である同図（ｅ）（ｆ）は、ほぼ現フレームのエッジ画像（ｃ）（ｄ）と同じであり、固定エッジ画像である（ｇ）（ｈ）はエッジが現れない。この場合には（ｇ）（ｈ）のデータ数の総和は小さいので変形エッジ画像である（ｅ）（ｆ）が選択される。
【０１１４】
一方、図３０に示すような静止画の場合には、図２９とは逆になる。すなわち変形エッジ画像である（ｅ）（ｆ）はエッジが現れない。この場合には、固定エッジ画像である（ｇ）（ｈ）が選択される。
【０１１５】
このように変形エッジ画像か固定エッジ画像かを選択し、選択したエッジ画像において予め定めてある画面中央領域を注視予測領域とする。前記した図２９の場合は、（ｅ）（ｆ）の点線で囲んだ領域が注視予測領域である。
【０１１６】
図３１は、上述したステップＳ４５における画像選択操作を示すフロー図である。本実施形態のように変形エッジ画像と固定エッジ画像とを生成し、いずれを注視するかについて自動認識することにより、上記のような各種画像に幅広く対応できる。
【０１１７】
図２６に説明を戻す。
[ステップＳ４６]
ステップＳ４５で選択した方の画像について奥行き距離を求める。奥行き距離の求め方は第１実施形態のステップＳ４と同様である。
[ステップＳ４７]
奥行き距離の信号に基づいて視距離と輻輳距離とが合致するように制御する。この制御の方法は第１実施形態のステップＳ５と同様である。
[ステップＳ４８]
左右画像を表示する。第１実施形態のステップＳ６と同じである。
以下、これらステップＳ４１〜Ｓ４８までを繰り返す。
【０１１８】
図３２は第７実施形態における立体画像処理装置の内部構成を示すブロック図である。尚、図３２において、二点鎖線枠で囲んだ左右画像に対応する前処理部は同じ構成であるため、右画像側内部構成の図示を省略した。
【０１１９】
立体画像生成装置１から到来した左右画像信号は、一方においてＡ／Ｄ変換器３２，３３によりＡ／Ｄ変換されたのち、前処理部８０，９０に入力する。上記左右画像信号から分離された同期信号は、各ブロックの処理タイミングを制御するためのタイミング制御部３１へ供給される。
【０１２０】
前処理部８０に入力した左画像信号は、スイッチ３４により各フレーム毎にスイッチングされて、メモリ1〜メモリ3のいずれかに記憶される。このため各メモリには１フレーム毎に異なった画像が記憶される。時刻ｍにおいて、メモリ1には左画像ｍ（Ｌ）が記憶され、メモリ2には左画像ｍ−１（Ｌ）が記憶されたとする。又メモリ3には次のフレーム左画像ｍ＋１（Ｌ）が記憶されるものとする。右画像についても左画像と同じである。（ステップＳ４１に相当）
【０１２１】
次に、メモリ1〜メモリ3から読み出された各画像は、スイッチ８１を介してエッジ処理部８２へ順次入力し、ここでエッジ画像が生成される。上記エッジ処理は、前述したようにエッジ部分を「１」、それ以外を「０」とする２値化処理である。生成されたエッジ画像は、変形エッジ画像生成部８３と固定エッジ画像生成部８４へと出力される。（ステップＳ４２に相当）
【０１２２】
変形エッジ画像生成部８３では、順次受信されるエッジ画像を用いて、エッジ画像の減算を行なう。時刻ｍにおいては、変形エッジ画像生成部はｍ−１（Ｒ）のエッジ画像を記憶しており、今受信したｍ（Ｒ）のエッジ画像からこのｍ−１（Ｒ）のエッジ画像を減算する。この減算したエッジ画像信号を固定エッジ画像生成部８４と注視予測領域決定部８５へ出力する。（ステップＳ４３に相当）
【０１２３】
固定エッジ画像生成部８４では、順次受信するエッジ画像について、変形エッジ画像生成部８３から順次受信する変形エッジ画像を減算し，固定エッジ画像を生成する。生成された固定エッジ画像は注視予測領域決定部８５へ出力される。（ステップＳ４４に相当）
【０１２４】
注視予測領域決定部８５では、変形エッジ画像と固定エッジ画像とを用いて注視予測領域を決定する。この注視予測領域決定部８５では、図３１に示すフローに基づいた注視予測領域の演算が行なわれる。結果として、注視予測領域のエッジ画像が相関演算部３８へ出力される。右画像においても同様の処理が行なわれ右画像の注視予測領域のエッジ画像が相関演算部３８へ出力される。（ステップＳ４５に相当）
【０１２５】
相関演算部３８では、左右のエッジ画像の相関演算が行なわれる。この相関演算は、第１実施形態の相関演算と同じであるため説明を省略する。結果として、相関シフト量に対する相関値が視差演算部３９へ出力される。視差演算部３９では、第１実施形態と同様の作業を行ない最終的な視差値を求める。視差値はシフト量演算部４０へ出力される。（ステップＳ４６に相当）
【０１２６】
シフト量演算部４０は、第１実施形態と同様に、式（５）（６）の演算を行なって、左画像用シフト量と右画像用シフト量とを求め、各シフト量を左右それぞれの画像読み出し制御部４１，４２へ出力する。各画像読み出し制御部４１，４２は、各メモリ内の画像信号をシフト量分だけシフトして読み出す。（ステップＳ４７に相当）
【０１２７】
この様にシフトして読み出された左右画像信号は、Ｄ／Ａ変換器４３，４４によりＤ／Ａ変換されたのち、ＨＭＤ３内の左右表示素子に供給され表示される。（ステップＳ４８に相当）
【０１２８】
第７実施形態は、エッジ画像の差分を検出し、画面中において一部だけ画像の変化が異なる領域を求め、その領域内にある画像の奥行き距離を求め、立体画像観察における視距離と輻輳距離とが合致するよう制御するものである。本実施形態によれば、視線検出器を用いる必要がないので装置全体を小型にでき、安価に製作し得る。また、本実施形態では差分演算処理を用いるので、動きベクトルを用いる第１実施形態に比べると、処理時間が速いという利点がある。
【０１２９】
「第８実施形態」（固定・変形ともに視差を求める）
この第８実施形態は、第７実施形態の一部を変形した例である。前記第７実施形態では、変形エッジ画像と固定エッジ画像との選択において、エッジデータ値が一箇所に集まっている方を選んだが、この第８実施形態では、変形エッジ画像に関する視差と、固定エッジ画像に関する視差とを比較し、その比較結果を最終的な視差とするものである。
【０１３０】
図３３を用いて説明する。同図の（ｅ）（ｆ）で示した変形エッジ画像と、同図の（ｇ）（ｈ）で示した固定エッジ画像とを導くところまでは、第７実施形態と同じである。次に左右の変形エッジ画像を相関演算して視差を求めると共に、左右の固定エッジ画像を相関演算して視差を求める。そして、求めた二つの視差値を用いて最終的な視差量を決定する。その決定は以下に示す如く第７実施形態の場合と同様の決定方法による。
【０１３１】
(1)視差の大きい方を最終的な視差とする。つまり近方の視差を選択する。図３３の場合には、固定エッジ画像の視差を最終的視差とする。
(2)変形エッジ画像の視差と固定エッジ画像の視差との平均値を最終的な視差とする。
(3)視差を求める際の相関ピークの大きい方の視差を最終的な視差とする。背景画像のようにデータ値が画面全体に散らばっている場合には、左右画像の相関ピークは小さくなる。一方、コントラストがはっきりしている画像領域や、一箇所にデータ値が集まっている場合には、相関ピークは高くなる。よって観察者は後者の方を注視すると予測し、相関ピークの高い方の画像の視差を最終的な視差とする。図３３の場合には、固定エッジ画像の視差を最終的視差とする。
【０１３２】
図３４は第８実施形態における立体画像処理装置の内部構成を示すブロック図である。尚、左右画像ともに変形エッジ画像と固定エッジ画像とを求めるまでは、第７実施形態におけるブロック図と同じである。その後、左右の変形エッジ画像を受信し相関を行なう変形エッジ画像相関演算部１０１と、左右の固定エッジ画像を受信し相関を行なう固定エッジ画像相関演算部１０２とが、第７実施形態の注視予測領域決定部６５および相関演算部３８の代わりに加わっている。
【０１３３】
第８実施形態においては、注視予測領域決定とその後の相関演算作業を行なう代わりに、二つの相関演算作業を同時に並行して行なえるので、処理時間が速くなるという利点がある。
【０１３４】
「第９実施形態」（太線エッジ画像を用いて変化の大きさを分別）
この第９実施形態は、第７実施形態の一部を変形したものである。この第９実施形態では、動画像の中から変化のない画像と、少し変化する画像と、大きく変化する画像との三つの画像を抽出して分割する。そして三つの画像から観察者が注視するであろう画像を選択する。その方法を実行するために、エッジ画像として新たにエッジ線の太いエッジ画像を追加生成する。
【０１３５】
図３５はその画像例である。同図の（ａ）（ｂ）（ｃ）（ｄ）は、それぞれ受信したｍ−１（Ｌ）画像、ｍ−１（Ｒ）画像、ｍ（Ｌ）画像、ｍ（Ｒ）画像、の各エッジ画像である。ここで画像内の円は動きのない画像であり、自動車画像は画像間で大きな変化のある画像であり、それ以外の背景画像は画像間で少し変化する画像である。また、同図の（ｅ）（ｆ）（ｇ）（ｈ）は、同図の（ａ）（ｂ）（ｃ）（ｄ）の各エッジ画像を、公知の太線化処理によって太線化した画像である。
【０１３６】
次に、通常のエッジ画像を用いて画像間で変化のないエッジ画像を生成する。生成方法としては、通常のエッジ画像間の乗算を行なう。図３５の場合には、同図の（ａ）と（ｃ）との乗算を行ない、結果として同図（ｉ）を得る。変化のない画像部分は乗算しても値は「１」となり、変化のある画像部分は乗算すると値は「０」となり、結果として変化のないエッジ画像部分だけが抽出される。結局ここでは円のエッジ画像だけが残る。同様に、同図の（ｂ）と（ｄ）の乗算を行ない、結果として同図の（ｊ）を得る。ここで生成した画像を固定エッジ画像と呼ぶことにする。
【０１３７】
次に、現フレームの太線化エッジ画像から前フレームの太線化エッジ画像を減算し、差分画像を生成する。差分の結果、負の値となるものは０値とする。図３５の場合、同図（ｇ）に示したフレームｍ（Ｌ）の太線化エッジ画像から，同図（ｅ）に示したフレームｍ−１（Ｌ）の太線化エッジ画像を減算する。この減算の結果得られる画像は同図（ｋ）に示すものとなる。つまり減算の結果として、動きのないエッジ画像は消去され、動きが大きい画像ほどエッジ線の太い画像が得られる。これは動きが大きいほど両画像のエッジのずれが大きくなるためである。又右画像フレームについても同様の処理を行なうことにより、同図の（ｌ）に示す画像が得られる。
【０１３８】
次に、太線化エッジ画像の差分画像を、予め定めたエッジ線幅を基準として、エッジ線の幅の違いにより二つに分別する。
太線化エッジ画像による動き検出では、その線幅内での微細な動きに関しては動き幅を含んだ情報（もとの線幅に対し減算によりオーバラップ部については減じられるが、残る線幅部分があるため、この線幅で微細な動きの程度を計り知ることができる）を得ることができる。第７実施形態のように、細線のみで動き検出を行なうと、微細な動きに対しても直ちに対応するエッジ部（細線）のオーバラップ状態から抜け出るために、太線同士のオーバラップ部は生じず、動き幅（程度）に関する情報は得られないことになる。
【０１３９】
図３５の（ｋ）の画像の中からエッジ線の細い画像部分だけを抽出することにより、同図の（ｍ）が得られる。また、エッジ線の画像部分だけを抽出することにより、同図の（ｏ）が得られる。エッジ線の細い画像は、少し変化のある画像であり、ここでは小変形エッジ画像と呼ぶ。他方、エッジ線の太い画像は、大きな変化のある画像であり、ここでは大変形エッジ画像と呼ぶ。
右画像についても同様の処理を行なうことにより、同図の（ｎ）及び（ｐ）が得られる。
【０１４０】
次に、上述の如く得られた固定エッジ画像と、小変形エッジ画像と、大変形エッジ画像とを用いて、第７実施形態におけるステップＳ４５と同じ処理を行なうことにより、注視予測領域を決定する。図３５の場合には大変形エッジ画像が選択される。後の処理は第７実施形態と同じである。
【０１４１】
図３６は第９実施形態における立体画像処理装置の内部構成を示すブロック図である。第７実施形態におけるブロック図（図３２）と異なる点は、変形エッジ画像生成部８３の代わりに、エッジ線太線化部１１１と、差分画像生成部１１２と、エッジ線幅検出部１１３と、小変形エッジ画像生成部１１４と、大変形エッジ画像生成部１１５とが組み込まれている点である。第９実施形態においては、画像を、固定エッジ画像と、小変形エッジ画像と、大変形エッジ画像との３種類に分別した例を示したが、エッジ線幅の分別判断を更に細かくし、４種類、５種類〜…と増やしても良い。すなわち図３６に示されている小変形エッジ画像生成部１１４および大変形エッジ画像生成部１１５を、「小変形エッジ画像生成部」「中変形エッジ画像生成部」「大変形エッジ画像生成部」〜…という具合に増設する事により実現可能である。このようにエッジ画像の種類を増やすほど、画像の変化の大きさをより細かく分別することが可能となる。
【０１４２】
第９実施形態によれば、画像の変化の大きさに応じて画像を分別することができるため、注視予測領域をより正確に決定することが出来る。
【０１４３】
「第１０実施形態」（ラインメモリ）
この第１０実施形態は第７実施形態の一部を変形したものである。第１０実施形態では、第７実施形態と同様のシフト量演算結果に応じて画像データ伝送路に介挿されたラインメモリの読み出しタイミングを制御する事によって、左右各出力段のＤ／Ａ変換器に供給される当該画像データに対し、所要の視差に対応したシフトを与える。
【０１４４】
図３７は第１０実施形態における立体画像処理装置の内部構成を示すブロック図である。この実施形態では画像信号そのものを記憶しておく必要がないので、第７実施形態で必要としたメモリ1〜メモリ3が不要となる。その代わり画像シフトを行なう為のラインメモリ１２０を用意する必要がある。画像信号は二つに分岐され、一方はエッジ処理部へ供給され、もう一方はラインメモリ１２０へ供給される。そして第７実施形態と同様の処理が行なわれ、求めたシフト量の信号は左右表示用画像読み出し制御部４１，４２に出力される。ここでラインメモリ１２０に記憶されているのは画像ｍではなく数フレーム後の画像である。
【０１４５】
第１０実施形態は、視差が大きく変化しない立体画像に対しては有効である。そしてメモリとしてはラインメモリ１２０だけでよいので安価に製作できるという利点をもつ。
尚、全実施形態において、立体画像処理装置２の左右画像信号を直接立体画像表示器３に出力するのみならず、一旦、記録媒体に左右画像信号を記録して、その後、この記録媒体中の左右画像信号を読み出して立体画像表示器３で表示しても良い。
【０１４６】
以下、前述実施形態に示された本発明の構成と効果を列挙する。
【０１４７】
［１］（全実施形態に対応）
（構成）
立体画像を表わす信号の供給を受けるための入力手段（３１，３２，３３，メモリ等）と、上記入力手段により受けた信号による立体画像の経時的な変化を検出する画像変化検出手段（３６）と、上記画像変化検出手段による検出結果に基づいて画像領域中の特定の部分領域を観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段（３７）と、上記注視予測領域決定手段によって指定される特定の部分領域内に表示される画像の奥行きを表わす情報を得る奥行き検出手段（３８，３９）と、上記奥行き検出手段により得た画像の奥行きを表わす情報に基づいて、上記入力手段により受けた信号による立体画像の奥行きに係る量を制御する奥行き制御手段（４０）と、上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を適用された立体画像表示手段（３）に被表示立体画像信号として出力し得る出力手段（４１，４２）と、を備えてなることを特徴とする立体画像表示装置。
【０１４８】
（効果）
立体動画像の経時的変化が検出され、その変化に基づいて観察者が注視するであろう画像領域が決定され、その画像領域内にある像の奥行き情報から立体動画像の奥行きが制御されるので、検出精度の高い視線検出器を使うことなしに観察者にとって見やすい立体動画像が得られる。
【０１４９】
［２］（第１〜第３実施形態および第５〜１０実施形態に対応）
（構成）
前記注視予測領域決定手段は、前記画像変化検出手段による検出結果に基づいて被検出画像全体の中で特異な検出結果が得られる特定の部分領域が存在するときには当該特定の部分領域を当該注視予測領域として指定し、特異な検出結果が得られる特定の部分領域が存在しないときには予め設定した所定領域を当該注視予測領域として指定するように構成されたものであることを特徴とする［１］に記載の立体画像表示装置。
【０１５０】
（効果）
画像の中で像の変化が異なる領域が検出され、その領域が注目されるものと予測されるので、いろいろなシーン（画像が一部動いている、画像が一部変化していない、一様に変化する、静止画）にも適切に対応できる。
［３］（第１〜第３実施形態および第５、第６実施形態に対応）
【０１５１】
（構成）
前記画像変化検出手段は、被検出画像全体を複数の各小領域に分割してなる該複数の各小領域毎に、画像の経時変化を検出する画像動き量検出手段を有してなり、且つ前記注視予測領域決定手段は、前記複数の小領域のうち画像変化検出手段によって検出される画像の経時変化の値が特異な値を示す小領域を当該注視予測領域として指定するように構成されたものであることを特徴とする［２］に記載の立体画像表示装置。
【０１５２】
（効果）
画像の中で像の変化が異なる領域を検出し、その領域を注視予測領域と定めるので、いろいろなシーン（画像が一部動いている、画像が一部変化していない）にも適切に対応できる。
【０１５３】
［４］（第４実施形態に対応）
（構成）
前記画像変化検出手段は、被検出画像全体を複数の各小領域に分割してなる該複数の各小領域毎に画像の経時変化を表わす動きベクトルを検出する動きベクトル検出手段を有してなり、且つ、前記注視予測領域決定手段は、前記複数の小領域のうち前記画像変化検出手段によって検出される自己の動きベクトルが適用された視線検出手段によって検出された観察者の視点の動きを表わす視点動きベクトルに、実質的に等しい小領域を当該注視予測領域として指定するように構成されたものであることを特徴とする［１］に記載の立体画像表示装置。
【０１５４】
（効果）
観察者の視点の変化を検出する手段と、画像の変化を検出する手段とから注視領域が検出されるので、観察者の個人差にも十分適応して注視領域を決定することができる。
【０１５５】
［５］（第７実施形態に対応）
（構成）
前記画像変化検出手段は、前記被検出画像全体の中で画像の経時変化が認められる変化領域と該経時変化が認められない無変化領域とに区分する画像領域区分手段を備えてなり、且つ、前記注視予測領域決定手段は、上記変化領域と無変化領域とを比較してこれら双方の領域のうち何れかの領域を当該注視予測領域として指定するように構成されたものであることを特徴とする［１］に記載の立体画像表示装置。
【０１５６】
（効果）
画像の中での像の変化量によって領域が分解され、その分解された領域のいずれを注視するかが予測されるので、いろいろなシーン（画像が一部動いている、画像が一部変化していない）にも適切に対応できる。
【０１５７】
以上の他、本願における種々の局面で見た発明を以下列挙する。
【０１５８】
（１）請求項１の「奥行きに係る量」に関して（上記記載項目「００４１」に対応）：
上記奥行き制御手段は、上記奥行きに係る量としての上記被表示立体画像信号による左眼用画像と右眼用画像との視差を制御対象とした制御動作を行うものであることを特徴とする請求項１記載の立体画像表示装置。
【０１５９】
（２）請求項１の「奥行きに係る量」に関して（上記記載項目「００３７」に対応）：
上記奥行き制御手段は、上記奥行きに係る量としての上記被表示立体画像信号による画像に対する視度を制御対象とした制御動作を行うものであることを特徴とする請求項１記載の立体画像表示装置。
【０１６０】
（３）請求項３の「画像変化検出手段」に関して（上記記載項目「００２４」に対応）：
上記画像変化検出手段は、テンプレート・マッチングを利用した検出動作を行うものであることを特徴とする請求項３記載の立体画像表示装置。
【０１６１】
（４）請求項１の「注視予測領域決定手段」に関して（図８及び上記記載項目「００３１」に対応）：
上記画像変化検出手段は、被検出画像全体を複数の各小領域に分割してなる該複数の各小領域毎に画像の経時変化を表わす動きベクトルを検出する動きベクトル検出手段を有してなり、且つ、上記注視予測領域決定手段は、上記複数の各小領域毎の各動きベクトルが実質的に一様であるときには、当該画像の中央位置から一つの上記ベクトルとは逆方向に所定幅だけ変位した位置にある小領域を当該注視予測領域として指定するように構成されたものであることを特徴とする請求項１記載の立体画像表示装置。
【０１６２】
（５）図９及び上記記載項目「００５３」〜「００５８」に対応；
上記画像変化検出手段は、被検出画像全体を複数の各小領域に分割してなる該複数の各小領域毎に画像の経時変化を表わす動きベクトルを検出する動きベクトル検出手段を有してなり、且つ、
上記注視予測領域決定手段は、上記複数の各小領域毎複の各動きベクトルの値のばらつきの分布域を認識し、
該分布域が所定幅以上の広がりを有するときには、
この分布域内の所定領域を逸脱した値を示す動きベクトルに対応する領域の一又は複数の連なりでなる領域群毎にラベリングを施し、このラベリングが施された領域群のうちの所定の一の領域群を当該注視予測領域として指定し、
上記分布域が所定幅以上の広がりを有しないときには、
当該画像内の所定の領域又は当該画像の中央位置から各ベクトルの平均値相応の量だけ該ベクトルとは逆方向に変位した位置にある小領域を当該注視予測領域として指定するように構成されたものであることを特徴とする請求項１記載の立体画像表示装置。
【０１６３】
（６）第２実施形態に関して（図１５と図１６及び上記記載項目「００６４」〜「００６８」に対応）：
立体画像を表わす信号の供給を受けるための入力手段と、
上記入力手段により受けた信号による立体画像を構成する左眼用画像及び右眼用画像の各経時的な変化を夫々検出する画像変化検出手段と、
上記画像変化検出手段による検出結果に基づいて当該左眼用画像及び右眼用画像の領域中の各特定の部分領域を夫々観察者が注視する蓋然性の高い左眼用画像特定領域及び右眼用画像特定領域として各指定する注視予測領域決定手段と、
上記左眼用画像特定領域及び右眼用画像特定領域の各中心座標の位置のずれの程度に基づいて視差データを算出する視差算出手段と、
上記視差算出手段により得た視差データに基づいて上記入力手段により受けた信号による立体画像の奥行きに係る量を制御する奥行き制御手段と、
上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなることを特徴とする立体画像表示装置。
【０１６４】
（７）第３実施形態に関して（図１７〜図１９及び上記記載項目「００６９」〜「００８１」に対応）：
立体画像を表わす左眼用画像及び右眼用画像の信号の供給をフィールド又はフレーム順次で受けるようになされた入力手段と、
上記入力手段により受けた信号による立体画像を構成する画像の経時的な変化を、隣接するフィールド又はフレーム時間区間での左眼用（右眼用）画像信号に対する右眼用（左眼用）画像信号を比較した比較値、及び、この比較に用いた右眼用（左眼用）画像信号に対する続く左眼用（右眼用）画像信号のを比較した比較値との両比較値の平均を求めることにより検出する画像変化検出手段と、
上記画像変化検出手段による検出結果に基づいて当該画像のうちの特定の部分領域を観察者が注視する蓋然性の高い特定領域として指定する注視予測領域決定手段と、
上記両比較値の差分に基づいて視差データを算出する視差算出手段と、
上記視差算出手段により得た視差データに基づいて上記入力手段により受けた
信号による立体画像の奥行きに係る量を制御する奥行き制御手段と、
上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなることを特徴とする立体画像表示装置。
【０１６５】
（８）第４実施形態に関して（図２０、図２１、図２５及び上記記載項目「００８２」〜「００８９」、「００９８」〜「０１００」に対応）：
立体画像を表わす信号の供給を受けるための入力手段と、
上記入力手段により受けた信号による立体画像の経時的な変化を検出する画像変化検出手段と、
観察者の視線の方向を大まかに検出する視線検出手段と、
上記画像変化検出手段による検出結果、及び、視線検出手段による検出結果に基づいて、画像領域中の特定の部分領域を観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段と、
上記注視予測領域決定手段によって指定される特定の部分領域内に関して、視距離と輻輳距離とを一致せしめるための制御動作を行う手段と、
を備えてなることを特徴とする立体画像表示装置。
【０１６６】
（９）第５実施形態に関して（図２３と図２４及び上記記載項目「００９０」〜「００９７」に対応）：
立体画像を表わす信号の供給を受けるための入力手段と、
上記入力手段により受けた信号による立体画像の周辺部の領域について経時的な変化を検出する画像変化検出手段と、
上記画像変化検出手段による検出結果に基づいて、上記周辺部の領域についてそのうちの特定の部分領域が特異な経時的な変化を呈することが検出されたときにはその特定の部分領域を、又、上記周辺部の領域について特異な経時的な変化を呈する部分がないことが検出されたときには立体画像の中央部の領域を、観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段と、
上記注視予測領域決定手段によって指定される特定の部分領域内に表示される画像の奥行きを表わす情報を得る奥行き検出手段と、
上記検出手段により得た画像の奥行きを表わす情報に基づいて上記入力手段により受けた信号による立体画像の奥行きに係る量を制御する奥行き制御手段と、上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなることを特徴とする立体画像表示装置。
【０１６７】
（１０）第７実施形態に関して（図２６〜図３２及び上記記載項目「０１０１」〜「０１２８」に対応）：
立体画像を表わす左右のフレーム画像信号の供給を順次時系列的に受けるための入力手段と、
上記入力手段により受けた順次の左右のフレーム画像信号について各画像に関するエッジ成分を抽出して各エッジ画像を生成するエッジ画像生成手段と、
上記エッジ画像生成手段により生成された順次のエッジ画像のうち時系列的に隣接する時間区間に該当する現在の区間のものから先行する区間のものを差し引いた差分をとることによって第１の種別の画像を生成し、また、上記現在の区間のエッジ画像から第１の種別の画像を差し引いて第２の種別の画像を生成し、これら上記第１の種別の画像と第２の種別の画像についてエッジが特定の領域に集中している度合いが高い側のものが存在する画面中の部分領域を観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段と、
上記注視予測領域決定手段によって指定される特定の部分領域内に表示される画像の奥行きを表わす情報を得る奥行き検出手段と、
上記検出手段により得た画像の奥行きを表わす情報に基づいて上記入力手段により受けた信号による立体画像の奥行きに係る量を制御する奥行き制御手段と、上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなることを特徴とする立体画像表示装置。
【０１６８】
（１１）第８実施形態に関して（図３３、図３４及び上記記載項目「０１２９」〜「０１３３」に対応）：
立体画像を表わす左右のフレーム画像信号の供給を順次時系列的に受けるための入力手段と、
上記入力手段により受けた順次の左右のフレーム画像信号について各画像に関するエッジ成分を抽出して各エッジ画像を生成するエッジ画像生成手段と、
上記エッジ画像生成手段により生成された順次のエッジ画像のうち時系列的に隣接する時間区間に該当する現在の区間のものから先行する区間のものを差し引いた差分をとることによって第１の種別の画像を生成し、また、上記現在の区間のエッジ画像から第１の種別の画像を差し引いて第２の種別の画像を生成し、更にこれら上記第１の種別の画像と第２の種別の画像について立体画像としての左右画像の視差を求め、両者の視差のうち所定の規約に該当する方の視差を観察者が注視する蓋然性の高い領域に係る視差として指定する注視予測領域視差決定手段と、
上記入力手段により受けた信号による立体画像係る視差を、上記注視予測領域視差決定手段により得た視差に合わせるように制御する視差制御手段と、
上記視差制御手段によって視差が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなることを特徴とする立体画像表示装置。
【０１６９】
（１２）第９実施形態に関して（図３５、図３６及び上記記載項目「０１３４」〜「０１４２」に対応）：
立体画像を表わす左右のフレーム画像信号の供給を順次時系列的に受けるための入力手段と、
上記入力手段により受けた順次の左右のフレーム画像信号について各画像に関するエッジ成分を抽出して各エッジ画像を生成するエッジ画像生成手段と、
上記エッジ画像生成手段により生成された各エッジ画像に太線化処理を施して各太線化エッジ画像を生成する太線化エッジ画像生成手段と、
上記エッジ画像生成手段により生成された順次のエッジ画像のうちもの同士の２値化データを乗算することによって画像の静止部分に対応する第１のエッジ画像を生成し、また、上記太線化エッジ画像生成手段によって生成された時系列的に隣接する時間区間に該当する各太線化エッジ画像のうち現在の区間の太線化エッジ画像から先行する区間の太線化エッジ画像を差し引いて画像の動きの程度に対応した線幅の第２のエッジ画像を生成し、更にこれら上記第１のエッジ画像と第２のエッジ画像のうち所定の規約に該当する方の画像が存在する領域を観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段と、
上記注視予測領域決定手段によって指定される特定の部分領域内に表示される画像の奥行きを表わす情報を得る奥行き検出手段と、
上記検出手段により得た画像の奥行きを表わす情報に基づいて上記入力手段により受けた信号による立体画像の奥行きに係る量を制御する奥行き制御手段と、上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなることを特徴とする立体画像表示装置。
【０１７０】
（１３）第１０実施形態に関して（図３７及び上記記載項目「０１４３」〜「０１４５」に対応）：
立体画像を表わす左右のフレーム画像信号の供給を順次時系列的に受けるための入力手段と、
上記入力手段により受けた順次の左右のフレーム画像信号について各画像に関するエッジ成分を抽出して各エッジ画像を生成するエッジ画像生成手段と、
上記エッジ画像生成手段により生成された順次のエッジ画像のうち時系列的に隣接する時間区間に該当する現在の区間のものから先行する区間のものを差し引いた差分をとることによって第１の種別の画像を生成し、また、上記現在の区間のエッジ画像から第１の種別の画像を差し引いて第２の種別の画像を生成し、これら上記第１の種別の画像と第２の種別の画像についてエッジが特定の領域に集中している度合いが高い側のものが存在する画面中の部分領域を観察者が注視する蓋然性の高い領域として指定する注視予測領域決定手段と、
上記注視予測領域決定手段によって指定される特定の部分領域内に表示される画像の奥行きを表わす情報を得る奥行き検出手段と、
上記検出手段により得た画像の奥行きを表わす情報に基づいて上記入力手段により受けた信号による立体画像の奥行きに係る量を制御する奥行き制御手段と、上記奥行き制御手段によって上記奥行きに係る量が制御された立体画像を表わす信号を、適用された立体画像表示手段に被表示立体画像信号として出力し得る出力手段と、
を備えてなり、上記注視予測領域決定手段、奥行き検出手段、奥行き制御手段、及び、出力手段のうち何れか一又は複数のものは遅延要素を利用して該当する処理を実行するように構成されたものであることを特徴とする立体画像表示装置。
【０１７１】
【発明の効果】
本発明によれば、立体画像の経時的変化の検出結果に基づいて、観察者が注視するであろう注視点（画像領域）が予測され、その予測された注視点に存在する画像の奥行き情報に基づいて立体画像の奥行き制御が行なわれるので、格別に検出精度の高い視線検出器を用いなくてもよく、軽量で安価に製作可能な上、極めて見やすい立体画像を安定に得ることのできる立体画像表示装置を提供できる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態に係る立体画像表示装置の構成（概要）を示す図である。
【図２】本発明による第１の実施形態に係る立体画像表示装置のＨＭＤ光学系の構成図である。
【図３】本発明による第１の実施形態に係る立体画像表示装置の処理動作を示すフロー図である。
【図４】本発明による第１の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図５】本発明による第１の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図６】本発明による第１の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図７】本発明による第１の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図８】本発明による第１の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図９】本発明による第１の実施形態に係る立体画像表示装置の注視予測領域決定フロー図である。
【図１０】本発明による第１の実施形態に係る立体画像表示装置の視差決定法の説明図である。
【図１１】本発明による第１の実施形態に係る立体画像表示装置の奥行き制御の説明図である。
【図１２】本発明による第１の実施形態に係る立体画像表示装置の左右表示面の水平位置を説明するための図である。
【図１３】本発明による第１の実施形態に係る立体画像表示装置の立体画像観察状況を示す図である。
【図１４】本発明による第１の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【図１５】本発明による第２の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図１６】本発明による第２の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【図１７】本発明による第３の実施形態に係る立体画像表示装置の処理動作を示すフロー図である。
【図１８】本発明による第３の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図１９】本発明による第３の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【図２０】本発明による第４の実施形態に係る立体画像表示装置の処理動作を示すフロー図である。
【図２１】本発明による第４の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図２２】本発明による第５の実施形態に係る立体画像表示装置の処理動作を示すフロー図である。
【図２３】本発明による第５の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図２４】本発明による第５の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【図２５】本発明による第６の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図２６】本発明による第７の実施形態に係る立体画像表示装置の処理動作を示すフロー図である。
【図２７】本発明による第７の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図２８】本発明による第７の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図２９】本発明による第７の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図３０】本発明による第７の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図３１】本発明による第７の実施形態に係る立体画像表示装置の注視予測領域決定フロー図である。
【図３２】本発明による第７の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【図３３】発明の第８の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図３４】本発明による第８の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【図３５】本発明による第９の実施形態に係る立体画像表示装置の画像処理例を示す図である。
【図３６】本発明による第９の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【図３７】本発明による第１０の実施形態に係る立体画像表示装置の画像処理装置内部構成を示すブロック図である。
【符号の説明】
１    立体画像生成装置
２    立体画像処理装置
３    立体画像表示器（ＨＭＤ）
３１  タイミング制御部
３６  動きベクトル検出部
３７  注視予測領域決定部
３８  相関演算部
３９  視差演算部
４０  シフト量演算部
４１  左表示用画像読み出し制御部
４２  右表示用画像読み出し制御部
【図１】
0003802653.tif 000002
【図２】
0003802653.tif 000003
【図３】
0003802653.tif 000004
【図４】
0003802653.tif 000005
【図５】
0003802653.tif 000006
【図６】
0003802653.tif 000007
【図７】
0003802653.tif 000008
【図８】
0003802653.tif 000009
【図９】
0003802653.tif 000010
【図１０】
0003802653.tif 000011
【図１１】
0003802653.tif 000012
【図１２】
0003802653.tif 000013
【図１３】
0003802653.tif 000014
【図１４】
0003802653.tif 000015
【図１５】
0003802653.tif 000016
【図１６】
0003802653.tif 000017
【図１７】
0003802653.tif 000018
【図１８】
0003802653.tif 000019
【図１９】
0003802653.tif 000020
【図２０】
0003802653.tif 000021
【図２１】
0003802653.tif 000022
【図２２】
0003802653.tif 000023
【図２３】
0003802653.tif 000024
【図２４】
0003802653.tif 000025
【図２５】
0003802653.tif 000026
【図２６】
0003802653.tif 000027
【図２７】
0003802653.tif 000028
【図２８】
0003802653.tif 000029
【図２９】
0003802653.tif 000030
【図３０】
0003802653.tif 000031
【図３１】
0003802653.tif 000032
【図３２】
0003802653.tif 000033
【図３３】
0003802653.tif 000034
【図３４】
0003802653.tif 000035
【図３５】
0003802653.tif 000036
【図３６】
0003802653.tif 000037
【図３７】
0003802653.tif 000038