(57)【要約】      （修正有）【課題】立体画像を観察していても眼精疲労が生じにくく、かつ画像の特徴部分に関しては通常通り立体視し得る立体画像表示装置及び立体画像処理方法を提供する。【解決手段】立体画像表示装置は、左眼用画像及び右眼用画像を用いて立体画像を表示するための立体画像表示装置１において、前記表示される立体画像の動きを検出する動き検出手段２と、前記左眼用画像及び右眼用画像を記憶するフレームメモリ３と、前記動き検出手段２から入力される検出結果にもとづいて、動きがなかったと判断された領域に関して前記左眼用画像及び右眼用画像の視差の調整を行う視差調整手段４を備えており、動きがあったと判断された領域が検出されたとき、前記視差調整手段４は前記動きがなかったと判断された領域に関して前記左眼用画像及び右眼用画像の視差の調整を行う。【選択図】図１
2012075055.tif 000002
【特許請求の範囲】
【請求項１】
左眼用画像及び右眼用画像を用いて立体画像を表示するための立体画像表示装置において、
前記左眼用画像及び右眼用画像を分析し、前記左眼用画像及び右眼用画像の中からオブジェクトを検出する検出手段と、
前記左眼用画像及び右眼用画像の視差の調整を行う視差調整手段とを備えており、前記視差調整手段は、前記オブジェクトが検出されたとき、前記オブジェクト以外を前記視差が減少するように調整を行うことを特徴とする立体画像表示装置。
【請求項２】
前記視差調整手段は、オブジェクト以外の左眼用画像及び右眼用画像を同一の位置に移動させることによって視差の調整を行うことを特徴とする請求項1に記載の立体画像表示装置。
【請求項３】
前記視差調整手段は、前記オブジェクト以外を左眼用画像あるいは右眼用画像のうちのいずれか一方のみを用いることによって視差の調整を行うことを特徴とする請求項1に記載の立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像の表示を行う立体画像表示装置に関する。
【背景技術】
【０００２】
近年、立体画像を表示する表示装置の開発が盛んに行なわれている。使用者に奥行き感や立体感を与えるような画像表示装置では、両眼視差を利用して立体を知覚させる技術が一般に用いられている。ここで、両眼視差とは、左右の目が離れた位置にあることによって、それぞれの目で得られる像に生じるずれのことを表す。
【０００３】
図６は、一人の観察者における両眼視差を用いた一般的な立体画像表示を説明する。Ｉ（ｌ１）、Ｉ（ｌ２）は左眼用画像の画像領域で、Ｉ（ｒ１）、Ｉ（ｒ２）は右眼用画像の画像領域を示している。左眼とＩ（ｌ１）を結ぶ視線と右眼とＩ（ｒ１）を結ぶ視線とが輻輳角αで交差し、視線の交点部には立体画像Ｓ１が知覚される。同様に、左眼とＩ（ｌ２）を結ぶ視線と右眼とＩ（ｒ２）を結ぶ視線とが輻輳角βで交差し、視線の交点部には立体画像Ｓ２が知覚される。
【０００４】
しかしながら、目の焦点調節位置は表示画面上に固定されるのに対し、輻輳角は注視する立体画像によって異なるため、輻輳角の制御と眼球内部でレンズの役割を果たす水晶体の調節との間に矛盾が生じ、眼精疲労をもたらす要因となっていた。
【０００５】
このため、特許文献１には、輻輳制御と焦点調節との間の矛盾を発生させないよう、視差が異なる複数の位置で焦点が合う事態を避けるために、視差の大きさに応じて左眼画像及び右眼画像に対してボカシ処理を行なうことにより、焦点を合わせにくくすることで、眼精疲労を軽減する技術について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−１９４６０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１記載の技術では、使用者が注視すると考えられる立体画像の特徴部分であっても、視差の大きさに応じて立体画像に対してボカシ処理を施すため、前記特徴部分がかえって鮮明に表示されないという問題があった。
そこで、本発明はかかる課題を解決する為になされたものであり、立体画像を観察しても眼精疲労が生じにくく、かつ画像の特徴部分に関しては通常通り観察し得る立体画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる立体画像表示装置は、左眼用画像及び右眼用画像を用いて立体画像を表示するための立体画像表示装置において、前記左眼用画像及び右眼用画像を分析し、前記左眼用画像及び右眼用画像の中からオブジェクトを検出する検出手段と、前記左眼用画像及び右眼用画像の視差の調整を行う視差調整手段とを備えており、前記視差調整手段は、前記オブジェクトが検出されたとき、前記オブジェクト以外の視差の調整を行うことを特徴とする。
【発明の効果】
【０００９】
本発明にかかる立体画像表示装置によれば、立体画像を観察していても眼精疲労が生じにくく、かつ画像の特徴部分に関しては通常通り観察し得る立体画像表示装置を提供することが出来る。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施例に関するブロック構成図。
【図２】本発明の第１の実施例に関する説明図。
【図３】本発明の第１の実施例に関する説明図。
【図４】本発明の第２の実施例に関するブロック構成図。
【図５】本発明の第２の実施例に関する説明図。
【図６】両眼視差を用いて行なう立体視の説明図。
【発明を実施するための形態】
【実施例１】
【００１１】
立体画像の表示時に、使用者は立体に見える画像の中でも、特に動きのある立体画像部分を注視する傾向にある。そこで、本発明の実施例１は、立体画像の特徴部分は動きのある部分であるとする実施例である。尚、本明細書においてオブジェクトとは、以下で後述するような動き検出により検出される領域、あるいは輝度情報、色情報を用いたヒストグラム検出などにより特徴的であるとして検出される領域を指す。
【００１２】
以下に、図１〜図３と従来技術を説明した図６を用いて説明を行う。図１は、本発明の第１の実施例に係る立体画像表示装置１の基本構成を示すブロック構成図であり、該立体画像表示装置１は、動き検出手段２と、フレームメモリ３と、視差調整手段４と、表示手段５からなる。
【００１３】
次に、第１の実施例の動作について説明する。立体画像表示装置１には、第ｎ番目のフレームの左眼用画像（以下、Ｌ（ｎ）画像と呼ぶ）と第ｎ番目のフレームの右眼用画像（以下、Ｒ（ｎ）画像と呼ぶ）が入力される。前記入力されたＬ（ｎ）画像及びＲ（ｎ）画像は、フレームメモリ３と動き検出手段２に出力される。
【００１４】
動き検出手段２には、前記入力されたＬ（ｎ）画像及びＲ（ｎ）画像に加えて、フレームメモリ３より、第ｎ−１番目の左眼用画像（以下、Ｌ（ｎ−１）画像と呼ぶ）と第ｎ−１番目の右眼用画像（以下、Ｒ（ｎ−１）画像と呼ぶ）が入力される。
【００１５】
動き検出手段２では、画像に動きがあった領域と動きがなかった領域の検出（以下、動き検出と呼ぶ）を行なう。前記動き検出に関し、本実施例では、動きベクトルの検出を行ない、該動きベクトルを用いて、周知のブロックマッチング法を用いて前記動き検出を行なってオブジェクトを検出する。以下、動き検出について説明する。
【００１６】
動き検出手段２に入力されたＬ（ｎ−１）画像について、例えば８×８画素の矩形画素領域（以下、マクロブロックと呼ぶ）に分割し、前記マクロブロックごとに輝度情報に関して積算する。前記輝度情報は、1フレーム画像が１画素単位で有している画像情報であり、他に1フレーム画像が１画素単位で有している色情報などを用いてもよいものとする。同様に、Ｌ（ｎ）画像についてもマクロブロックに分割し、該マクロブロックごとに輝度情報に関して、積算を行なう。
【００１７】
そして、前記積算した輝度情報に関して、Ｌ（ｎ）画像及びＬ（ｎ−１）画像間で、マクロブロックごとに差分を検出する。該差分検出の結果から、差分量の絶対値が最小となるマクロブロック同士であり、尚且つ前記Ｌ（ｎ）画像及びＬ（ｎ−１）画像間で該マクロブロック同士が同一の位置でないときには、移動が行なわれたマクロブロックであるものとし、移動先及び移動量から動きベクトルを検出する。これにより、Ｌ（ｎ−１）画像の各々のマクロブロックが、Ｌ（ｎ）画像のいずれのマクロブロックの位置に移動したかが分かり、画像間で動きがあった領域に関し、特徴部分として判断することが出来る。また、前記特徴部分として判断されなかったマクロブロックについては、動きがなかった領域とする。Ｒ（ｎ）画像及びＲ（ｎ−１）画像についても同様な方法で動きベクトルの検出を行ない、検出結果を視差調整手段４に出力する。
【００１８】
視差調整手段４では、入力された検出結果にもとづいて、動きがなかったと判断された領域に関し、Ｌ（ｎ）画像とＲ（ｎ）画像の視差の調整を行い、立体視用の画像を生成する。図２は、前記視差調整を行なう様子を示しており、Ｉ（ｌ１）及びＩ（ｌ２）は左眼用画像における画像領域で、Ｉ（ｒ１）及びＩ（ｒ２）はそれぞれ右眼用画像における画像領域を示していて、上述した図６における左眼用画像の画像領域であるＩ（ｌ１）、Ｉ（ｌ２）及び右眼用画像の画像領域であるＩ（ｒ１）、Ｉ（ｒ２）と対応させて記載している。
【００１９】
図２の（Ａ）は、第ｎ−１番目のフレームの左眼及び右眼用画像を示していて、Ｉ（ｌ１）、Ｉ（ｌ２）、Ｉ（ｒ１）、Ｉ（ｒ２）の各画像領域は、それぞれ図６に示すような位置関係であり、観察者にはＩ（ｌ１）とＩ（ｒ１）によって立体画像Ｓ１が知覚され、Ｉ（ｌ２）とＩ（ｒ２）によって立体画像Ｓ２が知覚される。  図２の（Ｂ）は第ｎ番目のフレームの左眼及び右眼用画像を示していて、第ｎ−１番目のフレームからＩ（ｌ２）、Ｉ（ｒ２）が紙面に向かって下側に移動している。また、第ｎ−１番目のフレームから第ｎ番目のフレームにかけて動きがなかったＩ（ｌ１）、Ｉ（ｒ１）に関して、Ｉ（ｌ１）の左眼用画像における位置とＩ（ｒ１）の右眼用画像における位置が同一の位置になるように、Ｌ（ｎ）画像の画像領域Ｉ（ｌ１）を紙面に向かって左側に、Ｒ（ｎ）画像の画像領域Ｉ（ｒ１）を紙面に向かって右側にそれぞれ水平方向に同じ距離だけ、図２の（Ｃ）に示すように移動させる。移動量については前記入力された動き検出結果にもとづいて、動きがなかったと判断された所定のマクロブロックについて、Ｌ（ｎ）画像及びＲ（ｎ）画像間で突き合わせを行ない、それぞれのマクロブロックの左眼もしくは右眼用画像における位置を画素単位で算出し、それぞれのマクロブロックが左眼及び右眼用画像の出力画像において同一の位置となるように移動量を定める。
【００２０】
また、上述した視差調整のためにＬ（ｎ）画像の画像領域Ｉ（ｌ１）及びＲ（ｎ）画像の画像領域Ｉ（ｒ１）を移動させたことにより、図２の（Ｃ）で示す破線部分に該当する領域が無画像領域となるため、該無画像領域を補うために線形補間法などの種々の補間処理を用いて画像の補間を行なう。
【００２１】
図２の（Ｃ）は最終的に表示手段５に出力される視差調整後の出力画像を示している。図３は視差調整後に観察者によって知覚される立体画像及び平面画像を示す説明図で、図中の矢印で示すようにＩ（ｒ１）を紙面に向かって右側に、Ｉ（ｌ１）を紙面に向かって左側に同じ距離だけ同一の位置になるように移動させたことにより、観察者には平面画像としてＳ３が知覚される。
【００２２】
上述したような構成とすることで、画像に動きがなかった領域に関しては、視差を減少させるように調整することが出来る。
【００２３】
視差調整手段４は、前記視差調整後の図２の（Ｃ）のＬ’（ｎ）画像及びＲ’（ｎ）画像を表示手段５に出力する。
【００２４】
尚、本実施例においては、動きがなかったＬ（ｎ）画像の画像領域Ｉ（ｌ１）及びＲ（ｎ）画像の画像領域Ｉ（ｒ１）を同一位置になるように移動させることで視差調整を行うとしたが、これに限らずＬ（ｎ）画像及びＲ（ｎ）画像の動きがあった画像領域以外について、上述したように動きがなかったと判断された所定のマクロブロックについて移動量を定め、前記動きがあった画像領域以外に関するＬ（ｎ）画像及びＲ（ｎ）画像をそれぞれ水平移動するように構成してもよい。
【００２５】
また、本実施例においては、画像間で動きのあった部分を特徴部分としたが、これに限らず、ヒストグラムを作成して、特定の色情報に着目してオブジェクトとして検出しもよいし、あるいは、ヒストグラム検出の一種である勾配方向ヒストグラムを用いて物体検出を行ない、該検出される物体をオブジェクトであるとしてもよい。勾配方向ヒストグラムとは、例えば、対象となる物体の輪郭を用いて人体や車両等の物体を検出するための技術であり、画像内の複数領域における輝度の勾配強度及び勾配方向を算出し、これらに基づいて作成される。
【００２６】
また、表示画像の特徴部分に関し、観察者側に飛び出している画像領域のうち、特に飛び出し量が大きい画像領域についてオブジェクトとしてもよい。
【００２７】
上記構成により、動きがなかった領域に関しては、視差を減少させることで、眼精疲労を軽減出来て、表示画像の特徴部分に関しては、通常通り観察し得る立体画像表示装置を提供することが可能となる。
【実施例２】
【００２８】
実施例１では、動き検出を行ない、動きがなかった部分に関しては視差調整を行って同一の位置になるように移動させたことにより視差を減少させるような構成としたが、本発明の実施例２では、動きがなかった部分に関しては、左眼用画像あるいは右眼用画像のいずれか一方のみの画像領域を用いることで視差を減少させるような構成とする。以下、本発明の第２の実施例について図４〜図６を用いて説明を行う。基本的には実施例１と同様の構成及び動作からなり、図４は、本発明の第２の実施例に係る立体画像表示装置６の基本構成を示すブロック構成図であり、動き検出手段２と、フレームメモリ３と、画像合成手段７と、表示手段５からなる。
【００２９】
次に、第２の実施例の動作について説明する。動き検出手段２では、既に上述したように、フレーム間での動きの有無についてマクロブロック単位で検出を行ない、検出結果を画像合成手段７に出力する。
【００３０】
画像合成手段７では、入力された検出結果にもとづいて、動きがあったと判断された領域と動きがなかったと判断された領域の合成を行い、立体視用の画像を生成する。図５は、前記立体視を行なうための出力画像を生成する様子を示していて、図５の（Ａ）のＩ（ｌ１）及びＩ（ｌ２）は左眼用画像における画像領域で、Ｉ（ｒ１）及びＩ（ｒ２）はそれぞれ右眼用画像における画像領域を示していて、上述した図６における左眼用画像の画像領域であるＩ（ｌ１）、Ｉ（ｌ２）及び右眼用画像の画像領域であるＩ（ｒ１）、Ｉ（ｒ２）と対応させて記載している。
【００３１】
図５の（Ａ）は、第ｎ−１番目のフレームの左眼及び右眼用画像を示していて、Ｉ（ｌ１）及びＩ（ｌ２）は左眼用画像における画像領域で、Ｉ（ｒ１）及びＩ（ｒ２）はそれぞれ右眼用画像における画像領域を示している。
【００３２】
図５の（Ｂ）は、第ｎ番目のフレームの左眼及び右眼用画像を示していて、第ｎ−１番目のフレームからＩ（ｌ２）、Ｉ（ｒ２）が紙面に向かって下側に移動している。また、図５の（Ｃ）は表示手段５に出力される出力画像を示していて、Ｒ’（ｎ）画像は、右眼用画像における動きがあった画像領域Ｉ（ｒ２）と左眼用画像における動きがなかった画像領域Ｉ（ｌ１）とを合成した画像である。
【００３３】
尚、本実施例では、動きがなかった領域に関しては、左眼用画像の画像領域Ｉ（ｌ１）のみを用いることによって視差を減少させるように視差調整を行う構成としたが、右眼用画像の画像領域Ｉ（ｒ１）のみを用いることで視差調整を行ってもよいし、左眼もしくは右眼用画像のいずれを用いるかを切り替えられるような構成としてもよい。
【００３４】
また、本実施例においては、画像間で動きのあった部分を特徴部分としたが、これに限らず、ヒストグラムを作成して、特定の色に着目してオブジェクトとして検出しもよいし、あるいは、ヒストグラム検出の一種である勾配方向ヒストグラムを用いて物体検出を行ない、該検出される物体をオブジェクトであるとしてもよい。勾配方向ヒストグラムとは、例えば、対象となる物体の輪郭を用いて人体や車両等の物体を検出するための技術であり、画像内の複数領域における輝度の勾配強度及び勾配方向を算出し、これらに基づいて作成される。
【００３５】
また、表示画像の特徴部分に関し、観察者側に飛び出している画像領域のうち、特に飛び出し量が大きい画像領域についてオブジェクトとしてもよい。
【００３６】
上述したように、動きがなかった領域に関しては、左眼用画像あるいは右眼用画像のいずれか一方の画像のみを用いるような構成とすることで、視差を減少させるように調整することが出来る。画像合成手段７は、前記合成後のＬ（ｎ）画像及びＲ’（ｎ）画像を表示手段５に出力する。
【００３７】
上記構成により、表示画像に動きがなかった領域に関しては、視差を減少させることで、眼精疲労を軽減出来て、表示画像の特徴部分に関しては、通常通り観察し得る立体画像表示装置を提供することが可能となる。
【符号の説明】
【００３８】
１、６  立体画像表示装置
２  動き検出手段
３  フレームメモリ
４  視差調整手段
５  表示手段
７  画像合成手段
【図１】
2012075055.tif 000003
【図２】
2012075055.tif 000004
【図３】
2012075055.tif 000005
【図４】
2012075055.tif 000006
【図５】
2012075055.tif 000007
【図６】
2012075055.tif 000008