(57)【要約】【課題】  立体観察作業の煩雑さを無くして観察者の疲労低減を図りつつ、良好な立体映像を得る。【解決手段】  立体映像表示部６は、視差を有する一対の画像の合成画像を表示して当該一対の画像に表されている対象物を観察者ＳＢに立体視させる。視線情報取得部３ａは、立体映像表示部６で表示される画像を観察する観察者ＳＢの視線についての情報である視線情報を取得する。合成位置算出部４は、この合成画像における一対の画像の合成位置を視線情報に基づいて取得する。画像合成部５は、撮像対象物ＯＢについての一対の画像を当該合成位置に基づいて各々配置して合成画像を生成する。立体映像表示部６は、生成された合成画像を表示する。【選択図】      図１
2006340017.tif 000002
【特許請求の範囲】
【請求項１】
視差を有する一対の画像の合成画像を表示して当該一対の画像に表されている対象物を立体視させる立体映像表示手段と、
前記画像立体表示手段で表示される画像を観察する観察者の視線についての情報である視線情報を取得する視線情報取得手段と、
前記合成画像における前記一対の画像の合成位置を前記視線情報に基づいて取得する合成位置取得手段と、
前記一対の画像を前記合成位置に基づいて各々配置して前記合成画像を生成する画像合成手段と、
を有し、
前記画像合成手段により生成された合成画像を前記立体映像表示手段で表示させる、
ことを特徴とする立体映像表示装置。
【請求項２】
前記合成位置取得手段は、前記視線情報のうち少なくとも前記観察者の視点の位置と当該観察者の両眼の視差とに基づいて前記合成位置を取得することを特徴とする請求項１に記載の立体映像表示装置。
【請求項３】
前記合成位置取得手段は、前記視線情報のうち前記観察者の視線の方向に更に基づいて前記合成位置を取得することを特徴とする請求項２に記載の立体映像表示装置。
【請求項４】
前記対象物を撮像して前記一対の画像を得る撮像手段と、
前記対象物と前記撮像手段との間の距離を測定する測定手段と、
を更に有し、
前記合成位置取得手段は、前記距離に更に基づいて前記合成位置を取得する、
ことを特徴とする請求項１に記載の立体映像表示装置。
【請求項５】
前記計測手段は、前記撮像手段により得られた前記一対の画像に基づいて前記距離を計測することを特徴とする請求項４に記載の立体映像表示装置。
【請求項６】
前記視線情報取得手段として、視線ポインタを用いたことを特徴とする請求項１に記載の立体映像表示装置。
【請求項７】
前記視線情報取得手段は、前記観察者を撮像した撮像画像に基づいて前記視線情報を取得することを特徴とする請求項１に記載の立体映像表示装置。
【請求項８】
前記観察者を撮像する撮像手段を前記立体映像表示手段の近傍に配置することを特徴とする請求項７に記載の立体映像表示装置。
【請求項９】
前記観察者を撮像する撮像手段を複数配置することを特徴とする請求項８に記載の立体映像表示装置。
【請求項１０】
視差を有する一対の画像の合成画像を表示部で表示して当該一対の画像に表されている対象物を立体視させる立体映像の表示方法であって、
前記表示部で表示される画像を観察する観察者の視線についての情報である視線情報を取得し、
前記合成画像における前記一対の画像の合成位置を前記視線情報に基づいて取得し、
前記一対の画像を前記合成位置に基づいて各々配置して前記合成画像を生成し、
前記画像合成手段により生成された合成画像を前記表示部で表示させる、
ことを特徴とする立体映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、撮像された対象物の立体表示を行う技術に関する。
【背景技術】
【０００２】
撮像された対象物の立体映像を表示する技術として、左右一対の光学系を用いてそれぞれ視差のある画像を撮像手段で撮像し、画像表示装置において左右の画像を所定の位置に配置して合成し、左右画像の情報が左右の目に各々届くように表示するというものが従来から提案されている。
【０００３】
例えば特許文献１には、左右一対の撮像手段を内視鏡の先端部に設け、これらの撮像手段から出力される信号によって表されている対象物についての左右の映像を再生表示する映像表示装置において、対象物と撮像手段との間の距離を計測し、その測定データに基づいて少なくとも一方の撮像手段の向きを機械的に調整して撮像手段間の視差を調整するという技術が開示されている。
【０００４】
また、例えば特許文献２には、ディスプレイの前方に１画素サイズの微小なレンズを設けると共に、当該ディスプレイと当該レンズとの間に屈折率若しくは光路長を制御可能な層を設け、視線情報等をパラメータとしてこの屈折率若しくは光路長を制御して、目の疲労を低減しつつ臨場感に富んだ立体画像の観察を可能にするという技術が開示されている。
【０００５】
さらに、例えば特許文献３には、観察者が注目する物体の周囲の画像をピンボケ表示して、より現実に近い立体表示を行うようにするという技術が開示されている。
この他、本発明に関連する技術として、例えば非特許文献１には、人の視線を検出し、ディスプレイ上のカーソル（指標）の移動制御を視線追跡により行う視線ポインタの技術が開示されている。
【特許文献１】特開平６−２６１８６０号公報
【特許文献２】特開平５−１４２５１１号公報
【特許文献３】特開平８−１０６５４８号公報
【非特許文献１】浅井、大澤、杉本、鮫島、「没入型ディスプレイ内での視線追跡による仮想物体の指示」、日本バーチャルリアリティ学会論文誌、日本バーチャルリアリティ学会、２００２年９月、第７巻、第３号、ｐ．３５５−３６５
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般に、立体観察（立体視）に適した左右画像の合成位置は、撮像対象物の種類や、撮像対象物と撮像手段との間の距離等によって変化する。そのため、合成位置の調整が必要になるが、ソフトウェアＧＵＩボタンを操作して行う調整や、リモコン・ジョイスティック等の操作による手動の調整では作業が煩雑になりがちであり、そのために本来の立体観察に集中できなくなってしまうことがあった。
【０００７】
本発明は上述した事情に鑑みてなされたものであり、その解決しようとする課題は、立体観察作業の煩雑さを無くして観察者の疲労低減を図りつつ、良好な立体映像を得ることである。
【課題を解決するための手段】
【０００８】
本発明の態様のひとつである立体映像表示装置は、視差を有する一対の画像の合成画像を表示して当該一対の画像に表されている対象物を立体視させる立体映像表示手段と、前記画像立体表示手段で表示される画像を観察する観察者の視線についての情報である視線情報を取得する視線情報取得手段と、前記合成画像における前記一対の画像の合成位置を前記視線情報に基づいて取得する合成位置取得手段と、前記一対の画像を前記合成位置に基づいて各々配置して前記合成画像を生成する画像合成手段と、を有し、前記画像合成手段により生成された合成画像を前記立体映像表示手段で表示させる、ことを特徴とするものであり、この特徴によって前述した課題を解決する。
【０００９】
なお、上述した本発明に係る立体映像表示装置において、前記合成位置取得手段は、前記視線情報のうち少なくとも前記観察者の視点の位置と当該観察者の両眼の視差とに基づいて前記合成位置を取得するように構成してもよい。
【００１０】
なお、このとき、前記合成位置取得手段は、前記視線情報のうち前記観察者の視線の方向に更に基づいて前記合成位置を取得するように構成してもよい。
また、前述した本発明に係る立体映像表示装置において、前記対象物を撮像して前記一対の画像を得る撮像手段と、前記対象物と前記撮像手段との間の距離を測定する測定手段と、を更に有し、前記合成位置取得手段は、前記距離に更に基づいて前記合成位置を取得する、ように構成してもよい。
【００１１】
なお、このとき、前記計測手段は、前記撮像手段により得られた前記一対の画像に基づいて前記距離を計測するように構成してもよい。
また、前述した本発明に係る立体映像表示装置において、前記視線情報取得手段として、視線ポインタを用いるように構成してもよい。
【００１２】
また、前述した本発明に係る立体映像表示装置において、前記視線情報取得手段は、前記観察者を撮像した撮像画像に基づいて前記視線情報を取得するように構成してもよい。
なお、このとき、前記観察者を撮像する撮像手段を前記立体映像表示手段の近傍に配置するように構成してもよい。
【００１３】
また、このとき、前記観察者を撮像する撮像手段を複数配置するように構成してもよい。
本発明の別の態様のひとつである立体映像表示方法は、視差を有する一対の画像の合成画像を表示部で表示して当該一対の画像に表されている対象物を立体視させる立体映像の表示方法であって、前記表示部で表示される画像を観察する観察者の視線についての情報である視線情報を取得し、前記合成画像における前記一対の画像の合成位置を前記視線情報に基づいて取得し、前記一対の画像を前記合成位置に基づいて各々配置して前記合成画像を生成し、前記画像合成手段により生成された合成画像を前記表示部で表示させる、ことを特徴とするものであり、この特徴によって前述した課題を解決する。
【発明の効果】
【００１４】
本発明によれば、以上のようにすることにより、立体観察作業の煩雑さを無くして観察者の疲労低減を図りつつ、良好な立体映像を得ることができるようになるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて説明する。
【実施例１】
【００１６】
まず図１について説明する。同図は、本実施例に係る画像処理装置の構成を示すブロック図である。
はじめに画像入力部１の構成について説明する。画像入力部１は左右一対の光学系１ａと撮像素子１ｂとより構成されており、撮像対象物ＯＢについてのそれぞれ視差を有している一対の画像（以下、左右画像と称することとする。）を撮像することができる。なお、図１においては、画像入力部１を２枚の撮像素子１ｂで構成しているが、図２に示すように、画像入力部１を単一の撮像素子１ｃで構成するようにしてもよい。
【００１７】
画像入力部１で撮像された撮像対象物ＯＢの画像を表している信号は、左右画像抽出部２へ入力される。左右画像抽出部２は、撮像された画像から左右画像の抽出を行う。なお、左右画像抽出部２は、画像処理によるマッチング機能、すなわち、左右画像内おける撮像対象物ＯＢの位置を一致させる機能を有していてもよい。
【００１８】
次に視線情報取得部３ａについて説明する。視線情報取得部３ａは、観察者ＳＢの視点位置や両眼視差などの情報（視線情報）を取得する機器であって、ヘッドマウントタイプあるいはメガネタイプの視線ポインタであり、前掲した非特許文献１でも説明されているように、周知のものである。視線情報取得部３ａは観察者ＳＢが装着することにより視線上に配置される。
【００１９】
ここで図３について説明する。同図は、観察者ＳＢ及び後述する立体映像表示部６と視線情報との位置関係を観察者ＳＢの上方から示した図である。このように、観察者ＳＢの視線情報が視線情報取得部３ａで得られることにより、観察者ＳＢの視点と立体映像表示部６との間の距離や、観察者ＳＢの両眼視差などのデータを算出することができる。なお、これらのデータは、後述する合成位置算出部４へ有線もしくは無線通信により送付されて、左右画像の合成位置を算出するためのパラメータとして使用される。なお、立体観察をする際に偏光メガネを必要とする場合には、偏光メガネの機能を視線情報取得部３ａに併有させるようにしてもよい。
【００２０】
図１の説明へ戻ると、視線情報取得部３ａで取得された観察者ＳＢの視線情報は、合成位置算出部４へ送付される。
合成位置算出部４は、観察者ＳＢの視線情報に基づいて、立体映像表示部６で表示させる合成画像における左右画像の合成位置を算出する。合成位置の算出には図４に例示するような数値テーブルを用いる。この数値テーブルは、観察者ＳＢの視線情報から算出される、観察者ＳＢの視点の位置（視点と立体映像表示部６間との間の距離）Ｌｓ（１〜ｎ）及び観察者ＳＢの両眼の視差Ｄ（１〜ｍ）を入力パラメータとし、立体観察に適した合成位置Ｐｓ（１〜ｎ×ｍ）をこれらの入力パラメータから抽出するマトリクスである。
【００２１】
なお、図４のテーブルにおいては、入力パラメータの値として所定の範囲（Ｌｓ１〜Ｌｓｎ、Ｄ１〜Ｄｍ）のみしか用意されていないので、入力パラメータがこの範囲を外れている値をとる場合には、合成位置算出部４は、例えば、予め設定されている値（デフォルト値）を合成位置Ｐｓの値とするようにしてもよい。
【００２２】
また、図４のテーブルにおいてはその値が離散的に与えられているため、得られた入力パラメータの値が上記範囲内であっても当該テーブルで用意されているパラメータ値とは完全には一致しないことがある。そのような場合には、合成位置算出部４は、当該テーブルにおいて入力パラメータの値の近傍である２つのパラメータ値に対応する合成位置Ｐｓを当該テーブルより取得し、所得された値に対する入力パラメータの値に基づいた線形補間を施すことによって合成位置Ｐｓを近似的に算出するようにしてもよい。さらに、立体映像表示部６の立体映像表示方式の種類により、また、同一方式のものであっても立体映像表示部６間の機差により、立体観察に適した合成位置は様々であるので、合成位置算出部４は、そのようなものの違いに応じた複数種類の数値テーブルを予め保持しておくようにしてもよい。
【００２３】
図１の説明へ戻ると、左右画像抽出部２で抽出された左右画像は、画像合成部５へ入力される。画像合成部５は、合成位置算出部４によって取得された左右画像の合成位置Ｐｓに基づいて左右画像を配置し合成する。画像合成部５によって生成された合成画像は立体映像表示部６に入力されると立体映像表示部６で表示される。ここにおいて、観察者ＳＢは撮像対象物ＯＢの立体観察を行うことができる。
【００２４】
画像入力部１によって撮像された左右画像が立体映像表示部６で表示されるまでの流れを図５に示す。
図５において、（ａ）に示されている７ａ及び７ｂは、それぞれ画像入力部１によって撮像された撮像対象物ＯＢの画像である。ここから、（ｂ）において、左右画像抽出部２が所定の抽出領域８を抽出し、（ｃ）に示すように、それらを左右画像９とする。次に、合成位置算出部４が観察者ＳＢの視線情報に基づいて算出した合成位置で画像合成部５が左右画像９を合成し、（ｄ）に示す合成画像１０を得る。そして最後に、（ｅ）に示すように、立体映像表示部６が合成画像１０を表示することにより、観察者ＳＢが立体観察を行えるようになる。
【実施例２】
【００２５】
まず図６について説明する。同図は、本実施例に係る画像処理装置の構成を示すブロック図である。図６に示す構成は、図１に示した実施例１に係る画像処理装置の構成に、距離測定部１１を加えたものである。
【００２６】
距離計測部１１は、撮像対象物ＯＢと画像入力部１との間の距離を、左右画像抽出部２により抽出された左右画像に基づいて測定する。測定された距離を示す距離データは合成位置算出部４へ入力される。
【００２７】
合成位置算出部４は、入力された距離データを、観察者ＳＢの視線情報と共に、合成位置を算出するための入力パラメータの値として使用する。
図７は、本実施例で合成位置算出部４が使用する合成位置算出用の数値テーブル例である。この数値テーブルは、上述した距離データＬｏ（１〜ｎ）を入力パラメータとし、立体観察に適した合成位置Ｐｏ（１〜ｎ）をこれらの入力パラメータから抽出するマトリクスである。
【００２８】
合成位置算出部４は、この図７のテーブルから抽出された合成位置Ｐｏと、前述した実施例１の数値テーブル（図４）を用いて算出された合成位置Ｐｓとについて各々重み付けを行い、例えば下記の式を用いて左右画像の合成位置Ｐを算出する。
【００２９】
Ｐ＝（１−ａ）・Ｐｓ＋ａ・Ｐｏ    （但し、ａは重みパラメータ：０≦ａ≦１）
画像合成部５は、このようにして合成位置算出部４によって取得された左右画像の合成位置Ｐに基づいて左右画像を配置し合成する。その後の画像処理装置の動作は実施例１におけるものと同様であり、画像合成部５によって合成された左右画像は立体映像表示部６に入力されると立体映像表示部６で表示される。ここにおいて、観察者ＳＢは撮像対象物ＯＢの立体観察を行うことができる。
【００３０】
立体観察に適した左右画像の合成位置は、一般に、撮像対象物ＯＢの種類により、また、操像対象物ＯＢと画像入力部１との間の距離によっても異なっていることが多い。従って、本実施例のように、距離データを加味して合成位置を決定することは、良好な立体映像を得る上で有用である。
【実施例３】
【００３１】
まず、図８について説明する。同図は、本実施例に係る画像処理装置の構成を示すブロック図である。
本実施例では、前述した実施例１や実施例２において使用していたヘッドマウントタイブあるいはメガネタイブの視線ポインタである視線情報取得部３ａの代わりに、観察者ＳＢ自身の撮像画像に基づいて画像処理により観察者ＳＢの視線情報の取得を行うカメラタイブの視線ポインタである視線情報取得部３ｂを備えて画像処理装置を構成する。
【００３２】
このような視線情報取得部３ｂと、裸眼による立体観察が可能な立体映像表示部６とを併用することにより、観察者ＳＢは何も装着することなく立体観察を行うことができるので、観察のための機器装着の煩わしさから解放され、有用である。
【００３３】
なお、視線ポインタである視線情報取得部３ｂは、観察者ＳＢと立体映像表示部６との間の距離を計測するためのものでもあるので、立体映像表示部６の近傍に設置することが計測精度の点で好ましい。
【００３４】
また、より精度の高い視線情報を取得するために、図８の構成の一部を図９に示すように変更し、視線情報取得部３ｂを同時に複数使用する構成としてもよい。なお、このようにする場合には、例えば図１０の設置例に示すように、立体映像表示部６の両脇に視線情報取得部３ｂを１つずつ設置するようにしてもよい。
【００３５】
また、前述した実施例１では、合成位置算出部４の有している数値テーブルにおいて、左右画像の合成位置を算出するための入力パラメータとしては、視線情報取得部３ａによって取得される、観察者ＳＢと立体映像表示部６との間の距離Ｌｓ（１〜ｎ）と、観察者ＳＢの両眼視差Ｄ（１〜ｍ）の２つのみを使用していた。一方、本実施例の視線情報取得部３ｂでは、図１１に示すように、立体映像表示部６からみた視線の方向Ａ（１〜ｌ）も視線情報として取得することができるので、この視線方向Ａを入力パラメータとして加味した数値テーブルを使用するようにしてもよい。なお、その際には、例えば、図１２に示すように、視差Ｄと距離Ｌｓとからなる二次元の数値テーブルを視線方向Ａの値に応じて複数枚用意してなる、三次元の数値テーブルを用いるようにすればよい。
【００３６】
なお、特に図示をしていないが、本実施例は、前述した実施例２のような距離計測部１１を備えた画像処理装置に対しても、上述した視線情報取得部３ｂを装備するようにしてもよい。
【００３７】
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
【図面の簡単な説明】
【００３８】
【図１】実施例１に係る画像処理装置の構成を示す図である。
【図２】画像入力部の構成の別の例を示す図である。
【図３】観察者及び立体映像表示部と視線情報との位置関係を示した図（その１）である。
【図４】合成位置の算出に使用する数値テーブルの第一の例を示す図である。
【図５】画像入力部によって撮像された左右画像が立体映像表示部で表示されるまでの流れを示した図である。
【図６】実施例２に係る画像処理装置の構成を示す図である。
【図７】合成位置の算出に使用する数値テーブルの第二の例を示す図である。
【図８】実施例３に係る画像処理装置の構成を示す図である。
【図９】視線情報取得部の構成の別の例を示す図である。
【図１０】視線情報取得部を複数使用する場合の設置例を示す図である。
【図１１】観察者及び立体映像表示部と視線情報との位置関係を示した図（その２）である。
【図１２】合成位置の算出に使用する数値テーブルの第三の例を示す図である。
【符号の説明】
【００３９】
１  画像入力部
１ａ  光学系
１ｂ、１ｃ  撮像素子
２  左右画像抽出部
３ａ、３ｂ  視線情報取得部
４  合成位置算出部
５  画像合成部
６  立体映像表示部
７ａ、７ｂ  画像
８  抽出領域
９  左右画像
１０  合成画像
１１  距離計測部
ＯＢ  撮像対象物
ＳＢ  観察者
【図１】
2006340017.tif 000003
【図２】
2006340017.tif 000004
【図３】
2006340017.tif 000005
【図４】
2006340017.tif 000006
【図５】
2006340017.tif 000007
【図６】
2006340017.tif 000008
【図７】
2006340017.tif 000009
【図８】
2006340017.tif 000010
【図９】
2006340017.tif 000011
【図１０】
2006340017.tif 000012
【図１１】
2006340017.tif 000013
【図１２】
2006340017.tif 000014