(57)【要約】【課題】２次元画像において奥行き知覚の手がかりとなる画像属性を変更することにより、２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づける。【解決手段】左右眼用の２視点からの画像データからなる両眼立体視用画像データが入力される。使用者は画像選択手段３を介して、左右眼用画像データの何れか好ましい方を選択し、平面画像生成手段２は、選択された画像を両眼立体視用画像データから抽出し、抽出された平面画像データを画像出力手段４から出力する。【選択図】        図１
2005018529.tif 000002
【特許請求の範囲】
【請求項１】
複数視点の画像データからなる両眼立体視用画像データを入力する画像入力手段と、前記両眼立体視用画像データを基に平面画像データを生成する平面画像生成手段と、前記平面画像データを出力する画像出力手段を具備する画像処理装置であって、前記平面画像生成手段により生成される画像データは、前記複数視点の画像データのうちいずれか１つであることを特徴とする画像処理装置。
【請求項２】
前記平面画像生成手段により生成される画像データとして、前記複数視点の画像データから、使用者がいずれかを選択する画像選択手段を具備することを特徴とする請求項１記載の画像処理装置。
【請求項３】
複数視点の画像データからなる両眼立体視用画像データを入力する画像入力手段と、前記両眼立体視用画像データを基に平面画像データを生成する平面画像生成手段と、前記平面画像データを出力する画像出力手段を具備する画像処理装置であって、前記平面画像生成手段で平面画像を生成する際に、平面画像観察時に観察される立体感を強調する所定の立体感強調処理を行なう立体感強調手段を具備することを特徴とする画像処理装置。
【請求項４】
前記立体感強調処理は、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて、前記平面画像生成手段で生成される平面画像内の対応する各オブジェクトの彩度を相対的に変化させる処理であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記立体感強調処理において、彩度変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作する立体感操作手段を具備することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記立体感強調処理は、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて、前記平面画像生成手段で生成される平面画像内の対応する各オブジェクトの空間周波数特性を相対的に変化させる処理であることを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記立体感強調処理において、空間周波数特性変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作する立体感操作手段を具備することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記立体感強調処理は、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて、前記平面画像生成手段で生成される平面画像内の対応する各オブジェクトのサイズを相対的に変化させる処理であることを特徴とする請求項３記載の画像処理装置。
【請求項９】
前記立体感強調処理において、サイズ変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作する立体感操作手段を具備することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記立体感強調処理は、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて、前記平面画像生成手段で生成される平面画像内の対応する各オブジェクトのコントラストを相対的に変化させる処理であることを特徴とする請求項３記載の画像処理装置。
【請求項１１】
前記立体感強調処理において、コントラスト変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作する立体感操作手段を具備することを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記立体感強調処理を行なうか否かを使用者が選択する選択手段を具備することを特徴とする請求項３乃至１１のいずれか一つに記載の画像処理装置。
【請求項１３】
前記立体感強調処理として請求項４、６、８、１０記載の処理のうち一つあるいは複数の立体感強調処理を行なうことを特徴とする請求項３記載の画像処理装置。
【請求項１４】
前記立体感強調処理として請求項４、６、８、１０記載の処理のうち一つあるいは複数の立体感強調処理を使用者が選択する立体感強調処理選択手段を具備することを特徴とする請求項３記載の画像処理装置。
【請求項１５】
実施する立体感強調処理毎に立体感強調の度合いを使用者が操作する立体感操作手段を具備することを特徴とする請求項１３または１４記載の画像処理装置。
【請求項１６】
使用者が立体感強調の度合いを指示する立体感強調度合い指示手段を具備し、指示された立体感強調の度合いに応じて、実施する各々の立体感強調処理の度合いを各々適切に変化させる手段を具備することを特徴とする請求項１３または１４記載の画像処理装置。
【請求項１７】
前記生成された平面画像データの容量の圧縮を行なう平面画像データ圧縮手段を具備することを特徴とする請求項１〜４、６、８、１０のいずれか一つに記載の画像処理装置。
【請求項１８】
前記両眼立体視用画像は、動画像であることを特徴とする請求項１、３、４、６、８、１０のいずれか一つに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数視点からの画像データからなる両眼立体視用画像データから２次元画像を生成し出力する画像処理装置に関する。
【０００２】
【従来の技術】
従来、両眼立体視可能な３次元画像表示方法の１つとして、各々異なる視点位置からの画像からなる左右両眼用の画像を観察者の左右眼に分離して提示することにより両眼視差を与えて立体的に観察可能とする方法がある。このような画像を基に任意の視点からの２次元の画像を生成する方法として、画像観察時に自然に見える２次元画像を生成する方法が提案されている（例えば、特許文献１、２を参照）。
【０００３】
【特許文献１】
特開２００２−３２４２４９号公報
【特許文献１】
特開２００２−５６４０７号公報
【０００４】
【発明が解決しようとする課題】
両眼立体視画像観察時には、通常の２次元画像観察時の奥行き知覚に対する手がかりに加えて両眼視差による奥行き知覚が有効となるため、観察者は通常の２次元画像観察時とは異なるセンセーションを感じるものである。
【０００５】
前掲した特許文献１、２に示されるような方法で作成した２次元画像は、空間内の特定の１視点からの２次元画像を再現するに過ぎず、このような２次元画像を観察しても両眼立体視画像観察時と知覚的に同等のセンセーションは感じられない。
【０００６】
本発明は、上記した問題点に鑑みてなされたもので、
本発明の目的は、２次元画像において奥行き知覚の手がかりとなる画像属性を変更することにより、２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づける画像処理装置を提供することにある。
【０００７】
また、本発明の他の目的は、両眼立体視画像から簡易に２次元画像を生成する画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、複数視点からの画像データからなる両眼立体視用画像データを入力する画像入力手段と、入力される両眼立体視用画像データを基に平面画像データを生成する平面画像生成手段と、平面画像データを出力する画像出力手段を具備する画像処理装置であって、該平面画像生成手段により生成される画像データが入力される複数視点からの画像データのうちいずれか１つであることを特徴とする。このような構成にすることにより、複数視点からの画像データからなる両眼立体視用画像データから、簡易かつ高速に２次元画像を生成することを可能とする。
【０００９】
本発明は、使用者が平面画像生成手段により生成される画像データとして、入力される複数視点からの画像データからいずれかを選択する画像選択手段を具備することを特徴とする。このような構成にすることにより、複数視点からの画像データのうち最も好ましい画像を使用者が選択して、簡易かつ高速に２次元画像を生成することを可能とする。
【００１０】
本発明は、複数視点からの画像データからなる両眼立体視用画像データを入力する画像入力手段と、入力される両眼立体視用画像データを基に平面画像データを生成する平面画像生成手段と、平面画像データを出力する画像出力手段を具備する画像処理装置であって、該平面画像生成手段にて平面画像を生成する際に、平面画像観察時に観察される立体感を強調する所定の立体感強調処理を行なう立体感強調手段を具備することを特徴とする。このような構成にすることにより、２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づける画像処理装置を提供することを可能とする。
【００１１】
本発明の立体感強調処理が、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて平面画像生成手段にて生成される平面画像内の対応する各オブジェクトの彩度を相対的に変化させる処理であることを特徴とする。このような構成にすることにより、２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づける画像処理装置を提供することが可能とする。
【００１２】
本発明は、立体感強調処理を行なうか否かを使用者が選択することを可能とする選択手段を具備することを特徴とする。このような構成にすることにより、立体感を強調することによりあまりにも不自然な２次元画像が生成される場合や、使用者が生成に要する時間の短縮を優先したい場合等があるが、このような場合に２次元画像の立体感強調処理の実行を抑止することを可能とする。
【００１３】
本発明の立体感強調処理において、彩度変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作することを可能とする立体感操作手段を具備することを特徴とする。このような構成にすることにより、使用者が立体感強調の度合いを制御することを可能とする。
【００１４】
本発明の立体感強調処理が、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて平面画像生成手段にて生成される平面画像内の対応する各オブジェクトの空間周波数特性を相対的に変化させる処理であることを特徴とする。このような構成にすることにより、２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づける画像処理装置を提供することを可能とする。
【００１５】
本発明の立体感強調処理において、空間周波数特性変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作することを可能とする立体感操作手段を具備することを特徴とする。このような構成にすることにより、使用者が立体感強調の度合いを制御することを可能とする。
【００１６】
本発明の立体感強調処理が、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて平面画像生成手段にて生成される平面画像内の対応する各オブジェクトのサイズを相対的に変化させる処理であることを特徴とする。このような構成にすることにより、２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づける画像処理装置を提供することを可能とする。
【００１７】
本発明の立体感強調処理において、サイズ変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作することを可能とする立体感操作手段を具備することを特徴とする。このような構成にすることにより、使用者が立体感強調の度合いを制御することを可能とする。
【００１８】
本発明の立体感強調処理が、左右両眼を用いて両眼立体視用画像を観察する際に観察される各オブジェクトの距離に応じて平面画像生成手段にて生成される平面画像内の対応する各オブジェクトのコントラストを相対的に変化させる処理であることを特徴とする。このような構成にすることにより、２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づける画像処理装置を提供することを可能とする。
【００１９】
本発明の立体感強調処理において、コントラスト変化の度合いをコントロールすることにより使用者が立体感強調の度合いを操作することを可能とする立体感操作手段を具備することを特徴とする。このような構成にすることにより、使用者が立体感強調の度合いを制御することを可能とする。
【００２０】
本発明は、一つあるいは複数の立体感強調処理を行なうことを特徴とする。このような構成にすることにより、適切な立体感強調処理を行なうことが可能とする。
【００２１】
本発明は、一つあるいは複数の立体感強調処理を使用者が選択することを可能とする立体感強調処理選択手段を具備することを特徴とする。このような構成にすることにより、使用者が好ましく感じる適切な立体感強調処理を選択して行なうことが可能とする。
【００２２】
本発明は、実施する立体感強調処理毎に立体感強調の度合いを使用者が操作することを可能とする立体感操作手段を具備することを特徴とする。このような構成にすることにより、使用者が好ましく感じる適切な立体感強調処理を選択し、かつ立体感強調の度合いを制御することを可能とする。
【００２３】
本発明は、使用者が立体感強調の度合いを指示することを可能とする立体感強調度合い指示手段を具備し、指示された立体感強調の度合いに応じて、実施する各々の立体感強調処理の度合いを各々適切に変化させる手段を具備することを特徴とする。このような構成にすることにより、複雑な操作を行なうことなく、使用者が望む度合いの立体感強調を行なうことが可能とする。
【００２４】
本発明は、生成された平面画像データの容量の圧縮を行なう平面画像データ圧縮手段を具備することを特徴とする。このような構成にすることにより、生成される２次元画像の容量を小さくすることを可能とする。
【００２５】
本発明の両眼立体視用画像が動画像であることを特徴とする。このような構成にすることにより、２次元動画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視動画像観察時に知覚されるセンセーションにより近づける画像処理装置を提供することを可能とする。
【００２６】
【発明の実施の形態】
以下、本発明の実施例を図面を用いて具体的に説明する。
【００２７】
（実施例１）
図１は、本発明の実施例１に係る画像処理装置の構成を示す。画像入力手段１は、例えば左右眼用の２視点からの画像データからなる両眼立体視用画像データを入力として受け取る。平面画像生成手段２は、使用者が画像選択手段３を介して左右眼用画像データからどちらか好ましい方を選択するなどして選択された画像を両眼立体視用画像データから抽出し、抽出された平面画像データは画像出力手段４から出力される。
【００２８】
本実施例により、複数視点からの画像データからなる両眼立体視用画像データから、簡易かつ高速に２次元画像が生成できる。
【００２９】
（実施例２）
図２は、本発明の実施例２に係る画像処理装置の構成を示す。画像入力手段１は、例えば左右眼用の２視点からの画像データからなる両眼立体視用画像データを入力として受け取る。距離演算手段５は、２視点からの画像データを用いることにより、各画像間の各対応点の視差角を算出し、３次元空間内の相対位置を算出する。次に、例えばここに図示しない視点位置指示手段等を用いて使用者が知覚される３次元空間内の視点を任意に１点指示するなどして３次元空間内の視点が決定されると、距離演算手段５は、３次元空間内の各点の決定された視点からの絶対距離を求めることが可能となる。平面画像生成手段２は、決定された視点からの２次元画像を生成する。立体感強調手段６は、２次元画像内の各点に対して３次元空間内の視点からの距離に応じて立体感強調処理を行なう。
【００３０】
両眼視差量以外に立体感を生じさせる画像属性としては、彩度、空間周波数特性、見かけのサイズ、コントラスト等が挙げられる。
【００３１】
立体感を強調するには対象オブジェクトの視点からの距離に対する減少関数（例えば距離の２乗に反比例する関数など）を用いて、彩度、見かけのサイズ、コントラストを変更すればよい。空間周波数特性を変更するにはオブジェクトに対して例えばガウス関数（Ｇ（ｘ、ｙ）＝ａ＊ｅｘｐ（−（ｘ＾２＋ｙ＾２）／２σ＾２  ここで、ａは定数）などのボケ関数を畳み込むなどの手段が知られている。立体感を強調するためには、対象オブジェクトの視点からの距離に対する増加関数（例えば距離に正比例する関数など）を用いて、ボケ関数のボケの度合いを変更すればよい。ボケ関数がガウス関数で与えられている際には、σの値を対象オブジェクトの視点からの距離に対する増加関数を用いて制御すればよい。立体感強調の度合いを変更するためには、減少関数を用いる場合には減少の度合いを、増加関数を用いる場合には増加の度合いを大きくすればより立体感が強調される。
【００３２】
従って、立体感強調手段６が２次元画像観察時の立体感を強調するためには、図３に示すように視点から遠いオブジェクトほど、彩度を低くする、空間周波数を低周波側にシフトする、見かけのサイズをより小さくする、コントラストを低下させる等の処理のうち少なくとも１つを行なえば良い。
【００３３】
また、実施例２では、立体感強調処理を行なうか否かを使用者が選択する選択手段７が設けられている。立体感強調手段６によて立体感を強調することにより、あまりにも不自然な２次元画像が生成される場合や、使用者が生成に要する時間の短縮を優先したい場合等があるが、このような場合に、２次元画像の立体感強調処理の実行を抑止する。
【００３４】
（実施例３）
図４は、本発明の実施例３に係る画像処理装置の構成を示す。本実施例においては、使用者がより好ましいと感じる２次元画像を生成するため、立体感操作手段８を用いて図３に示した画像属性変更の度合いを操作する。これにより、使用者は立体感強度の度合いを制御できる。
【００３５】
（実施例４）
図５は、本発明の実施例４に係る画像処理装置の構成を示す。本実施例では、使用者が処理に要する時間が長くてもより立体感強調を行ないたい場合や、反対に処理時間を優先する場合に対応するために、立体感強調処理選択手段９を用いて一つあるいは複数の立体感強調処理を行なう画像属性を選択する。また、同等の方法として、処理時間優先モードと強調処理優先モードを設けて、処理時間優先モードにおいては、例えば処理に長時間を要する空間周波数特性の変更、およびサイズの変更は行なわない。
【００３６】
上記した各実施例では、使用者が立体感操作手段８を用いて、つまり手動で画像属性（パラメータ）を設定しているが、このような複雑な操作を行うことなく、パラメータを自動的に設定してもよい。すなわち、使用者が立体感強調の度合いを指示する立体感強調度合い指示手段と、指示された立体感強調の度合いに応じて、実施する各々の立体感強調処理の度合いを各々適切に変化させる手段を設けることにより、使用者が望む度合いの立体感強調を自動的に行うことが可能となる。
【００３７】
（実施例５）
図６は、本発明の実施例５に係る画像処理装置の構成を示す。生成された２次元画像は、画像出力手段４から出力され、例えばＣＲＴディスプレイ等の画像表示装置に表示、あるいはプリンタ等の画像形成装置より印字出力される等、人間が直接観察可能な形式で出力される。また、このようにして生成された２次元画像の別の利用形態として、ハードディスク等のコンピュータ読み取り可能な記録媒体へ保存する、コンピュータネットワークを介して転送し他のマシンで利用する等も挙げられるが、このような場合にはデータサイズが大きいと転送に長時間を要する等の不具合が生じてしまう。従って。本実施例においては、平面画像データ圧縮手段１０を設けて平面画像データの圧縮を行なうことにより、このような不具合を回避することが可能となる。
【００３８】
また、本発明においては入力される両眼立体視用画像は静止画像である必要はなく、動画像であっても同様の処理を行なうことにより、平面動画像観察時の立体感を強調することが可能である。
【００３９】
【発明の効果】
以上、説明したように、本発明によれば、以下のような効果が得られる。
（１）複数視点からの画像データからなる両眼立体視用画像データから、簡易かつ高速に２次元画像を生成することが可能となる。
（２）複数視点からの画像データのうち最も好ましい画像を使用者が選択して、簡易かつ高速に２次元画像を生成することが可能となる。
（３）２次元画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視画像観察時に知覚されるセンセーションにより近づけることが可能となる。
（４）立体感を強調することにより、あまりにも不自然な２次元画像が生成される場合や、使用者が生成に要する時間の短縮を優先したい場合などに、２次元画像の立体感強調処理の実行を抑止することが可能となる。
（５）使用者が立体感強調の度合いを制御することが可能となる。
（６）使用者が好ましく感じる適切な立体感強調処理を選択し、かつ立体感強調の度合いを制御することが可能となる。
（７）複雑な操作を行なうことなく、使用者が望む度合いの立体感強調を行なうことが可能となる。
（８）生成される２次元画像の容量を小さくすることが可能となる。
（９）２次元動画像観察時に知覚される立体感を強調し、知覚されるセンセーションを両眼立体視動画像観察時に知覚されるセンセーションにより近づけることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施例１に係る画像処理装置の構成を示す。
【図２】本発明の実施例２に係る画像処理装置の構成を示す。
【図３】立体感強調処理を説明する図である。
【図４】本発明の実施例３に係る画像処理装置の構成を示す。
【図５】本発明の実施例４に係る画像処理装置の構成を示す。
【図６】本発明の実施例５に係る画像処理装置の構成を示す。
【符号の説明】
１  画像入力手段
２  平面画像生成手段
３  画像選択手段
４  画像出力手段
【図１】
2005018529.tif 000003
【図２】
2005018529.tif 000004
【図３】
2005018529.tif 000005
【図４】
2005018529.tif 000006
【図５】
2005018529.tif 000007
【図６】
2005018529.tif 000008