(57)【特許請求の範囲】
【請求項１】
立体画像表示用の画像データから視差画像の視差量を検出する検出手段と、
前記画像データが表す画像を再現する表示面と前記画像の観察者の間の観察距離を取得する取得手段と、
前記視差量と前記観察距離に基づき、前記画像データが表す物体の表示上の奥行量を推定する推定手段と、
表示上の奥行量と知覚上の奥行量の関係を示す視覚特性を保持する保持手段と、
融像限界を示す情報を取得する手段と、
前記物体の表示上の奥行量、前記観察距離、前記視覚特性および前記融像限界に基づき、前記物体の表示上の奥行量と知覚上の奥行量を合わせる視差量の補正量を演算する演算手段と、
前記補正量に基づき前記視差画像の視差量を補正する補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記視覚特性は、前記観察距離ごとに前記表示上の奥行量に対応する前記知覚上の奥行量を示すことを特徴とする請求項1に記載された画像処理装置。
【請求項３】
前記演算手段は、前記融像限界に基づき、前記知覚上の奥行量を圧縮して立体像の奥行を線形に再現する前記補正量を演算することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
さらに、前記観察者の前記融像限界を取得する手段を有することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項５】
立体画像表示用の画像データから視差画像の視差量を検出する検出手段と、
前記画像データが表す画像を再現する表示面と前記画像の観察者の間の観察距離を取得する取得手段と、
前記視差量と前記観察距離に基づき、前記画像データが表す物体の表示上の奥行量を推定する推定手段と、
表示上の奥行量と知覚上の奥行量の関係を示す前記観察者の視覚特性を取得する手段と、
前記物体の表示上の奥行量、前記観察距離および前記視覚特性に基づき、前記物体の表示上の奥行量と知覚上の奥行量を合わせる視差量の補正量を演算する演算手段と、
前記補正量に基づき前記視差画像の視差量を補正する補正手段とを有することを特徴とする画像処理装置。
【請求項６】
立体画像表示用の画像データから視差画像の視差量を検出し、
前記画像データが表す画像を再現する表示面と前記画像の観察者の間の観察距離を取得し、
前記視差量と前記観察距離に基づき、前記画像データが表す物体の表示上の奥行量を推定し、
表示上の奥行量と知覚上の奥行量の関係を示す視覚特性を保持し、
融像限界を示す情報を取得し、
前記物体の表示上の奥行量、前記観察距離、前記視覚特性および前記融像限界に基づき、前記物体の表示上の奥行量と知覚上の奥行量を合わせる視差量の補正量を演算し、
前記補正量に基づき前記視差画像の視差量を補正することを特徴とする画像処理方法。
【請求項７】
立体画像表示用の画像データから視差画像の視差量を検出し、
前記画像データが表す画像を再現する表示面と前記画像の観察者の間の観察距離を取得し、
前記視差量と前記観察距離に基づき、前記画像データが表す物体の表示上の奥行量を推定し、
表示上の奥行量と知覚上の奥行量の関係を示す前記観察者の視覚特性を取得し、
前記物体の表示上の奥行量、前記観察距離および前記視覚特性に基づき、前記物体の表示上の奥行量と知覚上の奥行量を合わせる視差量の補正量を演算し、
前記補正量に基づき前記視差画像の視差量を補正することを特徴とする画像処理方法。
【請求項８】
コンピュータを請求項1から請求項5の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者が知覚する立体像の奥行を補正する画像処理に関する。
【背景技術】
【０００２】
近年、テレビジョンなどの表示装置における立体表示に関する研究が盛んである。
【０００３】
立体表示技術においては、両眼視差を利用して、観察者に立体を知覚させる手法が一般的に用いられる。例えば、観察者に液晶シャッタ眼鏡を装着させる立体画像表示装置は、両眼視差を利用して立体像を知覚させるために、右目と左目に異なる画像を表示する方法を採用する。
【０００４】
両眼視差を利用する表示方法は、同一物体を対象にして右目用画像（以下、右画像）と左目用画像（以下、左画像）の間に視差量を設定する。視差量は、同一物体における右画像と左画像の間の画素のずれ量である。このずれ量と、表示画面のスクリーンサイズによって観察者が知覚する立体感が変化することが知られている。
【０００５】
特許文献1は、違和感や不快感を覚えないように、スクリーンサイズに応じて視差を補正して立体感を制御する技術を開示する。
【０００６】
また、非特許文献1は、両眼視差を利用する立体視において、視差量と観察距離から予測される物体の表示上の奥行き距離（以下、表示上の奥行量）と、観察者が知覚する物体の奥行き距離（以下、知覚上の奥行量）の関係が非線形であることを提示する。
【０００７】
従来の立体表示技術は、非特許文献1が提示する表示上の奥行量と知覚上の奥行量の非線形性を補正しない。そのため、観察者は、知覚する立体像に箱庭感・書割感を覚える場合がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2010-045584号公報
【非特許文献】
【０００９】
【非特許文献１】東巧・中溝幸夫「輻輳と網膜像差と知覚された奥行き量の関係」日本視覚学会誌 VISION、Vol. 8、日本、日本視覚学会、1996年4月、87-95頁
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、人間の立体視における視覚特性を考慮して視差量を制御することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１２】
本発明にかかる画像処理は、立体画像表示用の画像データから視差画像の視差量を検出し、前記画像データが表す画像を再現する表示面と前記画像の観察者の間の観察距離を取得し、前記視差量と前記観察距離に基づき、前記画像データが表す物体の表示上の奥行量を推定し、表示上の奥行量と知覚上の奥行量の関係を示す視覚特性を保持し、融像限界を示す情報を取得し、前記物体の表示上の奥行量、前記観察距離、前記視覚特性および前記融像限界に基づき、前記物体の表示上の奥行量と知覚上の奥行量を合わせる視差量の補正量を演算し、前記補正量に基づき前記視差画像の視差量を補正することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、人間の立体視における視覚特性を考慮して視差量を制御して、立体像の奥行を知覚上で線形に再現することができる。その結果、観察者が覚える箱庭感・書割感を抑制することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例の画像処理装置の構成例を示すブロック図。
【図２】両眼視差量D1と対象物体の距離の関係を説明する図。
【図３】知覚上の奥行距離Lvを説明する図。
【図４】表示上の奥行量Ldと知覚上の奥行量Lvの関係を説明する図。
【図５】補正演算部の処理を説明するフローチャート。
【図６】観察距離Lsごとに両眼視差量D1、表示上の奥行量Ld、知覚上の奥行量Lvの対応を示すテーブルを示す図。
【図７】両眼視差量Dの補正方法を説明する図。
【図８】視覚特性情報Dvのキャリブレーションを説明する図。
【図９】実施例2の画像処理装置の構成例を示すブロック図。
【図１０】表示上の奥行量Ld、知覚上の奥行量Lv、融像限界の関係を説明する図。
【図１１】補正演算部の処理を説明するフローチャート。
【図１２】補正視差量の算出処理を説明するフローチャート。
【図１３】表示上の奥行量LdA、知覚上の補正奥行量Lv'A、融像限界の関係を説明する図。
【発明を実施するための形態】
【００１５】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。以下では、液晶シャッタ眼鏡などを装着した観察者に立体像の知覚を提供するシステムに適用可能な画像処理装置を説明する。画像処理装置は、観察者が知覚する立体像の奥行を補正する機能を有する。
【実施例１】
【００１６】
［装置の構成］
図1のブロック図により実施例の画像処理装置100の構成例を示す。
【００１７】
画像処理装置100は、映像信号Dinを入力し、映像信号Doutを画像表示部111に出力する。なお、後述する奥行量の補正が行われない場合、映像信号は画像処理装置100をスルーする。画像表示部111は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機ELディスプレイ、プロジェクタなどであり、所定の立体画像表示方式に基づき観察者に立体像の知覚を提供する。
【００１８】
CPU106は、RAM108をワークメモリとして、ROM107などに格納された制御プログラムを実行し、システムバス113を介して後述する構成を制御する。また、CPU106は、ボタン、キーボード、タッチパネルなどの操作部109を介して、ユーザ指示やユーザが入力する各種情報を取得する。
【００１９】
観察距離取得部105は、ROM107に格納された、観察者（通常はユーザ）と画像表示部111の表示面の間の距離（観察距離）Lsを取得し、RAM108に格納する。この観察距離Lsは、ITU-R（国際無線通信諮問委員会）が規定する標準観察距離、つまり画像表示部111の画面の高さの三倍から六倍の距離である。観察距離Lsは、ユーザが操作部109を操作して観察距離Lsを入力してもよいし、CPU106が距離センサ110に測定を指示して取得してもよい。CPU106は入力または取得した観察距離LsをRAM108の所定領域に格納し、RAM108を介して観察距離Lsを観察距離取得部105に供給する。
【００２０】
距離センサ110は、赤外線レーザを画像表示部111の表示面に正対する方向へ照射し、その反射光を受信センサが受信するまでの時間から観察距離Lsを測定する。距離センサ110は、測定結果の観察距離Lsを観察距離取得部105またはCPU106に送信し、観察距離取得部105またはCPU106は受信した観察距離LsをRAM108の所定領域に格納する。なお、観察距離の測定方法は、これに限らず、例えば多眼カメラによる三角測量によって測定してもよい。
【００２１】
視差量検出部101は、左画像と右画像からなる立体画像表示用の画像データDinが入力されると、画像データDinから両眼視差画像の両眼視差量Dを検出する。奥行推定部102は、両眼視差量D、画像データDin、表示装置情報Dd、観察距離Lsを入力して、立体画像の飛び出しや引き込みで表現される、表示上の奥行量Ldを推定する。
【００２２】
表示上の奥行量Ldは、あるオブジェクトにおける両眼視差量、観察距離、観察者の瞳孔間距離から算出される対象物体の奥行距離のことである。なお、対象物体は、左画像と右画像の両方に存在する同一のオブジェクトのことである。
【００２３】
表示装置情報Ddは、ROM107などに格納された、画像表示部111の仕様に関する情報であり、画像表示部111の表示可能領域のサイズ（幅W[mm]×高さH[mm]）や表示可能な画素数（横NDW×縦NDH）に関する情報を含む。また、表示装置情報Ddとして、例えば拡張ディスプレイ識別データ(extended display identification data: EDID)を画像表示部111から取得してもよい。なお、EDIDは、VESA (Video Electronics Standards Association)によって規定されている。また、表示装置情報Ddは、上記情報のほかに、液晶ディスプレイやプロジェクタなどの表示方式を識別するための情報を含むことが望ましい。
【００２４】
視覚特性保持部112は、視覚特性情報Dvを保持するメモリである。視覚特性情報Dvは、表示上の奥行量Ldと知覚上の奥行量Lvの関係を表す。例えば、表示上の奥行量Ldと知覚上の奥行量Lvの関係を示すテーブルでもよいし、表示上の奥行量Ldから知覚上の奥行量Lvを算出する式でもよい。
【００２５】
補正演算部103は、視覚特性情報Dv、表示装置情報Dd、観察距離Lsを用いて、知覚上の奥行量Lvと、奥行推定部102が推定した表示上の奥行量Ldを合わせる補正視差量Cを算出する。視差量補正部104は、補正視差量Cに基づき、画像データDinの両眼視差量Dを補正し、補正後の画像データDoutを画像表示部111へ出力する。
【００２６】
［装置の動作］
画像処理装置100は、外部の立体差画像再生装置やディジタル放送受信機などから画像データDinを入力する。
【００２７】
●視差量検出部
視差量検出部101は、公知の方法により、画像データDinの左画像と右画像それぞれからオブジェクトを抽出し、対象物体の表示面上の画素のずれ量を両眼視差量Dとして検出する。そして、対象物体ごとに、両眼視差量Dを奥行推定部102に送信する。
【００２８】
●奥行推定部
奥行推定部102は、各対象物体の両眼視差量D、表示装置情報Dd、観察距離Lsを入力し、式(1)により、各対象物体の表示上の奥行量Ldを算出する。例えば、表示装置情報Ddが示す画像表示部111の表示幅と横画素数、および、画像データDinの横画素数を用いて、両眼視差量Dの単位を画素数からミリメートルに変換した両眼視差量D1を計算する。
D1 = D×W/NDW×NDW/NinW                    …(1)
ここで、Wは画像表示部111の表示幅[mm]、
NDWは画像表示部111の横画素数、
NinWは画像データDinの横画素数。
【００２９】
なお、式(1)は、画素数（横）NinW×（縦）NinHの左画像および右画像をフルスクリーン表示する場合に両眼視差量D1を計算する式である。当該画像を等倍表示する場合は式(1)においてNDW/NinW=1になる。
【００３０】
次に、奥行推定部102は、両眼視差量D1に対する表示上の奥行量Ldを算出する。図2により両眼視差量D1と対象物体の距離の関係を説明する。観察者の瞳孔間距離をde[mm]とすると、表示上の奥行量Ldは、下式により算出される。奥行推定部102は、対象物体Pごとに得られた表示上の奥行量Ldを補正演算部103に送信する。
図2(a)において、de：D1 = Ld：Ld-Ls
∴ Ld = de×Ls/(de - D1)      …(2)
【００３１】
ただし、D1は、図2(a)に示すように、対象物体Pが画像表示部111より手前の場合は負に、図2(b)に示すように、対象物体Pが画像表示部111より後ろの場合は正になる。これは、左画像から抽出したオブジェクトが、右画像から抽出した同一オブジェクトよりも左にある場合に正、右にある場合に負と言える。また、式(2)から分かるように、対象物体Pの表示上の奥行量Ldが観察距離Lsに等しい(Ld=Ls)の場合は両眼視差量D1は零になる。なお、瞳孔間距離deは一般的な成人の場合は65mmとされるが、これに限るものではなく、ユーザ（観察者）が操作部109により入力してもよい。
【００３２】
●観察距離取得部、視覚特性保持部
観察距離取得部105は、奥行推定部102や補正演算部103から観察距離Lsを要求されると、RAM108に格納された観察距離Lsを奥行推定部102や補正演算部103に送信する。また、視覚特性保持部112は、補正演算部103から視覚特性情報Dvを要求されると、保持する視覚特性情報Dvを補正演算部103に送信する。
【００３３】
●補正演算部
補正演算部103は、視覚特性保持部112から入力した視覚特性情報Dvを用いて、奥行推定部102から入力した表示上の奥行量Ldから知覚上の奥行量Lvを得る。そして、画像データDin内の対象物体Pに対する視差量の補正量Cを算出する。
【００３４】
図3により知覚上の奥行距離Lvを説明する。図3(a)(b)に示すように、知覚上の奥行距離Lvは視覚特性の影響を受け、表示上の奥行距離Ldとの差が知覚される。図4により表示上の奥行量Ldと知覚上の奥行量Lvの関係を説明する。知覚上の奥行量Lvと表示上の奥行量Ldの関係は次のようになる。
Lv = f(Ld)      …(3)
ここで、fは視覚特性を表す関数。
【００３５】
例えば、ある対象物体Pの表示上の奥行量をLd1とすると、表示上の奥行量とは異なる奥行量Lv1が知覚される。言い替えれば、知覚上の奥行量をLd1にするために必要な表示上の奥行量Ld1'は下式で表される。つまり、Ld1'は、表示上の奥行量と知覚上の奥行量の差を補正した奥行量である。
Ld1' = f-1(Ld1)      …(4)
【００３６】
図5のフローチャートにより補正演算部103の処理を説明する。補正演算部103は、観察距離Lsを取得し(S101)、視覚特性保持部112から観察距離Lsに対応する視覚特性情報Dvを取得する(S102)。
【００３７】
視覚特性情報Dvが表示上の奥行量Ldと知覚上の奥行量Lvの関係を表す式(3)の関数fである場合、関数fは、観察距離Lsごとに予め用意され、視覚特性保持部112に保持されている。つまり、補正演算部103は、観察距離Lsに最も近い観察距離に対応する関数fを視覚特性保持部112から取得するが、例えば下式に示す関数fを取得する。
Lv = f(Ld) = (Ld - Ls)k + Ls      …(5)
ここで、kは観察距離Lsに基づく係数、
例えば、観察距離Ls=900 mm、係数k=0.95。
【００３８】
視覚特性情報Dvは、関数fに限るわけではない。図6により観察距離Lsごとに両眼視差量D1、表示上の奥行量Ld、知覚上の奥行量Lvの対応を示すテーブルを示す。つまり、補正演算部103は、観察距離Lsに対応するテーブルを取得してもよい。なお、観察距離Lsに対応するテーブルが用意されていない場合は、観察距離Lsに最も近いテーブルを選択してもよいし、観察距離Lsを挟むテーブルの間の補間演算により観察距離Lsに対応するテーブルを生成してもよい。
【００３９】
次に、補正演算部103は、注目する対象物体Pの表示上の奥行量Ldを受信する(S103)。そして、視覚特性情報Dv（関数fやテーブル）により、表示上の奥行量がLdの対象物体Pを、知覚上の奥行量Lv=Ldとして忠実に再現する補正奥行量Ld'を算出する(S104)。例えば、対象物体Pの表示上の奥行量Ld1が2000 mmとすると、知覚上の奥行量Lvを2000 mmにするような、補正奥行量Ld1'を算出する。
式(4)(5)より、
Ld1' = f-1(Ld1)
= (Ld1 - Ls)1/k + Ls
Ld1 = 2000、Ls = 900、k = 0.95とすると、
Ld1' = (2000 - 900)1/0.95 + 900 = 2490      …(6)
【００４０】
次に、補正演算部103は、ROM107などから表示装置情報Ddを取得し(S105)、表示装置情報Ddと補正奥行量Ld1'に基づき補正視差量Cを算出する(S106)。補正奥行量Cの単位は画素である。そこで、下式により補正奥行量Ld1'に必要な補正両眼視差量D2[mm]を算出する。
式(2)より、
D2 = de(Ld1' - Ls)/Ld1'      …(7)
【００４１】
そして、表示装置情報Ddが示す画像表示部111の表示幅W、横画素数NDW、画像データDinの横画素数NinWを用いて補正両眼視差量D2を単位変換し、補正視差量Cにする。
C = D2×NDW/W×NinW/NDW      …(8)
【００４２】
なお、式(8)は、画素数（横）NinW×（縦）NinHの左画像および右画像をフルスクリーン表示する場合に補正視差量Cを計算する式である。当該画像を等倍表示する場合は式(8)においてNinW/NDW=1になる。
【００４３】
次に、補正演算部103は、画像データDinに含まれる全対象物体に対する補正視差量Cを算出したか否かを判定し(S107)、補正視差量Cが未算出の対象物体Pがあれば、処理をステップS103に戻す。そして、全対象物体に対する補正視差量Cを算出すると、補正視差量Cを視差量補正部104に送信する(S108)。
【００４４】
●視差量補正部
視差量補正部104は、画像データDinに含まれる対象物体Pに対応する補正視差量Cに基づき、当該対象物体Pの両眼視差量Dを補正した画像データDoutを出力する。
【００４５】
図7により両眼視差量Dの補正方法を説明する。図7(a)に示すC-D＜0の場合は、左画像の対象物体Pに該当するオブジェクトを(C-D)/2画素分、右に移動する。また、右画像の対象物体Pに該当するオブジェクトを(C-D)/2画素分、左に移動する。一方、図7(b)に示すC-D≧0の場合は、左画像の対象物体Pに該当するオブジェクトを(C-D)/2画素分、左に移動する。また、右画像の対象物体Pに該当するオブジェクトを(C-D)/2画素分、右に移動する。
【００４６】
視差量補正部104は、画像データDinに含まれる全対象物体に該当するオブジェクトについて図7に示す処理を行い、補正後の画像データDoutを出力する。
【００４７】
補正後の画像データDoutは、画像表示部111に入力され、立体画像表示方式（フレームシーケンシャル方式、ラインバイラインなど）に応じて表示される。従って、立体画像における表示上の奥行量と知覚上の奥行量の非線形な関係を補正して、観察者が知覚する立体像の奥行を適切に再現して、観察者が知覚する立体像の箱庭感・書割感を防ぐことができる。
【００４８】
表示上の奥行量と知覚上の奥行量の関係を示す視覚特性情報Dvは、表示装置の画面サイズによって変化する。従って、画面サイズごとに視覚特性情報Dvを保持することが好ましい。また、上記では、視覚特性保持部112が視覚特性情報Dvを保持する例を説明したが、ユーザに立体像を観察させてキャリブレーションを行い、キャリブレーション結果のデータを視覚特性情報Dvに利用することもできる。
【００４９】
図8により視覚特性情報Dvのキャリブレーションを説明する。ユーザが操作部109を操作して、立体感のユーザ設定モードの起動を指示すると、CPU106は、例えば視覚特性保持部112が保持する図8に示すようなバー画像を画像表示部111に表示させる。バー画像は、両眼視差を有し、ユーザは立体像として認識する。ユーザは、知覚する立体像の奥行量を操作部109を操作して入力する。これにより、両眼視差量に対応する知覚上の奥行量が得られる。従って、式(1)(2)を用いて両眼視差量に対する表示上の奥行量を算出すれば、視覚特性情報Dvが得られる。なお、視覚特性情報Dvを取得するための立体像は、図8に示すバー画像に限らず、映像情報メディア学会が規定する立体映像標準チャートなどを用いてもよい。
【実施例２】
【００５０】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５１】
実施例1のように表示上の奥行量Ldを知覚上で忠実に再現しようとすると、視覚の融像限界を超えて、立体視が不可能になる場合がある。そこで、実施例2においては、融像限界情報を用いて、表示上の奥行量を知覚上で圧縮して立体像の奥行を線形に再現する。
【００５２】
［装置の構成］
図9のブロック図により実施例2の画像処理装置100の構成例を示す。
【００５３】
実施例2の画像処理装置100は、図1に示す構成に加えて、融像限界取得部801と画像信号出力部802を有する。また、画像表示部111は、対応する液晶シャッタ眼鏡803を備える。
【００５４】
融像限界取得部801は、詳細は後述するが、融像限界情報LDfをROM107やRAM108などから取得する。融像限界は、両眼視差画像における視差を人間の視覚が融像し、立体像として知覚することができる両眼視差の限界である。以下では、融像限界の単位をミリメートルとして説明する。
【００５５】
補正演算部103は、視覚特性情報Dv、表示装置情報Dd、観察距離Lsに加えて融像限界情報LDfを用いて、知覚上の奥行量Lvと、奥行推定部102が推定した表示上の奥行量Ldを等しくする補正視差量Cを算出する。
【００５６】
画像信号出力部802は、両眼視差量が補正された画像データDout、および、画像表示制御信号Sfを出力する。液晶シャッタ眼鏡803は、画像表示制御信号Sfに含まれる垂直同期信号Svに基づき動作し、観察者に立体像を知覚させるためのシャッタ動作を行う。
【００５７】
［装置の動作］
視差量検出部101、奥行推定部102、観察距離取得部105、視覚特性保持部112の動作は、実施例1と同一であり、その詳細説明を省略する。
【００５８】
●融像限界取得部
融像限界取得部801は、補正演算部103から融像限界情報LDfを要求されると、例えばROM107から融像限界情報LDfを取得し、融像限界情報LDfを補正演算部103に送信する。
【００５９】
図2(b)に示すように、対象物体Pが画像表示部111の奥に知覚される場合、立体像として知覚することができる両眼視差量の限界を融像限界の最大値Df1とする。また、図2(a)に示す用に、対象物体Pが画像表示部111の手前に知覚される場合、立体像として知覚することができる両眼視差量の限界を融像限界の最小値Df2とする。なお、融像限界の視差量は、両眼視差量D1と同様に、立体像が画像表示部111の奥に知覚される場合を正、手前に知覚される場合を負とする。
【００６０】
融像限界情報Dfは、上記の最大値Df1、最小値Df2に関する情報を含めば、3Dコンソーシアムの安全ガイドラインに提言された快適視差範囲などでもよい。あるいは、ユーザ設定モードにおいて、図8に示すような立体像を提示して、ユーザが操作部109により両眼視差量を増減させ、ユーザの融像限界を取得してもよい。
【００６１】
ユーザは、図8に示すような立体像を観察し、両眼視差量を、操作部109の操作によって減少させる。そして、立体像として知覚できなくなると両眼視差量の減少を停止する。つまり、操作を停止した時点の両眼視差量を融像限界の最小値LDf2とする。同様に、ユーザは図8に示すような立体像を観察し、両眼視差量を、操作部109の操作によって増加させる。そして、立体像として知覚できなくなると両眼視差量の増加を停止する。つまり、操作を停止した時点の両眼視差量を融像限界の最大値LDf1とする。CPU106は、取得した最大値LDf1、最小値LDf2を融像限界情報LDfとして例えばRAM108の所定領域に格納し、RAM108を介して融像限界情報LDfを融像限界取得部801に供給する。
【００６２】
●補正演算部
図10により表示上の奥行量Ld、知覚上の奥行量Lv、融像限界の関係を説明する。図10において、ハッチングを施した領域は、最大値LDf1と最小値LDf2の範囲外の融像限界を超える領域であり、この領域では融像ができず立体像を観察することができない。
【００６３】
例えば、図10(a)に示すように、ある対象物体A、B、Cに対する表示上の奥行量をLdA、LdB、LdCとすると、対象物体それぞれの知覚上の奥行量LvA、LvB、LvCは式(3)により下に示すようになる。
LvA = f(LdA)
LvB = f(LdB)      …(9)
LvC = f(LdC)
【００６４】
表示上の奥行量と知覚上の奥行量の間に差が発生し、図10(a)に示すように、対象物体A、B、Cの表示上の奥行量と知覚上の奥行量が対応しない。さらに、画像表示部111の位置を原点とする対象物体A、B、Cの相対的な距離関係にも、下式に示すように、ずれが生じる。
LdA-Ls：LdB-Ls：LdC-Ls ≠ LvA-Ls：LvB-Ls：LvC-Ls      …(10)
【００６５】
さらに、対象物体Cは、表示上の奥行量LdCは融像限界を超え、立体像として知覚されない。従って、実施例1のように、表示上の奥行量LdCと知覚上の奥行量LvCが一致させても、対象物体Cは立体像として知覚されないことになる。
【００６６】
そこで、実施例2においては、全対象物体を融像限界に収め、かつ、対象物体の相対的な距離関係を知覚上で再現するようにスケーリングとシフトを行う。そのために、表示上の奥行量と知覚上の奥行量の間の差を補正する補正量を算出する。まず、ある対象物体の補正後の知覚上の奥行量Lv'を下式から算出する。
Lv' = fS(Ld)      …(11)
【００６７】
式(11)を利用すると、対象物体A、B、Cの補正後の知覚上の奥行量Lv'A、Lv'B、Lv'Cは下式のように算出される。
Lv'A = fS(LdA)
Lv'B = fS(LdB)      …(12)
Lv'C = fS(LdC)
【００６８】
そして、補正後の知覚上の奥行量Lv'A、Lv'B、Lv'Cを得るために必要な表示上の補正奥行量Ld'は、式(5)により、下式のようになる。
Lv'A = f(Ld'A)
Lv'B = f(Ld'B)
Lv'C = f(Ld'C)
故に、
Ld'A = f-1(Lv'A)
Ld'B = f-1(Lv'B)      …(13)
Lc'C = f-1(Lv'C)
【００６９】
式(13)によって得られるLd'A、Ld'B、Ld'Cが、対象物体A、B、Cに対して、表示上の相対的な距離関係を知覚上の奥行量で再現する場合の表示上の奥行量である。
【００７０】
図11のフローチャートにより補正演算部103の処理を説明する。補正演算部103は、観察距離Lsと視覚特性情報Dvを取得し(S301、S302)、融像限界取得部801から融像限界情報LDfを取得する(S901)。
【００７１】
次に、補正演算部103は、融像限界情報LDfと視覚特性情報Dvに基づき、式(2)を用いて、表示上の奥行量の最大値LDf1と最小値LDf2を計算する。さらに、最大値LDf1に対応する知覚上の奥行量Lv1と、最小値LDf2に対応する知覚上の奥行量Lv2を計算する(S902)。つまり、Lv1=f(LDf1)、Lv2=f(LDf2)を計算する。
【００７２】
次に、補正演算部103は、奥行推定部102から全対象物体の表示上の奥行量Ldを受信し(S903)、受信した表示上の奥行量Ldの最大値をLdmax、最小値をLdminに設定する(S904)。図10(a)の例においては、LdCを最大値Ldmaxに、LdAを最小値Ldminに設定する。
【００７３】
次に、補正演算部103は、表示装置情報Ddを取得し(S105)、表示上の奥行量の最大値Ldmaxと、表示上の融像限界の最大値LDf1の比較(S905)を行い。さらに、表示上の奥行量の最小値Ldminと、表示上の融像限界の最小値LDf2の比較(S906、S907)を行う。そして、比較結果に基づき、各対象物体の表示上の奥行量を融像限界内に収め、かつ、表示上の奥行量を知覚上で圧縮して立体像の奥行を線形に再現するための補正視差量の算出処理を次のように行う(S908-S911)。
if (Ldmax＞LDf1 && Ldmin＜LDf2)
算出処理1を行う(S908)；
if (Ldmax＞LDf1 && Ldmin≧LDf2)
算出処理2を行う(S909)；
if (Ldmax≦LDf1 && Ldmin＜LDf2)
算出処理3を行う(S910)；
if (Ldmax≦LDf1 && Ldmin≧LDf2)
算出処理4を行う(S911)；
【００７４】
そして、補正演算部103は、補正視差量の算出処理によって得られた各対象物体の補正視差量Cを視差量補正部104に送信する(S108)。
【００７５】
〔補正視差量の算出処理1〕
図12のフローチャートにより補正視差量の算出処理を説明する。
【００７６】
知覚上の奥行量の最大値Lv1は、表示上の奥行量の最大値Ldmaxに対応する知覚上の奥行量になる筈である。しかし、Ldmax＞LDf1かつLdmin＜LDf2の場合、Ldmaxが融像限界LDf1を超えているため、Lv1は融像限界内に収まらない。そこで、Lv1を融像限界の最大値LDf1に対応する知覚上の奥行量にシフトする。同様に、Lv2も、Ldminに対応する知覚上の奥行量から、融像限界の最小値LDf2にシフトする。つまり、補正演算部103は、式(3)により、Lv1=f(LDf1)、Lv2=f(LDf2)を算出する(S1201)。
【００７７】
次に、補正演算部103は、表示上の奥行量Ldと観察距離Lsを比較する(S1202)。例えば、対象物体Aの表示上の奥行量をLdAとすると、LdAと観察距離Lsを比較する。
【００７８】
Ld＞Lsの場合、補正演算部103は、式(11)により、Ld、Ls、Ldmaxの表示上の奥行量の相対関係を知覚上で圧縮して立体像の奥行を線形に再現した知覚上の補正奥行量Lv'を算出する(S1203)。
【００７９】
例えば、図10(a)に示すように、対象物体Aの表示上の奥行量がLdAとし、LdAに対応するLv'をLv'Aとする。図13により表示上の奥行量LdA、知覚上の補正奥行量Lv'A、融像限界の関係を説明する。図13において、Lv'A、観察距離Ls、表示上の奥行量の最大値Ldmax、知覚上の奥行量の最大値Lv1、対象物体Aの表示上の奥行量LdAの間に下の関係が成り立つ。
LdA-Ls：Ldmax-Ls = Lv'A-Ls：Lv1-Ls      …(14)
【００８０】
式(14)から、知覚上の奥行量をスケーリングする式(11)は次のようになる。
Lv'A = (LdA - Ls)(Lv1 - Ls)/(Ldmax - Ls) + Ls      …(15)
【００８１】
式(15)に示すように、対象物体Aの知覚上の補正奥行量Lv'Aは、表示上の奥行量LdAから算出される。つまり、式(15)により、各対象物体の表示上の奥行量を融像限界内に収め、かつ、表示上の奥行量を知覚上で圧縮して立体像の奥行を線形に再現する、知覚上の補正奥行量Lv'を算出する。
【００８２】
一方、Ld≦Lsの場合、対象物体の表示上の奥行量Ldは観察距離Lsより手前にある。従って、補正演算部103は、式(11)により、Ld、Ls、Ldminの表示上の奥行量の相対関係を知覚上で再現するように補正した知覚上の補正奥行量Lv'を算出する(S1204)。
【００８３】
例えば、対象物体Bの表示上の奥行量がLdBとし、LdBに対応するLv'をLv'Bとする。Lv'B、観察距離Ls、表示上の奥行量の最小値Ldmin、知覚上の奥行量の最小値Lv2、対象物体Bの表示上の奥行量LdBの間に下の関係が成り立つ。
Ls-LdB：Ls-Ldmin = Ls-Lv'B：Ls-Lv2      …(16)
【００８４】
式(16)から、知覚上の奥行量をスケーリングする式(11)は次のようになる。
Lv'B = Ls - (Ls - LdB)(Ls - Lv2)/(Ls - Ldmin)      …(17)
【００８５】
式(17)に示すように、対象物体Bの知覚上の補正奥行量Lv'Bは、表示上の奥行量LdBから算出される。つまり、式(17)により、各対象物体の表示上の奥行量を融像限界内に収め、かつ、表示上の奥行量を知覚上で圧縮して立体像の奥行を線形に再現する、知覚上の補正奥行量Lv'を算出する。
【００８６】
次に、補正演算部103は、補正奥行量Lv'から補正奥行量Ld'を算出する(S1205)。例えば、知覚上の補正奥行量Lv'Aに対応する表示上の奥行量は、図13に示すように、Ld'Aになる。対象物体Aの表示上の補正奥行量Ld'Aは、式(4)により、Ld'A=f-1(Lv'A)から算出する。
【００８７】
次に、補正演算部103は、補正視差量Cを算出し(S106)、全対象物体に対する補正視差量Cを算出したか否かを判定し(S107)、補正視差量Cが未算出の対象物体Pがあれば、処理をステップS1202に戻す。
【００８８】
〔補正視差量の算出処理2〕
Ldmax＞LDf1かつLdmin≧LDf2の場合、知覚上の奥行量の最大値Lv1を、表示上の奥行量の最大値Ldmaxに対応する知覚上の奥行量から、融像限界の最大値LDf1に対応する知覚上の奥行量にシフトする。つまり、式(3)によりLv1=f(Df1)を算出する(S1201)。
【００８９】
また、表示上の奥行量の最小値Ldminは融像限界の最小値LDf2以上のため、知覚上の奥行量の最小値Lv2は、表示上の奥行量の最小値Ldminに対応する知覚上の奥行量にする。つまり、式(3)によりLv2=f(Ldmin)を算出する(S1201)。
【００９０】
以降の処理は、算出処理1と同様である。
【００９１】
〔補正視差量の算出処理3〕
Ldmax≦LDf1かつLdmin＜LDf2の場合、表示上の奥行量の最大値Ldmaxは融像限界の最第値LDf1以下のため、知覚上の奥行量の最大値Lv1は、表示上の奥行量の最大値Ldmaxに対応する知覚上の奥行量にする。つまり、式(3)によりLv1=f(Ldmax)を算出する(S1201)。
【００９２】
また、知覚上の奥行量の最小値Lv2を、表示上の奥行量の最小値Ldminに対応する知覚上の奥行量から、融像限界の最小値LDf2に対応する知覚上の奥行量にシフトする。つまり、式(3)によりLv2=f(Df2)を算出する(S1201)。
【００９３】
以降の処理は、算出処理1と同様である。
【００９４】
〔補正視差量の算出処理4〕
Ldmax≦LDf1かつLdmin≧LDf2の場合、表示上の奥行量の最大値Ldmax、表示上の奥行量の最小値Ldminは融像限界内にある。従って、知覚上の奥行量の最大値Lv1は表示上の奥行量の最大値Ldmaxに対応する知覚上の奥行量にし、知覚上の奥行量の最小値Lv2は表示上の奥行量の最小値Ldminに対応する知覚上の奥行量にする。つまり、式(3)により、Lv1=f(Ldmax)、Lv2=f(Ldmin)を算出する(S1201)。
【００９５】
以降の処理は、算出処理1と同様である。
【００９６】
●視差量補正部、画像信号出力部
視差量補正部104は、画像データDinに含まれる対象物体Pに対応する補正視差量Cに基づき、当該対象物体Pの両眼視差量Dを補正し、画像データDoutを出力する。また、水平同期信号、垂直同期信号などを含む画像表示制御信号Sfを画像信号出力部802に出力する。
【００９７】
例えば、画像表示部111は、フィールドシーケンシャルと呼ばれる映像フォーマットの画像データDoutに基づき、時系列に左画像、右画像、左画像、右画像、…と交互に左右視差画像を表示する。画像信号出力部802は、画像表示制御信号Sfに基づき液晶シャッタ眼鏡803の液晶シャッタを制御する。つまり、左目透過/右目遮蔽、左目遮蔽/右目透過、左目透過/右目遮蔽、左目遮蔽/右目透過、…と交互に液晶シャッタの状態を切り替える。液晶シャッタの状態の切替は、画像表示制御信号Sfに含まれる垂直同期信号に同期し行われ、観察者の左目には左画像のみが、右目には右画像のみが観察され、立体像が観察される。なお、フレームシーケンシャル方式ではなく、ラインバイライン方式と円偏光眼鏡による立体像の観察でもよい。
【００９８】
このように、表示上の奥行量を知覚上で圧縮して立体像の奥行を線形に再現することにより、融像限界を超える奥行による立体像の破綻を防ぎ、適切な立体像の観察を提供することができる。
【００９９】
また、上記では、画像表示部111を原点として知覚上の奥行量を相対的に再現したが、観察者の観察位置を原点として相対関係を再現する補正を行ってもよい。その場合、補正演算部103が演算に使用する式(8)(9)(10)(11)における観察距離Lsを零とすれば、観察位置を原点とする補正になる。
【０１００】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【図１】
0005926546.tif 000002
【図２】
0005926546.tif 000003
【図３】
0005926546.tif 000004
【図４】
0005926546.tif 000005
【図５】
0005926546.tif 000006
【図６】
0005926546.tif 000007
【図７】
0005926546.tif 000008
【図８】
0005926546.tif 000009
【図９】
0005926546.tif 000010
【図１０】
0005926546.tif 000011
【図１１】
0005926546.tif 000012
【図１２】
0005926546.tif 000013
【図１３】
0005926546.tif 000014