(57)【要約】【課題】高品質な立体画像の表示に対する処理負荷を低減することができる立体画像処理装置、又はそれを備えた立体画像表示装置を提供する。【解決手段】画素ズレ情報を付加された視差画像データを取得する手段と、前記視差画像データに付加された前記画素ズレ情報を読み込む情報取得手段を有し、前記情報取得手段により取得された画素ズレ情報と表示条件から相対視差量を算出する相対視差量算出手段を有し、前記相対視差量から観察者が前記視差画像を立体視可能か否かの融合限界判定を行う融合限界判定手段を有し、前記融合限界判定手段の判定結果に応じて前記視差画像に画像処理を実行する立体画像処理手段を有することを特徴とする。【選択図】  図１
2015029215.tif 000002
【特許請求の範囲】
【請求項１】
画素ズレ情報を付加された視差画像データを取得する手段と、
前記視差画像データに付加された前記画素ズレ情報を読み込む情報取得手段を有し、
前記情報取得手段により取得された画素ズレ情報と表示条件から相対視差量を算出する相対視差量算出手段を有し、
前記相対視差量から観察者が前記視差画像を立体視可能か否かの融合限界判定を行う融合限界判定手段を有し、
前記融合限界判定手段の判定結果に応じて前記視差画像に画像処理を実行する立体画像処理手段を有することを特徴とする立体画像処理装置。
【請求項２】
前記画素ズレ情報は前記視差画像データに付加された視差画像の任意の画素対応点の画素ズレ量であり、
前記画素ズレ情報をｋ、前記視差画像データ内の最大画素ズレ量をkmaxとしたとき、
1.2kmax＞ｋ＞0.8kmax
を満たすことを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記画素ズレ情報は前記視差画像データに付加された視差画像の任意の画素対応点の画素ズレ比であり、
前記画素ズレ情報をｒ、前記視差画像データ内の最大画素ズレ比をｒmaxとしたとき、
1.2rmax＞ｒ＞0.8ｒmax
を満たすことを特徴とする請求項１に記載の立体画像処理装置。
【請求項４】
前記融合限界判定手段で用いられる融合限界判定基準を観察者によって増減制御可能としたことを特徴とする請求項１乃至請求項３の何れか１項に記載の立体画像処理装置。
【請求項５】
前記画像処理手段は前記融合限界判定手段により立体視不可と判定された場合、前記視差画像データの視差量を制御する視差量制御処理を実行することを特徴とする請求項１乃至請求項４の何れか１項に記載の立体画像処理装置。
【請求項６】
前記画像処理手段は前記融合限界判定手段により立体視不可と判定された場合、前記視差画像データのボケ量を制御するボケ量制御処理を実行することを特徴とする請求項１乃至請求項４の何れか１項に記載の立体画像処理装置。
【請求項７】
前記画像処理手段は前記融合限界判定手段により立体視不可と判定された場合、前記視差画像データの輝度を制御する輝度制御処理を実行することを特徴とする請求項１乃至請求項４の何れか１項に記載の立体画像処理装置。
【請求項８】
画素ズレ情報を付加された視差画像データを取得する手段と、
前記視差画像データに付加された前記画素ズレ情報を読み込む情報取得手段を有し、
前記情報取得手段により取得された画素ズレ情報と表示条件から相対視差量を算出する相対視差量算出手段を有し、
前記相対視差量から観察者が前記視差画像を立体視可能か否かの融合限界判定を行う融合限界判定手段を有し、
前記融合限界判定手段の判定結果に応じて前記視差画像に画像処理を実行する立体画像処理手段を有し、
立体画像を表示する表示手段を有することを特徴とする立体画像表示装置。
【請求項９】
前記表示手段から観察者までの距離である視距離を算出する視距離算出部をさらに備えることを特徴とする請求項７記載の立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に同じ被写体に対して視差を持たせて撮像された複数の画像を用いて立体画像を表示することができる立体画像処理装置、又はそれを有する立体画像表示装置に関するものである。
【背景技術】
【０００２】
立体画像を撮影するためには、同じ被写体に対して互いに離間した複数の場所からの画像、すなわち視差を持った画像を撮像する必要がある。従来において、一般に知られる立体画像撮像手法としては、離間して配置された２つのカメラにより、異なる２つの場所からの２つの被写体像（視差画像）をそれぞれ取得する手法がある。また、一つの撮像素子を備えた一つの撮像装置によって前記視差画像を液晶シャッター等を用いて時分割で取得する方法も知られている。
【０００３】
上記視差画像を立体的に表示する手段としては、例えば右眼画像と左目画像を１つの画面上に時分割で表示して、この画面時分割に同期させた液晶シャッタメガネを用いて見る方式がある。また、左右眼画像をそれぞれ直交した方向の偏光光で画面上に同時に表示して、これらを同様に互いに直交するように構成した偏光フィルタを左右の眼に対応させた偏光メガネを用いて見る方式などが知られている。
【０００４】
ところで、このような立体画像の表示において、表示原理と人間の視覚特性によって、左右眼用の視差画像が二重像として知覚され、観察者が立体視できない状況（融合限界）が存在することが知られている。この融合限界については後に詳細を説明するが、二重像として観察者に知覚されてしまう表示を行った場合、観察者に強い違和感や疲労感、不快感を与えてしまうことがわかっている。
【０００５】
上記融合限界を改善するために、従来の立体画像撮像装置では、撮影者が融合限界になるべくならない様に、撮影現場にて立体画像を表示する表示画面の大きさと視聴距離を想定して、撮影者が基線長や輻輳角を被写体距離に応じて制御していた。また、特許文献１では、表示装置と撮像装置が一体となっており、撮像装置側で得られる視差画像から視差量を算出し、実際に立体画像が表示される表示装置の表示条件を用いて、前記視差量と表示条件から立体像の再生奥行き位置を算出している。その再生奥行き位置情報から表示される立体像が観察者の融合限界範囲内か否かを判定している。その上で、その立体像が融合限界範囲外の場合、撮像装置側の基線長や輻輳角を調整しなおすことで改善を行っていた。
【０００６】
しかしながら、融合限界範囲は表示装置の表示画面サイズと観察者の視距離によって大きく変動する。そのため、従来技術のようにある表示条件を想定して撮像装置側の基線長や輻輳角を制御しても、想定した表示条件と大きく異なる表示画面サイズや視距離の場合には融合限界範囲を超えて観察者に疲労感や不快感を与えてしまう。また、特許文献１にて提案された制御方法においても、システムとして撮像装置と一体となっている表示装置の場合には効果を発揮するが、そのシステムで撮影された視差画像を別の表示装置で観察する場合には従来技術と同様の問題が生じる。
【０００７】
さらに、特許文献１にて提案されたように入力された各画像に対して視差量を算出し、実際に立体画像が表示される表示装置の表示条件を用いて、画像内に融合限界範囲が存在するか否かを判定することは処理負荷が大きくなると考えられる。特に、秒間60フレームかそれ以上の画像データを表示する立体動画像表示時には、上記の判定を1コマ1コマ表示装置側で実行することは処理的に非常に負荷が大きくなる。そのため動画像のさらなる高フレームレート化が困難となり、被写体の動きを滑らかに表現することが困難となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平０７−１６７６３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、本発明の目的は、高品質な立体画像の表示に対する処理負荷を低減することができる立体画像処理装置、又はそれを備えた立体画像表示装置を提供することである。
【課題を解決するための手段】
【００１０】
画素ズレ情報を付加された視差画像データを取得する手段と、
前記視差画像データに付加された前記画素ズレ情報を読み込む情報取得手段を有し、
前記情報取得手段により取得された画素ズレ情報と表示条件から相対視差量を算出する相対視差量算出手段を有し、
前記相対視差量から観察者が前記視差画像を立体視可能か否かの融合限界判定を行う融合限界判定手段を有し、
前記融合限界判定手段の判定結果に応じて前記視差画像に画像処理を実行する立体画像処理手段を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、高品質な立体画像の表示に対する処理負荷を低減することができる立体画像処理装置、又はそれを備えた立体画像表示装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の立体画像処理装置の構成図
【図２】実施例１にかかる処理のフロー図
【図３】実施例２の立体画像処理装置の構成図
【図４】実施例２にかかる処理のフロー図
【図５】実施例３の立体画像処理装置の構成図
【図６】実施例３にかかる処理のフロー図
【図７】立体画像撮影モデルの説明図
【図８】立体画像表示モデルの説明図
【図９】立体画像表示モデルのオフセット制御に関する説明図
【図１０】対応点抽出手法の説明図
【図１１】立体画像データファイル構成例を示す図
【発明を実施するための形態】
【００１３】
本発明の主な視点は、立体画像処理装置において、高品質な立体画像の表示に対する処理負荷を低減するという課題を改善したことにある。
【００１４】
ここでまずは、立体画像撮像系、表示系、融合限界の原理について説明する。図７は上記した従来の立体像撮影方式のモデルを説明する図である。座標は左右カメラの中心を原点として、水平方向にｘ軸、奥行き方向にｙ軸とする。高さ方向は簡略化のために省略する。また、従来輻輳角を制御する（カメラの光軸を傾ける）手法も提案されているが、ここでは説明の簡略化のため左右カメラの光軸が平行となる平行撮影法における原理について説明する。輻輳角を制御する手法に対しても、輻輳点までの距離を考慮することで同様の幾何学的理論は成り立つ。
【００１５】
左右カメラの結像光学系の主点がそれぞれ（-Wc,0）、（Wc,0）に配置されているとする。ここで左右カメラの結像光学系焦点距離はｆとする。この状態でｙ軸上（0、ｙ1）にある被写体Ａを夫々のカメラで撮影すると、左右カメラのセンサー中心から被写体像Aのズレ量を撮影視差として、それぞれPlc,Prcとすると下記式で表すことが出来る。
【００１６】
【数１】
2015029215.tif 000003
【００１７】
以上の原理により同一被写体を異なる視点から撮影することで、夫々水平方向に上記式（1）（2）で示すズレ量を持つ左右視差画像を取得することができる。
【００１８】
次に、表示系のモデルを用いて奥行きの知覚と融合限界について詳しく説明する。図８は上記した従来の立体像表示方式のモデルを説明する図である。座標は観察者の両眼の中心を原点として、水平方向にｘ軸、奥行き方向にｙ軸とする。高さ方向は簡略化のために省略する。ここで、観察者から表示画面100までの視距離をｄｓ、左右眼がそれぞれ(-We,0)、(We,0)に位置し、再現される被写体Ａの点視差画像の右眼用位置が（Pr,ds）、左眼用が（Pl,ds）とする。
【００１９】
この場合、観察者は右眼（We,0）と右眼用画像（Pr,ds）を結ぶ線分と左眼（-We,0）と右眼用画像（Pl,ds）を結ぶ線分の交点（0,y2）に被写体像Ａがあると知覚する。この場合の奥行き方向の表示画面100と交点の差（ｙ2−ｄｓ）が観察者が被写体像Ａを表示画面から奥行き方向に立体的に知覚する距離となる。ここで、ｙ2を上記各座標で表すと
【００２０】
【数２】
2015029215.tif 000004
【００２１】
のように表すことが出来る。
【００２２】
また、この奥行き方向の距離を角度で言い換えれば、被写体像Ａ（0,y2）と表示画面（0,ds）の相対視差（α−β）で表され、この大きさが表示画面と被写体像Ａの相対的な奥行き方向の距離に対応する。従来の様々な研究から、人間は脳内でこの角度の差分を計算し奥行き方向の位置を知覚していることが知られている。ここで、相対視差の絶対値｜α―β｜を上記の各座標で表すと、
【００２３】
【数３】
2015029215.tif 000005
【００２４】
と表すことができ、相対視差が視距離ｄｓと立体像位置ｙ2に依存する量であることがわかる。さらに式（3）からｙ2は左右視差画像の表示位置ＰｌとＰｒの差である視差量と視距離ｄｓに依存する量であるので、結局相対視差つまり観察者が知覚する奥行き距離は視差量（ＰｌとＰｒの差）と視距離ｄｓに依存した量であることがわかる。
【００２５】
次に融合限界について説明する。上述した従来の立体像表示方式では、実際の画像は表示画面１００上に表示されるが、観察者はｙ2の位置に被写体Ａがあると知覚する。すなわち、実際の画像と見える立体像では、眼のピント位置が異なっている状態である。言い換えると、観察者の眼の輻輳（寄り眼状に交点Ａに両目を向ける状態）と調節（表示画面上に眼の焦点を合わせる状態）が異なっている。この相違が大きくなると、観察者は左右の視差画像を１つのものとして知覚できなり、二重像として知覚してしまう。また、二重像とならなくても不快感や疲労感が増大してしまう状態となる。
【００２６】
例えば図８の表示画面１００の中心を観察者が注視している場合、快適に立体像を知覚できる相対視差絶対値はおよそ1度、二重像に見えてしまう融合限界範囲外はおよそ2度以上とされている。
【００２７】
（本発明における立体画像処理装置概念）
以上ステレオ撮影に基づく立体画像の撮影、表示、融合限界について説明してきた。ここで本発明における立体画像処理装置の概念について説明する。
【００２８】
まず通常の2次元画像について考えてみると、撮像装置側の画素数と表示装置側の画素数は等しくないという状況が非常に多い。特に静止画の場合では、通常のカメラが1000万画素以上の撮像素子を備えるのに対して、表示側はＶＧＡ30万画素からＦｕｌｌＨＤ200万画素、最近では４Ｋ２Ｋと言われる800万画素と様々な仕様が存在する。通常このような画素数に差異がある場合、ダウンサンプリングやアップサンプリングと言った画素数変換処理を行うことで様々な表示装置の仕様に対応させている。また、表示サイズとしても携帯電話画面等の数インチサイズからプロジェクターなどによる100インチを超える大画面サイズまで様々な仕様がある。表示サイズに対しては、画像データと表示装置の画素数が同一の場合は表示倍率Ｍが変わるだけで容易に対応可能である。
【００２９】
立体像表示においても上記従来の2次元画像同様に、様々な表示条件においても高品質な立体画像を表示可能とすることが必要である。ここで立体像表示における高品質とは不快感、疲労感の無い立体像表示である。しかしながら、上記で説明した立体像の奥行き位置を示す式（3）と（４）から、観察者が知覚する奥行き距離は視差量（ＰｌとＰｒの差）と視距離ｄｓに依存した量であることがわかる。つまり、例えば同じ立体画像データを表示させる場合でも、表示画面サイズによって視差量が大きく変化してしまう。
【００３０】
さらに、観察者がどのような視距離で観察するかはまったくの未知数である。つまり、融合限界範囲は表示側の観察条件である表示サイズと視距離がわかるまでは算出不能であり、撮像装置側のみの制御だけでは様々な表示条件に対応した画像データを得ることは不可能であることがわかる。
【００３１】
そこで、表示装置側で任意の立体画像データによる左右視差画像に対して画像を水平方向にそれぞれ平行移動して表示させるオフセット制御を行うことを想定する。オフセット制御について図９を用いて説明する。座標は観察者の両眼の中心を原点として、水平方向にｘ軸、奥行き方向にｙ軸とする。高さ方向は簡略化のために省略する。
【００３２】
ここで、観察者から表示画面100までの視距離をｄｓ、左右眼がそれぞれ(-We,0)、(We,0)に位置し、再現される被写体Ａｓの点視差画像Irs、Ilsの右眼用位置が（Pr＋Ｓ,ds）、左眼用が（Pl＋Ｓ,ds）とする。ここでＳをオフセット量（左右視差画像の水平方向への平行移動量）とする。この場合、観察者は右眼（We,0）と右眼用画像（Pr-Ｓ,ds）を結ぶ線分と左眼（-We,0）と右眼用画像（Pl＋Ｓ,ds）を結ぶ線分の交点（0,y3）に被写体像Ａｓがあると知覚する。ここで、ｙ３を上記各座標で表すと
【００３３】
【数４】
2015029215.tif 000006
【００３４】
のように表すことが出来る。
【００３５】
ここで、図９は図８にオフセット量Ｓを与えた場合の立体像位置を示しており、オフセット量Ｓによって立体像位置が（ｙ２−ｙ３）だけ表示画面100の方向にシフトしたことを示している。ここで、図９は被写体Ａｓのみについて示しているが、画像内に他の被写体が存在する場合、上記オフセット制御は立体画像表示面全体に影響し全ての立体像位置が近似的には（ｙ２−ｙ３）だけシフトする。
【００３６】
以上から仮に図８における被写体Ａが観察者の融合限界範囲外であった場合、オフセット量Ｓを与えることで融合限界範囲内の被写体像Ａｓとして制御することが可能である。つまり、表示装置側に観察者の位置を検出するセンサーと上記制御機構が備わっていれば、表示サイズや視距離の異なる様々な表示条件においても融合限界に対処できる。しかしながら全ての立体画像データに対して上記のオフセット制御をする必要は必ずしもないため、処理負荷低減のためにも立体画像データに対して融合限界対処処理を実行するか否かの判定手段を有することが重要である。ここで、表示装置側に観察者の位置を検出するセンサーが備わっている場合、立体画像データに融合限界範囲外の被写体が存在するか否かを判定する相対視差を算出するために必要な情報は最大視差量｜Pl-Pr｜maxのみである。
【００３７】
視差量ＰｌとＰｒの差は上述した原理説明の中では、距離として記述しているが、実際の表示装置上では表示上の画素ズレ量として表されることは明確である。また、撮像装置側でも式（１）、（２）に示す撮影視差Plc,Prcは立体画像データの画素ズレ量として再現される。ここで、撮像装置から出力される立体画像データの最大画素ズレ量を|Plc-Prc|maxとする。また、撮像装置側での水平方向の記録画素数をＨｃ、表示装置側での表示画素数をＨｍ、表示装置の画素ピッチをＴとすると上記最大視差量｜Pl-Pr｜maxは下記式（６）であらわされる。
【００３８】
【数５】
2015029215.tif 000007
【００３９】
ここで撮像装置側での最大画素ズレ量算出の手法について簡単に説明する。取得された左右視差画像のうち一方を画素ズレ量算出のための基準画像として選択する。
【００４０】
ここでは上記左眼用画像を基準画像として選択する。次に選択された左眼用基準画像に対して、右眼用画像を参照画像とし、対応する画素を検出する。ここで対応する画素とは、例えば上記撮影モデルでの点像被写体Ａに対して得られる左右視差画像データ内で同一被写体Ａに対応する夫々の画素である。対応点抽出手法について詳細に説明する。
【００４１】
ここで、画像座標（Ｘ，Ｙ）を使用する。画像座標（Ｘ，Ｙ）は、図１０におけるそれぞれの画素群の左上を原点として定義し、水平方向をＸ軸、垂直方向をＹ軸とする。また、基準画像データ301の画像座標（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像データ302の輝度をＦ２（Ｘ，Ｙ）として説明する。
【００４２】
基準画像データにおける任意の座標（Ｘ，Ｙ）（図１０の301内縦線画素とする）に対応する参照画像データの画素（図１０の302内縦線画素とする）は、座標（Ｘ，Ｙ）における基準画像データの輝度Ｆ１（Ｘ，Ｙ）と最も類似した参照画像データの輝度を探すことで求めることができる。但し、一般的に、任意の画素と最も類似した画素を探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用い、ブロックマッチングと呼ばれる手法にて類似画素を探索する。
【００４３】
たとえば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像データの任意の座標（Ｘ，Ｙ）の画素と、その前後（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素の計３画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ），Ｆ１（Ｘ−１，Ｙ），Ｆ１（Ｘ＋１，Ｙ）
となる。
【００４４】
これに対し、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた参照画像データの画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。
【００４５】
この場合、基準画像データの座標（Ｘ，Ｙ）の画素との類似度Ｅを以下の式（７）で定義する。
【００４６】
【数６】
2015029215.tif 000008
【００４７】
この式（７）において逐次ｋの値を変えて上記類似度Ｅの値を計算し、最も小さい類似度Ｅを与える（Ｘ＋ｋ、Ｙ）が、基準画像データの座標（Ｘ，Ｙ）に対する対応点である。
【００４８】
次に上記で抽出された各対応点について画素ズレ量を算出する。算出手法としては、上記ブロックマッチング法で得られた基準画像データの各画素に対応する参照画像データの各画素との画素位置差分として算出する。上記で算出された基準画像データの各画素に対する画素ズレ量から最大の画素ズレ量ｋmaxを検出し、立体画像データファイルのファイルヘッダに、上記で得られた左右視差画像内の最大画素ズレ量kmaxを記録することができる。
【００４９】
ここで、図１１は立体画像データファイルの構成例を示す図である。立体画像データファイル1000はファイルヘッダ部1001と画像データ部1003から構成される。図１１に示されるように、上述した最大画素ズレ量kmax情報1002はファイルヘッダ部1001に埋め込まれ、左右視差画像は立体画像データとして画像データ部1003に埋め込まれる。また、ファイルヘッダ部には通常の撮影情報である撮影画素数、Ｆ値、焦点距離などの諸データも同時に記録することもできる。
【００５０】
上記のような撮像装置側の記録画素数と最大画素ズレ量の情報を用いて、処理装置又は表示装置側で簡易的な融合限界判定を行うことができれば、立体画像表示時の処理負荷を低減することが可能となり、立体動画像の高フレームレート化も実現することができる。      
【００５１】
そこで本発明では、左右視差画像の最大画素ズレ量情報又は最大画素ズレ比情報を付加された立体画像データファイルを取得し、立体画像データファイルに融合限界範囲外の被写体が存在するか否かを効率的に判定することができる立体画像処理装置を提案する。
【００５２】
以下に本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００５３】
［実施例１］
以下、図面を参照して、本発明の第１の実施形態による、立体画像処理装置について説明する。
【００５４】
図１は第１の実施例の立体画像処理装置の構成図である。撮像手段101は左右視差画像を撮影する不図示の結像光学系や撮像素子からなる。さらに本実施例においては、撮像手段101から出力される立体画像データファイル1000のファイルヘッダ部1001には図１１に示すように左右視差画像内の最大画素ズレ量kmaxが記録されるものとしている。画像データ取得部10は撮像手段101からの立体画像データファイルを取得する。データ情報取得部20はファイルヘッダ部1001に含まれるデータを取得する。表示条件取得部30は表示手段201の表示条件情報を取得する。
【００５５】
最大相対視差量算出部40は画像内の最大相対視差量を算出する。融合限界判定部50は画像内に融合限界範囲外が含まれるか否かを判定する。立体画像処理部60は画像データ全域の相対視差量を算出する画像内相対視差量算出部61、画像データ内の融合限界領域を判定する融合限界領域判定部62、画像データの相対視差量を調整する処理を行う相対視差量調整処理部63からなる。表示手段201は画像処理装置１から出力される画像データを表示する。
【００５６】
次に本実施例の立体画像処理装置の融合限界判定処理動作について、図２のフローチャートを用いて詳細を説明する。まず始めに、画像データ取得部10は撮像手段101からの立体画像データファイル1000を取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。
【００５７】
次にデータ情報取得部20によって、画像データ取得部10で取得した立体画像データファイル1000内のファイルヘッダ部1001に含まれる最大画素ズレ量と前記撮影情報を取得する。次に、表示条件取得部30は表示手段201から表示条件情報を取得する。ここで表示条件とは、前記した表示画素数、表示サイズ、視距離に関する情報である。また、表示条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。次に最大相対視差量算出部40は前記最大画素ズレ量、撮影情報、表示条件を用いて上述した式（６）から表示装置側での最大相対視差量を算出する。
【００５８】
次に融合限界判定部50では、算出された最大相対視差量から入力された立体画像データに融合限界範囲外の画像領域が含まれているか否かを判定する。ここでは、例えば前記した二重像に見えてしまう2度以上の場合に融合限界範囲外の領域が含まれていると判定し、逆に2度以下であれば融合限界範囲外の領域が含まれていないと判定する。
【００５９】
次に融合限界判定部50で立体画像データに融合限界範囲外の画像領域が含まれている、つまり図２のフローチャートでYESの判定の場合の動作について説明する。YESの判定の場合、立体画像データファイル1000は立体画像処理部60に送られる。次に画像内相対視差量算出部61によって立体画像データファイル内の画像データ全域に対して相対視差量を算出する。算出手法としては、例えば上記で述べたブロックマッチング法を用いた手法を用いることが出来る。
【００６０】
次に融合限界領域判定部62では、画像データ全域に対する相対視差量から画像データ内の融合限界範囲外の領域を検出する。次に相対視差量調整処理部63では前記融合限界範囲外の領域が融合限界範囲内と成るように立体画像データに所望の画像処理を実行する。本実施例では前述した左右視差画像に対して画像を水平方向にそれぞれ平行移動して表示させるオフセット制御を行うこととする。以上、立体画像処理部60内での立体画像データ処理が完了され、処理された立体画像データを表示手段201に転送し、立体画像として表示させる。
【００６１】
次に融合限界判定部50で立体画像データに融合限界範囲外の画像領域が含まれていない、つまり図２のフローチャートでNOの判定の場合の動作について説明する。NOの判定の場合、立体画像データファイル1000には融合限界範囲外の画像領域が含まれていない、つまり不快感、疲労感の無い立体像として表示可能な画像データであることになる。そのため、立体画像データとして弊害処理する必要はないので、そのまま表示手段201に立体画像データを転送して表示させることができる。
【００６２】
以上のようにファイルヘッダ部に付加された最大画素ズレ量kmax＝|Plc-Prc|maxの情報を利用することで、上述したように式（６）から処理装置側で最大の視差量を容易に算出することが可能となる。そのため、融合限界判定を容易に実行することが可能となり、処理装置側での処理負荷を大きく軽減させることができる。特に、秒間60フレームかそれ以上の画像データを表示する立体動画像表示時には、上記の画像データ全域に対する相対視差量算出を1コマ1コマ表示装置側で実行することは処理的に非常に負荷が大きくなる。
【００６３】
そのため、本実施例の構成のように、立体画像処理装置に融合限界判定部を有していれば、不要な処理装置側の融合限界被写体処理を行う必要が無くなる。また、例えば立体動画データファイル全体のファイルヘッダ部に付加される最大画素ズレ量情報を利用することで、上記融合限界条件を満たした場合には全データに対して処理を回避することが可能となり、大幅な処理負荷低減効果が得られる。また、立体動画データファイルの場合、シーンが異なるいわゆるチャプター毎の最大画素ズレ量情報を利用することで、シーン変更毎に処理装置側での処理判定を行うことができ、より高品質な立体動画表示が可能となる。
【００６４】
ここで、本実施例ではファイルヘッダ部に最大画素ズレ量kmax情報を有している前提としたが、必ずしも最大画素ズレ量である必要は無く、例えば0.8×kmax〜1.2×kmax程度の範囲で任意の対応画素に関する情報ｋへと変更が可能である。ファイルヘッダ部の画素ズレ情報が0.8×kmaxに近ければ融合限界判定基準がより厳しいものとなり、より不快感、疲労感の無い立体像として表示可能となる。しかしながら、画素ズレ情報が０.8×kmaxよりも小さくなると処理が必要と判定される立体画像データフレームが増大し、本発明における処理負荷低減効果が得られない。
【００６５】
ファイルヘッダ部の画素ズレ情報が1.2×kmaxに近ければ融合限界判定基準が緩和され、処理される画像フレームが減少するため処理付加低減が可能となる。しかしながら、画素ズレ情報が1.2×kmaxよりも大きくなると不快感、疲労感を感じる立体画像データフレーム数が増大し、高品質な立体画像表示が困難となる。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６７】
［実施例２］
以下、図面を参照して、本発明の第２の実施形態による、立体画像処理装置について説明する。
【００６８】
図３は第２の実施例の立体画像処理装置の構成図である。撮像手段101は左右視差画像を撮影する不図示の結像光学系や撮像素子からなる。さらに本実施例においては、撮像手段101から出力される立体画像データファイルのファイルヘッダ部には左右視差画像内の最大画素ズレ比rmaxが記録されるものとしている。ここで最大画素ズレ比rmaxとは、式（６）内の|Plc-Prc|max/Hcに対応する値である。また、立体画像処理部60は画像データ全域の相対視差量を算出する画像内相対視差量算出部61、画像データ内の融合限界領域を判定する融合限界領域判定部62、融合限界領域に画像処理を行う融合限界領域画像処理部64からなる。その他の構成は実施例１と同様であるので説明を省略する。
【００６９】
次に本実施例の立体画像処理装置の融合限界判定処理動作について、図４のフローチャートを用いて詳細を説明する。まず始めに、画像データ取得部10は撮像手段101からの立体画像データファイルを取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。
【００７０】
次にデータ情報取得部20によって、画像データ取得部10で取得した立体画像データファイル内のファイルヘッダ部に含まれる最大画素ズレ比と前記撮影情報を取得する。次に、表示条件取得部30は表示手段201から表示条件情報を取得する。ここで表示条件とは、前記した表示画素数、表示サイズ、視距離に関する情報である。また、表示条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。次に最大相対視差量算出部40は前記最大画素ズレ比、撮影情報、表示条件を用いて上述した式（６）から表示装置側での最大相対視差量を算出する。
【００７１】
次に融合限界判定部50では、算出された最大相対視差量から入力された立体画像データに融合限界範囲外の画像領域が含まれているか否かを判定する。ここでは、例えば前記した二重像に見えてしまう2度以上の場合に融合限界範囲外の領域が含まれていると判定し、逆に2度以下であれば融合限界範囲外の領域が含まれていないと判定する。
【００７２】
次に融合限界判定部50で立体画像データに融合限界範囲外の画像領域が含まれている、つまり図４のフローチャートでYESの判定の場合の動作について説明する。YESの判定の場合、立体画像データファイルは立体画像処理部60に送られる。次に画像内相対視差量算出部61によって立体画像データファイル内の画像データ全域に対して相対視差量を算出する。
【００７３】
算出手法としては、例えば上記で述べたブロックマッチング法を用いた手法を用いることが出来る。次に融合限界領域判定部62では、画像データ全域に対する相対視差量から画像データ内の融合限界範囲外の領域を検出する。次に融合限界領域画像処理部64では前記融合限界範囲外の領域を観察者に認識させないように立体画像データに所望の画像処理を実行する。本実施例では前述した左右視差画像の融合限界範囲外の領域にボケ付加制御を行うこととする。ボケを付加することにより、前記融合限界範囲外の領域を観察者が注視しなくなるため観察者の不快感、疲労感を緩和することができる。
【００７４】
以上、立体画像処理部60内での立体画像データ処理が完了され、処理された立体画像データを表示手段201に転送し、立体画像として表示させる。
【００７５】
次に融合限界判定部50で立体画像データに融合限界範囲外の画像領域が含まれていない、つまり図４のフローチャートでNOの判定の場合の動作について説明する。NOの判定の場合、立体画像データファイルには融合限界範囲外の画像領域が含まれていない、つまり不快感、疲労感の無い立体像として表示可能な画像データであることになる。そのため、立体画像データとして弊害処理する必要はないので、そのまま表示手段201に立体画像データを転送して表示させることができる。
【００７６】
以上のようにファイルヘッダ部に付加された最大画素ズレ比|Plc-Prc|max/Hcの情報を利用することで、上述したように式（６）から処理装置側で最大の視差量を容易に算出することが可能となる。そのため、融合限界判定を容易に実行することが可能となり、処理装置側での処理負荷を大きく軽減させることができる。特に、秒間60フレームかそれ以上の画像データを表示する立体動画像表示時には、上記の画像データ全域に対する相対視差量算出を1コマ1コマ表示装置側で実行することは処理的に非常に負荷が大きくなる。
【００７７】
そのため、本実施例の構成のように、立体画像処理装置に融合限界判定部を有していれば、不要な処理装置側の融合限界被写体処理を行う必要が無くなる。また、例えば立体動画データファイル全体のファイルヘッダ部に付加される最大画素ズレ比情報を利用することで、上記融合限界条件を満たした場合には全データに対して処理を回避することが可能となり、大幅な処理負荷低減効果が得られる。また、立体動画データファイルの場合、シーンが異なるいわゆるチャプター毎の最大画素ズレ比情報を利用することで、シーン変更毎に処理装置側での処理判定を行うことができ、より高品質な立体動画表示が可能となる。
【００７８】
ここで、本実施例ではファイルヘッダ部に最大画素ズレ比rmax情報を有している前提としたが、必ずしも最大画素ズレ比である必要は無く、例えば0.8×rmax〜1.2×rmax程度の範囲で任意の対応画素に関する情報へ変更が可能である。ファイルヘッダ部の画素ズレ情報が0.8×rmaxに近ければ融合限界判定基準がより厳しいものとなり、より不快感、疲労感の無い立体像として表示可能となる。しかしながら、画素ズレ情報が０.8×rmaxよりも小さくなると処理が必要と判定される立体画像データフレームが増大し、本発明における処理負荷低減効果が得られない。
【００７９】
ファイルヘッダ部の画素ズレ情報が1.2×rmaxに近ければ融合限界判定基準が緩和され、処理される画像フレームが減少するため処理付加低減が可能となる。しかしながら、画素ズレ情報が1.2×rmaxよりも大きくなると不快感、疲労感を感じる立体画像データフレーム数が増大し、高品質な立体画像表示が困難となる。
【００８０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８１】
［実施例３］
以下、図面を参照して、本発明の第３の実施形態による、立体画像表示装置について説明する。
【００８２】
図５は第３の実施例の立体画像表示装置２の構成図である。表示手段201は例えば従来技術である右眼画像と左目画像を１つの画面上に時分割で表示して、この画面時分割に同期させた液晶シャッタメガネを用いて見る方式がある。また、左右眼画像をそれぞれ直交した方向の偏光光で画面上に同時に表示して、これらを同様に互いに直交するように構成した偏光フィルタを左右の眼に対応させた偏光メガネを用いて見る方式を用いることが可能である。
【００８３】
また、表示手段201内には画像処理部70、融合限界判定レベル調整部80、視距離算出部90を備えている。画像処理部70は一般的な2次元画像や動画に対して従来のTV装置などで行われるエッジ強調や色補正等の画像処理を実施する。さらに、融合限界判定レベル調整部80は観察者の操作によって所望の融合限界判定レベルを設定する。また、視距離算出部90は観察者の表示画面からの距離である視距離を算出する。その他の構成は実施例１と同様であるので説明を省略する。
【００８４】
次に本実施例の立体画像処理装置の融合限界判定処理動作について、図６のフローチャートを用いて詳細を説明する。まず始めに、画像データ取得部10は撮像手段101からの立体画像データファイルを取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。次にデータ情報取得部20によって、画像データ取得部10で取得した立体画像データファイル内のファイルヘッダ部に含まれる最大画素ズレ量と前記撮影情報を取得する。
【００８５】
次に、表示条件取得部30は表示手段201から表示条件情報を取得する。ここで表示条件とは、前記した表示画素数、表示サイズ、視距離算出部90から送られる視距離と融合限界判定レベル調整部80から送られる判定レベルに関する情報である。表示条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、視距離算出部90による観察者の視距離情報の取得には、従来から距離測定に用いられる赤外線の反射を利用した手法などを用いることが出来る。
【００８６】
次に最大相対視差量算出部40は前記最大画素ズレ量、撮影情報、表示条件を用いて上述した式（６）から表示装置側での最大相対視差量を算出する。次に融合限界判定部50では、算出された最大相対視差量から入力された立体画像データに融合限界範囲外の画像領域が含まれているか否かを判定する。ここでは、例えば前記した相対視差量2度を基準判定量とし、融合限界判定レベル調整部80から送られる判定レベルに関する情報を前記基準判定量に対する割合であるとする。具体的には、観察者が複数段階の判定レベルから一つのレベルを選択し、基準判定量である2度に前記レベルを乗じることで判定レベルを制御する。
【００８７】
たとえばレベルを8割とすると基準判定量2度の8割である1.6度を新たな判定基準として設定する。融合限界判定部50では新たに設定された判定基準に応じて、立体画像データに融合限界範囲外の画像領域が含まれているか否かを判定する。
【００８８】
次に融合限界判定部50で立体画像データに融合限界範囲外の画像領域が含まれている、つまり図６のフローチャートでYESの判定の場合の動作について説明する。YESの判定の場合、立体画像データファイルは立体画像処理部60に送られる。次に画像内相対視差量算出部61によって立体画像データファイル内の画像データ全域に対して相対視差量を算出する。算出手法としては、例えば上記で述べたブロックマッチング法を用いた手法を用いることが出来る。次に融合限界領域判定部62では、画像データ全域に対する相対視差量から画像データ内の融合限界範囲外の領域を検出する。
【００８９】
次に融合限界領域画像処理部64では前記融合限界範囲外の領域を観察者に認識させないように立体画像データに所望の画像処理を実行する。本実施例では前述した左右視差画像の融合限界範囲外の領域に輝度調整制御を行うこととする。融合限界範囲外の領域の輝度を低下させることにより、前記融合限界範囲外の領域を観察者が注視しなくなるため観察者の不快感、疲労感を緩和することができる。以上、立体画像処理部60内での立体画像データ処理が完了され、処理された立体画像データを表示手段201に転送する。
【００９０】
次に融合限界判定部50で立体画像データに融合限界範囲外の画像領域が含まれていない、つまり図６のフローチャートでNOの判定の場合の動作について説明する。NOの判定の場合、立体画像データファイルには融合限界範囲外の画像領域が含まれていない、つまり不快感、疲労感の無い立体像として表示可能な画像データであることになる。そのため、立体画像データとして弊害処理する必要はないので、そのまま表示手段201に立体画像データを転送する。最後に画像処理部70で一般的な2次元画像や動画に対して従来のTV装置などで行われるエッジ強調や色補正等の画像処理を実施した後に立体画像を表示する。
【００９１】
以上のようにファイルヘッダ部に付加された最大画素ズレ量|Plc-Prc|maxの情報を利用することで、上述したように式（６）から表示装置側で最大の視差量を容易に算出することが可能となる。そのため、融合限界判定を容易に実行することが可能となり、表示装置側での処理負荷を大きく軽減させることができる。特に、秒間60フレームかそれ以上の画像データを表示する立体動画像表示時には、上記の画像データ全域に対する相対視差量算出を1コマ1コマ表示装置側で実行することは処理的に非常に負荷が大きくなる。
【００９２】
そのため、本実施例の構成のように、立体画像表示装置に融合限界判定部を有していれば、不要な処理装置側の融合限界被写体処理を行う必要が無くなる。また、例えば立体動画データファイル全体のファイルヘッダ部に付加される最大画素ズレ量情報を利用することで、上記融合限界条件を満たした場合には全データに対して処理を回避することが可能となり、大幅な処理負荷低減効果が得られる。また、立体動画データファイルの場合、シーンが異なるいわゆるチャプター毎の最大画素ズレ量情報を利用することで、シーン変更毎に表示装置側での処理判定を行うことができ、より高品質な立体動画表示が可能となる。
【００９３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００９４】
本発明は、特に同じ被写体に対して視差を持たせて撮像された複数の画像を用いて立体画像を表示することができる立体画像処理装置、又はそれを有する立体画像表示装置に関するものである。
【符号の説明】
【００９５】
1  立体画像処理装置
2  立体画像表示装置
40  最大相対視差量算出部
50  融合限界判定部
60  立体画像処理部
101  撮像手段
201  表示手段
【図１】
2015029215.tif 000009
【図２】
2015029215.tif 000010
【図３】
2015029215.tif 000011
【図４】
2015029215.tif 000012
【図５】
2015029215.tif 000013
【図６】
2015029215.tif 000014
【図７】
2015029215.tif 000015
【図８】
2015029215.tif 000016
【図９】
2015029215.tif 000017
【図１０】
2015029215.tif 000018
【図１１】
2015029215.tif 000019