(57)【要約】【課題】飛び出し感や奥行き感が大きく変動せず、見やすい立体像表示が可能な視差画像を生成する。【解決手段】立体画像処理装置１００は、入力視差画像およびその撮像条件を取得するとともに、被写体における最近点までの距離を取得し、立体像の観察条件を取得し、観察条件に対応する許容視差範囲を取得する。そして、立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が許容視差範囲の奥行き側の限界値に一致し、かつ最近点が許容視差範囲の飛び出し側の限界値に一致するように出力視差画像の入力視差画像に対する表示画面上での水平シフト量および表示倍率を含む表示パラメータを算出する。さらに、入力視差画像に対して表示パラメータを用いた画像処理を行うことにより出力視差画像を生成する。【選択図】図１
2015056796.tif 000002
【特許請求の範囲】
【請求項１】
立体撮像により取得された左眼および右眼用の入力視差画像に対して、立体表示装置に表示するための画像処理を行う立体画像処理装置であって、
前記入力視差画像および前記立体撮像における撮像条件の情報を取得する撮像情報取得手段と、
前記撮像条件から被写体における最近点までの距離を取得する、または前記入力視差画像から求めた被写体の視差量を用いて前記最近点までの距離を算出する最近点距離取得手段と、
前記立体表示装置の観察距離および該立体表示装置における表示画面のサイズを含む観察条件の情報を取得する観察条件取得手段と、
前記観察条件に対応する許容視差範囲を取得する許容視差取得手段と、
前記立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が前記許容視差範囲の奥行き側の限界値に一致し、かつ前記最近点が前記許容視差範囲の飛び出し側の限界値に一致するように前記出力視差画像の前記入力視差画像に対する前記表示画面上での水平シフト量および表示倍率を含む表示パラメータを算出する表示パラメータ演算手段と、
前記入力視差画像に対して前記表示パラメータを用いた前記画像処理を行うことにより前記出力視差画像を生成する画像生成手段とを有することを特徴とする立体画像処理装置。
【請求項２】
前記奥行き側の限界値および前記飛び出し側の限界値はそれぞれ、所定の幅を持った値であることを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
使用者による前記各限界値の調整を可能とする調整手段を有することを特徴とする請求項１または２に記載の立体画像処理装置。
【請求項４】
前記表示パラメータ演算手段は、前記観察距離と前記立体表示装置における前記表示画面の水平幅とで再現される前記立体空間の前記無限遠点が前記奥行き側の限界値に一致し、かつ前記最近点が前記飛び出し側の限界値に一致するように前記立体表示装置に表示される仮想視差画像を前記立体撮像により取得するための仮想撮像条件を求め、該仮想撮像条件を用いて前記表示パラメータを算出することを特徴とする請求項１から３のいずれか一項に記載の立体画像処理装置。
【請求項５】
前記仮想撮像条件は輻輳点距離と前記立体撮像に用いる撮像装置における撮像光学系の焦点距離とを含み、
前記表示パラメータ演算手段は、前記輻輳点距離から前記水平シフト量を算出し、前記焦点距離から前記表示倍率を算出することを特徴とする請求項４に記載の立体画像処理装置。
【請求項６】
前記表示パラメータ演算手段は、前記仮想撮像条件に含まれる前記輻輳点距離Ｌｃを、前記飛び出し側の限界値に対応する前記仮想視差画像の視差量ｄ１と、前記奥行き側の限界値に対応する前記仮想視差画像の視差量ｄ２と、前記最近点までの距離Ｚ１とを用いて、
Ｌｃ＝（ｄ２−ｄ１）／ｄ２・Ｚ１
により算出することを特徴とする請求項５に記載の立体画像処理装置。
【請求項７】
前記表示パラメータ演算手段は、前記水平シフト量Ｓを、前記観察距離Ｌｓと、前記立体撮像における前記撮像条件に含まれる輻輳点距離Ｌｃ０と、前記仮想撮像条件に含まれる前記輻輳点距離Ｌｃと、前記撮像光学系における左右の撮像光軸間の基線長２Ｗｃとを用いて、
Ｓ＝Ｌｓ・（１／Ｌｃ０−１／Ｌｃ）・２Ｗｃ
により算出することを特徴とする請求項５または６に記載の立体画像処理装置。
【請求項８】
前記表示パラメータ演算手段は、前記仮想撮像条件に含まれる前記焦点距離ｆを、前記奥行き側の限界値に対応する前記仮想視差画像の視差量ｄ２と、前記撮像光学系における左右の撮像光軸間の基線長２Ｗｃと、前記仮想撮像条件に含まれる前記輻輳点距離Ｌｃと、前記撮像装置の撮像面上に形成される被写体像の水平幅Ｗｆと、前記立体表示装置における前記表示画面の水平幅Ｗｓとを用いて、
ｆ＝ｄ２／２Ｗｃ・Ｌｃ・Ｗｆ／Ｗｓ  
により算出することを特徴とする請求項５から７のいずれか一項に記載の立体画像処理装置。
【請求項９】
前記表示パラメータ演算手段は、前記出力視差画像の前記表示倍率Ａを、前記仮想撮像条件に含まれる前記焦点距離ｆと、前記立体撮像における前記撮像条件に含まれる前記焦点距離ｆ０とを用いて、
Ａ＝ｆ／ｆ０
により算出することを特徴とする請求項５から８のいずれか一項に記載の立体画像処理装置。
【請求項１０】
立体撮像を行って左眼および右眼用の入力視差画像を生成する撮像系と、
前記入力視差画像に対して、立体表示装置に表示するための画像処理を行う請求項１から９のいずれか一項に記載の立体画像処理装置とを有することを特徴とする撮像装置。
【請求項１１】
立体撮像により取得された左眼および右眼用の入力視差画像に対して、立体表示装置に表示するための画像処理を行う立体画像処理方法であって、
前記入力視差画像および前記立体撮像における撮像条件の情報を取得し、
前記撮像条件から被写体における最近点までの距離を取得する、または前記入力視差画像から求めた被写体の視差量を用いて前記最近点までの距離を算出し、
前記立体表示装置の観察距離および該立体表示装置における表示画面のサイズを含む観察条件の情報を取得し、
前記観察条件に対応する許容視差範囲を取得し、
前記立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が前記許容視差範囲の奥行き側の限界値に一致し、かつ前記最近点が前記許容視差範囲の飛び出し側の限界値に一致するように前記出力視差画像の前記入力視差画像に対する前記表示画面上での水平シフト量および表示倍率を含む表示パラメータを算出し、
前記入力視差画像に対して前記表示パラメータを用いた前記画像処理を行うことにより前記出力視差画像を生成することを特徴とする立体画像処理方法。
【請求項１２】
コンピュータに、立体撮像により取得された左眼および右眼用の入力視差画像に対して、立体表示装置に表示するための画像処理を行わせるコンピュータプログラムであって、
前記入力視差画像および前記立体撮像における撮像条件の情報を取得する処理と、
前記撮像条件から被写体における最近点までの距離を取得する、または前記入力視差画像から求めた被写体の視差量を用いて前記最近点までの距離を算出する処理と、
前記立体表示装置の観察距離および該立体表示装置における表示画面のサイズを含む観察条件の情報を取得する処理と、
前記観察条件に対応する許容視差範囲を取得する処理と、
前記立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が前記許容視差範囲の奥行き側の限界値に一致し、かつ前記最近点が前記許容視差範囲の飛び出し側の限界値に一致するように前記出力視差画像の前記入力視差画像に対する前記表示画面上での水平シフト量および表示倍率を含む表示パラメータを算出する処理と、
前記入力視差画像に対して前記表示パラメータを用いた前記画像処理を行って前記出力視差画像を生成する処理とを前記コンピュータに実行させることを特徴とする立体画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮像によって取得された視差画像に対して、良好な立体像を観察させるための画像処理を行う立体画像処理技術に関する。
【背景技術】
【０００２】
観察者の左右の眼に互いに視差を有する視差画像を提示することにより疑似的に観察者に立体像を観察させる場合において、観察者の脳で立体像を融像できる視差量の限界を超えた視差を有する視差画像を提示すると、立体像ではなく二重像が認識される。この場合、観察者に立体視特有の疲労を生じさせる。
【０００３】
人の立体像の融像限界について図７（Ａ），（Ｂ）を用いて説明する。図７（Ａ）は観察者の左右の眼７０１が表示装置の表示画面７０２に表示された被写体像Ｐ１，Ｐ２を同時に観察している状態を示している。被写体像Ｐ１，Ｐ２の表示画面７０２上での視差量はそれぞれｄ１，ｄ２であり、これらの視差量ｄ１，ｄ２によって被写体像Ｐ１，Ｐ２が再現される飛び出し位置および奥行き位置が決まる。
【０００４】
観察者が被写体像Ｐ１を注視して立体像として融像している状態において、Ｐ２をその位置の被写体像も立体像として融像できる奥行き側の限界点とする。網膜上でのＰ１，Ｐ２間の距離に脳の視覚野で融像できる限界範囲が存在し、Ｐ１，Ｐ２間の距離がその限界範囲を超えると二重像が認識されることが知られている。この網膜上での融像限界距離範囲は、左右の眼７０１がＰ１，Ｐ２の点を見込む輻輳角ａ，ｂの差分となる視差角（ａ−ｂ）で表され、人の眼では２°〜３°程度となる。この２°〜３°の範囲を、融像が可能な許容視差角という。
【０００５】
また、表示装置を観察するときの観察者の眼のピントは表示画面７０２に合っているので、立体像が表示画面７０２に対して飛び出し過ぎると、輻輳方向とピント方向とが一致しなくなり、前述した二重像とは別の要因による疲労が観察者に生じる。このため、例えば、許容視差角２°を、表示画面７０２を境にして飛び出し側の視差角１°と奥行き側の視差角１°とに振り分けて、飛び出し側と奥行き側のバランスがとれた融像可能な限界範囲（許容視差範囲）として設定する。
【０００６】
図７（Ｂ）には、表示画面のサイズ（横軸）と、許容視差角を表示画面上での視差量ｄに換算した許容視差量範囲ｄ１〜ｄ２（縦軸）との関係を示している。ｄ１は表示画面から飛び出す立体像を融像させる視差量（以下、飛び出し側の許容視差量ともいう）であり、ｄ２は表示画面に対して奥まった立体像を融像させる視差量（以下、奥行き側の許容視差量ともいう）である。一般に、表示画面の大きさによって標準の観察距離が変わり、横寸法と縦寸法の比が１６対９であるハイビジョンテレビの場合は表示画面の縦寸法の３倍（３Ｈ）の距離が観察距離として推奨される。表示画面サイズの大型化に伴って観察距離が長くなると、換算した表示画面上での許容視差量は、図７（Ｂ）に示すように表示画面サイズが大きくなるほど広くなる傾向にある。表示画面サイズが８０インチ以上になると奥行き側の視差量ｄ２が標準眼間距離６５ｍｍを超えて眼球が開散方向に動き、疲労の原因になる。このため、奥行き側の視差量ｄ２は標準眼間距離６５ｍｍ（ｄｍａｘ）以内になるように制限される。全体の許容視差角を２°に一定に保てば、その分飛び出し側の視差量ｄ１に余裕が生まれ、飛び出し側の視差量ｄ１を図７（Ｂ）に示すように大きくすることができる。
【０００７】
このような立体像表示における許容視差量については、「３ＤＣ安全ガイドライン（３Ｄコンソーシアム）」にも「快適視差範囲」としてガイドラインが示されている。
【０００８】
このように、表示装置に表示する視差画像の視差量をできるだけ許容視差範囲内に抑えることにより、観察者に疲労感が少なく快適な立体像観察を行わせることができる。
【０００９】
ただし、従来は、表示されている視差画像の視差量が許容視差範囲を超える場合は、使用者（観察者や操作者）が二重像または立体像を見ながら手動で視差画像の表示条件（水平シフト量や表示倍率等）を変更し、主観的に立体感の調整を行っていた。このため、調整に不慣れな使用者にとっては大きな負担となるだけでなく、許容視差範囲を有効に用いた適切な調整を行うことが難しかった。
【００１０】
特許文献１には、立体視が可能な許容視差範囲を取得し、立体画像を拡大したり縮小したりしたときに、表示する視差画像の視差量が該許容視差範囲内にあるか否かを判定する立体画像処理装置が開示されている。該装置では、拡大または縮小後の視差量が許容視差範囲内にないと判定した場合に、許容視差範囲に入るよう視差量を自動的に調整する。より具体的には、視差量が許容視差範囲内にない場合には、飛び出し側と奥行き側のうち許容視差範囲を超えている側の視差量が許容視差範囲内に入るように視差画像を水平方向にシフトさせて視差量を調整する。例えば、視差画像を表示したときに奥行き側が許容視差範囲外となると判断したときには、その視差画像に撮影されている最遠点の被写体が、許容視差範囲の奥行き側の限界位置に再現されるよう視差量を調整する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３４９７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、視差画像には、様々な撮影距離範囲のものがあり、最遠点までの距離が屋内での撮像を行うときのように４〜５ｍの場合もあれば、風景写真を撮像するときのように無限遠になることもある。このように、撮影距離範囲が異なる様々な視差画像を順次表示する場合に、特許文献１にて開示された立体画像処理装置よる視差量の調整を行うと、以下のような問題が生じる。すなわち、特許文献１の装置では、各視差画像中の最遠点の被写体が、実際の奥行き距離とは無関係に、許容視差範囲の奥行き側の限界位置に再現されるよう視差量が調整される。このため、各視差画像全体の視差量が許容視差範囲内になるよう調整されても、該調整後に複数の視差画像を順次切り替えながら観察するような場合においては、切り替えごとに飛び出し感や奥行き感が大きく変動する見にくい立体像表示が行われるおそれがある。
【００１３】
本発明は、撮影距離範囲が異なる視差画像を順次切り替えて表示する場合でも飛び出し感や奥行き感が大きく変動せず、見やすい立体像表示を可能とする視差画像を生成できる立体画像処理装置、立体画像処理方法および立体画像処理プログラムを提供する。
【課題を解決するための手段】
【００１４】
本発明の一側面としての立体画像処理装置は、立体撮像により取得された左眼および右眼用の入力視差画像に対して、立体表示装置に表示するための画像処理を行う。該立体画像処理装置は、入力視差画像および立体撮像における撮像条件の情報を取得する撮像情報取得手段と、撮像条件から被写体における最近点までの距離を取得する、または入力視差画像から求めた被写体の視差量を用いて最近点までの距離を算出する最近点距離取得手段と、立体表示装置の観察距離および該立体表示装置における表示画面のサイズを含む観察条件の情報を取得する観察条件取得手段と、観察条件に対応する許容視差範囲を取得する許容視差取得手段と、立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が許容視差範囲の奥行き側の限界値に一致し、かつ最近点が許容視差範囲の飛び出し側の限界値に一致するように出力視差画像の入力視差画像に対する表示画面上での水平シフト量および表示倍率を含む表示パラメータを算出する表示パラメータ演算手段と、入力視差画像に対して表示パラメータを用いた画像処理を行うことにより出力視差画像を生成する画像生成手段とを有することを特徴とする。
【００１５】
なお、立体撮像を行って左眼および右眼用の入力視差画像を生成する撮像系と、該入力視差画像に対して、立体表示装置に表示するための画像処理を行う上記立体画像処理装置とを有する撮像装置を、本発明の他の一側面を構成する。
【００１６】
また、本発明の他の一側面としての立体画像処理方法は、立体撮像により取得された左眼および右眼用の入力視差画像に対して、立体表示装置に表示するための画像処理を行う方法である。該立体画像処理方法は、入力視差画像および立体撮像における撮像条件の情報を取得し、撮像条件から被写体における最近点までの距離を取得する、または入力視差画像から求めた被写体の視差量を用いて最近点までの距離を算出し、立体表示装置の観察距離および該立体表示装置における表示画面のサイズを含む観察条件の情報を取得し、観察条件に対応する許容視差範囲を取得し、立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が許容視差範囲の奥行き側の限界値に一致し、かつ最近点が許容視差範囲の飛び出し側の限界値に一致するように出力視差画像の入力視差画像に対する表示画面上での水平シフト量および表示倍率を含む表示パラメータを算出し、入力視差画像に対して表示パラメータを用いた画像処理を行うことにより出力視差画像を生成することを特徴とする。
【００１７】
さらに、本発明の他の一側面としての立体画像プログラムは、コンピュータに、立体撮像により取得された左眼および右眼用の入力視差画像に対して、立体表示装置に表示するための画像処理を行わせるコンピュータプログラムである。該プログラムは、入力視差画像および立体撮像における撮像条件の情報を取得する処理と、撮像条件から被写体における最近点までの距離を取得する、または入力視差画像から求めた被写体の視差量を用いて最近点までの距離を算出する処理と、立体表示装置の観察距離および該立体表示装置における表示画面のサイズを含む観察条件の情報を取得する処理と、観察条件に対応する許容視差範囲を取得する処理と、立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が許容視差範囲の奥行き側の限界値に一致し、かつ最近点が許容視差範囲の飛び出し側の限界値に一致するように出力視差画像の入力視差画像に対する表示画面上での水平シフト量および表示倍率を含む表示パラメータを算出する処理と、入力視差画像に対して表示パラメータを用いた画像処理を行って出力視差画像を生成する処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１８】
本発明では、再現される立体空間の無限遠点が許容視差範囲の奥行き側の限界値に一致し、かつ被写体における最近点が飛び出し側の限界値に一致するように表示パラメータを算出し、該表示パラメータを用いて入力視差画像に対して画像処理を行う。このため、本発明によれば、撮影距離が異なる視差画像を順次切り替えながら表示を行う場合でも、適度な飛び出し感が維持され、かつ奥行き感の変動も少ない見やすい立体像表示を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例１である立体画像処理装置の構成を示すブロック図。
【図２】各実施例における立体撮像と立体表示との幾何学的関係を説明する図。
【図３】各実施例における輻輳点距離と水平シフト量との関係を示す図。
【図４】実施例１の立体画像処理装置の処理全体を示すフローチャート。
【図５】実施例１の立体画像処理装置の許容視差量設定処理を示すフローチャート。
【図６】実施例１の立体画像処理装置の表示パラメータ演算処理を示すフローチャート。
【図７】融像可能な視差角を示す図と画面サイズと融像可能な視差量との関係を示すグラフ。
【図８】本発明の実施例２である立体画像処理装置の構成を示すブロック図。
【図９】実施例２の立体画像処理装置の許容視差設定処理を示すフローチャート。
【図１０】本発明の実施例３である撮像装置の構成を示すブロック図。
【発明を実施するための形態】
【００２０】
以下、本発明の実施例について図面を参照しながら説明する。
【００２１】
まず、本発明の実施例１，２に共通する事項についてその概要を説明する。各実施例の立体画像処理装置は、撮像空間を立体撮像して取得された左眼用および右眼用の視差画像（以下、入力視差画像という）に対して、立体表示装置に表示するための画像処理を行う。そして、この画像処理に用いる表示パラメータを、撮像空間内の無限遠点が立体表示装置における許容視差範囲の奥行き側の限界値に一致するように、すなわち無限遠点の奥行き量が最大となるように決定する。しかも、表示パラメータを、撮像空間内で最も近い被写体の位置である最近点が立体表示装置における許容視差範囲の飛び出し側の限界値に一致するように、すなわち最も近い被写体の像の飛び出し量が最大となるように決定する。表示パラメータの決定には、観察条件である立体表示装置の表示画面サイズや観察者から表示画面までの観察距離を含む観察条件の情報を用いる。
【００２２】
観察条件が予め分かっていれば、立体撮像の撮像条件を観察条件に合わせて適切に調整することで、立体表示装置に表示したときに所望の立体感（飛び出し量や奥行き量）が得られる視差画像を取得できる。しかし、観察条件が予め決まっておらず、任意の撮像条件での立体撮像により既に視差画像が取得されている場合には、立体表示装置に表示された視差画像が観察される実際の観察条件によって、観察者に与えられる立体感は様々なものとなる。
【００２３】
各実施例では、このように任意の撮影条件の立体撮像により既に取得された入力視差画像に対して、その立体撮像時の撮像条件に基づいて、実際の観察条件で所望の立体感を観察者に与えるための仮想視差画像を立体撮像により取得するための仮想撮像条件を求める。仮想撮像条件には、輻輳点距離と撮像光学系の焦点距離が含まれる。そして、仮想撮像条件で得られた仮想視差画像を表示したと仮定した場合に得られる立体感を再現するため、立体撮像時の輻輳点距離と焦点距離にそれぞれ相当する表示画面上での出力視差画像の入力視差画像に対する水平シフト量と表示倍率を調節する画像処理を行う。つまり、表示画面上での出力視差画像の水平シフト量を調節することで、立体撮像時の輻輳点距離を調節したことと同等の効果を得る。また、表示画面上での表示倍率を調節することで、立体撮像時の撮像光学系の焦点距離を調節したことと同等の効果を得る。
【００２４】
各実施例で行う画像処理では、立体撮像時の撮像条件として、撮像装置に最も近い被写体の位置である最近点までの距離と、撮像装置（撮像光学系）から輻輳点までの距離である輻輳点距離と、撮像光学系の左右の撮像光軸間の距離である撮像基線長とが既知とする。さらに、立体撮像時の撮像条件として、撮像光学系の焦点距離と、撮像装置における撮像面（ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子の受光面）の水平幅も既知とする。
【００２５】
なお、立体撮像に特有の撮像条件の情報は、カメラ映像機器工業会（ＣＩＰＡ）で定められた規格「ＣＩＰＡ  ＤＣ−００６−２００８デジタルスチルカメラ用ステレオ静止画像フォーマット」に沿った形式の撮影画像には、タグ（付加情報）として付帯される。
【００２６】
次に、各実施例における立体撮像と立体表示（立体像を観察させるための視差画像の表示）との幾何学的関係について説明する。図２（Ａ）には立体撮像を幾何学的に説明するための図を、図２（Ｂ）には立体表示を幾何学的に説明するための図を示している。
【００２７】
図２（Ｂ）において、２０５は立体表示装置の表示画面を示し、Ｗｓは該表示画面２０５の水平幅である。Ｌｓは観察者（左右の眼２０６）から表示画面２０５までの距離としての観察距離である。観察距離は、通常は表示画面の垂直高さの３倍（３Ｈ）が標準である。観察者の左右の眼２０６は、眼間距離として２Ｗｅ（標準６５ｍｍ）を有し、表示画面２０５に表示された左眼用および右眼用の視差画像を偏光メガネ等の分離デバイスで分離して観察する。観察者は、その脳内で左眼用および右眼用の視差画像から立体像を融像して認識する。
【００２８】
立体表示装置における許容視差範囲は観察距離によって決まる。まず、表示画面２０５からの立体像の最大飛び出し位置Ｚ０１′を決める。そして、この最大飛び出し位置Ｚ０１′を基準とした奥行き方向に人が融像可能な許容視差角（標準値は２°）を満足する範囲の端が最大奥行き位置Ｚ０２′が求められる。これにより、最大飛び出し位置Ｚ０１′から最大奥行き位置Ｚ０２′までの許容視差範囲が決まる。最大飛び出し位置Ｚ０１′に対応する表示画面２０５上での視差量をｄ０１とする。また、最大奥行き位置Ｚ０２′に対応する表示画面２０５上での視差量をｄ０２とする。
【００２９】
立体表示のための画像処理においては、上記のように幾何学的に決まる最大飛び出し位置Ｚ０１′と最大奥行き位置Ｚ０２′とをそれぞれ、許容視差範囲の飛び出し側の限界値および奥行き側の限界値として用いてもよい。ただし、各実施例では、できるだけ多くの観察者が快適に立体像鑑賞をできるように、Ｚ０１′とＺ０２′に対して所定量の余裕を持った、つまりは視差量を適度に抑制した画像処理上での許容視差範囲の飛び出し側および奥行き側の限界値を設定する。この画像処理上での飛び出し側の限界値（最大飛び出し位置）をＺｍｉｎとし、これに対応する視差量を飛び出し側の許容視差量ｄ１とする。また、奥行き側の限界値（最大奥行き位置）をＺｍａｘとし、これに対応する視差量を奥行き側の許容視差量ｄ２とする。
【００３０】
なお、各実施例で行う画像処理において、許容視差範囲の飛び出し側および奥行き側の限界値をそれぞれ、単一の値ではなく、所定の幅を有する値として設定してもよい。この場合、後述する「限界値（最大飛び出し位置および最大奥行き位置）に一致する」とは、限界値として設定された所定の幅内に入るという意味である。
【００３１】
各実施例において、立体表示時に取得した観察条件の情報に基づいてその都度、観察条件に対応した最大飛び出し位置Ｚｍｉｎと最大奥行き位置Ｚｍａｘを算出してもよい。また、様々な観察条件に対応する許容視差範囲の最大飛び出し位置Ｚｍｉｎと最大奥行き位置Ｚｍａｘを予め算出してそのデータをテーブルデータとしてメモリに記憶しておき、実際の観察条件に対応するデータを該メモリから読み出して使用してもよい。これらいずれの場合も、観察条件から許容視差範囲（の限界値）を取得することに相当する。
【００３２】
次に、図２（Ａ）を用いて各実施例における立体撮像を幾何学的に説明する。各実施例では、視差画像は既にある撮像条件（以下、実撮像条件という）での実際の立体撮像によって取得されている。以下では、前述した仮想視差画像の視差量が立体表示装置の画像処理上での許容視差範囲内に入るような仮想撮像条件を求め、さらに該仮想撮像条件から出力視差画像の表示パラメータを求める処理について説明する。
【００３３】
２０１，２０２は立体撮像に用いられた撮像装置の左右の撮像レンズ（撮像光学系）であり、２０３，２０４は左右の撮像レンズ２０１，２０２に対応して設けられた左右の撮像素子（撮像面）である。左右の撮像レンズ２０１，２０２の撮像光軸間の距離である基線長（以下、カメラ基線長という）は２Ｗｃで固定値とし、このカメラ基線長２Ｗｃは実撮影条件でのカメラ基線長と同じとする。点Ｐは左右の撮像レンズ２０１，２０２の撮像光軸が交差する輻輳点である。なお、撮像レンズ２０１，２０２の撮像光軸がそれぞれ撮像素子（撮像面）２０３，２０４に対して交わる交点が左眼用および右眼用の視差画像の中心となる。撮像装置（撮像レンズ２０１，２０２）から該撮像装置によって実際に撮像される被写体の範囲（撮像範囲）のうち最近点までの距離である最近点距離Ｚ１は、入力視差画像の付帯情報から既知の情報として取得できる。各実施例では、実際の撮像範囲のうち最遠点までの距離である最遠点距離Ｚ２は使用せず、最近点と無限遠点（∞）とが立体表示装置における最大飛び出し位置Ｚｍｉｎと最大奥行き位置Ｚｍａｘにそれぞれ一致するように前述した水平シフト量と表示倍率を決定する。
【００３４】
水平シフト量は、仮想撮像条件の１つである輻輳点距離（以下、仮想輻輳点距離という）Ｌｃを用いて算出することができる。被写体を立体撮像して得られた視差画像を立体表示装置の表示画面に表示する場合、再現される被写体立体像の飛び出し位置や奥行き位置は視差画像における被写体の視差量によって決まる。また、その被写体の視差量は、立体撮像の撮像条件と、視差画像を表示画面に表示する際の水平シフト量と表示倍率を含む条件（表示パラメータ）とで決まる。
【００３５】
各実施例では、立体撮像される撮像空間の無限遠点が視差画像により再現される立体空間の最大奥行き位置Ｚｍａｘに収束して表示され、かつ撮像空間の最近点（最近点距離Ｚ１の位置）が最大飛び出し位置Ｚｍｉｎに表示される表示パラメータを算出する。
【００３６】
言い換えれば、立体表示装置に表示される出力視差画像から再現される立体空間の無限遠点が最大奥行き位置Ｚｍａｘに一致し、かつ撮像空間の最近点が最大飛び出し位置Ｚｍｉｎに一致するように出力視差画像に対する表示パラメータを算出する。このことは、撮像空間の無限遠点での視差量が最大奥行き位置Ｚｍａｘに対応する許容視差量ｄ２に一致し、かつ撮像空間の最近点での視差量が最大飛び出し位置Ｚｍｉｎに対応する許容視差量ｄ１に一致するように表示パラメータを算出するということもできる。
【００３７】
仮想輻輳点距離Ｌｃは、次式（１）により算出される。
Ｌｃ＝（ｄ２−ｄ１）／ｄ２・Ｚ１    ．．．（１）
そして、この仮想輻輳点距離Ｌｃを用いて、表示画面上での水平シフト量Ｓは次式（２）により算出される。
Ｓ＝Ｌｓ・（１／Ｌｃ０−１／Ｌｃ）・２Ｗｃ    ．．．（２）
ただし、Ｌｓは前述した観察距離であり、Ｌｃ０は実撮像条件に含まれる輻輳点距離（以下、実輻輳点距離という）であり、２Ｗｃは前述したカメラ基線長である。
【００３８】
図３には、輻輳点距離と水平シフト量との関係を示す。３０１，３０２は  図２に示した左右の撮像レンズ２０１，２０２と左右の撮像素子２０３，２０４によりそれぞれ構成される左右のカメラ（撮像装置）を示している。３０３は実輻輳点距離Ｌｃ０のときの左カメラ３０１の撮像素子の撮影面を観察距離と同じ位置に投影した仮想撮像面である。左カメラ３０１の仮想撮像面３０３上において、実輻輳点距離Ｌｃ０での立体撮像により取得された入力視差画像の中心は黒丸３０４で表わされる。これに対し、仮想輻輳点距離Ｌｃでの立体撮像により取得された仮想視差画像の中心は黒丸３０４から水平方向にずれた白丸３０５で表される。つまり、仮想輻輳点距離Ｌｃに対する仮想視差画像の中心は、実輻輳点距離Ｌｃ０に対応する入力視差画像の中心に対して水平方向にずれている。
【００３９】
したがって、左カメラ３０１により取得された左眼用の入力視差画像を、次に説明するように決定された水平シフト量Ｓの半分であるＳ／２だけ矢印３０６の方向に水平シフトすれば、仮想輻輳点距離Ｌｃに対応する左眼用の仮想視差画像と同じ視差画像が得られる。同様に、右カメラ３０２により取得された右眼用の入力視差画像を、Ｓ／２だけ矢印３０６とは反対方向に水平シフトすれば、仮想輻輳点距離Ｌｃに対応する右眼用の仮想視差画像と同じ視差画像が得られる。
【００４０】
表示倍率は、仮想撮像条件の別の１である左右の撮像レンズ２０１，２０２の焦点距離（左右の撮像レンズ２０１，２０２に共通の値であり、以下、仮想レンズ焦点距離という）ｆを用いて算出できる。
【００４１】
撮像空間の無限遠点での視差量が、最大奥行き位置Ｚｍａｘに対応する視差量ｄ２に一致するという条件から、以下の関係式（３）が求められる。
ｄ２＝Ｗｓ／Ｗｆ・２Ｗｃ・ｆ／  Ｌｃ    ．．．（３）
ただし、Ｗｆは撮像素子の撮像面上に形成される被写体像の水平幅（つまりは撮像面の水平幅）であり、Ｗｓは前述した表示画面の水平幅である。Ｌｃは式（１）で求めた仮想輻輳点距離Ｌｃである。
【００４２】
カメラ基線長２Ｗｃと撮像面上に形成される被写体像の水平幅Ｗｆは、撮像装置の仕様として決められている。また、表示画面の水平幅Ｗｓも、立体表示に用いる立体表示装置の表示画面サイズ情報として既知である。
仮想レンズ焦点距離ｆは、（３）式を変形した次式（４）により算出される。
ｆ＝ｄ２／２Ｗｃ・Ｌｃ・Ｗｆ／Ｗｓ    ．．．（４）
そして、表示倍率Ａは、実撮像条件の１つである撮像レンズの焦点距離（以下、実レンズ焦点距離という）ｆ０を用いて、次式（５）により算出される。
Ａ＝ｆ／ｆ０    ．．．（５）
この表示倍率Ａは、仮想レンズ焦点距離ｆでの撮像により取得された仮想視差画像（つまりは最終的に生成される出力視差画像）を表示画面に表示したときに、入力視差画像を表示したときと同じ表示サイズを得るための調節用の表示パラメータである。
【００４３】
こうして仮想輻輳点距離Ｌｃから表示画面上での水平シフト量Ｓが算出されると、各実施例では、左眼用および右眼用の入力視差画像をＳ／２だけ水平方向にシフトする画像処理としての水平画像シフト処理を行う。また、仮想レンズ焦点距離ｆから表示画面上での表示倍率Ａが算出されると、左眼用および右眼用の入力視差画像をそれぞれ、表示倍率Ａだけ拡大または縮小する画像処理を行う。これにより、立体表示したときに、被写体の最近点が許容視差範囲の飛び出し側の限界値（最大飛び出し位置）に一致し、かつ無限遠点が許容視差範囲の奥行き側の限界値（最大奥行き位置）に一致する出力視差画像を生成することができる。
【実施例１】
【００４４】
図１には、本発明の実施例１である立体画像処理装置の構成を示している。観察条件入力設定部（観察条件取得手段）１０１は、視差画像を表示する立体表示装置の表示画面サイズや観察距離を含む観察条件の情報を、使用者による入力により又はメモリ、ハードディスク等の記憶メディアを介して取得する。本実施例の立体画像処理装置に接続された立体表示装置との通信により観察条件を取得してもよい。なお、通常は観察距離は表示画面の垂直高さの３倍（３Ｈ）の距離が標準値とされているので、表示画面サイズと観察距離のうち一方のみを取得し、他方を計算により取得するようにしてもよい。
【００４５】
また、観察条件には、観察者の眼間距離も含まれ、本実施例では予め決められた標準の眼間距離である６５ｍｍを用いる。ただし、他の眼間距離の情報を、観察条件入力設定部１０１を通じて取得するようにしてもよい。
【００４６】
許容視差設定部（許容視差取得手段）１０２は、観察条件入力設定部１０１から取得した表示画面サイズや観察距離から許容視差範囲を算出する。さらに、許容視差設定部１０２は、該許容視差範囲の飛び出し側および奥行き側の限界値（最大飛び出し位置Ｚｍｉｎおよび最大奥行き位置Ｚｍａｘ）に対応する許容視差量ｄ１，ｄ２を算出する。
【００４７】
画像情報入力部（撮像情報取得手段）１０３は、この立体画像処理装置での画像処理の対象となる入力視差画像、すなわちデジタルカメラ等の撮像装置による立体撮像により取得された視差画像を、撮像装置との通信や上記記憶メディアを介して読み込む。入力視差画像には、立体撮像時の撮像条件（実撮像条件）の情報として付加情報が付帯されている。付加情報は、立体撮像される被写体における最近点までの距離（最近点距離Ｚ１）、実輻輳点距離Ｌｃ０、カメラ基線長２Ｗｃと、実レンズ焦点距離ｆ０と、撮像素子の撮像面上に形成される被写体像の水平幅（撮像面の水平幅）Ｗｆが含まれる。
【００４８】
なお、付加情報が入力視差画像に付帯されていない場合には、入力視差画像とは別に撮像装置との通信や記憶メディアを介して取得するようにしてもよい。
【００４９】
最近点距離取得部１０４は、画像情報入力部１０３から読み込まれた入力視差画像に付帯された付加情報から、最近点距離Ｚ１を取得する。
【００５０】
表示パラメータ演算部１０５は、最近点距離Ｚ１、上記付加情報に示される実撮影条件、および許容視差量ｄ１，ｄ２から、入力視差画像に対する画像処理を行うための表示パラメータである水平シフト量と表示倍率を算出する。
【００５１】
画像処理部（画像生成手段）１０６は、算出された水平シフト量と表示倍率を用いて、入力視差画像に対する画像処理（水平シフト処理および拡大／縮小）を行い、出力視差画像を生成する。そして、該出力視差画像を立体表示装置に出力する。
【００５２】
次に、本実施例の立体画像処理装置で行われる一連の処理（立体画像処理方法）の流れを、図４、図５および図６のフローチャートを用いて説明する。図４には処理全体を、図５には許容視差量設定処理を、図６には表示パラメータ演算処理をそれぞれ示している。立体画像処理装置がコンピュータにより構成される場合は、以下に説明する処理は該コンピュータにコンピュータプログラムとしての立体画像処理プログラムに従って実行させる。
【００５３】
ステップＳ１０１では、観察条件入力設定部１０１は、不図示のユーザーインターフェースを通じて又は記録メディアを介して、さらには立体表示装置との通信により上述した観察条件を取得する。
【００５４】
次に、ステップＳ１０２では、許容視差設定部１０２は、取得した観察条件に対応する許容視差範囲を算出し、さらに該許容視差範囲における最大飛び出し位置Ｚｍｉｎおよび最大奥行き位置Ｚｍａｘに対応する許容視差量ｄ１，ｄ２を算出する。この許容視差量設定処理を、図５を用いてより詳細かつ具体的に説明する。
【００５５】
ステップＳ２０１では、許容視差設定部１０２は、観察条件入力設定部１０１を通じて観察条件（表示画面の水平幅Ｗｓおよび観察距離Ｌｓ）を取得する。
【００５６】
次に、ステップＳ２０２では、許容視差設定部１０２は、取得した観察条件から、飛び出し側の視差角が許容視差角としての−１°となる表示画面上での視差量（図２に示した幾何学的に決まる視差量）ｄ０１を算出する。
【００５７】
次に、ステップＳ２０３では、許容視差設定部１０２は、取得した観察条件から、奥行き側の視差角が許容視差角としての＋１°となる表示画面上での視差量ｄ０２を算出する。
【００５８】
次に、ステップＳ２０４では、許容視差設定部１０２は、視差量ｄ０１，ｄ０２から、許容視差角±１°に対応する許容視差範囲の限界値に対して所定の余裕量を持つ最大飛び出し位置Ｚｍｉｎと最大奥行き位置Ｚｍａｘに対応する許容視差量ｄ１，ｄ２を算出する。そして、許容視差量ｄ１，ｄ２を表示パラメータ演算部１０５に出力する。
【００５９】
図４のフローチャートに戻り、ステップＳ１０３では、画像情報入力部１０３は、入力視差画像とそれに付帯された付加情報を取得する。付加情報の内容は前述した通りである。
【００６０】
次に、ステップＳ１０４では、最近点距離取得部１０４は、画像情報入力部１０３から取得された付加情報から最近点距離Ｚ１を取得する。付加情報に最近点距離の情報が含まれていない場合には、他の実撮像条件の情報を用いて入力視差画像の視差量マップを作成し、該視差量マップから最近点の視差量を求め、この結果から最近点距離を算出するようにしてもよい。
【００６１】
次に、ステップＳ１０５では、表示パラメータ演算部１０５は、観察条件入力設定部１０１、許容視差設定部１０２、画像情報入力部１０３および最近点距離取得部１０４で取得または算出された情報を取得する。そして、これらの情報を用いて、画像処理のための表示パラメータである水平シフト量Ｓと表示倍率Ａを算出する。この表示パラメータ演算処理について、図６を用いてより詳細に説明する。
【００６２】
まずステップＳ３０１では、表示パラメータ演算部１０５は、観察条件（Ｗｓ，Ｌｓ）、許容視差量ｄ１，ｄ２、実撮影条件（Ｚ１，Ｌｃ０，２Ｗｅ，ｆ，Ｗｆ）および最近点距離Ｚ１を取得する。
【００６３】
次に、ステップＳ３０２では、表示パラメータ演算部１０５は、最近点距離Ｚ１および実輻輳点距離Ｌｃ０を式（１）に代入して仮想輻輳点距離Ｌｃを算出する。
【００６４】
次に、ステップＳ３０３では、表示パラメータ演算部１０５は、仮想輻輳点距離Ｌｃを表示画面までの観察距離Ｌｓに一致させる、すなわち視差量を０とするための表示画面上での水平シフト量Ｓを算出する。具体的には、観察距離Ｌｓ、実輻輳点距離Ｌｃ０、仮想輻輳点距離Ｌｃおよびカメラ基線長２Ｗｅを式（２）に代入することで水平シフト量Ｓを
算出する。
【００６５】
次に、ステップＳ３０４では、表示パラメータ演算部１０５は、仮想レンズ焦点距離ｆを、式（４）に奥行き側の許容視差量ｄ２、カメラ基線長２Ｗｅ、仮想輻輳点距離Ｌｃ、撮像面の水平幅Ｗｆおよび表示画面の水平幅Ｗｓを代入することで算出する。
【００６６】
次に、ステップＳ３０５では、表示パラメータ演算部１０５は、実レンズ焦点距離ｆ０と仮想レンズ焦点距離ｆを式（５）に代入することで、表示倍率Ａを算出する。
【００６７】
最後に、ステップＳ３０６では、表示パラメータ演算部１０５は、以上の処理により得た水平シフト量Ｓと表示倍率Ａを、画像処理部１０６に出力する。
【００６８】
図４に戻り、ステップＳ１０６では、画像処理部１０６は、水平シフト量Ｓを用いて入力視差画像に対して水平画像シフト処理を行うとともに、表示倍率Ａを用いて入力視差画像の拡大または縮小処理を行って出力視差画像を生成する。
【００６９】
そして、ステップＳ１０７では、画像処理部１０６は、出力視差画像を立体表示装置に出力する。
【００７０】
以上説明したように、本実施例によれば、立体撮像された被写体の最近点が許容視差範囲の最大飛び出し位置に表示されるとともに、無限遠点が許容視差範囲の最大奥行き位置に表示される。このため、立体空間全体の距離範囲を、許容視差範囲を有効に用いつつ該許容視差範囲に収めることができる。そして、撮影距離が異なる視差画像を順次切り替えながら表示を行う場合でも、適度な飛び出し感が維持され、かつ奥行き感の変動も少ない見やすい立体像表示を行うことができる。
【実施例２】
【００７１】
次に、図８および図９を用いて本発明の実施例２である立体画像処理装置について説明する。
【００７２】
図８には、本実施例の立体画像処理装置の構成を示している。本実施例の立体画像処理装置も、実施例１の立体画像処理装置と同様に、観察条件入力設定部１０１、画像情報入力部１０３、最近点距離取得部１０４、表示パラメータ演算部１０５および画像処理部１０６を有する。これら各部は、実施例１と同様の機能を有していたり同様の処理を行ったりする。本実施例の立体画像処理装置は、調整条件入力部（調整手段）８０７が追加され、これに伴い、許容視差設定部１０２′が行う処理が変更されている点で実施例１と異なる。
【００７３】
許容視差範囲は設定される最大飛び出し位置に応じて変化するが、最大飛び出し位置の飛び出し量が大き過ぎると、観察者の眼の調節機能が立体像の飛び出し／奥行き方向での動きに追従できずに、眼の疲れが大きくなるおそれがある。また、表示画面サイズや観察距離の違い、さらには観察者の個人差によっても許容視差範囲を調整できた方が好ましい。このため、調整条件入力部８０７を設けて、使用者が観察条件や観察者の好み等の他の条件に応じて最大飛び出し位置Ｚｍｉｎ（最近点表示位置）と最大奥行き位置Ｚｍａｘ（無限遠表示位置）を任意に変更可能（調整可能）としている。
【００７４】
図９のフローチャートには、本実施例における許容視差量設定処理の流れを示している。この許容視差量設定処理は、許容視差範囲を調整したい使用者による切り替え入力に応じて、実施例１（図５）で説明した許容視差量設定処理に代えて実行される。
【００７５】
まず、ステップＳ４０１では、許容視差設定部１０２′は、観察条件入力設定部１０１を通じて観察条件（表示画面の水平幅Ｗｓおよび観察距離Ｌｓ）を取得する。
【００７６】
次に、ステップＳ４０２では、許容視差設定部１０２′は、調整条件入力部８０７から、使用者により設定された調整条件としての最近点表示位置および無限遠表示位置を取得する。
【００７７】
次に、ステップＳ４０３では、許容視差設定部１０２′は、取得した最近点表示位置を最大飛び出し位置Ｚｍｉｎとし、この最大飛び出し位置Ｚｍｉｎに対応する飛び出し側の許容視差量ｄ１を算出する。
【００７８】
次に、ステップＳ４０４では、許容視差設定部１０２′は、取得した無限遠表示位置を最大奥行き位置Ｚｍａｘとし、この最大奥行き位置Ｚｍａｘに対応する奥行き側の許容視差量ｄ２を算出する。
【００７９】
そして、ステップＳ４０５では、許容視差設定部１０２′は、許容視差量ｄ１，ｄ２を表示パラメータ演算部１０５に出力する。
【００８０】
本実施例によれば、観察条件や観察者の個人差等に応じて、最大飛び出し位置と最大奥行き位置を調整できるようにしたので、観察者にとってより快適な立体像表示を行うことができる。なお、調整可能とするのは、最大飛び出し位置と最大奥行き位置のうち少なくとも一方であってもよく、特に観察距離や観察者の個人差等に影響され易い最大飛び出し位置とするのが好ましい。
【実施例３】
【００８１】
図１０には、本発明の実施例３である立体撮像装置の構成を示している。この立体撮像装置は、立体撮像により左眼および右眼用の入力視差画像を生成する撮像系と、実施例１の立体画像処理装置１００または実施例２の立体画像処理装置８００とを有する。
【００８２】
撮像系は、左右の撮像レンズ（撮像光学系）２０１，２０２と、これら左右の撮影レンズ２０１，２０２により形成された互いに視差を有する被写体像を撮像する左右の撮像素子２０３，２０４とを有する。さらに、撮像系は、撮像素子２０３，２０４からの出力を用いて左眼および右眼用の入力視差画像を生成する視差画像生成部３００を有する。左右の撮像レンズ２０１，２０２は、着脱（交換）可能であってもよい。
【００８３】
このように、実施例１，２の立体画像処理装置は撮像装置とは別の装置として構成されてもよいし、本実施例のように撮像装置に一体に設けられてもよい。
【００８４】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００８５】
快適な立体像表示が行うための視差画像を生成可能な立体画像表示装置を提供できる。
【符号の説明】
【００８６】
１００，８００  立体画像処理装置
１０１  観察条件入力設定部
１０２，１０２′  許容視差設定部
１０３  画像情報入力部
１０４  最近点距離取得部
１０５  表示パラメータ演算部
１０６  画像処理部
【図１】
2015056796.tif 000003
【図２】
2015056796.tif 000004
【図３】
2015056796.tif 000005
【図４】
2015056796.tif 000006
【図５】
2015056796.tif 000007
【図６】
2015056796.tif 000008
【図７】
2015056796.tif 000009
【図８】
2015056796.tif 000010
【図９】
2015056796.tif 000011
【図１０】
2015056796.tif 000012