(57)【要約】【課題】画像処理装置において、視聴環境のうち環境光に応じて、奥行き感パラメータ（両眼手掛かり、単眼手掛かりに関わるパラメータ）を調整する。【解決手段】画像処理装置１は、視聴環境光情報取得部４０と奥行き感パラメータ調整量計算部３０とを備える。視聴環境光情報取得部４０は、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する。奥行き感パラメータ調整量計算部２０は、視聴環境光情報と画像補助データとに基づき、表示装置において画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する。【選択図】図１
2015164235.tif 000002
【特許請求の範囲】
【請求項１】
表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する視聴環境光情報取得部と、
前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する奥行き感パラメータ調整量計算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部をさらに備え、
前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部と、前記表示装置に対する視聴者の位置を検出する視聴位置検出部と、をさらに備え、
前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報と前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ユーザ入力部は、接触型もしくは非接触型のタッチセンサ、および／または、ユーザの視線位置をセンシングする視線検出装置であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記表示装置に対する視聴者の位置を検出する視聴位置検出部をさらに備え、
前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であり、
前記画像処理装置は、撮像装置を備え、該撮影装置で撮影した撮像データに基づき、前記照明情報および／または前記輝度情報と、前記視聴者位置情報とのいずれか一方もしくは複数を同時に検出すること特徴とする請求項３または５に記載の画像処理装置。
【請求項７】
前記画像処理装置は、前記表示装置と空間的に離れた位置で使用され、
前記画像処理装置は、前記表示装置と前記画像処理装置との間の距離を検出する接続距離検出部を備え、前記視聴位置検出部は、前記距離を用いて前記表示装置に対する視聴者の位置を検出することを特徴とする請求項３または５に記載の画像処理装置。
【請求項８】
前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項９】
前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報によって推定される視聴者瞳孔径を示す情報であることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項１０】
前記奥行き感パラメータ調整量計算部は、前記視聴者瞳孔径を示す情報に基づき、前記表示装置が表現すべき被写界深度情報を計算もしくは推定し、前記奥行き感パラメータの調整量を計算することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記補助データは、前記画像データの位置に対応した前記奥行き感パラメータの調整位置を指定するマスクデータ、および／または、前記画像データの位置に対応した奥行きマップであることを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記奥行き感パラメータは、ぼかし量であることを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記奥行き感パラメータは、両眼視差量であることを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１４】
視聴環境光情報取得部が、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、
奥行き感パラメータ調整量計算部が、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、
を有することを特徴とする画像処理方法。
【請求項１５】
コンピュータに、
表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、
前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、
を実行させるための画像処理プログラム。
【請求項１６】
請求項１５に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の奥行き感を示すパラメータを調整する画像処理装置、画像処理方法、その画像処理方法をコンピュータに実行させるためのプログラム、およびそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
多くの一般的な画像（平面画像、立体画像）は、奥行きに関する情報を有している。ここで、奥行きに関する情報は、単眼手掛かり、両眼手掛かりに分類することができる。単眼手掛かりの例としては、ボケ、テクスチャの肌理、陰影、重なり、コントラスト、相対的な大きさ、線遠近法のような絵画的手掛かりと呼ばれる手掛かりの他、眼の調節（水晶体によるピント調節）などが挙げられる。両眼手掛かりの例としては、輻輳（左右眼の視線の交差）や両眼視差（網膜像差）などが挙げられる。これらの情報を知覚することによって、我々は、平面に投影された画像であったとしても奥行き感を感じることができる。
【０００３】
しかしながら、これらの奥行きに関する手掛かりに大きな齟齬が生じた場合（現実の見えとかけ離れてしまった場合）、我々は画像に対して不自然さや不快感、視覚疲労を感じることがある。例えば、立体画像においては、輻輳と調節の齟齬による視覚疲労の例が挙げられる。２次元の平面ディスプレイ上に立体画像を表示した場合、調節がディスプレイ面上にあり、輻輳位置が中空となる状態が生じ、自然な視覚とは異なるために視覚的な疲労を引き起こすこととなる。
【０００４】
以上の問題の解決策として、特許文献１および特許文献２が開示されている。
特許文献１には、立体画像を表示画面上に表示する際に、２つの画像間の距離・奥行きの計算結果に基づいて、眼球光学系の焦点深度内になるように立体画像の位置を制御する方法が開示されている。それにより、立体画像の位置が表示画面の位置と対応することで輻輳と調節が一致し、視覚疲労が軽減されることが記されている。
【０００５】
特許文献２には、平面画像およびそのデプスマップから立体画像を生成する際に、デプスマップと眼球光学系の焦点深度に基づき、左右それぞれの画像を生成することで、視覚疲労に配慮した立体画像コンテンツの制作を実現する方法について開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２２３４５８号公報
【特許文献２】特開２０１１−１６０３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の特許文献１，２に記載された方法によれば、眼球光学系の焦点深度を考慮して立体画像の表示位置を制御し、視覚疲労の少ない快適な立体画像を提供することができる。しかしながら、人間の眼球の焦点深度は、周辺の環境光の影響を受けて変動する。焦点深度は、一般的に暗室においては狭くなり、明室においては広くなる。したがって、例えば、明室向けに調整された立体画像コンテンツを暗室で見た場合には視覚疲労が発生してしまう可能性があり、環境光によって視聴者が受ける印象が変わってしまう。
【０００８】
以上において、両眼手掛かりの例について説明したが、単眼手掛かりにおいても同様のことが考えられる。単眼手掛かりの例として「ボケ」の例を挙げる。ディスプレイ上に表示されている被写体空間（最も近い被写体と最も遠い被写体とが成す空間）が、現実においては焦点深度内に収まるような構図であるにも関わらず、被写体にボケが生じてしまっている場合、現実と同様の見えではなくなってしまい、自然さが失われることも考えられる。
【０００９】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、画像処理装置において、視聴環境のうち環境光に応じて、つまり光環境に応じて、奥行き感パラメータ（両眼手掛かり、単眼手掛かりに関わるパラメータ）を調整することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の第１の技術手段は、画像処理装置において、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する視聴環境光情報取得部と、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する奥行き感パラメータ調整量計算部と、を備えることを特徴としたものである。
【００１１】
本発明の第２の技術手段は、第１の技術手段において、前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部をさらに備え、前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
【００１２】
本発明の第３の技術手段は、第１の技術手段において、前記奥行き感パラメータの調整量を調整するための基準位置を示すユーザ操作を入力するユーザ入力部と、前記表示装置に対する視聴者の位置を検出する視聴位置検出部と、をさらに備え、前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記ユーザ入力部で入力された情報であるユーザ入力情報と前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
【００１３】
本発明の第４の技術手段は、第２または第３の技術手段において、前記ユーザ入力部は、接触型もしくは非接触型のタッチセンサ、および／または、ユーザの視線位置をセンシングする視線検出装置であることを特徴としたものである。
【００１４】
本発明の第５の技術手段は、第１の技術手段において、前記表示装置に対する視聴者の位置を検出する視聴位置検出部をさらに備え、前記奥行き感パラメータ調整量計算部は、前記視聴環境光情報と前記補助データと前記視聴位置検出部で検出された視聴者の位置を示す視聴者位置情報とに基づき、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
【００１５】
本発明の第６の技術手段は、第３または第５の技術手段において、前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であり、前記画像処理装置は、撮像装置を備え、該撮影装置で撮影した撮像データに基づき、前記照明情報および／または前記輝度情報と、前記視聴者位置情報とのいずれか一方もしくは複数を同時に検出すること特徴としたものである。
【００１６】
本発明の第７の技術手段は、第３または第５の技術手段において、前記画像処理装置は、前記表示装置と空間的に離れた位置で使用され、前記画像処理装置は、前記表示装置と前記画像処理装置との間の距離を検出する接続距離検出部を備え、前記視聴位置検出部は、前記距離を用いて前記表示装置に対する視聴者の位置を検出することを特徴としたものである。
【００１７】
本発明の第８の技術手段は、第１〜第５のいずれか１の技術手段において、前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報であることを特徴としたものである。
【００１８】
本発明の第９の技術手段は、第１〜第５のいずれか１の技術手段において、前記視聴環境光情報は、視聴環境の明るさを示す照明情報および／または前記表示装置での表示輝度を示す輝度情報によって推定される視聴者瞳孔径を示す情報であることを特徴としたものである。
【００１９】
本発明の第１０の技術手段は、第９の技術手段において、前記奥行き感パラメータ調整量計算部は、前記視聴者瞳孔径を示す情報に基づき、前記表示装置が表現すべき被写界深度情報を計算もしくは推定し、前記奥行き感パラメータの調整量を計算することを特徴としたものである。
【００２０】
本発明の第１１の技術手段は、第１〜第１０のいずれか１の技術手段において、前記補助データは、前記画像データの位置に対応した前記奥行き感パラメータの調整位置を指定するマスクデータ、および／または、前記画像データの位置に対応した奥行きマップであることを特徴としたものである。
【００２１】
本発明の第１２の技術手段は、第１〜第１１のいずれか１の技術手段において、前記奥行き感パラメータは、ぼかし量であることを特徴としたものである。
【００２２】
本発明の第１３の技術手段は、第１〜第１１のいずれか１の技術手段において、前記奥行き感パラメータは、両眼視差量であることを特徴としたものである。
【００２３】
本発明の第１４の技術手段は、画像処理方法において、視聴環境光情報取得部が、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、奥行き感パラメータ調整量計算部が、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、を有することを特徴としたものである。
【００２４】
本発明の第１５の技術手段は、画像処理プログラムにおいて、コンピュータに、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得する取得ステップと、前記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、前記表示装置において前記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算する計算ステップと、を実行させるためのプログラムであることを特徴としたものである。
【００２５】
本発明の第１６の技術手段は、コンピュータ読み取り可能な記録媒体において、第１５の技術手段における画像処理プログラムを記録したことを特徴としたものである。
【発明の効果】
【００２６】
本発明によれば、視聴環境の光環境に応じて、あるいはそれに加えて視聴者の位置・向き等の状態に応じて、奥行き感パラメータを調整することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施の形態における画像処理装置の一構成例を示す図である。
【図２】図１の画像処理装置における画像処理例を説明するためのフロー図である。
【図３】図１の画像処理装置における視聴環境光情報取得部およびその周辺部の一構成例を示す図である。
【図４】図３の視聴環境光情報取得部における処理例を説明するためのフロー図である。
【図５】図１の画像処理装置における奥行き感パラメータ調整量計算部およびその周辺部の一構成例を示す図である。
【図６】図５の奥行き感パラメータ調整量計算部における処理例を説明するためのフロー図である。
【図７】図６の処理における奥行きパラメータ調整要否判定処理の一例を説明するためのフロー図である。
【図８】図１の画像処理装置における奥行き感パラメータ調整量計算部およびその周辺部の他の構成例を示す図である。
【図９】本発明の第２の実施の形態と第３の実施の形態とを比較するための図である。
【図１０】図１の画像処理装置における奥行き感パラメータ調整量計算部およびその周辺部の他の構成例を示す図である。
【図１１】図１の画像処理装置における視聴環境光情報取得部およびその周辺部の他の構成例を示す図である。
【図１２】図１１の画像処理装置における視聴環境光情報取得部の処理例を説明するためのフロー図である。
【図１３】本発明に係る画像処理装置を含む表示システムの一構成例を示す図である。
【図１４】図１３の表示システムにおける画像の立体表示処理の一例を説明するためのフロー図である。
【発明を実施するための形態】
【００２８】
以下、本発明に係わる実施の形態を、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置の一構成例を示す図である。本実施の形態における画像処理装置１は、本発明の主たる特徴として、視聴環境光情報取得部４０と奥行き感パラメータ調整量計算部２０とを備える。
【００２９】
視聴環境光情報取得部４０は、表示装置での視聴環境（つまり、表示装置を視聴する視聴者の置かれている視聴環境）のうち環境光に関する情報である視聴環境光情報を取得する。ここで、表示装置とは、画像処理装置１で画像処理後の画像を表示するための表示装置を指す。また、ここで言う環境光に関する情報とは、視聴に際しての光環境を示す情報（つまり画像の見え方を示す情報）を指し、表示装置における所謂、周囲の明るさだけを指してもよいが、人間の眼球の焦点深度は表示装置での画像を輝度によっても影響を受けるため、後述するように表示装置での表示輝度（画面輝度）を示す情報を含むことが好ましい。以下、環境光に関する情報を、単に光情報とも言う。
【００３０】
本画像処理装置で処理対象となる画像データとしては、例えば、カメラを有するデバイスにおいてカメラセンサ部から出力される画像データ、ＲＯＭ（Read Only Memory）などの記録媒体に記録された画像データ、ネットワーク経由でサーバから受信した画像データ、チューナ等によって受信されて画像に変換された画像データなどが該当する。
【００３１】
奥行き感パラメータ調整量計算部２０は、視聴環境光情報と画像補助データとに基づき、表示装置において画像データが示す画像を表示させる際に用いる奥行き感パラメータの調整量を計算する。この奥行き感パラメータは、画像の奥行き感を示すパラメータであって、単眼手掛かりおよび／または両眼手掛かりについてのパラメータである。また、この奥行き感パラメータは、表示装置において画像データを立体画像で表示する際の奥行き感を示すために用いられるだけでなく、通常の平面画像を表示する際のぼかし量などの奥行き感を示すためにも用いられる。なお、奥行き感パラメータは、表示装置における表示パラメータの一つと言え、上記画像補助データに含まれる情報であってもよいし、上記画像補助データから計算によって求まる情報であってもよい。いずれの場合でも、奥行き感パラメータ調整量計算部２０は、奥行き感パラメータの調整量を計算する。
【００３２】
上記の画像補助データとは、画像データにおける画像の奥行き感を出すための補助データであって、この画像補助データは、画像データに関連付けて付属されてもよいし、画像データ内に含ませてもよい。画像補助データは、例えば、上記画像データの位置（画素位置）に対応した奥行き感パラメータの調整位置を指定するマスクデータ、上記画像データの位置（画素位置）に対応した奥行きマップ（デプスマップ、視差マップとも呼ばれる）などのデータである。
【００３３】
また、この奥行きマップとしては、例えば、（１）画像データが立体画像データであった場合、その立体画像データに基づき算出される奥行きデータ、（２）撮影するカメラデバイスに対応した測距デバイスから取得される奥行きデータ、（３）２Ｄ画像から２Ｄ３Ｄ変換技術によって推定される奥行きデータ、などが挙げられる。また、画像補助データは、マスクデータおよび／または奥行きマップであることが好ましいが、これに限ったものではなく、画像の奥行き感を出すためのデータであればよい。
【００３４】
図１で例示した画像処理装置１には、その他、奥行き感パラメータ調整部１０およびデフォルト情報記憶部３０を備える。デフォルト情報記憶部３０は、奥行き感パラメータ調整量計算部２０で計算される調整量を求めるためのデフォルト情報を格納する。奥行き感パラメータ調整量計算部２０は、画像補助データ、視聴環境光情報取得部４０からの視聴環境光情報、およびデフォルト情報記憶部３０からのデフォルト情報に基づき、奥行き感パラメータの調整量を計算する。奥行き感パラメータ調整部１０は、奥行き感パラメータ調整量計算部２０からの奥行き感パラメータ調整量および入力データ（入力された画像データであって表示装置での表示対象のデータ）から、奥行き感パラメータを調整した画像を生成する。
【００３５】
画像処理装置１における画像処理例を図２に示す。ステップＳ１において、視聴環境光情報取得部４０は、視聴環境の光情報を受け取り、奥行き感パラメータ調整量計算部２０に送る。ステップＳ２において、奥行き感パラメータ調整量計算部２０は、視聴環境光情報取得部４０からの視聴環境光情報と、デフォルト情報記憶部３０からのデフォルト情報と、画像補助データとを受け取り、奥行き感パラメータ調整量を計算し、調整量を奥行き感パラメータ調整部１０に送る。ステップＳ３において、奥行き感パラメータ調整部１０は、奥行き感パラメータ調整量計算部２０からの奥行き感パラメータ調整量と、画像データとを受け取り、奥行き感パラメータ調整後画像を生成する。
【００３６】
まず、視聴環境光情報取得部４０の具体例について説明する。
視聴環境光情報取得部４０で取得する視聴環境光情報としては、視聴環境の明るさを示す照明情報（視聴環境の照明情報）、表示装置での表示輝度を示す輝度情報などが挙げられ、照明情報と輝度情報とを双方採用することが好ましい。なお、輝度情報としては、表示装置において実際に測定した値であることが好ましいが、代わりに、表示装置における最大表示可能輝度、つまり表示装置の表示能力（白データを表示する際に可能な最大輝度）であってもよいし、表示対象の画像データの画素値から計算した、表示対象の画像データを実際に表示した際の画素の表示輝度値（推定値）の画面平均値や画面最大値などであってもよい。
【００３７】
ここでは、視聴環境光情報取得部４０が、画像処理装置１の設置環境における光情報として、例えば、室内照明情報、ディスプレイ輝度情報を受け取り、視聴者瞳孔径を推定し、視聴者瞳孔径を示す情報を視聴環境光情報統合結果として、奥行き感パラメータ調整量計算部２０に送る。この場合、奥行き感パラメータ調整量計算部２０は、上記の視聴者瞳孔径を示す情報に基づき、表示装置が表現すべき被写界深度情報を計算もしくは推定し、奥行き感パラメータの調整量を計算することが好ましい。この計算の方法については後述する。但し、視聴者瞳孔径の推定は行わなくてもよく、その場合、照明情報および／または輝度情報をそのまま使用すればよい。また、視聴者瞳孔径を照明情報および輝度情報によって推定することを前提に説明するが、照明情報または輝度情報の一方のみから推定してもよい。
【００３８】
視聴環境光情報取得部４０およびその周辺部の一構成例を図３に示す。視聴環境光情報取得部４０は、上記照明情報（明るさ情報）を検出する明るさ検出センサ部５１と、上記輝度情報の一例として画面輝度情報を生成する画面輝度情報生成部５２とに繋がっている。そして、視聴環境光情報取得部４０は、明るさ検出センサ部５１から明るさ情報を取得する明るさ情報取得部４１と、画面輝度情報生成部５２から画面輝度情報を取得する画面輝度情報取得部４２と、明るさ情報取得部４１からの明るさ情報および画面輝度情報取得部４２からの画面輝度情報に基づき、視聴者が感じる明るさを示す明るさパラメータを推定する明るさパラメータ推定部４３とを備える。
【００３９】
視聴環境光情報取得部４０における処理例を図４に示す。ステップＳ１１において、明るさ情報取得部４１は、明るさ検出センサ部５１からの明るさ情報を取得・統合し、明るさパラメータ推定部４３に送る。ステップＳ１２において、画面輝度情報取得部４２は、画面輝度情報生成部５２からの画面輝度情報を取得・統合し、明るさパラメータ推定部４３に送る。ステップＳ１３において、明るさパラメータ推定部４３は、明るさ情報取得部４１からの明るさ情報と画面輝度情報取得部４２からの画面輝度情報とに基づき、明るさパラメータを推定し、奥行き感パラメータ調整量計算部２０に送る。
【００４０】
より具体的に説明すると、まず、明るさ検出センサ部５１は、例えば、（１）照度センサ（アレイ）を有し、照度センサで周囲環境の明るさを取得する、もしくは、（２）カメラセンサを有し、カメラセンサで取得される画像データを信号処理することによって周囲環境の明るさを推定する、といった構成が採用できる。なお、明るさ検出センサ部５１では、照度センサから取得した明るさの情報とカメラセンサから推定した明るさの情報の双方を統合し、統合した結果の明るさ情報を生成し、明るさパラメータ推定部４３に渡してもよい。
【００４１】
画面輝度情報生成部５２は、例えば、（１）画像処理装置１に入力される画像データを受け取り、画面全体の輝度の平均値を画面輝度情報として生成する、もしくは、（２）画像データから画像の注目領域を推定し、その注目領域の輝度情報を画面輝度情報として生成する、もしくは、（３）カメラセンサによって、視聴者の顔の向き（もしくは視線の向き）および視聴位置を検出し、その検出結果に基づき注目領域を設定し、その注目領域の輝度情報を画面輝度情報として生成する、といった構成が採用できる。なお、画面輝度情報生成部５２では、上記（１）〜（３）のいずれか２つまたは３つの方法で生成した画面輝度情報を統合し、統合した結果の画面輝度情報を生成し、画面輝度情報取得部４２に渡してもよい。また、明るさ検出センサ部５１と画面輝度情報生成部５２でいずれもカメラセンサを採用する場合には、共通のカメラからの画像データを利用することが好ましい。
【００４２】
明るさパラメータ推定部４３は、例えば、明るさパラメータとして視聴者の瞳孔径を推定する。一般的に、人間の瞳孔径は２〜８ｍｍ程度と言われており、例えば、式(1)に基づき算出する。
SIZE_P ＝ α × Illum ＋ β × Lumin ＋ γ                    ・・・(1)
【００４３】
ここで、ＳＩＺＥ＿Ｐは瞳孔径のサイズ、Ｉｌｌｕｍは明るさ情報取得部４１から得られる照度値、Ｌｕｍｉｎは画面輝度情報取得部４２から得られる輝度値、α，β，γは任意の係数である。
【００４４】
また、明るさパラメータ推定部４３で推定される明るさパラメータが、離散的に大きく変化することは望ましくない（瞳孔径を例にすると、不連続に変化しない）ため、レジスタ等に前の明るさパラメータ推定時の出力値を保持しておき、例えば、式(2)のように時間方向に平滑化を行う。
SIZE_P′ ＝ η × SIZE_P_CUR ＋ ( 1 − η ) × SIZE_P_PRE    ・・・(2)
【００４５】
ここで、ＳＩＺＥ＿Ｐ′は平滑化後の瞳孔径サイズ、ＳＩＺＥ＿Ｐ＿ＣＵＲは現在推定した瞳孔径サイズ、ＳＩＺＥ＿Ｐ＿ＰＲＥは前回推定した瞳孔径サイズ、ηは平滑化係数である。
【００４６】
明るさパラメータ推定部４３は、算出した瞳孔径サイズを明るさパラメータとして、奥行き感パラメータ調整量計算部２０に送る。明るさパラメータは、単純に視聴者が受ける視聴環境明るさ強度としてもよく、「強（３）」「中（２）」「弱（１）」のように離散的な値として出力してもよい。
なお、視聴環境光情報取得部４０のデータの更新頻度は、画像データのフレームレートに必ずしも合わせる必要はない。
【００４７】
次に、奥行き感パラメータ調整量計算部２０の具体例について説明する。
奥行き感パラメータ調整量計算部２０およびその周辺部の一構成例を図５に示す。奥行き感パラメータ調整量計算部２０は、調整する奥行き感パラメータに関するデータを画像補助データから解析する画像補助データ解析部２１と、被写界深度を算出する被写界深度計算部２２とを備える。奥行き感パラメータ調整量計算部２０は、さらに、被写界深度計算部２２からの被写界深度情報とデフォルト情報記憶部３０からのデフォルト情報とに基づき奥行き感パラメータの調整すべき範囲を設定する補正範囲設定部２３と、画像補助データ解析部２１からの解析結果と補正範囲設定部２３からの補正範囲情報とに基づき調整の必要の要否を判断する補正内容判断部２４と、補正内容判断部２４の判断結果に基づき調整量を決定する調整量生成部２５とを備える。
【００４８】
ここで、デフォルト情報記憶部３０は、例えば、視聴者の標準視距離、調整する奥行きパラメータおよび奥行きパラメータのデフォルト値、本発明における画像処理装置１に接続される表示装置の解像度（ディスプレイ解像度）、アスペクト比、標準的な瞳孔間隔など、種々の計算において必要となる情報が保持されている。
【００４９】
奥行き感パラメータ調整量計算部２０における処理例を図６に示す。ステップＳ２１において、画像補助データ解析部２１は、画像補助データとデフォルト情報とから、奥行き感パラメータを解析し、解析データを出力する。デフォルト情報とは、デフォルト情報記憶部３０から得た、「調整する奥行きパラメータ」、「ディスプレイサイズ」、「ディスプレイ解像度」、「標準視聴距離」、「標準眼間距離」などの情報である。このように、調整する奥行き感パラメータが両眼視差量であった場合、画像補助データとしてデプスマップを受け取り、相当する両眼視差量（両眼視差範囲）を解析する。その際、解析データとして、表示装置に表示した際に立体像として再現される最近距離（視聴者位置を原点とした最も近い距離）、最遠距離（視聴者位置を原点とした最も遠い距離）、およびそれらが成す範囲を出力する。このように、奥行き感パラメータとしては両眼視差量を採用することができる。
【００５０】
ここで、距離データの算出方法の一例について説明する。デプスマップのデータが符号付き８ｂｉｔ（−１２８〜１２７）であったとし、その画素値がディスプレイ上でのずれ量であったとすると、距離データＤ（ｘ，ｙ）は式(3)〜式(6)によって算出される。なお、デプスデータが正である場合を近距離方向、負である場合を遠距離方向であるとする。
【００５１】
if ( M(x,y) ≧ 0 )
D(x,y) ＝ Deye × Dview ／ ( Deye ＋ dot × M(x,y) )      ・・・(3)
else if ( M(x,y) ＜ 0  and  dot × M(x,y) ＜ Deye )
D(x,y) ＝ Dview ＋ dot × M(x,y) × Dview ／ ( Deye − abs( dot × M(x,y) ))
・・・(4)
else
D(x,y) ＝ ∞  (無限)                                    ・・・(5)
【００５２】
ここで、Ｄ（ｘ，ｙ）は座標（ｘ，ｙ）における距離データ、Ｍ（ｘ，ｙ）は座標（ｘ，ｙ）におけるデプスマップの画素値、Ｄｅｙｅは視聴者の眼間距離、Ｄｖｉｅｗは視聴距離（視聴者位置から表示画面までの距離）、ｄｏｔは１ピクセルの大きさ、ａｂｓ（）は絶対値を求める関数である。例えば、ディスプレイサイズが５２インチ、ディスプレイ解像度が１９２０×１０８０、視距離Ｄｖｉｅｗが画面高の３倍、視聴者の眼間距離Ｄｅｙｅが６５ｍｍ、デプスマップの画素値Ｍ（ｘ，ｙ）が３０であったとすると、ディスプレイサイズおよび解像度よりｄｏｔ≒０．６０、Ｄｖｉｅｗ≒１９４３ｍｍであり、式(3)が適応されるためＤ（ｘ，ｙ）≒１５２２ｍｍとなる。
【００５３】
ステップＳ２２において、被写界深度計算部２２は、視聴環境光情報取得部４０からの明るさパラメータとデフォルト情報記憶部３０からの「標準視聴距離」などの情報を基に被写界深度を算出する。前述の例に従い、明るさパラメータとして瞳孔サイズＳＩＺＥ＿Ｐを受け取った場合について説明する。被写界深度（最近点、最遠点）を算出するための式（近似式）の一例を式(6)および式(7)に示す。
【００５４】
DN ＝ Dview ( H − f ) ／ ( H ＋ Dview − 2f )             ・・・(6)
DF ＝ Dview ( H − f ) ／ ( H − Dview )                   ・・・(7)
【００５５】
ここで、ＤＮは被写界の最近点距離（視聴者位置を原点とした距離）、ＤＦは被写界の最遠点距離（視聴者位置を原点とした距離）、Ｄｖｉｅｗは視距離値（視聴者位置から表示面までの距離）、Ｈは過焦点距離、ｆは焦点距離である。過焦点距離Ｈは式(8)によって算出される。
H ＝ f × SIZE_P ／ c                                     ・・・(8)
【００５６】
ここで、ＳＩＺＥ＿Ｐは視聴環境光情報取得部４０から得られた明るさパラメータ（瞳孔サイズ）、ｃは許容錯乱円定数である。
【００５７】
ステップＳ２３において、補正範囲設定部２３は、被写界深度計算部２２からの被写界深度情報と、デフォルト情報記憶部３０からの「調整する奥行きパラメータ」、「ディスプレイサイズ」などのデフォルト情報とから、奥行き感パラメータ調整量による補正範囲を設定し、範囲設定データとして出力する。すなわち、調整する奥行き感パラメータが両眼視差量であった場合、被写界深度情報に基づき相当する被写界範囲を設定する。その際、補正範囲データとして、被写界最近距離、被写界最遠距離、およびそれらが成す範囲を出力する。
【００５８】
ステップＳ２４において、補正内容判断部２４は、図７の流れにしたがい、奥行きパラメータの調整要否の判断（判定）を行う。なお、図７の処理例では、解析データとして両眼視差量（両眼視差に関する値）、範囲設定データとして被写界深度に関する値を採用した場合の例である。
【００５９】
図７のステップＳ３１において、奥行きパラメータ調整の判断フラグ（最近距離フラグ、最遠距離フラグ、範囲フラグ）を全てＯＦＦに初期化する。ステップＳ３２において、画像補助データ解析部２１からの“両眼視差範囲”と補正範囲設定部２３からの“被写界範囲”により、両眼視差範囲＞被写界範囲の判定を行う。
【００６０】
ステップＳ３２でＹＥＳの場合、ステップＳ３３を実行する。ステップＳ３２でＮＯの場合、ステップＳ３４を実行する。ステップＳ３３において、判断フラグのうち範囲フラグをＯＮとする。ステップＳ３４において、画像補助データ解析部２１からの“両眼視差最近距離”と補正範囲設定部２３からの“被写界最近距離”により、両眼視差最近距離＜被写界最近距離の判定（両眼視差最近距離の方が視聴者位置に近いか否かの判定）を行う。
【００６１】
ステップＳ３４でＹＥＳの場合、ステップＳ３５を実行する。ステップＳ３４でＮＯの場合、ステップＳ３６を実行する。ステップＳ３５において、判断フラグのうち最近距離フラグをＯＮとする。ステップＳ３６において、画像補助データ解析部２１からの“両眼視差最遠距離”と補正範囲設定部２３からの“被写界最遠距離”により、両眼視差最遠距離＞被写界最遠距離の判定（両眼視差最遠距離の方が視聴者位置から遠いか否かの判定）を行う。ステップＳ３６でＹＥＳの場合、ステップＳ３７を実行する。ステップＳ３６でＮＯの場合、全てのフラグを変更せずにステップＳ３９を実行する。
【００６２】
ステップＳ３７において、判断フラグのうち最近距離フラグをＯＮとする。ステップＳ３８において、補正内容判断部２４は、画像補助データ解析部２１からの解析データ、補正範囲設定部２３からの範囲設定データ、および各判断フラグの情報（フラグ情報）を調整量生成部２５に送る。ステップＳ３９において、補正内容判断部２４は、各判断フラグ（この場合には、全てＯＦＦ）のみを調整量生成部２５に送る。
【００６３】
このようにして図６のステップＳ２４を処理した後、ステップＳ２５において、補正内容判断部２４からの判断フラグのいずれかがＯＮであった場合、つまり奥行きパラメータの調整が必要であると判定した場合（ステップＳ２５でＹＥＳの場合）、ステップＳ２６を実行する。一方、各判断フラグが全てＯＦＦであった場合（ステップＳ２５でＮＯの場合）、ステップＳ２７を実行する。
【００６４】
ステップＳ２６において、調整量生成部２５は、判定フラグのうち範囲フラグがＯＮであった場合、両眼視差範囲＝被写界範囲、両眼視差最近距離＝被写界最近距離、両眼視差最遠距離＝被写界最遠距離となるように調整量を設定する。判定フラグのうち最近距離フラグがＯＮであった場合、両眼視差最近距離＝被写界最近距離となるように調整量を設定する。判定フラグのうち最遠距離フラグがＯＮであった場合、両眼視差最遠距離＝被写界最遠距離となるように調整量を設定する。すなわち、両眼視差データが被写界深度内に全て収まるように調整量を設定する。調整量の設定方法は種々考えられるが、本発明の内容には直接的に関係しないため言及しない。ステップＳ２７において、調整量生成部２５は、調整量として規定値０を出力する。
【００６５】
そして、このようにして計算された調整量のデータに基づき、奥行き感パラメータ調整部１０は、奥行き感パラメータ調整後の画像データを生成する。
【００６６】
なお、必ずしも判断フラグを利用する必要はなく、補正内容判断部２４を介することなく、調整量生成部２５に画像補助データの解析データと被写界深度データを直接送り、全てのフラグがＯＮであるとみなして図７の処理を実施することもできる。
【００６７】
以上の構成により、奥行き感パラメータを調整すべき範囲（被写界深度）を、視聴環境における光環境に応じて推定することにより、奥行き感パラメータ（この例では、両眼視差量、つまり両眼視差範囲）を調整した画像を生成することができる。なお、焦点深度は視聴環境によって異なるため、特許文献１，２に記載の技術では必ずしも快適な奥行き範囲に制御されるとは限らないが、本実施の形態では、視聴環境の光情報を検出し、それに基づき、視聴者の被写界深度を算出するため、視聴環境の光情報に応じて奥行きパラメータが制御できるようになる。
【００６８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態では、図１の奥行き感パラメータ調整量計算部２０において、奥行き感パラメータとして“ぼかし量（単眼手がかりの例）”が指定された場合の動作の例を示す。具体的には、本実施の形態では、図６のステップＳ２１〜Ｓ２５の処理が第１の実施の形態と同様の処理であり、ステップＳ２６における動作が異なる。
【００６９】
本実施の形態のステップＳ２６では、図５の調整量生成部２５は、判断フラグのうち範囲フラグがＯＮであった場合、画像補助データとして与えられるデプスマップＤ（ｘ，ｙ）と補正内容判断部２４からの被写界深度情報とに基づき、式(9)および式(10)によって調整量（ぼかし量）を算出する。
【００７０】
if ( D(x,y) ＜ DN )
ADJ(x,y) ＝ G( DN − D(x,y) )                          ・・・(9)
if ( DF ＜ D(x,y) )
ADJ(x,y) ＝ G( D(x,y) − DF )                          ・・・(10)
【００７１】
ここで、ＡＤＪ（ｘ，ｙ）は座標（ｘ，ｙ）に対する調整量（ぼかし量）、ＤＮは被写界最近距離、ＤＦは被写界最遠距離、Ｄ（ｘ，ｙ）は座標（ｘ，ｙ）におけるデプスマップ、Ｇ（）はガウシアン関数である。すなわち、被写界深度の最近距離位置もしくは最遠距離位置から離れるに従って、ぼけ量が増大するように調整される（但し、ぼかし量は一定値以上で飽和させる）。判断フラグのうち最近距離フラグがＯＮであった場合、式(9)によって調整量が算出される。判断フラグのうち最遠距離フラグがＯＮであった場合、式(10)によって調整量が算出される。
【００７２】
以上の構成により、奥行き感パラメータを調整すべき範囲（被写界深度）を、視聴環境における光環境に応じて推定することにより、奥行き感パラメータ（この例では、ぼかし量）を調整した画像を生成することができる。
【００７３】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本発明の第３の実施の形態では、図８に奥行き感パラメータ調整量計算部２０およびその周辺部の構成例に示すように、例えば、第２の実施の形態に構成に対し、ユーザ入力部５３を有する構成を採用する。ユーザ入力部５３は、奥行き感パラメータの調整量を調整するための基準位置（例えば被写界深度の基準位置）を示すユーザ操作を入力する（受け付ける）。そして、本実施の形態における奥行き感パラメータ調整量計算部２０は、視聴環境光情報取得部４０で取得した視聴環境光情報と、画像補助データと、ユーザ入力部５３で入力された情報であるユーザ入力情報（基準位置情報）とに基づき、奥行き感パラメータの調整量を計算する。
【００７４】
ユーザ入力部５３では、ユーザ入力として、例えば、画像データ（画像補助データ）の座標（ｐｘ，ｐｙ）が与えられる。そして、本実施の形態のステップＳ２６において、調整量生成部２５は、判断フラグのうち範囲フラグがＯＮであった場合、画像補助データとして与えられるデプスマップＤ（ｘ，ｙ）と補正内容判断部２４からの被写界深度情報およびユーザ入力座標（ｐｘ，ｐｙ）とに基づき、式(11)および式(12)によって調整量（ぼかし量）を算出する。
【００７５】
if ( D(x,y) ＜ DN )
ADJ(x,y) ＝ G( DN − (D(x,y) ＋ DP) )                  ・・・(11)
if ( DF ＜ D(x,y) )
ADJ(x,y) ＝ G( (D(x,y) ＋ DP) − DF )                  ・・・(12)
【００７６】
ここで、ＤＰ以外に関しては式(9)および式(10)と同様である。ＤＰは式(13)によって算出される。
DP ＝ Dview − D(px,py)                                 ・・・(13)
【００７７】
ここで、Ｄｖｉｅｗは式(6)および式(7)のＤｖｉｅｗと同値もしくは被写界深度内の任意距離の位置、Ｄ（ｐｘ，ｐｙ）はユーザ入力によって指定された座標（ｐｘ，ｐｙ）の位置に対応した画像補助データ（デプスマップ）のデプス値である。すなわち、ユーザの入力によって、画像の任意の位置を被写界深度の基準位置に設定することができる。判断フラグのうち最近距離フラグがＯＮであった場合、式(11)によって調整量が算出される。判断フラグのうち最遠距離フラグがＯＮであった場合、式(12)によって調整量が算出される。
【００７８】
第２の実施の形態と第３の実施の形態についての比較の概念図を図９に示す。図９に示すような被写界範囲６１の環境において、Ｍａｘ（Ｄ（ｘ，ｙ））からＭｉｎ（Ｄ（ｘ，ｙ））で示す画像の奥行き範囲６２の画像に対してぼかし量を調整する場合について説明する。ここで、ｓは被写界深度の基準位置（例えば、ｓ＝Ｄｖｉｅｗ＝標準視距離）とする。画像の奥行き範囲６２は、被写界範囲６１よりも大きく、被写界深度の最近距離位置よりも近い領域もしくは最遠距離位置よりも遠い領域が生じる。第２の実施の形態では、これらの領域に対して、最近距離位置もしくは最遠距離位置から離れるに従ってぼけ量が増大するようにぼかし量を調整する。
【００７９】
第３の実施の形態について、画像の奥行き範囲６２に対する処理を、画像の奥行き範囲６３を参照しながら説明する。ここで、画像の奥行き範囲６３は、画像の奥行き範囲６２においてユーザにより指定された位置Ｄ（ｐｘ，ｐｙ）を示したものである。第３の実施の形態では、ユーザにより指定された位置Ｄ（ｐｘ，ｐｙ）が基準位置ｓの奥行き位置になるように（画像の奥行き範囲６３において矢印で図示したように）、画像の奥行き範囲６２をシフトする。したがって、第３の実施の形態においては画像の奥行き範囲６３の位置が画像の奥行き範囲６４の位置に移動することとなり、ぼかし量が調整される範囲（グレーで図示）Ｒが変わることとなる。
【００８０】
また、ユーザ入力部５３からのユーザの入力による座標の指定方法に関しては、（１）マウスのような入力機器を介し、実施の立体表示を行わせる表示装置または別途入力用に用意された表示装置上に表示した画像データの座標を指定すること、もしくは、（２）実施の立体表示を行わせるタッチセンサ型の表示装置または別途入力用に用意されたタッチセンサ型の表示装置上に画像データを表示し、画像データの座標を指定すること、もしくは、（３）アイトラッキング装置などを用いてユーザが画像データのどの座標を注視しているかを判断させること、などが考えられる。このように、ユーザ入力部５３は、接触型もしくは非接触型のタッチセンサ、および／または、ユーザの視線位置をセンシングする視線検出装置であることが好ましい。
【００８１】
以上の構成により、奥行き感パラメータを調整すべき範囲（被写界深度）を、視聴環境における光環境とユーザの注目領域に関する入力に応じて推定することにより、奥行き感パラメータを調整した画像を生成することができる。本実施の形態では、奥行き感パラメータとしてぼかし量を挙げて説明したが、第１の実施の形態と同様に両眼視差量を奥行き感パラメータとすることもできる。
【００８２】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。本発明の第４の実施の形態では、視聴者位置情報を検出する構成について説明する。本実施の形態では、図１０に奥行き感パラメータ調整量計算部２０およびその周辺部の構成例に示すように、例えば、図５の構成に対してさらに視聴位置検出部５４を備える。
【００８３】
視聴位置検出部５４は、表示装置に対する視聴者の位置、つまり表示装置と視聴者との位置関係を検出する。視聴位置検出部５４は、表示装置側に設け、画像処理装置１では表示装置からその位置の情報を受信することが望ましいが、特に表示装置と近接して設置することを想定すれば、画像処理装置１側に設けても適切な調整量が得られる。
【００８４】
視聴者位置の検出方法は、例えば、（１）測距センサによって視聴者位置を検出、（２）視聴者がリモコンなどで操作した位置を検出、（３）各種トラッキング装置を利用し、視聴者位置を検出、（４）カメラセンサによって視聴者の顔位置を検出し、顔認識のパラメータに基づき位置を推定、などが考えられる。なお、以上において視聴者位置を検出することについて記載したが、実際には顔の位置（眼球の位置）が検出されるだけでよい。
【００８５】
第１〜第３の実施の形態において、画像補助データ解析部２１、被写界深度計算部２２および、調整量生成部２５では、Ｄｖｉｅｗの位置としてデフォルト情報記憶部３０からの標準視距離情報を利用していたが、本実施の形態においては、視聴位置検出部５４において検出された視聴者の位置を示す視聴者位置情報を利用することにより、視聴者位置に適応的に調整量を算出することができるようになる。つまり、本実施の形態では、奥行き感パラメータ調整量計算部２０は、視聴環境光情報取得部４０で取得した視聴環境光情報と、画像補助データと、視聴位置検出部５４で検出された視聴者の位置を示す視聴者位置情報とに基づき、奥行き感パラメータの調整量を計算する。その他の構成や応用例については、第１〜第３の実施の形態と同様である。例えば、本実施の形態においても、図８に示したユーザ入力部５３で入力された情報であるユーザ入力情報も併せて用いて、奥行き感パラメータの調整量を計算するようにしてもよい。
【００８６】
複数人が検出された場合の視聴距離の設定としては、（１）最も画面方向を向いている視聴者一人の視聴距離を利用、（２）全ての視聴者の距離の平均（重心位置）の視聴距離を利用、（３）全ての視聴者の画面方向への向きに応じて加重平均化した視聴距離を利用、などが考えられる。
【００８７】
前述の通り、図３における明るさ検出センサ部５１、画面輝度情報生成部５２、および本実施の形態における視聴位置検出部５４は、種々の情報を取得する手段としてカメラセンサを用いることができることを示した。そこで、図１１に視聴環境光情報取得部４０およびその周辺部の構成例を示すように、同一のカメラセンサ部５５による撮影データ（カメラ画像データ）を取得させることもできる。
【００８８】
このカメラセンサ部５５は、カメラセンサアレイ等の撮像装置でなり、画像処理装置１に具備しておけばよい。そして、図１１の構成例のように、カメラセンサ部５５からの出力は、明るさ情報取得部４１、画面輝度情報取得部４２、顔検出部５６、および視聴位置検出部５４に入力するようにしておく。このように、画像処理装置１では、視聴環境光情報として照明情報および／または輝度情報を採用し、且つ視聴者の位置を検出する場合、この撮影装置で撮影した撮像データに基づき、照明情報および／または輝度情報と、視聴者位置情報とのいずれか一方もしくは複数を同時に検出する。無論、上述したように、照明情報と輝度情報との双方を視聴環境光情報として採用した場合にも、照明情報と輝度情報のいずれか一方のみを撮像装置で検出してもよく、検出しなかった方の情報は他の機器で検出すればよい。
【００８９】
この処理例を図１２に示す。ステップＳ４１において、カメラセンサ部５５からのカメラ画像をキャプチャする。ステップＳ４２において、顔検出部５６は、カメラ画像およびデフォルト情報記憶部３０に記録された顔認識のためのデータベース（ＤＢ）を参照し、顔の認識を行う。ステップＳ４３において、視聴位置検出部５４は、顔検出部５６からの顔認識結果およびカメラ画像に基づき、視聴者の位置を検出し、視聴者位置情報を奥行き感パラメータ調整量計算部２０に送る。
【００９０】
ステップＳ４４において、画面輝度情報取得部４２は、カメラ画像および画像データおよび顔検出部５６からの顔認識結果に基づき、画面輝度情報を生成し、明るさパラメータ推定部４３に送る。ステップＳ４５において、明るさ情報取得部４１は、カメラ画像に基づき照度情報を取得し、明るさパラメータ推定部４３に送る。このような方法によって、同一のカメラセンサ部５５から種々のデータを取り出すことができる。
【００９１】
また、図１３に本発明に係る画像処理装置を含む表示システムの一構成例を示すように、画像処理装置１を視聴者の手元の小型端末１００に対して実装し、空間的に離れた位置に設置した表示装置１０１に対して奥行き感パラメータ調整後画像データを送るようにしてもよい。端末１００は、画像処理装置１、ユーザ入力部５３、カメラセンサ部５５、および接続距離検出部５７から構成される。端末１００は、画像データおよび画像補助データが保持された記憶領域（例えばインターネット上のサーバなど）に接続され、そこから画像データおよび画像補助データを読み込み、奥行き感パラメータ調整後画像データを生成し、表示装置１０１に奥行き感パラメータ調整後画像データを送る。
【００９２】
このような表示システムにおける画像の立体表示処理の一例を図１４に示す。この表示システムでは、画像処理装置１を含む端末１００は、立体画像の表示部となる表示装置（つまり画像処理後の画像を表示するための表示装置）１０１と空間的に離れた位置で使用されている。そのため、ステップＳ５１において、端末１００は、まず表示装置１０１との通信を確立し（接続し）、表示装置１０１からディスプレイサイズ等の種々の情報を受け取り、デフォルト情報記憶部３０にデフォルト情報として書き込む。ステップＳ５２において、チューナやインターネット上のサーバ等から画像データおよび画像補助データを取得する。ステップＳ５３において、ユーザ入力部５３として、例えばタッチセンサ型のディスプレイを用いてその画像データを表示し、視聴者に座標を指定させ、指定された座標（ｘ，ｙ）を画像処理装置１に送る。
【００９３】
ステップＳ５４において、カメラセンサ部５５は図１２におけるステップＳ４１〜ステップＳ４５を実行する。ステップＳ５５において、接続距離検出部５７は、端末１００と表示装置１０１との間の距離を検出する。ここで、端末１００と表示装置１０１との距離の検出方法は、例えば、接続距離検出部５７が表示装置１０１を撮影できるカメラセンサ等の撮像装置であって、カメラ画像に投影された表示装置１０１の画像上のサイズとデフォルト情報記憶部３０に記録されているディスプレイサイズ情報との比較を行うことによって距離を推定できる。
【００９４】
ステップＳ５６において、画像処理装置１は、視聴者の顔の位置と表示装置１０１との距離を、接続距離検出部５７から得た端末−表示装置間距離とカメラセンサ部５５から得た端末−顔間距離とから、相対的に算出する。このように、表示装置１０１と離間した位置にある端末１００（画像処理装置１を含む）では、視聴位置検出部５４が、接続距離検出部５７で検出した距離を用いて表示装置１０１に対する視聴者の位置を検出することが好ましい。
【００９５】
無論、このように表示装置１０１と端末１００とを離間した位置に配置する場合には、表示装置１０１側にカメラセンサ部５５をもたせておき、そこで取得した表示装置１０１に対する視聴者の位置を示す情報を端末１００側（つまり画像処理装置１側）に送信するようにしてもよい。
【００９６】
ステップＳ５７において、画像処理装置１は、画像データ、画像補助データ、ユーザ入力部５３からのユーザ入力情報、カメラセンサ部５５からの視聴環境光情報、および、ステップＳ５６によって算出された視聴者の顔の位置と表示装置１０１との距離情報、に基づいて、奥行き感パラメータ調整後画像データを生成し、表示装置１０１に送る。
【００９７】
以上の構成によって、画像処理装置１と表示装置１０１が離れていた場合にも、被写界深度に基づき奥行き感パラメータを調整すべき範囲を、視聴環境における光環境および視聴者の位置・向き等の状態に応じて推定することにより、奥行き感パラメータを調整した画像を生成し、表示することができる。本実施の形態では、奥行き感パラメータとして、ぼかし量を挙げて説明したが、第１の実施の形態と同様に両眼視差量を奥行き感パラメータとすることもできる。
【００９８】
＜第１〜第４の実施の形態について＞
上述した各実施の形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００９９】
上述した各実施の形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施の形態の機能を実現する画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していればよい。
【０１００】
例えば、本発明に係る画像処理装置の各構成要素は、例えばＣＰＵ（Central Processing Unit）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。ＣＰＵの代わりに、、マイクロプロセッサ、またはＤＳＰ（Digital Signal Processor）を採用することもできる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【０１０１】
また、上述した各実施の形態で説明した機能を実現するためのソフトウェア（プログラム）をコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをパーソナルコンピュータ等のコンピュータシステムに読み込ませ、コンピュータシステム内のＣＰＵ等がそのプログラムを実行することにより、各部の処理を行ってもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１０２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１０３】
以上、本発明に係る画像処理装置について説明したが、処理の流れをフロー図で例示したように、本発明は、次の取得ステップおよび計算ステップを有する画像処理方法としての形態も採り得る。上記の取得ステップは、視聴環境光情報取得部が、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得するステップである。上記の計算ステップは、奥行き感パラメータ調整量計算部が、上記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、上記表示装置において上記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算するステップである。その他の応用例については、画像処理装置について説明した通りであり、その説明を省略する。
【０１０４】
なお、上記プログラム自体は、換言すると、この画像処理方法をコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、表示装置での視聴環境のうち環境光に関する情報である視聴環境光情報を取得するステップと、上記視聴環境光情報と、画像データにおける画像の奥行き感を出すための補助データとに基づき、上記表示装置において上記画像データが示す画像を表示させる際に用いる単眼手掛かりおよび／または両眼手掛かりについての奥行き感パラメータの調整量を計算するステップと、を実行させるためのプログラムである。その他の応用例については、画像処理装置について説明した通りであり、その説明を省略する。
【符号の説明】
【０１０５】
１…画像処理装置、１０…奥行き感パラメータ調整部、２０…奥行き感パラメータ調整量計算部、２１…画像補助データ解析部、２２…被写界深度計算部、２３…補正範囲設定部、２４…補正内容判断部、２５…調整量生成部、３０…デフォルト情報記憶部、４０…視聴環境光情報取得部、４１…明るさ情報取得部、４２…画面輝度情報取得部、４３…明るさパラメータ推定部、４３…明るさパラメータ推定部、５１…明るさ検出センサ部、５２…画面輝度情報生成部、５３…ユーザ入力部、５４…視聴位置検出部、５５…カメラセンサ部、５６…顔検出部、５７…接続距離検出部、１００…端末、１０１…表示装置。
【図１】
2015164235.tif 000003
【図２】
2015164235.tif 000004
【図３】
2015164235.tif 000005
【図４】
2015164235.tif 000006
【図５】
2015164235.tif 000007
【図６】
2015164235.tif 000008
【図７】
2015164235.tif 000009
【図８】
2015164235.tif 000010
【図９】
2015164235.tif 000011
【図１０】
2015164235.tif 000012
【図１１】
2015164235.tif 000013
【図１２】
2015164235.tif 000014
【図１３】
2015164235.tif 000015
【図１４】
2015164235.tif 000016