【手続補正書】
【提出日】平成25年7月3日(2013.7.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
光源装置１１０は、キセノンランプや、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等の光源を備えている。また、光源装置１１０は、光源が発した光をライトバルブ１３０に導くリフレクター及び補助リフレクターを備えていてもよく、光の光学特性を高めるためのレンズ群（図示略）や偏光板等を備えたものであってもよい。
光源装置１１０は、光源が発した光がライトバルブ１３０に至る経路上で、光量を減光させる調光素子１２０（調光部）を備えている。調光素子１２０は、例えば、光源装置１１０が発した光を遮る減光板と、この減光板の位置または角度を所定の減光率に合わせて調整する駆動回路とを備えて構成され、光を遮る位置に減光板を進出させることによって減光する。調光素子１２０は、減光板に代えて液晶シャッターで構成することも可能であり、この場合、液晶シャッターの全体または一部の透過率を調整することで減光する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
制御部１０は、画像入力部２０から入力されるＲＬ識別信号及び垂直同期信号ＶＳｙｎｃに基づいて画像表示装置１の各部を制御する。
特徴量算出部３０には、画像入力部２０が出力する右目用画像データ及び左目用画像データと、ＲＬ識別信号と、垂直同期信号ＶＳｙｎｃとが入力される。特徴量算出部３０は、ＲＬ識別信号及び垂直同期信号ＶＳｙｎｃに基づいて、画像入力部２０から入力中の画像データが右目用画像データか左目用画像データかを識別し、右目用画像データと左目用画像データとをそれぞれ取得する。
そして、特徴量算出部３０は、取得した画像データの各々に基づいて、画像特徴量を算出する（ステップＳ１３）。特徴量算出部３０が算出する画像特徴量は、画像データ全体の最大輝度値（白ピーク値）、輝度値の平均値であるＡＰＬ（Average Picture Level）、最小輝度値（黒ピーク値）、及び、輝度ヒストグラムである。特徴量算出部３０による画像特徴量の算出方法については、後に詳述する。
次いで、特徴量算出部３０は、算出した画像特徴量を輝度伸張率算出部４０及び減光率算出部６０に出力する（ステップＳ１４）。
輝度伸張率算出部４０は、特徴量算出部３０から入力される画像特徴量に基づいて、輝度伸張率を算出する（ステップＳ１５）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
図３は、輝度伸張率を求めるためのＬＵＴ２１０を模式的に示す図である。この図３に例示するＬＵＴ２１０では、白ピーク値ＷＰとＡＰＬに対応して輝度伸張率が定義されている。
輝度伸張率算出部４０は、ＬＵＴ２１０を参照し、特徴量算出部３０から入力された白ピーク値ＷＰとＡＰＬの値に対応してＬＵＴ２１０に定義されている輝度伸張率を取得することで、輝度伸張率を求める。白ピーク値ＷＰとＡＰＬの値が、輝度伸張率が定義された格子点から外れている場合、輝度伸張率算出部４０は、白ピーク値ＷＰとＡＰＬの値の周囲の３点または４点の格子点に定義された輝度伸張率をもとに、補間演算を行って、輝度伸張率を算出する。このようにして輝度伸張率算出部４０は輝度伸張率を求め、求めた輝度伸張率を、輝度伸張処理部５０に出力する。
なお、輝度伸張率算出部４０は、図３に示すＬＵＴ２１０に限らず、白ピーク値、黒ピーク値、及びＡＰＬに対応して輝度伸張率を定義した３次元のＬＵＴを用いてもよいし、黒ピーク値と白ピーク値または黒ピーク値とＡＰＬを用いた２次元ＬＵＴを用いてもよく、白ピーク値、黒ピーク値、ＡＰＬ、及び輝度ヒストグラムのうち１つ以上に基づく演算処理により、輝度伸張率を求めてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
輝度伸張処理部５０は、画像入力部２０から入力される右目用画像データ及び左目用画像データの階調を、輝度伸張率算出部４０によって求められた輝度伸張率で伸張する（ステップＳ１６）。例えば、画像入力部２０から輝度伸張処理部５０に入力される画像データの色情報をＲ、Ｇ、Ｂ、輝度伸張後の色情報をＲ’、Ｂ’、Ｇ’、輝度伸張率をｋｇとすると、Ｒ’＝ｋｇ×Ｒ、Ｇ’＝ｋｇ×Ｇ、Ｂ’＝ｋｇ×Ｂである。
輝度伸張処理部５０は、１の立体画像データを構成する一組の右目用画像データと左目用画像データとの両方を、輝度伸張率算出部４０が算出した共通の輝度伸張率に従って輝度伸張する。このため、一組の右目用画像データと左目用画像データの輝度やコントラスト感が揃って、ばらつきが無く、違和感ない立体画像データの適応調光を行うことができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
一方、減光率算出部６０は、特徴量算出部３０から入力される画像特徴量に基づいて、減光率を算出する（ステップＳ１７）。減光率の算出は、例えば、図３を参照して説明した輝度伸張率と同様に、白ピーク値、ＡＰＬ、黒ピーク値のうちの２以上に対応して減光率が定義されたＬＵＴ（図示略）を用い、このＬＵＴを参照することで減光率を算出できる。すなわち、減光率算出部６０は、特徴量算出部３０から入力された白ピーク値、ＡＰＬ、或いは黒ピーク値に対応してＬＵＴに定義されている減光率を取得する。また、減光率算出部６０は、特徴量算出部３０から入力された白ピーク値、ＡＰＬ、或いは黒ピーク値が、減光率が定義された格子点から外れている場合、周囲の３点または４点の格子点に定義された減光率をもとに補間演算を行って、減光率を算出する。このようにして減光率算出部６０は減光率を求め、求めた減光率を、減光処理部７０に出力する。なお、減光率算出部６０は、２次元ＬＵＴに限らず、３次元のＬＵＴを用いてもよいし、白ピーク値、黒ピーク値、ＡＰＬ、及び輝度ヒストグラムのうち１つ以上に基づく演算処理により、減光率を求めてもよい。
そして、減光率算出部６０は、算出した減光率ｋａとなるように調光素子１２０を駆動するための駆動信号を生成し、減光処理部７０に出力する（ステップＳ１８）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
ここで、制御部１０の制御により、輝度伸張処理部５０によって輝度伸張の処理が施された画像データがライトバルブ１３０に入力され、垂直同期信号ＶＳｙｎｃに同期して描画されるとともに、このタイミングに同期して、減光処理部７０により、減光率算出部６０から入力された駆動信号に従って調光素子１２０が制御され、調光が行われる（ステップＳ１９）。
画像入力部２０に入力される立体映像信号が６０フレーム／秒である場合、画像入力部２０は、１２０フレーム／秒で右目用画像データと左目用画像データとを交互に出力する。これら右目用画像データと左目用画像データとは対になって一フレームの立体画像データを構成する。このような高速で画像を投射する場合、調光処理に伴う演算によってライトバルブ１３０の描画を遅延させないため、輝度伸張率と減光率の算出と調光処理とがシフトすることがある。すなわち、第ｎフレームの立体画像データを構成する右目用画像データと左目用画像データについて、輝度伸張率算出部４０により輝度伸張率が算出され、減光率算出部６０により減光率が算出された場合、この輝度伸張率と減光率に基づく調光処理は、第ｎ＋１フレームから適用される。この場合には、輝度伸張率と減光率とを算出した対象の画像データと、この輝度伸張率と減光率に基づく調光処理が施される画像データとが異なるが、この画像データのずれは１フレームに留まっているため、このシフトに起因して違和感が生じる可能性は極めて低く、調光処理によるコントラスト感の向上、ダイナミックレンジの拡大による品位向上の効果が期待できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
図４に示すように、左目ポイントＰ１とオブジェクトＭ１とを結ぶ仮想直線ＳＬ１、及び、右目ポイントＰ２とオブジェクトＭ１とを結ぶ仮想直線ＳＲ１は、オブジェクトＭ１において角度αの視差対応角θ１をもって交わり、また、仮想直線ＳＬ１と基準面との交点ＫＬ１、及び、仮想直線ＳＲ１と基準面との交点ＫＲ１の間には、ギャップＴ１が形成される。
同様に、左目ポイントＰ１とオブジェクトＭ２とを結ぶ仮想直線ＳＬ２、及び、右目ポイントＰ２とオブジェクトＭ２とを結ぶ仮想直線ＳＲ２は、オブジェクトＭ２において角度βの視差対応角θ２をもって交わり、また、仮想直線ＳＬ２と基準面との交点ＫＬ２、及び、仮想直線ＳＲ２と基準面との交点ＫＲ２の間には、ギャップＴ２が形成される。
視差対応角θ１、θ２、及び、ギャップＴ１、Ｔ２は、左目ポイントＰ１と、右目ポイントＰ２との位置的な相違に起因して現出する値であり、仮想空間内におけるオブジェクトの位置がより手前側であればあるほど、当該オブジェクトに係る視差対応角θ、及び、ギャップＴが大きな値となり、逆に、仮想空間内におけるオブジェクトの位置がより奥側であればあるほど、当該オブジェクトに係る視差対応角θ、及び、ギャップＴがより小さな値となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
そして、本実施形態では、これら視差対応角θや、ギャップＴを概念的に表したものが「視差」に相当する。すなわち、本実施形態における視差とは、左目ポイントＰ１と右目ポイントＰ２との位置的な相違に起因して、仮想空間内において手前にあるオブジェクトほど相対的に大きく、一方、奥にあるオブジェクトほど相対的に小さくなる値を概念的に示す値である。
従って、以下の説明において、例えば、右目画像データに含まれる１のオブジェクトに係る画像と、他のオブジェクトに係る画像について、「１のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも視差が大きい」と表現する場合、合成立体画像における仮想空間内で、１のオブジェクトの方が、他のオブジェクトよりも手前側に配置されていることを意味し、かつ、合成立体画像において、１のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも手前に存在するように表現されることを意味する。
視差の大きさは、右目用画像データ、及び、左目用画像データに、以下のように反映される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
図８は、座標系に展開された右目用画像データの構成を模式的に示す図である。
ステップＳ２２において、基準領域輝度情報算出部３１は、処理対象の右目用画像データを、複数の基準領域（画素ブロック）２００に区分する。基準領域輝度情報算出部３１は、例えば１９２０画素×１０８０画素の処理対象の右目用画像データを、図８に示すように、横１６個×縦９個の１４４個の基準領域２００−１〜２００−１４４に区分する。この場合、基準領域２００−１〜２００−１４４のそれぞれのサイズは縦１２０画素、横１２０画素である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図１１は、出力特徴量算出部３３の動作を示すフローチャートである。
出力特徴量算出部３３は、視差値算出部３２から入力された情報に基づいて、基準領域２００のうち、視差値が所定の閾値を上回っている基準領域２００を特定する（ステップＳ４１）。以下、ステップＳ４１で特定された基準領域２００を「特定した基準領域２００」という。
次いで、出力特徴量算出部３３は、右目用画像データにおいて、特定した基準領域２００に含まれる画像データに基づいて、画像特徴量として、出力白ピーク値、出力ＡＰＬ、出力黒ピーク値、及び、出力輝度ヒストグラムを算出する（ステップＳ４２）。
具体的には、出力特徴量算出部３３は、右目用画像データにおいて、特定した基準領域２００のそれぞれの代表輝度値のうちの最大値を出力白ピーク値とし、特定した基準領域２００のそれぞれの代表輝度値のうちの最小値を出力黒ピーク値とし、特定した基準領域２００の代表輝度値のそれぞれの平均値を出力ＡＰＬとする。また、出力特徴量算出部３３は、特定した基準領域２００の代表輝度値の分布から輝度ヒストグラムを生成する。
次いで、出力特徴量算出部３３は、算出した各種の画像特徴量を輝度伸張率算出部４０、及び、減光率算出部６０に出力する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
（Ａ）出力白ピーク値
出力白ピーク値の代表値は、右白ピーク値と左白ピーク値のうち大きい方、すなわち明るい方の値とする。これを数式で表すと、下記式（１）のようになる。
ＷＰ0＝Ｍａｘ（ＷＰR、ＷＰL）…（１）
ここで、ＷＰ0は出力白ピーク値、ＷＰRは右白ピーク値、ＷＰLは左白ピーク値である。
これは、調光処理においては、画像データ中で最も輝度の高い部分の輝度を基準とすることが適しているからである。例えば、出力白ピーク値を右白ピーク値と左白ピーク値のうち小さい方にした場合、右目用画像データ又は左目用画像データにおいて、最も高輝度の部分が輝度伸張により白飛びする可能性がある。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
（Ｃ）出力黒ピーク値
出力黒ピーク値の代表値は、右黒ピーク値と左黒ピーク値のうち小さい方、すなわち暗い方の値とする。これを数式で表すと、下記式（３）のようになる。
ＢＰ0＝Ｍｉｎ（ＢＰR、ＢＰL）…（３）
ここで、ＢＰ0は出力黒ピーク値、ＢＰRは右黒ピーク値であり、ＢＰLは左黒ピーク値である。
出力黒ピーク値は画像データにおいて最も輝度が小さい部分の輝度であるから、対象となる画像データが２つであれば、これら２つの画像で最も暗い部分の輝度を代表値として採用することが、画像データのコントラストに適した輝度伸張処理を行うことができるため、好適である。
（Ｄ）輝度ヒストグラム
出力輝度ヒストグラムは、右輝度ヒストグラムと左輝度ヒストグラムの平均とする。これを数式で表すと、下記式（４）のようになる。
Ｈｉｓｔ0（Ｘ）＝｛ＨｉｓｔR（Ｘ）＋ＨｉｓｔL（Ｘ）｝／２…（４）
ここで、Ｈｉｓｔ0（Ｘ）は出力輝度ヒストグラム、ＨｉｓｔR（Ｘ）は右輝度ヒストグラムを表し、ＨｉｓｔL（Ｘ）は左輝度ヒストグラムを表す。階調値１０ｂｉｔの画像データの場合、Ｘ＝０〜１０２３である。
この式（４）によれば、輝度の各階級の平均値が代表値となる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
（Ｂ）出力ＡＰＬ
出力特徴量算出部３３は、基準領域２００のそれぞれの代表輝度値の相加平均を求めるのではなく、基準領域輝度情報算出部３１から入力された基準領域２００の代表輝度値、及び、視差値算出部３２から入力された基準領域２００の視差値に基づいて、右目用画像データを区分して形成された基準領域２００のそれぞれにおける視差値の頻度に対応する値を「重み」とした代表輝度値の加重平均を算出し、算出した値を出力ＡＰＬとする。より具体的には、基準領域２００のそれぞれについて、代表輝度値と「視差値の頻度／基準領域２００の総数」（＝重み）とを乗算した上でこれらの総和を算出し、算出した総和を、「視差値の頻度／基準領域２００の総数」の総和（＝重みの総和）で割り、これにより出力ＡＰＬを算出する。
このようにして、出力ＡＰＬを算出することにより、以下の効果を奏する。
すなわち、「視差値の頻度／基準領域２００の総数」を重みとした加重平均により出力ＡＰＬを求めることにより、視差の頻度を適切に反映した上で、出力ＡＰＬを算出できる。
ここで、右目用画像データ、及び、左目用画像データにより表現される合成立体画像では、奥行き方向における位置が同程度となるように表現されるオブジェクトが他により多く存在するオブジェクトに係る画像ほど、当該立体画像において重要な画像である傾向があり、出力ＡＰＬの算出に際し、このようなオブジェクトに係る画像を示す基準領域２００に係る情報ほど、算出される出力ＡＰＬの値に反映するようにしたいとするニーズがある。ここで、上述したように、視差値は視差の大きさに対応した値であるため、奥行き方向における位置が同程度のオブジェクトに係る画像を示す基準領域２００のそれぞれは、同程度の視差値を有することとなるため、上述した式によって求めた判断値を利用して、出力ＡＰＬを算出することにより、当該ニーズに適切に応えることができる。