(57)【要約】  本発明は、ディスプレイ面への外光の映り込みによる反射輝度のムラを抑制し、表示画像の視認性の向上を図ることができる表示装置を提供する。本発明一の態様に係る表示装置では、表示装置のディスプレイにおける表面での外光の映り込みによる反射輝度のムラを防止するため、ディスプレイの表示画像の表示輝度を補正して、ムラを抑制する。即ち、ディスプレイ表面での反射輝度と、表示画像の表示輝度とを足し合せた合成表示輝度ＭＤＢが、反射輝度Ｒに関わらず一定の特性曲線ＯＭＤＢＣにしたがった輝度となるように表示画像の表示輝度を画素ごとに補正する。
2014027569.tif 000002
【特許請求の範囲】
【請求項１】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置と、前記撮影画像の輝度情報とに基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備えた表示装置。
【請求項２】
前記表示素子は、透過型の液晶パネルと、該液晶パネルの背面側に配置されたバックライトユニットとを備え、
前記バックライトユニットは、２次元的に配列され、個別に輝度の制御が可能な複数の発光素子を備え、
前記表示輝度補正手段は、前記反射輝度推定手段により推定された反射輝度分布に基づいて前記複数の発光素子の各々の発光輝度を変更することにより、前記液晶パネルに表示する表示画像の表示輝度を補正する請求項１に記載の表示装置。
【請求項３】
前記表示素子は、透過型の液晶パネルと、該液晶パネルの背面側に配置されたバックライトユニットとを備え、
前記表示輝度補正手段は、前記反射輝度推定手段により推定された反射輝度分布に基づいて前記液晶パネルの各点における光透過率を補正することにより、前記表示画像の表示輝度を補正する請求項１に記載の表示装置。
【請求項４】
前記表示素子は、透過型の液晶パネルと、該液晶パネルの背面側に配置されたバックライトユニットとを備え、
前記バックライトユニットは、２次元的に配列され、個別に輝度の制御が可能な複数の発光素子を備え、
前記表示輝度補正手段は、前記反射輝度推定手段により推定された反射輝度分布に基づいて、前記複数の発光素子の各々の発光輝度を変更するとともに、前記反射輝度推定手段により推定された反射輝度分布に基づいて前記液晶パネルの各点における光透過率を補正することにより、前記表示画像の表示輝度を補正する請求項１に記載の表示装置。
【請求項５】
前記表示輝度補正手段は、前記顔画像検出手段により前記観察者の顔画像が検出されなかった場合には、前記補正を実施しない請求項１〜４のうちのいずれか１項に記載の表示装置。
【請求項６】
前記撮影手段は、少なくとも適正露出と該適正露出よりも低い露出で撮影を行い、
前記顔画像検出手段は、前記撮影手段により前記適正露出で撮影された撮影画像を用いて前記観察者の顔画像を検出し、
前記反射輝度推定手段は、前記撮影手段により前記適正露出よりも低い露出で撮影された撮影画像を用いて前記反射輝度分布を推定する請求項１〜５のうちのいずれか１項に記載の表示装置。
【請求項７】
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示する表示画像の表示輝度を補正し、前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項１に記載の表示装置。
【請求項８】
前記表示輝度補正手段は、前記バックライトユニットの前記複数の発光素子の各々の発光輝度を変更し、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項２に記載の表示装置。
【請求項９】
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像の輝度に対する前記液晶パネルの各点の光透過率を補正し、前記入力画像に対して前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項３に記載の表示装置。
【請求項１０】
前記表示輝度補正手段は、前記バックライトユニットの前記複数の発光素子の各々の発光輝度を変更するとともに、前記表示素子に表示する表示画像として映像信号により与えられた入力画像の輝度に対する前記液晶パネルの各点の光透過率を補正し、前記入力画像に対して前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項４に記載の表示装置。
【請求項１１】
前記表示輝度補正手段は、前記目標の合成表示輝度の可変範囲の下限値を、前記反射輝度分布における最大輝度以上の値とする請求項７〜１０のうちのいずれか１項に記載の表示装置。
【請求項１２】
前記表示輝度補正手段は、省電力モードの場合は、前記目標の合成表示輝度の可変範囲の上限値を、前記補正を行わない場合における前記表示画像の表示輝度の可変範囲の上限値以下の値とする請求項７〜１１のうちのいずれか１項に記載の表示装置。
【請求項１３】
前記表示輝度補正手段は、視認性向上モードの場合は、前記目標の合成表示輝度の可変範囲の上限値を、前記反射輝度分布における最大輝度と、前記補正を行わない場合における前記表示画像の表示輝度の可変範囲の上限値とを加算した合成表示輝度以上の値とする請求項７〜１２のうちのいずれか１項に記載の表示装置。
【請求項１４】
前記表示輝度補正手段は、前記反射輝度分布の状態に応じて前記目標の合成表示輝度の可変範囲の下限値を変更する請求項１１に記載の表示装置。
【請求項１５】
前記表示輝度補正手段は、前記反射輝度分布の状態に応じて前記目標の合成表示輝度の可変範囲の上限値を変更する請求項１２又は１３に記載の表示装置。
【請求項１６】
前記反射輝度推定手段は、前記撮影手段により撮影された撮影画像において、予め指定された対称点を用いて、前記顔画像検出手段により検出された前記観察者の顔画像の位置に対して点対称となる位置を基準にして前記表示素子の表面の大きさ及び形状に対応した範囲の画像を抽出し、該抽出した範囲内の画像の輝度情報に基づいて前記反射輝度分布を推定する請求項１〜１５のうちのいずれか１項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示装置に係り、特に画像を表示するディスプレイ（表示素子）を備え、反射ムラを抑制（低減）することができる表示装置に関する。
【背景技術】
【０００２】
文字、図形、写真等の画像を表示するディスプレイ（モニタ）を備えた表示装置は、各種演算処理を行う演算処理システム（パソコン（パーソナルコンピュータ））や、各種情報を表示する携帯可能な情報表示端末（携帯電話等のモバイル端末）等に組み込まれている。【０００３】
このような表示装置において、ディスプレイの画面（表示画像）の明るさ（表示輝度）を、周囲の明るさ（ディスプレイへの外光の照度）に応じて自動で調整し、視認性の向上を図る技術が知られている。例えば、ディスプレイの周囲の明るさ（環境輝度）を検出し、周囲が明るいほど表示画像を明るくして表示画像を見やすくする技術は広く採用されている。【０００４】
また、特許文献１には、ディスプレイの表面（ディスプレイ面）上の位置によって外光の照度が異なる場合を考慮して、表示画像全体の表示輝度を画一的に調整するのではなく、ディスプレイ面の部分ごとに外光の照度を検出し、検出した照度に応じて輝度や色調を調整することが開示されている。【０００５】
特許文献２には、ディスプレイ面から観察者の方向に反射する太陽光の強度を検出し、その検出結果に基づいてディスプレイに表示する表示画像の画質調整を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−４８１９８号公報
【特許文献２】特開２００７−２９２８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ディスプレイの表面（ディスプレイ面）に、観察者の背景、特に、太陽、照明器具（蛍光灯）、窓等の高輝度体が映り込み、ディスプレイ面に反射ムラ（反射輝度のムラ）を引き起こす外光の映り込みという現象が知られている。この外光の映り込み、即ち、反射ムラは、表示画像と重なって表示画像の視認性の低下を招く。また、ディスプレイに対する観察者の観察位置（観察方向）によっても外光の映り込みの様子が異なり、表示画像の見やすさも異なる。【０００８】
特許文献１では、ディスプレイ面の部分ごとに外光の照度に応じた輝度調整等を行うようにしているが、ディスプレイ面への外光の映り込みに関しては考慮されていない。【０００９】
特許文献２では、ディスプレイ面から観察者の方向に太陽光が反射する場合には、画質調整によって表示画像の視認性を向上させることが提案されている。これによれば、ディスプレイ面に対する観察者の観察位置と太陽の位置との関係が考慮されており、外光の照度だけでなく、それらの位置関係に応じた画質調整を施すことが提案されている。【００１０】
しかしながら、特許文献２では、観察者と太陽との位置関係に関する正確な検出は行っておらず、太陽の映り込みが生じる領域と生じない領域を区別することなく、事前に区画された画面領域（複数画面のうちの各画面）ごとに画一的な画質調整を施すようにしている。【００１１】
一方、外光の映り込みによる視認性の低下は、ディスプレイ面の一部に太陽や蛍光灯等の高輝度体が映り込み、その部分の表示画像が見にくくなることが主たる原因であり、その周辺部の表示画像にも画一的な画質調整を施すと、かえって見づらい画像になってしまうという問題がある。【００１２】
本発明はこのような事情に鑑みてなされたもので、ディスプレイ面への外光の映り込みによる反射輝度のムラを抑制し、表示画像の視認性の向上を図ることができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明に係る表示装置によれば、観察者により観察される表示画像を表示する２次元の表示素子と、表示素子の表示画像を表示する側を撮影する撮影手段と、撮影手段により撮影された撮影画像の中から観察者の顔画像を検出する顔画像検出手段と、顔画像検出手段により検出された観察者の顔画像の撮影画像内における位置と、撮影画像の輝度情報とに基づいて、観察者により視認される表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、反射輝度推定手段により推定された反射輝度分布に基づいて、反射輝度のムラが低減されるように表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、を備えている。【００１４】
本発明によれば、カメラによって表示素子の表面側を撮影した撮影画像に基づいて、観察者の顔画像を検出し、その位置から観察者が表示素子の表面に視認する外光の反射輝度分布を推定することができる。そして、その反射輝度分布に基づいて表示素子に表示する表示画像の表輝度を補正することによって、反射輝度のムラを低減することができる。これによって、表示画像の視認性の向上が図られる。【００１５】
本発明は、表示素子は、透過型の液晶パネルと、液晶パネルの背面側に配置されたバックライトユニットとを備え、バックライトユニットは、２次元的に配列され、個別に輝度の制御が可能な複数の発光素子を備え、表示輝度補正手段は、反射輝度推定手段により推定された反射輝度分布に基づいて複数の発光素子の各々の発光輝度を変更することにより、液晶パネルに表示する表示画像の表示輝度を補正する形態とすることができる。【００１６】
本形態は、液晶パネルに表示する表示画像の表示輝度を補正するための一形態であり、バックライトユニットの発光素子の発光輝度、即ち、表示パネルに照射するバックライトの明るさ（バックライト輝度）を補正する形態である。これによれば、発光素子の発光輝度を下げて補正することが可能であり、省電力化も可能となる。【００１７】
本発明は、表示素子は、透過型の液晶パネルと、液晶パネルの背面側に配置されたバックライトユニットとを備え、表示輝度補正手段は、反射輝度推定手段により推定された反射輝度分布に基づいて液晶パネルの各点における光透過率を補正することにより、表示画像の表示輝度を補正する形態とすることができる。【００１８】
本形態は、液晶パネルに表示する表示画像の表示輝度を補正するための一形態であり、液晶パネルの光透過率を補正して表示画像の表示輝度を補正する形態である。この形態では、バックライト輝度を制御することが不要であり、制御として簡易という利点がある。また、バックライトユニットとして発光素子の発光輝度を個別に制御する手段は不要である。【００１９】
本発明は、表示素子は、透過型の液晶パネルと、液晶パネルの背面側に配置されたバックライトユニットとを備え、バックライトユニットは、２次元的に配列され、個別に輝度の制御が可能な複数の発光素子を備え、表示輝度補正手段は、反射輝度推定手段により推定された反射輝度分布に基づいて、複数の発光素子の各々の発光輝度を変更するとともに、反射輝度推定手段により推定された反射輝度分布に基づいて液晶パネルの各点における光透過率を補正することにより、表示画像の表示輝度を補正する形態とすることができる。【００２０】
本形態は、液晶パネルに表示する表示画像の表示輝度を補正するための一形態であり、バックライトユニットの発光素子の発光輝度（バックライト輝度）と液晶パネルの光透過率の両方を補正する形態である。２つの要素で補正することができるため、制御の自由度が高く、例えば、省電力化を優先した制御を好適に行うことができる。【００２１】
本発明は、表示輝度補正手段は、顔画像検出手段により観察者の顔画像が検出されなかった場合には、補正を実施しない形態とすることができる。【００２２】
本形態によれば、観察者の顔画像が検出されない場合の誤動作を防止することができる。【００２３】
本発明は、撮影手段は、少なくとも適正露出と適正露出よりも低い露出で撮影を行い、顔画像検出手段は、撮影手段により適正露出で撮影された撮影画像を用いて観察者の顔画像を検出し、反射輝度推定手段は、撮影手段により適正露出よりも低い露出で撮影された撮影画像を用いて反射輝度分布を推定する形態とすることができる。【００２４】
本形態によれば、一定以上の輝度の被写体が白飛びしてしまい、反射輝度分布を正確に推定できないという事態を防止することができる。【００２５】
本発明は、表示輝度補正手段は、表示素子に表示する表示画像として映像信号により与えられた入力画像に対して表示素子に表示する表示画像の表示輝度を補正し、表示素子に表示した表示画像の表示輝度と表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、映像信号の信号値に対して予定された目標の合成表示輝度にする形態とすることができる。【００２６】
本形態は表示素子に表示する表示画像の表示輝度と表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度が、目標の合成表示輝度となるように表示画像の表示輝度を補正する形態であり、その表示画像の表示輝度の補正は特定の方法に限定されない。【００２７】
本発明は、表示輝度補正手段は、バックライトユニットの複数の発光素子の各々の発光輝度を変更し、表示素子に表示する表示画像として映像信号により与えられた入力画像に対して表示素子に表示した表示画像の表示輝度と表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、映像信号の信号値に対して予定された目標の合成表示輝度にする形態とすることができる。【００２８】
本形態は、液晶パネルに表示する表示画像の表示輝度を補正するためにバックライトユニットの発光素子の発光輝度（バックライト輝度）を補正する場合の具体的形態を示す。【００２９】
本発明は、表示輝度補正手段は、表示素子に表示する表示画像として映像信号により与えられた入力画像の輝度に対する液晶パネルの各点の光透過率を補正し、入力画像に対して表示素子に表示した表示画像の表示輝度と表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、映像信号の信号値に対して予定された目標の合成表示輝度にする形態とすることができる。【００３０】
本形態は、液晶パネルに表示する表示画像の表示輝度を補正するために液晶パネルの光透過率を補正する場合の具体的形態を示す。【００３１】
本発明は、表示輝度補正手段は、バックライトユニットの複数の発光素子の各々の発光輝度を変更するとともに、表示素子に表示する表示画像として映像信号により与えられた入力画像の輝度に対する液晶パネルの各点の光透過率を補正し、入力画像に対して表示素子に表示した表示画像の表示輝度と表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、映像信号の信号値に対して予定された目標の合成表示輝度にする形態とすることができる。【００３２】
本形態は、液晶パネルに表示する表示画像の表示輝度を補正するために、バックライトユニットの発光素子の発光輝度（バックライト輝度）と液晶パネルの光透過率の両方を補正する場合の具体的形態を示す。【００３３】
本発明は、表示輝度補正手段は、目標の合成表示輝度の可変範囲の下限値を、反射輝度分布における最大輝度以上の値とする形態とすることができる。【００３４】
本形態によれば、表示画像の表示輝度が低い暗部側の領域の合成表示輝度を、反射輝度が大きい領域であっても確実に映像信号の信号値に対応した目標の合成表示輝度となるように制御することができ、表示画像の暗部領域における反射輝度のムラを好適に抑制することができる。【００３５】
本発明は、表示輝度補正手段は、省電力モードの場合は、目標の合成表示輝度の可変範囲の上限値を、補正を行わない場合における表示画像の表示輝度の可変範囲の上限値以下の値とする形態とすることができる。【００３６】
本形態によれば、反射輝度の大きさ、及び、補正を行わない場合における表示画像の表示輝度の大きさ（映像信号の信号値の大きさ）にかかわらず、表示画像の表示輝度を低減させる方向に補正することができ、補正を行わない場合よりも画像表示に消費する電力を低減することができる。【００３７】
本発明は、表示輝度補正手段は、視認性向上モードの場合は、目標の合成表示輝度の可変範囲の上限値を、反射輝度分布における最大輝度と、補正を行わない場合における表示画像の表示輝度の可変範囲の上限値とを加算した合成表示輝度以上の値とする形態とすることができる。【００３８】
本形態によれば、補正を行った場合の表示画像の合成表示輝度の可変範囲を、補正を行わない場合における表示画像の表示輝度の可変範囲（ダイナミックレンジ）以上にすることができ、視認性の優れた画像表示を行うことができる。【００３９】
本発明は、表示輝度補正手段は、反射輝度分布の状態に応じて目標の表示輝度の可変範囲の下限値を変更する形態とすることができる。【００４０】
本発明は、表示輝度補正手段は、反射輝度分布の状態に応じて目標の表示輝度の可変範囲の上限値を変更する形態とすることができる。【００４１】
本発明は、反射輝度推定手段は、撮影手段により撮影された撮影画像において、予め指定された対称点を用いて、顔画像検出手段により検出された観察者の顔画像の位置に対して点対称となる位置を基準にして表示素子の表面の大きさ及び形状に対応した範囲の画像を抽出し、抽出した範囲内の画像の輝度情報に基づいて反射輝度分布を推定する形態とすることができる。
【発明の効果】
【００４２】
本発明によれば、ディスプレイ面への外光の映り込みによる反射輝度のムラを低減することができ、表示画像の視認性の向上を図ることができる。
【図面の簡単な説明】
【００４３】
【図１】図１は、本発明が適用されるモバイル端末の外観を示した斜視図である。
【図２】図２は、本発明が適用されるモバイル端末の外観を示した正面図である。
【図３】図３は、本発明が適用されるモバイル端末の外観を示した底面図である。
【図４】図４は、ディスプレイの概略構成を示した分解斜視図である。
【図５】図５は、本発明が適用されるモバイル端末の本発明に関連する構成部を抽出して示したブロック図である。
【図６Ａ】図６Ａは、反射ムラの抑制処理の流れを示した説明図である。
【図６Ｂ】図６Ｂは、反射ムラの抑制処理の流れを示した他の説明図である。
【図６Ｃ】図６Ｃは、反射ムラの抑制処理の流れを示した他の説明図である。
【図６Ｄ】図６Ｄは、反射ムラの抑制処理の流れを示した他の説明図である。
【図７】図７は、反射ムラの説明に使用した説明図である。
【図８】図８は、反射ムラの説明に使用した説明図である。
【図９】図９は、反射ムラ抑制処理の処理手順を示したフローチャートである。
【図１０Ａ】図１０Ａは、モバイル端末のカメラで撮影された撮影画像の一例を示した図である。
【図１０Ｂ】図１０Ｂは、図１０Ａに示す撮影画像に歪み補正処理を施した画像の一例を示した図である。
【図１１】図１１は、モバイル端末のディスプレイに表示された表示画像を観察者が観察している時のカメラの撮影画像上での観察者の位置と映込範囲との関係を示した図である。
【図１２】図１２は、モバイル端末のディスプレイに表示された表示画像を観察者が観察している時の観察者（眼）の位置とディスプレイ面との位置関係を示した図である。
【図１３】図１３は、カメラの位置のディスプレイ面の中心位置とのオフセット量を考慮して映込範囲を求める際の説明に使用した図であって、モバイル端末のディスプレイに表示された表示画像を観察者が観察している時の観察者（眼）の位置とディスプレイ面との位置関係を示した図である。
【図１４】図１４は、カメラの位置のディスプレイ面の中心位置とのオフセット量を考慮して映込範囲を求める際の説明に使用した図であって、モバイル端末のディスプレイに表示された表示画像を観察者が観察している時のカメラの撮影画像上での観察者の位置と映込範囲との関係を示した図である。
【図１５】図１５は、カメラの撮影画像からディスプレイ面への映込像として映り込む映込範囲の画像を抽出した図である。
【図１６Ａ】図１６Ａは、通常表示における表示輝度制御に関する図である。
【図１６Ｂ】図１６Ｂは、通常表示における表示輝度制御に関する他の図である。
【図１６Ｃ】図１６Ｃは、通常表示における表示輝度制御に関する他の図である。
【図１７Ａ】図１７Ａは、通常表示における入力映像信号の信号値と合成表示輝度との関係を示した図である。
【図１７Ｂ】図１７Ｂは、通常表示における入力映像信号の信号値と合成表示輝度との関係を示した他の図である。
【図１７Ｃ】図１７Ｃは、通常表示における入力映像信号の信号値と合成表示輝度との関係を示した他の図である。
【図１８Ａ】図１８Ａは、通常表示における反射ムラの様子を示した図である。
【図１８Ｂ】図１８Ｂは、通常表示における反射ムラの様子を示した他の図である。
【図１８Ｃ】図１８Ｃは、通常表示における反射ムラの様子を示した図である。
【図１９Ａ】図１９Ａは、補正表示における入力映像信号の信号値と合成表示輝度との関係を示した図である。
【図１９Ｂ】図１９Ｂは、補正表示における入力映像信号の信号値と合成表示輝度との関係を示した他の図である。
【図１９Ｃ】図１９Ｃは、補正表示における入力映像信号の信号値と合成表示輝度との関係を示した他の図である。
【図２０Ａ】図２０Ａは、補正表示における入力映像信号の信号値とパネル表示輝度との関係を示した図である。
【図２０Ｂ】図２０Ｂは、補正表示における入力映像信号の信号値とパネル表示輝度との関係を示した他の図である。
【図２０Ｃ】図２０Ｃは、補正表示における入力映像信号の信号値とパネル表示輝度との関係を示した他の図である。
【図２１Ａ】図２１Ａは、第１補正形態での補正表示における入力映像信号の信号値とバックライト輝度との関係を示した図である。
【図２１Ｂ】図２１Ｂは、第１補正形態での補正表示における入力映像信号の信号値とバックライト輝度との関係を示した他の図である。
【図２１Ｃ】図２１Ｃは、第１補正形態での補正表示における入力映像信号の信号値とバックライト輝度との関係を示した他の図である。
【図２２Ａ】図２２Ａは、第２補正形態での補正表示における入力映像信号の信号値と光透過率との関係を示した図である。
【図２２Ｂ】図２２Ｂは、第２補正形態での補正表示における入力映像信号の信号値と光透過率との関係を示した他の図である。
【図２２Ｃ】図２２Ｃは、第２補正形態での補正表示における入力映像信号の信号値と光透過率との関係を示した他の図である。
【図２３Ａ】図２３Ａは、第３補正形態での補正表示における入力映像信号の信号値とバックライト輝度との関係を示した図である。
【図２３Ｂ】図２３Ｂは、第３補正形態での補正表示における入力映像信号の信号値と光透過率との関係を示した図である。
【図２４Ａ】図２４Ａは、視認性を向上させるための補正表示の説明に使用した図であり、入力映像信号の信号値と合成表示輝度との関係を示した図である。
【図２４Ｂ】図２４Ｂは、視認性を向上させるための補正表示の説明に使用した図であり、入力映像信号の信号値と合成表示輝度との関係を示した他の図である。
【図２５Ａ】図２５Ａは、省電力モードと視認性向上モードでの補正表示における表示画像を例示した図である。
【図２５Ｂ】図２５Ｂは、省電力モードと視認性向上モードでの補正表示における表示画像を例示した他の図である。
【発明を実施するための形態】
【００４４】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【００４５】
図１〜３は、本発明が適用される携帯電話（スマートフォン等）やタブレット端末等のモバイル端末１０の外観を示した斜視図、正面図、及び下面図である。
【００４６】
これらの図に示すようにモバイル端末１０は、正面側の周縁部、側面及び背面を覆う筐体フレーム１２と、正面側に配置されたディスプレイ（２次元の表示素子）２０と、正面側のディスプレイ２０を避けた下側中央位置に配置されたカメラ（撮影手段）６０とを備えており、全体の外面が薄型の直方体（板状体）となるように構成されている。
【００４７】
筐体フレーム１２は、内部の空間に回路等の内蔵物を収容保持すると共に、正面側に設けられた長方形の開口１２Ａに同形のディスプレイ２０を具備し、開口１２Ａの近傍に設けられた開口１２Ｂにカメラ６０を具備している。
【００４８】
ディスプレイ２０は、例えば、タッチパネル付きの液晶ディスプレイ（ＬＣＤ）であり、図４に示すように最前面（最表面）側にタッチパネル３６が配置され、そのタッチパネル３６の背後にＬＣＤパネル２２が配置されている。ＬＣＤパネル２２の背後には拡散板３２が配置され、その背後にバックライトユニット２４が配置されて構成されている。
【００４９】
バックライトユニット２４は、基板３０の前面に格子状に仕切板３１、３１、・・・が配置され、それらの仕切板３１によって区画されて周辺への光漏れが抑制された各領域に白色ＬＥＤ（Light Emitting Diode）２６、２６、・・・が発光素子として配置されている。これによって、複数（多数）の白色ＬＥＤ２６（発光素子）が基板３０上に縦横方向に等間隔で２次元的に配列されている。
【００５０】
また、基板３０に実装される回路は、各白色ＬＥＤ２６の発光輝度を個別に制御することができる構成となっており、バックライトローカルディミング（ＢＬＤ）技術によりＬＣＤパネル２２を領域ごとに異なる明るさのバックライトで照明することができるようになっている。なお、本実施の形態では、ＬＣＤパネル２２の画素ごとバックライトの明るさ（バックライト輝度）を制御できるものとして説明するが、バックライトユニット２４はＬＣＤパネル２２の複数画素からなる領域ごとにバックライト輝度を制御するものであってもよく、その場合であっても１つの領域を１画素とみなして画素ごとにバックライト輝度を制御できるものとする。
【００５１】
ＬＣＤパネル２２は、透過型のＬＣＤパネル（液晶パネル）であり、周知の液晶層における２次元面上での各点（画素）での光透過率を個別に制御することによりＬＣＤパネル２２の各画素の輝度が制御されて所望の画像が表示されるようになっている。
【００５２】
また、ＬＣＤパネル２２の前面側に配置されたタッチパネル３６により、タッチパネル３６の表面、即ち、ディスプレイ２０の表面（ディスプレイ面３４という）に対するタッチ操作が検出されるようになっており、ディスプレイ面３４のタッチ操作によって各種情報の入力操作を行うことができるようになっている。
【００５３】
なお、ディスプレイ２０の種類として、タッチパネル３６の種類に特に限定はなく、また、タッチパネル３６を備えていないものでもよい。
【００５４】
また、以下において、ディスプレイ２０の表面（ディスプレイ面３４）という場合には、ディスプレイ２０において画像が表示される２次元の画像表示領域に対して表面側（観察者側）に存在する面であって、画像表示領域に対して直交方向に重なる領域をいうものとし、ディスプレイ面３４を形成する透明部材が画像表示領域以外の範囲まで延設されている場合であっても、その延設部分の表面は対象としないものとする。
【００５５】
図１〜図３に示されているカメラ６０は、被写体の光像を結像する光学系（レンズ、絞り等）や、光学系により結像された光像を電気信号として光電変換する固体撮像素子（ＣＣＤやＭＯＳ等）等から構成されている。
【００５６】
このカメラ６０によって、ディスプレイ面３４に対して対向する側（モバイル端末１０の正面側）が撮影され、撮影された被写体の静止画像又は動画像が内部回路に取り込まれて、撮影画像の記録保存等が行われるようになっている。なお、本実施の形態のカメラ６０としては魚眼レンズ等の広角レンズを使用した広角カメラであることが望ましい。
【００５７】
図５は、上記モバイル端末１０の本発明に関連する構成部を抽出して示したブロック図である。
【００５８】
図５に示すようにモバイル端末１０は、各処理部の間でのデータ伝送を可能にするバス８６を介して相互に接続されたＣＰＵ８０、メモリ８２、映像信号生成部４０、バックライト制御信号生成部５０、カメラ画像解析部７２、画像ストレージ８４等を備えている。
【００５９】
ＣＰＵ８０は、予め決められたプログラムにしたがって各種演算処理を行う中央演算処理部であり、このＣＰＵ８０から与えられる制御信号にしたがってモバイル端末１０内の各処理部が動作することによって装置全体がＣＰＵ８０により統括的に制御されるようになっている。
【００６０】
メモリ８２は、ＣＰＵ８０において実行されるプログラムやその他の必要なデータを記憶した読取り専用のＲＯＭ（Read Only Memory）と、ＣＰＵ８０等により一時的に使用されるデータが格納される読取り及び書込み可能なＲＡＭ（Random Access Memory）を含む記憶手段を示し、バス８６を介してＣＰＵ８０等とのデータのやり取りが行われるようになっている。
【００６１】
画像ストレージ８４は、カメラ６０で撮影された撮影画像の画像データを記憶するメモリカード、ハードディスク等の外部記憶装置であり、本実施の形態では、主として画像データの記憶に使用されるため画像ストレージ８４としているが、特に画像データを記憶する用途に限定されたものではなく任意のデータを記憶することができる。
【００６２】
映像信号生成部４０は、ＣＰＵ８０や画像ストレージ８４等からバス８６を介して入力される画像データ（入力画像；入力映像信号に対応）に基づいて、ディスプレイ２０を構成する図４に示したＬＣＤパネル２２にその画像（映像）を表示するためのフォーマットの映像信号を生成し、その映像信号をＬＣＤ駆動回路４２に出力する。
【００６３】
ＬＣＤ駆動回路４２は、ＬＣＤパネル２２を駆動し、映像信号生成部４０から与えられた映像信号にしたがってＬＣＤパネル２２の各画素の光透過率を制御する。これによって、ＬＣＤ駆動回路４２に与えられた映像信号に対応する画像がＬＣＤパネル２２に表示されるようになっている。
【００６４】
バックライト制御信号生成部５０は、ＣＰＵ８０から与えられた情報に基づいて、ディスプレイ２０を構成する図４に示したバックライトユニット２４の各白色ＬＥＤ２６の発光輝度を示す制御信号を生成し、その制御信号をＬＥＤドライバ５２に送信する。
【００６５】
ＬＥＤドライバ５２は、バックライトユニット２４の各白色ＬＥＤ２６を駆動し、バックライト制御信号生成部５０から与えられた制御信号にしたがって各白色ＬＥＤ２６の発光輝度を制御する。これによって、バックライトユニット２４からＬＣＤパネル２２に照射されるバックライト（照明光）の明るさ（バックライト輝度）がＣＰＵ８０によって制御されるようになっている。
【００６６】
カメラ画像解析部７２は、カメラ６０により撮影されて得られた撮影画像を取り込み、顔検出等の後述の解析処理を実行し、解析結果のデータ等をＣＰＵ８０に送信する。
【００６７】
カメラ６０に関連する構成の詳細は図では省略されているが、カメラ６０は、光学系や固体撮像素子を備えており、ＣＰＵ８０からの制御信号にしたがって光学系や固体撮像素子が駆動されて静止画や動画の撮影が行われるようになっている。固体撮像素子により得られた画像信号は、所要のアナログ信号処理（ＣＤＳ、ＡＧＣ等）や、デジタル信号への変換後のデジタル信号処理（ＡＷＢ、輪郭補正、利得補正等）が施され、撮影画像のデータとしてカメラ画像解析部７２に送られるようになっている。なお、カメラ画像解析部７２には、その処理が必要なときだけカメラ６０で撮影された撮影画像のデータが直接的又は間接的に入力される構成となっていればよく、カメラ画像解析部７２を介さずにバス８６を介してＣＰＵ８０、映像信号生成部４０、画像ストレージ８４等の他の処理部にも送ることができる構成となっていてもよい。
【００６８】
次に上述の如く構成されたモバイル端末１０における反射ムラの抑制処理に関して説明する。図６Ａ〜６Ｄを用いて反射ムラの抑制処理の概要について説明する。
【００６９】
図６Ａは、モバイル端末１０に対して左斜め前の方向から観察者（観察者の眼２００）がディスプレイ２０に表示された表示画像を観察している状態を示す。即ち、モバイル端末１０を横（長手方向を左右方向）にして持ちディスプレイ２０の画面を斜め下側から観察している状態に相当している。
【００７０】
このとき、モバイル端末１０のディスプレイ面３４に対向する側に蛍光灯のような不図示の高輝度体が存在しているものとすると、その高輝度体からの光は、ディスプレイ面３４の各所に照射されて反射する。それらの反射光のうち、観察者の眼２００に入射して視認される反射光のディスプレイ面３４上の反射位置が他の部分よりも明るく見える。
【００７１】
即ち、ディスプレイ面３４を形成する材料がガラスやアクリルのように鏡面反射するものであるとすると、観察者がそのディスプレイ面３４での反射を介した視野範囲に入る物体をディスプレイ面３４への外光の映り込み（映込像）として視認する。このようにディスプレイ面３４の反射を介した視野範囲（映込範囲）や映込像は、ディスプレイ面３４と観察者の眼２００との位置関係によって変化する。
【００７２】
例えば、図７、図８のように、モバイル端末１０のディスプレイ面３４に対向する側に高輝度体Ａ、Ｂが存在し、観察者（眼２００）がディスプレイ面３４に対して垂直方向からの角度を変えてディスプレイ面３４を観察すると、図８よりも角度が大きい図７の角度から観察した場合には、図７中の７Ａ部分のように観察者から見て高輝度体Ｂよりも先方に存在する高輝度体Ａのみがディスプレイ面３４の反射を介した観察者の視野範囲内に入る。したがって、ディスプレイ面３４の正面から示した７Ｂ部分のように高輝度体Ａがディスプレイ面３４に明るく映り込み、高輝度体Ｂは映り込まない。
【００７３】
これに対して、図８の角度から観察した場合には、図８中の８Ａ部分のように高輝度体Ａと高輝度体Ｂの両方がディスプレイ面３４の反射を介した観察者の視野範囲内に入り、８Ｂ部分のように高輝度体Ａと高輝度体Ｂの両方がディスプレイ面３４に明るく映り込む。なお、観察者自体のディスプレイ面３４への映り込みや観察者による光の遮断はないものとしている。
【００７４】
また、ディスプレイ面３４の映込像は、蛍光灯、太陽等の高輝度体に限らない。映込範囲に存在する物体の明るさに応じた明るさでディスプレイ面３４に映り込む。
【００７５】
このような外光の映り込みによってディスプレイ面３４には反射ムラ（反射輝度のムラ）が生じ、ディスプレイ２０の画像表示面（本実施の形態ではＬＣＤパネル２２）に表示された表示画像の視認性が低下する。
【００７６】
本実施の形態のモバイル端末１０では、このようにして生じるディスプレイ面３４の反射ムラを抑制（低減）するための反射ムラ抑制処理として、まず、カメラ６０でディスプレイ面３４に対向する側を撮影し、図６Ｂに示すように撮影画像１００を取得する。そして、撮影画像１００の中から、現在知られている任意の顔検出技術を用いて観察者の顔画像１０２を検出する。なお、通常、モバイル端末１０は複数の人物が同時に使用することは少ないため、撮影画像の中には１人の人物の顔画像のみが含まれるものとし、検出された顔画像は観察者の顔画像であるものとする。
【００７７】
観察者の顔画像１０２を検出すると、続いて、撮影画像１００内における観察者の顔画像１０２の位置に基づいて、撮影画像１００の中から、その観察者がディスプレイ面３４での反射を介して視認する視野範囲、即ち、ディスプレイ面３４に映込像として映り込む画像範囲（映込範囲１０４）を図６Ｂのように特定する。
【００７８】
映込範囲１０４を特定すると、その映込範囲１０４内の画像１０６を図６Ｃのように抽出し、その映込範囲１０４内の画像１０６の輝度分布に基づいて、観察者がディスプレイ面３４上に反射ムラとして視認する映込像の輝度分布、即ち、ディスプレイ面３４上の各点における外光の反射輝度を示す反射輝度分布を求める。
【００７９】
ディスプレイ面３４上での外光の反射輝度分布を求めると、その反射輝度分布に基づいて、ディスプレイ面３４に表示する表示画像の表示輝度を補正する（表示輝度補正処理）。図６Ｄのようにディスプレイ面３４に表示された表示画像１０８を観察者が観察した場合、図６Ｃの映込範囲１０４の画像が映込像として映り込み、反射ムラを生じさているが、その表示画像１０８の表示輝度と、ディスプレイ面３４上での外光の反射輝度とを対応点同士（ディスプレイ面３４に対して直交方向に重なる位置同士）で足し合せた合成表示輝度、即ち、観察者が実際に視認する外光の反射も含めた表示画像の表示輝度を反射ムラを有していない輝度分布となるようにする。これにより、観察者が反射ムラを視認できない表示画像を表示する。
【００８０】
ディスプレイ面３４に表示する表示画像の表示輝度の補正は、後述のように、ＬＣＤパネル２２に照射されるバックライトユニット２４からのバックライトの明るさ（バックライト輝度）の補正や、ＬＣＤパネル２２の光透過率（液晶層の光透過率）の補正によって行われるようになっている。
【００８１】
次に、ディスプレイ面３４の反射ムラを抑制（低減）するための反射ムラ抑制処理の詳細について図９のフローチャートを参照しながら順に説明する。
【００８２】
ステップＳ１０では、モバイル端末１０の電源がオンされた際の起動時の初期処理がＣＰＵ８０等において行われる。そして、ステップＳ１２の処理に移行する。
【００８３】
ステップＳ１２では、ＣＰＵ８０の指示によってカメラ６０が駆動され、カメラ６０によってディスプレイ面３４に対向する側の撮影が行われる。そして、その撮影画像がカメラ画像解析部７２に取り込まれる。この処理の後、ステップＳ１４の処理に移行する。なお、本ステップＳ１２から下記のステップＳ２４までの処理は、ディスプレイ２０に任意の画像が表示画像として表示されている状況下において繰り返し実施される。
【００８４】
ステップＳ１４では、カメラ画像解析部７２（顔画像検出手段）が備える顔画像検出手段によって、ステップＳ１２において取り込まれた撮影画像の中から観察者の顔画像を検出する顔検出処理が行われる。
【００８５】
図１０Ａは、モバイル端末１０のカメラ６０によって撮影された撮影画像の一例を示す。なお、本来は、撮影画像の中に観察者の顔画像も含まれるが、図１０Ａでは省略されている。図１０Ａに示すようにカメラ６０により撮影された撮影画像１００は、光学特性（レンズ特性）によって樽型収差などの歪みを有しており、実空間に対して正確に透視投影した画像となっていない。特に、カメラ６０として魚眼レンズ等の広角レンズを使用した広角カメラを用いることが好ましく、その場合には撮影画像の歪みも大きい。
【００８６】
そのため、顔画像の検出を行う前に、カメラ６０の撮影画像に光学特性に応じた歪み補正処理が施され、図１０Ｂに示すような歪みのない撮影画像１００′に変換される。このような歪み補正処理は、反射ムラ抑制処理を行うか否かにかかわらず、カメラ６０で撮影を行った際に、全ての撮影画像に対して行われるようにしてもよいし、反射ムラ抑制処理を行う場合にだけ行うようにしてもよい。また、歪みが大きくない場合等には必ずしも歪み補正処理を行う必要もない。
【００８７】
なお、以下の処理に使用する撮影画像は、このような歪み補正処理を行う場合にはその旨の明示が無い場合でも歪み補正処理を施した撮影画像であるものとする。
【００８８】
観察者がディスプレイ２０の表示画像を観察している状態のときにカメラ６０により撮影を行った場合、図１１のように観察者の顔画像１０２が含まれる歪み補正処理後の撮影画像１００′が得られる。
【００８９】
この撮影画像１００′に対して周知の顔検出処理が施され、観察者の顔画像１０２が検出される。そして、撮影画像１００′内における顔画像の位置が検出される。ここで、撮影画像１００′の各画素（像面上の各点）に対して、横軸をＸ軸、縦軸をＹ軸とした２次元座標（ｘ、ｙ）を割り当てるものとすると、撮影画像１００′内における顔画像１０２の中心位置ｆの座標（Ｘｆ,Ｙｆ）が求められ、その中心位置ｆが観察者の顔画像の位置ｆ（眼の位置）として検出される。なお、顔検出処理において眼の位置も把握することができるため、眼の位置を基準にして顔画像の位置ｆ（左右の眼の中間位置等）としてもよい。以上の顔検出処理が終了すると、図９のステップＳ１６の処理に移行する。
【００９０】
ステップＳ１６では、ＣＰＵ８０により上記の顔検出処理の結果がカメラ画像解析部７２から取得され、観察者の顔画像が検出されたか否かの判断処理が行われる。この判断処理によれば、ステップＳ１４の顔検出処理において顔画像が検出されなかった場合や複数の顔画像が検出された場合のように観察者の顔画像を特定できないような状況が生じた場合に、観察者の顔画像が検出されていないと判断され、エラーと判断される。そして、顔画像が適切に検出されたと判断された場合には、ステップＳ１８に移行し、エラーと判断された場合には、ステップＳ１２の処理に戻り、ステップＳ１２の処理からやり直す。
【００９１】
なお、既に、後述のステップＳ２２において後述の表示輝度補正処理が実施されている場合において、本ステップＳ１６でエラーと判断されたときには、その前回の行われた表示輝度補正処理に用いられたパラメータをそのまま使用して表示輝度補正処理（反射ムラ抑制処理）を実施してもよいし、ステップＳ２０で求められるディスプレイ面３４での外光の反射輝度分布を０として前回求められた反射輝度分布からの移動平均を用いてステップＳ２２における表示輝度補正処理を実施してもよい。
【００９２】
ステップＳ１８では、カメラ画像解析部７２が備える映込範囲特定手段により、ステップＳ１４において検出された観察者の顔画像の位置ｆに基づいて、ステップＳ１２において取り込まれた撮影画像の中から、ディスプレイ面３４に映込像として映り込む映込範囲を特定する映込範囲特定処理が行われる。
【００９３】
この映込範囲特定処理について詳説すると、まず、図１２に示すようにディスプレイ面３４の中心位置にカメラ６０が配置されているものと仮定し、図１１はその位置に配置されたカメラ６０により撮影された撮影画像１００′であるものとする。この場合において、ディスプレイ面３４の中心位置を通り、且つ、ディスプレイ面３４に対して直交する軸をＺ軸とし、ディスプレイ面３４に対向する側でＺ軸と交わる物点（以下、ディスプレイ面３４の中心位置に対して直交する方向の物点という）は、図１１の撮影画像１００′の像面の中心位置ｃ（座標（Ｘｃ,Ｙｃ））に映る。
【００９４】
なお、この場合は、カメラ６０の光軸がディスプレイ面３４に対して直交する方向に平行であるとした場合であるが、カメラ６０の光軸がディスプレイ面３４に対して直交する方向と異なる場合には、ディスプレイ面３４の中心位置に対して直交する方向の物点は、撮影画像上の中心位置ｃと異なる位置の像点として映る。その場合には、その像点の位置をモバイル端末１０の設計情報等から事前に求めておき、その像点の位置を撮影画像１００′の中心位置（対称点）ｃとみなして以下の処理を適用すればよい。
【００９５】
一方、図１２において観察者の眼とディスプレイ面３４の中心位置（対称点）とを結ぶ視線Ｌ１と、Ｚ軸とのなす角をθとすると、Ｚ軸に対して視線Ｌ１と対称となる直線Ｌ２上の物点、即ち、Ｚ軸と視線Ｌ１とを含む平面上の直線であって、Ｚ軸に対して視線と反対側から角度θでディスプレイ面３４の中心位置に交わる直線Ｌ２上の物点がディスプレイ面３４の中心位置（対称点）に映込像として映り込む。この物点は、カメラ６０で撮影した図１１の撮影画像１００′上において、映込範囲１０４の中心位置ｅに映り、その映込範囲１０４の中心位置ｅの座標値（Ｘｅ,Ｙｅ）は、撮影画像１００′の中心位置ｃ（Ｘｃ,Ｙｃ）に対して顔画像の位置ｆ（Ｘｆ,Ｙｆ）と対称となる点として求められる。即ち、映込範囲１０４の中心位置ｅ（Ｘｅ,Ｙｅ）は、次式（１）、（２）の関係が成り立つ点として求めることができる。
【００９６】
｜Ｘｅ−Ｘｃ｜＝｜Ｘｆ−Ｘｃ｜  ・・・（１）
｜Ｙｅ−Ｙｃ｜＝｜Ｙｆ−Ｙｃ｜  ・・・（２）
そして、映込範囲１０４の中心位置ｅ（Ｘｅ,Ｙｅ）を求めると、その中心位置ｅ（Ｘｅ,Ｙｅ）を中心にしてディスプレイ面３４の形状及び大きさに対応した映込範囲１０４を図１１のように決定することができる。このとき、カメラ６０の画素数や焦点距離も考慮する。
【００９７】
ここで、カメラ６０は、実際には図１２のようにディスプレイ面３４の中心位置に配置されたものではなく、図１３に示すようにディスプレイ面３４の外側近傍に配置されている。したがって、カメラ６０で撮影された撮影画像の中心位置ｃ（Ｘｃ,Ｙｃ）は、ディスプレイ面３４の中心位置に対して直交する方向の物点が映る位置ではなく、カメラ６０の位置に対して直交する方向の物点が映る位置となる。
【００９８】
このようなカメラの位置とディスプレイ面３４の中心位置とのずれを補正する場合には、ディスプレイ面３４の中心位置に対して直交する方向の物点が映る撮影画像上の位置ｃ′（座標（Ｘｃ′,Ｙｃ′））を求め、その座標（Ｘｃ′,Ｙｃ′）を上式（１）、（２）で使用した座標（Ｘｃ,Ｙｃ）の代わりに用いて補正すれば良い。
【００９９】
即ち、位置ｃ′（Ｘｃ′,Ｙｃ′）が次式（３）、（４）で表されるものとする。
【０１００】
Ｘｃ′＝Ｘｃ＋Ｘoffset  ・・・（３）
Ｙｃ′＝Ｙｃ＋Ｙoffset  ・・・（４）
このとき、映込範囲の中心位置ｅ（Ｘｅ,Ｙｅ）は、次式（１）′、（２）′の関係が成り立つ点として求めることができる。
【０１０１】
｜Ｘｅ−Ｘｃ′｜＝｜Ｘｆ−Ｘｃ′｜  ・・・（１）′
｜Ｙｅ−Ｙｃ′｜＝｜Ｙｆ−Ｙｃ′｜  ・・・（２）′
Ｘ軸方向とＹ軸方向のオフセット量を表すＸoffsetとＹoffsetの値は、カメラ６０の画素数、焦点距離、ディスプレイ面３４とカメラ６０との位置関係に基づいて求めることができる。このように補正して求められる映込範囲１０５は図１４のようにカメラ６０がディスプレイ面３４の中心位置に配置されていると仮定した場合の補正無しの映込範囲１０４から僅かにずれる。なお、実際の位置に配置されたカメラ６０で撮影した撮影画像を、ディスプレイ面３４の中心位置に配置したと仮定したカメラ６０で撮影した撮影画像に変換して上式（１）、（２）により映込範囲を求めるようにしてもよい。また、カメラ６０の位置とディスプレイ面３４の中心位置とのずれによる映込範囲のずれは微少なものであるとして、必ずしもこのような映込範囲の補正を行う必要はない。
【０１０２】
以上の映込範囲特定処理が終了すると、図９のステップＳ２０に移行する。
【０１０３】
ステップＳ２０では、カメラ画像解析部７２（反射輝度推定手段）が備える反射輝度推定手段により、上記のようにして特定した映込範囲の画像を図１５のようにして抽出し、観察者がディスプレイ面３４に視認する映込像の輝度分布、即ち、ディスプレイ面３４での外光の反射による反射輝度分布を推定（算出）する反射輝度推定処理が行われる。
【０１０４】
ここで、映込範囲の画像の縦横の長さをディスプレイ面３４の縦横の実寸の長さ適合させることによって、映込範囲の画像の各画素が映り込むディスプレイ面３４上の位置を求めることができ、映込範囲の画像の各画素ｉ（ｉは正の整数）の位置と、各画素ｉが映り込むディスプレイ面３４上の各位置ｉとが対応位置として対応付けられているものとする。
【０１０５】
まず、映込範囲の画像の各画素ｉの輝度値をＹｉとすると、被写体輝度Ｂｉは、次式（５）により算出される。
【０１０６】
Ｂｉ＝Ｙｉ×ｆ(γ)×（α×Ｆ２／Ｓ×Ｔ）  ・・・（５）
ここで、
α：係数（補正の強度を決定する定数）
Ｆ：絞り値
Ｓ：ＩＳＯ感度
Ｔ：シャッタースピード
ディスプレイ面３４での鏡面反射率をｒとすると、各画素ｉが映り込むディスプレイ面３４での各位置ｉでの外光の反射輝度Ｒｉは、次式（６）により算出される。
【０１０７】
Ｒｉ＝Ｂｉ×ｒ  ・・・（６）
これにより、ディスプレイ面３４の各位置ｉでの外光の反射による反射輝度Ｒｉが対応位置の各画素ｉでの輝度値に基づいて算出され、ディスプレイ面３４上の各点の反射輝度を示す反射輝度分布が求められる。
【０１０８】
なお、カメラ６０により得られる撮影画像がカラー画像である場合に、隣接するＲ、Ｇ、Ｂの画素からなる１つの色を表現する１組の画素を１つの画素とみなし、その１つとみなした画素の輝度（輝度値）を１組のＲ、Ｇ、Ｂの各画素の画素値に基づいて重み付き平均等により求めるようにすればよい。撮影画像が白黒画像である場合には、各画素の画素値を輝度値とすればよい。
【０１０９】
また、ステップＳ１２におけるカメラ６０での撮影時において、露光量を適正条件にした場合（適正露出の場合）と、アンダー条件にした場合（適正露出より低い露出の場合）とで交互に撮影するようにし、適正条件で撮影した撮影画像をステップＳ１４の顔検出処理に用い、アンダー条件で撮影した撮影画像を本ステップＳ２０での反射輝度分布の算出に用いるようにしてもよい。これによって、一定以上の輝度の被写体が白飛びしてしまい、反射輝度分布を正確に算出することができないという事態を回避することができる。
【０１１０】
さらに、上記のようにして算出した反射輝度分布の過去のデータを一定時間記憶しておき、それらのデータに基づいて移動平均等によって求めた反射輝度分布を現在の反射輝度分布としてもよい。観察者とディスプレイ面３４と照明の相対位置が断続的に変化する場合にハンチングが生じる事態を防止することができる。
【０１１１】
以上の反射輝度推定処理が終了すると、ステップＳ２２の処理に移行する。
【０１１２】
ステップＳ２２では、ＣＰＵ８０（表示輝度補正手段）が備える表示輝度補正手段により、上記ようにして求めたディスプレイ面３４での反射輝度分布に基づいて、ディスプレイ２０に表示する表示画像の表示輝度を補正する表示輝度補正処理が行われる。これによって、ディスプレイ面３４での反射ムラが抑制される。なお、本ステップＳ２２における表示輝度補正処理については詳細を後述する。ステップＳ２２の表示輝度補正処理が終了すると、ステップＳ２４に移行する。
【０１１３】
ステップＳ２４では、ＣＰＵ８０により電源をオフする操作が行われたか否かの判断処理が行われる。この判断処理により、電源をオフする操作が行われていないと判断された場合には、ステップＳ１２の処理に戻り、ステップＳ１２からの処理を繰り返し実行する。
【０１１４】
電源をオフする操作が行われたと判断した場合には、ステップＳ２６に移行し、終了時の処理が行われて電源がオフされ、本フローチャートの反射ムラ抑制処理が終了する。
【０１１５】
次に、ステップＳ２２における表示輝度補正処理について詳説する。
【０１１６】
まず、ディスプレイ２０に表示する表示画像の表示輝度に関して説明すると、ディスプレイ２０に表示する表示画像はＣＰＵ８０等から映像信号生成部４０に入力映像信号（入力画像に対応）として与えられる。その入力映像信号は、映像信号生成部４０において、ＣＰＵ８０からの指示に従った表示特性変換などの処理が施されると共に、ＬＣＤパネル２２の制御に対応したフォーマットの映像信号に変換されてＬＣＤ駆動回路４２に出力される。そして、その映像信号にしたがってＬＣＤ駆動回路４２によりＬＣＤパネル２２の各画素の光透過率が制御され、ＬＣＤパネル２２に表示される表示画像の各画素の表示輝度が制御されるようになっている。
【０１１７】
また、ＬＣＤパネル２２には背面側からバックライト（照明光）が照射されており、そのバックライトは、バックライトユニット２４の複数の白色ＬＥＤ２６により生成される。各白色ＬＥＤ２６の発光輝度は個別に制御可能であり、ＣＰＵ８０からバックライト制御信号生成部５０には、それらの個別の発光輝度を指定する指示が与えられるようになっている。バックライト制御信号生成部５０では、ＣＰＵ８０からの指示にしたがって各白色ＬＥＤ２６の発光輝度を制御する制御信号が生成され、その制御信号がＬＥＤドライバに出力される。そして、その制御信号にしたがってＬＥＤドライバによりバックライトユニット２４の各白色ＬＥＤ２６の発光輝度が制御されるようになっている。このように各白色ＬＥＤ２６の発光輝度を個別に制御することによって、ＬＣＤパネル２２のバックライト輝度を画素単位で変更することができ、ＬＣＤパネル２２に表示された表示画像の各画素の表示輝度を制御することができるようになっている。
【０１１８】
したがって、ＬＣＤパネル２２に表示される表示画像の各画素の表示輝度（ディスプレイ面３４での反射輝度を含まないＬＣＤパネル２２での各画素の表示輝度であり、以下、「パネル表示輝度」という）は、ＬＣＤパネル２２の各画素の光透過率と、バックライトユニット２４の各白色ＬＥＤ２６の発光輝度に応じたＬＣＤパネル２２の各画素に対するバックライト輝度によって制御することができるようになっている。
【０１１９】
なお、ＬＣＤパネル２２がカラー画像を表示するカラーフィルタを有している場合、例えば隣接するＲ、Ｇ、Ｂの画素からなる、１つの色を表現する１組の画素を１つの画素と見なし、当該１組の画素におけるＲ、Ｇ、Ｂの各画素の輝度を重み付け平均等して求めた値を、上記１つの画素と見なした１組の画素の表示輝度（輝度値）とすればよい。この場合に、表示画像の各画素の表示輝度を制御する際のＬＣＤパネル２２の各画素の光透過率やバックライト輝度は、１つとみなした画素に対する光透過率やバックライト輝度を示しており、１つとみなした画素をその光透過率に制御（設定）するということは、その光透過率での表示輝度と一致するように１組のＲ、Ｇ、Ｂの各画素の光透過率を制御し、かつ、それらの１組のＲ、Ｇ、Ｂの画素によって表現する色情報にしたがった比率となるように各画素の光透過率を制御することを意味している。また、１つとみなした画素に対するバックライト輝度を所定輝度に制御（設定）するということは、１組のＲ、Ｇ、Ｂの各画素に対するバックライト輝度を一様にその所定輝度に制御することを意味している。
【０１２０】
ＬＣＤパネル２２が白黒画像を表示するものである場合には、各画素ごとの光透過率やバックライト輝度によって各画素ごとに表示輝度を制御することができる。
【０１２１】
更に、複数画素からなる領域を１画素と見なして、当該領域の各画素の輝度に基づいて算出した値（平均等）を、上記１画素と見なした領域の表示輝度（輝度値）としてもよい。バックライトユニット２４がＬＣＤパネル２２の複数画素を一領域として領域ごとにバックライト輝度を制御するものである場合には、領域の輝度をこのようにして定義して、以下で説明する各画素ごとの制御を領域ごとの制御として適用すればよい。
【０１２２】
反射ムラ抑制処理を実施しない通常表示での表示輝度制御について説明すると、通常表示では、バックライトユニット２４の各白色ＬＥＤ２６が同一の発光輝度に設定されてバックライトがＬＣＤパネル２２の全面に対して一様な明るさで照射される。ユーザ操作や周囲の明るさ等によってＬＣＤパネル２２全体（表示画像全体）を明るくする場合や暗くする場合には、全ての白色ＬＥＤ２６の発光輝度が同一の発光輝度に維持せれた状態で変更されて全ての画素のバックライト輝度が一様に増減されるようになっている。したがって、通常表示では、入力映像信号の信号値に応じてＬＣＤパネル２２の各画素の光透過率のみが制御されて表示画像がＬＣＤパネル２２に表示されるようになっている。
【０１２３】
図１６Ａ〜１６Ｃは、通常表示における表示輝度制御に関する図である。図１６Ａは、映像信号生成部４０に入力される入力映像信号であってディスプレイ２０に表示する表示画像の各画素の輝度値を示す入力映像信号の信号値Ｘと、信号値Ｘに基づいて映像信号生成部４０から出力される映像信号により制御されるＬＣＤパネル２２の各画素の光透過率Ｔとの関係を示す。図１６Ｂは、入力映像信号の信号値Ｘと、バックライト制御信号生成部５０から出力される制御信号により制御されるＬＣＤパネル２２の各画素でのバックライト輝度ＢＬとの関係を示し、図１６Ｃは、入力映像信号の信号値Ｘと、パネル表示輝度ＤＢとの関係を示す。
【０１２４】
図１６Ａに示すように通常表示では、予め決められた特性曲線ＴＣにしたがって光透過率Ｔが制御され、入力映像信号の信号値Ｘの最小値Ｘｍｉｎから最大値Ｘｍａｘまでの間において、信号値Ｘが大きいほど（信号値が大きい画素ほど）、ＬＣＤパネル２２の光透過率Ｔを高くして表示輝度が高くなるように光透過率Ｔが制御される。
【０１２５】
このような特性曲線ＴＣにしたがって制御されるＬＣＤパネル２２の光透過率Ｔに対してＬＣＤパネル２２の各画素での表示輝度、即ち、パネル表示輝度ＤＢはバックライト輝度ＢＬによって変化する。通常表示では、ＬＣＤパネル２２の全ての画素に対するバックライト輝度ＢＬが同一輝度に設定され、また、図１６Ｂに示すように、入力映像信号の信号値Ｘにかかわらず、バックライト輝度ＢＬは特性曲線ＢＬＣ（直線）にしたがって一定輝度ＢＬ０に設定される。画面全体を明るくする場合や暗くする場合には、ＬＣＤパネル２２の全ての画素のバックライト輝度ＢＬが一様に高くなる方向、又は低くなる方向にシフトし、特性曲線ＢＬＣが特性曲線ＢＬＣ′（直線）や特性曲線ＢＬＣ″（直線）のように変更される。
【０１２６】
ＬＣＤパネル２２の各画素のパネル表示輝度は光透過率Ｔとバックライト輝度ＢＬとを掛け合わせた値となるため、パネル表示輝度ＤＢの特性曲線ＤＢＣは、図１６Ｃに示すように、図１６Ａの光透過率Ｔの特性曲線ＴＣの全体をバックライト輝度ＢＬに応じた倍率で縦方向に伸縮させた特性曲線ＤＢＣとなる。この特性曲線ＤＢＣにしたがって、入力映像信号の各画素の信号値Ｘに対してＬＣＤパネル２２の各画素のパネル表示輝度ＤＢが制御（変更）される。
【０１２７】
バックライト輝度ＢＬを図１６Ｂの特性曲線ＢＬＣ（バックライト輝度ＢＬ０）にしたがって制御した場合に、パネル表示輝度ＤＢが図１６Ｃの特性曲線ＤＢＣにしたがって制御されるものとすると、バックライト輝度ＢＬを特性曲線ＢＬＣ′のように高くした場合 (画面を明るくした場合)、パネル表示輝度ＤＢの特性曲線ＤＢＣは特性曲線ＤＢＣ′のようにバックライト輝度ＢＬの増加割合と同一の割合でパネル表示輝度ＤＢを高くする方向にシフトする。一方、バックライト輝度ＢＬを特性曲線ＢＬＣ″のように低くした場合（画面を暗くした場合）、パネル表示輝度ＤＢの特性曲線ＤＢＣは特性曲線ＤＢＣ″のようにバックライト輝度ＢＬの減少割合と同一の割合でパネル表示輝度ＤＢを低くする方向にシフトする。
【０１２８】
また、信号値Ｘが最大値Ｘｍａｘのときにパネル表示輝度ＤＢが最大値ＤＢｍａｘとなるように制御されるが、信号値Ｘが最大値Ｘｍａｘのときの光透過率Ｔの最大値Ｔｍａｘを１００パーセント（数値は１．０）とした場合には、その最大値ＤＢｍａｘはバックライト輝度ＢＬ０に等しくなる。
【０１２９】
なお、下記で説明する表示輝度補正処理は、通常表示でのパネル表示輝度ＤＢに補正（変更）を施したものと考えることができ、その補正量は通常表示でのバックライト輝度ＢＬに応じて変動する。上記説明では、バックライト輝度ＢＬの値に応じてバックライト輝度ＢＬの特性曲線を表す符号ＢＬＣも変更し、それに応じたパネル表示輝度ＤＢの特性曲線の符号ＤＢＣも変更して示した。しかしながら、バックライト輝度ＢＬの特性曲線ＢＬＣの輝度ＢＬ０自体を特定の値に限定したものではないため、通常表示におけるバックライト輝度ＢＬを変更する場合には特性曲線ＢＬＣの輝度ＢＬ０の値を変更するものとして、通常表示でのバックライト輝度ＢＬは特性曲線ＢＬＣにしたがって制御され、パネル表示輝度ＤＢは特性曲線ＤＢＣにしたがって制御されるものとする。
【０１３０】
一方、上記のような通常表示での表示輝度制御において、ディスプレイ面３４に外光の反射による外光（映込像）の映り込みが生じている場合、観察者は、ＬＣＤパネル２２に表示された表示画像の表示輝度であるパネル表示輝度ＤＢと、ディスプレイ面３４での外光の反射輝度Ｒとを対応位置同士で加算した輝度を表示画像の表示輝度として観察することになる。
【０１３１】
ここで、ＬＣＤパネル２２に表示される表示画像（像面上）の各点（各画素）の位置は、その表示画像の各画素が表示されるＬＣＤパネル２２（画像表示面上）の各点（各画素）の位置を対応位置として対応付けられ、ＬＣＤパネル２２の各画素の位置と、ディスプレイ面３４（ディスプレイ２０の表面上）の各点の位置とは、ディスプレイ面３４に対して垂直方向に重なる位置同士を対応位置として対応付けられている。また、表示画像の各画素の位置と、ディスプレイ面３４の各点の位置とは、ＬＣＤパネル２２の同一位置と対応位置関係にある位置同士が対応位置として対応付けられている。本実施の形態の説明において、それらの各面の対応位置での輝度を示す場合に、実際とは異なる面の位置（点、位置、画素等）での輝度として記載する場合もあるが、輝度に付した名称（パネル表示輝度、反射輝度、合成表示輝度等）等からどの面での輝度であるかが明らかであるため、それにしたがった面の対応位置での輝度を示しているものとする。
【０１３２】
また、以下において、ＬＣＤパネル２２におけるパネル表示輝度ＤＢとディスプレイ面３４における反射輝度Ｒとを対応位置同士で加算した輝度を「合成表示輝度」というものとしてパネル表示輝度ＤＢと区別する。
【０１３３】
図１７Ａ〜１７Ｃは、通常表示における入力映像信号の信号値Ｘと合成表示輝度ＭＤＢとの関係を示した図であり、図１７Ａは、ディスプレイ面３４での外光の反射輝度Ｒが０となる点（画素）、図１７Ｃは、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）、図１７Ｂは、反射輝度Ｒが０〜最大値Ｒｍａｘの間の中間的な値Ｒｍｉｄとなる点（画素）での関係を示した図である。
【０１３４】
図１７Ａに示すように反射輝度Ｒが０となる点では、入力映像信号の信号値Ｘに応じて図１６Ｃに示したパネル表示輝度ＤＢの特性曲線ＤＢＣと同一の特性曲線ＭＤＢＣｍｉｎにしたがって合成表示輝度ＭＤＢが変化する。また、信号値Ｘが最大値Ｘｍａｘのときの合成表示輝度ＭＤＢの最大値ＭＤＢｍａｘも図１６Ｃに示したパネル表示輝度ＤＢの最大値ＤＢｍａｘと等しくなる。
【０１３５】
これに対して図１７Ｂや図１７Ｃに示すように、反射輝度Ｒが０ではない点では、図１７Ａの特性曲線ＭＤＢＣｍｉｎ（即ち、図１６Ｃの特性曲線ＤＢＣ）の全体を反射輝度Ｒ分高くする方向にシフトさせた特性曲線ＭＤＢＣｍｉｄ、ＭＤＢＣｍａｘとなり、反射輝度が０となる点と比較して、各信号値Ｘでの合成表示輝度ＭＤＢが反射輝度Ｒ分の高くなる。
【０１３６】
即ち、特性曲線ＤＢＣを信号値Ｘに対する関数ＤＢＣ（Ｘ）として表し、合成表示輝度ＭＤＢの特性曲線を信号値Ｘに対する関数ＭＤＢＣ（Ｘ）として表すと、次式（７）、
合成表示輝度ＭＤＢ＝パネル表示輝度ＤＢ＋反射輝度Ｒ  ・・・（７）
が成り立つことから、特性曲線ＭＤＢＣ（Ｘ）は、次式（８）により表される。
【０１３７】
ＭＤＢＣ（Ｘ）＝ＤＢＣ（Ｘ）＋Ｒ  ・・・（８）
この関係式（８）において、特性曲線ＭＤＢＣｍｉｎ、ＭＤＢＣｍｉｄ、ＭＤＢＣｍａｘは各々、特性曲線ＭＤＢＣ（Ｘ）のＲをＲ＝０、Ｒ＝Ｒｍｉｄ、Ｒ＝Ｒｍａｘとしたときの曲線を示している。
【０１３８】
したがって、通常表示での表示輝度制御の場合、観察者は、入力映像信号の信号値Ｘに対して、ディスプレイ面３４での各位置の反射輝度Ｒに応じて異なる特性曲線ＭＤＢＣ（Ｘ）にしたがった合成表示輝度ＭＤＢの表示画像を観察することになる。たとえば、ディスプレイ面３４に図１８Ａに示すように反射輝度Ｒが低輝度（例えば０）の低輝度領域１２０と、反射輝度Ｒが高輝度（Ｒ＞０）の高輝度領域１２２とからなる反射輝度分布が生じているとする。
【０１３９】
このとき、通常表示でのパネル表示輝度ＤＢの特性曲線ＤＢＣ（Ｘ）にしたがって図１８Ｂに示すような表示画像１０８をＬＣＤパネル２２に表示したとすると、図１８Ｃに示すような表示画像１０８が観察される。
【０１４０】
これによれば、反射輝度Ｒの高輝度領域では発光輝度がオフセットされ、所謂黒浮きした画像となる。一方、反射輝度Ｒの低輝度領域（Ｒ＝０）では通常の階調特性の画像となる。したがって、本来は平坦な表示画像であっても外光が反射する領域が明るく見えてしまい、反射ムラとして視認される。これによって、表示画像の視認性が悪くなる。
【０１４１】
そこで、本実施の形態の表示輝度補正処理では、入力映像信号の信号値Ｘと、合成表示輝度ＭＤＢとの関係が、反射輝度Ｒにかかわらず、一定の特性曲線にしたがって制御されるように、通常表示での表示輝度制御に対してＬＣＤパネル２２のパネル表示輝度ＤＢを補正する。なお、この表示輝度補正処理を施した輝度表示制御による表示を「補正表示」というものとする。
【０１４２】
図１９Ａ〜１９Ｃは、補正表示を行う場合において、入力映像信号の信号値Ｘと、合成表示輝度ＭＤＢとの関係を示した図であり、図１７Ａ〜１７Ｃに対応して、図１９Ａは反射輝度Ｒが０となる点（画素）、図１９Ｂは反射輝度Ｒが０〜最大値の間の中間的な値Ｒｍｉｄとなる点（画素）、図１９Ｃは、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）での関係を示した図である。
【０１４３】
これらの図１９Ａ〜１９Ｃに示すように、補正表示における表示輝度制御では、反射輝度Ｒにかかわらず、入力映像信号の信号値Ｘに対して合成表示輝度ＭＤＢが同一の特性曲線ＯＭＤＢＣにしたがって制御されるものとする。そのために、ＬＣＤパネル２２に表示する表示画像のパネル表示輝度ＤＢ（バックライト輝度ＢＬ×光透過率Ｔ）を後述のように補正する。
【０１４４】
これによって、観察者がディスプレイ２０に表示された表示画像を観察した場合に、反射輝度Ｒも含めた表示画像の表示輝度の階調特性が画面全体で統一される。したがって、通常表示では図１８Ｃのように観察された表示画像が、補正表示では、図２５Ａ、２５Ｂのように反射ムラの抑制された表示画像となり、視認性の向上が図られる。
【０１４５】
図１９Ａ〜１９Ｃの特性曲線ＯＭＤＢＣの例では、信号値Ｘが最大値Ｘｍａｘのときの合成表示輝度ＭＤＢの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘとし、その最大値ＭＤＢｍａｘとディスプレイ面３４全体のうちの反射輝度Ｒの最大値Ｒｍａｘとの間の範囲に特性曲線ＯＭＤＢＣの可変範囲が設定されている。そのため、図１９Ａ〜１９Ｃの各々に示した通常表示での特性曲線ＭＤＢＣｍｉｎ、ＭＤＢＣｍｉｄ、ＭＤＢＣｍａｘに対してダイナミックレンジを圧縮したものとなっている。なお、反射輝度Ｒの最大値Ｒｍａｘは、図９のステップＳ２０により推定した反射輝度分布に基づいて求められ、その反射輝度分布内における最大値とする。
【０１４６】
ここで、このように設定される特性曲線ＯＭＤＢＣを目標特性曲線ＯＭＤＢＣといい、その目標特性曲線ＯＭＤＢＣを信号値Ｘに対する関数ＯＭＤＢＣ（Ｘ）で表し、目標特性曲線ＯＭＤＢＣ（Ｘ）にしたがって制御された合成表示輝度ＭＤＢを特に目標合成表示輝度ＯＭＤＢというものとする。また、合成表示輝度ＭＤＢがその目標特性曲線ＯＭＤＢＣ（Ｘ）にしたがって制御されるようにするためのパネル表示輝度ＤＢの特性曲線を補正特性曲線ＣＤＢＣといい、その補正特性曲線ＣＤＢＣを信号値Ｘに対する関数ＣＤＢＣ（Ｘ）で表し、補正特性曲線ＣＤＢＣ（Ｘ）にしたがって制御されたパネル表示輝度ＤＢを特に補正パネル表示輝度ＣＤＢというものする。
【０１４７】
このとき、上式（７）から任意の信号値Ｘに対して次式（９）が成り立つ。
【０１４８】
目標合成表示輝度ＯＭＤＢ＝補正パネル表示輝度ＣＤＢ＋反射輝度Ｒ  ・・・（９）
この式（９）から次式（１０）が成り立つ。
【０１４９】
補正パネル表示輝度ＣＤＢ＝目標合成表示輝度ＯＭＤＢ−反射輝度Ｒ  ・・・（１０）
したがって、次式（１１）が成り立つ。
【０１５０】
ＣＤＢＣ（Ｘ）＝ＯＭＤＢＣ（Ｘ）−Ｒ  ・・・（１１）
この式（１０）、（１１）によれば、目標特性曲線ＯＭＤＢＣ（Ｘ）にしたがって合成表示輝度ＭＤＢが目標合成表示輝度ＯＭＤＢとなるように制御するためには、表示画像の各画素の信号値Ｘに対して求めた目標合成表示輝度ＯＭＤＢから各画素での反射輝度Ｒを引いた補正パネル表示輝度ＣＤＢとなるようにパネル表示輝度ＤＢを制御（補正）すればよく、そのようにパネル表示輝度ＤＢを制御するための補正特性曲線ＣＤＢＣ（Ｘ）は、目標特性曲線ＯＭＤＢＣ（Ｘ）から反射輝度Ｒを引いた曲線とすれば良いことを示している。
【０１５１】
図２０Ａ〜２０Ｃは、補正表示における表示輝度制御に関する図であり、入力映像信号の信号値Ｘと、パネル表示輝度ＤＢとの関係を示している。図１９Ａ〜１９Ｃに対応して、図２０Ａは反射輝度Ｒが０となる点（画素）、図２０Ｂは反射輝度Ｒが０〜最大値の間の中間的な値Ｒｍｉｄとなる点（画素）、図２０Ｃは、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）での関係を示した図である。
【０１５２】
これらの図には上記の補正特性曲線ＣＤＢＣ（Ｘ）が反射輝度Ｒの異なる補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘとして示されており、補正表示でのパネル表示輝度ＤＢ（補正パネル表示輝度ＣＤＢ）は、反射輝度Ｒに応じたそれらの補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘにしたがって制御される。
【０１５３】
特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘは、図１９Ａ〜１９Ｃと比較して分かるように、また、上式（１１）からも明らかなように、目標特性曲線ＯＭＤＢＣを反射輝度Ｒ分だけ低下させる方向にシフトした曲線となっている。
【０１５４】
また、図２０Ａ〜２０Ｃには図１６Ａ〜１６Ｃに示した通常表示でのパネル表示輝度ＤＢの特性曲線ＤＢＣも合わせて示されており、補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘの各々と通常表示での特性曲線ＤＢＣとの差分が補正表示での通常表示に対するパネル表示輝度ＤＢの補正量となる。
【０１５５】
補正表示でのパネル表示輝度ＤＢである補正パネル表示輝度ＣＤＢを、図１６Ｃに示した通常表示でのパネル表示輝度ＤＢに対する補正量ΔＤＢ（パネル表示輝度ＤＢの補正量ΔＤＢ）として算出する場合の算出式を示しておく。図１６Ｃに示した通常表示での特性曲線ＤＢＣを標準特性曲線といい、その標準特性曲線ＤＢＣを上式（８）で用いたのと同様に信号値Ｘに対する関数ＤＢＣ（Ｘ）で表し、標準特性曲線ＤＢＣ（Ｘ）にしたがって制御されたパネル表示輝度ＤＢを特に標準パネル表示輝度ＮＤＢというものとすると、補正量ΔＤＢは、上式（１０）を用いて次式（１２）により求められる。
【０１５６】
パネル表示輝度ＤＢの補正量ΔＤＢ＝補正パネル表示輝度ＣＤＢ−標準パネル表示輝度ＮＤＢ＝目標合成表示輝度ＯＭＤＢ−反射輝度Ｒ−標準パネル表示輝度ＮＤＢ＝ＯＭＤＢＣ（Ｘ）−Ｒ−ＤＢＣ（Ｘ）  ・・・（１２）
したがって、補正表示では、目標特性曲線ＯＭＤＢＣ（Ｘ）を設定した後、ＬＣＤパネル２２の各画素におけるパネル表示輝度ＤＢの補正量ΔＤＢを、各画素での信号値Ｘ及び反射輝度Ｒに基づいて上式（１２）により算出し、標準パネル表示輝度ＮＤＢに対してその補正量ΔＤＢ分の補正（加算）を行ったパネル表示輝度でＬＣＤパネル２２の各画素の表示輝度を制御すればよい。
【０１５７】
ただし、このように標準パネル表示輝度ＮＤＢに対して補正量ΔＤＢ分を補正して求められるパネル表示輝度ＤＢは、補正パネル表示輝度ＣＤＢそのものの値であるため、補正量ΔＤＢを求めることなく、上式（１０）や上式（１１）を用いて補正パネル表示輝度ＣＤＢを直接的に求めて、ＬＣＤパネル２２の各画素の表示輝度をその補正パネル表示輝度ＣＤＢとなるように制御してもよい。その場合においても通常表示での標準パネル表示輝度ＮＤＢに対して補正を行ったものと解釈できる。
【０１５８】
ここで、補正パネル表示輝度ＣＤＢを負の値にするような補正は行うことができず、上式（９）から反射輝度Ｒよりも目標合成表示輝度ＯＭＤＢが小さい値となることは好ましくない。
【０１５９】
そのため、目標合成表示輝度ＯＭＤＢ（目標特性曲線ＯＭＤＢＣ（Ｘ））の最小値（可変範囲の下限値）を、図１９Ａ〜１９Ｃのように反射輝度Ｒの最大値Ｒｍａｘとするか、または、それより大きな値とすることが望ましい。通常表示でのパネル表示輝度ＤＢ（標準パネル表示輝度ＮＤＢ）の最小値（標準特性曲線ＤＢＣの可変範囲の下限値）が０とならない場合には、その最小値と反射輝度Ｒの最大値Ｒｍａｘとを加算した値以上の値とすることが望ましい。
【０１６０】
ただし、表示画像の低輝度側の階調特性が悪くても問題がない場合等においては、目標合成表示輝度ＯＭＤＢの最小値を反射輝度Ｒの最大値Ｒｍａｘ未満等として小さくしてもよい。
【０１６１】
このように目標合成表示輝度ＯＭＤＢ（目標特性曲線ＯＭＤＢＣ（Ｘ））の最小値は、ディスプレイ面３４での反射輝度分布などの状況に応じて変更することが望ましい。ユーザが手動で設定できるようにすることも可能である。
【０１６２】
一方、目標合成表示輝度ＯＭＤＢ（目標特性曲線ＯＭＤＢＣ（Ｘ））の最大値（可変範囲の上限値）は、画面の明るさを通常表示と同等の明るさに保持するために、通常表示での標準パネル表示輝度ＮＤＢの最大値ＤＢｍａｘに一致させることが望ましいことから図１９Ａ〜１９Ｃの特性曲線の例ではそのような値としている。ただし、後述のようにこの目標合成表示輝度ＯＭＤＢの最大値は、ディスプレイ面３４での反射輝度分布などの状況に応じて変更することが望ましい。
【０１６３】
なお、目標特性曲線ＯＭＤＢＣ（Ｘ）は、反射輝度Ｒにかかわらず同一の特性曲線であれば、任意の形態の特性曲線に設定することができる。
【０１６４】
次に、補正表示において、合成表示輝度ＭＤＢが図１９Ａ〜１９Ｃのような目標特性曲線ＯＭＤＢＣにしたがって制御されるように、パネル表示輝度ＤＢを図２０Ａ〜２０Ｃのような補正特性曲線ＣＤＢＣ（Ｘ）（補正特性曲線ＯＤＢＣｍｉｎ、ＯＤＢＣｍｉｄ、ＯＤＢＣｍａｘ）にしたがって制御するための具体的形態について説明する。
【０１６５】
本実施の形態と異なりディスプレイ２０が有機ＥＬディスプレイのような自発光型の表示パネル（２次元の表示素子）の場合、バックライトを必要とせず、表示パネルの各画素の表示輝度を、画素電極を駆動する駆動回路の電圧を変化させることで制御することができる。したがって、自発光型パネルの場合には、各画素の反射輝度Ｒと入力映像信号の信号値Ｘに基づいて図２０Ａ〜２０Ｃに示したような補正特性曲線ＣＤＢＣ（Ｘ）にしたがって各画素の表示輝度を制御すればよい。
【０１６６】
一方、本実施の形態のＬＣＤパネルのように透過型の表示パネルの場合には、以下のようにして補正表示での表示輝度制御を行う。
【０１６７】
上記のようにパネル表示輝度ＤＢは、バックライト輝度ＢＬとＬＣＤパネル２２の光透過率Ｔとにより、次式（１３）により表される。
【０１６８】
パネル表示輝度ＤＢ＝バックライト輝度ＢＬ×光透過率Ｔ  ・・・（１３）
したがって、パネル表示輝度ＤＢを補正パネル表示輝度ＣＤＢとなるように制御（補正）する形態として、通常表示でのバックライト輝度ＢＬとＬＣＤパネル２２の光透過率Ｔのうちのいずれか一方、又は両方を補正する３形態が考えられる。
【０１６９】
そこで、バックライト輝度ＢＬのみを補正する表示輝度制御（表示輝度補正処理）を第１補正形態、ＬＣＤパネル２２の光透過率Ｔのみを補正する表示輝度制御（表示輝度補正処理）を第２補正形態、バックライト輝度ＢＬとＬＣＤパネル２２の光透過率Ｔの両方を補正する表示輝度制御（表示輝度補正処理）を第３補正形態として以下、順に説明する。
【０１７０】
まず、第１補正形態の表示輝度補正処理について説明する。第１補正形態は、パネル表示輝度ＤＢが図２０Ａ〜２０Ｃに示したような補正特性曲線ＣＤＢＣ（Ｘ）（補正特性曲線ＯＤＢＣｍｉｎ、ＯＤＢＣｍｉｄ、ＯＤＢＣｍａｘ）にしたがった補正パネル表示輝度ＣＤＢとなるようバックライト輝度ＢＬのみを補正する形態であり、そのバックライト輝度ＢＬを補正バックライト輝度ＣＢＬというものとすると、補正バックライト輝度ＣＢＬは上式（１０）、（１３）から次式（１４）により求められる。
【０１７１】
補正バックライト輝度ＣＢＬ＝補正パネル表示輝度ＣＤＢ／光透過率Ｔ＝（目標合成表示輝度ＯＭＤＢ−反射輝度Ｒ）／光透過率Ｔ  ・・・（１４）
ここで、入力映像信号の信号値Ｘに対して補正バックライト輝度ＣＢＬがしたがう特性曲線をバックライト補正特性曲線といい、そのバックライト補正特性曲線を入力映像信号の信号値Ｘに対する関数ＣＢＬＣ（Ｘ）で表し、図１６Ａに示した通常表示での光透過率Ｔの特性曲線ＴＣを光透過率標準特性曲線といい、その光透過率標準特性曲線を信号値Ｘに対する関数ＴＣ（Ｘ）で表すものとする。また、上式（９）、（１０）で用いたのと同様に目標合成表示輝度ＯＭＤＢがしたがう目標特性曲線ＯＭＤＢＣを関数ＯＭＤＢＣ（Ｘ）で表し、補正パネル表示輝度ＣＤＢがしたがう補正特性曲線ＣＤＢＣを関数ＣＤＢＣ（Ｘ）で表すものとする。このとき、上式（１４）は次式（１５）により表される。
【０１７２】
ＣＢＬＣ（Ｘ）＝ＣＤＢＣ（Ｘ）／ＴＣ（Ｘ）＝（ＯＭＤＢＣ（Ｘ）−Ｒ）／ＴＣ（Ｘ）  ・・・（１５）
したがって、目標特性曲線ＯＭＤＢＣ（Ｘ）を設定した後、ＬＣＤパネル２２の各画素の補正バックライト輝度ＣＢＬを、各画素での信号値Ｘ及び反射輝度Ｒに基づいて上式（１５）により算出し、各画素のバックライト輝度ＢＬを補正バックライト輝度ＣＢＬとなるように制御すればよい。このような制御は、例えば、ＣＰＵ８０が、カメラ画像解析部７２から取得した反射輝度分布と、映像信号生成部４０等から取得可能な表示画像の各画素の信号値Ｘとに基づいて、バックライト制御信号生成部５０に制御信号を出力することによって行うことができる。
【０１７３】
目標合成表示輝度ＯＭＤＢが従う目標特性曲線ＯＭＤＢＣ（Ｘ）を図１９Ａ〜１９Ｃに示したように設定した場合について説明する。上式（１２）で用いたのと同様に図１６Ｃに示した通常表示でのパネル表示輝度ＤＢの特性曲線ＤＢＣを標準特性曲線ＤＢＣといい、その標準特性曲線ＤＢＣを信号値Ｘに対する関数ＤＢＣ（Ｘ）で表すものとすると、目標特性曲線ＯＭＤＢＣ（Ｘ）は、次式（１６）により表される（図１９Ａ〜１９Ｃ参照）。
【０１７４】
ＯＭＤＢＣ（Ｘ）＝ＤＢＣ（Ｘ）・（ＭＤＢｍａｘ−Ｒｍａｘ）／ＭＤＢｍａｘ＋Ｒｍａｘ  ・・・（１６）
上述した通り、ＭＤＢｍａｘは、通常表示でのパネル表示輝度ＤＢの最大値（標準特性曲線ＤＢＣ（Ｘ）の最大値）ＤＢｍａｘに等しく、また、ＤＢｍａｘは、通常表示での光透過率Ｔの最大値Ｔｍａｘを１００パーセント（数値は１．０）とすると、図１６Ｂに示した通常表示でのバックライト輝度ＢＬ０に等しい（ここではそのようにする）。Ｒｍａｘは反射輝度Ｒの最大値を示す。
【０１７５】
また、標準特性曲線ＤＢＣ（Ｘ）は、上式（１３）により、光透過率標準特性曲線ＴＣ（Ｘ）に対して通常表示でのバックライト輝度ＢＬ０を乗じた曲線となる。したがって、上式（１６）は次式（１７）により表される。
【０１７６】
ＯＭＤＢＣ（Ｘ）＝ＢＬ０・ＴＣ（Ｘ）・（ＢＬ０−Ｒｍａｘ）／ＢＬ０＋Ｒｍａｘ＝ＴＣ（Ｘ）・（ＢＬ０−Ｒｍａｘ）＋Ｒｍａｘ  ・・・（１７）
上式（１５）に上式（１７）を代入すると、次式（１８）が得られる。
【０１７７】
ＣＢＬＣ（Ｘ）＝ＢＬ０−Ｒｍａｘ＋（Ｒｍａｘ−Ｒ）／ＴＣ（Ｘ）  ・・・（１８）
図２１Ａ〜２１Ｃは、上式（１８）にしたがって、第１補正形態により補正表示を行う場合における入力映像信号の信号値Ｘとバックライト輝度ＢＬ（補正バックライト輝度ＣＢＬ）との関係を示した図であり、図２０Ａ〜２０Ｃに対応して、図２１Ａは反射輝度Ｒが０となる点（画素）、図２１Ｂは反射輝度Ｒが０〜最大値の間の中間的な値Ｒｍｉｄとなる点（画素）、図２１Ｃは、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）での関係を示した図である。
【０１７８】
また、図２１Ａ〜２１Ｃには、通常表示でのバックライト輝度ＢＬに関する特性曲線ＢＬＣ（一定のバックライト輝度ＢＬ０を示す直線）と、図２０Ａ〜２０Ｃに示した通常標示でのパネル表示輝度ＤＢに関する標準特性曲線ＤＢＣ（光透過率標準特性曲線ＴＣに相当）と、補正表示でのパネル表示輝度ＤＢに関する補正特性曲線ＣＤＢＣ（Ｘ）（ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘ）も輝度レベルを合わせて示されている。
【０１７９】
図２１Ａ〜２１Ｃにおいて、上記のバックライト補正特性曲線ＣＢＬＣ（Ｘ）が、反射輝度Ｒの異なるバックライト補正特性曲線ＣＢＬＣｍｉｎ、ＣＢＬＣｍｉｄ、ＣＢＬＣｍａｘとして示されている。第１補正形態による補正表示では、入力映像信号の信号値Ｘに対してそれらのバックライト補正特性曲線ＣＢＬＣｍｉｎ、ＣＢＬＣｍｉｄ、ＣＢＬＣｍａｘにしたがってバックライト輝度ＢＬが制御される。
【０１８０】
各バックライト補正特性曲線ＣＢＬＣｍｉｎ、ＣＢＬＣｍｉｄ、ＣＢＬＣｍａｘは、通常表示でのパネル表示輝度ＤＢの標準特性曲線ＤＢＣを補正表示でのパネル表示輝度ＤＢの補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘに一致させるためのバックライト輝度ＢＬを示している。
【０１８１】
図２１Ｃと上式（１８）から明らかなように、反射輝度Ｒが最大値Ｒｍａｘとなる点では、バックライト補正特性曲線ＣＢＬＣｍａｘが通常表示での特性曲線ＢＬＣよりも輝度Ｒｍａｘ分低くなる方向にシフトされ、信号値Ｘにかかわらず、バックライト輝度ＢＬがバックライト輝度（ＢＬ０−Ｒｍａｘ）に保持されることを示している。
【０１８２】
これによれば、図２０Ａ〜２０Ｃのように設定した目標特性曲線ＯＭＤＢＣは、反射輝度Ｒが最大値Ｒｍａｘとなる点において、信号値Ｘにかかわらずバックライト輝度ＢＬをバックライト輝度（ＢＬ０−Ｒｍａｘ）に低下させ、信号値Ｘに対して通常表示での光透過率標準特性曲線ＴＣ（Ｘ）にしたがって光透過率Ｔを制御したと仮定した場合に合成表示輝度ＭＤＢがしたがう特性曲線を目標特性曲線として設定したことを意味している。
【０１８３】
反射輝度Ｒが最大値Ｒｍａｘではない点では、図２１Ａ、２１Ｂのバックライト補正特性曲線ＣＢＬＣｍｉｎ、ＣＢＬＣｍｉｄのように信号値Ｘが最大値Ｘｍａｘのときに、バックライト輝度ＢＬが通常表示でのバックライト輝度ＢＬ０よりも反射輝度Ｒと同じ輝度分低くなるバックライト輝度ＢＬに設定される。そして、信号値Ｘが小さくなるほど、バックライト輝度ＢＬが大きくなる傾向を示す。
【０１８４】
上式（１８）によれば信号値Ｘが最小値Ｘｍｉｎのときに光透過率Ｔ（光透過率標準特性曲線ＴＣ（Ｘ））が０となるような場合には、バックライト輝度ＢＴが発散してしまうが、実際には光透過率Ｔが０にはならないこと、また、信号値Ｘが低い領域では画素が暗く、パネル表示輝度ＤＢに補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄとの差異が生じても表示画像に大きな差異は生じないため、バックライト輝度ＢＴに上限を設けることなどでバックライト輝度ＢＴの発散を回避することができる。
【０１８５】
次に第２補正形態の表示輝度補正処理について説明する。第２補正形態は、パネル表示輝度ＤＢが図２０Ａ〜２０Ｃに示したような補正特性曲線ＣＤＢＣ（Ｘ）（補正特性曲線ＯＤＢＣｍｉｎ、ＯＤＢＣｍｉｄ、ＯＤＢＣｍａｘ）にしたがった補正パネル表示輝度ＣＤＢとなるように光透過率Ｔのみを補正する場合であり、その光透過率Ｔを補正光透過率ＣＴというものとすると、補正光透過率ＣＴは、上式（１０）、（１３）から次式（１９）により求められる。
【０１８６】
補正光透過率ＣＴ＝補正パネル表示輝度ＣＤＢ／バックライト輝度ＢＬ＝（目標合成表示輝度ＯＭＤＢ−反射輝度Ｒ）／バックライト輝度ＢＬ  ・・・（１９）
ここで、入力映像信号の信号値Ｘに対して補正光透過率ＣＴがしたがう特性曲線を光透過率補正特性曲線といい、その光透過率補正特性曲線を入力映像信号の信号値Ｘに対する関数ＣＴＣ（Ｘ）で表し、図１６Ｂに示した通常表示でのバックライト輝度ＢＬの特性曲線ＢＬＣをバックライト標準特性曲線といい、そのバックライト標準特性曲線を信号値Ｘに対する関数ＢＬＣ（Ｘ）で表すものとする。また、上式（９）、（１０）で用いたのと同様に目標合成表示輝度ＯＭＤＢがしたがう目標特性曲線を関数ＯＭＤＢＣ（Ｘ）で表し、補正パネル表示輝度ＣＤＢがしたがう補正特性曲線を関数ＣＤＢＣ（Ｘ）で表すものとする。このとき、上式（１９）は次式（２０）により表される。
【０１８７】
ＣＴＣ（Ｘ）＝ＣＤＢＣ（Ｘ）／ＢＬＣ（Ｘ）＝（ＯＭＤＢＣ（Ｘ）−Ｒ）／ＢＬＣ（Ｘ）  ・・・（２０）
したがって、目標特性曲線ＯＭＤＢＣ（Ｘ）を設定した後、ＬＣＤパネル２２の各画素の補正光透過率ＣＴを、各画素での信号値Ｘ及び反射輝度Ｒに基づいて上式（２０）により算出し、各画素の光透過率Ｔを補正光透過率ＣＴとなるように制御すればよい。
【０１８８】
目標合成表示輝度ＯＭＤＢがしたがう目標特性曲線ＯＭＤＢＣ（Ｘ）を図１９Ａ〜１９Ｃに示したように設定した場合について説明する。上式（１２）で用いたのと同様に図１６Ｃに示した通常表示でのパネル表示輝度ＤＢの特性曲線ＤＢＣを標準特性曲線といい、その標準特性曲線ＤＢＣを信号値Ｘに対する関数ＤＢＣ（Ｘ）で表すものとする。また、図１６Ａに示した通常表示での光透過率Ｔの特性曲線ＴＣを光透過率標準特性曲線といい、その光透過率標準特性曲線を信号値Ｘに対する関数ＴＣ（Ｘ）で表し、上式（１７）と同様に目標特性曲線ＯＭＤＢＣ（Ｘ）を表すものとし、上式（２０）に代入すると、次式（２１）が得られる。なお、上式（２０）のＢＬＣ（Ｘ）も上式（１７）と同様にＢＬＣ（Ｘ）＝ＢＬ０とする。
【０１８９】
ＣＴＣ（Ｘ）＝（ＴＣ（Ｘ）・（ＢＬ０−Ｒｍａｘ）＋Ｒｍａｘ−Ｒ）／ＢＬ０＝ＴＣ（Ｘ）・（ＢＬ０−Ｒｍａｘ）／ＢＬ０＋（Ｒｍａｘ−Ｒ）／ＢＬ０  ・・・（２１）
図２２Ａ〜２２Ｃは、上式（２１）にしたがって、第２補正形態により補正表示を行う場合における入力映像信号の信号値Ｘと光透過率Ｔ（補正光透過率ＣＴ）との関係を示した図であり、図２０Ａ〜２０Ｃに対応して、図２２Ａは反射輝度Ｒが０となる点（画素）、図２２Ｂは反射輝度Ｒが０〜最大値の間の中間的な値Ｒｍｉｄとなる点（画素）、図２２Ｃは、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）での関係を示した図である。なお、図２２Ａ〜２２Ｃには、通常表示での光透過率Ｔを制御する光透過率標準特性曲線ＴＣも示されている。
【０１９０】
図２２Ａ〜２２Ｃにおいて、上記の光透過率補正特性曲線ＣＴＣ（Ｘ）が反射輝度Ｒの異なる光透過率補正特性曲線ＣＴＣｍｉｎ、ＣＴＣｍｉｄ、ＣＴＣｍａｘとして示されている。第２補正形態による補正表示では、入力映像信号の信号値Ｘに対してそれらの光透過率補正特性曲線ＣＴＣｍｉｎ、ＣＴＣｍｉｄ、ＣＴＣｍａｘにしたがって光透過率Ｔが制御される。各光透過率補正特性曲線ＣＴＣｍｉｎ、ＣＴＣｍｉｄ、ＣＴＣｍａｘは、通常表示でのパネル表示輝度ＤＢの標準特性曲線ＤＢＣを補正表示でのパネル表示輝度ＤＢの補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘに一致させるための光透過率Ｔを示している。
【０１９１】
図２２Ａ〜２２Ｃと上式（２１）から明らかなように、光透過率補正特性曲線ＣＴＣ（Ｘ）は反射輝度Ｒにかかわらず、光透過率標準特性曲線ＴＣ（Ｘ）を光透過率Ｔに関して（ＢＬ０−Ｒｍａｘ）／ＢＬ０倍に伸縮（圧縮）した曲線となっており、反射輝度Ｒに応じた値（Ｒｍａｘ−Ｒ）／ＢＬ０だけ、全体として光透過率Ｔを１．０から低くなる方にシフトさせたものとなっている。また、上式（２０）から明らかなように、図２０Ａ〜２０Ｃに示した補正特性曲線ＣＤＢＣ（Ｘ）（ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘ）をバックライト輝度ＢＬ０で割ったものにも相当している。
【０１９２】
なお、第２補正形態では、バックライト輝度ＢＬを画素ごとに制御する必要がないため、バックライトユニットとして本実施の形態のように画素ごと（領域ごと）にバックライト輝度を個別に制御できるものでなくてもよい。
【０１９３】
また、第２補正形態のように、主として光透過率Ｔによって補正を行う場合には、光透過率Ｔの可変範囲（ダイナミックレンジ）に制限をかけておき（例えば、８ｂｉｔ：２５５階調のパネルのうち、６ｂｉｔ：６４階調のみ使用）、補正可能な範囲の確保しておくようにしてもよい。
【０１９４】
次に第３補正形態の表示輝度補正処理について説明する。第３補正形態は、パネル表示輝度ＤＢが補正特性曲線ＣＤＢＣにしたがった補正パネル表示輝度ＣＤＢとなるようバックライト輝度ＢＬと光透過率Ｔの両方を補正する形態であり、その補正するバックライト輝度ＢＬを補正バックライト輝度ＣＢＬといい、補正する光透過率Ｔを補正光透過率ＣＴというものとすると、上式（１０）、（１３）から次式（２２）が導かれる。
【０１９５】
補正バックライト輝度ＣＢＬ×補正光透過率ＣＴ＝補正パネル表示輝度ＣＤＢ＝目標合成表示輝度ＯＭＤＢ−反射輝度Ｒ  ・・・（２２）
この場合には、補正バックライト輝度ＣＢＬと補正光透過率ＣＴとは一義的には決まらず、少なくともそれらを掛け合わせたパネル表示輝度ＤＢが上式（２２）を満たすものであれば自由に変更できる。即ち、補正バックライト輝度ＣＢＬ×補正光透過率ＣＴが図２０Ａ〜２０Ｃに示した補正特性曲線ＣＤＢＣ（Ｘ）（ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘ）にしたがって制御されるように補正バックライト輝度ＣＢＬと補正光透過率ＣＴの各々を制御すればよい。
【０１９６】
例えば、通常表示でのバックライト輝度ＢＬと光透過率Ｔの各々に対する第１補正形態におけるバックライト輝度ＢＬの補正量と第２補正形態における光透過率の補正量を調整して第１補正形態と第２補正形態とを併用する態様、各画素での反射輝度Ｒに応じて各画素に対して適用する補正形態を第１補正形態と第２補正形態とで別の補正形態とする態様、信号値Ｘに応じて適用する補正形態を第１補正形態と第２補正形態とで別の補正形態とする態様等が考えられる。更にこれらの態様を組み合わせることも考えられ、どのような態様であってもよい。
【０１９７】
ここでは、第３補正形態として、反射輝度Ｒが最大値Ｒｍａｘとなる画素に対しては第１補正形態を適用し、反射輝度Ｒが最小値０となる画素に対しては第２補正形態を適用する形態について説明する。
【０１９８】
図２３Ａ，２３Ｂは、第３補正形態での表示輝度制御（表示輝度補正処理）の示した図であり、図２３Ａは、入力映像信号の信号値Ｘと、バックライト輝度ＢＬ（補正バックライト輝度ＣＢＬ）との関係を示した図であり、図２３Ｂは、入力映像信号の信号値Ｘと、光透過率Ｔ（補正光透過率ＣＴ）との関係を示した図である。
【０１９９】
図２３Ａ，２３Ｂには、上記第１補正形態や第２補正形態と同様に、図１６Ａ〜１６Ｃに示した通常表示での表示輝度制御に対して、図２０Ａ〜２０Ｃのように反射輝度Ｒにかかわらず同一の特性曲線である目標特性曲線ＯＭＤＢＣにしたがって合成表示輝度ＭＤＢを制御する場合の特性曲線が示されている。
【０２００】
図２３Ａには、図２０Ａ〜２０Ｃに対応して、反射輝度Ｒが０となる点（画素）に関するバックライト補正特性曲線ＣＢＬＣｍｉｎと、反射輝度Ｒが０〜最大値の間の中間的な値Ｒｍｉｄとなる点（画素）に関するバックライト補正特性曲線ＣＢＬＣｍｉｄと、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）に関するバックライト補正特性曲線ＣＢＬＣｍａｘが示されている。
【０２０１】
図２３Ｂには、同様に、反射輝度Ｒが０となる点（画素）に関する光透過率補正特性曲線ＣＴＣｍｉｎと、反射輝度Ｒが０〜最大値の間の中間的な値Ｒｍｉｄとなる点（画素）に関する光透過率補正特性曲線ＣＴＣｍｉｄと、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）に関する光透過率補正特性曲線ＣＴＣｍａｘが示されている。
【０２０２】
これによれば、反射輝度Ｒが０となる点では、図２３Ａに示すように信号値Ｘに対してバックライト輝度ＢＬがバックライト補正特性曲線ＣＢＬＣｍｉｎにしたがって制御され、信号値Ｘにかかわらず、通常表示の場合と同様にバックライト輝度ＢＬが一定輝度ＢＬ０に保持される。
【０２０３】
したがって、反射輝度Ｒが０となる点では、第２補正形態と同一の表示輝度制御が行われるようになっており、図２３Ｂに示すように光透過率Ｔは、図２２Ａに示した第２補正形態のものと一致する光透過率補正特性曲線ＣＴＣｍｉｎにしたがって制御される。これによって、パネル表示輝度ＤＢが図２０Ａに示した補正特性曲線ＣＤＢＣｍｉｎにしたがって制御され、合成表示輝度ＭＤＢが図１９Ａに示した目標特性曲線ＯＭＤＢＣにしたがって制御される。
【０２０４】
また、反射輝度Ｒが最大値Ｒｍａｘとなる点では、図２３Ａに示すように信号値Ｘに対してバックライト輝度ＢＬがバックライト補正特性曲線ＣＢＬＣｍａｘにしたがって制御され、信号値Ｘにかかわらずバックライト輝度ＢＬが一定のバックライト輝度（ＢＬ０−Ｒｍａｘ）に下げられて保持される。
【０２０５】
したがって、反射輝度Ｒが最大値Ｒｍａｘとなる点では、第１補正形態と同一の表示輝度制御が行われるようになっており、図２３Ｂに示すように光透過率Ｔは、図１６Ｃに示した通常表示での特性曲線ＴＣと一致する光透過率補正特性曲線ＣＴＣｍａｘにしたがって制御される。これによって、パネル表示輝度ＤＢが図２０Ｃに示した補正特性曲線ＣＤＢＣｍａｘにしたがって制御され、合成表示輝度ＭＤＢが図１９Ｃに示した目標特性曲線ＯＭＤＢＣにしたがって制御される。
【０２０６】
一方、反射輝度Ｒが中間的な値Ｒｍｉｄとなる点では、図２３Ａに示すように信号値Ｘに対してバックライト輝度ＢＬがバックライト補正特性曲線ＣＢＬＣｍｉｄにしたがって制御され、信号値Ｘにかかわらずバックライト輝度ＢＬが一定のバックライト輝度（ＢＬ０−Ｒｍｉｄ）に保持される。これに対して、光透過率Ｔは、図２３Ｂに示すように光透過率補正特性曲線ＣＴＣｍｉｄにしたがって制御される。
【０２０７】
この光透過率補正特性曲線ＣＴＣｍｉｄは、信号値Ｘの最大値Ｘｍａｘに対して他の光透過率補正特性曲線ＣＴＣｍｉｎ、ＣＴＣｍａｘと同様に光透過率Ｔの最大値１．０となり、信号値Ｘの最小値Ｘｍｉｎに対して（Ｒｍａｘ−Ｒｍｉｄ）／ＢＬ０の値をとる。これによって、パネル表示輝度ＤＢが図２０Ｂに示した補正特性曲線ＣＤＢＣｍｉｄにしたがって制御され、合成表示輝度ＭＤＢが図１９Ｂに示した目標特性曲線ＯＭＤＢＣにしたがって制御される。
【０２０８】
このような反射輝度Ｒが中間的な値Ｒｍｉｄとなる点での制御は第１補正形態及び第２補正形態のいずれとも相違し、バックライト輝度ＢＬを反射輝度Ｒに相当する分だけ低下させ、光透過率補正特性曲線ＣＴＣｍｉｄの曲線形状によって補正特性曲線ＣＤＢＣｍｉｄと一致させるようにしたものとなっている。
【０２０９】
この第３補正形態によれば、バックライト輝度ＢＬを低下させるようにしているため、省電力効果があり、また、バックライト輝度を信号値Ｘにかかわらず一定輝度に保持すればよいため、制御としても簡素である。この第３補正形態による補正表示を「省電力モード」ということができる。
【０２１０】
次に、上記補正表示において、視認性を更に向上させるための処理について説明する。
【０２１１】
図１９Ａ〜１９Ｃに示した目標特性曲線ＯＭＤＢＣ（目標合成表示輝度ＯＭＤＢ）の例では、信号値Ｘが最大値Ｘｍａｘのときの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘに一致させた場合を示したが、最大値ＭＤＢｍａｘは、通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘよりも小さくても良いし、大きくてもよい。
【０２１２】
図２４Ａ、２４Ｂは、図１９Ａ〜１９Ｃに示した目標特性曲線ＯＭＤＢＣ（目標合成表示輝度ＯＭＤＢ）の最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘよりも大きくした場合を示しており、図２４Ａは反射輝度Ｒが０となる点（画素）、図２４Ｂは、ディスプレイ面３４全体のうちの反射輝度Ｒが最大値Ｒｍａｘとなる点（画素）での関係を示し、反射輝度Ｒが０〜最大値の間の中間的な値Ｒｍｉｄとなる点（画素）での関係は省略している。
【０２１３】
図２４Ａ、２４Ｂのように目標特性曲線ＯＭＤＢＣを設定する場合、図１９Ａ〜１９Ｃのように目標特性曲線ＯＭＤＢＣを設定した場合に対して補正表示でのバックライト輝度ＢＬを高くすることを意味するが、通常表示でのバックライト輝度ＢＬ０を高くしたと仮定して図１９Ａ〜１９Ｃと同様に目標特性曲線ＯＭＤＢＣを設定し、上述の任意の補正形態を用いた補正表示での表示輝度制御と一致する。したがって、この場合の制御については詳細な説明は不要である。目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘよりも小さくした場合も同様である。
【０２１４】
なお、このように通常表示でのバックライト輝度ＢＬ０を変更したと仮定して第２補正形態（光透過率Ｔのみを補正する形態）を適用した表示輝度制御を行う場合においては、実質的には通常表示に対してバックライト輝度ＢＬも変更したことになるため、この場合の表示輝度制御は、第２補正形態ではなく第３補正形態に該当するものとも言えるが、バックライト輝度ＢＬを反射輝度Ｒや入力映像信号の信号値Ｘに応じて変更するものではないため、第２補正形態に該当する表示輝度制御とするのが適切である。
【０２１５】
目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘよりも小さくした場合には（目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを小さくすればするほど）省電力効果が増加する。
【０２１６】
一方、図２４Ａ、２４Ｂのように目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘよりも大きくした場合には、図２５Ｂのような表示画像を観察することになり、図１９Ａ〜１９Ｃのように目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘに一致させた場合に観察する図２５Ａと比較して、コントラスト比を改善することができ、視認性を向上させることができる。
【０２１７】
ここで、第１補正形態〜第３補正形態のいずれの補正表示の場合においても、また、自発光型の表示パネルに対する補正表示の場合においても、省電力化を図る「省電力モード」と視認性の向上を優先する「視認性向上モード」をユーザが適宜状況に応じて所定の選択手段（タッチパネル３６を使用した入力操作等）により選択できるようにすると好適である。
【０２１８】
「省電力モード」が選択された場合には、図１９Ａ〜１９Ｃのように目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘ以下の値、即ち、目標合成表示輝度ＯＭＤＢの可変範囲の上限値（最大値ＭＤＢｍａｘ）を、通常表示（補正を行わない場合）における表示画像のパネル表示輝度ＤＢの可変範囲の上限値（最大値ＤＢｍａｘ）以下の値に設定することが望ましい。
【０２１９】
一方、「視認性向上モード」が選択された場合には、目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘ以下の値、即ち、目標合成表示輝度ＯＭＤＢの可変範囲の上限値（最大値ＭＤＢｍａｘ）を、通常表示（補正を行わない場合）における表示画像のパネル表示輝度ＤＢの可変範囲の上限値（最大値ＤＢｍａｘ）よりも大きい値に設定することが望ましい。特に、目標合成表示輝度ＯＭＤＢの可変範囲の上限値（最大値ＭＤＢｍａｘ）を、反射輝度分布における最大輝度（反射輝度Ｒの最大値Ｒｍａｘ）と、通常表示（補正を行わない場合）における表示画像のパネル表示輝度ＤＢの可変範囲の上限値（最大値ＤＢｍａｘ）とを加算した合成表示輝度以上の値に設定すると、通常表示での表示輝度のダイナミックレンジと同等以上のダイナミックレンジで画像表示を行うことができるため好適である。
【０２２０】
これらの各モードにおいて設定される目標合成表示輝度ＯＭＤＢの最大値ＤＢｍａｘは、事前に決められたアルゴリズムにしたがった値であってもよいし、ユーザが任意に設定、変更できる値としてもよい。モードを選択することなく、その値自体をユーザが任意に設定、変更できるようにしてもよい。さらに、全体的に反射輝度Ｒが低い場合には「省電力モード」、高い場合には「視認性向上モード」というように、反射輝度分布の状態等に応じていずれかのモードに自動的に切り替えるようにしてもよいし、反射輝度分布の状態等に応じて最大値ＤＢｍａｘを自動的に切り替えるようにしてもよい。
【０２２１】
以上の補正表示の表示輝度制御（表示輝度補正処理）は、例えば、図５において、ＣＰＵ８０がディスプレイ面３４での反射輝度分布の情報を取得し、その反射輝度分布の情報に基づいて、目標特性曲線ＯＭＤＢＣ（図１９Ａ〜１９Ｃ参照）を設定する。そして、バックライト輝度ＢＬを補正する場合にはＣＰＵ８０が、ＬＣＤパネル２２の各画素の反射輝度Ｒと入力映像信号の信号値Ｘと目標特性曲線ＯＭＤＢＣにより、ＬＣＤパネル２２の各画素のバックライト輝度ＢＬを求め、それにしたがってバックライト制御信号生成部５０に制御信号を出力してバックライト輝度を制御する。
【０２２２】
ＬＣＤパネル２２の光透過率Ｔを補正する場合には、同様にしたＬＣＤパネル２２の各画素の光透過率Ｔを算出してその情報を映像信号生成部４０に出力し、それにしたがった映像信号を映像信号生成部４０からＬＣＤ駆動回路４２に出力させてＬＣＤパネル２２の各画素の光透過率Ｔを制御することができる。ただし、中間的な情報を映像信号生成部４０に出力して、映像信号生成部４０において補正を行うようにすることもできる。例えば、補正表示において光透過率Ｔを制御するための特性曲線ＣＴＣ（Ｘ）を図２０Ａ〜２０Ｃのように生成し、その特性曲線ＣＴＣ（Ｘ）を映像信号生成部４０に与えるようにしてもよい。このとき、各画素の反射輝度Ｒの情報も同時に与え、各画素に対して反射輝度Ｒに応じた特性曲線にしたがった補正を行わせるようにする。
【０２２３】
また、このような表示輝度制御（表示輝度補正処理）は、ＣＰＵ８０で行うのではなく、他の処理部で行うようにしてもよい。
【０２２４】
また、反射輝度Ｒに応じて異なる特性曲線にしたがった制御が行われるが、反射輝度Ｒをいくつかのレベル範囲に区分して、レベル範囲ごとの特性曲線によって制御するようにしてもよい。
【０２２５】
以上、上記実施の形態では、モバイル端末に本発明に係る表示装置を適用した場合について説明したが、これに限らず、任意の機器に組み込まれる表示装置に適用できる。たとえば、ディスクトップ型のパーソナルコンピュータやテレビなどの通常では持ち運ばない機器に使用される表示装置においても有効に適用できる。
【符号の説明】
【０２２６】
１０…モバイル端末、２０…ディスプレイ、２２…ＬＣＤパネル、２４…バックライトユニット、２６…白色ＬＥＤ、３４…ディスプレイ面、３６…タッチパネル、４０…映像信号生成部、４２…ＬＣＤ駆動回路、５０…バックライト制御信号生成部、５２…ＬＥＤドライバ、６０…カメラ、７２…カメラ画像解析部、８０…ＣＰＵ
【図１】
2014027569.tif 000003
【図２】
2014027569.tif 000004
【図３】
2014027569.tif 000005
【図４】
2014027569.tif 000006
【図５】
2014027569.tif 000007
【図６Ａ】
2014027569.tif 000008
【図６Ｂ】
2014027569.tif 000009
【図６Ｃ】
2014027569.tif 000010
【図７】
2014027569.tif 000011
【図８】
2014027569.tif 000012
【図９】
2014027569.tif 000013
【図１０Ａ】
2014027569.tif 000014
【図１０Ｂ】
2014027569.tif 000015
【図１１】
2014027569.tif 000016
【図１２】
2014027569.tif 000017
【図１３】
2014027569.tif 000018
【図１４】
2014027569.tif 000019
【図１５】
2014027569.tif 000020
【図１６Ａ】
2014027569.tif 000021
【図１６Ｂ】
2014027569.tif 000022
【図１６Ｃ】
2014027569.tif 000023
【図１７Ａ】
2014027569.tif 000024
【図１７Ｂ】
2014027569.tif 000025
【図１７Ｃ】
2014027569.tif 000026
【図１８Ａ】
2014027569.tif 000027
【図１８Ｂ】
2014027569.tif 000028
【図１８Ｃ】
2014027569.tif 000029
【図１９Ａ】
2014027569.tif 000030
【図１９Ｂ】
2014027569.tif 000031
【図１９Ｃ】
2014027569.tif 000032
【図２０Ａ】
2014027569.tif 000033
【図２０Ｂ】
2014027569.tif 000034
【図２０Ｃ】
2014027569.tif 000035
【図２１Ａ】
2014027569.tif 000036
【図２１Ｂ】
2014027569.tif 000037
【図２１Ｃ】
2014027569.tif 000038
【図２２Ａ】
2014027569.tif 000039
【図２２Ｂ】
2014027569.tif 000040
【図２２Ｃ】
2014027569.tif 000041
【図２３Ａ】
2014027569.tif 000042
【図２３Ｂ】
2014027569.tif 000043
【図２４Ａ】
2014027569.tif 000044
【図２４Ｂ】
2014027569.tif 000045
【図２５Ａ】
2014027569.tif 000046
【図２５Ｂ】
2014027569.tif 000047
【図６Ｄ】
2014027569.tif 000048
【手続補正書】
【提出日】平成27年1月15日(2015.1.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置と、前記撮影画像の輝度情報とに基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記撮影手段は、少なくとも適正露出と該適正露出よりも低い露出で撮影を行い、
前記顔画像検出手段は、前記撮影手段により前記適正露出で撮影された撮影画像を用いて前記観察者の顔画像を検出し、
前記反射輝度推定手段は、前記撮影手段により前記適正露出よりも低い露出で撮影された撮影画像を用いて前記反射輝度分布を推定する表示装置。
【請求項２】
前記表示素子は、透過型の液晶パネルと、該液晶パネルの背面側に配置されたバックライトユニットとを備え、
前記バックライトユニットは、２次元的に配列され、個別に輝度の制御が可能な複数の発光素子を備え、
前記表示輝度補正手段は、前記反射輝度推定手段により推定された反射輝度分布に基づいて前記複数の発光素子の各々の発光輝度を変更することにより、前記液晶パネルに表示する表示画像の表示輝度を補正する請求項１に記載の表示装置。
【請求項３】
前記表示素子は、透過型の液晶パネルと、該液晶パネルの背面側に配置されたバックライトユニットとを備え、
前記表示輝度補正手段は、前記反射輝度推定手段により推定された反射輝度分布に基づいて前記液晶パネルの各点における光透過率を補正することにより、前記表示画像の表示輝度を補正する請求項１に記載の表示装置。
【請求項４】
前記表示素子は、透過型の液晶パネルと、該液晶パネルの背面側に配置されたバックライトユニットとを備え、
前記バックライトユニットは、２次元的に配列され、個別に輝度の制御が可能な複数の発光素子を備え、
前記表示輝度補正手段は、前記反射輝度推定手段により推定された反射輝度分布に基づいて、前記複数の発光素子の各々の発光輝度を変更するとともに、前記反射輝度推定手段により推定された反射輝度分布に基づいて前記液晶パネルの各点における光透過率を補正することにより、前記表示画像の表示輝度を補正する請求項１に記載の表示装置。
【請求項５】
前記表示輝度補正手段は、前記顔画像検出手段により前記観察者の顔画像が検出されなかった場合には、前記補正を実施しない請求項１〜４のうちのいずれか１項に記載の表示装置。
【請求項６】
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示する表示画像の表示輝度を補正し、前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項１に記載の表示装置。
【請求項７】
前記表示輝度補正手段は、前記バックライトユニットの前記複数の発光素子の各々の発光輝度を変更し、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項２に記載の表示装置。
【請求項８】
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像の輝度に対する前記液晶パネルの各点の光透過率を補正し、前記入力画像に対して前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項３に記載の表示装置。
【請求項９】
前記表示輝度補正手段は、前記バックライトユニットの前記複数の発光素子の各々の発光輝度を変更するとともに、前記表示素子に表示する表示画像として映像信号により与えられた入力画像の輝度に対する前記液晶パネルの各点の光透過率を補正し、前記入力画像に対して前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にする請求項４に記載の表示装置。
【請求項１０】
前記表示輝度補正手段は、前記目標の合成表示輝度の可変範囲の下限値を、前記反射輝度分布における最大輝度以上の値とする請求項６〜９のうちのいずれか１項に記載の表示装置。
【請求項１１】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置と、前記撮影画像の輝度情報とに基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示する表示画像の表示輝度を補正し、前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にし、
前記表示輝度補正手段は、省電力モードの場合は、前記目標の合成表示輝度の可変範囲の上限値を、前記補正を行わない場合における前記表示画像の表示輝度の可変範囲の上限値以下の値とする表示装置。
【請求項１２】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置と、前記撮影画像の輝度情報とに基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示する表示画像の表示輝度を補正し、前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にし、
前記表示輝度補正手段は、視認性向上モードの場合は、前記目標の合成表示輝度の可変範囲の上限値を、前記反射輝度分布における最大輝度と、前記補正を行わない場合における前記表示画像の表示輝度の可変範囲の上限値とを加算した合成表示輝度以上の値とする表示装置。
【請求項１３】
前記表示輝度補正手段は、前記反射輝度分布の状態に応じて前記目標の合成表示輝度の可変範囲の下限値を変更する請求項１０に記載の表示装置。
【請求項１４】
前記表示輝度補正手段は、前記反射輝度分布の状態に応じて前記目標の合成表示輝度の可変範囲の上限値を変更する請求項１１又は１２に記載の表示装置。
【請求項１５】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置と、前記撮影画像の輝度情報とに基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記反射輝度推定手段は、前記撮影手段により撮影された撮影画像において、予め指定された対称点を用いて、前記顔画像検出手段により検出された前記観察者の顔画像の位置に対して点対称となる位置を基準にして前記表示素子の表面の大きさ及び形状に対応した範囲の画像を抽出し、該抽出した範囲内の画像の輝度情報に基づいて前記反射輝度分布を推定する表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明によれば、カメラによって表示素子の表面側を撮影した撮影画像に基づいて、観察者の顔画像を検出し、その位置から観察者が表示素子の表面に視認する外光の反射輝度分布を推定することができる。そして、その反射輝度分布に基づいて表示素子に表示する表示画像の表示輝度を補正することによって、反射輝度のムラを低減することできる。これによって、表示画像の視認性の向上が図られる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
ディスプレイ面３４上での外光の反射輝度分布を求めると、その反射輝度分布に基づいて、ディスプレイ面３４に表示する表示画像の表示輝度を補正する（表示輝度補正処理）。図６Ｄのようにディスプレイ面３４に表示された表示画像１０８を観察者が観察した場合、図６Ｃの映込範囲１０４の画像が映込像として映り込み、反射ムラを生じさているが、その表示画像１０８の表示輝度と、ディスプレイ面３４上での外光の反射輝度とを対応点同士（ディスプレイ面３４に対して直交方向に重なる位置同士）で足し合せた合成表示輝度、即ち、観察者が実際に視認する外光の反射も含めた表示画像の表示輝度を反射ムラを有していない輝度分布となるように補正する。これにより、観察者が反射ムラを視認できない表示画像を表示する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
なお、既に、後述のステップＳ２２において後述の表示輝度補正処理が実施されている場合において、本ステップＳ１６でエラーと判断されたときには、その前回の行われた表示輝度補正処理に用いられたパラメータをそのまま使用して表示輝度補正処理（反射ムラ抑制処理）を実施してもよいし、ステップＳ２０で求められるディスプレイ面３４での外光の反射輝度分布を０とみなして前回求められた反射輝度分布からの移動平均を用いてステップＳ２２における表示輝度補正処理を実施してもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１６４
【補正方法】変更
【補正の内容】
【０１６４】
次に、補正表示において、合成表示輝度ＭＤＢが図１９Ａ〜１９Ｃのような目標特性曲線ＯＭＤＢＣにしたがって制御されるように、パネル表示輝度ＤＢを図２０Ａ〜２０Ｃのような補正特性曲線ＣＤＢＣ（Ｘ）（補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘ）にしたがって制御するための具体的形態について説明する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
まず、第１補正形態の表示輝度補正処理について説明する。第１補正形態は、パネル表示輝度ＤＢが図２０Ａ〜２０Ｃに示したような補正特性曲線ＣＤＢＣ（Ｘ）（補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘ）にしたがった補正パネル表示輝度ＣＤＢとなるようバックライト輝度ＢＬのみを補正する形態であり、そのバックライト輝度ＢＬを補正バックライト輝度ＣＢＬというものとすると、補正バックライト輝度ＣＢＬは上式（１０）、（１３）から次式（１４）により求められる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１７８
【補正方法】変更
【補正の内容】
【０１７８】
また、図２１Ａ〜２１Ｃには、通常表示でのバックライト輝度ＢＬに関する特性曲線ＢＬＣ（一定のバックライト輝度ＢＬ０を示す直線）と、図２０Ａ〜２０Ｃに示した通常表示でのパネル表示輝度ＤＢに関する標準特性曲線ＤＢＣ（光透過率標準特性曲線ＴＣに相当）と、補正表示でのパネル表示輝度ＤＢに関する補正特性曲線ＣＤＢＣ（Ｘ）（ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘ）も輝度レベルを合わせて示されている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１８５
【補正方法】変更
【補正の内容】
【０１８５】
次に第２補正形態の表示輝度補正処理について説明する。第２補正形態は、パネル表示輝度ＤＢが図２０Ａ〜２０Ｃに示したような補正特性曲線ＣＤＢＣ（Ｘ）（補正特性曲線ＣＤＢＣｍｉｎ、ＣＤＢＣｍｉｄ、ＣＤＢＣｍａｘ）にしたがった補正パネル表示輝度ＣＤＢとなるように光透過率Ｔのみを補正する場合であり、その光透過率Ｔを補正光透過率ＣＴというものとすると、補正光透過率ＣＴは、上式（１０）、（１３）から次式（１９）により求められる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２１９
【補正方法】変更
【補正の内容】
【０２１９】
一方、「視認性向上モード」が選択された場合には、目標特性曲線ＯＭＤＢＣの最大値ＭＤＢｍａｘを通常表示でのパネル表示輝度ＤＢの最大値ＤＢｍａｘよりも大きい値、即ち、目標合成表示輝度ＯＭＤＢの可変範囲の上限値（最大値ＭＤＢｍａｘ）を、通常表示（補正を行わない場合）における表示画像のパネル表示輝度ＤＢの可変範囲の上限値（最大値ＤＢｍａｘ）よりも大きい値に設定することが望ましい。特に、目標合成表示輝度ＯＭＤＢの可変範囲の上限値（最大値ＭＤＢｍａｘ）を、反射輝度分布における最大輝度（反射輝度Ｒの最大値Ｒｍａｘ）と、通常表示（補正を行わない場合）における表示画像のパネル表示輝度ＤＢの可変範囲の上限値（最大値ＤＢｍａｘ）とを加算した合成表示輝度以上の値に設定すると、通常表示での表示輝度のダイナミックレンジと同等以上のダイナミックレンジで画像表示を行うことができるため好適である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２２２
【補正方法】変更
【補正の内容】
【０２２２】
ＬＣＤパネル２２の光透過率Ｔを補正する場合には、同様にしてＬＣＤパネル２２の各画素の光透過率Ｔを算出してその情報を映像信号生成部４０に出力し、それにしたがった映像信号を映像信号生成部４０からＬＣＤ駆動回路４２に出力させてＬＣＤパネル２２の各画素の光透過率Ｔを制御することができる。ただし、中間的な情報を映像信号生成部４０に出力して、映像信号生成部４０において補正を行うようにすることもできる。例えば、補正表示において光透過率Ｔを制御するための特性曲線ＣＴＣ（Ｘ）を図２０Ａ〜２０Ｃのように生成し、その特性曲線ＣＴＣ（Ｘ）を映像信号生成部４０に与えるようにしてもよい。このとき、各画素の反射輝度Ｒの情報も同時に与え、各画素に対して反射輝度Ｒに応じた特性曲線にしたがった補正を行わせるようにする。
【手続補正書】
【提出日】平成27年5月29日(2015.5.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置に基づいて、前記撮影画像の中から前記観察者が前記表示素子の表面を介して視認する視野範囲の画像であって、前記表示素子の表面に映り込む映込範囲の画像を特定し、前記映込範囲の画像の輝度分布に基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記撮影手段は、少なくとも適正露出と該適正露出よりも低い露出で撮影を行い、
前記顔画像検出手段は、前記撮影手段により前記適正露出で撮影された撮影画像を用いて前記観察者の顔画像を検出し、
前記反射輝度推定手段は、前記撮影手段により前記適正露出よりも低い露出で撮影された撮影画像を用いて前記反射輝度分布を推定する表示装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１１
【補正方法】変更
【補正の内容】
【請求項１１】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置に基づいて、前記撮影画像の中から前記観察者が前記表示素子の表面を介して視認する視野範囲の画像であって、前記表示素子の表面に映り込む映込範囲の画像を特定し、前記映込範囲の画像の輝度分布に基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示する表示画像の表示輝度を補正し、前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にし、
前記表示輝度補正手段は、省電力モードの場合は、前記目標の合成表示輝度の可変範囲の上限値を、前記補正を行わない場合における前記表示画像の表示輝度の可変範囲の上限値以下の値とする表示装置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１２
【補正方法】変更
【補正の内容】
【請求項１２】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置に基づいて、前記撮影画像の中から前記観察者が前記表示素子の表面を介して視認する視野範囲の画像であって、前記表示素子の表面に映り込む映込範囲の画像を特定し、前記映込範囲の画像の輝度分布に基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記表示輝度補正手段は、前記表示素子に表示する表示画像として映像信号により与えられた入力画像に対して前記表示素子に表示する表示画像の表示輝度を補正し、前記表示素子に表示した表示画像の表示輝度と前記表示素子の表面の反射輝度とを対応点同士で加算した合成表示輝度を、前記映像信号の信号値に対して予定された目標の合成表示輝度にし、
前記表示輝度補正手段は、視認性向上モードの場合は、前記目標の合成表示輝度の可変範囲の上限値を、前記反射輝度分布における最大輝度と、前記補正を行わない場合における前記表示画像の表示輝度の可変範囲の上限値とを加算した合成表示輝度以上の値とする表示装置。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１５
【補正方法】変更
【補正の内容】
【請求項１５】
観察者により観察される表示画像を表示する２次元の表示素子と、
前記表示素子の表示画像を表示する側を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像の中から前記観察者の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された前記観察者の顔画像の前記撮影画像内における位置に基づいて、前記撮影画像の中から前記観察者が前記表示素子の表面を介して視認する視野範囲の画像であって、前記表示素子の表面に映り込む映込範囲の画像を特定し、前記映込範囲の画像の輝度分布に基づいて、前記観察者により視認される前記表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、
前記反射輝度推定手段により推定された前記反射輝度分布に基づいて、前記反射輝度のムラが低減されるように前記表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、
を備え、
前記反射輝度推定手段は、前記撮影手段により撮影された撮影画像において、予め指定された対称点を用いて、前記顔画像検出手段により検出された前記観察者の顔画像の位置に対して点対称となる位置を基準にして前記表示素子の表面の大きさ及び形状に対応した範囲の画像を抽出し、該抽出した範囲内の画像の輝度情報に基づいて前記反射輝度分布を推定する表示装置。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
前記目的を達成するために、本発明に係る表示装置によれば、観察者により観察される表示画像を表示する２次元の表示素子と、表示素子の表示画像を表示する側を撮影する撮影手段と、撮影手段により撮影された撮影画像の中から観察者の顔画像を検出する顔画像検出手段と、顔画像検出手段により検出された観察者の顔画像の撮影画像内における位置に基づいて、撮影画像の中から観察者が表示素子の表面を介して視認する視野範囲の画像であって、表示素子の表面に映り込む映込範囲の画像を特定し、映込範囲の画像の輝度分布に基づいて、観察者により視認される表示素子の表面の各点における外光の反射輝度を示す反射輝度分布を推定する反射輝度推定手段と、反射輝度推定手段により推定された反射輝度分布に基づいて、反射輝度のムラが低減されるように表示素子に表示する表示画像の表示輝度を補正する表示輝度補正手段と、を備えている。
【国際調査報告】
2014027569.tif 000049
2014027569.tif 000050
2014027569.tif 000051
2014027569.tif 000052