(57)【特許請求の範囲】
【請求項１】
表示パネルを備える表示装置において使用され、前記表示装置が外部から受け取った映像信号に基づいて得られた前記表示パネルで表示すべき画像に対して階調補正を行う画像処理装置であって、
複数人の視聴者によって前記画像が視認される場合に、当該複数人の視聴者のそれぞれの位置情報を取得する位置情報取得部と、
前記位置情報に基づいて、前記表示パネルにおける視角特性を補償するための視聴方向情報を取得する視聴方向情報取得部と、
前記視聴方向情報に応じた補正情報を予め記憶した記憶部と、
前記視聴方向情報に対応する補正情報を前記記憶部から読み出し、読み出した補正情報を用いて前記画像に対して階調補正を行う階調補正部とを備え、
前記表示パネルで表示すべき画像は、互いに独立した表示単位の複数の窓画像を統合して構成され、
各窓画像に少なくとも１人の視聴者を対応させるペアリング部をさらに備え、
前記視聴方向情報取得部は、前記位置情報に基づいて前記表示パネル上の所定位置に対する前記視聴者の視角を算出する視角算出部を含み、
前記視角算出部は、前記位置情報に基づいて、前記表示パネルに表示される各窓画像上の所定位置に対する当該窓画像に対応する視聴者の視角を算出し、
前記視聴方向情報取得部は、少なくとも各窓画像に対応する各視聴者の視角に基づいて当該窓画像における視聴方向情報を取得し、
前記階調補正部は、各窓画像における視聴方向情報に対応する補正情報を前記記憶部から読み出し、読み出した補正情報を用いて当該窓画像に対して階調補正を行うことを特徴とする、画像処理装置。
【請求項２】
前記視角算出部は、各窓画像上の所定位置における法線に対する視聴者の位置の角度を当該窓画像に対応する視聴者の視角として算出することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記ペアリング部は、各窓画像に１人の視聴者を対応させ、
前記視聴方向情報取得部は、少なくとも各窓画像に対応する視聴者の視角を当該窓画像における視聴方向情報として取得することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記視聴方向情報取得部は、各窓画像上の所定位置における前記法線と前記表示パネルの水平方向に当該法線に直交する線とで形成される面に対する、当該窓画像に対応する視聴者の位置の角度を回転角として算出する回転角算出部をさらに含み、各窓画像に対応する視聴者の視角および回転角を当該窓画像における視聴方向情報として取得することを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記ペアリング部は、各窓画像に２人以上の所定数人の視聴者を対応させ、
前記視聴方向情報取得部は、少なくとも各窓画像に対応する前記所定数人の視聴者のそれぞれの視角に基づいて当該窓画像における視聴方向情報を取得することを特徴とする、請求項２に記載の画像処理装置。
【請求項６】
前記視聴方向情報取得部は、各窓画像上の前記所定位置における前記法線と前記表示パネルの水平方向に当該法線に直交する線とで形成される面に対する、当該窓画像に対応する前記視聴者の位置の角度を回転角として取得する回転角算出部をさらに含み、各窓画像に対応する前記所定数人の視聴者のそれぞれの視角および回転角に基づいて当該窓画像における視聴方向情報を取得することを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
表示パネルを備える表示装置において、前記表示装置が外部から受け取った映像信号に基づいて得られた前記表示パネルで表示すべき画像に対して階調補正を行う画像処理方法であって、
複数人の視聴者によって前記画像が視認される場合に、当該複数人の視聴者のそれぞれの位置情報を取得する位置情報取得ステップと、
前記位置情報に基づいて、前記表示パネルにおける視角特性を補償するための視聴方向情報を取得する視聴方向情報取得ステップと、
前記視聴方向情報に応じた補正情報を予め記憶した記憶部から、前記視聴方向情報に対応する補正情報を読み出し、読み出した補正情報を用いて前記画像に対して階調補正を行う階調補正ステップとを備え、
前記表示パネルで表示すべき画像は、互いに独立した表示単位の複数の窓画像を統合して構成され、
各窓画像に少なくとも１人の視聴者を対応させるペアリングステップをさらに備え、
前記視聴方向情報取得ステップは、前記位置情報に基づいて前記表示パネル上の所定位置に対する前記視聴者の視角を算出する視角算出ステップを含み、
前記視角算出ステップでは、前記位置情報に基づいて、前記表示パネルに表示される各窓画像上の所定位置に対する当該窓画像に対応する視聴者の視角が算出され、
前記視聴方向情報取得ステップでは、少なくとも各窓画像に対応する各視聴者の視角に基づいて当該窓画像における視聴方向情報が取得され、
前記階調補正ステップでは、各窓画像における視聴方向情報に対応する補正情報が前記記憶部から読み出され、読み出された補正情報を用いて当該窓画像に対して階調補正が行われることを特徴とする、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、表示装置に使用される画像処理装置、それを備える表示装置、および画像処理方法に関する。
【背景技術】
【０００２】
透過型または半透過型などの液晶ディスプレイでは、バックライトから液晶パネルに光が照射され、液晶パネルにおける液晶の光透過率が制御されることにより所望輝度の表示が行われる。この液晶の光透過率には視角特性が存在することが従来から知られている。この視角特性により、バックライトからの照射光が液晶パネルを透過するときの輝度（以下、「表示輝度」という。）は視角によって異なるものとなる。
【０００３】
図２２は、液晶ディスプレイ上の所定位置における法線（例えば中心軸）からの視角と表示輝度との関係を示す図である。以下では、図２２に示すような視角と表示輝度との関係を示す曲線のことを「視角特性曲線」という。図２２では、階調値Ｇ１〜Ｇ６のそれぞれで表示を行う場合の透過輝度を表している。Ｇ１からＧ６にかけて階調値は低くなる。階調値Ｇ３〜Ｇ５などの中間階調では、視角が数十度の付近では、視角＝０°のときよりも表示輝度が高くなる。また、階調値Ｇ１〜Ｇ６のそれぞれでは、視角が９０°に近づくと視角＝０°のときよりも表示輝度が低くなる。このように、視聴者の視角によっては当該視聴者に対して所望の表示輝度での表示が行われず、結果として画質が低下することとなる。
【０００４】
そこで、特許文献１には、カメラによって液晶パネルに対するユーザの視角を取得し、当該視角に応じて階調補正を行う画像処理装置が開示されている。特許文献１における「ユーザ」は、上述の視聴者に相当する。この画像処理装置は、デジタルカラー複合機などに使用されるものである。このような画像処理装置によれば、ユーザの視角に応じた適切な輝度表示を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１３０６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載の画像処理装置は、１人のユーザの視角に応じて階調補正を行うものである。また、この画像処理装置はデジタルカラー複合機などに使用されるものであるので、液晶パネルは比較的サイズの小さいものであり、複数人のユーザが同時に液晶パネルを眺めることは想定されていない。このため、特許文献１に記載の画像処理装置を複数人の視聴者が同時に視聴するディスプレイに適用した場合に、各視聴者の視角を考慮した階調補正を行うことができない。その結果、各視聴者に対する画質低下を十分に抑制できない。
【０００７】
そこで、本発明は、複数人の視聴者のそれぞれに対する画質低下を抑制する画像処理装置、それを備える表示装置、および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の局面は、表示パネルを備える表示装置において使用され、前記表示装置が外部から受け取った映像信号に基づいて得られた前記表示パネルで表示すべき画像に対して階調補正を行う画像処理装置であって、
複数人の視聴者によって前記画像が視認される場合に、当該複数人の視聴者のそれぞれの位置情報を取得する位置情報取得部と、
前記位置情報に基づいて、前記表示パネルにおける視角特性を補償するための視聴方向情報を取得する視聴方向情報取得部と、
前記視聴方向情報に応じた補正情報を予め記憶した記憶部と、
前記視聴方向情報に対応する補正情報を前記記憶部から読み出し、読み出した補正情報を用いて前記画像に対して階調補正を行う階調補正部とを備え、
前記表示パネルで表示すべき画像は、互いに独立した表示単位の複数の窓画像を統合して構成され、
各窓画像に少なくとも１人の視聴者を対応させるペアリング部をさらに備え、
前記視聴方向情報取得部は、前記位置情報に基づいて前記表示パネル上の所定位置に対する前記視聴者の視角を算出する視角算出部を含み、
前記視角算出部は、前記位置情報に基づいて、前記表示パネルに表示される各窓画像上の所定位置に対する当該窓画像に対応する視聴者の視角を算出し、
前記視聴方向情報取得部は、少なくとも各窓画像に対応する各視聴者の視角に基づいて当該窓画像における視聴方向情報を取得し、
前記階調補正部は、各窓画像における視聴方向情報に対応する補正情報を前記記憶部から読み出し、読み出した補正情報を用いて当該窓画像に対して階調補正を行うことを特徴とする。
【００１０】
本発明の第２の局面は、本発明の第１の局面において、
前記視角算出部は、各窓画像上の所定位置における法線に対する視聴者の位置の角度を当該窓画像に対応する視聴者の視角として算出することを特徴とする。
【００１１】
本発明の第３の局面は、本発明の第２の局面において、
前記ペアリング部は、各窓画像に１人の視聴者を対応させ、
前記視聴方向情報取得部は、少なくとも各窓画像に対応する視聴者の視角を当該窓画像における視聴方向情報として取得することを特徴とする。
【００１２】
本発明の第４の局面は、本発明の第３の局面において、
前記視聴方向情報取得部は、各窓画像上の所定位置における前記法線と前記表示パネルの水平方向に当該法線に直交する線とで形成される面に対する、当該窓画像に対応する視聴者の位置の角度を回転角として算出する回転角算出部をさらに含み、各窓画像に対応する視聴者の視角および回転角を当該窓画像における視聴方向情報として取得することを特徴とする。
【００１３】
本発明の第５の局面は、本発明の第２の局面において、
前記ペアリング部は、各窓画像に２人以上の所定数人の視聴者を対応させ、
前記視聴方向情報取得部は、少なくとも各窓画像に対応する前記所定数人の視聴者のそれぞれの視角に基づいて当該窓画像における視聴方向情報を取得することを特徴とする。
【００１４】
本発明の第６の局面は、本発明の第５の局面において、
前記視聴方向情報取得部は、各窓画像上の前記所定位置における前記法線と前記表示パネルの水平方向に当該法線に直交する線とで形成される面に対する、当該窓画像に対応する前記視聴者の位置の角度を回転角として取得する回転角算出部をさらに含み、各窓画像に対応する前記所定数人の視聴者のそれぞれの視角および回転角に基づいて当該窓画像における視聴方向情報を取得することを特徴とする。
【００２３】
本発明の第７の局面は、表示パネルを備える表示装置において、前記表示装置が外部から受け取った映像信号に基づいて得られた前記表示パネルで表示すべき画像に対して階調補正を行う画像処理方法であって、
複数人の視聴者によって前記画像が視認される場合に、当該複数人の視聴者のそれぞれの位置情報を取得する位置情報取得ステップと、
前記位置情報に基づいて、前記表示パネルにおける視角特性を補償するための視聴方向情報を取得する視聴方向情報取得ステップと、
前記視聴方向情報に応じた補正情報を予め記憶した記憶部から、前記視聴方向情報に対応する補正情報を読み出し、読み出した補正情報を用いて前記画像に対して階調補正を行う階調補正ステップとを備え、
前記表示パネルで表示すべき画像は、互いに独立した表示単位の複数の窓画像を統合して構成され、
各窓画像に少なくとも１人の視聴者を対応させるペアリングステップをさらに備え、
前記視聴方向情報取得ステップは、前記位置情報に基づいて前記表示パネル上の所定位置に対する前記視聴者の視角を算出する視角算出ステップを含み、
前記視角算出ステップでは、前記位置情報に基づいて、前記表示パネルに表示される各窓画像上の所定位置に対する当該窓画像に対応する視聴者の視角が算出され、
前記視聴方向情報取得ステップでは、少なくとも各窓画像に対応する各視聴者の視角に基づいて当該窓画像における視聴方向情報が取得され、
前記階調補正ステップでは、各窓画像における視聴方向情報に対応する補正情報が前記記憶部から読み出され、読み出された補正情報を用いて当該窓画像に対して階調補正が行われることを特徴とする。
【発明の効果】
【００２４】
本発明の第１の局面によれば、表示パネルに複数の窓画像を統合した画像が表示される場合において、少なくとも各窓画像に対応する視聴者の視角に基づいて、表示パネルにおける視角特性を補償するための視聴方向情報が得られる。そして、この視聴方向情報に対応する補正情報を用いて、表示パネルで表示すべき画像に対して階調補正が行われる。このようにして、各窓画像に対応する視聴者の視角を考慮した階調補正が行われることにより、当該視聴者に対して少なくとも視角に依存する画質低下を抑制できる。また、本発明の第１の局面に係る画像処理装置は、表示装置において、表示パネルで表示すべき画像を示す信号が当該表示パネルを駆動する回路などに与えられる前の段階に設けて用いることができる。これにより、画像処理装置を従来の表示装置に容易に組み込むことができる。さらに、補正情報が記憶部に予め記憶されているので、階調補正を行う度に補正情報を計算する処理を行う必要がない。したがって、比較的軽い処理で階調補正を行うことができる。
【００２６】
本発明の第２の局面によれば、窓画像上の所定位置における法線に対する視聴者の位置の角度を当該視聴者の視角として、本発明の第１の局面と同様の効果を奏することができる。
【００２７】
本発明の第３の局面によれば、各窓画像に１人の視聴者が対応し、少なくとも当該視聴者の視角が当該窓画像における視聴方向情報として得られる。この視聴方向情報に応じた補正情報が記憶部から読み出され、当該補正情報を用いて窓画像に対して階調補正が行われることにより、各窓画像に対応する１人の視聴者に対して、少なくとも視角に依存する画質低下を抑制できる。
【００２８】
本発明の第４の局面によれば、各窓画像に対応する視聴者の視角に加えて、当該視聴者の回転角が当該窓画像における視聴方向情報として得られる。この視聴方向情報に応じた補正情報が記憶部から読み出され、当該補正情報を用いて階調補正が行われることにより、各窓画像に対応する１人の視聴者に対して、視角および回転角に依存する画質低下に依存する画質低下を抑制できる。このため、本発明の第３の局面よりも、画質低下の抑制効果を高めることができる。
【００２９】
本発明の第５の局面によれば、各窓画像に２人以上の所定数人の視聴者が対応し、少なくとも各窓画像に対応する所定数人の視聴者の視角に基づいて当該窓画像における視聴方向情報が得られる。この視聴方向情報に応じた補正情報が記憶部から読み出され、当該補正情報を用いて階調補正が行われることにより、各窓画像に対応する所定数人の視聴者のそれぞれに対して、少なくとも視角に依存する画質低下を抑制できる。
【００３０】
本発明の第６の局面によれば、各窓画像に対応する所定数人の視聴者のそれぞれの視角に加えて、当該所定数人の視聴者のそれぞれの回転角に基づいて当該窓画像における視聴方向情報が得られる。この視聴方向情報に応じた補正情報が記憶部から読み出され、当該補正情報を用いて階調補正が行われることにより、各窓画像に対応する所定数人の視聴者のそれぞれに対して、視角および回転角に依存する画質低下に依存する画質低下を抑制できる。このため、本発明の第５の局面よりも、画質低下の抑制効果を高めることができる。
【００３９】
本発明の第７の局面によれば、本発明の第１の局面と同様の効果を奏することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の第１の実施形態に係る液晶表示装置の構成を示すブロック図である。
【図２】上記第１の実施形態におけるカメラの設置位置について説明するための図である。
【図３】上記第１の実施形態におけるＹ方向での視聴者の位置について説明するための図である。
【図４】上記第１の実施形態におけるＸ方向での視聴者の位置について説明するための図である。
【図５】上記第１の実施形態における視角および回転角の算出について説明するための図である。
【図６】視角の差によって生じる表示輝度差について説明するための図である。
【図７】上記第１の実施形態における補正曲線について説明するための図である。
【図８】上記第１の実施形態において、補正曲線の一部が取り扱える階調値の範囲を超えた場合の対応について説明するための図である。
【図９】上記第１の実施形態における、算出角処理部における処理の一例を示すフローチャートである。
【図１０】階調値Ｇ４の画像が表示されている状態において、第１，第２視聴者がディスプレイ上の同じ位置を眺めている様子を示す図である。（Ａ）は平面図である。（Ｂ）は斜視図である。
【図１１】図１０（Ａ）および図１０（Ａ）に示す状態において生じる表示輝度差について説明するための図である。
【図１２】図１０（Ａ）および図１０（Ａ）に示す状態において、階調補正を行わない場合に各視聴者から見た画像を示す図である。（Ａ）は、第１視聴者から見た画像を示す図である。（Ｂ）は、第２視聴者から見た画面を示す図である。
【図１３】図１０（Ａ）および図１０（Ａ）に示す状態において、上記第１の実施形態における階調補正を行った場合に各視聴者から見た画像を示す図である。（Ａ）は、第１視聴者から見た画像を示す図である。（Ｂ）は、第２視聴者から見た画像を示す図である。
【図１４】本発明の第２の実施形態において、複数の窓画像が表示された状態を示す図である。
【図１５】上記第２の実施形態における表示制御部の構成を示すブロック図である。
【図１６】上記第２の実施形態における、窓画像毎の視角および回転角の算出について説明するための図である。
【図１７】第１窓画像として階調値Ｇ４の窓画像が表示され、第２窓画像として階調値Ｇ５の窓画像が表示されている状態において、第１視聴者が第１窓画像上の所定位置を眺め、第２視聴者が第２窓画像上の所定位置を眺めている様子を示す図である。（Ａ）は平面図である。（Ｂ）は斜視図である。
【図１８】図１７（Ａ）および図１７（Ｂ）に示す状態における表示輝度差について説明するための図である。
【図１９】図１７（Ａ）および図１７（Ｂ）に示す状態において、階調補正を行わない場合に各視聴者から見た窓画像を示す図である。（Ａ）は、第１視聴者から見た第１窓画像を示す図である。（Ｂ）は、第２視聴者から見た第２窓画像を示す図である。
【図２０】図１７（Ａ）および図１７（Ｂ）に示すにおいて、上記第２の実施形態における階調補正を行った場合に各視聴者から見た窓画像を示す図である。（Ａ）は、第１視聴者から見た第１窓画像を示す図である。（Ｂ）は、第２視聴者から見た第２窓画像を示す図である。
【図２１】本発明の第３の実施形態における表示制御部の構成を示すブロック図である。
【図２２】ディスプレイの中心軸からの視角と表示輝度との関係を示す図である。
【発明を実施するための形態】
【００４１】
以下、添付図面を参照しながら、本発明の第１〜第３の実施形態について説明する。以下の説明では、バックライトから液晶パネルに照射される光の輝度のことを「バックライト輝度」という。また、以下の各実施形態では、液晶パネルに表示される画像を複数人の視聴者が視認しているものとする。
【００４２】
＜１．第１の実施形態＞
＜１．１  全体構成および動作概要＞
図１は、本発明の第１の実施形態に係る液晶表示装置１の構成を示すブロック図である。図１に示すように、液晶表示装置１は、表示パネルとしての液晶パネル１１、パネル駆動回路１２、バックライト１３、バックライト制御部１４、および表示制御部１５を備えている。
【００４３】
液晶表示装置１には、外部から映像信号Ｘ１が入力される。表示制御部１５は、映像信号Ｘ１に対して各種処理（詳細は後述する。）を施し、当該処理により得られた出力画像信号Ｙ２をパネル駆動回路１２およびバックライト制御部１４に与える。出力画像信号Ｙ２は、液晶パネル１１で表示すべき画像に対して後述の階調補正を施した後の画像を示す。
【００４４】
液晶パネル１１は、複数の表示素子を備えている。表示素子は、全体として２次元状に配置されている。Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色によるカラー表示を行う場合、表示素子には、例えば赤色光を透過するＲ表示素子、緑色光を透過するＧ表示素子、および青色光を透過するＢ表示素子が含まれている。この場合、Ｒ表示素子、Ｇ表示素子、およびＢ表示素子の３個の表示素子で１個の画素を形成する。なお、Ｒ，Ｇ，Ｂ，Ｙ（黄色）などの４原色によるカラー表示を行う場合には、黄色光を透過するＹ表示素子がさらに使用される。
【００４５】
パネル駆動回路１２は、表示制御部１５から受け取った出力画像信号Ｙ２に基づき、液晶パネル１１に表示素子の光透過率を制御する信号（電圧信号）を与える。パネル駆動回路１２から与えられた電圧は表示素子内の画素容量に書き込まれ、表示素子の光透過率は画素容量に書き込まれた電圧に応じて変化する。
【００４６】
バックライト１３は、液晶パネル１１の背面側に設けられ、液晶パネル１１の背面にバックライト光を照射する。バックライト１３は、光源としてＬＥＤ（Light Emitting Diode）を備えている。なお、バックライト１３は直下型であっても良く、エッジライト型であっても良い。また、ＬＥＤに代えて、光源としてＣＣＦＬ（Cold Cathode Fluorescent Lamp）を用いても良い。
【００４７】
バックライト制御部１４は、バックライト輝度算出部１４１およびバックライト駆動回路１４２を備えている。バックライト輝度算出部１４１は、表示制御部１５から受け取った出力画像信号Ｙ２に基づき、液晶パネル１１で表示される画像が適切な輝度で視聴者に視認されるようにバックライト輝度値を算出する。なお、本実施形態におけるバックライト輝度は、バックライト１３全体で一律の値である。バックライト輝度算出部１４１は、算出したバックライト輝度値を示す輝度データをバックライト駆動回路１４２に与える。バックライト駆動回路１４２は、バックライト輝度算出部１４１から受け取った輝度データに基づき、バックライト１３を点灯させる。
【００４８】
表示制御部１５は、メイン映像処理エンジン２０および画像処理装置３０を備えている。メイン映像処理エンジン２０は、外部から受け取った映像信号Ｘ１を、パネル駆動回路１２およびバックライト制御部１４で扱うための信号形式である入力画像信号Ｙ１に変換し、当該入力画像信号Ｙ１を画像処理装置３０に与える。入力画像信号Ｙ１は、液晶パネル１１で表示すべき画像を示す。画像処理装置３０は、メイン映像処理エンジン２０から受け取った入力画像信号Ｙ１が示す画像に対して階調補正を行い、当該処理後の画像を示す出力画像信号Ｙ２をパネル駆動回路１２およびバックライト制御部１４に与える。以下では、入力画像信号Ｙ１が示す画像のことを「入力画像」といい、出力画像信号Ｙ２が示す画像のことを「出力画像」という。なお、実際には、表示制御部１５は、パネル駆動回路１２およびバックライト制御部１４の動作を制御するためのタイミング信号を生成するタイミング信号生成部をさらに備えるが、ここではその説明および図示を省略する。また、バックライト制御部１４に出力画像信号Ｙ２を与えずに、タイミング信号のみを与えるようにしても良い。
【００４９】
画像処理装置３０は、位置情報取得部３１、階調補正ユニット３２、および階調補正データ記憶部３３を備えている。位置情報取得部３１は、カメラ３１１および顔検出部３１２を備えている。階調補正ユニット３２は、視聴方向情報取得部３２１および階調補正部３２２を備えている。階調補正データ記憶部３３は、階調補正ユニット３２で使用すべき階調補正データを予め記憶している。階調補正データには、後述の視角および回転角に応じた補正情報が含まれている。なお、階調補正データの具体的な内容については後述する。
【００５０】
カメラ３１１は、複数人の視聴者を撮影した画像（以下「撮影画像」という。）を取得し、当該撮影画像を顔検出部３１２に与える。なお、カメラ３１１の設置位置に関する説明は後述する。
【００５１】
顔検出部３１２は、カメラ３１１から撮影画像を受け取り、当該撮影画像から複数人の視聴者のそれぞれの顔を検出する。顔検出部３１２は、検出結果を視聴方向情報取得部３２１に与える。本実施形態では、顔検出部３１２の検出結果が位置情報に相当する。
【００５２】
視聴方向情報取得部３２１は、顔検出部３１２から受け取った検出結果に基づいて、液晶パネルにおける視角特性を補償するための視聴方向情報を取得する。この視聴方向情報は、液晶パネル１１上の所定位置に対して、仮想的な視聴者または実際の視聴者が位置する方向を示す。視聴方向情報取得部３２１は、より詳細には、視角算出部２１１、回転角算出部２１２、および算出角処理部２１３を備えている。
【００５３】
視角算出部２１１は、顔検出部３１２から検出結果を受け取り、検出された顔の位置から、各視聴者につき、液晶パネル１１の所定位置における法線に対する角度を視角として求める。視角算出部２１１は、各視聴者の視角を示す視角データを算出角処理部２１３に与える。なお、本実施形態では、液晶パネル１１上の所定位置における法線として、当該液晶パネル１１上の中心における法線である中心軸を採用するものとする。ただし、液晶パネル１１上の所定位置は当該液晶パネル１１上の中心に限定されるものではない。視角の詳細な算出方法については後述する。
【００５４】
回転角算出部２１２は、顔検出部３１２から検出結果を受け取り、検出された顔の位置から、各視聴者につき、液晶パネル１１の所定位置における法線と液晶パネル１１の水平方向に当該法線に直交する線とで形成される面に対する角度を回転角として求める。回転角算出部２１２は、各視聴者の回転角を示す回転角データを算出角処理部２１３に与える。なお、上述のように、液晶パネル１１の所定位置における法線として、当該液晶パネル１１上の中心における法線である中心軸を採用するものとする。回転角の詳細な算出方法については後述する。なお、本実施形態において、回転角算出部２１２を設けず、回転角を求めないようにしても良い。
【００５５】
算出角処理部２１３は、視角算出部２１１および回転角算出部２１２からそれぞれ視角データおよび回転角データを受け取る。算出角処理部２１３は、視角データが示す各視聴者の視角を用いた処理（詳細は後述する。）を行い、処理後視角を取得する。また、算出角処理部２１３は、回転角データが示す各視聴者の回転角を用いた処理（詳細は後述する。）を行い、処理後回転角を取得する。算出角処理部２１３は、処理後視角および処理後回転角を視聴方向情報として取得し、当該視聴方向情報を階調補正部３２２に与える。以上のようにして、視聴方向情報取得部３２１は、複数人の視聴者のそれぞれの視角および回転角に基づいて視聴方向情報を取得する。なお、回転角算出部２１２を設けない場合、処理後視角のみが視聴方向情報となる。すなわち、視聴方向情報取得部３２１は、複数人の視聴者のそれぞれの視角のみに基づいて視聴方向情報を取得する。
【００５６】
階調補正部３２２は、メイン映像処理エンジン２０および算出角処理部２１３からそれぞれ入力画像信号Ｙ１および視聴方向情報を受け取る。階調補正部３２２は、視聴方向情報に応じた補正情報を階調補正データ記憶部３３から読み出し、読み出した補正情報を用いて入力画像信号Ｙ１が示す入力画像に対して階調補正を行う。なお、階調補正部３２２が読み出す補正情報は、視聴方向情報のみならず、入力画像信号Ｙ１が示す入力画像の階調値に応じたものであっても良い。階調補正部３２２は、階調補正後の画像である出力画像を示す出力画像信号Ｙ２をパネル駆動回路１２およびバックライト制御部１４に与える。このようにして、本実施形態では、視聴方向情報に応じて階調補正が施された画像である出力画像を示す出力画像信号Ｙ２に基づいて表示が行われる。
【００５７】
＜１．２  視角および回転角の算出＞
図２は、本実施形態におけるカメラ３１１の設置位置について説明するための図である。なお、以下では、液晶表示装置１のうちのカメラ３１１以外の構成要素をまとめて「ディスプレイ」といい、符号１００で表す。本実施形態におけるカメラ３１１は、図２に示すように、ディスプレイ１００の上辺中央部に設置されている。ここで、ディスプレイ１００の水平方向をＸ方向とし、垂直方向をＹ方向とし、中心軸８０に沿った方向をＺ方向とする。中心軸８０は、具体的には、ディスプレイ１００を構成する液晶パネル１１のＸＹ平面上の中心における法線である。以下では、液晶パネル１１の中心軸８０をディスプレイ１００の中心軸として説明することがある。本実施形態では、視聴者９０の顔の位置は、ディスプレイ１００の中心軸８０を基準として、撮影画像に基づいて求められる。なお、カメラ３１１を複数台用いても良く、また、ディスプレイ１００の上辺中央部以外の位置に設置しても良い。カメラ３１１を複数台用いた場合、１台のみ用いる場合よりも正確に視聴者９０の位置を求めることができる。
【００５８】
図３は、Ｙ方向における、中心軸８０に対する視聴者９０の位置（以下単に位置ｙという。）について説明するための図である。本実施形態では、ディスプレイ１００から視聴者９０までの標準視聴距離をＤとし、カメラ３１１の光軸を、中心軸８０上のディスプレイ１００から距離Ｄの位置に合わせる。ディスプレイ１００の高さ（Ｙ方向の長さ）をＨとすると、Ｄ＝３Ｈが標準的である。なお、カメラ３１１から、カメラ３１１の光軸と中心軸８０との交点までの距離をＥａとし、カメラ３１１の光軸と中心軸８０とがなす角をθとする。
【００５９】
撮影画像上では、視聴者９０はカメラの光軸から距離ｙａの位置にある。距離ｙａは、当該距離ｙａに相当する撮影画像の画素数を長さ（ｍ）にスケーリングすることにより求められる。例えば、１ｍの基準棒などをカメラ３１１で撮影し、撮影した画像での基準棒の長さを表すピクセル数がｐｓであったとすると、スケーリング値Ｓを１／ｐｓとする。この場合、ピクセル値である距離ｙａは、Ｓ×ｙａとすることにより長さ（ｍ）で求められる。
【００６０】
カメラ３１１から視聴者９０までの光軸上の距離Ｅｂ（＞Ｅａ）は、例えば顔認識のオートフォーカスカメラなどにおけるピント位置の距離情報から求めても良いし、標準的な顔のサイズを基準に、撮影画像中の顔のサイズから近似的に求めても良い。
【００６１】
以上に示した距離Ｅａ，Ｅｂ，ｙａおよび角θから、位置ｙは次式（１）で与えられる。
y = ya・cosθ - (Eb-Ea)sinθ  …（１）
【００６２】
また、Ｚ方向におけるディスプレイ１００から視聴者９０までの距離Ｅは、次式（２）で与えられる。
E = Eb・cosθ + ya・sinθ  …（２）
【００６３】
図４は、Ｘ方向における、中心軸８０に対する視聴者９０の位置（以下単に位置ｘという。）について説明するための図である。位置ｘは、図４に示すように、上記スケーリングを行うことによって得られる。なお、以上に示した位置ｘ，ｙの算出方法は単なる例示であり、ここで説明した方法に限定されるものではない。
【００６４】
図５は、本実施形態における視角εおよび回転角σの算出について説明するための図である。図５では、図２に示すＸＹＺ座標系で、ディスプレイ１００上の所定位置（ｘｄ，ｙｄ，０）の点を、位置（ｘｆ，ｙｆ，Ｅ）にいる視聴者９０が眺める場合の、視角εおよび回転角σを示している。なお、ディスプレイ１００上の所定位置が中心であるとすると、ｘｄ＝０，ｙｄ＝０である。ＸＹ平面上における、位置（ｘｄ，ｙｄ）から位置（ｘｆ，ｙｆ）までの距離ｒは次式（３）で与えられる。
【数１】
0006026770.tif 000002
【００６５】
視角εは次式（４）で与えられる。
【数２】
0006026770.tif 000003
【００６６】
回転角σは次式（５）で与えられる。
【数３】
0006026770.tif 000004
【００６７】
液晶の光透過率は、視角εによって異なるのみならず、視聴者９０が図２および図５に示すＸＹＺ座標系でＺ軸を中心に何度回転した方向から視聴しているか、すなわち回転角σがいくらかによっても異なることが知られている。このため、図２２に示す視角特性曲線は回転角σによって異なるものとなる。したがって、液晶の光透過率は、実際には、視角εのみならず回転角σにも依存する。このような理由から、本実施形態において階調補正を行う際には、視角εのみならず回転角σをも考慮することが望ましい。ただし、視角εのみを考慮した階調補正を行っても良い。
【００６８】
＜１．３  階調補正データ＞
階調補正データ記憶部２３には、上述のように視角εおよび回転角σに応じた補正情報を含む階調補正データが予め記憶されている。ここでは、階調補正データ記憶部２３に記憶させておくべき階調補正データの一例について説明する。
【００６９】
図６は、図２２に示す視角特性曲線に基づき、視角εの差によって生じる表示輝度差について説明するための図である。ここで、「表示輝度差」とは、視角ε＝０°での表示輝度と０°以外の視角εでの表示輝度との差を意味する。視角ε＝４５°に対応する階調補正値について説明する。なお、説明の便宜上、回転角σはある一定の値であるものとする。また、図６に関する説明における「視角ε」および「回転角σ」は、本実施形態では処理後視角および処理後回転角にそれぞれ対応する点に留意されたい。図６では、階調値Ｇ４の画像を、視角ε＝０°の位置から見たとき表示輝度をＬ４、視角ε＝４５°の位置から見たときの表示輝度をＬ４ａとしている。また、図６では、最大階調値Ｔｍａｘの画像を視角ε＝０°の位置から見たときの表示輝度をＬ０としている。例えば８ビットの階調精度の場合はＴｍａｘ＝２５５である。
【００７０】
液晶の光透過率の視角依存性により、表示輝度Ｌ４ａは表示輝度Ｌ４よりも高くなっている。図６では、表示輝度Ｌ４ａと表示輝度Ｌ４との表示輝度差をδ４としている。視角ε＝４５°に位置する視聴者９０に対して、視角ε＝０°の位置から階調値Ｇ４の画像を見たときの表示輝度Ｌ４で表示を行うためには、階調値Ｇ４の画像を視角ε＝４５°から見た場合に表示輝度Ｌ４となる階調値に補正すれば良い。以下では、階調補正前の階調値のことを「入力階調値」といい、階調補正後の階調値のことを「出力階調値」という。入力階調値は入力画像信号Ｙ１が示す入力画像の階調値に相当し、出力階調値は出力画像信号Ｙ２が示す出力画像の階調値に相当する。
【００７１】
出力階調値は、入力階調値と階調補正値との和により求まる。ここで、表示輝度差δに相当する階調補正値τは、次式（６）で与えられる。
τ = Tmax・(δ / L0)  …（６）
【００７２】
このようにして求められる階調補正値τを用いて入力画像信号Ｙ１が示す入力画像に対して階調補正を行うことにより、視角εに依存しない表示輝度が得られる。なお、実際には、所定角度毎の回転角σに応じて視角特性曲線が存在する。このため、回転角σがある値であるときに、当該値対応する視角特性曲線に基づいて、例えば視角ε＝４５°における階調補正値τが定まる。これにより、視角εおよび回転角σに依存しない表示輝度が得られる。
【００７３】
図７は、視角ε＝４５°の位置からディスプレイ１００上の所定位置を見た場合に、入力階調値０からＴｍａｘまでの入力画像に階調補正を行い、出力画像を得るための補正曲線を示す図である。この補正曲線は、次のようにして得られる。まず、図６および図２２に示す視角特性曲線に基づき、様々な入力階調値に対応する階調補正値τを求める。そして、横軸が入力階調値、縦軸が出力階調値である平面上に、求めた階調補正値τと入力階調値との和である出力階調値をプロットする。その後、プロットした点間を滑らかに結ぶことにより、図７に示すような補正曲線が得られる。点間を滑らかに結ぶ方法としては、例えば、最小二乗近似法を用いて三次の多項式で近似するなどの方法を用いることができる。また、他の近似式や近似法を用いても良い。なお、補正精度が落ちることにはなるが、プロットした点間を、線形補間などで求めるような折れ線グラフで近似しても良い。
【００７４】
上記補正曲線を示すデータは、階調補正データとして階調補正データ記憶部３３に予め記憶されている。階調補正データの形式は特に限定されるものではなく、例えば補正曲線そのものを表す近似式であっても良く、所定ビット（例えば８ビット）の入力階調値と出力階調値との変換テーブルであっても良い。このような補正曲線のデータは、例えば所定視角毎（５°毎など）且つ所定回転角毎（５°毎など）に記憶されている。
【００７５】
階調補正部３２２は、受け取った視聴方向情報に対応する補正曲線基づき、受け取った入力画像信号Ｙ１が示す入力階調値に応じた出力階調値を読み出す。このようにして、階調補正部３２２は、視聴方向情報に応じて階調補正が施された画像信号である出力画像信号Ｙ２を取得する。この場合、階調補正部３２２が読み出す出力階調値が、視聴方向情報および入力階調値に応じた補正情報に相当する。
【００７６】
また、階調補正部３２２は、受け取った視聴方向情報に対応する補正曲線基づき、受け取った入力画像信号Ｙ１が示す入力階調値に応じた階調補正値τを読み出し、当該階調補正値τを用いて入力階調値に対して階調補正を行うようにしても良い。このようにして、階調補正部３２２は、視聴方向情報に応じて階調補正が施された画像信号である出力画像信号Ｙ２を取得する。この場合、階調補正部３２２が読み出す階調補正値τが、視聴方向情報および入力階調値に応じた補正情報に相当する。
【００７７】
また、階調補正部３２２は、受け取った視聴方向情報に対応する補正曲線の近似式を読み出し、当該近似式中の変数に入力階調値を代入することにより出力階調値を取得するようにしても良い。このようにして、階調補正部３２２は、視聴方向情報に応じて階調補正が施された画像信号である出力画像信号Ｙ２を取得する。この場合、階調補正部３２２が読み出す補正曲線の近似式が、視聴方向情報に応じた補正情報に相当する。
【００７８】
なお、階調補正部３２２が受け取った視聴方向情報に対応する補正曲線のデータが階調補正データ記憶部３３に存在しない場合、階調補正部３２２は、例えば、当該視聴方向情報（処理後視角および処理後回転角かまたは処理後視角）に最も近い値の視聴方向情報に対応する補正曲線のデータから出力階調値（または階調補正値τ）を取得する。あるいは、階調補正部３２２は、視聴方向情報よりも大きく且つ最も近い値の視聴方向情報に対応する補正曲線のデータと、視聴方向情報よりも小さく且つ最も近い値の視聴方向情報に対応する補正曲線のデータとを補間することにより、出力階調値（または階調補正値τ）を取得するようにしても良い。
【００７９】
ところで、図７のように得られる補正曲線の一部が、液晶表示装置１で取り扱える階調値の範囲を超える場合がある。すなわち、入力階調値に対する出力階調値が最小階調値０から最大階調値Ｔｍａｘまでの範囲を超える場合がある。具体的には、図６に示すように、視角ε＝９０°付近になると、視角ε＝０°のときよりも表示輝度が低下する。特に階調値Ｇ１のように最大階調値Ｔｍａｘに近い階調値を入力階調値とする場合には、式（６）のようにして求められる階調補正値を入力階調値に単純に足し合わせると、出力階調値が最大階調値Ｔｍａｘよりも高くなってしまう。このような場合に対応して、図８に示すように、出力階調値が最大階調値Ｔｍａｘを上回るときには出力階調値を最大階調値Ｔｍａｘに丸めることが望ましい。同様に、出力階調値が最小階調値０を下回るときには出力階調値を最小階調値０に丸めることが望ましい。このようにして、補正曲線における出力階調値が液晶表示装置１で取り扱える階調値の範囲内に収まる。
【００８０】
＜１．４  算出角処理部の動作＞
図９は、本実施形態における、算出角処理部２１３における処理の一例を示すフローチャートである。図９では、算出角処理部２１３が、視聴方向情報のうちの処理後視角を各視聴者９０の視角εの平均値として取得し、視聴方向情報のうちの処理後回転角を各視聴者９０の回転角σの平均値として取得する例を示している。Ｓｖは各視聴者９０の視角εの合計を求めるための作業用視角変数を示し、Ｓｒは各視聴者９０の回転角σの合計を求めるための作業用回転角変数を示し、Ａｖは処理後視角としての平均視角を示し、Ａｒは処理後回転角としての平均回転角を示す。また、視聴者９０の人数はＮ人であるとする。Ｎは２以上の整数である。
【００８１】
まず、作業用視角変数Ｓｖおよび作業用回転角変数Ｓｒのそれぞれが０に初期化される（ステップＳ１）。次に、Ｎ人の視聴者９０すべてについて後述のステップＳ３の処理が行われたか否かが判定される（ステップＳ２）。Ｎ人の視聴者９０すべてについてステップＳ３の処理が済んでいればステップＳ４に進み、済んでいなければステップＳ３に進む。
【００８２】
ステップＳ３では、処理対象となる１人の視聴者９０（以下「現在の視聴者９０」という。）の視角εが作業用視角変数Ｓｖに足し込まれ、現在の視聴者９０の回転角σが作業用回転角変数Ｓｒに足し込まれる。ステップＳ３の後、ステップＳ２に進む。ステップＳ２，Ｓ３の繰り返しにより、Ｎ人の視聴者９０すべての視角εおよび回転角σがそれぞれ作業用視角変数Ｓｖおよび作業用回転角変数Ｓｒに足し込まれる。
【００８３】
ステップＳ４では、平均視角Ａｖおよび平均回転角Ａｒがそれぞれ次式（７）および（８）により求められる。
Ａｖ＝Ｓｖ／Ｎ  …（７）
Ａｒ＝Ｓｒ／Ｎ  …（８）
【００８４】
以上のようにして、処理後視角および処理後回転角がそれぞれ平均視角Ａｖおよび平均回転角Ａｒとして得られる場合、視聴方向情報は、ディスプレイ１００上の所定位置に対して仮想的な視聴者９０が位置する方向を示す。より詳細には、視聴方向情報は、ディスプレイ１００上の所定位置に対してＮ人の視聴者９０が位置する平均的な方向を示す。以下、具体的な角度を例に挙げた説明では、処理後視角および処理後回転角はそれぞれ平均視角Ａｖおよび平均回転角Ａｒであるものとする。ただし、本発明はこれに限定されるものではない。例えば、算出角処理部２１３は、ディスプレイ１００上の所定位置から最も近い視聴者９０（以下「最近接視聴者」という。）の視角εおよび回転角σをそれぞれ処理後視角および処理後回転角としても良い。この場合、視聴方向情報は、ディスプレイ１００上の所定位置に対して最近接視聴者が位置する方向を示す。また、例えば、算出角処理部２１３が階調補正データ記憶部３３の階調補正データを参照し、階調補正を行わないとすれば最も表示輝度がずれる視角εおよび回転角σに位置する視聴者９０（以下「最大ずれ位置の視聴者」という。）の視角εおよび回転角σをそれぞれ処理後視角および処理後回転角としても良い。この場合、視聴方向情報は、ディスプレイ１００上の所定位置に対して、最大ずれ位置の視聴者が位置する方向を示す。これら以外にも、算出角処理部２１３は、その他種々の処理方法により処理後視角および処理後回転角を求めることができる。
【００８５】
＜１．５  階調補正の具体例＞
図１０は、階調値Ｇ４の画像が表示されている状態において、第１，第２視聴者９０ａ，９０ｂがディスプレイ１００上の同じ位置（ｘｄ，ｙｄ，０）を眺めている様子を示す図である。より詳細には、図１０（Ａ）は平面図であり、図１０（Ｂ）は斜視図である。ディスプレイ１００上の位置（ｘｄ，ｙｄ，０）が中心である場合、ｘｄ＝０，ｙｄ＝０となる。第１，第２視聴者９０ａ、９０の視角をそれぞれεａ，εｂで示し、視角εａ＝４５°であり、視角εｂ＝６０°であるものとする。なお、第１，第２視聴者９０ａ、９０ｂ共に回転角σは０°であるものとする。このため、処理後回転角は０°となる。図１０（Ｂ）に示すように、階調値Ｇ４の画像は、位置（ｘｄ，ｙｄ，０）の正面からは表示輝度Ｌ４で視認される。
【００８６】
図１１は、図１０（Ａ）および図１０（Ｂ）に示す状態において生じる表示輝度差について説明するための図である。図１１および図１０（Ｂ）に示すように、階調値Ｇ４の画像は、視角ε＝０°に位置する視聴者９０からは表示輝度Ｌ４で視認される。ところが、本実施形態における階調補正を行わない場合、階調値Ｇ４の画像は、視角εａ＝４５°に位置する第１視聴者９０ａからは図１２（Ａ）に示すように表示輝度Ｌ４ａで視認され、視角εｂ＝６０°に位置する第２視聴者９０ｂからは図１２（Ｂ）に示すように表示輝度Ｌ４ｂで視認される。ここで、表示輝度Ｌ４，Ｌ４ａ，Ｌ４ｂの関係は次式（９）で与えられる。
Ｌ４＜Ｌ４ｂ＜Ｌ４ａ  …（９）
【００８７】
次に、本実施形態における階調補正を行う場合を考える。第１視聴者９０の視角εａは４５°であり、第２視聴者９０の視角εｂは６０°であるので、平均視角Ａｖは５２．５°となる。図１１では、視角ε＝４５°，５２．５°，６０°における表示輝度差をそれぞれδ４ａ，δ４ｍ，δ４ｂとしている。表示輝度差δ４ａ，δ４ｍ，δ４ｂの関係は次式（１０）で与えられる。
δ４ｂ＜δ４ｍ＜δ４ａ  …（１０）
【００８８】
このような表示輝度差σ４ｍに相当する階調補正値τ４ｍ（上記式（６）から得られる。）を用いて画像全体に対して階調補正を行うと、視角εａ＝４５°に位置する第１視聴者９０ａからは図１３（Ａ）に示すように表示輝度Ｌ４ａ−δ４ｍで画像が視認される。また、視角εｂ＝６０に位置する第２視聴者９０ｂからは図１３（Ｂ）に示すように表示輝度Ｌ４ｂ−δ４ｍで画像が視認される。これにより、第１，第２視聴者９０ａ，９０ｂの双方に対して、視角ε＝０°での表示輝度Ｌ４に近い表示輝度で表示が行われる。
【００８９】
＜１．６  効果＞
本実施形態によれば、液晶パネル１１全体に１つの画像が表示される場合において、少なくとも複数人の視聴者９０のそれぞれの視角εに基づいて、液晶パネルにおける視角特性を補償するための視聴方向情報が得られる。この視聴方向情報に応じた補正情報（階調補正値など）が階調補正データ記憶部３３から読み出され、当該補正情報を用いて入力画像信号Ｙ１が示す入力画像に対して階調補正が行われる。このようにして、複数人の視聴者９０のそれぞれの視角εを考慮した階調補正が行われることにより、当該複数人の視聴者９０のそれぞれに対して、少なくとも視角εに依存する画質低下を抑制できる。また、このような画質低下を抑制するための画像処理装置３０は、従来の液晶表示装置が備えるメイン映像処理エンジン２０とパネル駆動回路１２とバックライト制御部１４との間に設けて用いることができる。これにより、画像処理装置３０を従来の液晶表示装置に容易に組み込むことができる。さらに、階調補正データ記憶部３３に補正情報が予め記憶されているので、階調補正を行う度に補正情報を計算する処理を行う必要がない。したがって、比較的軽い処理で階調補正を行うことができる。
【００９０】
また、本実施形態によれば、複数人の視聴者９０のそれぞれの視角εに加えて、複数人の視聴者９０のそれぞれの回転角σに基づいて得られる視聴方向情報が得られる。この視聴方向情報に応じた補正情報が階調補正データ記憶部３３から読み出され、当該補正情報を用いて入力画像信号Ｙ１が示す入力画像に対して階調補正が行われる。このようにして、複数人の視聴者９０のそれぞれの視角εのみならず回転角σを考慮した階調補正が行われることにより、当該複数人の視聴者９０のそれぞれに対して、視角εおよび回転角σに依存する画質低下を抑制できる。このため、視角εのみを考慮する場合よりも、画質低下の抑制効果を高めることができる。
【００９１】
また、本実施形態によれば、補正情報として例えば平均視角Ａｖおよび平均回転角Ａｒが用いられる。このため、複数人の視聴者９０のそれぞれに対して平均的に階調補正を行うことにより、平均的に画質低下を抑制できる。なお、最近接視聴者の視角εおよび回転角σをそれぞれ処理後視角および処理後回転角とする場合には、最近接視聴者に対して優先的に階調補正を行うことにより、最近接視聴者に対する画質低下を優先的に抑制できる。最大ずれ位置の視聴者の視角εおよび回転角σをそれぞれ処理後視角および処理後回転角とする場合についても同様である。
【００９２】
＜２．第２の実施形態＞
＜２．１  概要＞
本発明の第２の実施形態に係る液晶表示装置１は、互いに独立した表示単位の複数の窓画像を同時に液晶パネル１１に表示可能となっている。このように複数の窓画像を同時に表示するシステムは、例えばマルチウインドウシステムと呼ばれる。図１４は、本実施形態において、ディスプレイ１００（より詳細には液晶パネル１１）に第１〜第３窓画像１１１ａ〜１１１ｃが表示された状態を示す図である。便宜上カメラ３１１の図示は省略している。ここでは窓画像が３個であるものとしているが、２個以上であればいかなる個数でも良い。第１〜第３窓画像１１１ａ〜１１１ｃは、例えば背景画像１１２上に表示される。ただし、背景画像１１２は必須のものではない。
【００９３】
＜２．２  表示制御部の構成＞
図１５は、本実施形態における表示制御部１５の構成を示すブロック図である。本実施形態における表示制御部１５は、図１５に示すように、上記第１の実施形態における表示制御部１５に入力画像信号分解処理部４０および窓出力画像信号統合処理部５０を追加したものである。本実施形態における階調補正データ記憶部３３に記憶されている階調補正データは、上記第１の実施形態におけるものと同様である。本実施形態の構成要素のうち上記第１の実施形態と同一の要素については、同一の参照符号を付して適宜説明を省略する。
【００９４】
入力画像信号分解処理部４０は、メイン映像処理エンジン２０から入力画像信号Ｙ１を受け取り、入力画像信号Ｙ１が示す入力画像を液晶パネル１１で表示すべき第１〜第３窓画像１１１ａ〜１１１ｃに分解する処理を行う。各窓画像のサイズおよび位置は、ユーザがマニュアルで指定しても良く、表示制御部１５が予め定めた組み合わせで決定されるものであっても良い。ここで、本実施形態における「ユーザ」とは、視聴者９０およびそれ以外の者を含み得る。表示制御部１５が予め定めた組み合わせの例としては、例えば、２画面出力処理またはＰ−ｉｎ−Ｐ（Picture in Picture）画面出力処理などで定まるものが挙げられる。入力画像信号分解処理部４０は、分解処理により得られた第１〜第３窓画像をそれぞれ示す第１〜第３窓入力画像信号Ｙ１ａ〜Ｙ１ｃと、窓画像の数、サイズ、および位置などを示す情報（以下「窓情報」という。）とを画像処理装置３０に与える。ところで、入力画像が背景画像を含む場合、入力画像は、液晶パネル１１で表示すべき背景画像１１２にも分解されるが、以下では、背景画像に関する処理の詳細な説明は適宜省略する。
【００９５】
ところで、一般のテレビでは入力系統が複数存在する。さらに、受信放送の場合には複数のチャンネルが存在する。本実施形態のように複数の窓画像を表示する場合、複数の窓画像について、受信放送では、互いに異なる複数の放送信号に基づいて表示を行うことが可能である。すなわち、複数の窓画像について、互いに異なる複数のチャンネルを表示することが可能である。また、複数の窓画像について、互いに異なる入力系統で表示を行うことも可能である。例えば、第１窓画像１１１ａを地上波デジタル放送のあるチャンネルに対応する放送信号に基づく画像とし、第２窓画像１１１ｂをゲーム機からの入力に基づく画像とし、第３窓画像１１１ｃをハードディスクレコーダからの入力に基づく画像とすることができる。このような理由から、本実施形態では、上記映像信号Ｘ１および上記入力画像信号Ｙ１のそれぞれには、複数の放送信号および複数の入力系統が含まれる場合がある（後述の第３の実施形態でも同様）。この場合、上記入力画像信号分解処理部４０におけるユーザの設定により、各放送信号または各入力系統に対応した内容を各窓画像で適切に表示することができる。
【００９６】
画像処理装置３０は、ペアリング部３４と、第１〜第３窓画像１１１ａ〜１１１ｃにそれぞれ対応した第１〜第３窓用階調補正ユニット３２ａ〜３２ｃを備えている。なお、窓用階調補正ユニットがＣＰＵによりソフトウェア的に実現されている場合、当該窓用階調補正ユニットの数は窓画像の数に応じて可変となる。また、第１〜第３窓用階調補正ユニット３２ａ〜３２ｃは一体的に実現されているものでも良い。
【００９７】
本実施形態におけるペアリング部３４は、各窓画像と１人の視聴者９０とをペアリングする。ペアリングは、例えば顔検出部３１２の検出結果および窓情報に基づいて行われる。本実施形態におけるペアリングの方法としては、例えば次のものが挙げられる。第１のペアリング方法は、顔検出部３１２で顔が検出された視聴者９０の検出順に、マニュアル操作によって、その視聴者９０とペアリングすべき窓画像を選択するものである。第２のペアリング方法は、表示位置が視聴者９０からの距離が最も近い窓画像と当該視聴者とを自動的にペアリングするものである。第３のペアリング方法は、各窓画像の正面に最も近い視聴者９０と当該窓画像とを自動的にペアリングするものである。第４のペアリング方法は、視聴者９０の視線を検出して当該視聴者９０が視認している窓画像を認識し、それらの視聴者と窓画像をペアリングするものである。視聴者の視線検出は、撮影画像を使用して種々の公知の技術を用いて実現することができる。以上のようにして、１つの窓画像に１人の視聴者９０が対応する。図１４および図１５に示す例では、第１〜第３窓画像１１１ａ〜１１１ｃに３人の視聴者９０（不図示）がそれぞれ対応する。なお、以上のペアリングは、顔検出部３１２によって行われても良い。また、窓画像と視聴者９０とのペアリング方法は、第１〜第４のペアリング方法に限定されるものではない。ペアリング部３４は、各窓画像に対応する窓用階調補正ユニットに、顔検出部３１２から与えられた検出結果のうちの当該窓画像にペアリングされた視聴者９０に関する検出結果（以下「窓画像における検出結果」という。）を与える。言い換えると、ペアリング部３４を介して、顔検出部３１２から各窓用階調補正ユニットに窓画像における検出結果が与えられる。
【００９８】
第１〜第３窓用階調補正ユニット３２ａ〜３２ｃのそれぞれは、視聴方向情報取得部３２１に算出角処理部２１３が設けられていないことを除き、上記第１の実施形態における階調補正ユニット３２と基本的に同様の構成である。第１〜第３窓用階調補正ユニット３２ａ〜３２ｃは、入力画像信号分解処理部４０からそれぞれ第１〜第３窓入力画像信号Ｙ１ａ〜Ｙ１ｃを受け取り、ペアリング部３４から第１〜第３窓画像における検出結果をそれぞれ受け取る。第１窓用階調補正ユニット３２ａは、視聴方向情報取得部３２１および階調補正部３２２を備えている。同様に、第２，第３窓用階調補正ユニット３２ｂ，３２ｃのそれぞれは、視聴方向情報取得部３２１および階調補正部３２２を備えている。言い換えると、本実施形態における画像処理装置３０は、窓画像と同数の視聴方向情報取得部３２１および階調補正部３２２を備えている。なお、第１〜第３窓用階調補正ユニット３２ａ〜３２ｃは互いに動作が同様であるので、以下では、第１窓用階調補正ユニット３２ａを例に挙げて説明し、第２，第３窓用階調補正ユニット３２ｂ，３２ｃに関する説明は省略する。
【００９９】
視聴方向情報取得部３２１は、上記第１の実施形態におけるものと異なり、算出角処理部２１３を備えていない。視角算出部２１１は、ペアリング部３４から第１窓画像１１１ａにおける検出結果を受け取り、第１窓画像１１１ａに対応する視聴者９０につき、第１窓画像１１１ａの所定位置における法線に対する角度を視角εとして求める。回転角算出部２１２は、ペアリング部３４から第１窓画像１１１ａにおける検出結果を受け取り、第１窓画像１１１ａに対応する視聴者９０につき、第１窓画像１１１ａの所定位置における法線と液晶パネル１１の水平方向に当該法線に直交する線とで形成される面に対する角度を回転角σとして求める。視聴方向情報取得部３２１は、視角算出部２１１および回転角算出部２１２で求められた視角εおよび回転角σを、第１窓画像１１１ａにおける視聴方向情報として取得し、当該視聴方向情報を階調補正部３２２に与える。なお、上記第１の実施形態と同様に、回転角算出部２１２を設けず、回転角を求めないようにしても良い。この場合、視角εのみが視聴方向情報となる。
【０１００】
階調補正部３２２は、入力画像信号分解処理部４０および視聴方向情報取得部３２１から第１窓入力画像信号Ｙ１ａおよび第１窓画像１１１ａにおける視聴方向情報をそれぞれ受け取る。階調補正部３２２は、視聴方向情報に応じた補正情報を階調補正データ記憶部３３から読み出し、読み出した補正情報を用いて第１窓入力画像信号Ｙ１ａが示す第１窓画像１１１ａに対して階調補正を行う。なお、この階調補正は、上記第１の実施形態におけるものと同様のものである。階調補正部３２２は、階調補正後の第１窓画像１１１ａを示す第１窓出力画像信号Ｙ２ａを窓出力画像信号統合処理部５０に与える。
【０１０１】
以上のような第１窓用階調補正ユニット３２ａと同様の手順により、第２，第３窓用階調補正ユニット３２ｂ，３２ｃは、階調補正後の第２窓画像１１１ｂを示す第２窓出力画像信号Ｙ２ｂおよび階調補正後の第３窓画像１１１ｃを示す第３窓出力画像信号Ｙ２ｃをそれぞれ窓出力画像信号統合処理部５０に与える。以下では、第１〜第３窓出力画像信号Ｙ２ａ〜Ｙ２ｃがそれぞれ示す第１〜第３窓画像１１１ａ〜１１１ｃのことを「第１〜第３窓出力画像」という。
【０１０２】
窓出力画像信号統合処理部５０は、画像処理装置３０から受け取った第１窓出力画像信号Ｙ２ａ〜第３窓出力画像信号Ｙ２ｃがそれぞれ示す第１窓出力画像〜第３窓出力画像１１１ａ〜１１１ｃを統合して出力画像を構成し、当該出力画像を示す出力画像信号Ｙ２をパネル駆動回路１２およびバックライト制御部１４に与える。このようにして、本実施形態では、第１〜第３窓画像１１１ａ〜１１１ｃがディスプレイ１００上に同時に表示可能となっている。なお、背景画像１１２がある場合、本実施形態における出力画像は、第１窓出力画像〜第３窓出力画像１１１ａ〜１１１ｃのみならず、上述の背景画像１１２をも統合して構成される。この背景画像１１２は、入力画像信号分解処理部４０から直接与えられるものであっても良く、画像処理装置３０において階調補正処理が施されてから与えられるものであっても良い。背景画像１１２に対して階調補正処理が施される場合、当該背景画像１１２については例えば視角ε＝０°、回転角σ＝０°とされる。
【０１０３】
ところで、図１４に示すように、２以上の窓画像の一部が互いに重なる場合がある。この場合、窓出力画像信号統合処理部５０において、例えば次のような処理が行われる。重なっている窓画像は、上層（視聴者側）に位置するものほど優先度が高いとされる。優先度が低い窓画像から順に、窓出力画像信号統合処理部５０内の図示しないメモリ領域への書き込みを行うことにより、重複部分には、優先度の高い窓画像が残ることになる。このようにしてすべての窓画像についてメモリ領域への書き込みが終了した後、メモリ領域の内容を出力画像とすることにより、図１４に示すような２以上の窓画像の一部が互いに重なった表示が行われる。なお、ここで説明した処理は単なる例示であり、窓画像が重複する場合の処理方法はこれに限定されるものではない。
【０１０４】
＜２．３  視角および回転角の算出＞
図１６は、本実施形態における、窓画像毎の視角εおよび回転角σの算出について説明するための図である。図１６では、図２に示すＸＹＺ座標系で、窓画像１１１上の所定位置（ｘｄ，ｙｄ，０）の点を、位置（ｘｆ，ｙｆ，Ｅ）にいる視聴者９０が眺める場合の、視角εおよび回転角σを示している。なお、窓画像１１１上の所定位置は、例えば当該窓画像１１１上の中心である。本実施形態では、窓画像１１１毎に、当該窓画像１１１に対応する視聴者９０の視角εおよび回転角σが求められる。なお、視角εおよび回転角σは、上記第１の実施形態と同様に上記式（４）および式（５）によりそれぞれ求められる。
【０１０５】
＜２．４  階調補正の具体例＞
図１７は、第１窓画像１１１ａとして階調値Ｇ４の窓画像が表示され、第２窓画像１１１ｂとして階調値Ｇ５の窓画像が表示されている状態において、第１視聴者９０ａが第１窓画像１１１ａ上の位置（ｘｄａ，ｙｄａ，０）を眺め、第２視聴者９０ｂが第２窓画像上の位置（ｘｄｂ，ｙｄｂ，０）を眺めている様子を示す図である。より詳細には、図１７（Ａ）は平面図であり、図１７（Ｂ）は斜視図である。第１，第２視聴者９０ａ、９０の視角をそれぞれεａ，εｂで示し、視角εａ＝４５°であり、視角εｂ＝６０°であるものとする。本実施形態における視角εａ，εｂは、それぞれ第１，第２窓画像１１１ａ，１１１ｂにおける視角である。なお、第１，第２視聴者９０ａ、９０ｂ共に回転角σは０°であるものとする。このため、処理後回転角は０°である。図１７（Ｂ）に示すように、階調値Ｇ４の第１窓画像１１１ａは位置（ｘｄａ，ｙｄａ，０）の正面からは表示輝度Ｌ４で視認され、階調値Ｇ５の第２窓画像１１１ｂは位置（ｘｄｂ，ｙｄｂ，０）の正面からは表示輝度Ｌ５で視認される。
【０１０６】
図１８は、図１７（Ａ）および図１７（Ｂ）に示す状態において生じる表示輝度差について説明するための図である。図１８および図１７（Ｂ）に示すように、階調値Ｇ４の第１窓画像１１１ａについては、第１窓画像１１１ａに対して視角ε＝０°に位置する視聴者９０からは表示輝度Ｌ４で視認される。ところが、本実施形態における階調補正を行わない場合、階調値Ｇ４の第１窓画像１１１ａは、第１窓画像１１１ａに対して視角εａ＝４５°に位置する第１視聴者９０ａからは図１９（Ａ）に示すように表示輝度Ｌ４ａで視認される。表示輝度Ｌ４，Ｌ４ａの関係は上記式（９）で与えられる。階調値Ｇ５の第２窓画像１１１ｂについては、第２窓画像１１１ｂに対して視角ε＝０°に位置する視聴者９０からは表示輝度Ｌ５で視認される。ところが、本実施形態における階調補正を行わない場合、階調値Ｇ５の第２窓画像１１１ｂは、第２窓画像１１１ｂに対して視角εｂ＝６０°に位置する第２視聴者９０ｂからは図１９（Ｂ）に示すように表示輝度Ｌ５ｂ（＞Ｌ５）で視認される。
【０１０７】
次に、本実施形態における階調補正を行う場合を考える。第１窓画像１１１ａにおける処理後視角は４５°である。このため、視角ε＝４５°における表示輝度差δ４ａに相当する階調補正値τ４ａ（上記式（６）から得られる。）を用いて第１窓画像１１１ａに対して階調補正が行われる。これにより、第１窓画像１１１ａに対して視角εａ＝４５°に位置する第１視聴者９０ａからは、図２０（Ａ）に示すように、表示輝度Ｌ４ａ−δ４ａで第１窓画像１１１ａが視認される。より詳細には、表示輝度差δ４ａは表示輝度Ｌ４ａと表示輝度Ｌ４との差であるので、第１窓画像１１１ａに対して視角εａ＝４５°に位置する第１視聴者９０ａからは、表示輝度Ｌ４で第１窓画像１１１ａが視認される。
【０１０８】
また、第２窓画像１１１ｂにおける処理後視角は６０°である。このため、視角ε＝６０°における表示輝度差δ５ｂに相当する階調補正値τ５ｂ（上記式（６）から得られる。）を用いて第２窓画像１１１ｂに対して階調補正が行われる。これにより、第２窓画像１１１ｂに対して視角εｂ＝６０°に位置する第２視聴者９０ｂからは、図２０（Ｂ）に示すように、表示輝度Ｌ５ｂ−δ５ｂで第２窓画像１１１ｂが視認される。より詳細には、表示輝度差δ５ｂは、表示輝度Ｌ５ｂと表示輝度Ｌ４との差であるので、第２窓画像１１１ｂに対して視角εｂ＝６０°に位置する第２視聴者９０ｂからは、表示輝度Ｌ５で第２窓画像１１１ｂが視認される。
【０１０９】
このようにして、第１，第２視聴者９０ａ，９０ｂの双方に対して、第１，第２窓画像１１１ａ，１１１ｂにおける視角ε＝０°での表示輝度Ｌ４，Ｌ５で表示が行われる。
【０１１０】
＜２．５  効果＞
本実施形態によれば、液晶パネル１１に複数の窓画像１１１が表示され、各窓画像１１１に１人の視聴者９０が対応する場合において、少なくとも各窓画像１１１に対応する視聴者９０の視角εが当該窓画像１１１における視聴方向情報として得られる。この視聴方向情報に応じた補正情報が階調補正データ記憶部３３から読み出され、当該補正情報を用いて窓画像１１１に対して階調補正が行われることにより、各窓画像１１１に対応する１人の視聴者９０に対して、少なくとも視角εに依存する画質低下を抑制できる。また、上記第１の実施形態と同様に、画像処理装置３０を従来の液晶表示装置に容易に組み込むことができ、比較的軽い処理で階調補正を行うことができる。
【０１１１】
また、本実施形態によれば、各窓画像１１１に対応する視聴者９０の視角εに加えて、当該視聴者９０の回転角σが当該窓画像１１１における視聴方向情報として得られる。この視聴方向情報に応じた補正情報が階調補正データ記憶部３３から読み出され、当該補正情報を用いて窓画像１１１に対して階調補正が行われることにより、各窓画像１１１に対応する１人の視聴者に対して、視角εおよび回転角σに依存する画質低下を抑制できる。このため、視角εのみを考慮する場合よりも、画質低下の抑制効果を高めることができる。
【０１１２】
＜３．第３の実施形態＞
＜３．１  表示制御部の構成＞
本発明の第３の実施形態は、上記第１の実施形態と第２の実施形態とを互いに組み合わせた態様である。具体的には、上記第２の実施形態のように複数の窓画像１１１を同時に表示させる場合において、各窓画像１１１に２人以上の視聴者９０を対応させたものである。図２１は、本実施形態における表示制御部１５の構成を示すブロック図である。本実施形態における表示制御部１５は、上記第２の実施形態における各窓用階調補正ユニットを、上記第１の実施形態における階調補正ユニット３２と同様の構成にしたものである。本実施形態の構成要素のうち上記第１の実施形態または第２の実施形態と同一の要素については、同一の参照符号を付して適宜説明を省略する。
【０１１３】
ペアリング部３４は、各窓画像１１１と２人以上の視聴者９０とをペアリングする。ペアリングの方法としては、例えば、上記第２の実施形態で例示したものを採用することができる。
【０１１４】
各窓用階調補正ユニットの算出角処理部２１３は、視角算出部２１１および回転角算出部２１２からそれぞれ視角データおよび回転角データを受け取る。そして、各窓用階調補正ユニットの算出角処理部２１３は、上記第１の実施形態と同様の処理により、当該窓用階調補正ユニットに対応する窓画像１１１における処理後視角および処理後回転角を当該窓画像１１１における視聴方向情報として取得し、当該視聴方向情報を階調補正部３２２に与える。なお、第１の実施形態と同様に、記第１の実施形態と同様に、回転角算出部２１２を設けず、回転角σを求めないようにしても良い。この場合、処理後視角のみが視聴方向情報となる。
【０１１５】
各窓用階調補正ユニットの階調補正部３２２は、入力画像信号分解処理部４０および視聴方向情報取得部３２１からそれぞれ第１窓入力画像信号Ｙ１ａおよび視聴方向情報を受け取り、階調補正部３２２は、上記第１の実施形態および第２の実施形態と同様の階調補正を窓画像に対して行う。
【０１１６】
以上のような表示制御部１５の構成により、例えば処理後視角として平均視角Ａｖなどを採用した場合、各窓画像１１１に対応する２人以上の視聴者９０のそれぞれに対して、視角ε＝０°での表示輝度に近い表示輝度で表示が行われる。
【０１１７】
＜３．２  効果＞
本実施形態によれば、液晶パネル１１に複数の窓画像１１１が表示され、各窓画像１１１に２人以上の所定数人の視聴者９０が対応する場合において、各窓画像１１１に対応する所定数人の視聴者９０のそれぞれの視角εに基づいて当該窓画像１１１における視聴方向情報が得られる。この視聴方向情報に応じた補正情報が階調補正データ記憶部３３から読み出され、当該補正情報を用いて窓画像１１１に対して階調補正が行われることにより、各窓画像１１１に対応する所定数人の視聴者９０のそれぞれに対して、少なくとも視角εに依存する画質低下を抑制できる。また、上記第１の実施形態と同様に、画像処理装置３０を従来の液晶表示装置に容易に組み込むことができ、比較的軽い処理で階調補正を行うことができる。
【０１１８】
また、本実施形態によれば、各窓画像１１１に対応する所定数人の視聴者９０のそれぞれの視角εに加えて、当該所定数人の視聴者９０のそれぞれの回転角σに基づいて当該窓画像１１１における視聴方向情報が得られる。この視聴方向情報に対応する補正情報が階調補正データ記憶部３３から読み出され、当該補正情報を用いて窓画像１１１に対して階調補正が行われることにより、各窓画像１１１に対応する所定数人の視聴者９０のそれぞれに対して、視角εおよび回転角σに依存する画質低下を抑制できる。このため、視角εのみを考慮する場合よりも、画質低下の抑制効果を高めることができる。
【０１１９】
＜４．その他＞
上記各実施形態では、バックライト１３を備える液晶表示装置１に画像処理装置３０を組み込んで使用する例を挙げて説明したが、本発明はこれに限定されるものではない。バックライト１３を備えない有機ＥＬ（Electro Luminescence）表示装置、プラズマ表示装置などあっても、少なくとも視角εが表示に影響を与える場合には、それらの表示装置に画像処理装置３０を組み込んで使用することができる。その他、本発明の趣旨を逸脱しない範囲で上記各実施形態を種々変形して実施することができる。
【０１２０】
以上より、本発明によれば、複数人の視聴者のそれぞれに対する画質低下を抑制する画像処理装置、それを備える表示装置、および画像処理方法を提供することができる。
【符号の説明】
【０１２１】
１…液晶表示装置
１１…液晶パネル（表示パネル）
１２…パネル駆動回路
１３…バックライト
１４…バックライト制御部
１５…表示制御部
３０…画像処理装置
３１…位置情報取得部
３２，３２ａ〜３２ｃ…階調補正ユニット
３３…階調補正データ記憶部
３４…ペアリング部
９０，９０ａ，９０ｄ…視聴者
１００…ディスプレイ
１４１…バックライト輝度算出部
１４２…バックライト駆動回路
２１１…視角算出部
２１２…回転角算出部
２１３…算出角処理部
３１１…カメラ
３１２…顔検出部
３２１…視聴方向情報取得部
３２２…階調補正部
【図１】
0006026770.tif 000005
【図２】
0006026770.tif 000006
【図３】
0006026770.tif 000007
【図４】
0006026770.tif 000008
【図５】
0006026770.tif 000009
【図６】
0006026770.tif 000010
【図７】
0006026770.tif 000011
【図８】
0006026770.tif 000012
【図９】
0006026770.tif 000013
【図１０】
0006026770.tif 000014
【図１１】
0006026770.tif 000015
【図１２】
0006026770.tif 000016
【図１３】
0006026770.tif 000017
【図１４】
0006026770.tif 000018
【図１５】
0006026770.tif 000019
【図１６】
0006026770.tif 000020
【図１７】
0006026770.tif 000021
【図１８】
0006026770.tif 000022
【図１９】
0006026770.tif 000023
【図２０】
0006026770.tif 000024
【図２１】
0006026770.tif 000025
【図２２】
0006026770.tif 000026