(57)【要約】【課題】低コントラストの観賞条件での液晶ディスプレイにおけるコンテンツの視認性を向上させる方法等を提供する。【解決手段】本発明の実施形態は、入力画像の画質を向上させるシステム、画像表示システム、および低コントラストの観賞条件にある液晶ディスプレイ（ＬＣＤ）におけるコンテンツの視認性を向上させる方法に関する。本発明の一実施形態によれば、主要特徴推定手段は、入力画像に関連付けられた主要特徴マップを推定することができ、明度向上手段は、入力画像の明度を高め、明度が向上した明画像を形成しうる。強調された画像は、入力画像に関連付けられた主要特徴マップと、当該入力画像の明度を高めた画像とを結合することによって形成されうる。本発明の効果は、エッジの強調、および画像の明度の向上を通して、低コントラストの観賞条件における、知覚される画像のコントラスト、視認性および把握の容易性を向上させることにある。【選択図】図３
2011107702.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の画質を向上させる画像処理システムであって、
（ａ）入力画像に関連付けられた主要特徴マップを推定する主要特徴推定手段と、
（ｂ）上記入力画像の明度を高め、明度が向上した明画像を形成する明度向上手段と、
（ｃ）上記主要特徴マップと上記明画像とを結合することにより、画質の向上した高画質画像を形成する結合手段と、
を備えていることを特徴とする画像処理システム。
【請求項２】
上記結合手段に用いられる合成パラメータを選択する合成パラメータ選択手段をさらに備えていることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
上記高画質画像の画素値を、ＬＣＤディスプレイに関連付けられたコード値に対してマッピングするコード値マッピング手段をさらに備えていることを特徴とする請求項１に記載の画像処理システム。
【請求項４】
上記主要特徴推定手段は、上記入力画像から形成されたグレースケール画像から階調マップを算出する階調マップ算出手段を備え、
上記階調マップ算出手段は、上記階調マップの算出において、大領域対応を用いることを特徴とする請求項１に記載の画像処理システム。
【請求項５】
上記主要特徴推定手段は、
（ａ）上記入力画像に関連付けられた低解像度画像をフィルタリングするバイラテラルフィルタと、
（ｂ）バイラテラルフィルタにかけられた上記低解像度画像をグレースケール画像に変換するグレースケール変換手段と、
（ｃ）未加工の階調マップを生成するために、上記グレースケール画像に対して大領域対応の階調を算出する階調算出手段と、
（ｄ）上記未加工の階調マップにおける低階調を抑制する低階調抑制手段と、
（ｅ）低階調が抑制された上記階調マップにおける極性を反転させる階調マップ極性反転手段と、
（ｆ）極性が反転した上記階調マップにおける階調のコントラストを強調する階調コントラスト強調手段と、
（ｇ）階調のコントラストが強調された上記階調マップにおける階調を平滑化する階調平滑化手段と、
（ｈ）平滑化された上記階調マップから形成されたバックグラウンドを０に変更する階調マップ変更手段と、
を備えていることを特徴とする請求項１に記載の画像処理システム。
【請求項６】
上記主要特徴推定手段は、
（ａ）上記入力画像に関連付けられたグレースケール画像における第１の画素位置において横方向の階調を決定する横方向階調算出手段と、
（ｂ）上記入力画像に関連付けられたグレースケール画像における第１の画素位置において縦方向の階調を決定する縦方向階調算出手段と、
（ｃ）上記画素位置に関連付けられた階調値を特定する画素階調特定手段と、
を備えており、
上記横方向階調算出手段は、
（ｉ）上記第１の画素位置に関する第１の横方向における第１の複数の一次導関数値を決定し、
（ｉｉ）上記第１の画素位置に関する第２の横方向における第２の複数の一次導関数値を決定し、
（ｉｉｉ）上記第１の複数の一次導関数値の最大値である第１の最大値を決定し、
（ｉｖ）上記第２の複数の一次導関数値の最大値である第２の最大値を決定し、
（ｖ）上記第１の最大値および第２の最大値を加算することによって横方向の階調の値を決定し、
上記縦方向階調算出手段は、
（ｉ）上記第１の画素位置に関する第１の縦方向における第３の複数の一次導関数値を決定し、
（ｉｉ）上記第１の画素位置に関する第２の縦方向における第４の複数の一次導関数値を決定し、
（ｉｉｉ）上記第３の複数の一次導関数値の最大値である第３の最大値を決定し、
（ｉｖ）上記第４の複数の一次導関数値の最大値である第４の最大値を決定し、
（ｖ）上記第３の最大値および第４の最大値を加算することによって縦方向の階調の値を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項７】
上記明度向上手段は、上記明画像を形成するときに、ＬＣＤディスプレイに関連付けられたバックライトの出力レベル、周辺光のレベル、および上記入力画像の画像の内容の少なくとも１つを利用することを特徴とする請求項１に記載の画像処理システム。
【請求項８】
上記合成パラメータの値は、上記主要特徴マップおよび上記明画像を線形加重するために用いられることを特徴とする請求項２に記載の画像処理システム。
【請求項９】
上記入力画像に関連付けられた上記低解像度画像は、
（ａ）上記入力画像をローパスフィルタリングするローパスフィルタと、
（ｂ）ローパスフィルタリングされた上記入力画像をダウンサンプリングするダウンサンプラーと、によって形成されることを特徴とする請求項５に記載の画像処理システム。
【請求項１０】
平滑化された上記階調マップから形成された上記階調マップは、平滑化された上記階調マップを上記入力画像の解像度に合わせて調整することによって形成されることを特徴とする請求項９に記載の画像処理システム。
【請求項１１】
入力画像の画質を向上させる画像処理方法であって、
（ａ）入力画像を取得する取得工程と、
（ｂ）上記入力画像に関連付けられた主要特徴マップを推定する推定工程と、
（ｃ）上記入力画像の明度を高め、明度が向上した明画像を形成する明度向上工程と、
（ｄ）上記主要特徴マップと上記明画像とを結合することにより、画質の向上した高画質画像を形成する結合工程と、
を含むことを特徴とする画像処理方法。
【請求項１２】
上記明度向上工程は、輝度係数を決定する決定工程を含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
上記輝度係数は、場所により異なることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
上記明度向上工程は、
（ａ）第１の輝度係数を決定する第１決定工程と、
（ｂ）上記入力画像における第１の画素に関連付けられた第１の色成分値を取得する第１取得工程と、
（ｃ）上記第１の画素に関連付けられた第２の色成分値を取得する第２取得工程と、
（ｄ）上記第１の画素に関連付けられた第３の色成分値を取得する第３取得工程と、
（ｅ）上記第１の輝度係数によって補正される上記第１の色成分値が最大コード値よりも低く、かつ、上記第１の輝度係数によって補正される上記第２の色成分値が最大コード値よりも低く、かつ、上記第１の輝度係数によって補正される上記第３の色成分値が最大コード値よりも低いときに、上記第１の色成分値、上記第２の色成分値、及び上記第３の色成分値を、上記第１の輝度係数によって補正する補正工程と、
（ｆ）上記第１の輝度係数によって補正される上記第１の色成分値が最大コード値よりも低くなく、または、上記第１の輝度係数によって補正される上記第２の色成分値が最大コード値よりも低くなく、または、上記第１の輝度係数によって補正される上記第３の色成分値が最大コード値よりも低くないときに、
（ｉ）上記最大コード値と、上記第１の色成分値、第２の色成分値および第３の色成分値の最大値とに基づいて、第２の輝度係数を決定する第２決定工程と、
（ｉｉ）上記第２の輝度係数によって上記第１の色成分値を補正する第１補正工程と、
（ｉｉｉ）上記第２の輝度係数によって上記第２の色成分値を補正する第２補正工程と、
（ｉｖ）上記第２の輝度係数によって上記第３の色成分値を補正する第３補正工程と、
を含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１５】
画像表示システムであって、
（ａ）入力画像を取得する入力画像取得手段と、
（ｂ）入力画像に関連付けられた主要特徴マップを推定する主要特徴推定手段と、
（ｃ）上記入力画像の明度を高め、明度が向上した明画像を形成する明度向上手段と、
（ｄ）上記主要特徴マップと上記明画像とを結合することにより、画質の向上した高画質画像を形成する結合手段と、
（ｅ）上記高画質画像を表示する表示手段と、
を備えていることを特徴とする画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施態様は、概して画像処理に関し、特に、入力画像の画像処理システム、画像表示装置、及び低コントラストの観賞条件での液晶ディスプレイ（ＬＣＤ）におけるコンテンツの視認性を向上させる方法に関する。
【背景技術】
【０００２】
低コントラストの観賞条件でＬＣＤ装置（例えば、ＬＣＤテレビ、ＬＣＤ携帯装置およびＬＣＤディスプレイを備えている他の装置）を観賞すると、例えば眼精疲労および疲労によりユーザに悪影響が及ぶ。
【０００３】
低コントラストの観賞条件は、装置が極端な省電力モードで使用されている場合に生じうる。このとき、ＬＣＤのバックライトの出力レベルが大幅に低下して、画像／ビデオ映像のコンテンツが暗くなり、鑑賞者の視認性を低下させる。画像／ビデオ映像のコントラストが大幅に低下する、または、場合によっては、そのコントラストが無くなって黒くなることがあり、それにより、重要なシーンの内容を伝達する画像の特性の多くが、視認可能な閾値以下に低下する。
【０００４】
また、低コントラストの観賞条件は、ＬＣＤディスプレイが、強い周辺光（例えば、直射日光）の下で観賞される場合に生じうる。これらの状況において、ユーザが知覚するディスプレイの最小の明度は、周囲を取り巻く強い周辺光のために引き上げられる。そして、画像ビデオ映像は、明るくなると予想される場所において “不鮮明”になり、画像ビデオ映像は、より暗い領域において特色を失う。
【０００５】
低いコントラストにおいて観賞する上記の状況の両方、および、低いコントラストで観賞する他の状況において、画像／ビデオ映像の色調のダイナミックレンジは圧縮され、画像のコントラストは大幅に低下する。それにより、ユーザの観賞体験の質が低下する。低電力消費に対する消費者の関心および装置の持ち運び易さに対する要求が増すことにより、画質が向上したデジタル画像およびデジタルビデオ映像を提供して、低コントラストの観賞条件における観賞体験を改善することが望まれている。
【０００６】
デジタル画像およびデジタルビデオ映像の画質の向上についての構成が、S. Takafumi & T. Takahashi, “Comprehensible rendering of 3-D shapes,” pp. 197-206, SIGGRAPH (1990)、G. Winkenbach & D. H. Salesin, “Computer generated pen-and-ink illustration,” Proc. of SIGGRAPH 2000, pp. 91-100 (1994)、M. Nienhaus & J. Doellner, “Edge-enhancement - an algorithm for real-time non-photorealistic rendering,” Journal of WSCG, Vol. 11, No. 1, pp. 346-353 (2003)、D. E. Pearson & J. A. Robinson, “ Visual communication at very low data rates,” Proceedings of the IEEE, Vol. 73, No. 4 (1985)、およびD. DeCarlo & A. Santella, A, “Stylization and abstraction of photographs,” In Proceedings of. SIGGRAPH, pp. 769-776 (2002)などの参考文献に開示されている。
【０００７】
しかし、これらの従来技術は、以下の問題点を有する。
【０００８】
これらの従来技術では、“低コントラストの観賞条件における画像の視認性の低さ”という特定の問題点について対処がなされていない。したがって、従来の技術によって処理された画像は、低コントラストの観賞条件において、やはり観賞に耐えないか、または内容を把握できない。
【０００９】
従来の技術は、画像の明度を向上させていないため、画像のコントラストは、低コントラストの観賞条件において観賞される場合に低いままである。
【００１０】
従来の技術は、画質が向上した画像を形成するときに、バックライトの出力レベル、周辺光のレベル、および画像の内容について考慮していない。したがって、従来の技術によって生成された画像は、低コントラストの観賞条件において観賞に耐えないか、または内容を把握できない。
【発明の概要】
【課題を解決するための手段】
【００１１】
本発明の幾つかの実施形態は、低コントラストの観賞条件における液晶ディスプレイ（ＬＣＤ）に対するコンテンツの視認性を改善する方法およびシステムを含む。
【００１２】
本発明の一実施形態にしたがって、入力画像の画質を向上させる画像処理システムが開示されている。上記システムは、入力画像に関連付けられた主要特徴画像（主要特徴マップとも呼ばれる）を推定する主要特徴推定手段と、上記入力画像の明度を高め、明度が向上した明画像を形成する明度向上手段と、上記主要特徴マップと上記明画像とを結合することにより、画質の向上した高画質画像を形成する結合手段と、を備えている。上記高画質画像は、ＬＣＤディスプレイに表示され、かつ低コントラストの観賞条件において観賞されるときに、コンテンツの視認性を向上させる。主要特徴画像は、強い階調および非常に明確なものの輪郭が存在する、入力画像中の画素を特定しうる。
【００１３】
本発明の他の実施形態にしたがって、入力画像の画質を向上させる画像処理方法が開示されている。上記方法は、入力画像を取得する取得工程と、上記入力画像に関連付けられた主要特徴マップを推定する推定工程と、上記入力画像の明度を高め、明度が向上した明画像を形成する明度向上工程と、上記主要特徴マップと上記明画像とを結合することにより、画質の向上した高画質画像を形成する結合工程と、を含む。
【００１４】
本発明の他の実施形態にしたがって、画像表示システムが開示されている。上記画像表示システムは、入力画像を取得する入力画像取得手段と、入力画像に関連付けられた主要特徴マップを推定する主要特徴推定手段と、上記入力画像の明度を高め、明度が向上した明画像を形成する明度向上手段と、上記主要特徴マップと上記明画像とを結合することにより、画質の向上した高画質画像を形成する結合手段と、上記高画質画像を表示する表示手段と、を備えている。
【００１５】
本発明の上述または他の目的、特徴および利点は、以下の本発明の詳細な説明を、添付の図面を組み合わせて考慮することによって、より容易に理解される。
【図面の簡単な説明】
【００１６】
【図１】バックライトの出力が低い観賞条件における画像の一例を示す図である。
【図２】周辺光が強い観賞条件における画像の一例を示す図である。
【図３】入力画像の明度のレベルを高める明度向上部、入力画像に関連付けられた主要特徴マップを推定する主要特徴推定部、および明画像と主要特徴マップとを結合する結合部とを備えている、本発明の一実施形態を示すフローチャートである。
【図４】大領域対応階調算出部を含む階調推定部を備えた、本発明の一実施形態を示すフローチャートである。
【図５】本発明の実施形態に係る階調の算出に用いられる、画素の位置と関連付けされた大領域対応の一例を示す図である
【図６】入力画像の一例を示す図である。
【図７】図６の例示的な入力画像に関する、本発明の実施形態にしたがって決定される未加工の階調マップを示す図である。
【図８】図７の未加工の階調マップにおける低階調を、本発明の実施形態にしたがって抑制した後の階調マップを示す図である。
【図９】図８の例示的な階調マップに適用される極性の反転であって、本発明の実施形態に係る極性の反転によって生成された、反転した階調マップを示す図である。
【図１０】本発明の実施形態にしたがって生成される、図９に示されている反転した階調マップに関連付けられた、コントラストが強調された階調マップを示す図である。
【図１１】図１０に示されている例示的なコントラストが強調された階調マップに適用される階調の平滑化の効果を示す図である。
【図１２】クリッピングが生じているときに、３つのカラーチャンネルを通して色比率を維持する明度増加係数を決定する工程を含む本発明の例示的な実施形態を示すフローチャートである。
【図１３】本発明の実施形態に係る、最大の消費電力における図６に示されている例示的な入力画像のノンフォトリアリスティックレンダリング（ＮＰＲ）を示す図である。
【図１４】２％の電力消費状態における図６に示されている例示的な入力画像の、本発明の実施形態に係るＮＰＲを示す図である。
【図１５】直射日光の下で観賞されている図２に示されている例示的な入力画像の、本発明の実施形態に係るＮＰＲを示す図である。
【図１６】入力画像の明度レベルを高める明度向上部、入力画像に関連付けられた主要特徴マップを推定する主要特徴推定部、明画像と主要特徴マップとを結合する結合部、および結合部に用いられる合成パラメータを決定する合成パラメータ選択部を備えている、本発明の例示的な実施形態を示すフローチャートである。
【発明を実施するための形態】
【００１７】
本発明は、従来技術の問題点を解決するために、エッジの強調および画像の明度の向上による低コントラストの観賞条件において、画像の知覚コントラスト、視認性および把握の容易性を向上させる。これにより、処理される画像は、確実に、低コントラストの観賞条件において、観賞に耐えるか、または把握が容易となる。
【００１８】
また、本発明は、画像の明度の向上を利用する。これにより、画像は、確実に、低コントラストの観賞条件において観賞されるときに、そのコントラストが低い状態とはならない。
【００１９】
また、本発明は、バックライトの出力レベル、周辺光のレベル、および画像の内容に基づいて、画質の向上した画像を形成する。これにより、生成された画像は、確実に、低コントラストの観賞条件において、観賞可能であるか、または把握が容易となる。
【００２０】
本発明の実施形態は、図面を参照することによって最もよく理解される。図面の全体を通して、類似の部分は、類似の数字によって示されている。上記図面は、本明細書の一部として明確に組み込まれる。
【００２１】
一般的に、本明細書に記載され、図面に示されているように、本発明の構成要素が、幅広く異なる種々の配置に並べ替えられ、設計されうることは、容易に理解される。したがって、本発明の方法および方法の実施形態に関する以下のより詳細な説明は、本発明の範囲を限定することを意図しておらず、本発明の現在の好ましい実施形態を単に代表しているに過ぎない。
【００２２】
本発明の実施形態の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアとして具体化されうる。本明細書に明らかにされている例示的な実施形態は、これらの一形態を単に説明していると同時に、当業者が、本発明の範囲内に含まれるこれらの形態の何れかとしてこれらの要素を達成しうることが理解される。
【００２３】
低コントラストの観賞条件でＬＣＤ装置（例えば、ＬＣＤテレビ、ＬＣＤ携帯装置およびＬＣＤディスプレイを備えている他の装置）を観賞すると、例えば眼精疲労および疲労によりユーザに悪影響が及ぶ。
【００２４】
低コントラストの観賞条件は、装置が極端な省電力モードで使用されている場合に生じうる。このとき、ＬＣＤのバックライトの出力レベルが大幅に低下して、画像／ビデオ映像のコンテンツが暗くなり、鑑賞者の視認性を低下させうる。画像／ビデオ映像のコントラストが大幅に低下する、または、場合によっては、そのコントラストが無くなって黒くなることがあり、それにより、重要なシーンの内容を伝達する画像の特性の多くが、視認可能な閾値以下に低下する。図１は、極端な省電力モードにおいて動作する装置に表示された例示的な画像１０を示す図である。
【００２５】
また、低コントラストの観賞条件は、ＬＣＤディスプレイが、強い周辺光（例えば、直射日光）の下で観賞される場合に生じうる。これらの状況において、ユーザが知覚するディスプレイの最小の明度は、周囲を取り巻く強い周辺光のために引き上げられる。そして、画像ビデオ映像は、明るくなると予想される場所において “不鮮明”になり、画像ビデオ映像は、より暗い領域において特色を失う。図２は、強い周辺光（直射日光）の下において携帯電話機を用いて観賞されている例示的な画像２０を示す図である。
【００２６】
低いコントラストにおいて観賞する上記の状況の両方、および、低いコントラストで観賞する他の状況において、画像／ビデオ映像の色調のダイナミックレンジは圧縮され、画像のコントラストは大幅に低下する。それにより、ユーザの観賞体験の質が低下する。低電力消費に対する消費者の関心および装置の持ち運び易さに対する要求が増すことにより、画質が向上したデジタル画像およびデジタルビデオ映像を提供して、低コントラストの観賞条件における観賞体験を改善することが望まれている。
【００２７】
図３に関して説明されている本発明の幾つかの実施形態は、ノンフォトリアリスティックレンダリング（ＮＰＲ）技術によって画像の主要な特徴を強調することにより、低コントラストの観賞条件における画像／ビデオ映像の特徴の視認性を向上させる。これらの実施形態の幾つかは、明度向上部３２、主要特徴推定部３４、結合部３６、およびコード値マッピング部（code-value mapper）３８を有する画像処理システム３０を備える。画像処理システム３０は、入力画像３１を取得し、明度向上部３２および主要特徴推定部３４が入力画像３１を使用できるようにする。本発明の幾つかの実施形態において、入力画像３１は、カラー画像（例えば、ＲＧＢ画像）であってよい。代替可能な実施形態において、入力画像３１は、グレースケール画像であってよい。入力画像３１は、連続するビデオ映像のうちの静止画像または１フレームであってよい。
【００２８】
明度向上部３２は、明度の維持技術を用いて入力画像３１の明度を高めることができ、結合部３６が使用可能な、明度が向上した明画像３３を生成する。本発明の幾つかの実施形態において、明度向上部３２は、画質が向上した画像を表示するＬＣＤディスプレイに使用されるＬＣＤのバックライトに関する情報に基づいて、入力画像３１の明度を高める。
【００２９】
主要特徴推定部３４は、入力画像３１から主要特徴画像（主要特徴マップとも称される）３５を推定することができ、主要特徴画像３５を結合部３６にとって使用可能にする。
【００３０】
結合部３６は、明画像３３と主要特徴画像３５とを合成して、コード値マッピング部３８が利用可能な合成画像３７を形成する。コード値マッピング部３８は、結合部３６によって生成されたコード値をＬＣＤにとって好適なコード値（例えば、［０，２５５］の範囲）に決定することによって、主要特徴強調（ＫＦＨ）画像３９を形成する。幾つかの実施形態において、ＫＦＨ画像３９は、ＮＰＲ画像とも称される。
【００３１】
図４に関して説明されている本発明の幾つかの実施形態において、主要特徴推定部３４は、リアルタイムに近い処理を可能とする解像度まで必要に応じて入力画像の解像度を低下させる、ローパスフィルタ４０およびダウンサンプラー４２を備えている。例示的なローパスフィルタとしては、隣接する画素値の平均化、ガウス平滑化、中央値平滑化フィルタリング、および当該分野に公知のローパスフィルタが挙げられる。本発明の幾つかの実施形態において、ローパスフィルタは、コンピュータの制限および／またはシステムのリソースに基づいて選択されうる。例示的なダウンサンプラーとしては、画像の行の除去、画像の列の除去、バイリニアイメージリサイジング（bilinear image resizing）、バイキュービックイメージリサイジング（bicubic image resizing）、ガウシアンピラミッドを利用したダウンサンプラーおよび当該分野に公知の他のダウンサンプラーが挙げられる。本発明の幾つかの実施形態において、ダウンサンプラーは、コンピュータの制限および／またはシステムのリソースに基づいて選択されうる。代替可能な実施形態において（不図示）、主要特徴推定部は、入力画像の解像度を低下させなくともよく、したがってローパスフィルタ及びダウンサンプラーを備えていなくともよい。
【００３２】
ダウンサンプリングされた画像４３は、粗い領域を平滑化するバイラテラルフィルタ４４に使用されうる。ある画像内のオブジェクトの主要な輪郭は、画像の重要な情報を伝達することができる一方、粗い領域は、鑑賞者にとって知覚的な重要性に乏しい。したがって、バイラテラルフィルタリングは、不要な階調情報を除去するときに用いられ、その一方で、オブジェクトの輪郭に対応する主なエッジ情報を保持する。
【００３３】
バイラテラルフィルタリングの結果４５は、グレースケール変換部４６によってグレースケール値に変換されうる。また、階調の推定は、大領域対応（large-spatial-support）階調算出部４８によって、グレースケール画像４７に対して実施される。通常使用されるエッジ検出器（例えば、ゾーベルオペレータ、キャニーエッジ検出器およびラプラシアンエッジ検出器）は、主な輪郭に関連するエッジを効率的に検出することができない。これらの一般的なエッジ検出器を用いることで、主要なオブジェクトの輪郭に破線を生じさせうる。また、些細なエッジがきめの粗い領域において検出されるが、これは、ＫＦＨレンダリングにおいて好ましくない。さらに、一般的に使用されるエッジ検出器の１つを用いて生成された階調マップにおけるオブジェクトの境界は、不明確になりうる。本発明の実施形態は、大領域対応で画像の階調を計算し、大きな階調値を有する画素のみをエッジの画素として保持することができる。
【００３４】
本発明の幾つかの実施形態において、大領域対応階調算出部４８は、入力画像から形成されたグレースケール画像から階調マップを算出する階調マップ算出部を備えうる。階調マップ算出部は、階調マップを算出するときに大領域に対応する。
【００３５】
本発明の幾つかの実施形態において、大領域対応階調算出部４８は、横方向の階調算出部および縦方向の階調算出部を備えうる。グレースール画像４７における各画素において、横方向の階調値は横方向の階調算出部によって決定され、縦方向の階調値は縦方向の階調算出部によって決定されうる。階調値は、画素に関連付けられた、決定された横方向の階調値および縦方向の階調値に基づいて、当該画素（第１の画素）に割り当てられる。幾つかの実施形態において、画素に割り当てられた階調値は、当該画素に関連付けられた横方向の階調値および縦方向の階調値の最大値でありうる。
【００３６】
本発明の幾つかの実施形態において、画素に関連付けられた横方向の階調値は、当該画素の各方向（左および右）における幾つかの横方向の隣接画素に関する一次導関数を算出することによって決定されうる。これは、第１の画素位置に関する第１の横方向における第１の複数の一次導関数値、および第１の画素位置に関する第２の横方向における第２の複数の一次導関数値とみなされうる。各方向における最大の導関数値は、互いに加算されて、画素に関連付けられた横方向の階調値を形成しうる。第１の横方向における最大の導関数値は第１の最大値であり、第２の横方向における最大の導関数値は第２の最大値である。同様に、画素に関連付けられた縦方向の階調値は、当該画素の各方向（上および下）における幾つかの縦方向の隣接画素に関する一次導関数を算出することによって決定されうる。これは、第１の画素位置に関する第１の縦方向における第３の複数の一次導関数値、および第１の画素位置に関する第２の縦方向における第４の複数の一次導関数値とみなされうる。各方向における最大の導関数値は、互いに加算されて、画素に関連付けられた縦方向の階調値を形成しうる。第１の縦方向における最大の導関数値は第３の最大値であり、第２の縦方向における最大の導関数値は第４の最大値である。本発明の幾つかの実施形態において、方向（左、右、上、下）に関連付けられた一次元の探索領域の大きさは、３画素でありうる。図５は、一次元の探索領域が３画素である例示的な実施形態における大領域対応の例を示す。この例において、ｐ０８０によって表される画素に関して、横方向の階調ｇｒａｄＨ（ｐ０）は、
【００３７】
【数１】
2011107702.tif 000003
【００３８】
にしたがって決定され、縦方向の階調ｇｒａｄＶ（ｐ０）は、
【００３９】
【数２】
2011107702.tif 000004
【００４０】
にしたがって決定されうる。ここで、
【００４１】
【数３】
2011107702.tif 000005
【００４２】
は、一次度関数を表しており、ｐｈ１８１、ｐｈ２８２およびｐｈ３８３は、画素ｐ０８０の右にある一次元の検索領域における画素であり、ｐｈ−１８４、ｐｈ−２８５およびｐｈ−３８６は、画素ｐ０８０の左にある一次元の検索領域における画素であり、ｐｖ１８７、ｐｖ２８８およびｐｖ３８９は、画素ｐ０８０の下にある一次元の検索領域における画素であり、ｐｖ−１９０、ｐｖ−２９１およびｐｖ−３９２は、画素ｐ０８０の上にある一次元の検索領域における画素である。画素ｐ０８０に関連付けられた最終行の階調値ｇｒａｄＶ（ｐ０）は、
【００４３】
【数４】
2011107702.tif 000006
【００４４】
にしたがってされ、これにより未加工の階調マップ４９が生成される。
【００４５】
図６は、例示的な入力画像１００を示しており、図７は、図６に示されている例示的な入力画像１００について本発明の上述の実施形態にしたがって決定されて生じる未加工の階調マップ１１０を示す。この例において、３画素の検索領域が使用されている。
【００４６】
未加工の階調マップ４９は、ノイズの多い細部を有しうる。したがって、未加工の階調マップ４９は、低階調を除去する低階調抑制部５０において使用されうる。これは、“主要特徴マップの推定”という効果を提供する。本発明の幾つかの実施形態において、低階調抑制部５０は、比較測定部を備えうる。当該比較測定部は、
【００４７】
【数５】
2011107702.tif 000007
【００４８】
にしたがって閾値と階調の程度とを比較する。ここで、Ｔは閾値を表し、ｇｒａｄｓｕｐｐｒｅｓｓ（ｐ０）は低階調が抑制された階調マップを表す。幾つかの実施形態において、閾値はＴ＝５．０に設定されうる。代替可能な実施形態において、低階調抑制部５０は、ゼロ交差検出部を備えており、ゼロ交差に関連付けられた画素位置が階調マップに保持されると同時に、非ゼロ交差が抑制される。図８は、図７の未加工の階調マップ１１０における閾値による、低階調抑制の後に生じる階調マップ１２０を示す。
【００４９】
低階調が抑制された階調マップ５１は、階調マップ極性反転部５２に使用されうる。階調マップ極性反転部５２は、
【００５０】
【数６】
2011107702.tif 000008
【００５１】
にしたがって、階調の極性を反転させうる。ここで、ｏｆｆｓｅｔは、白のバックグラウンドに関連付けられた補正パラメータを表し、ｇｒａｄｒｅｖ（ｐ０）は、反転した階調マップを表す。幾つかの実施形態において、パラメータｏｆｆｓｅｔは、経験的に決定されうる。幾つかの実施形態において、ｏｆｆｓｅｔは１２０である。図９は、図８の例示的な階調マップ１２０に適用された極性の反転の結果１３０を示す。
【００５２】
反転した階調マップ５３は、階調コントラスト強調部５４に使用されうる。階調コントラスト強調部５４は、反転した階調マップ５３のコントラストを向上させ（強調し）、０から２５５の範囲に階調値を対応させうる。幾つかの実施形態において、階調コントラスト強調部５４は、
【００５３】
【数７】
2011107702.tif 000009
【００５４】
にしたがって、反転した階調値を対応付ける。ここで、ｓｈｉｆｔは、コントラストの推移を表し、ｇｒａｄｅｎｈａｎｃｅｄ（ｐ０）は、コントラストが強調された階調マップ５４を表す。本発明の幾つかの実施形態において、パラメータｓｈｉｆｔは経験的に決定されうる。幾つかの実施形態において、ｓｈｉｆｔは１２０である。
【００５５】
本発明の幾つかの実施形態において、階調コントラスト強調部５４は、
【００５６】
【数８】
2011107702.tif 000010
【００５７】
にしたがって、バイナリー階調マップを生成しうる。図１０は、図９の例示的な反転した階調マップ１３０に適用された、階調コントラスト強調の結果１４０を示す。これは、“明画像の形成”という効果を提供する。
【００５８】
コントラストが強調された階調マップ５５は、階調平滑化部５６に使用されうる。階調平滑化部５６は、前景のエッジと白い背景との間の境界をぼかし、破線を繋げ合わせる。本発明の幾つかの実施形態において、階調平滑化部５６は、ガウシアンローパスフィルタを備えており、階調のコントラストが強調された階調マップにおける階調をぼかす。幾つかの実施形態において、ガウシアンローパスフィルタのカーネル（kernel）のサイズは、３×３としてよい。図１１は、図１０の例示的なコントラストが強調された、階調マップ１４０に適用された階調平滑化の効果１５０を示す。
【００５９】
平滑化された階調マップ５７は、調整部（up-scaler）５８に使用されうる。調整部５８は、入力画像の元の解像度まで平滑化された階調マップ５７を調整し（増大させ（up-scaling））うる。増大された階調マップ５９は、階調マップ変更部６０に使用されうる。階調マップ変更部６０は、階調マップ５９のバックグラウンドを０に変更しうる。幾つかの実施形態において、階調マップ変更部６０は、調整された階調値から２５５を引いて、バックグラウンドを０に変更しうる。生じた主要特徴マップ６１は、主要特徴推定部３４から結合部３６までに使用されうる。
【００６０】
図３に関して説明されている本発明の幾つかの実施形態において、線形的な倍率（倍率（scaling factor）、増加率、明化係数（brightening factor）、明度増加係数（brightness-boosting factor）とも称される）を用いて、明度向上部３２は、入力画像３１の明度を高めうる。これらの実施形態の幾つかにおいて、線形的な倍率は、所定の割合だけバックライトを落とした状態において明度が維持されるように、
【００６１】
【数９】
2011107702.tif 000011
【００６２】
にしたがって決定される。ここで、Ｓは倍率を表し、ＢＬｒｅｄｕｃｅｄはバックライトを落とす割合を表し、γはＬＣＤシステムのガンマを表す。幾つかの実施形態において、ＢＬｒｅｄｕｃｅｄは、固定された所定の割合（例えば、１５パーセント）でありうる。代替可能な実施形態において、倍率Ｓは、画像の内容に基づいて適応可能に決定されうる。これらの実施形態の幾つかにおいて、倍率Ｓは、入力画像のヒストグラムを用いて算出されうる。当業者によって十分に理解されるように、バックライトを落とす割合ＢＬｒｅｄｕｃｅｄは、当該分野に公知の方法およびシステムのうちの何れかによって決定されうる。例えば、バックライトを落とす割合ＢＬｒｅｄｕｃｅｄは、その全体が参照によって本明細書に組み込まれる米国特許出願公開第１１／４６５，４３６号（発明の名称：Systems and Methods for Selecting a Display Source Light Illumination Level、出願日：２００６年８月１７日）に開示されている方法およびシステムにしたがって決定されうる。
【００６３】
本発明の幾つかの実施形態において、クリッピングの問題を回避するために、明度を高める工程は、図１２に関して説明されている画素ごとの工程を含む。増加率（第１の明化係数）Ｓが算出され（１６０）、未処理の画素であるか否かの決定１６２が行われる。未処理の画素ではない場合（１６３）、それから明度向上工程が終了する（１６４）。未処理の画素である場合（１６５）、それから［Ｒ，Ｇ，Ｂ］によって表される色成分値が取得される（１６６）。これらの色成分が入力画像における第１の画素に関連付けられた第１、第２および第３の色成分値とみなされる。Ｖによって表される最大の色成分値が決定される（１６８）。幾つかの実施形態において、Ｖは、
【００６４】
【数１０】
2011107702.tif 000012
【００６５】
にしたがって決定される。最大の色成分値Ｖは、増加率Ｓによって倍率をかけられ、倍率をかけられた画素値は、最大コード値と比較される（１７０）。本発明の幾つかの実施形態において、最大コード値は２５５でありうる。倍率をかけられた値が最大コード値以下である場合（１７１）、現在の画素に関連付けられた色値は、倍率値Ｓを用いて明度が増幅され、明度が増幅された色値が現在の画素に関して出力される。未処理の画素であるか否かの決定１６２が行われて、処理が継続される。倍率をかけられた値が最大コード値よりも大きい場合（１７３）、それから増加率は、
【００６６】
【数１１】
2011107702.tif 000013
【００６７】
にしたがって再計算される。ここで、Ｓ’は再計算された増加率を表す。現在の画素に関連付けられた色値は、再計算された増加率Ｓ’を用いて明度が高められ、明度が高められた色値は現在の画素に関して出力される。そして、未処理の画素であるか否かの決定１６２が行われて、処理が継続されうる。これらの実施形態において、３つのカラーチャンネルにわたる色比率は、クリッピングが発生するときに維持され、それゆえ、色の忠実度が維持される。
【００６８】
上述の明度向上の方法およびシステムにおいて、一般的な明化係数（第１の明化係数）Ｓは、クリッピングを発生している画素を除いて、各画素に使用されうる。本発明の代替可能な実施形態において、明化係数Ｓは、画像の内容にしたがって、場所によって異なりうる。幾つかの実施形態において、明化係数合Ｓは、
【００６９】
【数１２】
2011107702.tif 000014
【００７０】
にしたがって決定されうる。ここで、ｆ（ｘ，ｙ）は、位置（ｘ，ｙ）における画像の明度であり、αは、明化係数の範囲を制御するパラメータであり、σは、ガウスの秤量関数の形状を制御する係数でありうる。［０，２５５］の範囲を有するｆ（ｘ，ｙ）に関して、αおよびσの例示的なパラメータ値はそれぞれ１．６および１００である。これらの実施形態において、ガウスの秤量関数は、明度ｆ（ｘ，ｙ）が低い場合に、最大の増加率Ｓ（ｘ，ｙ）を生成する。したがって、明度の低い画素は、明度の高い画素よりも強く明度が高められる。
【００７１】
本発明の代替可能な実施形態において、画像の輝度値（brightness value）は、複数の輝度値ビン（brightness-value bin）に量子化することができる。また、明化係数は、各輝度値ビンと関連付けられる。同じ輝度値ビンの範囲内の輝度値を有する画素は、同じ係数で明度が高められる。ここで、明化係数は、各ビン値と関連付けられている。幾つかの実施形態において、量子化は、輝度値のヒストグラムに基づいて行われる。
【００７２】
本発明の幾つかの実施形態において、ＲＧＢの入力値は、代替可能な色空間（例えば、輝度−色光度−色光度の色空間）に変換されうる。輝度−色光度−色光度の色空間の一例として、ＹＣｂＣｒ、ＹＵＶ、Ｌａｂおよび他の輝度−色光度−色光度の色空間が挙げられる。これらの実施形態において、輝度チャンネルは明度が高められ、その一方で、色光度チャンネルは不変のままである。
【００７３】
明度向上部３２によって生成された明画像３３、および主要特徴推定部３４によって生成された主要特徴画像３５は、結合部３６によって結合されうる。本発明の幾つかの実施形態において、結合部３６は、２つの画像を加えることによって明画像３３および主要特徴画像３５を結合しうる。本発明の代替可能な実施形態において、結合部３６は、
【００７４】
【数１３】
2011107702.tif 000015
【００７５】
にしたがって、２つの画像の加重平均を用いて画像を合成しうる。ここで、βは合成係数（合成パラメータとも称される）を、ＩＫＦＨは合成画像３７を、Ｉｂｏｏｓｔｅｄは明度向上部３２によって生成された明画像３３を、ＩＫＦＭは主要特徴推定部３４によって生成された主要特徴画像３５を、それぞれ表す。本発明の幾つかの実施形態において、合成係数βは、ユーザによって選択されたパラメータでありうる。本発明の代替可能な実施形態において、合成係数βは、所定の値でありうる。
【００７６】
合成画像３７の画素値は、コード値マッピング部３８によってディスプレイのコード値の範囲にマッピングされる。本発明の幾つかの実施形態において、ディスプレイのコード値の範囲は［０，２５５］である。幾つかの実施形態において、生じたＫＦＨ画像３９は、画像処理システム３０からＬＣＤディスプレイに使用される。
【００７７】
図１３は、本発明の実施形態に係る、図６に記載の入力画像１００の、最大電力消費時におけるＮＰＲ表示を示す。これは、“主要特徴マップおよび明画像を結合して画質の向上した画像を形成する”という効果を提供する。図１４は、本発明の実施形態に係る、図６に記載の入力画像１００の、２％の電力消費時におけるＮＰＲ表示を示す。図１５は、本発明の実施形態に係る、直射日光の下において観賞される図２の入力画像１００の、最大電力消費時におけるＮＰＲ表示を示す。
【００７８】
図１６に関して説明されている本発明の幾つかの実施形態は、明度向上部２６０、主要特徴推定部２６２、合成パラメータ選択部２６４、結合部２６６、およびコード値マッピング部２６８を備える。これらの実施形態において、入力画像２５２、バックライトの出力レベル２５４、および周辺光のレベル２５６が、画像処理システム２５０に取得される。入力画像は、カラー画像またはグレースケール画像であってよい。入力画像２５２は、明度向上部２６０および主要特徴推定部２６２に使用される。バックライトの出力レベル２５４および周辺光のレベル２５６は、明度向上部２６０に使用されうる。
【００７９】
主要特徴推定部２６２は、入力画像２５２に関連付けられた主要特徴画像２６３（主要特徴マップとも称される）を生成する。本発明の幾つかの実施形態において、主要特徴推定部２６２は、上記の本発明の実施形態にしたがって主要特徴マップ２６３を生成する。
【００８０】
明度向上部２６０は、入力画像２５２の内容、バックライトの出力レベル２５４および周辺光のレベル２５６に基づいて、明画像２６１を生成しうる。
【００８１】
合成パラメータ選択部２６４は、結合部２６６によって使用される合成パラメータ２６５を決定し、明画像２６１および主要特徴マップ２６３を合成する。ユーザに選択された合成パラメータ２７０は、合成パラメータ選択部２６４に与えられうる。本発明の幾つかの実施形態において、ユーザに選択された合成パラメータ２７０は、合成パラメータ２６５と完全に一致しうる。代替可能な実施形態においてユーザに選択された合成パラメータ２７０は、ユーザによって選択された画質設定であり、合成パラメータ選択部２６４によって合成パラメータ２６５の値と関連付けされる。本発明の幾つかの実施形態において、合成パラメータ選択部２６４は、ユーザによって選択された合成パラメータが利用できない場合に、合成パラメータに関する初期値を選択しうる。
【００８２】
結合部２６６は、合成パラメータ２６５に基づいて主要特徴画像２６３および明画像２６１を結合しうる。本発明の幾つかの実施形態において、結合部２６６は、主要特徴画像および明画像を線形加重するための合成パラメータ２６５を加重係数として用いて、
【００８３】
【数１４】
2011107702.tif 000016
【００８４】
にしたがって、主要特徴画像２６３および明画像２６１を線形的に合成しうる。ここで、βは合成パラメータ２６５を表し、ＩＫＦＨは合成画像２６７を表し、明度向上部２６０によって生成されたＩｂｏｏｓｔｅｄは明画像を表し、ＩＫＦＭは主要特徴推定部２６２によって生成された主要特徴画像を表す。代替可能な実施形態において、結合部２６０は、
【００８５】
【数１５】
2011107702.tif 000017
【００８６】
にしたがって、主要特徴画像２６３および明画像２６１を重ね合わせうる。
【００８７】
合成画像２６７の値は、コード値マッピング部２６８により、ディスプレイコード値の範囲に対してマッピングされる。本発明の幾つかの実施形態において、ディスプレイのコード値の範囲は［０，２５５］である。幾つかの実施形態において、得られたＫＦＨ画像２６９は、画像処理システム２５０からＬＣＤディスプレイに使用される。
【００８８】
本発明の幾つかの実施形態は、明画像を形成する上記工程が、ＬＣＤディスプレイに関連付けられたバックライトの出力レベル、周辺光のレベル、および入力画像の画像の内容の少なくとも１つに基づく方法を開示する。
【００８９】
本発明の幾つかの実施形態は、高画質画像の画素値をＬＣＤディスプレイに関連付けられたコード値にマッピングする工程を含む方法を開示する。
【００９０】
本発明の幾つかの実施形態は、合成パラメータ値を選択する工程、および、その合成パラメータ値を結合工程において使用することを含む方法を開示する。
【００９１】
本発明の幾つかの実施形態は、上記合成パラメータ値が主要特徴マップおよび明画像を線形加重するために用いられる方法を開示する。
【００９２】
本発明の幾つかの実施形態は、主要特徴マップを推定する上記工程が、入力画像から形成されたグレースケール画像から階調マップを算出する工程を含み、当該階調マップの算出は、大領域対応による算出である方法を開示する。
【００９３】
本発明の幾つかの実施形態は、主要特徴マップを推定する上記工程が、入力画像に関連付けられた低解像度画像をバイラテラルフィルタリングする工程、バイラテラルフィルタにかけられた画像をグレースケール画像に変換する工程、未加工の階調マップを生成するために、上記グレースケール画像に対して大領域対応の階調を算出する工程、上記未加工の階調マップにおける低階調を抑制する工程、低階調が抑制された上記階調マップにおける極性を反転させる工程、極性が反転した上記階調マップにおける階調のコントラストを強調する工程、階調のコントラストが強調された上記階調マップにおける階調を平滑化する工程、および平滑化された上記階調マップから形成されたバックグラウンドを０に変更する工程を含む方法を開示する。
【００９４】
本発明の幾つかの実施形態は、入力画像に関連付けられた低解像度画像が、当該入力画像のローパスフィルタリングおよびローパスフィルタリングされた入力画像のダウンサンプリングによって形成される方法を開示する。
【００９５】
本発明の幾つかの実施形態は、平滑化された上記階調マップから形成された上記階調マップが、平滑化された上記階調マップを上記入力画像の解像度に合わせて調整することによって形成される方法を開示する。
【００９６】
本発明の幾つかの実施形態は、主要特徴マップを推定する上記工程が、入力画像に関連付けられたグレースケール画像における第１の画素位置に関する第１の横方向における第１の複数の一次導関数値を決定する工程、入力画像に関連付けられたグレースケール画像における第１の画素位置に関する第２の横方向における第２の複数の一次導関数値を決定する工程、入力画像に関連付けられたグレースケール画像における第１の画素位置に関する第１の縦方向における第３の複数の一次導関数値を決定する工程、入力画像に関連付けられたグレースケール画像における第１の画素位置に関する第２の縦方向における第４の複数の一次導関数値を決定する工程、上記第１の複数の一次導関数値の最大値である第１の最大値を決定する工程、上記第２の複数の一次導関数値の最大値である第２の最大値を決定する工程、上記第３の複数の一次導関数値の最大値である第３の最大値を決定する工程、上記第４の複数の一次導関数値の最大値である第４の最大値を決定する工程、上記第１の最大値および上記第２の最大値を加算することによって横方向の階調値を決定する工程、上記第３の最大値および上記第４の最大値を加算することによって縦方向の階調値を決定する工程、ならびに横方向の階調値および縦方向の階調値の最大値であり、画素位置に関連付けられた階調値を決定する工程を含む方法を開示する。
【００９７】
本発明の幾つかの実施形態は、コンピュータによって実現される、入力画像の画質を向上させる方法を包含しうる。当該方法は、演算装置において入力画像を取得する工程、入力画像に関連付けられた主要特徴マップを推定する工程、上記入力画像の明度を高めることによって明画像を形成する工程、ならびに上記主要特徴マップおよび明画像を結合する工程を含む。
【００９８】
本発明の他の実施形態によれば、主要特徴推定部は、入力画像に関連付けられたグレースケール画像内の画素における階調を、大領域対応の階調算出部を用いて推定しうる。
【００９９】
本発明の他の実施形態によれば、明度向上部は、ＬＣＤディスプレイに関連付けられた出力レベル、ＬＣＤディスプレイに関連付けられた周辺光のレベル、および入力画像の内容の評価に基づいて増加率を決定しうる。
【０１００】
本発明の幾つかの実施形態は、ＬＣＤディスプレイおよび入力画像取得部を備えうる。本発明の幾つかの実施形態は、周辺光の検出器を備えうる。
【０１０１】
本発明の幾つかの実施形態は、本明細書に記載の特徴のうちの何れかをコンピュータに実行させるために使用されうる指示を、その内部および／またはその上に有するコンピュータ読み取り可能な単一および／または複数の記録媒体であるコンピュータプログラム製品を包含しうる。
【０１０２】
上述の明細書に使用されている用語および表現は、説明のためであって、限定を意図していない用語として、本明細書に使用されている。このような用語および表現は、例示され、説明されている特徴またはこれらの一部の等価物を除外するために使用することを意図されていない。本発明の範囲が、以下の特許請求の範囲のみによって規定され、制限されることが認識される。
【図３】
2011107702.tif 000018
【図４】
2011107702.tif 000019
【図５】
2011107702.tif 000020
【図１０】
2011107702.tif 000021
【図１１】
2011107702.tif 000022
【図１２】
2011107702.tif 000023
【図１６】
2011107702.tif 000024
【図１】
2011107702.tif 000025
【図２】
2011107702.tif 000026
【図６】
2011107702.tif 000027
【図７】
2011107702.tif 000028
【図８】
2011107702.tif 000029
【図９】
2011107702.tif 000030
【図１３】
2011107702.tif 000031
【図１４】
2011107702.tif 000032
【図１５】
2011107702.tif 000033