(57)【要約】【課題】画像データに対して明るさを補正する処理を施す前後で、画像データが示す画像の色相、彩度が大きく変化することを抑制可能な技術を提供する。【解決手段】画像処理装置は、赤色成分と緑色成分と青色成分とで示される画像データに基づいて、前記画像データにて特定される明るさについての第１明るさ値を生成する生成部と、前記第１明るさ値を補正して第２明るさ値を生成する補正部と、前記第１明るさ値と前記第２明るさ値との第１比と、前記赤色成分と前記緑色成分と前記青色成分のうちの最大値と前記最大値の成分が取り得る上限値との第２比と、の関係に基づいて、前記画像データに対するゲインを決定する決定部と、前記決定部が決定する前記ゲインで前記画像データを増幅する増幅部と、を含む。【選択図】図１
2020061647.tif 000002
【特許請求の範囲】
【請求項１】
赤色成分と緑色成分と青色成分とで示される画像データに基づいて、前記画像データにて特定される明るさについての第１明るさ値を生成する生成部と、
前記第１明るさ値を補正して第２明るさ値を生成する補正部と、
前記第１明るさ値と前記第２明るさ値との第１比と、前記赤色成分と前記緑色成分と前記青色成分のうちの最大値と前記最大値の成分が取り得る上限値との第２比と、の関係に基づいて、前記画像データに対するゲインを決定する決定部と、
前記決定部が決定する前記ゲインで前記画像データを増幅する増幅部と、
を含む画像処理装置。
【請求項２】
前記第１比の値は、前記第１明るさ値に対する前記第２明るさ値の比の値であり、
前記第２比の値は、前記最大値に対する前記上限値の比の値であり、
前記決定部は、前記第１比の値と前記第２比の値のうち小さい方を前記ゲインとして決定する、
請求項１に記載の画像処理装置。
【請求項３】
前記第１比の値は、前記第２明るさ値に対する前記第１明るさ値の比の値であり、
前記第２比の値は、前記上限値に対する前記最大値の比の値であり、
前記決定部は、前記第１比の値と前記第２比の値のうち大きい方の逆数を前記ゲインとして決定する、
請求項１に記載の画像処理装置。
【請求項４】
前記第１明るさ値および前記第２明るさ値は、それぞれ、ＹＵＶ表色系における輝度成分の値である、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１明るさ値および前記第２明るさ値は、それぞれ、ＨＳＶ表色系における明度成分の値である、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記補正部は、前記画像データが示す画像の画質を補正する画質補正処理において前記第１明るさ値を補正して前記第２明るさ値を生成する、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置を含む表示装置。
【請求項８】
赤色成分と緑色成分と青色成分とで示される画像データに基づいて、前記画像データにて特定される明るさについての第１明るさ値を生成し、
前記第１明るさ値を補正して第２明るさ値を生成し、
前記第１明るさ値と前記第２明るさ値との第１比と、前記赤色成分と前記緑色成分と前記青色成分のうちの最大値と前記最大値の成分が取り得る上限値との第２比と、の関係に基づいて、前記画像データに対するゲインを決定し、
前記ゲインで前記画像データを増幅する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置および画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、ＲＧＢの各成分で示される画像データが示す画像において輪郭を強調する技術が記載されている。ここで、Ｒは赤色を意味し、Ｇは緑色を意味し、Ｂは青色を意味する。
この技術では、まず、ＲＧＢの各成分で示される画像データの表現形式を、色相と彩度と明度との各成分で示される表現形式に変換する。続いて、色相と彩度と明度のうち明度のみに対して輪郭強調処理を施して補正後画像データを生成する。続いて、補正後画像データの表現形式を、色相と彩度と明度の各成分で示される表現形式から、ＲＧＢの各成分で示される表現形式に変更する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−２９８４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、補正後画像データの表現形式をＲＧＢの各成分で示される表現形式に変更する場合、明度の補正量によっては、ＲＧＢの成分の少なくともいずれかが飽和して、ＲＧＢの各成分バランスが崩れ、補正の前後で、色相または彩度が大きく変化するおそれがある。このため、画像データに対して明度等の明るさを補正する処理を施す前後で、画像データが示す画像の色相、彩度が大きく変化することを抑制可能な技術が望まれる。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置の一態様は、赤色成分と緑色成分と青色成分とで示される画像データに基づいて、前記画像データにて特定される明るさについての第１明るさ値を生成する生成部と、前記第１明るさ値を補正して第２明るさ値を生成する補正部と、前記第１明るさ値と前記第２明るさ値との第１比と、前記赤色成分と前記緑色成分と前記青色成分のうちの最大値と前記最大値の成分が取り得る上限値との第２比と、の関係に基づいて、前記画像データに対するゲインを決定する決定部と、前記決定部が決定する前記ゲインで前記画像データを増幅する増幅部と、を含む。
【０００６】
本発明に係る画像処理方法の一態様は、赤色成分と緑色成分と青色成分とで示される画像データに基づいて、前記画像データにて特定される明るさについての第１明るさ値を生成し、前記第１明るさ値を補正して第２明るさ値を生成し、前記第１明るさ値と前記第２明るさ値との第１比と、前記赤色成分と前記緑色成分と前記青色成分のうちの最大値と前記最大値の成分が取り得る上限値との第２比と、の関係に基づいて、前記画像データに対するゲインを決定し、前記ゲインで前記画像データを増幅する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る画像処理装置１００の一例を示す図である。
【図２】画像処理装置１００の動作を説明するためのフローチャートである。
【図３】ゲイン決定動作の一例を説明するためのフローチャートである。
【図４】ＲＧＢ画像データの一例を示す図である。
【図５】第１輝度値Ｙ１の一例を示す図である。
【図６】第２輝度値Ｙ２の一例を示す図である。
【図７】ＲＧＢ画像データの飽和例を示す図である。
【図８】変形例１を示す図である。
【図９】画像処理装置１００を有するプロジェクター１の一例を示す図である。
【図１０】投射部７００の一例を示す図である。
【発明を実施するための形態】
【０００８】
＜Ａ：第１実施形態＞
＜Ａ１：画像処理装置１００の概要＞
図１は、第１実施形態に係る画像処理装置１００の一例を示す図である。画像処理装置１００は、表色系変換部１０１と、シャープネス処理部１０２と、ゲイン調整部１０３と、を含む。画像処理装置１００では、ＲＧＢ表色系で示される画像データが、表色系変換部１０１とゲイン調整部１０３に分配される。以下、ＲＧＢ表色系で示される画像データを「ＲＧＢ画像データ」と称する。ＲＧＢ画像データは、赤色成分と緑色成分と青色成分とで示される。
【０００９】
表色系変換部１０１は、生成部の一例である。表色系変換部１０１は、ＲＧＢ画像データに基づいて、ＲＧＢ画像データにて特定される輝度値を生成する。表色系変換部１０１は、輝度値として、ＹＵＶ表色系で用いられるＹ成分を生成する。ＹＵＶ表色系において、Ｙは輝度を意味し、ＵはＢ成分とＹ成分との色差を意味し、ＶはＲ成分とＹ成分との色差を意味する。Ｙ成分は輝度成分を意味する。
【００１０】
シャープネス処理部１０２は、補正部の一例である。シャープネス処理部１０２は、表色系変換部１０１が生成するＹ成分に対してシャープネス処理を施す。シャープネス処理では、Ｙ成分において変化が大きい部分、例えば輪郭を示す部分が強調されるようにＹ成分が補正される。シャープネス処理は、画素単位で実行される。シャープネス処理は、ＲＧＢ画像データが示す画像の画質を補正する画質補正処理の一例である。
【００１１】
ゲイン調整部１０３は、ゲイン調整部１０３に分配されるＲＧＢ画像データに対するゲインを調整する。ゲイン調整部１０３は、決定部１０４と、増幅部１０５と、を含む。決定部１０４と増幅部１０５は、ゲイン調整部１０３に分配されるＲＧＢ画像データを受け取る。
【００１２】
決定部１０４は、ＲＧＢ画像データに対するゲインを決定する。増幅部１０５は、ＲＧＢ画像データを、決定部１０４が決定するゲインで増幅する。
【００１３】
＜Ａ２：画像処理装置１００の全体動作＞
図２は、画像処理装置１００の動作を説明するためのフローチャートである。
表色系変換部１０１は、ＲＧＢ画像データを受信すると、ステップＳ１１において、ＲＧＢ画像データからＹ成分を生成する。
【００１４】
例えば、表色系変換部１０１は、ＲＧＢ画像データをＹ成分に変換する変換式を用いて、Ｙ成分を生成する。変換式の一例を以下に示す。
Ｙ＝  ０．２９９０＊Ｒ＋０．５８７０＊Ｇ＋０．１１４０＊Ｂ。
上述の変換式は、ＲＧＢ画像データをＹＵＶ表色系で示される画像データに変換する際に用いられる公知の変換式の一部である。
【００１５】
続いて、ステップＳ１２においてシャープネス処理部１０２は、Ｙ成分にシャープネス処理を施すことでＹ成分の値を補正する。このように、Ｙ成分のみにシャープネス処理を施すため、例えばＲＧＢの成分ごとにシャープネス補正を施す構成に比べて、シャープネス処理の処理量を低減でき、また、シャープネス処理部１０２の構成を簡略化できる。
以下、補正前のＹ成分の値を「第１輝度値Ｙ１」と称し、補正後のＹ成分の値を「第２輝度値Ｙ２」と称する。第１輝度値Ｙ１は、ＲＧＢ画像データにて特定される明るさについての第１明るさ値の一例である。第２輝度値Ｙ２は、第２明るさ値の一例である。
【００１６】
続いて、ステップＳ１３において決定部１０４は、第１輝度値Ｙ１と第２輝度値Ｙ２とＲＧＢ画像データとに基づいて、ＲＧＢ画像データに対するゲインを決定する。ステップＳ１３におけるゲイン決定動作の一例については後述する。
【００１７】
続いて、ステップＳ１４において増幅部１０５は、決定部１０４が決定するゲインでＲＧＢ画像データを増幅する。
【００１８】
＜Ａ３：ゲイン決定動作＞
図３は、ステップＳ１３におけるゲイン決定動作の一例を説明するためのフローチャートである。ここで、説明の簡略化を図るため、ＲＧＢ画像データにおけるＲ成分、Ｇ成分およびＢ成分が図４に示す状態であり、第１輝度値Ｙ１が図５に示す状態であり、第２輝度値Ｙ２が図６に示す状態であるとする。なお、ＲＧＢ画像データにおけるＲ成分、Ｇ成分およびＢ成分は図４に示す状態に限らず、第１輝度値Ｙ１は図５に示す状態に限らず、第２輝度値Ｙ２は図６に示す状態に限らない。
【００１９】
ＲＧＢ画像データにおいて例えばＲＧＢの各成分が８ビットで示される場合、Ｒ成分、Ｇ成分およびＢ成分は、それぞれ、０〜２５５の範囲で表現される。この場合、Ｒ成分、Ｇ成分およびＢ成分の上限値ＭＡＸＬ、下限値ＭＩＮＬは、それぞれ、２５５、０となる。なお、ＲＧＢの各成分のビット数は８ビットに限らず、上限値ＭＡＸＬは２５５に限らず、下限値ＭＩＮは０に限らない。
【００２０】
ステップＳ２１において決定部１０４は、図５に示す第１輝度値Ｙ１と図６に示す第２輝度値Ｙ２との比を、第１比として算出する。本実施形態は、決定部１０４は、第１輝度値Ｙ１に対する第２輝度値Ｙ２の比の値、具体的には、第２輝度値Ｙ２／第１輝度値Ｙ１を、第１比の値として算出する。
【００２１】
続いて、ステップＳ２２において決定部１０４は、ＲＧＢ画像データにおけるＲ成分、Ｇ成分およびＢ成分のうちの最大値ＭＡＸと、当該最大値ＭＡＸの成分が取り得る上限値ＭＡＸＬとの比を、第２比として算出する。本実施形態では、決定部１０４は、最大値ＭＡＸに対する上限値ＭＡＸＬの比の値、つまり、上限値／最大値を、第２比の値として算出する。
図４に示す例では、決定部１０４は、最大値としてＧ成分の値を決定し、上限値として当該最大値ＭＡＸを取るＧ成分の上限値ＭＡＸＬを決定する。なお、ＲＧＢの各成分の上限値ＭＡＸＬは固定値であり決定部１０４に予め保持されている。そして、決定部１０４は、Ｇ成分の上限値／Ｇ成分の値を、第２比の値として算出する。
なお、ステップＳ２１とステップＳ２２の実行順序は逆でもよい。
【００２２】
続いて、ステップＳ２３において決定部１０４は、第１比と第２比の関係に基づいて、ＲＧＢ画像データに対するゲインを決定する。本実施形態では、決定部１０４は、第１比の値と第２比の値のうち小さい方を、ＲＧＢ画像データに対するゲインとして決定する。
【００２３】
第２比の値は、ＲＧＢ画像データにおいてＲＧＢの各々の成分の比率を変えずに輝度のみを変更できるゲインの最大値となる。ＲＧＢ画像データに対するゲインが第２比の値を超えると、図７に例示されるように、ＲＧＢの各成分の少なくともいずれかが上限値を超えられずに飽和して、ＲＧＢの各々の成分の比率が変わってしまい、ＲＧＢ画像データが示す画像の色相、彩度が大きく変わってしまう。
【００２４】
本実施形態に係る画像処理装置１００および画像処理方法によれば、第１比と第２比との関係に基づいて、ＲＧＢ画像データに対するゲインが決定される。
このため、シャープネス処理で決定されるゲインである第１比の値が第２比の値よりも小さい場合、決定部１０４が、ＲＧＢ画像データに対するゲインとして第１比の値を決定すれば、シャープネス処理結果を活かしつつ、ＲＧＢ画像データが示す画像の色相、彩度が大きく変化することを抑制できる。
また、第１比の値が第２比の値よりも大きい場合、決定部１０４が、ＲＧＢ画像データに対するゲインとして第２比の値を決定すれば、ＲＧＢ画像データの輝度を上げることでシャープネスを実現しつつＲＧＢ画像データが示す画像の色相、彩度が大きく変化することを抑制できる。
【００２５】
なお、第１比の値が第２比の値と一致する場合、決定部１０４は、ＲＧＢ画像データに対するゲインとして、第１比の値を決定してもよいし、第２比の値を決定してもよい。
【００２６】
また、ＲＧＢ画像データのＲＧＢの各成分の値が０である場合、決定部１０４は、ＲＧＢ画像データに対するゲインの決定をせずに、増幅部１０５に、ＲＧＢの各成分の値が第２輝度値Ｙ２と等しくなっているＲＧＢ画像データを出力させる。この場合も、画像処理装置１００に入力するＲＧＢ画像データと画像処理装置１００から出力されるＲＧＢ画像データとで、ＲＧＢの各成分の比は維持され、画像の色相、彩度が大きく変化することを抑制できる。
【００２７】
＜Ｂ：変形例＞
第１実施形態において、例えば以下に例示する構成が採用されてもよい。
【００２８】
＜Ｂ１：変形例１＞
第１実施形態において、シャープネス処理の代わりにコントラスト補正処理が用いられてもよい。図８は、シャープネス処理部１０２の代わりに、コントラスト補正部１０２ａが用いられる画像処理装置１００の一例を示す図である。図８において、図１に示す構成要素と同一構成のものには同一符号を付してある。
【００２９】
コントラスト補正部１０２ａは、補正部の他の例である。コントラスト補正部１０２ａは、表色系変換部１０１が生成するＹ成分に対してコントラスト補正処理を施す。コントラスト補正処理では、画像データが示す画像中の明暗の差が補正される。コントラスト補正処理は、画素単位で実行される。コントラスト補正処理は、画質補正処理の他の例である。
変形例１においても、ＲＧＢ画像データの輝度を上げつつＲＧＢ画像データが示す画像の色相、彩度が大きく変化することを抑制できる。
なお、画質補正処理は、シャープネス処理およびコントラスト補正処理に限らず、画像データにて特定される明るさの値を補正する処理であればよい。
【００３０】
＜Ｂ２：変形例２＞
第１実施形態および変形例１において、第１比の値として、第１輝度値Ｙ１に対する第２輝度値Ｙ２の比の値の代わりに、第２輝度値Ｙ２に対する第１輝度値Ｙ１の比の値が用いられ、第２比の値として、最大値ＭＡＸに対する上限値ＭＡＸＬの比の値の代わりに、上限値ＭＡＸＬに対する最大値ＭＡＸの比の値が用いられてもよい。この場合、決定部１０４は、第１比の値と第２比の値のうち大きい方の逆数を、ＲＧＢ画像データに対するゲインを決定する。
【００３１】
＜Ｂ３：変形例３＞
第１実施形態および変形例１〜変形例２において、表色系変換部１０１は、ＲＧＢ画像データに基づいて第１輝度値Ｙ１を生成する代わりに、ＲＧＢ画像データに基づいて明度を生成してもよい。例えば、表色系変換部１０１は、明度として、ＨＳＶ表色系で用いられるＶ成分を生成する。ＨＳＶ表色系において、Ｈは色相を意味し、Ｓは彩度を意味し、Ｖは明度を意味する。このため、Ｖ成分は明度成分を意味する。
この場合、シャープネス処理部１０２とコントラスト補正部１０２ａと決定部１０４は、Ｙ成分の代わりにＶ成分を用いる。
シャープネス処理部１０２またはコントラスト補正部１０２ａでの補正前のＶ成分の値は、第１明るさ値の他の例である。シャープネス処理部１０２またはコントラスト補正部１０２ａでの補正後のＶ成分の値は、第２明るさ値の他の例である。
なお、第１明るさ値および第２明るさ値は、それぞれ、他の表色系における明るさについての成分の値、例えば、ＨＬＳ表色系における明度Ｌ成分でもよい。
【００３２】
＜Ｂ４：変形例４＞
第１実施形態および変形例１〜変形例３に示される画像処理装置１００が、プロジェクター等の表示装置に搭載されてもよい。
【００３３】
図９は、画像処理装置１００を有するプロジェクター１の一例を示す図である。プロジェクター１は、画像処理装置１００と、バス２００と、記憶部３００と、制御部４００と、操作部５００と、受取部６００と、投射部７００と、を含む。
【００３４】
画像処理装置１００と、記憶部３００と、制御部４００と、操作部５００と、受取部６００と、投射部７００とは、バス２００を介して相互に接続する。記憶部３００は、コンピューターが読み取り可能な記録媒体である。記憶部３００は、プロジェクター１の動作を規定するプログラムと、種々の情報とを記憶する。制御部４００は、ＣＰＵ（Central Processing Unit）等のコンピューターである。制御部４００は、１または複数の処理装置で構成されてもよい。制御部４００は、記憶部３００が記憶するプログラムを読み取り実行することによって、プロジェクター１を制御する。
【００３５】
操作部５００は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。操作部５００は、利用者の入力操作を受け取る。受取部６００は、ＲＧＢ画像データを受け取る。受取部６００は、ＲＧＢ画像データを画像処理装置１００に出力する。
【００３６】
画像処理装置１００は、ＲＧＢ画像データに対して、画質補正処理、例えばシャープネス処理またはコントラスト補正処理を施す。画像処理装置１００における画質補正処理は、例えば、操作部５００が受け取る入力操作に応じて制御部４００によって制御される。投射部７００は、画像処理装置１００が出力するＲＧＢ画像データに応じて画像を不図示の投射面に投射する。
【００３７】
図１０は、投射部７００の一例を示す図である。投射部７００は、ライトバルブ駆動部１１と、光源駆動部１２と、光源１３と、赤色用液晶ライトバルブ１４Ｒと、緑色用液晶ライトバルブ１４Ｇと、青色用液晶ライトバルブ１４Ｂと、投射光学系１５と、を含む。以下、赤色用液晶ライトバルブ１４Ｒと、緑色用液晶ライトバルブ１４Ｇと、青色用液晶ライトバルブ１４Ｂとを相互に区別する必要がない場合、赤色用液晶ライトバルブ１４Ｒと、緑色用液晶ライトバルブ１４Ｇと、青色用液晶ライトバルブ１４Ｂの各々を単に「液晶ライトバルブ１４」と称する。
【００３８】
ライトバルブ駆動部１１は、ＲＧＢ画像データに基づいて液晶ライトバルブ１４を駆動する。光源駆動部１２は、光源１３を駆動する。
【００３９】
光源１３は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、またはレーザー光源等である。光源１３から射出される光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色、緑色、青色の色光成分に分離される。赤色の色光成分は赤色用液晶ライトバルブ１４Ｒに入射する。緑色の色光成分は緑色用液晶ライトバルブ１４Ｇに入射する。青色の色光成分は青色用液晶ライトバルブ１４Ｂに入射する。
【００４０】
液晶ライトバルブ１４は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ１４は、マトリクス状に位置する複数の画素１４ｐを含む矩形の画素領域１４ａを有する。液晶ライトバルブ１４は、液晶に対して画素１４ｐごとに駆動電圧を印加できる。ライトバルブ駆動部１１が、画像処理装置１００から入力されるＲＧＢ画像データに基づく駆動電圧を各画素１４ｐに印加すると、各画素１４ｐは、駆動電圧に基づく光透過率に設定される。このため、光源１３から射出される光は、画素領域１４ａを通ることで変調され、ＲＧＢ画像データに基づく画像が色光ごとに形成される。
【００４１】
各色の画像は、図示しない色合成光学系によって画素１４ｐごとに合成され、カラー画像である投射画像が生成される。投射画像は、投射光学系１５によって投射面に投射される。
【００４２】
なお、光変調装置の一例として液晶ライトバルブ１４が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合には、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源１３が発した光を変調可能な構成は、光変調装置として採用できる。
また、表示装置は、プロジェクター１に限らず、液晶ディスプレイ等の直視型のディスプレイもよい。
【００４３】
＜Ｂ５：変形例５＞
第１実施形態および変形例１〜変形例４において、画像処理装置１００が有する要素の全部または一部は、例えばＦＰＧＡ（field programmable gate array）またはＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されてもよいし、ＣＰＵ等のコンピューターが記憶装置に記憶されているプログラムを読み取り実行することで実現されてもよい。
【符号の説明】
【００４４】
１…プロジェクター、１１…ライトバルブ駆動部、１２…光源駆動部、１３…光源、１４…液晶ライトバルブ、１５…投射光学系、１００…画像処理装置、１０１…表色系変換部、１０２…シャープネス処理部、１０２ａ…コントラスト補正部、１０３…ゲイン調整部、１０４…決定部、１０５…増幅部、２００…バス、３００…記憶部、４００…制御部、５００…操作部、６００…受取部、７００…投射部。
【図１】
2020061647.tif 000003
【図２】
2020061647.tif 000004
【図３】
2020061647.tif 000005
【図４】
2020061647.tif 000006
【図５】
2020061647.tif 000007
【図６】
2020061647.tif 000008
【図７】
2020061647.tif 000009
【図８】
2020061647.tif 000010
【図９】
2020061647.tif 000011
【図１０】
2020061647.tif 000012