(57)【特許請求の範囲】
【請求項１】
コンピュータに動画像の画像処理を行わせる画像処理プログラムであって、
前記コンピュータに、
前記動画像を構成する１のフレーム内の全画素の輝度成分に適用する輝度成分補正曲線を定義する第１の定義情報を取得する第１ステップと、
色差成分のみを変数とし前記フレーム内の全画素の色差成分に適用する色差成分補正曲線を定義する第２の定義情報を、前記第１の定義情報に基づいて決定する第２ステップと、
前記フレーム内の全画素の輝度成分を前記輝度成分補正曲線で補正し、前記フレーム内の全画素の色差成分を同じ前記色差成分補正曲線で補正する第３ステップと、
を実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１記載の画像処理プログラムにおいて、
前記第２ステップでは、前記第１の定義情報と前記第２の定義情報とが対応付けられて格納された記憶手段から、前記第１の定義情報に対応する前記第２の定義情報を読み出すことで当該第２の定義情報を決定することを特徴とする画像処理プログラム。
【請求項３】
請求項１記載の画像処理プログラムにおいて、
前記第１ステップでは、外部から設定されるか、または前記フレームに随伴して到来する前記第１の定義情報を保持する記憶手段から、前記第１の定義情報を取得することを特徴とする画像処理プログラム。
【請求項４】
請求項１記載の画像処理プログラムにおいて、
前記第１ステップでは、前記動画像を構成する個々の前記フレームに含まれる輝度成分を解析して前記第１の定義情報を決定することにより、前記第１の定義情報を取得することを特徴とする画像処理プログラム。
【請求項５】
動画像を構成する１のフレーム内の全画素の輝度成分に適用する輝度成分補正曲線を定義する第１の定義情報を取得する第１ステップと、
色差成分のみを変数とし前記フレーム内の全画素の色差成分に適用する色差成分補正曲線を定義する第２の定義情報を、前記第１の定義情報に基づいて決定する第２ステップと、
前記フレーム内の全画素の輝度成分を前記輝度成分補正曲線で補正し、前記フレーム内の全画素の色差成分を同じ前記色差成分補正曲線で補正する第３ステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
請求項５記載の画像処理方法において、
前記第１の定義情報は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線を定義する一つまたは複数の第１パラメータを含むことを特徴とする画像処理方法。
【請求項７】
請求項５記載の画像処理方法において、
前記第２の定義情報は、補正前色差値に対して補正済み色差値を一義的に定める色差補正曲線を定義する一つまたは複数の第２パラメータを含むことを特徴とする画像処理方法。
【請求項８】
請求項５記載の画像処理方法において、
前記第１の定義情報は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線を定義する一つまたは複数の第１パラメータを含み、
前記第２の定義情報は、補正前色差値に対して補正済み色差値を一義的に定める色差補正曲線を定義する一つまたは複数の第２パラメータを含み、
前記第２パラメータは前記第１パラメータから決定することを特徴とする画像処理方法。
【請求項９】
請求項５記載の画像処理方法において、
前記第１の定義情報は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線の傾き値を含むことを特徴とする画像処理方法。
【請求項１０】
請求項５記載の画像処理方法において、
前記第２の定義情報は、補正前色差値に対して補正済み色差値を一義的に定める色差補正曲線の傾き値を含むことを特徴とする画像処理方法。
【請求項１１】
請求項５記載の画像処理方法において、
前記第１の定義情報は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線を定義する一つまたは複数の第１パラメータを含み、
前記第２の定義情報は、補正前色差値に対して補正済み色差値を一義的に定める色差補正曲線を定義する一つまたは複数の第２パラメータを含み、
前記第１パラメータにより定義される前記輝度補正曲線と輝度補正なしのときの輝度を示す直線との差分の累積値に応じて、前記第２パラメータが決定されることを特徴とする画像処理方法。
【請求項１２】
動画像を構成する１のフレームを輝度成分と色差成分に分割する成分分割手段と、
前記フレーム内の全画素の輝度成分に適用する輝度成分補正曲線を定義する第１の定義情報を取得する取得手段と、
前記成分分割手段で分割した前記フレーム内の全画素の輝度成分を前記輝度成分補正曲線で補正する輝度成分補正手段と、
色差成分のみを変数とし前記フレーム内の全画素の色差成分に適用する色差成分補正曲線を定義する第２の定義情報を、前記第１の定義情報に基づいて決定する決定手段と、
前記成分分割手段で分割した前記フレーム内の全画素の色差成分を、同じ前記色差成分補正曲線で補正する色差成分補正手段と、
を含むことを特徴とする画像処理装置。
【請求項１３】
請求項１２記載の画像処理装置において、
前記決定手段は前記第１の定義情報と前記第２の定義情報とが対応付けられて格納される記憶手段を備え、
前記色差成分補正手段は、前記決定手段が前記第１の定義情報に対応して前記記憶手段から読み出した前記第２の定義情報により定義される、同じ前記色差成分補正曲線を用いて、前記フレームを構成する個々の画素の前記色差を補正することを特徴とする画像処理装置。
【請求項１４】
請求項１２記載の画像処理装置において、
前記取得手段は、
外部から設定されるか、または前記フレームに随伴して到来する前記第１の定義情報を保持する保持手段を有することを特徴とする画像処理装置。
【請求項１５】
請求項１２記載の画像処理装置において、
前記取得手段は、
前記動画像を構成する個々の前記フレームに含まれる輝度成分を解析して前記第１の定義情報を算出する算出手段を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理方法、画像処理装置に関し、たとえば、輝度成分と彩度成分を含む動画像における輝度成分および彩度成分の調整等に適用して有効な技術に関する。
【背景技術】
【０００２】
画像データは複数の成分情報から成り立っている。この画像データはＲＧＢなど３種類の色成分（光の三原色）で表す場合もあるが、動画像の場合多くは、輝度成分と彩度成分で表されている。例えばＹＣｂＣｒやＹＵＶ信号などは１つの輝度成分（Ｙ）と２つの彩度成分（Ｕ／Ｖ，Ｃｂ／Ｃｒ）からなる。ＴＶカメラで撮影された画像は照明などの外的環境によって明るさや色合いなどが変動する。カメラ入力画像の明るさや鮮やかさが適切でないと判断された場合、入力信号を調整して補正する必要がある。【０００３】
動画像の補正方法に関しては、例えば特許文献１に開示された「色補正装置およびその方法」がある。この特許文献１では、色信号を輝度信号、彩度信号、色相信号に分割し、信号ごとに補正量を算出して該補正量でそれぞれの信号を補正する。【０００４】
また、他の従来技術として特許文献２に開示された「映像信号補正方法および映像信号補正装置」がある。この特許文献２では画像内の全画素に対して補正前の輝度信号と補正後の輝度信号との差分を検出し、差分値（Ｙ変化量）に応じた値で各画素の色差成分の補正量を決定している。【０００５】
上述の特許文献１の技術では動画像を構成する各成分からそれぞれの成分の補正量を個別に求めて、各成分を補正している。しかしこの方式では画像を適切に補正することはできない。特許文献１の技術では、例えば、ある画像について、輝度成分と彩度成分を個別に解析し、「輝度成分＝やや暗いので明るくする」、「彩度成分＝十分なので補正不要」となったとき、輝度成分は補正するが彩度成分は補正しない。輝度成分を補正した場合、補正後の画像では輝度成分と補正成分のバランスが崩れてしまい、補正前は十分であった彩度成分も、輝度成分補正後は不十分となってしまう。この技術的課題を解決するためには、彩度成分は補正前の彩度成分だけでなく、輝度成分の補正に応じて補正の有無を決定する必要がある。【０００６】
特許文献２の技術は輝度成分の変化量に応じて彩度成分の補正量を決定しているため、上述の特許文献１の技術的課題は生じない。
しかし、この特許文献２の技術では、以下のような別の二つの技術的課題がある。【０００７】
第１に、全画素ごとに輝度成分の変動量を算出して彩度成分の補正量を決定するため処理量が非常に多く、リアルタイムに動作させるためには専用のハードウェアが必要である、という技術的課題がある。【０００８】
第２に、後述の図１Ａのように輝度を大きく（明るく）するような単純な輝度補正では有効であるが、後述の図１Ｂのように画像にメリハリを付ける輝度補正では、画像内に明るく補正された領域（高輝度）、輝度を変えない領域（中輝度）、暗く補正された領域（低輝度）が混在するため、彩度を向上させた領域と低減させた領域とが混在するようになり、不自然な画像となってしまう、という技術的課題がある。
【特許文献１】特開２００４−６４７９２号公報
【特許文献２】特開平３−２０１６９７号公報
【発明の開示】
【０００９】
本発明の目的は、専用のハードウェア等を必要とすることなく、少ない処理負荷で、輝度補正に応じた彩度補正による画質の向上を実現することが可能な技術を提供することにある。
【００１０】
本発明の他の目的は、不自然な画像を生じることなく、輝度補正に応じた彩度補正を実現することが可能な技術を提供することにある。
本発明の第１の観点は、コンピュータに画像処理を行わせる画像処理プログラムであって、
前記コンピュータに、
動画像を構成する個々のフレーム内の複数の画素の輝度成分に基づいて、該フレームの全体に適用する輝度成分補正量を決定する第１ステップと、
前記輝度成分補正量から該フレーム内の全画素の彩度成分に適用する彩度成分補正量を決定する第２ステップと、
前記フレーム内の全画素の輝度成分を前記第１ステップの前記輝度成分補正量で補正し、前記フレーム内の全画素の彩度成分を前記第２ステップの前記彩度成分補正量で補正する第３ステップと、
を実行させる画像処理プログラムを提供する。
【００１１】
本発明の第２の観点は、第１の観点に記載の画像処理プログラムにおいて、
前記第２ステップでは、前記輝度成分補正量と前記彩度成分補正量とが対応付けられて格納された記憶手段から、前記輝度成分補正量に対応する前記彩度成分補正量を読み出すことで当該彩度成分補正量を決定する画像処理プログラムを提供する。
【００１２】
本発明の第３の観点は、第１の観点に記載の画像処理プログラムにおいて、
前記第１ステップでは、外部から設定されるか、または前記フレームに随伴して到来する前記輝度成分補正量を保持する画像処理プログラムを提供する。
【００１３】
本発明の第４の観点は、第１の観点に記載の画像処理プログラムにおいて、
前記第１ステップでは、前記動画像を構成する個々の前記フレームに含まれる輝度成分を解析して前記輝度成分補正量を決定する画像処理プログラムを提供する。
【００１４】
本発明の第５の観点は、動画像を構成する個々のフレーム内の複数の画素の輝度成分に基づいて、該フレームの全体に適用する輝度成分補正量を決定する第１ステップと、
前記輝度成分補正量から該フレーム内の全画素の彩度成分に適用する彩度成分補正量を決定する第２ステップと、
前記フレーム内の全画素の輝度成分を前記第１ステップの前記輝度成分補正量で補正し、前記フレーム内の全画素の彩度成分を前記第２ステップの前記彩度成分補正量で補正する第３ステップと、
を含む画像処理方法を提供する。
【００１５】
本発明の第６の観点は、第５の観点に記載の画像処理方法において、
前記輝度成分補正量は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線を定義する１個あるいは複数個の第１パラメータを含む画像処理方法を提供する。
【００１６】
本発明の第７の観点は、第５の観点に記載の画像処理方法において、
前記フレームの前記彩度成分に適用する前記彩度成分補正量は、補正前彩度値に対して補正済み彩度値を一義的に定める彩度補正曲線を定義する一つまたは複数の第２パラメータを含む画像処理方法を提供する。
【００１７】
本発明の第８の観点は、第５の観点に記載の画像処理方法において、
前記輝度成分補正量は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線を定義する１個あるいは複数個の第１パラメータを含み、
前記フレームの前記彩度成分に適用する前記彩度成分補正量は、補正前彩度値に対して補正済み彩度値を一義的に定める彩度補正曲線を定義する一つまたは複数の第２パラメータを含み、
前記第２パラメータは前記第１パラメータから決定する画像処理方法を提供する。
【００１８】
本発明の第９の観点は、第５の観点に記載の画像処理方法において、
前記輝度成分補正量は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線の傾き値である画像処理方法を提供する。
【００１９】
本発明の第１０の観点は、第５の観点に記載の画像処理方法において、
前記彩度成分補正量は、補正前彩度値に対して補正済み彩度値を一義的に定める彩度補正曲線の傾き値である画像処理方法を提供する。
【００２０】
本発明の第１１の観点は、第５の観点に記載の画像処理方法において、
前記輝度成分補正量は、補正前輝度値に対して補正済み輝度値を一義的に定める輝度補正曲線の傾き値であり、
前記彩度成分補正量は、補正前彩度値に対して補正済み彩度値を一義的に定める彩度補正曲線の傾き値であり、
前記彩度補正曲線の前記傾き値は前記輝度補正曲線の前記傾き値に応じて決定される画像処理方法を提供する。
【００２３】
本発明の第１２の観点は、動画像の各フレームを輝度成分と彩度成分に分割する成分分割部と、
前記フレーム内の複数の画素の輝度成分に基づいて、該フレームの全体に適用する輝度成分補正量を決定する輝度成分補正量決定手段と、
前記成分分割部で分割した当該フレーム内の全画素の輝度成分を前記輝度成分補正量で補正する輝度成分補正部と、
前記輝度成分補正量から当該フレーム内の全画素の彩度成分に適用する彩度成分補正量を決定する彩度補正量決定部と、
前記成分分割部で分割した当該フレーム内の全画素の彩度成分を前記彩度補正量決定部で決定した前記彩度成分補正量で補正する彩度成分補正部と、
を含む画像処理装置を提供する。
【００２４】
本発明の第１３の観点は、第１２の観点に記載の画像処理装置において、
前記彩度補正量決定部は前記輝度成分補正量と前記彩度成分補正量とが対応付けられて格納される記憶手段を備え、
前記彩度成分補正部は、前記彩度補正量決定部が前記輝度成分補正量に対応して前記記憶手段から読み出した前記彩度成分補正量を用いて、前記フレームを構成する個々の画素の前記彩度を補正する画像処理装置を提供する。
【００２５】
本発明の第１４の観点は、第１２の観点に記載の画像処理装置において、
前記輝度成分補正量決定手段は、
外部から設定されるか、または前記フレームに随伴して到来する前記輝度成分補正量を保持する輝度成分補正量保持部からなる画像処理装置を提供する。
【００２６】
本発明の第１５の観点は、第１２の観点に記載の画像処理装置において、
前記輝度成分補正量決定手段は、
前記動画像を構成する個々の前記フレームに含まれる輝度成分を解析して前記輝度成分補正量を算出する輝度成分補正量算出部からなる画像処理装置を提供する。
【図面の簡単な説明】
【００２７】
【図１Ａ】本発明の一実施の形態である画像処理技術における輝度補正に用いられる輝度補正曲線の一例を示す線図である。
【図１Ｂ】本発明の一実施の形態である画像処理技術における輝度補正に用いられる輝度補正曲線の一例を示す線図である。
【図２】本発明の一実施の形態である画像処理技術における彩度補正に用いられる彩度補正曲線の一例を示す線図である。
【図３】本発明の一実施の形態である画像処理技術における彩度補正曲線の決定方法の一例を示す概念図である。
【図４】本発明の一実施の形態である画像処理技術における彩度補正曲線の一例を示す線図である。
【図５】本発明の一実施の形態である画像処理技術の作用の一例を示すフローチャートである。
【図６】本発明の一実施の形態である画像処理方法を実現する画像処理論理の構成例を示す概念図である。
【図７】本発明の一実施の形態である画像処理方法にて用いられる輝度／彩度変換テーブルの構成例を示す概念図である。
【図８】本発明の一実施の形態である画像処理方法を実現する画像処理論理の変形例を示す概念図である。
【図９Ａ】本発明の一実施の形態である画像処理方法を実現する画像処理論理における輝度成分補正量算出部の作用を説明する線図である。
【図９Ｂ】本発明の一実施の形態である画像処理方法を実現する画像処理論理における輝度成分補正量算出部の作用を説明する線図である。
【図１０】図８に例示された画像処理論理の変形例の動作の一例を示すフローチャートである。
【図１１】本発明の一実施の形態である画像処理方法を実施する画像処理装置の構成の一例を示す概念図である。
【図１２】本発明の一実施の形態である画像処理方法を実施する画像処理装置の表示画面の一例を示す説明図である。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
図１Ａおよび図１Ｂは、本実施の形態の画像処理方法における輝度補正に用いられる輝度補正曲線の一例を示す線図である。【００２９】
図２は、本実施の形態の画像処理方法における彩度補正に用いられる彩度補正曲線の一例を示す線図である。
本実施の形態では、動画像の１フレーム全体の輝度成分に対して一意に補正を実行するための輝度成分補正量を基準にして、当該輝度成分補正量から一義的に彩度成分補正量を決定する。【００３０】
すなわち、本実施の形態では、後述のように、たとえば、図１Ａのような輝度補正曲線１１を決定するパラメータｘ０、あるいは図１Ｂのような輝度補正曲線１１を決定するパラメータｘ、ｙを用いて、図２の彩度補正曲線１３を決定するパラメータａを定める。【００３１】
図１Ａの輝度補正曲線１１は、輝度成分の全範囲で、常に明るくするような単純な輝度補正に用いられ、パラメータｘ０を大きくするほど、補正後の輝度Ｙは大きくなる。
図１Ｂに示される輝度補正曲線１１は、メリハリを付ける輝度補正に用いられ、パラメータｘを大きくするほどシャドー部側の暗さが強調され、パラメータｙを大きくするほど、ハイライト側の明るさが強調される輝度補正が行われる。【００３２】
本実施の形態では、上述の従来技術のように１画素毎に輝度成分の変化量から彩度成分補正量を求めるのではなく、輝度補正量全体から彩度補正量全体を決定することにより、画素ごとに補正量を算出する必要がなく、高速な処理を可能とする。【００３３】
例えば、１フレームが７２０×４８０画素で構成され、毎秒３０フレーム（３０ｆｐｓ）の表示を行う動画像データの場合、上述の従来技術の場合は画素ごとに彩度補正量を決定するため、補正量の決定は、（１０００／（３０フレーム×７２０×４８０）≒０．００００９６ミリ秒（ｍｓ）で算出しなければならない。【００３４】
これに対して、本実施の形態では１フレームごとに彩度補正量を決定すれば良いため、例えば７２０×４８０画素×３０ｆｐｓの動画像の場合、（１０００ｍｓ／３０フレーム）≒３３ｍｓ程度で処理すれば良い。このため専用ハードウェアは必要なく、ソフトウェアによるリアルタイム処理が可能である。【００３５】
また、上述の従来技術では輝度成分の変動量に応じて彩度値の補正量が決まるため、彩度補正量は彩度値には依存しない。
これに対して、本実施の形態の場合には、彩度成分補正量は入力彩度値に対して出力彩度値が一義的に定まる彩度補正曲線を与える。そして、この彩度補正のための彩度補正曲線（後述の彩度補正曲線１３）の形状は、後述のように、１フレームの輝度成分補正量によって定まるが、実際の入力彩度値がどのような補正値となって出力されるかは入力彩度値に応じた彩度補正曲線の対応値で決定される。【００３６】
上述の従来技術では彩度成分の補正量は輝度補正量のみから決定するのに対し、本実施の形態では輝度補正量と彩度値の組み合わせによって決定される。
たとえば、彩度値のダイナミックレンジ幅が−１２８〜１２７であったとき、図２の本実施の形態の彩度補正曲線１３は、リニア部１３ａと、その両端側の低彩度側飽和部１３ｂおよび高彩度側飽和部１３ｃで近似される。【００３７】
低彩度側飽和部１３ｂは、−１２８≦入力彩度値≦（−１２８＋ａ）の区間で、補正彩度値＝−１２８を与える。
リニア部１３ａは、（−１２８＋ａ）＜入力彩度値＜（１２７−ａ）の区間で、補正彩度値＝１２７×入力彩度値／（１２７−ａ）を与える。【００３８】
高彩度側飽和部１３ｃは、（１２７−ａ）≦入力彩度値≦１２７の区間で、彩度補正値＝＋１２７を与える。
ここでａは彩度補正の強弱（低彩度側飽和部１３ｂと高彩度側飽和部１３ｃの幅）を制御するパラメータで、図２の彩度補正曲線１３はパラメータａのみで決定することができる。例えば、輝度補正量が大きい場合はパラメータａの値を大きくし、輝度補正量が少ない場合はａの値を小さくするような制御をすれば良い。【００３９】
輝度補正も彩度補正と同様に入力輝度値に対して出力輝度値が一義的に定まる輝度補正曲線であるとし、その輝度補正曲線が１個あるいは数個のパラメータで生成可能であったとき、該輝度補正曲線を決定するパラメータに応じて彩度補正曲線のパラメータａを決定するようにしても良い。【００４０】
図３は本実施の形態において、輝度補正曲線から彩度補正曲線を決定する方法の一例を示す概念図である。
例１の輝度補正曲線１１、例２の輝度補正曲線１２は、ともに画像のメリハリをつけるダイナミックレンジ補正のための補正曲線である。【００４１】
なお、このダイナミックレンジ補正のための補正曲線に関しては、オーム社出版局、２００２年１２月２０日発行、田村秀行編著、「コンピュータ画像処理」、ｐ１０１〜１０４、等の文献に記載されている。【００４２】
例２の輝度補正曲線１２は特にシャドー部１２ａ（輝度値の低い領域）やハイライト部１２ｂ（輝度値の高い領域）のつぶれを防ぐことが可能な輝度補正曲線である。
例１の場合、輝度補正曲線１１はシャドー部１１ｂの値ｘとハイライト部１１ｃの値ｙとで表現できる。この場合、彩度補正曲線１３のパラメータａ（低彩度側飽和部１３ｂおよび高彩度側飽和部１３ｃの幅）は、
ａ＝（ｘ＋ｙ）／２            ・・・・・（式１）
で求めれば良い。【００４３】
輝度補正曲線１１のシャドー部１１ｂとハイライト部１１ｃの重要度に偏りを付けたい場合は、例えば、
ａ＝（０．３ｘ＋０．７ｙ）    ・・・・・（式２）
といったように、重み係数を付加しても良い。【００４４】
例２の輝度補正曲線１２の場合、ハイライト部１２ｂをより明るくする補正量ａ０とシャドー部１２ａをより暗くする補正量ａ１の大きさから彩度補正曲線１３のパラメータａ（低彩度側飽和部１３ｂ、高彩度側飽和部１３ｃの幅）を算出すれば良い。【００４５】
具体的には、補正なしの場合の直線とシャドー部１２ａおよびハイライト部１２ｂの各々との間の面積であるハイライト側累積値ａ０，シャドー側累積値ａ１を、それぞれ積分して積分値として求める。【００４６】
すなわち、図３の例２の輝度補正曲線１２の場合、横軸ｘ（入力輝度Ｙ）と、補正後の輝度Ｙを示す縦軸の座標空間内で、輝度補正曲線１２が、Ｙ＝ｆ（ｘ）で与えられるとする。この場合、輝度が無補正の場合、Ｙ＝ｘの直線である。【００４７】
ｆ（ｘ）が無補正の直線の上側に位置する領域（ｆ（ｘ）＞ｘ）の面積は、ハイライト側累積値ａ０を示し、
ａ０＝∫｛ｆ（ｘ）−ｘ｝ｄｘ    ・・・・・（式３）
で得られる。【００４８】
同様に、ｆ（ｘ）が無補正の直線の下側に位置する領域（ｆ（ｘ）＜ｘ）の面積は、シャドー側累積値ａ１を示し、
ａ１＝∫｛ｘ−ｆ（ｘ）｝ｄｘ      ・・・・（式４）
で得られる。【００４９】
そして、得られたａ０、ａ１に、ハイライト部１２ｂ、シャドー部１２ａの重み係数ｎ０，ｎ１を乗じて、
ａ＝ａ０×ｎ０＋ａ１×ｎ１    ・・・・・（式５）
により算出すれば良い。【００５０】
輝度の補正を、この例１や例２の輝度補正曲線１１、輝度補正曲線１２で行う場合、上述の従来技術ではａ０の領域（輝度をより明るく補正した画素群）では彩度も鮮やかに補正されるが、ａ１の領域（輝度をより暗く補正した画素群）では彩度は低彩度になるような補正になる。元画像内の暗い領域は輝度が暗くなるとともに彩度も低くなる。さらにａ０とａ１の交点では輝度補正量＝０であるため彩度の補正も行われない。【００５１】
すなわち、上述の従来技術では画像中に彩度が鮮やかに補正された領域と、彩度が逆に低く補正された領域と、彩度が全く補正されなかった領域とが混在することになり、画像としてバランスを欠いた画となってしまう。【００５２】
一方、本実施の形態では、図４に例示されるように、無彩色の色（彩度補正曲線１３の中心）と最も高彩度の色（彩度補正曲線１３の両端）以外は全て彩度を鮮やかに補正する。【００５３】
無彩色の色はもともと彩度成分がないため補正は不要（白やグレーに色がつくと逆に不自然）であり、高彩度領域は彩度値の上限であるため、それ以上の補正はできないため、これら２つの領域（低彩度側飽和部１３ｂ、高彩度側飽和部１３ｃ）は補正する必要がない。【００５４】
それ以外のリニア部１３ａについては、中心の無彩色（補正量＝０）を通る直線となるため、白やグレーに色がつく等の不自然な画像を生じることなく、当該リニア部１３ａの傾きに応じた、入力彩度値（補正前）から出力彩度値（補正後）への変換により、画像全体がより鮮やかとなった補正画像を得ることができる。【００５５】
このため、従来技術で生じる「彩度が鮮やかに補正された領域と、彩度が逆に低く補正された領域と、彩度が全く補正されなかった領域とが混在する」ような、画質低下が生じる懸念はない。【００５６】
図５は、本実施の形態の画像処理方法の作用の一例を示すフローチャートである。
まず、動画像データの１フレームを取り込み（ステップ１０１）、当該フレームの全体に対する輝度成分補正量を保持する（ステップ１０２）。この場合、輝度成分補正量は、たとえば、画像データの一部として当該フレームに随伴してきたものを保持してもよいし、外部から設定される輝度成分補正量を保持してもよい。【００５７】
次に、上述の図３等に例示した本実施の形態の技術を用いて、当該フレームに関する輝度成分補正量（輝度補正曲線１１または輝度補正曲線１２）から彩度成分補正量（彩度補正曲線１３）を決定する（ステップ１０３）。【００５８】
その後、当該フレーム内の全画素の各々の彩度成分について上述のステップ１０３で決定した彩度成分補正量で彩度値の補正を行う（ステップ１０４、ステップ１０５）。
なお、この処理と並行して、輝度補正曲線１１または輝度補正曲線１２を用いたフレーム内の個々の画素の輝度の補正も行われる。【００５９】
このステップ１０１〜ステップ１０５の処理を、動画像データとして順次到来する全フレームについて反復する（ステップ１０６）。
ここで、本実施の形態の場合、輝度成分の補正量は入力輝度値に対して出力輝度値が一義的定まる輝度補正曲線（たとえば、輝度補正曲線１１、輝度補正曲線１２）で与えられ、ステップ１０２において保持する輝度成分補正量は輝度補正曲線を決定するためのパラメータである。【００６０】
この輝度補正曲線を決定するパラメータは、例えば図３の輝度補正曲線１１に示したシャドー部１１ｂ、ハイライト部１１ｃの値ｘ，ｙなどで良い。このパラメータとして機能する輝度成分補正量として２つの数値（たとえば２バイト）のみ保持すれば良いため、保持部の規模を非常に小さくできる。【００６１】
一方、上述のステップ１０３の彩度成分補正量も同じく入力彩度値に対して出力彩度値が一義的に定まる彩度補正曲線（本実施の形態の場合、上述の図３の彩度補正曲線１３）である。この彩度補正曲線を定めるパラメータａを輝度成分補正量（例えば前記ｘ，ｙ）から算出する。【００６２】
パラメータａの決定方法としては、例えば、上述の（式１）を用いても良いし、あるいは、シャドー部とハイライト部に偏りを付けるための重み係数ｎ０，ｎ１を用いて、上述の（式５）を用いて、彩度補正曲線１３を決定しても良い。【００６３】
さらに、ステップ１０３では、輝度成分補正量から彩度成分補正量を求める方法として、演算ではなく、ｘ，ｙ値に対してａ値が一義的に求まる２次元ルックアップテーブル（２Ｄ−ＬＵＴ）を用いても良い。【００６４】
これまでの説明では、彩度補正曲線１３のパラメータａは、入力彩度値に関係なく最大値に補正する範囲を示す値（低彩度側飽和部１３ｂおよび高彩度側飽和部１３ｃの範囲を示す値）であったが、これを彩度補正曲線１３のリニア部１３ａの傾きθｃとしても良い。【００６５】
傾きｔａｎ−１（θｃ）＝１のときは無補正でありｔａｎ−１（θｃ）が大きくなるにしたがって彩度補正が強くなる。
輝度補正曲線１１も同様に傾きθｂで表すことができるとき、彩度補正曲線１３の傾きθｃは輝度補正曲線１１の傾きθｂに比例させ、
θｃ＝ｎ×θｂ    ・・・・・（式６）
とすることで、彩度補正曲線１３を簡単に算出することができる。ただし、（式６）で、ｎは係数である。【００６６】
輝度補正曲線が図３の輝度補正曲線１１、輝度補正曲線１２のようなやや複雑な曲線の場合、補正なしの輝度補正曲線（傾きｔａｎ−１（θｂ）＝１の直線）との差分の積分値に応じてθｃを決めれば良い。【００６７】
このように、本実施の形態の場合には、１フレーム全体の輝度成分補正量に応じて１フレーム内全体の彩度補正量を決定し、該フレーム内の全画素の彩度値を該彩度補成分正量で補正する。【００６８】
このため、専用のハードウェア等を必要とすることなく、少ない処理負荷で、たとえばソフトウェアにて処理することで、輝度補正に応じた彩度補正による画質の向上を実現することが可能となる。【００６９】
また、彩度を向上させた領域と低減させた領域とが混在するような不自然な画像となることが回避され、不自然な画像を生じることなく、輝度補正に応じた彩度補正を実現することが可能となる。【００７０】
次に、上述の本実施の形態の画像処理方法を実現する画像処理論理および画像処理装置の一例について説明する。
図６は、本実施の形態の画像処理論理の構成例を示す概念図である。【００７１】
本実施の形態の画像処理論理Ｇは、たとえば、ソフトウェアにて実現することができる。
本実施の形態の画像処理論理Ｇは、たとえば、成分分割部２０、輝度成分補正量保持部と２１、輝度補正部２２、彩度成分補正量決定部２３、彩度補正部２４を含んでいる。【００７２】
成分分割部２０は、外部から入力される動画像データ６０の個々のフレームから輝度成分６１および彩度成分６２を分離して抽出する。
輝度成分補正量保持部２１は、たとえば動画像データ６０のフレームに随伴する輝度成分補正量を記憶する。【００７３】
輝度補正部２２は、輝度成分補正量に基づいて決定された上述の図３の輝度補正曲線１１や輝度補正曲線１２を用いて、輝度成分６１を補正して、補正後輝度成分６１ａとして後段に出力する。【００７４】
彩度成分補正量決定部２３は、補正実行に先立って、彩度成分補正量決定部２３は輝度成分補正量保持部２１に保持されている輝度成分補正量から彩度成分補正量を決定する。
具体的には輝度成分補正量は、上述の図１Ａ、図１Ｂの輝度補正曲線１１を表すパラメータである。彩度成分補正量決定部２３で決定する彩度補正量は例えば図２に示す彩度補正曲線１３であり、彩度補正曲線１３のパラメータａは輝度補正曲線のパラメータｘ０やｘ，ｙによってａ＝ｘ０、ａ＝（ｘ＋ｙ）／２などの演算によって求める。【００７５】
または、ｘ０に対してａが一義的に求まる１次元ルックアップテーブル（ＬＵＴ）や、ｘ，ｙの組み合わせに対してａが一義的に求まる２次元ルックアップテーブル（ＬＵＴ）を保持して、彩度補正部２４からアクセスさせるようにしても良い。【００７６】
輝度成分補正量が輝度補正曲線そのものを表現する１次元ルックアップテーブル（ＬＵＴ）である場合には、彩度補正曲線１３のパラメータは、輝度Ｙが０の点を通り、傾きが１の無補正直線と輝度補正曲線との間の面積（積分値）に応じてパラメータａの値が一義的に定まる１次元ルックアップテーブル（ＬＵＴ）によって決定しても良い。【００７７】
図７は、このような１次元ルックアップテーブル（ＬＵＴ）の一例である輝度／彩度変換テーブル３０の構成例を示している。
この輝度／彩度変換テーブル３０は彩度成分補正量決定部２３に備えられ、輝度補正曲線１１における離散的な輝度積分値３１と、対応する彩度補正曲線１３のパラメータａの値が対応付けて格納されている。【００７８】
彩度成分補正量決定部２３は、個々のフレーム毎に輝度成分補正量保持部２１の側から得られる輝度成分補正量をキーとして輝度／彩度変換テーブル３０の輝度積分値３１を検索することで、対応する彩度パラメータ値３２（パラメータａ）を得る。そして、このパラメータａに基づいて、彩度補正曲線１３を決定する。【００７９】
彩度補正部２４は、補正前の彩度成分６２を彩度成分補正量決定部２３に入力し、当該彩度成分補正量決定部２３で彩度補正曲線１３を用いて決定された彩度補正値を受け取って、彩度成分６２を補正後彩度成分６２ａに補正する処理を行う。【００８０】
上述のように、画像処理論理Ｇにおいて、輝度補正曲線１１に基づいて彩度補正曲線１３が決定された後、動画像データ６０の各フレームについて成分分割部２０は、フレーム画像を輝度成分６１と彩度成分６２とに分割し、輝度成分６１は輝度補正部２２で、彩度成分６２は彩度補正部２４でそれぞれ補正し、それぞれ、補正後輝度成分６１ａ、補正後彩度成分６２ａとして後段の図示しない処理部に出力する。【００８１】
上述の図６に例示した画像処理論理Ｇでは、一つの動画像データ６０の全体に対して、輝度成分補正量として予め定められた固有の値を適用する場合（静的輝度補正）を例示したが、動画像データ６０に含まれる個々のフレームに応じて動的に輝度成分補正量を決定しても良い（動的輝度補正）。【００８２】
図８は、本実施の形態の画像処理論理Ｇの変形例である画像処理論理Ｇ１を示すブロック図である。
本変形例の画像処理論理Ｇ１では、上述の画像処理論理Ｇの輝度成分補正量保持部２１の代りに、輝度成分補正量算出部２１Ａが設けられている。【００８３】
この輝度成分補正量算出部２１Ａは、動画像データ６０の各フレームの補正処理の実行に先立って、実際のフレーム内の輝度成分の情報に基づいて輝度成分補正量を決定する。
本変形例の画像処理論理Ｇ１では、動画像データ６０の個々のフレームを一旦蓄えるフレームバッファを有しないため、第１フレームでは、輝度成分補正なしで処理し、同様に彩度成分補正なしで処理する。【００８４】
図９Ａおよび図９Ｂに例示されるように、第１フレームにおいては、輝度成分の輝度値のヒストグラム１０を求めて、その結果に基づいて、輝度補正曲線１１を決定する。
すなわち、第１フレームの全画素の輝度値、または、当該第１フレームの一部を矩形に切り出すことでサブサンプリングした画像の全画素の輝度値毎の出現頻度の分布を示すヒストグラム１０から、シャドー側で当該ヒストグラム１０が生じ始めた輝度値１０ａを、輝度補正曲線１１（図９Ｂ）のｘ値、ハイライト側でヒストグラム１０が終了した輝度値１０ｂを輝度補正曲線１１のｙ値とすることで、輝度補正曲線１１を決定する。【００８５】
これにより、実際の動画像データ６０における輝度の情報に基づいて、輝度のレンジ幅全てを使用したメリハリのある画像を作成することができる。
このように、画像処理論理Ｇ１では、フレームごとにヒストグラム１０から輝度補正曲線１１を決定し、さらに輝度補正曲線１１ごとに彩度補正曲線１３（図２）を決定する。彩度補正曲線１３の決定後の動作は、上述の図６に例示した画像処理論理Ｇと同一である。【００８６】
本変形例の画像処理論理Ｇ１では、第１フレームは輝度、彩度ともに補正されないが、第２フレームは、一つ前の第１フレームの輝度値で算出した輝度補正量（輝度補正曲線１１）と彩度補正量（彩度補正曲線１３）で補正された画像を取得することができる。【００８７】
輝度および彩度の各々の補正量は１フレーム分遅延することになるが、フレームバッファを有して１フレーム分を保持しておけば、遅延なしに第１フレームの補正量で第１フレームの補正を実行できる。ただし動画像の場合、時間方向の変動は非常に小さいため、フレームバッファを設けて回路規模が大きくなるよりは、１フレームの時間的ずれは許容される場合が多いと考える。【００８８】
図１０は、本変形例の画像処理論理Ｇ１の動作の一例を示すフローチャートである。
動画像データ６０から１フレームを入力し（ステップ２０１）、当該フレームの一部または全部の画素からヒストグラム１０（図９Ａ）を生成する（ステップ２０２）。【００８９】
次に、このヒストグラム１０から輝度補正曲線１１（図９Ｂ）を決定し（ステップ２０３）、さらに、この輝度補正曲線１１から彩度補正曲線１３（図２）を決定する（ステップ２０４）。【００９０】
そして、当該フレーム内の個々の画素を入力し（ステップ２０５）、彩度補正曲線１３を用いて彩度成分を補正する処理（ステップ２０６）を、全画素について反復する（ステップ２０７）。【００９１】
このステップ２０５〜ステップ２０７の処理と並行して、輝度補正曲線１１を用いてフレーム単位での輝度の補正が行われる。
さらに、このステップ２０１〜ステップ２０７の処理を動画像データ６０の全フレームについて反復する。【００９２】
図１１は、本発明の一実施の形態である画像処理方法を実施する画像処理装置の構成の一例を示す概念図である。
本実施の形態の画像処理装置４０は、たとえば、ＭＰＵ（マイクロプロセッサユニット）４１、主記憶４２、ディスプレイ４３、入力装置４４、外部記憶装置４５、ネットワークインタフェース４６を含むコンピュータからなる。【００９３】
ＭＰＵ４１は、主記憶４２のプログラムを実行することで、画像処理装置４０の全体を制御する。
本実施の形態の場合、主記憶４２には、オペレーティングシステム５０および画像閲覧プログラム５１が実装されている。【００９４】
ディスプレイ４３は、画像データ等の情報の表示を行う。またディスプレイ４３は音声の入出力機能も備えている。
入力装置４４は、キーボードやマウス等で構成され、ユーザによる情報入力に用いられる。【００９５】
外部記憶装置４５は、画像閲覧プログラム５１によって閲覧される動画像データ６０が格納されている。
画像処理装置４０は、必要に応じて、テレビジョン方法等を受信する放送受信装置４７を含むことができる。【００９６】
その場合、動画像データ６０は、放送受信装置４７を介して受信された放送画像を含むことができる。
あるいは、放送受信装置４７を介して受信した放送を、画像閲覧プログラム５１を介してディスプレイ４３に表示させてユーザに視聴させることもできる。【００９７】
動画像データ６０は、ネットワークインタフェース４６を介して外部から受信した動画像データであってもよい。
そして、ＭＰＵ４１がオペレーティングシステム５０および画像閲覧プログラム５１を実行することで、ユーザに動画像データ６０の閲覧を行わせる。【００９８】
本実施の形態の場合、画像閲覧プログラム５１は、上述の、画像処理論理Ｇあるいは画像処理論理Ｇ１を含んでいる。
そして、動画像データ６０をディスプレイ４３に表示する際に、個々のフレーム単位に輝度補正を行うとともに、この輝度補正に応じて当該フレーム内の個々の画素の彩度の補正を行う。【００９９】
本実施の形態における画像閲覧プログラム５１に実装される画像処理論理Ｇおよび画像処理論理Ｇ１は、上述のように処理負荷が小さく、ソフトウェア処理に適している。
このため、画像処理装置４０に対して特別な画像処理のハードウェアを追加することなく、安価に、動画像データ６０のディスプレイ４３における表示画像の輝度や彩度を的確に調整して高画質の動画像をユーザに視聴させることができる。【０１００】
本実施の形態の画像閲覧プログラム５１では、上述の図３に例示した、輝度補正曲線１１あるいは輝度補正曲線１２から彩度補正曲線１３を決定する処理を、ユーザの介入によって行わせることもできる。【０１０１】
この例を、図１２を参照して説明する。図１２に例示される輝度／彩度設定画面７０は、輝度補正曲線設定ウィンドウ７１、彩度補正曲線表示ウィンドウ７２、サンプル画像ウィンドウ７３を含んでいる。【０１０２】
輝度補正曲線設定ウィンドウ７１には、リニア部１１ａ、シャドー部１１ｂ、ハイライト部１１ｃからなる輝度補正曲線１１と、マウスポインタ４４ａが表示されている。
彩度補正曲線表示ウィンドウ７２には、輝度補正曲線設定ウィンドウ７１の側の輝度補正曲線１１に連動する彩度補正曲線１３が表示されている。【０１０３】
そして、ユーザは、入力装置４４を介してマウスポインタ４４ａを操作し、たとえば、マウスポインタ４４ａを、リニア部１１ａとハイライト部１１ｃの交点部分に位置づけて左右にドラッグすることで、ハイライト部１１ｃの幅（ｙ）、すなわち、リニア部１１ａの傾きθｂを随意に設定する。【０１０４】
同様に、リニア部１１ａとシャドー部１１ｂの交点にマウスポインタ４４ａを位置づけて左右にドラッグすることで、シャドー部１１ｂの幅（ｘ）、すなわち、リニア部１１ａの傾きθｂを随意に設定する。【０１０５】
こうして設定された輝度補正曲線１１による輝度の補正結果は、サンプル画像ウィンドウ７３のサンプル画像７３ａに実時間で反映される。ユーザは、サンプル画像７３ａを見ながら、輝度補正曲線１１の形状を上述のように調整して、好みの輝度補正を行う。【０１０６】
このとき、本実施の形態の場合には、上述の図３において説明したような、輝度補正曲線１１と彩度補正曲線１３との対応付けのアルゴリズムにて、彩度補正曲線表示ウィンドウ７２の彩度補正曲線１３の低彩度側飽和部１３ｂおよび高彩度側飽和部１３ｃの幅（パラメータａ）が変化する。【０１０７】
そして、この彩度補正曲線１３の形状の変化に応じた彩度の補正結果も、実時間で、サンプル画像ウィンドウ７３のサンプル画像７３ａに反映される。
輝度補正曲線１１および彩度補正曲線１３の設定結果は、それぞれ、画像閲覧プログラム５１に実装された画像処理論理Ｇの輝度成分補正量保持部２１および彩度成分補正量決定部２３に設定される。【０１０８】
これにより、ユーザは、サンプル画像ウィンドウ７３のサンプル画像７３ａの変化を観察しながら、輝度補正曲線１１および、当該輝度補正曲線１１に対応する彩度補正曲線１３の設定を良好な操作性にて行うことができる。【０１０９】
そして、このように設定された画像閲覧プログラム５１を用いて、動画像データ６０を閲覧することで、輝度および彩度が適切に補正された動画像をディスプレイ４３にて閲覧することが可能になる。【０１１０】
以上述べたように、本実施の形態によれば、１フレーム全体に適用する輝度補正量を基準に１フレームの個々の画素に適用する色差成分の補正量を一義的に決定するので、たとえば、第１に画素ごとに彩度信号の補正量算出を行う必要がなく１フレーム単位の補正量算出で良いため、ソフトウェアでのリアルタイム処理が可能となる。第２に、図１Ａのようなハイライト部１１ｃ（ｘ０）の調整による一方向だけの単純な明るさ補正だけでなく、図１Ｂのような、シャドー部１１ｂ（ｘ）およびハイライト部１１ｃ（ｙ）の双方を変化させるダイナミックレンジ補正など、双方向の輝度成分補正にも適用可能となるなど従来技術に無い効果を奏する。
【産業上の利用可能性】
【０１１１】
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
本発明によれば、専用のハードウェア等を必要とすることなく、少ない処理負荷で、輝度補正に応じた彩度補正による画質の向上を実現することが可能となる。【０１１２】
また、不自然な画像を生じることなく、輝度補正に応じた彩度補正を実現することが可能となる。
【図１Ａ】
0004758999.tif 000002
【図１Ｂ】
0004758999.tif 000003
【図２】
0004758999.tif 000004
【図３】
0004758999.tif 000005
【図４】
0004758999.tif 000006
【図５】
0004758999.tif 000007
【図６】
0004758999.tif 000008
【図７】
0004758999.tif 000009
【図８】
0004758999.tif 000010
【図９Ａ】
0004758999.tif 000011
【図９Ｂ】
0004758999.tif 000012
【図１０】
0004758999.tif 000013
【図１１】
0004758999.tif 000014
【図１２】
0004758999.tif 000015