(57)【特許請求の範囲】
【請求項１】
画像の種類を表す複数のシーンのそれぞれの条件を記憶する記憶部と、
前記記憶部に記憶された条件を参照して、入力画像のシーンを特定するシーン特定部と、
前記シーン特定部で特定したシーンに対応するパラメータに基づいて、前記入力画像を補正した補正画像を生成するのに用いられる補正関数を生成する補正関数生成部と、
前記シーン特定部で特定したシーンに対応する前記記憶部に記憶された条件を前記補正画像が満たすか否かを判定する条件判定部と、
前記条件判定部にて前記条件を満たすと判定されるまで、前記パラメータを変更するパラメータ変更部と、を備える画像補正装置。
【請求項２】
前記記憶部に記憶される前記条件は、前記入力画像のシーンを判別するための第１条件と、前記条件判定部における判定処理を終了させる第２条件と、を含む請求項１に記載の画像補正装置。
【請求項３】
前記パラメータの初期値は、前記第１条件に含まれている請求項２に記載の画像補正装置。
【請求項４】
前記入力画像をダウンサンプリングしたダウンサンプル画像を生成するダウンサンプル部を備え、
前記シーン特定部は、前記ダウンサンプル画像のシーンを特定する請求項１乃至３のいずれか１項に記載の画像補正装置。
【請求項５】
前記ダウンサンプル画像は、ＲＧＢの情報を含む第１画素データであり、
前記ダウンサンプル画像を、明度、彩度、および色相の情報を含む第２画素データに変換する画像変換部を備え、
前記シーン特定部は、前記第２画素データと前記記憶部に記憶された条件とに基づいて、前記入力画像のシーンを特定する請求項４に記載の画像補正装置。
【請求項６】
前記記憶部に記憶された前記条件は、前記複数のシーンのそれぞれの優先度に関する情報を含んでおり、
前記シーン特定部は、前記優先度に基づいて前記入力画像のシーンを特定する請求項１乃至５のいずれかに記載の画像補正装置。
【請求項７】
前記補正関数は、前記入力画像の各画素の輝度値Ｘを、下記の（１）式に基づいて補正した輝度値Ｙを得る関数であり、ｓｈは前記入力画像のシャドウ部の制御パラメータ、ｈｌは前記入力画像のハイライト部の制御パラメータであり、ｓｈとｈｌは前記条件に含まれる請求項１乃至６のいずれか１項に記載の画像補正装置。
【数１】
0006601725.tif 000004
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置に関する。
【背景技術】
【０００２】
画像の輝度を部分的あるいは全体的に補正する画像補正処理が知られている。一般に画像の輝度補正処理は、その画像に写っている人物、逆光、雪、夜景などのシーンごとに、異なる画像補正手法を適用したほうがより好ましい仕上りとなるため、画像補正処理の手法もシーンごとに変えることが望ましい。
【０００３】
例えば、人物を含むシーンは、人物の顔がくっきりと視認できるような画像補正処理が望ましい。また、逆光のシーンは、被写体が暗く、背景が明るく写っているため、背景を明るくしすぎないように被写体部分を明るく補正する画像補正処理が望ましい。さらに、雪のシーンは、雪の階調を保持するため、画像のハイライト部はマイナス側に露出補正をするのが望ましいし、夜景の画像では、夜景内の灯りを引き立たせるため、シャドウ部の明るさを維持しつつ、ハイライト部の明るさを向上させるような画像補正処理が望ましい。
【０００４】
特許文献１には、画像のシーンを画像の特徴量に基づいて自動判別し、シーンに応じた明るさに補正する技術が開示されている。この技術では、画像全体の色の平均値と各シーンの色の代表値との距離によってシーンを決定し、その距離に応じた重みによって補正関数を生成して、この補正関数を用いて入力画像を補正している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許５４２４７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、あらゆるシーンが想定される画像を補正する場合、画像全体の色の平均値と、各シーンの色の代表値との距離のみでシーンを決定すると、画像によっては、過度の補正がなされて、輝度が極端に高くなる白飛びや、その逆に輝度が極端に低くなる黒つぶれが生じるおそれがあり、最適な補正が行える保証はない。
【０００７】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、画像のシーンに応じた最適な明るさに補正処理を行うことができる画像補正装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様では、画像の種類を表す複数のシーンのそれぞれの条件を記憶する記憶部と、
前記記憶部に記憶された条件を参照して、入力画像のシーンを特定するシーン特定部と、
前記シーン特定部で特定したシーンに対応するパラメータに基づいて、前記入力画像から補正した補正画像生成するための補正関数を生成する補正関数生成部と、
前記シーン特定部で特定したシーンに対応する前記記憶部に記憶された条件を前記補正画像が満たすか否かを判定する条件判定部と、
前記条件判定部にて前記条件を満たすと判定されるまで、前記パラメータを変更するパラメータ変更部と、を備える画像補正装置が提供される。
【０００９】
前記記憶部に記憶される前記条件は、前記入力画像のシーンを判別するための第１条件と、前記条件判定部における判定処理を終了させる第２条件と、を含んでいてもよい。
【００１０】
前記所定のパラメータは、前記第１条件に含まれていてもよい。
【００１１】
前記入力画像をダウンサンプリングしたダウンサンプル画像を生成するダウンサンプル部を備えてもよく、
前記シーン特定部は、前記ダウンサンプル画像のシーンを特定してもよい。
【００１２】
前記ダウンサンプル画像は、ＲＧＢの情報を含む第１画素データであってもよく、
前記ダウンサンプル画像を、明度、彩度および色相の情報を含む第２画素データに変換する画像変換部を備えてもよく、
前記シーン特定部は、前記第２画素データと前記記憶部に記憶された条件とに基づいて、前記入力画像のシーンを特定してもよい。
【００１３】
前記記憶部に記憶された前記条件は、前記複数のシーンのそれぞれの優先度に関する情報を含んでいてもよく、
前記シーン特定部は、前記優先度に基づいて前記入力画像のシーンを特定してもよい。
【００１４】
前記補正関数は、前記入力画像の各画素の輝度値Ｘを、下記の（１）式に基づいて補正した輝度値Ｙを得る関数であり、ｓｈは前記入力画像のシャドウ部の制御パラメータ、ｈｌは前記入力画像のハイライト部の制御パラメータであり、ｓｈとｈｌは前記条件に含まれていてもよい。
【数１】
0006601725.tif 000002
【発明の効果】
【００１５】
本発明は、画像のシーンに応じた最適な画像の明るさ補正処理を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による画像補正装置１の概略構成を示すブロック図。
【図２】本実施形態による画像補正装置１の処理動作を示すフローチャート。
【図３】図２のステップＳ９の詳細な処理動作を示すフローチャート。
【図４】（２）式の補正関数のグラフ。
【図５】（ａ）〜（ｄ）はパラメータｓｈ、ｈｌを変化させた場合の補正関数のグラフ。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、本発明の実施の形態について、詳細に説明する。
図１は本発明の一実施形態による画像補正装置１の概略構成を示すブロック図である。図１の画像補正装置１は、記憶部２と、シーン特定部３と、補正関数生成部４と、条件判定部５と、パラメータ変更部６と、ダウンサンプル部７とを備えている。
【００１８】
記憶部２は、画像の種類を表す複数のシーンのそれぞれの条件を記憶する。シーンは、例えば、人物を含むシーン、雪のシーン、空のシーン、風景のシーン、全体的に明るいシーン、夜景のシーン、露出アンダーのシーン、逆光のシーンなどである。シーンの具体例は、例示したものに限定されず、任意に増減変更して構わない。また本実施形態では、上述した特定のシーン以外のすべてのシーンをその他のシーンとして含む趣旨である。
【００１９】
記憶部２に記憶される各シーンの条件は、より具体的には、入力画像のシーンを判別するための第１条件と、条件判定部５における判定処理を終了させる第２条件とを含んでいる。本実施形態では、第１条件をシーン判定用アイテムと呼び、第２条件をループストップ判定用アイテムと呼ぶ。このように、記憶部２は、シーンごとに、シーン判定用アイテムとループストップ判定用アイテムとを記憶している。
【００２０】
シーン判定用アイテムとループストップ判定用アイテムのそれぞれは、複数の情報で構成されているが、各アイテムを構成する具体的な情報の種類や形式については任意である。
【００２１】
記憶部２に記憶されたシーンごとの条件は、各シーンの優先度に関する情報を含んでいてもよい。これにより、似通った複数のシーンが存在する場合には、これらのシーンのうち、優先度が高いシーンから順に選択することができる。
【００２２】
シーン特定部３は、記憶部２に記憶された条件を参照して、入力画像のシーンを特定する。より具体的には、シーン特定部３は、入力画像をダウンサンプル部７でダウンサンプリングしたダウンサンプル画像と記憶部２に記憶されたシーン判定用アイテムとに基づいて、入力画像のシーンを特定する。
【００２３】
補正関数生成部４は、所定のパラメータに基づいて、入力画像から補正した補正画像生成のための補正関数を生成する。所定のパラメータは、パラメータ変更部６により変更されうるものであるが、初期パラメータは、記憶部２内のシーン判定用アイテムに含まれている。
【００２４】
条件判定部５は、シーン特定部３で特定したシーンに対応する記憶部２に記憶された条件を補正画像が満たすか否かを判定する。
【００２５】
パラメータ変更部６は、条件判定部５にて条件を満たすと判定されるまで、パラメータを変更する。ダウンサンプル部７は、入力画像をダウンサンプリングしてダウンサンプル画像を生成する。
【００２６】
図２は本実施形態による画像補正装置１の処理動作を示すフローチャートである。まず、ダウンサンプル部７にて、入力画像をダウンサンプリングしてダウンサンプル画像を生成する（ステップＳ１）。入力画像は、カメラで撮影した画像でもよいし、いったん不図示の記録装置に記録された画像でもよい。ダウンサンプリングの具体的な手法としては、例えばバイリニア法やバイキュービック法などが挙げられる。ダウンサンプリングを行うことで、入力画像のデータ量を抑制でき、以降の画像補正処理の処理負担を軽減できる。なお、画像補正装置１の処理能力が高い場合や、入力画像のデータ量が小さい場合には、ステップＳ１のダウンサンプリングを行うことは必須ではなく、省略してもよい。
【００２７】
次に、ダウンサンプル画像の各画素のＲＧＢ値をＬｃｈ表色系の値に変換する（ステップＳ２、画像変換部）。Ｌｃｈ表色系とは、画素ごとに、明度Ｌと、彩度ｃと、色相角度ｈとを数値化したものである。
【００２８】
ＲＧＢ画素値をＬｃｈ画素値に変換するには、まず、ＲＧＢ表色系をＸＹＺ表色系に変換し、次に、ＸＹＺ表色系からＬａｂ表色系に変換し、最後に、Ｌａｂ表色系からＬｃｈ表色系に変換する。
【００２９】
なお、計算処理を高速化するために、ＲＧＢ表色系からＬｃｈ表色系に直接変換するためのテーブルを予め用意し、このテーブルを参照して、Ｌｃｈ表色系への画像変換を行ってもよい。あるいは、Ｌｃｈ表色系以外の表色系（例えば、ＨＳＶ表色系など）に画像変換してもよい。
【００３０】
次に、ＲＧＢ表色系の画素値とＬｃｈ表色系の画素値とを用いて、入力画像の画像解析を行う（ステップＳ３）。画像解析にあたっては、あるシーンに対応するシーン判定用アイテムを１つ記憶部２から読み出す（ステップＳ４）。
【００３１】
シーン判定用アイテムは、シーンごとに設けられている。シーン判定用アイテムは、入力画像が該当シーンの条件を満たすか否かを判断するために、明度Ｌ、彩度ｃ、色相角度ｈの各値の許容範囲と、各許容範囲内に属する画素数の閾値と、各許容範囲内に属する画素の明度値（Ｌ値）の閾値等を含んでいる。シーン特定部３は、これらの情報と入力画像とを比較して（ステップＳ５）、入力画像がステップＳ４で選択したシーンに合致するか否かを判定する（ステップＳ６）。より具体的には、シーン特定部３は、以下の１）と２）の条件の全てかを満たすシーンを入力画像のシーンとして決定する。
【００３２】
１）明度Ｌ、彩度ｃ、色相角度ｈの各許容範囲を満たす入力画像中の画素数がシーン判定用アイテムに定義された画素数の閾値を超える。
【００３３】
２）明度Ｌ、彩度ｃ、色相角度ｈの各許容範囲を満たす入力画像中の画素の明度値の平均値がシーン判定用アイテムに定義された明度値の閾値を超える。
【００３４】
例えば、雪のシーンでは、明度Ｌの許容範囲は６０〜１００、彩度ｃの許容範囲は０〜１６、色相角度ｈの許容範囲は０〜３５９、各許容範囲内の画素数閾値は７０％、各許容範囲内の明度値閾値は７０に設定されている。なお、明度Ｌと彩度ｃの最大範囲は０〜１００、色相角度ｈの最大範囲は０〜３５９である。
【００３５】
この場合、シーン特定部３は、Ｌｃｈの各許容範囲を満たす入力画像中の画素数が画像全体の７割以上で、かつ明度Ｌの平均値が７０以上の場合に、入力画像を雪のシーンとして特定することになる。
【００３６】
また、夜景のシーンの一例として、明度Ｌの許容範囲は０〜３０、彩度ｃの許容範囲は０〜１００、色相角度ｈの許容範囲は０〜３５９、各許容範囲内の画素数閾値は８０％、各許容範囲内の明度値閾値は４０と設定されている。
【００３７】
この場合、シーン特定部３は、Ｌｃｈの各許容範囲を満たす画素数が画像全体の８割以上で、かつ明度Ｌの平均値が４０以上の場合に、入力画像を夜景のシーンとして特定することになる。
【００３８】
記憶部２に記憶される複数のシーンに優先度を設ける場合には、優先度の高いシーンから順番に選択されて、該当するシーン判定用アイテムが読み出される。例えば、確実に判別したい重要なシーンやシーン判別条件が限定的なシーンの優先度を高くすることで、異なるシーンでも類似した特徴量を持つ画像のシーンの特定を行う際に、より優先的に判別したいシーン判別条件を選択して、画像の解析を行うことができる。
【００３９】
なお、本実施形態では、入力画像は必ずいずれかのシーンに分類できるものとしている。また、特定のいくつかのシーンのいずれにも分類できない入力画像は、その他のシーンに分類されるものとしている。
【００４０】
ステップＳ６で、入力画像が記憶部２から読み出したシーン判定用アイテムに合致しないと判定されると、別のシーンに対応するシーン判定用アイテムを記憶部２から読み出して（ステップＳ７）、ステップＳ５とＳ６の処理を繰り返す。
【００４１】
ステップＳ６で合致すると判定されると、補正画像の生成処理を行う（ステップＳ８）。
【００４２】
図３は図２のステップＳ８の詳細な処理動作を示すフローチャートである。まず、補正関数のパラメータｓｈ、ｈｌを設定する（ステップＳ１１）。このステップＳ１１の処理を行うにあたって、記憶部２から、特定したシーンのシーン判定用アイテムを読み出す。このシーン判定用アイテムの中には、補正関数の初期パラメータｓｈ、ｈｌと、ループ処理を繰り返すたびにｓｈ、ｈｌに加算する増分パラメータｓｈＳｔｅｐ、ｈｌＳｔｅｐが定義されている。初めてステップＳ１１の処理を行う場合は、シーン判定用アイテムに定義された初期パラメータｓｈ、ｈｌを設定する。ここで、ｓｈは画像のシャドウ部の制御パラメータ、ｈｌは画像のハイライト部の制御パラメータである。
【００４３】
次に、パラメータｓｈ、ｈｌが予め定めた規定値に達したか否かを判定する（ステップＳ１２）。後述するように、パラメータｓｈ、ｈｌは、ストップ条件を満たすまで、増分パラメータｓｈＳｔｅｐ、ｈｌＳｔｅｐだけ更新されるが、ストップ条件を満たすことなく規定値に達した場合は、図３の処理を終了する。ここで、ストップ条件とは、図３のステップＳ１２以降のループ処理から抜ける条件である。
【００４４】
次に、パラメータｓｈ、ｈｌを用いて補正関数を生成する（ステップＳ１３）。補正関数は、入力画像の各画素の輝度値Ｘを、下記の（２）式に基づいて補正した輝度値Ｙを計算する関数である。
【数２】
0006601725.tif 000003
【００４５】
例えば、ｓｈ＝１００、ｈｌ＝１００の場合の（２）式の補正関数は、図４のような線形関数となる。
【００４６】
（２）式は、補正関数の一例として示しているが、補正関数の具体的な式の形態は特に問わない。
【００４７】
次に、ステップＳ１３で生成された補正関数を用いて、入力画像を補正した検証用画像を生成する（ステップＳ１４）。次に、検証用画像の各画素のＲＧＢ画素値をＬｃｈ表色系の画素値に変換する（ステップＳ１５）。次に、検証用画像のＲＧＢ画素値とＬｃｈ表色系の画素値とを用いて、画像解析を行う（ステップＳ１６）。
【００４８】
ステップＳ１６の画像解析にあたって、記憶部２から、該当シーンのループストップ判定用アイテムを読み出す（ステップＳ１７）。ループストップ判定用アイテムは、ループ処理のストップ条件を含んでいる。ループストップ判定用アイテムは、シーンごとに設けられている。
【００４９】
シーン判定用アイテムと同様に、ループストップ判定用アイテムには、各画素が該当シーンを満たすか否かを判断するための明度Ｌ、彩度ｃ、色相角度ｈの各値の許容範囲と、各許容範囲内に属する画素数の閾値と、各許容範囲内に属する画素の明度値の閾値と、クリップした画素数の閾値とを含むストップ条件が定義されている。ここで、クリップとは、画素値が制限画素値（例えば２５５）を超えることを示す。
【００５０】
ループストップ判定用アイテムは、例えば以下の１）〜４）のストップ条件を含んでいる。これらのストップ条件を、各シーンで自由に条件を設定できるものとする。
【００５１】
１）Ｌｃｈの各許容範囲を満たす画素数が前回ループ処理時の同画素数よりも小さい。
２）Ｌｃｈの各許容範囲を満たす画素数が、各許容範囲の閾値を超える。
３）Ｌｃｈの各許容範囲を満たす画素の明度Ｌの平均値が明度値の閾値を超える。
４）Ｌｃｈの各許容範囲を満たす画素のクリップ数が設定クリップ数の閾値を超える。
【００５２】
例えば、雪のシーンのループ処理のストップ条件を例に挙げる。雪のシーンは、比較的明るい白色が大部分を占めている。このため、過度の明るさ補正によってクリップが発生し、雪の階調が失われて画像品質が劣化してしまう。このため、ループストップ判定用アイテムとしては、上記４）の条件を満たせば、雪のシーンと判断するのが望ましい。
【００５３】
ループストップ用判定アイテムの一例として、雪のシーンでは、明度Ｌの許容範囲は６０〜１００、彩度ｃの許容範囲は０〜１６、色相角度ｈの許容範囲は０〜３５９、Ｌｃｈの許容範囲内のクリップ画素数の閾値は５０画素である。
【００５４】
上記のようなループストップ用判定アイテムをセットすると、画像解析によってクリップする画素が５０画素を超えた時点でループ処理が終了し、過度の補正を避けることが可能となる。
【００５５】
一方、夜景においては、全体的な明るさを上げすぎないのが望ましい結果が得られる。このため、ループストップ判定用アイテムとしては、上記３）の条件を利用するのが望ましい。
【００５６】
夜景のシーンでは、明度Ｌの許容範囲は０〜１００、彩度ｃの許容範囲は０〜１００、色相角度ｈの許容範囲は０〜３５９、Ｌｃｈの許容範囲内の明度値の閾値は４０である。
【００５７】
上記のようなループストップ用判定アイテムをセットすると、補正後の明度値の平均値が４０を超えた時点でループ処理が終了し、過度の補正を避けることが可能となる。
【００５８】
このように、条件判定部５は、補正関数で補正した検証用画像が選択したループストップ用判定アイテムのストップ条件を満たすか否かを判定する（ステップＳ１８）。なお、シーンによっては上記１）〜４）から複数ループストップ条件を組み合わせて設定してもよい。選択したループストップ用判定アイテムのストップ条件を満たさない場合は、特定シーンの中に、未検証のループストップ用判定アイテムがあるか否かを判定する（ステップＳ１９）。ステップＳ１９がＹＥＳの場合には、ステップＳ１７以降の処理を繰り返す。ステップＳ１９がＮＯの場合は、ステップＳ１１以降の処理を繰り返す。
【００５９】
ステップＳ１８でストップ条件を満たすと判定された場合は、強制終了してよいか否かを判定する（ステップＳ２０）。ステップＳ２０がＮＯの場合は、現在判定処理を行ったループストップ用判定アイテムを削除して（ステップＳ２１）、ステップＳ１１以降の処理を繰り返す。ステップＳ２０がＹＥＳの場合は、図３の処理を終了する。
【００６０】
図３の処理により、特定したシーンに属するすべてのループストップ判定用アイテムを満たした場合のパラメータｓｈ、ｈｌを含む補正関数がオリジナルの画像を補正するための補正関数となり、この補正関数を用いて入力画像を補正して得られた検証用画像が最終的な補正画像となる。
【００６１】
図５（ａ）〜図５（ｄ）はパラメータｓｈ、ｈｌを変化させた場合の補正関数の変化を示すグラフである。図５（ａ）は（ｓｈ、ｈｌ）＝（１００，１００）の場合の補正関数、図５（ｂ）は（ｓｈ、ｈｌ）＝（７５，１２５）の場合の補正関数、図５（ｃ）は（ｓｈ、ｈｌ）＝（１２５、７５）の場合の補正関数、図５（ｄ）は（ｓｈ、ｈｌ）＝（２００、２００）の場合の補正関数を示している。
【００６２】
これらの図に示すように、パラメータｓｈ、ｈｌを変更することで、任意のトーンカーブを作成し輝度を補正できる。よって、シーンごとに与えられているパラメータｓｈ、ｈｌを、さらに対象画像に最適な形に決定することで、シーンに応じた最適なトーンカーブを設計できる。
【００６３】
このように、本実施形態では、各シーンの条件を記憶部２に記憶しておき、この条件を参照して、入力画像のシーンを自動的に特定するとともに、所定のパラメータに基づいて入力画像を補正した補正画像を生成し、特定したシーンの条件を補正画像が満たすようにパラメータを更新する。これにより、入力画像のシーンに最適な画像補正を行うことができる。
【００６４】
本願発明によれば、入力画像のシーンを自動的に特定して、各シーンに最適な画像補正を行うことができるため、どのようなシーンの入力画像であっても、輝度を最適な状態に設定できる。
【００６５】
上述した実施形態で説明した画像補正装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像補正装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００６６】
また、画像補正装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００６７】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００６８】
１  画像補正装置、２  記憶部、３  シーン特定部、４  補正関数生成部、５  条件判定部、６  パラメータ変更部、７  ダウンサンプル部
【図１】
0006601725.tif 000005
【図２】
0006601725.tif 000006
【図３】
0006601725.tif 000007
【図４】
0006601725.tif 000008
【図５】
0006601725.tif 000009