(57)【要約】【課題】映像の色変換の際に過剰なコントラストの変換を抑えながら色を変換する。【解決手段】領域分割部２２により映像を複数の対象物の領域に分割し、ＲＧＢ変換パラメタ作成部２３により各領域のヒストグラムを作成し、各領域のヒストグラムを目標の分布範囲に分布させるべくＲＧＢ変換パラメタを作成する。ＲＧＢ変換関数作成部２５により、ＲＧＢ変換パラメタを用いて色変換関数を作成する。映像変換部２７により、色変換関数を映像に適用して映像を変換し、入力された映像における各ピクセルの変換合成係数を算出し、入力された映像と変換後の映像とから映像を作成する際に、変換合成係数の大小に応じて映像の変換の強度を調整する。【選択図】図１
2010154494.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像を記憶する記憶手段と、
前記映像を読み出し、複数の領域に分割して記憶手段に記憶させる領域分割手段と、
所望の色成分における前記各領域のヒストグラムを作成するヒストグラム作成手段と、
前記各ヒストグラムに対して目標とする分布範囲を指定する目標範囲指定手段と、
前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成する変換パラメタ作成手段と、
前記変換パラメタを用いて色変換関数を作成する色変換関数作成手段と、
前記色変換関数を前記映像に適用して映像を変換する映像変換手段と、
前記入力された映像における各ピクセルの変換合成係数を算出する変換合成係数算出手段と、
前記入力された映像と前記変換後の映像とから変換調整映像を作成する際に、前記変換合成係数の大小に応じて映像の変換の強度を調整する変換調整映像作成手段とを有し、
前記領域分割手段は、顔の領域を検出し、
前記ヒストグラム作成手段は、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成し、
前記変換合成係数算出手段は、肌色からの距離を算出する
ことを特徴とする映像変換装置。
【請求項２】
前記変換調整映像作成手段は、前記変換後の映像の輝度を使用することにより輝度の変換の強弱を調整しない一方、色味の変換の強弱を調整する
ことを特徴とする請求項１記載の映像変換装置。
【請求項３】
前記変換調整映像作成手段は、前記入力された映像のピクセルと前記変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値それぞれの差に前記変換合成係数を乗じることで高速変換テーブルを作成し、該高速変換テーブルを利用して前記入力された映像のピクセルの輝度と前記変換後の映像のピクセルの輝度との差を算出する
ことを特徴とする請求項１記載の映像変換装置。
【請求項４】
前記変換調整映像作成手段は、
前記入力された映像を前記変換合成係数を用いて変換する手段と、
当該変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値の少なくとも１つに予め定められた値を加える手段と、
当該予め定められた値を加えられたＲ値、Ｇ値、Ｂ値による映像と前記入力された映像とから変換調整映像を作成する手段と
を有することを特徴とする請求項１記載の映像変換装置。
【請求項５】
前記変換合成係数を用いた変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値の少なくとも１つに前記予め定められた値を加えることに対応して前記目標範囲指定手段に指定される目標の分布範囲が変更されること特徴とする請求項４記載の映像変換装置。
【請求項６】
映像変換装置により行う映像変換方法であって、
入力された映像を記憶手段に記憶させるステップと、
前記映像を読み出し、複数の領域に分割して記憶手段に記憶させるステップと、
所望の色成分における前記各領域のヒストグラムを作成するステップと、
前記各ヒストグラムに対して目標とする分布範囲を指定するステップと、
前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成するステップと、
前記変換パラメタを用いて色変換関数を作成するステップと、
前記変換パラメタを用いて色変換関数を作成するステップと、
前記色変換関数を前記映像に適用して映像を変換するステップと、
前記入力された映像における各ピクセルの変換合成係数を算出するステップと、
前記入力された映像と前記変換後の映像とから変換調整映像を作成する際に、前記変換合成係数の大小に応じて映像の変換の強度を調整するステップとを有し、
前記映像を複数の領域に分割するステップでは、顔の領域を検出し、
前記ヒストグラムを作成するステップでは、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成し、
前記変換合成係数を算出するステップでは、肌色からの距離を算出する
ことを特徴とする映像変換方法。
【請求項７】
前記変換調整映像を作成するステップでは、前記変換後の映像の輝度を使用することにより輝度の変換の強弱を調整しない一方、色味の変換の強弱を調整する
ことを特徴とする請求項６記載の映像変換方法。
【請求項８】
前記変換調整映像を作成するステップでは、前記入力された映像のピクセルと前記変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値それぞれの差に前記変換合成係数を乗じることで高速変換テーブルを作成し、該高速変換テーブルを利用して前記入力された映像のピクセルの輝度と前記変換後の映像のピクセルの輝度との差を算出する
ことを特徴とする請求項６記載の映像変換方法。
【請求項９】
前記変換調整映像を作成するステップは、
前記入力された映像を前記変換合成係数を用いて変換するステップと、
当該変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値の少なくとも１つに予め定められた値を加えるステップと、
当該予め定められた値を加えられたＲ値、Ｇ値、Ｂ値による映像と前記入力された映像とから変換調整映像を作成するステップと
を有することを特徴とする請求項６記載の映像変換方法。
【請求項１０】
前記変換合成係数を用いた変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値の少なくとも１つに前記予め定められた値を加えることに対応して前記目標範囲指定手段に指定される目標の分布範囲が変更されることを特徴とする請求項６記載の映像変換方法。
【請求項１１】
請求項１ないし５のいずれかに記載の映像変換装置としてのコンピュータに当該映像変換装置が行う処理を実行させることを特徴とする映像変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の階調を自動で変換する技術に関するものであり、特に、デジタル映像処理装置において、入力された映像の階調を変換する技術に関する。
【背景技術】
【０００２】
映像のヒストグラムは、映像内の各ピクセルに対する明暗値の分布を示したものである。コントラストストレッチングは、明暗値の分布が偏った画像について明暗値を低い値から高い値まで広く分布させることによって映像のコントラストを向上させる手法である。コントラストストレッチングを通して暗すぎる映像は明るくなり、明るすぎる映像は暗くなって適当な明暗値を維持する。すなわち、映像の輝度値分布を修正することによって、映像の全体的なコントラストバランスが改善される。
【０００３】
図１９は、従来のコントラストストレッチング装置の構成を示すブロック図である。同図に示すように、従来のコントラストストレッチング装置は、分布計算部４２及びストレッチング部４３を有する。
【０００４】
分布計算部４２は、入力された映像から明暗値を計数してヒストグラム値またはヒストグラム関数を求める。目標値入力部は目標最低値と目標最高値とが入力され、入力された値をストレッチング部４３に出力する。ストレッチング部４３は、分布計算部４２で求めたヒストグラム関数を用いて最低値と最高値を有する明暗値を求め、入力映像の明度の最低値と最高値が目標分布入力部に入力された目標最低値と目標最高値とに一致するようにヒストグラムを変換する。ストレッチング部４３の処理において、目標最低値が０であり、目標最高値が２５５であれば、映像は０から２５５までの明暗値を有し映像のコントラストが増加する。
【０００５】
また、上述したヒストグラムの拡大処理を映像のＲ成分とＧ成分とＢ成分とに対して同様に施すことで色味を保ったままコントラストを増加させることが可能となる。或いは、Ｒ成分とＧ成分とＢ成分とに対してそれぞれ独立にヒストグラムの拡大処理を施すことで、色味の偏りが少ないコントラストが増加した映像を作成することが可能となる。なお、本願に関連する先行技術文献としては、次のものがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−２５７０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来の技術に係るコントラストストレッチングの場合、色味を変換するためにＲ成分とＧ成分とＢ成分とに対してそれぞれコントラスト拡大処理を施した場合、背景などの色味が過剰に変換されて色のバランスが崩れてしまう場合がある。特に、肌色のみを変換すると、茶色に染めてある髪などとの色のバランスが崩れることがあり望み通りに調整することができなかった。
【０００８】
本発明は、上記各問題を解決するためになされたものであり、その課題とするところは、映像の色変換の際に過剰なコントラストの変換を抑えながら色を変換でき、特に、肌色のみを変換しても、茶色に染めてある髪などとの色のバランスが崩れることがなく、望み通りに調整することができる映像変換装置を提供することにある。
【課題を解決するための手段】
【０００９】
第１の本発明に係る映像変換装置は、入力された映像を記憶する記憶手段と、前記映像を読み出し、複数の領域に分割して記憶手段に記憶させる領域分割手段と、所望の色成分における前記各領域のヒストグラムを作成するヒストグラム作成手段と、前記各ヒストグラムに対して目標とする分布範囲を指定する目標範囲指定手段と、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成する変換パラメタ作成手段と、前記変換パラメタを用いて色変換関数を作成する色変換関数作成手段と、前記色変換関数を前記映像に適用して映像を変換する映像変換手段と、前記入力された映像における各ピクセルの変換合成係数を算出する変換合成係数算出手段と、前記入力された映像と前記変換後の映像とから変換調整映像を作成する際に、前記変換合成係数の大小に応じて映像の変換の強度を調整する変換調整映像作成手段とを有し、前記領域分割手段は、顔の領域を検出し、前記ヒストグラム作成手段は、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成し、前記変換合成係数算出手段は、肌色からの距離を算出することを特徴とする。
【００１０】
本発明にあっては、映像を複数の領域に分割し、各領域のヒストグラムを目標の分布範囲に分布させるべく変換パラメタを作成し、変換パラメタを用いて色変換関数を作成し、色変換関数を合成するための合成係数を算出し、該合成係数を用いて、複数の色変換関数を合成し、合成後の色変換関数を適用して映像を変換し、入力された映像における各ピクセルの変換合成係数を算出し、入力された映像と変換後の映像とから変換調整映像を作成する際に、変換合成係数の大小に応じて映像の変換の強度を調整することで、映像の色変換の際に過剰なコントラストの変換を抑えながら色を変換することができ、特に、肌色のみを変換しても、茶色に染めてある髪などとの色のバランスが崩れることがなく、望み通りに調整することができる。
【００１１】
上記映像変換装置において、前記変換調整映像作成手段は、前記変換後の映像の輝度を使用することにより輝度の変換の強弱を調整しない一方、色味の変換の強弱を調整することを特徴とする。本発明にあっては、色味の変換の強弱のみを調整する。
【００１２】
上記映像変換装置において、前記変換調整映像作成手段は、前記入力された映像のピクセルと前記変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値それぞれの差に前記変換合成係数を乗じることで高速変換テーブルを作成し、該高速変換テーブルを利用して前記入力された映像のピクセルの輝度と前記変換後の映像のピクセルの輝度との差を算出することを特徴とする。本発明にあっては、映像の変換を高速化する。
【００１３】
上記映像変換装置において、前記変換調整映像作成手段は、前記入力された映像を前記変換合成係数を用いて変換する手段と、当該変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値の少なくとも１つに予め定められた値を加える手段と、当該予め定められた値を加えられたＲ値、Ｇ値、Ｂ値による映像と前記入力された映像とから変換調整映像を作成する手段とを有することを特徴とする。本発明にあっては、例えば、肌色領域の変換を強くする。
【００１４】
上記映像変換装置において、前記変換合成係数を用いた変換後の映像のピクセルのＲ値、Ｇ値、Ｂ値の少なくとも１つに前記予め定められた値を加えることに対応して前記目標範囲指定手段に指定される目標の分布範囲が変更されること特徴とする。本発明にあっては、例えば、肌色領域の変換を強くした影響が、肌色以外の領域に及ばないようにする。
【００１５】
第２の本発明に係る映像変換方法は、映像変換装置により行う映像変換方法であって、入力された映像を記憶手段に記憶させるステップと、前記映像を読み出し、複数の領域に分割して記憶手段に記憶させるステップと、所望の色成分における前記各領域のヒストグラムを作成するステップと、前記各ヒストグラムに対して目標とする分布範囲を指定するステップと、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成するステップと、前記変換パラメタを用いて色変換関数を作成するステップと、前記変換パラメタを用いて色変換関数を作成するステップと、前記色変換関数を前記映像に適用して映像を変換するステップと、前記入力された映像における各ピクセルの変換合成係数を算出するステップと、前記入力された映像と前記変換後の映像とから変換調整映像を作成する際に、前記変換合成係数の大小に応じて映像の変換の強度を調整するステップとを有し、前記映像を複数の領域に分割するステップでは、顔の領域を検出し、前記ヒストグラムを作成するステップでは、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成し、前記変換合成係数を算出するステップでは、肌色からの距離を算出することを特徴とする。
【００１６】
第３の本発明に係る映像変換プログラムは、入力された映像を記憶手段に記憶させる処理と、前記映像を読み出し、複数の領域に分割して記憶手段に記憶させる処理と、所望の色成分における前記各領域のヒストグラムを作成する処理と、前記各ヒストグラムに対して目標とする分布範囲を指定する処理と、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成する処理と、前記変換パラメタを用いて色変換関数を作成する処理と、前記変換パラメタを用いて色変換関数を作成する処理と、前記色変換関数を前記映像に適用して映像を変換する処理と、前記入力された映像における各ピクセルの変換合成係数を算出する処理と、前記入力された映像と前記変換後の映像とから変換調整映像を作成する際に、前記変換合成係数の大小に応じて映像の変換の強度を調整する処理とをコンピュータに実行させ、前記映像を複数の領域に分割する処理では、顔の領域を検出させ、前記ヒストグラムを作成する処理では、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成させ、前記変換合成係数を算出する処理では、肌色からの距離を算出させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、映像の色変換の際に過剰なコントラストの変換を抑えながら色を変換することができ、特に、肌色のみを変換しても、茶色に染めてある髪などとの色のバランスが崩れることがなく、望み通りに調整することができる。
【図面の簡単な説明】
【００１８】
【図１】一実施形態における映像変換装置の全体的な構成を示すブロック図である。
【図２】顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。
【図３】領域分割部２２で人の顔を検出する際の処理の一例を示す図である。
【図４】ＲＧＢ分布情報の一例を示す図である。
【図５】ある色成分におけるピクセルｐの色値がｘとなる確率を表す確率密度関数（ヒストグラム関数）の一例を示す図である。
【図６】図５に示す確率密度関数についての累積分布関数を示す図である。
【図７】累積割合値Ａから制御値を算出するための制御値算出関数の一例を示す図である。
【図８】図４の各ＲＧＢ分布レコードに制御値と目標値を追加したものを示す図である。
【図９】入力映像の輝度ヒストグラムの一例を示す図である。
【図１０】図９に用いた入力映像のRGBデータに色変換関数を適用した後の映像の輝度ヒストグラムを示す図である。
【図１１】図４の各ＲＧＢ分布レコードにR目標値、G目標値、B目標値の情報を追加したものを示す図である。
【図１２】Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの色変換用のルックアップテーブルの一例を示す図である。
【図１３】変換ＬＵＴを利用して色味を調整しつつ入力映像の変換を行う映像変換部２７の構成を示すブロック図である。
【図１４】色味調整部２７２で背景の色味の変化を抑える場合の一例を示す図である。
【図１５】第２の実施の形態における映像変換部２７の構成を示すブロック図である。
【図１６】第２の実施の形態の色味調整部２７２で背景の色味の変化を抑える場合の一例を示す図である。
【図１７】目標色のR値より２０低い値をR目標値に設定した目標ＲＧＢ分布レコードを示す図である。
【図１８】背景の階調を維持しつつ顔領域の色に変換する過程でのヒストグラムの変化を示す図である。
【図１９】従来のコントラストストレッチング装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
［第１の実施の形態］
図１は、第１の実施形態における映像変換装置の全体的な構成を示すブロック図である。同図に示すように、本映像変換装置は、入力装置１、中央処理制御装置２、記憶装置３を有する。入力装置１は、映像信号入力部１１、シャッター入力部１２、目標分布選択部１３を有し、中央処理制御装置２は、フレーム抽出部２１、領域分割部２２、ＲＧＢ変換パラメタ作成部２３、目標ＲＧＢ分布作成部２４、ＲＧＢ変換関数作成部２５、変換ＬＵＴ(ルックアッフ゜テーフ゛ル)作成部２６、映像変換部２７を有し、記憶装置３は、各部が出力する情報を記憶する記憶部の他、ＲＧＢ分布記憶部３１、変換ＬＵＴ記憶部３２を有する。
【００２０】
本映像変換装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成し、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。尚、各部が処理した結果は、記憶部に読み出し可能に記憶される。
【００２１】
映像信号入力部１１は、映像信号が入力されると、これをフレーム抽出部２１と映像変換部２７に出力する。ここでは、映像信号入力部１１が出力する映像を入力映像と呼ぶ。
【００２２】
本実施形態で扱う入力映像は、複数のフレームによって構成される動画であり、各フレームは、複数のピクセルによって構成される静止画像である。入力映像の幅をwidth、高さをheightで表すと、各フレームは、width×height個のピクセルによって構成される。各ピクセルは、ＲＧＢカラーモデルで色を表現するデータであり、フレームにおけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上width以下の整数値であり、ｙ座標値は１以上height以下の整数値であり、Ｒ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。
【００２３】
目標分布選択部１３では、ユーザが選択した目標ＲＧＢ分布名を目標ＲＧＢ分布作成部２４に出力する。
【００２４】
目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を作成し、作成された目標ＲＧＢ分布情報はＲＧＢ変換パラメタ作成部２３に出力される。なお、ＲＧＢ分布情報群は、ＲＧＢ分布記憶部３１から読み出すことで入力される。
【００２５】
シャッター入力部１２は、ユーザによりシャッター操作が行われると、フレーム抽出部２１にシャッター操作を伝えるシャッター信号を出力する。
【００２６】
フレーム抽出部２１は、映像信号とシャッター信号が入力され、静止画像を出力する。フレーム抽出部２１が出力する静止画像は入力映像から取り出した１フレームの静止画像である。
【００２７】
領域分割部２２は、入力映像を複数の対象物の領域に分割する。
【００２８】
ＲＧＢ変換パラメタ作成部２３は、Ｒ成分・Ｇ成分・Ｂ成分における各領域のヒストグラムを作成すると共に目標ＲＧＢ分布作成部２４が出力する目標値を入力として受け取り、ＲＧＢ変換パラメタを作成する。
【００２９】
ＲＧＢ変換関数作成部２５は、ＲＧＢ変換パラメタが入力され、Ｒ成分・Ｇ成分・Ｂ成分のヒストグラムがＲＧＢ変換パラメタに合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する。
【００３０】
領域分割部２２は、静止画像が入力され、領域情報群を出力する。領域情報群は、複数の領域情報によって構成され、各領域情報は領域名Ｒと領域集合RegionR によって構成される。ピクセルpのx座標値をxp 、y座標値をyp とすると領域集合RegionR は
【数１】
2010154494.tif 000003
と表される。領域分割部２２では、静止画像の被写体が人物である場合は、全体領域情報と顔領域情報と黒目領域情報を検出してもよい。或いは静止画像の被写体が物体である場合には、全体領域情報と被写体領域情報と背景領域情報を検出してもよい。以下では被写体が人物である場合に、全体領域情報と顔領域情報と黒目領域情報を検出するときの例について説明する。
【００３１】
ここでは、全体領域情報は領域名WHOLEと全体領域集合RegionWHOLEによって構成され、顔領域集合は領域名FACEと顔領域集合RegionFACEによって構成され、黒目領域集合は領域名EYEと黒目領域集合RegionEYEによって構成されるものとする。なお、全体領域集合RegionWHOLEとは、入力された静止画像に含まれるすべてのピクセルを含む集合である。
【００３２】
図２は、顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。領域分割部２２は、画像スケール変換部２２１と、検出対象領域切出部２２２と、空間周波数分析部２２３と、顔候補判定部２２４と、顔候補選択部２２５と、肌領域抽出部２２６と、黒目領域抽出部２２７と、によって構成される。
【００３３】
領域分割部２２における顔候補の選択はＨａａｒ型の特徴量を用い、ＡｄａＢｏｏｓｔ学習法、及びカスケード構造検出器による方法を用いる（例えば、特開２００６−２９３７２０号公報参照）。
【００３４】
検出対象領域切出部２２２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。
【００３５】
空間周波数分析部２２３では、切り出された領域に対し空間周波数フィルタリングを行う。例えば、ＡｄａＢｏｏｓｔ学習法、及びカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を用いてもよい。
【００３６】
顔候補判定部２２４では、空間周波数分析部２２３の出力値をもとに、領域が顔領域候補となり得るかを判定する。
【００３７】
顔候補選択部２２５では、顔候補となり得ると判断された顔領域候補のうち面積が最大となる顔領域候補を選択し、出力する。
【００３８】
肌領域抽出部２２６では、顔領域候補を入力として顔領域集合RegionFACEを出力する。顔領域集合RegionFACEは、顔領域候補内に含まれるピクセルのうち、ピクセルの色が肌色であるものによって構成される。すなわちRegionFACEは、ピクセルpのx座標値をxp 、y座標値をyp 、Ｒ値をrp、Ｇ値をgp 、Ｂ値をbp とすると
【数２】
2010154494.tif 000004
と表される。なお、肌色として扱うＲＧＢ値は予め設定してあるものとする。例えばＹＵＶカラーモデルにおいてＣb 値が−４０以上−２０以下でありＣb 値が１５以上３５以下の値を肌色とするなどの手法を用いる。
【００３９】
黒目領域抽出部２２７では、顔領域候補を入力として黒目領域集合RegionEYEを出力する。黒目領域集合RegionEYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。より具体的には顔領域候補内に含まれるピクセルのうち輝度値の低い順に１％のピクセル群を黒目領域集合とする。図３は、領域分割部２２で人の顔を検出する際の処理の一例を示す図である。
【００４０】
目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を出力する。ＲＧＢ分布情報群はＲＧＢ分布記憶部３１より読み出される。ＲＧＢ分布情報群は複数のＲＧＢ分布情報によって構成され、各ＲＧＢ分布情報はＲＧＢ分布名を持ち、複数のＲＧＢ分布レコードによって構成される。図４は、ＲＧＢ分布情報の一例を示す図である。各ＲＧＢ分布レコードはレコード番号と領域名と累積割合値と目標色によって構成される。ここで累積割合値０以上１以下の少数値である。
【００４１】
本実施形態において扱う色成分について説明すると、Luminance（輝度：ＹＣb ＣrカラーモデルにおけるＹ成分）、Ｃb（ＹＣbＣrカラーモデルにおけるＣb成分）、Ｃr（ＹＣbＣrカラーモデルにおけるＣr成分）、墨（ＣＭＹＫカラーモデルにおけるＫ成分）、レッド（ＲＧＢカラーモデルにおけるＲ成分）、グリーン（ＲＧＢカラーモデルにおけるＧ成分）、ブルー（ＲＧＢカラーモデルにおけるＢ成分）、色相（ＨＳＶカラーモデルにおけるＨ成分）、彩度（ＨＳＶカラーモデルにおけるＳ成分）、明度（ＨＳＶカラーモデルにおけるＶ成分）の１０種類であり、全ての色成分において最小値は０、最大値は２５５とする。
【００４２】
ＲＧＢ変換パラメタ作成部２３は静止画像と領域情報群と目標ＲＧＢ分布情報が入力され、ＲＧＢ変換パラメタを作成し、出力する。ＲＧＢ変換パラメタは、以下の手順によって作成される。
【００４３】
まず、色成分Componentにおけるピクセルｐの色値を返す色値算出関数を
【数３】
2010154494.tif 000005
とする。ここでｇ(Component,p,x)を
【数４】
2010154494.tif 000006
と定義すると、ピクセルの集合Ｐにおいて領域集合RegionR にも含まれるピクセルpを取り出したとき、色成分Componentにおけるピクセルpの色値がxとなる確率、すなわちcolor(p,Component)＝xとなる確率を表す確率密度関数（ヒストグラム関数）frequency(P,RegionR,Component,x)は
【数５】
2010154494.tif 000007
と定義される。
【００４４】
例えば、画像全体領域情報（領域名WHOLE、領域集合RegionWHOLE）と、顔領域情報（領域名FACE、領域集合RegionFACE）と、黒目領域情報（領域名EYE、領域集合RegionEYE）との領域情報があったとしたとき、ある画像を表すピクセルの集合をPyとし、輝度の色成分をYとすると、全体領域の輝度のヒストグラムは、frequency(Py,RegionWHOLE,Y,x)と表され、同様に顔領域の輝度のヒストグラムは、frequency(P,RegionFACE,Y,x)と表され、黒目領域の輝度のヒストグラムは、frequency(P,RegionEYE,Y,x)と表される。
【００４５】
また、色成分Componentのヒストグラムを表す確立密度関数frequency(P,RegionR,Component,x)から導き出される累積分布関数cumulative(P,RegionR,Component,x)は
【数６】
2010154494.tif 000008
と表される。
【００４６】
確率密度関数が図５の曲線で表されたとすると、その累積分布関数は、図６のように表される曲線となる。さらに、累積分布関数のｘに関する逆関数は
【数７】
2010154494.tif 000009
と表される。ただし、ここで、ｙはy=cumulative（P,RegionR,Component,x）の関係を満たす値である。
【００４７】
ここで、制御値算出関数control(P,RegionR,Component,A)を前記累積分布関数cumulativeを用いて下記のように定義する。
【数８】
2010154494.tif 000010
【００４８】
ただし、ここでは入力された静止画像に含まれるピクセルの集合をP、目標のＲＧＢ分布レコードにおける領域名をR、静止画像を領域分割して作成した領域名Rに対応する領域集合をRegionR、色成分をComponent、累積割合値をAとしている。
【００４９】
この制御値算出関数を累積割合値Aに適用することによって、図７に示されるように、
【数９】
2010154494.tif 000011
より、累積割合値Ａに対応する制御値Cが算出される。
【００５０】
また、制御値数列[Ck]k=1,2,…,n（ただしC1≦C2≦…≦Cn）と、目標値数列[Tk]k=1,2,…,nを用いて、色値ｘの変換を行う色変換関数convert([Ck]k=1,2,…,n,[Tk]k=1,2,…,n,ｘ)を
【数１０】
2010154494.tif 000012
と定義する。
【００５１】
ここで、例えば静止画像の輝度ヒストグラムが図９のように分布しており、制御値[C1,C2,C3,C4]と目標値[T1,T2,T3,T4]が図のように定められていたとすると、色変換関数convert([C1,C2,C3,C4],[T1,T2,T3,T4],x)を適用して輝度値の変換を行った後のヒストグラムは図１０のようになる。同図に示すように、色変換関数は制御値と目標値が合致するようにヒストグラムを変換する。
【００５２】
ここで図１１に示すように各目標ＲＧＢ分布レコードに対して目標色のR値をR目標値、G値をG目標値、B値をB目標値として設定する。
【００５３】
また、静止画像のピクセルの集合をP、ある目標ＲＧＢ分布レコードRecordの領域名をAREA、累積割合値をAとすると、制御値算出関数controlを用いて、R制御値ＣRは
【数１１】
2010154494.tif 000013
と算出され、全目標ＲＧＢ分布レコードについて制御値を算出することでR制御値列｛ＣR,k｝k=1,2,…,n（ただしＣR,1≦ＣR,2≦…≦ＣR,n）を算出できる。
【００５４】
同様に、RecordのG制御値ＣGは
【数１２】
2010154494.tif 000014
と算出され、G制御値列｛ＣG,k｝k=1,2,…,nが算出できる。
【００５５】
また、RecordのB制御値ＣBは
【数１３】
2010154494.tif 000015
と算出され、B制御値列｛ＣB,k｝k=1,2,…,nが算出できる。
【００５６】
ＲＧＢ変換関数作成部２５は、ＲＧＢ変換パラメタが入力され、R変換関数、G変換関数、B変換関数を出力する。
【００５７】
ここで、R制御値列｛ＣR,k｝k=1,2,…,n（ただしＣR,1≦ＣR,2≦…≦ＣR,n）と、R目標値列｛ＴR,k｝k=1,2,…,nを用いてR値の変換を行うR変換関数convertR(x)を
【数１４】
2010154494.tif 000016
と定義し、G制御値列｛ＣG,k｝k=1,2,…,nと、G目標値列｛ＴG,k｝k=1,2,…,nを用いてG値の変換を行うG変換関数convertG(x)を
【数１５】
2010154494.tif 000017
B制御値列｛ＣB,k｝k=1,2,…,nと、B目標値列｛ＴB,k｝k=1,2,…,nを用いてB値の変換を行うB変換関数convertB(x)を
【数１６】
2010154494.tif 000018
と定義する。
【００５８】
ＲＧＢ変換関数作成部２５は、上記のR変換関数convertR(x)とG変換関数convertG(x)とB変換関数convertB(x)を出力する。
【００５９】
変換ＬＵＴ作成部２６は、R変換合成関数とG変換合成関数とB変換合成関数を入力として、R変換ＬＵＴとG変換ＬＵＴとB変換ＬＵＴを出力する。具体的には、値として取り得る全てのR値、G値、B値に対して、それぞれR変換関数、G変換関数、B変換関数を適用した値が対応する図１２に示すようなＬＵＴを作成し、変換ＬＵＴ記憶部３２に記憶させる。
【００６０】
映像変換部２７は、入力映像と色変換ＬＵＴを入力として変換映像を出力する。
【００６１】
図１３は、変換ＬＵＴを利用して色味を調整しつつ入力映像の変換を行う映像変換部２７の構成を示すブロック図である。映像変換部２７は、ＬＵＴ参照部２７１と色味調整部２７２によって構成され、入力映像の全てのピクセルについて変換を施して変換映像を出力する。
【００６２】
ＬＵＴ参照部２７１は入力ピクセル値(r,g,b)を入力として受け取り、変換ＬＵＴを利用したときのＬＵＴ変換ピクセル値(r',g',b')を
【数１７】
2010154494.tif 000019
として求める。ただしＬＵＴｒはＲ変換ＬＵＴ、ＬＵＧｇはＧ変換ＬＵＴ，ＬＵＴｂはＢ変換ＬＵＴである。
【００６３】
色味調整部２７２は入力ピクセル値(r,g,b)とＬＵＴ変換ピクセル値(r',g',b')を受け取り、例えば背景の色味の変化を抑えた色味調整ピクセル値(r",g",b")を算出する。
【００６４】
例えば肌色領域のＬＵＴ変換を強く、肌色以外の領域のＬＵＴ変換を弱くする場合の手順を以下に説明する。
【００６５】
（実施例）
図１４は、色味調整部２７２で背景の色味の変化を抑える場合の一例を示す図である。図１４では、まず入力映像のＬＵＴ変換映像を作成し、ＬＵＴ変換映像の輝度情報と色味情報を算出する。また、入力映像の肌色度情報と色味情報の算出も行い、ＬＵＴ変換映像の色味情報と入力映像の色味情報の色味情報を肌色度情報に基づいて合成する。
【００６６】
前記の色味情報の合成では、肌色度の強い領域はＬＵＴ変換映像の色味情報を、肌色度の弱い領域は入力映像の色味情報を利用することで、肌色領域のＬＵＴ変換を強く、肌色以外のＬＵＴ変換を弱くすることが可能となる。
【００６７】
以上の手順によって作成したＬＵＴ変換映像の輝度情報と、合成した色味情報を足し合わせることで色味調整が可能となる。以下では具体的な色味調整の手順について説明する。
【００６８】
まず、あるピクセル値(r,g,b)の色味値（colorR，colorG，colorB）を算出する色味値算出関数colorBalance(r,g,b)を
【数１８】
2010154494.tif 000020
とする。
【００６９】
ここで、想定する肌色のＲＧＢ値を（skinR，skinG，skinB）とすると、肌色の色味値（skinColorR，skinColorG，skinColorB）は
【数１９】
2010154494.tif 000021
によって算出される。
【００７０】
次に肌色の色味値の幅を（skinRangeR，skinRangeG，skinRangeB）として、あるピクセル値の肌色からの距離を算出する関数skinDistance(r,g,b)を以下のように定義する。
【数２０】
2010154494.tif 000022
なお、（skinR，skinG、skinB）は例えば（200，140，130）、（skinRangeR，skinRangeG，skinRangeB）は例えば（15，5，5）などの値を用いる。
【００７１】
次にskinDistance(r,g,b)によって求まる距離の正規化まで行う関数normalizeSkinDistance(r,g,b)を、最小距離minDist、最大距離maxDistを用いて
【数２１】
2010154494.tif 000023
とする。
【００７２】
さらに、ＬＵＴ変換合成係数算出関数alphaLUT(r,g,b)を、最小合成係数minAlpha、最大合成係数maxAlphaを用いて
【数２２】
2010154494.tif 000024
とする。
【００７３】
次に輝度合成係数alphaLと色味合成係数alphaColorを定義するが、例えば輝度はＬＵＴ変換の通りに、色味は肌色領域を中心に変換を行う場合には
【数２３】
2010154494.tif 000025
とする。
【００７４】
以上の定義から合成輝度synthLは
【数２４】
2010154494.tif 000026
と算出する。ここで
【数２５】
2010154494.tif 000027
は入力ピクセルの輝度値のみを変更したＲＧＢ値となり、入力画像の合成色味値（synthR，synthG，synthB）は
【数２６】
2010154494.tif 000028
と算出でき、色味調整ピクセル値(r",g",b")を
【数２７】
2010154494.tif 000029
によって算出し、色味調整部２７２から出力する。
【００７５】
また、常にalphaL＝1.0、alphaColor＝0.0とした場合は、色味調整部２７２はＬＵＴ変換による輝度変換のみを行う。この場合は以下の手順により高速化が可能である。まず、高速変換テーブルＦＣＴ（Ｆａｓｔ  Ｃｏｎｖｅｒｓｉｏｎ  Ｔａｂｌｅ）を
【数２８】
2010154494.tif 000030
として作成する。ここでＦＣＴｒはＲ変換ＦＣＴ、ＦＣＴｇはＧ変換ＦＣＴ、ＦＣＴｂはＢ変換ＦＣＴである。
【００７６】
このとき(r,g,b)に対する（ＬＵＴｒ[r]，ＬＵＴｇ[g]，ＬＵＴｂ[b]）の輝度差を算出する関数、輝度差算出関数ｙDiff(r,g,b)が
【数２９】
2010154494.tif 000031
となり、色味調整ピクセル値(r",g",b")は
【数３０】
2010154494.tif 000032
により、３回のテーブル参照と５回の加算のみで高速に算出できる。
【００７７】
上記手順によるピクセル変換を入力映像の全てのピクセルに対して施すことにより、色味を調整した変換映像を出力できる。
【００７８】
以上説明したように、第１の実施の形態によれば、映像の色変換の際に過剰なコントラストの変換を抑えながら色を変換することができる。特に、肌色のみを変換しても、茶色に染めてある髪などとの色のバランスが崩れることがなく、望み通りに調整することができる。
【００７９】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、ここでは、第１の実施の形態との差異を中心に説明する。
【００８０】
図１５は、第２の実施の形態における映像変換部２７の構成を示すブロック図である。
【００８１】
映像変換部２７は、ＬＵＴ参照部２７１と色味調整部２７２とＲＧＢ値加工部２７３によって構成され、入力映像の全てのピクセルについて変換を施して変換映像を出力する。
【００８２】
ＬＵＴ参照部２７１は、入力ピクセル値(r,g,b)を入力として受け取り、変換ＬＵＴを利用したときのＬＵＴ変換ピクセル値を
【数３１】
2010154494.tif 000033
として求める。ただしＬＵＴｒはＲ変換ＬＵＴ、ＬＵＧｇはＧ変換ＬＵＴ，ＬＵＴｂはＢ変換ＬＵＴである。
【００８３】
ＲＧＢ値加工部２７３は、例えばＲ値、Ｇ値、Ｂ値にそれぞれliftR、liftG、liftBを加えて、変換ピクセル値(r',g',b')を
【数３２】
2010154494.tif 000034
によって求める。なお、liftR、liftG、liftBは、予め定められた値であり、映像変換装置に記憶されている。liftR、liftG、liftBは、それぞれ負の値でもよい。また、liftR、liftG、liftBは、少なくとも１つが０でなければ、他は０であってもよい。
【００８４】
色味調整部２７２は入力ピクセル値(r,g,b)と変換ピクセル値(r',g',b')を受け取り、例えば背景の色味の変化を抑えた色味調整ピクセル値(r",g",b")を算出する。
【００８５】
例えば肌色領域の変換を強く、肌色以外の領域の変換を弱くする場合の手順を以下に説明する。
【００８６】
（実施例）
図１６は、第２の実施の形態の色味調整部２７２で背景の色味の変化を抑える場合の一例を示す図である。図１６では、まず入力映像のＬＵＴ変換映像を作成し、ＬＵＴ変換映像のＲＧＢ値に加工を施し、加工後のＲＧＢ値の輝度情報と色味情報を算出する。また、入力映像の肌色度情報と色味情報の算出も行い、加工後のＲＧＢ値の色味情報と入力映像の色味情報の色味情報を肌色度情報に基づいて合成する。
【００８７】
前記の色味情報の合成では、肌色度の強い領域は加工後のＲＧＢ値の色味情報を、肌色度の弱い領域は入力映像の色味情報を利用することで、肌色領域の色味変換を強く、肌色以外の色味変換を弱くすることが可能となる。
【００８８】
以上の手順によって作成した加工後のＲＧＢ値の輝度情報と、合成した色味情報を足し合わせることで色味調整が可能となる。
【００８９】
また、第１の実施の形態で説明した具体的な色味調整の手順において、数２７によって算出され、色味調整部２７２から出力された色味調整ピクセル値(r",g",b")が表す色は、第２の実施の形態では、肌色領域についてはＬＵＴ変換およびＲＧＢ値の加工によって色味が変化し、背景領域については色味の変化がないものとなる。
【００９０】
さて、ヒストグラム変換の程度が大きい場合、ＬＵＴ変換によって背景色の階調が失われてしまう場合がある。そのような場合にＬＵＴ変換による色変換の程度を弱め、その代わりにＲＧＢ値の加工を利用した色味調整を行うことで、背景色の階調を保ったまま、色変換を行うことが可能となる。
【００９１】
具体的には、各目標ＲＧＢ分布レコードに対して、R目標値、G目標値、B目標値を設定する際に、目標色のR値をR目標値、G値をG目標値、B値をB目標値にそのまま設定するのでなく、図１７に示すように、いくつかの目標ＲＧＢ分布レコードについては、目標色のR値より例えば２０低い値をR目標値に設定しておく。
【００９２】
また、このような設定をしたときは、ＲＧＢ値加工部２７３では、例えば、liftR=20、liftG=0、liftB=0として、Ｒ値に２０を加えて、映像変換を行う（図１８のＳＴＥＰ１）。
【００９３】
そして、図１７の目標ＲＧＢ分布レコードを使用して、ヒストグラム変換を行う（図１８のＳＴＥＰ２）。これにより、背景色の色味を調整することができる。
【００９４】
その結果、背景領域の階調を維持しつつ、顔領域の色を目標の色に変換することが可能となる。
【００９５】
上記手順によるピクセル変換を入力映像の全てのピクセルに対して施すことにより、色味を調整した変換映像を出力することができる。
【符号の説明】
【００９６】
１…入力装置
２…中央処理制御装置
３…記憶装置
１１…映像信号入力部
１２…シャッター入力部
１３…目標分布選択部
２１…フレーム抽出部
２２…領域分割部
２３…ＲＧＢ変換パラメタ作成部
２４…目標ＲＧＢ分布作成部
２５…ＲＧＢ変換関数作成部
２６…変換ＬＵＴ作成部
２７…映像変換部
３１…ＲＧＢ分布記憶部
３２…変換ＬＵＴ記憶部
４２…分布計算部
４３…ストレッチング部
２２１…画像スケール変換部
２２２…検出対象領域切出部
２２３…空間周波数分析部
２２４…顔候補判定部
２２５…顔候補選択部
２２６…肌領域抽出部
２２７…黒目領域抽出部
２７１…ＬＵＴ参照部
２７２…色味調整部
２７３…ＲＧＢ値加工部
【図１】
2010154494.tif 000035
【図２】
2010154494.tif 000036
【図３】
2010154494.tif 000037
【図４】
2010154494.tif 000038
【図５】
2010154494.tif 000039
【図６】
2010154494.tif 000040
【図７】
2010154494.tif 000041
【図８】
2010154494.tif 000042
【図９】
2010154494.tif 000043
【図１０】
2010154494.tif 000044
【図１１】
2010154494.tif 000045
【図１２】
2010154494.tif 000046
【図１３】
2010154494.tif 000047
【図１４】
2010154494.tif 000048
【図１５】
2010154494.tif 000049
【図１６】
2010154494.tif 000050
【図１７】
2010154494.tif 000051
【図１８】
2010154494.tif 000052
【図１９】
2010154494.tif 000053