(57)【要約】【課題】映像内に含まれる複数の被写体の色を適切に変換する。【解決手段】領域分割部２２により映像を複数の対象物の領域に分割し、ＲＧＢ変換パラメタ作成部２３により各領域のヒストグラムを作成し、各領域のヒストグラムを目標の分布範囲に分布させるべくＲＧＢ変換パラメタを作成する。ＲＧＢ変換関数作成部２５により、ＲＧＢ変換パラメタを用いて色変換関数を作成する。ＲＧＢ変換関数合成部２８により、色変換関数を合成するための合成係数を算出し、合成係数を用いて、複数の色変換関数を合成する。映像変換部２７により、合成後の色変換関数を映像に適用する。【選択図】図１
2010154484.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像を記憶する記憶手段と、
前記映像を読み出し、複数の領域に分割して記憶手段に記憶させる領域分割手段と、
所望の色成分における前記各領域のヒストグラムを作成するヒストグラム作成手段と、
前記各ヒストグラムに対して目標とする分布範囲を指定する目標範囲指定手段と、
前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成する変換パラメタ作成手段と、
前記変換パラメタを用いて色変換関数を作成する色変換関数作成手段と、
前記色変換関数を合成するための合成係数を算出し、該合成係数を用いて、複数の前記色変換関数を合成する色変換関数合成手段と、
前記合成後の色変換関数を前記映像に適用して映像を変換する映像変換手段と
を有し、
前記色変換関数作成手段は、
複数の顔の領域に対応してそれぞれ色変換関数を作成し、
前記色変換関数合成手段は、
複数の顔の領域に対応して作成された色変換関数を合成した色変換関数を作成する
ことを特徴とする映像変換装置。
【請求項２】
前記色変換関数合成手段は、
顔の領域の面積が大きいほど合成の際の重みを大きくすることを特徴とする請求項１記載の映像変換装置。
【請求項３】
前記色変換関数合成手段は、
顔の領域から映像の中央までの距離が小さいほど合成の際の重みを大きくすることを特徴とする請求項１記載の映像変換装置。
【請求項４】
前記色変換関数合成手段は、
顔の領域の色が明るいほど合成の際の重みを大きくすることを特徴とする請求項１記載の映像変換装置。
【請求項５】
前記目標範囲指定手段は、
前記入力された映像の表示領域にドラッグアンドドロップされたモデル映像に基づいて前記目標の分布範囲を指定する
ことを特徴とする請求項１ないし４のいずれかに記載の映像変換装置。
【請求項６】
前記映像変換手段は、
前記ドラッグアンドドロップで使用されたポインタの場所に応じて変換強度を変更する
ことを特徴とする請求項５記載の映像変換装置。
【請求項７】
前記映像変換手段は、
前記ドラッグアンドドロップで使用されたポインタの周辺部のみを変換する
ことを特徴とする請求項５記載の映像変換装置。
【請求項８】
前記映像変換手段は、
前記ドラッグアンドドロップにおけるドラッグの時間の長さに応じて変換強度を変更する
ことを特徴とする請求項５記載の映像変換装置。
【請求項９】
前記映像変換手段は、
前記ドラッグアンドドロップのドロップの際のポインタの位置から最も近くに位置する顔の領域を変換の対象とする
ことを特徴とする請求項５記載の映像変換装置。
【請求項１０】
映像変換装置により行う映像変換方法であって、
入力された映像を記憶手段に記憶させるステップと、
前記映像を読み出し、複数の領域に分割して記憶手段に記憶させるステップと、
所望の色成分における前記各領域のヒストグラムを作成するステップと、
前記各ヒストグラムに対して目標とする分布範囲を指定するステップと、
前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成するステップと、
前記変換パラメタを用いて色変換関数を作成するステップと、
前記色変換関数を合成するための合成係数を算出し、該合成係数を用いて、複数の前記色変換関数を合成するステップと、
前記合成後の色変換関数を前記映像に適用して映像を変換するステップと
を有し、
前記色変換関数を作成するステップでは、
複数の顔の領域に対応してそれぞれ色変換関数を作成し、
前記色変換関数を合成するステップでは、
複数の顔の領域に対応して作成された色変換関数を合成した色変換関数を作成する
ことを特徴とする映像変換方法。
【請求項１１】
前記色変換関数を合成するステップでは、
顔の領域の面積が大きいほど合成の際の重みを大きくすることを特徴とする請求項１０記載の映像変換方法。
【請求項１２】
前記色変換関数を合成するステップでは、
顔の領域から映像の中央までの距離が小さいほど合成の際の重みを大きくすることを特徴とする請求項１０記載の映像変換方法。
【請求項１３】
前記色変換関数を合成するステップでは、
顔の領域の色が明るいほど合成の際の重みを大きくすることを特徴とする請求項１０記載の映像変換方法。
【請求項１４】
前記目標とする分布範囲を指定するステップでは、
前記入力された映像の表示領域にドラッグアンドドロップされたモデル映像に基づいて前記目標の分布範囲を指定する
ことを特徴とする請求項１０ないし１３のいずれかに記載の映像変換方法。
【請求項１５】
前記映像を変換するステップでは、
前記ドラッグアンドドロップで使用されたポインタの場所に応じて変換強度を変更する
ことを特徴とする請求項１４記載の映像変換方法。
【請求項１６】
前記映像を変換するステップでは、
前記ドラッグアンドドロップで使用されたポインタの周辺部のみを変換する
ことを特徴とする請求項１４記載の映像変換方法。
【請求項１７】
前記映像を変換するステップでは、
前記ドラッグアンドドロップにおけるドラッグの時間の長さに応じて変換強度を変更する
ことを特徴とする請求項１４記載の映像変換方法。
【請求項１８】
前記映像を変換するステップでは、
前記ドラッグアンドドロップのドロップの際のポインタの位置から最も近くに位置する顔の領域を変換の対象とする
ことを特徴とする請求項１４記載の映像変換方法。
【請求項１９】
請求項１ないし９のいずれかに記載の映像変換装置としてのコンピュータに当該映像変換装置が行う処理を実行させることを特徴とする映像変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の階調を自動で変換する技術に関するものであり、特に、デジタル映像処理装置において、入力された映像の階調を変換する技術に関する。
【背景技術】
【０００２】
映像のヒストグラムは、映像内の各ピクセルに対する明暗値の分布を示したものである。コントラストストレッチングは、明暗値の分布が偏った画像について明暗値を低い値から高い値まで広く分布させることによって映像のコントラストを向上させる手法である。コントラストストレッチングを通して暗すぎる映像は明るくなり、明るすぎる映像は暗くなって適当な明暗値を維持する。すなわち、映像の輝度値分布を修正することによって、映像の全体的なコントラストバランスが改善される。
【０００３】
図１７は、従来のコントラストストレッチング装置の構成を示すブロック図である。同図に示すように、従来のコントラストストレッチング装置は、分布計算部４２及びストレッチング部４３を有する。
【０００４】
分布計算部４２は、入力された映像から明暗値を計数してヒストグラム値またはヒストグラム関数を求める。目標値入力部は目標最低値と目標最高値とが入力され、入力された値をストレッチング部４３に出力する。ストレッチング部４３は、分布計算部４２で求めたヒストグラム関数を用いて最低値と最高値を有する明暗値を求め、入力映像の明度の最低値と最高値が目標分布入力部に入力された目標最低値と目標最高値とに一致するようにヒストグラムを変換する。ストレッチング部４３の処理において、目標最低値が０であり、目標最高値が２５５であれば、映像は０から２５５までの明暗値を有し映像のコントラストが増加する。
【０００５】
また、上述したヒストグラムの拡大処理を映像のＲ成分とＧ成分とＢ成分とに対して同様に施すことで色味を保ったままコントラストを増加させることが可能となる。或いは、Ｒ成分とＧ成分とＢ成分とに対してそれぞれ独立にヒストグラムの拡大処理を施すことで、色味の偏りが少ないコントラストが増加した映像を作成することが可能となる。なお、本願に関連する先行技術文献としては、次のものがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−２５７０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来の技術に係るコントラストストレッチングの場合、全体のコントラストを向上させることは可能であったが、映像内に含まれる複数の被写体の色を望み通りの色に調整することができなかった。特に複数の人物を被写体として撮影された画像に対する明るさや色味を望み通りに調整することができなかった。
【０００８】
本発明は、上記各問題を解決するためになされたものであり、その課題とするところは、映像内に含まれる複数の被写体の色を適切に変換でき、特に複数の人物を被写体として撮影された画像に対する明るさや色味を望み通りに調整できる映像変換装置を提供することにある。
【課題を解決するための手段】
【０００９】
第１の本発明に係る映像変換装置は、入力された映像を記憶する記憶手段と、前記映像を読み出し、複数の領域に分割して記憶手段に記憶させる領域分割手段と、所望の色成分における前記各領域のヒストグラムを作成するヒストグラム作成手段と、前記各ヒストグラムに対して目標とする分布範囲を指定する目標範囲指定手段と、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成する変換パラメタ作成手段と、前記変換パラメタを用いて色変換関数を作成する色変換関数作成手段と、前記色変換関数を合成するための合成係数を算出し、該合成係数を用いて、複数の前記色変換関数を合成する色変換関数合成手段と、前記合成後の色変換関数を前記映像に適用して映像を変換する映像変換手段とを有し、前記色変換関数作成手段は、複数の顔の領域に対応してそれぞれ色変換関数を作成し、前記色変換関数合成手段は、複数の顔の領域に対応して作成された色変換関数を合成した色変換関数を作成することを特徴とする。
【００１０】
本発明にあっては、映像を複数の領域に分割し、各領域のヒストグラムを目標の分布範囲に分布させるべく変換パラメタを作成し、変換パラメタを用いて色変換関数を作成し、色変換関数を合成するための合成係数を算出し、該合成係数を用いて、複数の色変換関数を合成し、合成後の色変換関数を映像に適用し、その際、複数の顔の領域に対応してそれぞれ色変換関数を作成し、複数の顔の領域に対応して作成された色変換関数を合成した色変換関数を作成することで、映像内に含まれる複数の被写体の色を適切に変換することができ、特に複数の人物を被写体として撮影された画像に対する明るさや色味を望み通りに調整することができる。
【００１１】
上記映像変換装置において、前記色変換関数合成手段は、顔の領域の面積が大きいほど合成の際の重みを大きくすることを特徴とする。本発明にあっては、面積の大きい顔の領域の色の重みを大きくする。
【００１２】
上記映像変換装置において、前記色変換関数合成手段は、顔の領域から映像の中央までの距離が小さいほど合成の際の重みを大きくすることを特徴とする。本発明にあっては、映像の中央までの距離が小さい顔の領域の色の重みを大きくする。
【００１３】
上記映像変換装置において、前記色変換関数合成手段は、顔の領域の色が明るいほど合成の際の重みを大きくすることを特徴とする。本発明にあっては、明るい色の顔の領域の色の重みを大きくする。
【００１４】
上記映像変換装置において、前記目標範囲指定手段は、前記入力された映像の表示領域にドラッグアンドドロップされたモデル映像に基づいて前記目標の分布範囲を指定することを特徴とする。本発明にあっては、入力された映像をモデル映像に基づいて変換する。
【００１５】
上記映像変換装置において、前記映像変換手段は、前記ドラッグアンドドロップで使用されたポインタの場所に応じて変換強度を変更することを特徴とする。本発明にあっては、モデル映像に基づいて映像を変換する際に、ポインタの場所に応じて変換強度を変更する。
【００１６】
上記映像変換装置において、前記映像変換手段は、前記ドラッグアンドドロップで使用されたポインタの周辺部のみを変換することを特徴とする。本発明にあっては、モデル映像に基づいて映像を変換する際に、ポインタの周辺部のみを変換する。
【００１７】
上記映像変換装置において、前記映像変換手段は、前記ドラッグアンドドロップにおけるドラッグの時間の長さに応じて変換強度を変更することを特徴とする。本発明にあっては、モデル映像に基づいて映像を変換する際に、ドラッグの時間の長さに応じて変換強度を変更する。
【００１８】
上記映像変換装置において、前記映像変換手段は、前記ドラッグアンドドロップのドロップの際のポインタの位置から最も近くに位置する顔の領域を変換の対象とすることを特徴とする。本発明にあっては、モデル映像に基づいて映像を変換する際に、ポインタの位置から最も近くに位置する顔の領域を変換の対象とする。
【００１９】
第２の本発明に係る映像変換方法は、映像変換装置により行う映像変換方法であって、入力された映像を記憶手段に記憶させるステップと、前記映像を読み出し、複数の領域に分割して記憶手段に記憶させるステップと、所望の色成分における前記各領域のヒストグラムを作成するステップと、前記各ヒストグラムに対して目標とする分布範囲を指定するステップと、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成するステップと、前記変換パラメタを用いて色変換関数を作成するステップと、前記色変換関数を合成するための合成係数を算出し、該合成係数を用いて、複数の前記色変換関数を合成するステップと、前記合成後の色変換関数を前記映像に適用して映像を変換するステップとを有し、前記色変換関数を作成するステップでは、複数の顔の領域に対応してそれぞれ色変換関数を作成し、前記色変換関数を合成するステップでは、複数の顔の領域に対応して作成された色変換関数を合成した色変換関数を作成することを特徴とする。
【００２０】
第３の本発明に係る映像変換プログラムは、入力された映像を記憶手段に記憶させる処理と、前記映像を読み出し、複数の領域に分割して記憶手段に記憶させる処理と、所望の色成分における前記各領域のヒストグラムを作成する処理と、前記各ヒストグラムに対して目標とする分布範囲を指定する処理と、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換するための変換パラメタを作成する処理と、前記変換パラメタを用いて色変換関数を作成する処理と、前記色変換関数を合成するための合成係数を算出し、該合成係数を用いて、複数の前記色変換関数を合成する処理と、前記合成後の色変換関数を前記映像に適用して映像を変換する処理とをコンピュータに実行させ、前記色変換関数を作成する処理では、複数の顔の領域に対応してそれぞれ色変換関数を作成させ、前記色変換関数を合成する処理では、複数の顔の領域に対応して作成された色変換関数を合成した色変換関数を作成させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、映像内に含まれる複数の被写体の色を適切に変換することができ、特に複数の人物を被写体として撮影された画像に対する明るさや色味を望み通りに調整することができる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施の形態に係る映像変換装置の全体的な構成を示すブロック図である。
【図２】顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。
【図３】領域分割部２２で人の顔を検出する際の処理の一例を示す図である。
【図４】ＲＧＢ分布情報の一例を示す図である。
【図５】ある色成分におけるピクセルｐの色値がｘとなる確率を表す確率密度関数（ヒストグラム関数）の一例を示す図である。
【図６】図５に示す確率密度関数についての累積分布関数を示す図である。
【図７】累積割合値Ａから制御値を算出するための制御値算出関数の一例を示す図である。
【図８】図４の各ＲＧＢ分布レコードに制御値と目標値の情報を追加したものを示す図である。
【図９】入力映像の輝度ヒストグラムの一例を示す図である。
【図１０】図９に用いた入力映像のRGBデータに色変換関数を適用した後の映像の輝度ヒストグラムを示す図である。
【図１１】図４の各ＲＧＢ分布レコードにR目標値、G目標値、B目標値の情報を追加したものを示す図である。
【図１２】ＲＧＢ変換関数合成部２８で３人の顔を検出した際に合成関数を作成する場合の例を示す図である。
【図１３】Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの色変換用のルックアップテーブルの一例を示す図である。
【図１４】第２の実施の形態に係る映像変換装置の全体的な構成を示すブロック図である。
【図１５】映像変換装置の利用方法の一例を示す図である。
【図１６】分布特徴情報の一例を示す図である。
【図１７】従来のコントラストストレッチング装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
［第１の実施の形態］
図１は、第１の実施の形態に係る映像変換装置の全体的な構成を示すブロック図である。同図に示すように、映像変換装置は、入力装置１、中央処理制御装置２、記憶装置３を有する。入力装置１は、映像信号入力部１１、シャッター入力部１２、目標分布選択部１３を有し、中央処理制御装置２は、フレーム抽出部２１、領域分割部２２、ＲＧＢ変換パラメタ作成部２３、目標ＲＧＢ分布作成部２４、ＲＧＢ変換関数作成部２５、変換ＬＵＴ(ルックアッフ゜テーフ゛ル)作成部２６、映像変換部２７、ＲＧＢ変換関数合成部２８を有し、記憶装置３は、各部が出力する情報を記憶する記憶部の他、ＲＧＢ分布記憶部３１、変換ＬＵＴ記憶部３２を有する。
【００２４】
本映像変換装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成し、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。尚、各部が処理した結果は、記憶部に読み出し可能に記憶される。
【００２５】
映像信号入力部１１は、映像信号が入力されると、これをフレーム抽出部２１と映像変換部２７に出力する。ここでは、映像信号入力部１１が出力する映像を入力映像と呼ぶ。
【００２６】
本実施形態で扱う入力映像は、複数のフレームによって構成される動画であり、各フレームは、複数のピクセルによって構成される静止画像である。入力映像の幅をwidth、高さをheightで表すと、各フレームは、width×height個のピクセルによって構成される。各ピクセルは、ＲＧＢカラーモデルで色を表現するデータであり、フレームにおけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上width以下の整数値であり、ｙ座標値は１以上height以下の整数値であり、Ｒ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。
【００２７】
目標分布選択部１３では、ユーザが選択した目標ＲＧＢ分布名を目標ＲＧＢ分布作成部２４に出力する。
【００２８】
目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を作成し、作成された目標ＲＧＢ分布情報はＲＧＢ変換パラメタ作成部２３に出力される。なお、ＲＧＢ分布情報群は、ＲＧＢ分布記憶部３１から読み出すことで入力される。
【００２９】
シャッター入力部１２は、ユーザによりシャッター操作が行われると、フレーム抽出部２１にシャッター操作を伝えるシャッター信号を出力する。
【００３０】
フレーム抽出部２１は、映像信号とシャッター信号が入力され、静止画像を出力する。フレーム抽出部２１が出力する静止画像は入力映像から取り出した１フレームの静止画像である。
【００３１】
領域分割部２２は、入力映像を複数の対象物の領域に分割する。
【００３２】
ＲＧＢ変換パラメタ作成部２３は、Ｒ成分・Ｇ成分・Ｂ成分における各領域のヒストグラムを作成すると共に目標ＲＧＢ分布作成部２４が出力する目標値を入力として受け取り、ＲＧＢ変換パラメタを作成する。
【００３３】
ＲＧＢ変換関数作成部２５は、ＲＧＢ変換パラメタが入力され、Ｒ成分・Ｇ成分・Ｂ成分のヒストグラムがＲＧＢ変換パラメタに合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する。
【００３４】
領域分割部２２は、静止画像が入力され、領域情報群を出力する。領域情報群は、複数の領域情報によって構成され、各領域情報は領域名Ｒと領域集合RegionR によって構成される。ピクセルpのx座標値をxp 、y座標値をyp とすると領域集合RegionR は
【数１】
2010154484.tif 000003
【００３５】
と表される。領域分割部２２では、静止画像の被写体が人物である場合は、全体領域情報と顔領域情報と黒目領域情報を検出してもよい。或いは静止画像の被写体が物体である場合には、全体領域情報と被写体領域情報と背景領域情報を検出してもよい。以下では被写体が人物である場合に、全体領域情報と顔領域情報と黒目領域情報を検出するときの例について説明する。
【００３６】
ここでは、全体領域情報は領域名WHOLEと全体領域集合RegionWHOLEによって構成され、顔領域集合は領域名FACEと顔領域集合RegionFACEによって構成され、黒目領域集合は領域名EYEと黒目領域集合RegionEYEによって構成されるものとする。なお、全体領域集合RegionWHOLEとは、入力された静止画像に含まれるすべてのピクセルを含む集合である。
【００３７】
図２は、顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。領域分割部２２は、画像スケール変換部２２１と、検出対象領域切出部２２２と、空間周波数分析部２２３と、顔候補判定部２２４と、肌領域抽出部２２６と、黒目領域抽出部２２７と、によって構成される。
【００３８】
領域分割部２２における顔候補の選択はＨａａｒ型の特徴量を用い、ＡｄａＢｏｏｓｔ学習法、及びカスケード構造検出器による方法を用いる（例えば、特開２００６−２９３７２０号公報参照）。
【００３９】
検出対象領域切出部２２２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。
【００４０】
空間周波数分析部２２３では、切り出された領域に対し空間周波数フィルタリングを行う。例えば、ＡｄａＢｏｏｓｔ学習法、及びカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を用いてもよい。
【００４１】
顔候補判定部２２４では、空間周波数分析部２２３の出力値をもとに、領域が顔領域候補となり得るかを判定する。
【００４２】
肌領域抽出部２２６では、顔領域候補を入力として顔領域集合RegionFACEを出力する。顔領域集合RegionFACEは、顔領域候補内に含まれるピクセルのうち、ピクセルの色が肌色であるものによって構成される。すなわちRegionFACEは、ピクセルpのx座標値をxp 、y座標値をyp 、Ｒ値をrp、Ｇ値をgp 、Ｂ値をbp とすると
【数２】
2010154484.tif 000004
【００４３】
と表される。なお、肌色として扱うＲＧＢ値は予め設定してあるものとする。例えばＹＵＶカラーモデルにおいてＣb 値が−４０以上−２０以下でありＣb 値が１５以上３５以下の値を肌色とするなどの手法を用いる。
【００４４】
黒目領域抽出部２２７では、顔領域候補を入力として黒目領域集合RegionEYEを出力する。黒目領域集合RegionEYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。より具体的には顔領域候補内に含まれるピクセルのうち輝度値の低い順に１％のピクセル群を黒目領域集合とする。図３は、領域分割部２２で人の顔を検出する際の処理の一例を示す図である。
【００４５】
なお、顔領域集合RegionFACE及び黒目領域集合RegionEYEは一つの顔領域候補に対してそれぞれ一つずつ作成する。以下では、まず顔領域候補が一つのみであった場合の処理方法について説明する。
【００４６】
目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を出力する。ＲＧＢ分布情報群はＲＧＢ分布記憶部３１より読み出される。ＲＧＢ分布情報群は複数のＲＧＢ分布情報によって構成され、各ＲＧＢ分布情報はＲＧＢ分布名を持ち、複数のＲＧＢ分布レコードによって構成される。図４は、ＲＧＢ分布情報の一例を示す図である。各ＲＧＢ分布レコードはレコード番号と領域名と累積割合値と目標色によって構成される。ここで累積割合値０以上１以下の少数値である。
【００４７】
本実施形態において扱う色成分について説明すると、Luminance（輝度：ＹＣb ＣrカラーモデルにおけるＹ成分）、Ｃb（ＹＣbＣrカラーモデルにおけるＣb成分）、Ｃr（ＹＣbＣrカラーモデルにおけるＣr成分）、墨（ＣＭＹＫカラーモデルにおけるＫ成分）、レッド（ＲＧＢカラーモデルにおけるＲ成分）、グリーン（ＲＧＢカラーモデルにおけるＧ成分）、ブルー（ＲＧＢカラーモデルにおけるＢ成分）、色相（ＨＳＶカラーモデルにおけるＨ成分）、彩度（ＨＳＶカラーモデルにおけるＳ成分）、明度（ＨＳＶカラーモデルにおけるＶ成分）の１０種類であり、全ての色成分において最小値は０、最大値は２５５とする。
【００４８】
ＲＧＢ変換パラメタ作成部２３は静止画像と領域情報群と目標ＲＧＢ分布情報が入力され、ＲＧＢ変換パラメタを作成し、出力する。ＲＧＢ変換パラメタは、以下の手順によって作成される。
【００４９】
まず、色成分Componentにおけるピクセルｐの色値を返す色値算出関数を
【数３】
2010154484.tif 000005
【００５０】
とする。ここでｇ(Component,p,x)を
【数４】
2010154484.tif 000006
【００５１】
と定義すると、ピクセルの集合Ｐにおいて領域集合RegionR にも含まれるピクセルpを取り出したとき、色成分Componentにおけるピクセルpの色値がxとなる確率、すなわちcolor(p,Component)＝xとなる確率を表す確率密度関数（ヒストグラム関数）frequency(P,RegionR,Component,x)は
【数５】
2010154484.tif 000007
【００５２】
と定義される。
【００５３】
例えば、画像全体領域情報（領域名WHOLE、領域集合RegionWHOLE）と、顔領域情報（領域名FACE、領域集合RegionFACE）と、黒目領域情報（領域名EYE、領域集合RegionEYE）との領域情報があったとしたとき、ある画像を表すピクセルの集合をPyとし、輝度の色成分をYとすると、全体領域の輝度のヒストグラムは、frequency(Py,RegionWHOLE,Y,x)と表され、同様に顔領域の輝度のヒストグラムは、frequency(P,RegionFACE,Y,x)と表され、黒目領域の輝度のヒストグラムは、frequency(P,RegionEYE,Y,x)と表される。
【００５４】
また、色成分Componentのヒストグラムを表す確率密度関数frequency(P,RegionR,Component,x)から導き出される累積分布関数cumulative(P,RegionR,Component,x)は
【数６】
2010154484.tif 000008
【００５５】
と表される。
【００５６】
確率密度関数が図５の曲線で表されたとすると、その累積分布関数は、図６のように表される曲線となる。さらに、累積分布関数のｘに関する逆関数は
【数７】
2010154484.tif 000009
【００５７】
と表される。ただし、ここで、ｙはy=cumulative（P,RegionR,Component,x）の関係を満たす値である。
【００５８】
ここで、制御値算出関数control(P,RegionR,Component,A)を前記累積分布関数cumulativeを用いて下記のように定義する。
【数８】
2010154484.tif 000010
【００５９】
ただし、ここでは入力された静止画像に含まれるピクセルの集合をP、目標のＲＧＢ分布レコードにおける領域名をR、静止画像を領域分割して作成した領域名Rに対応する領域集合をRegionR、色成分をComponent、累積割合値をAとしている。
【００６０】
この制御値算出関数を累積割合値Aに適用することによって、図７に示されるように、
【数９】
2010154484.tif 000011
【００６１】
より、累積割合値Aに対応する制御値Cが算出される。
【００６２】
また、制御値数列{Ck}k=1,2,…,n（ただしC1≦C2≦…≦Cn）と、目標値数列{Tk}k=1,2,…,nを用いて、色値ｘの変換を行う色変換関数convert({Ck}k=1,2,…,n,{Tk}k=1,2,…,n,ｘ)を
【数１０】
2010154484.tif 000012
【００６３】
と定義する。
【００６４】
ここで、例えば静止画像の輝度ヒストグラムが図９のように分布しており、制御値｛C1,C2,C3,C4}と目標値{T1,T2,T3,T4}が図のように定められていたとすると、色変換関数convert({C1,C2,C3,C4),{T1,T2,T3,T4},x)を適用して輝度値の変換を行った後のヒストグラムは図１０のようになる。同図に示すように、色変換関数は制御値と目標値が合致するようにヒストグラムを変換する。
【００６５】
ここで図１１に示すように各目標ＲＧＢ分布レコードに対して目標色のR値をR目標値、G値をG目標値、B値をB目標値として設定する。
【００６６】
また、静止画像のピクセルの集合をP、ある目標ＲＧＢ分布レコードRecordの領域名をAREA、累積割合値をAとすると、制御値算出関数controlを用いて、R制御値ＣRは
【数１１】
2010154484.tif 000013
【００６７】
と算出され、全目標ＲＧＢ分布レコードについて制御値を算出することでR制御値列｛ＣR,k｝k=1,2,…,n（ただしＣR,1≦ＣR,2≦…≦ＣR,n）を算出できる。
【００６８】
同様に、RecordのG制御値ＣGは
【数１２】
2010154484.tif 000014
【００６９】
と算出され、G制御値列｛ＣG,k｝k=1,2,…,nが算出できる。
【００７０】
また、RecordのB制御値ＣBは
【数１３】
2010154484.tif 000015
【００７１】
と算出され、B制御値列｛ＣB,k｝k=1,2,…,nが算出できる。
【００７２】
ＲＧＢ変換関数作成部２５は、ＲＧＢ変換パラメタが入力され、R変換関数、G変換関数、B変換関数を出力する。
【００７３】
ここで、R制御値列｛ＣR,k｝k=1,2,…,n（ただしＣR,1≦ＣR,2≦…≦ＣR,n）と、R目標値列｛ＴR,k｝k=1,2,…,nを用いてR値の変換を行うR変換関数convertR(x)を
【数１４】
2010154484.tif 000016
【００７４】
と定義し、G制御値列｛ＣG,k｝k=1,2,…,nと、G目標値列｛ＴG,k｝k=1,2,…,nを用いてG値の変換を行うG変換関数convertG(x)を
【数１５】
2010154484.tif 000017
【００７５】
B制御値列｛ＣB,k｝k=1,2,…,nと、B目標値列｛ＴB,k｝k=1,2,…,nを用いてB値の変換を行うB変換関数convertB(x)を
【数１６】
2010154484.tif 000018
【００７６】
と定義する。
【００７７】
ＲＧＢ変換関数作成部２５は、上記のR変換関数convertR(x)とG変換関数convertG(x)とB変換関数convertB(x)を出力する。
【００７８】
以上の処理は領域分割部２２において顔領域候補が一つのみであった場合のＲＧＢ変換関数作成手順であるが、顔領域候補がＮ個（Ｎは２以上の整数）存在した場合はＲＧＢ変換関数合成部２８においてＮ個のR変換関数、G変換関数、B変換関数をそれぞれ合成し、合成後のR変換関数（以下、R変換合成関数）、合成後のG変換関数（以下、G変換合成関数）、合成後のB変換関数（以下、B変換合成関数）を作成し、出力する。
【００７９】
図１２は、ＲＧＢ変換関数合成部２８で３人の顔を検出した際に合成関数を作成する場合の例を示す図である。
【００８０】
まず、０≦ｎ＜Ｎとし、ｎ番目の顔領域候補に対応する合成係数算出関数synth(n)を定義する。例えば全ての被写体について重みを均等にする場合は
【数１７】
2010154484.tif 000019
【００８１】
とする。あるいは顔の大きさが大きいほど重みを大きくする場合はｎ番目の顔領域候補の面積をfaceSize(n)として、
【数１８】
2010154484.tif 000020
【００８２】
とする。ここでＣは定数である。
【００８３】
また、逆に小さい顔ほど重みを大きくすることで子供の顔を重視することもできる。その場合は例えば
【数１９】
2010154484.tif 000021
【００８４】
とする。ここで定数Ｃは例えばfaceSize(n)の最大値などを利用する。
【００８５】
また、映像の中心寄りの顔の重みを大きくする場合は映像の中心座標から検出された顔の中央の座標へのユークリッド距離をfaceDistance(n)として定数Ｃを用いて
【数２０】
2010154484.tif 000022
【００８６】
とする。
【００８７】
あるいは検出した顔領域の色情報を利用することも可能であり、例えば顔領域内のピクセルのＲＧＢ値の平均値を算出し、その輝度値をskinLuminance(n)として定数Ｃを用いて
【数２１】
2010154484.tif 000023
【００８８】
とすることで明るい肌色の重みを大きくすることが可能であり、男性の重みを小さく、女性の重みを大きくすることができる。
【００８９】
以上に合成係数算出関数について複数の定義を示したが、それぞれを組み合わせて掛け合わせることで複数の効果を実現することが可能となる。例えば
【数２２】
2010154484.tif 000024
【００９０】
とすると、中央の女性の重みを大きくすることができる。なお、ＣおよびＤは定数である。
【００９１】
ここで、ｎ番目の顔領域候補に対応するR変換関数、G変換関数、B変換関数をそれぞれ
【数２３】
2010154484.tif 000025
【００９２】
とし、合成係数の和Ｓを
【数２４】
2010154484.tif 000026
【００９３】
として、R変換合成関数convertSynthR(x)、G変換合成関数convertSynthG(x)、B変換合成関数convertSynthB(x)をそれぞれ
【数２５】
2010154484.tif 000027
【００９４】
として出力する。
【００９５】
変換ＬＵＴ作成部２６は、R変換合成関数とG変換合成関数とB変換合成関数を入力として、R変換ＬＵＴとG変換ＬＵＴとB変換ＬＵＴを出力する。具体的には、値として取り得る全てのR値、G値、B値に対して、それぞれR変換関数、G変換関数、B変換関数を適用した値が対応する図１３に示すようなＬＵＴを作成し、変換ＬＵＴ記憶部３２に記憶させる。
【００９６】
映像変換部２７は、入力映像と色変換ＬＵＴを入力として変換映像を出力する。具体的には、入力映像の各フレームの各ピクセルについて色変換ＬＵＴを参照してR値、G値、B値を変換して変換フレームを作成し、作成した変換フレームを順次出力することで最終的な変換映像を出力する。
【００９７】
（実施例）
ここで、図１２を参照し、ＲＧＢ変換関数合成部２８で３人の顔を検出した際に合成関数を作成する場合の処理を説明する。
【００９８】
領域分割部２２は、入力画像から３人の各顔の領域を検出する。ＲＧＢ変換関数作成部２５は、各人について、R変換関数convertR(x)とG変換関数convertG(x)とB変換関数convertB(x)を作成する。ＲＧＢ変換関数合成部２８は、合成係数を算出する。ＲＧＢ変換関数合成部２８は、合成係数を用いて、各R変換関数convertR(x)を合成し、合成後のR変換関数convertR(x)を得る。ＲＧＢ変換関数合成部２８は、合成係数を用いて、各G変換関数convertG(x)を合成し、合成後のG変換関数convertG(x)を得る。ＲＧＢ変換関数合成部２８は、合成係数を用いて、各B変換関数convertB(x)を合成し、合成後のB変換関数convertB(x)を得る。
【００９９】
以上説明したように、第１の実施の形態によれば、映像内に含まれる複数の被写体の色を適切に変換でき、望み通りの色に調整することができる。特に複数の人物を被写体として撮影された画像に対する明るさや色味を望み通りに調整することができる。
【０１００】
次に、本発明の第２の実施の形態について説明する。なお、基本的な構成および動作は、第１の実施の形態と同様であり、ここでは差異を中心に説明する。
【０１０１】
［第２の実施の形態］
図１４は、第２の実施の形態に係る映像変換装置の全体的な構成を示すブロック図である。同図に示すように、映像変換装置は、入力装置１、中央処理制御装置２、記憶装置３を有する。入力装置１は、映像信号入力部１１、モデル映像入力部１４、目標分布選択部１３を有し、中央処理制御装置２は、フレーム抽出部２１、領域分割部２２、ＲＧＢ変換パラメタ作成部２３、目標ＲＧＢ分布作成部２４、ＲＧＢ変換関数作成部２５、変換ＬＵＴ(ルックアッフ゜テーフ゛ル)作成部２６、映像変換部２７、ＲＧＢ変換関数合成部２８を有し、記憶装置３は、各部が出力する情報を記憶する記憶部の他、分布特徴記憶部３３、変換ＬＵＴ記憶部３２を有する。
【０１０２】
図１５は、映像変換装置の利用方法の一例を示す図である。
【０１０３】
映像変換装置は、同図に示すように、ユーザがドラッグアンドドロップしたモデル映像に基づいて映像変換のための目標色を求め、目標色を利用して入力映像を変換する。
【０１０４】
モデル映像入力部１４は、入力映像の表示領域（例えば液晶表示装置における表示画面の一部）にユーザが例えばマウス（入力装置）を使用してドラッグアンドドロップしたモデル映像を受け取り、目標ＲＧＢ分布作成部２４に出力する。なお、ドラッグアンドドロップされたモデル映像は、例えば液晶表示装置における表示画面の一部に表示されているものである。モデル映像は静止画でもよいし、動画でもよい。また、ユーザによりモデル映像のドラッグアンドドロップ操作が行われると、モデル映像入力部１４は、フレーム抽出部２１にシャッター信号を出力する。
【０１０５】
目標ＲＧＢ分布作成部２４は、モデル映像と分布特徴情報群が入力され、目標ＲＧＢ分布情報を作成し、作成された目標ＲＧＢ分布情報はＲＧＢ変換パラメタ作成部２３に出力されるようになっている。
【０１０６】
第２の実施の形態でも、顔領域集合RegionFACE及び黒目領域集合RegionEYEは一つの顔領域候補に対してそれぞれ一つずつ作成する。顔領域候補が複数あった場合は、例えばドラッグアンドドロップの操作の際にマウスなどのボタンを離した際（ドロップの際）のポインタの位置から最も近くに位置する顔領域候補を変換の対象とする。
【０１０７】
目標ＲＧＢ分布作成部２４は、モデル映像と分布特徴情報群が入力され、目標ＲＧＢ分布情報を出力する。分布特徴情報群は、分布特徴記憶部３３より読み出される。
【０１０８】
図１６は、分布特徴情報の一例を示す図である。
【０１０９】
分布特徴情報は、複数の分布特徴レコードによって構成され、各分布特徴レコードはレコード番号と領域名と累積割合値によって構成される。ここで累積割合値は０以上１以下の小数値である。
【０１１０】
図４に示すように、目標ＲＧＢ分布情報は、第１の実施の形態と同様に、複数のＲＧＢ分布レコードによって構成される。各ＲＧＢ分布レコードはレコード番号と領域名と累積割合値と目標色によって構成される。ここで累積割合値０以上１以下の少数値である。
【０１１１】
ここで、モデル映像が静止画の場合の目標ＲＧＢ分布情報の作成手順について説明する。
【０１１２】
モデル映像のピクセルの集合をＭ、ある分布特徴レコードの領域名をＡＲＥＡ、累積割合値をＡとし、モデル映像から検出したＡＲＥＡの領域をMRegionAREAとして、目標色（ＴR，ＴG，ＴB）を
【数２６】
2010154484.tif 000028
【０１１３】
によって求める。
【０１１４】
上記手順によりモデル映像と分布特徴情報を用いて目標ＲＧＢ分布情報を作成する。
【０１１５】
図４は、図１６の分布特徴情報から作成された目標ＲＧＢ分布情報の例である。
【０１１６】
以上の手順によってモデル映像から目標ＲＧＢ分布情報を作成する。また、モデル映像が動画の場合は、映像から切り出した１フレームの静止画像を用いて同様の手順によって目標ＲＧＢ分布情報を作成する。
【０１１７】
次に、入力映像をモデル画像の色合いに近づける色変換の手順について説明する。
【０１１８】
上記制御値算出関数controlを用いて各分布レコードに対応して、ある色成分における制御値が算出される。例えば、あるＲＧＢ分布レコードに含まれる領域名をＡＲＥＡ、累積割合値をＡとし、静止画像のピクセルの集合をＰ、静止画像から検出したＡＲＥＡの領域をRegionAREAとすると、Ｒ成分における制御値は、上記制御値算出関数controlを用いて
【数２７】
2010154484.tif 000029
【０１１９】
によって算出される。また、各ＲＧＢ分布レコードについて、ある色成分における目標色の値を算出することで、目標値Ｔが設定可能となる。各ＲＧＢ分布レコードに対応して制御値及び目標値を算出した例は、第１の実施の形態と同様に、図８のようになる。
【０１２０】
その他については、第１の実施の形態と同様であり、最終的には変換された映像が出力される。
【０１２１】
なお、映像変換部２７は、色変換ＬＵＴによる色変換の強度を調整してもよい。
【０１２２】
例えば、モデル映像を入力映像の表示領域にドラッグしている間に上記手順により色変換ＬＵＴを作成し、映像変換部２７においてドラッグしているポインタの周辺部のみで色変換を行ってもよい。
【０１２３】
具体的には、まず、Ｒ、Ｇ、ＢそれぞれのＬＵＴをLUTr、LUTg、LUTbとして、変換強度intensityに応じて色変換調整関数convertControl(r,g,b,intensity)を
【数２８】
2010154484.tif 000030
【０１２４】
とする。
【０１２５】
次に、入力映像の表示領域上におけるドラッグポインタの座標を(px,py)として、半径ｒ1、ｒ2(ｒ1＜ｒ2）を用いて色変換強度算出関数convertWeightを
【数２９】
2010154484.tif 000031
【０１２６】
とし、入力映像の各ピクセルにおける変換強度を算出する。ここで、色変換調整関数convertControl(r,g,b,intensity)を利用して、座標(x,y)におけるピクセルのＲＧＢ値(r,g,b)を
【数３０】
2010154484.tif 000032
【０１２７】
によって変換することで、ポインタに近い領域ほど色変換の強度を強くして色変換を行う。
【０１２８】
あるいは、ドラッグしている時間の長さに応じて変換の強度を調整する場合は、ドラッグ時間をｔとして定数ＴMAXを用いて色変換強度算出関数convertWeightを
【数３１】
2010154484.tif 000033
【０１２９】
とし、convertControl(r,g,b,convertWeight(t))によって変換を行う。
【０１３０】
また、ドラッグしている座標位置に応じて明るさと色味それぞれの変換強度を調整することも可能である。
【０１３１】
ｘ座標値に合わせて明るさの変換強度を調整し、ｙ座標値に合わせて色合いの変換強度を調整する場合は、ドラッグポインタの座標(x,y)からそれぞれ
【数３２】
2010154484.tif 000034
【０１３２】
として明るさと色合いの変換強度算出関数を定義する。ここで、あるピクセルのＲＧＢ(r,g,b)から輝度算出関数ＲＧＢtoＹ(r,g,b)を用いて
【数３３】
2010154484.tif 000035
【０１３３】
によって変換前の輝度ＬとＬＵＴ変換後の輝度Ｌ’を算出し、色変換調整後の輝度Ｌ”を
【数３４】
2010154484.tif 000036
【０１３４】
によって算出する。また、変換前の色合い（colorR,colorG,colorB）とＬＵＴ変換後の色合い（color'R,color'G,color'B）を
【数３５】
2010154484.tif 000037
【０１３５】
によって算出し、色変換関数後の色合い（color"R,color"G,color"B）を
【数３６】
2010154484.tif 000038
【０１３６】
によって算出する。上記にて算出した色変換調整後の輝度値と色合いを用いて
【数３７】
2010154484.tif 000039
【０１３７】
によって色変換調整後のＲＧＢ値を算出する。
【０１３８】
以上説明したように、第２の実施の形態によれば、ドラッグアンドドロップという一般的なコンピュータ操作により選択されたモデル映像に基づいて被写体の色を適切に変換できる。また、モデル映像から数式２６を使用して目標色を算出するので、第１の実施の形態のように目標色を予め記憶しておく必要がなく、利便性が高い。
【符号の説明】
【０１３９】
１…入力装置
２…中央処理制御装置
３…記憶装置
１１…映像信号入力部
１２…シャッター入力部
１３…目標分布選択部
１４…モデル映像入力部
２１…フレーム抽出部
２２…領域分割部
２３…ＲＧＢ変換パラメタ作成部
２４…目標ＲＧＢ分布作成部
２５…ＲＧＢ変換関数作成部
２６…変換ＬＵＴ作成部
２７…映像変換部
２８…ＲＧＢ変換関数合成部
３１…ＲＧＢ分布記憶部
３２…変換ＬＵＴ記憶部
３３…分布特徴記憶部
２２１…画像スケール変換部
２２２…検出対象領域切出部
２２３…空間周波数分析部
２２４…顔候補判定部
２２６…肌領域抽出部
２２７…黒目領域抽出部
【図１】
2010154484.tif 000040
【図２】
2010154484.tif 000041
【図３】
2010154484.tif 000042
【図４】
2010154484.tif 000043
【図５】
2010154484.tif 000044
【図６】
2010154484.tif 000045
【図７】
2010154484.tif 000046
【図８】
2010154484.tif 000047
【図９】
2010154484.tif 000048
【図１０】
2010154484.tif 000049
【図１１】
2010154484.tif 000050
【図１２】
2010154484.tif 000051
【図１３】
2010154484.tif 000052
【図１４】
2010154484.tif 000053
【図１５】
2010154484.tif 000054
【図１６】
2010154484.tif 000055
【図１７】
2010154484.tif 000056