(57)【特許請求の範囲】
【請求項１】
カラー映像から撮影当時のカラー照明の色温度を検出する方法であり、
モニターの画面上に配置されて前記モニターと所望の照明とで照らされたカラーパッチが自発光領域として見えるときの前記カラーパッチの色座標と前記照明の照明色の色座標との比に基づいて、１より大きい正の整数ｋを設定する段階と、
任意の映像を選択し、選択された映像について色チャネル別に平均値を計算することによって平均ベクトル値を求める段階と、
１より大きい正の整数ｆを平均ベクトル値に乗じたベクトル値を、前記選択された映像に対する臨時照明色の色座標として推定する段階と、
前記整数ｋを前記臨時照明色の色座標に乗じたベクトル値を自発光スレショルド値として設定する段階と、
前記選択された映像から、自発光スレショルド値を超過する色座標値を有する領域を自発光領域として除去する段階と、
前記選択された映像について以前に設定された自発光スレショルド値と新たに設定された自発光スレショルド値との間の変化量を所定の基準値と比較し、前記変化量が前記基準値を超過している場合は処理を、前記平均ベクトル値を求める段階から繰り返し、前記変化量が前記基準値を超過していない場合は、前記自発光領域が除去された映像の色座標について平均ベクトル値を求め、求められた平均ベクトル値からカラー照明の色温度を計算して出力する段階と、
を含むカラー照明の色温度の検出方法。
【請求項２】
前記整数ｋを設定する段階は、
色の異なる複数のカラーパッチを前記モニターの画面上に配置する段階と、
前記所望の照明を選択し、選択された照明の光を前記複数のカラーパッチに照射する段階と、
前記複数のカラーパッチの中から任意のパッチを選択し、前記モニターの輝度を徐々に上げることにより、選択されたパッチが自発光領域として見えるまで該パッチのＲＧＢ値を増やす段階と、
該パッチが自発光領域として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの上限値として設定する段階と、
該パッチが自発光領域として見えるように前記モニターの輝度を上げて該パッチのＲＧＢ値を増やす段階と、
前記モニターの輝度を徐々に下げることにより、自発光領域として見えている該パッチが、前記選択された照明の光を反射する物体の表面として見えるまで該パッチのＲＧＢ値を減らす段階と、
該パッチが前記物体の表面として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの下限値として設定する段階と、
前記上限値と前記下限値との平均値を前記整数ｋとして決定する段階と、
を含む、請求項１に記載のカラー照明の色温度の検出方法。
【請求項３】
前記自発光スレショルド値の設定段階の前に、日光軌跡上で前記臨時照明色の色座標に一番近い色座標を臨時照明色の色座標として推定し直す段階をさらに含む、請求項１に記載のカラー照明の色温度の検出方法。
【請求項４】
カラー映像から撮影当時のカラー照明の色温度を検出する方法であり、
モニターの画面上に配置されて前記モニターと所望の照明とで照らされたカラーパッチが自発光領域として見えるときの前記カラーパッチの色座標と前記照明の照明色の色座標との比に基づいて、１より大きい正の整数ｋを設定する段階と、
任意の映像を選択し、選択された映像についてＲＧＢチャンネル別に平均値を計算することによってＲＧＢ平均ベクトル値を求める段階と、
１より大きい正の整数ｆをＲＧＢ平均ベクトル値に乗じたＲＧＢ値を、前記選択された映像に対する臨時照明色のＲＧＢ値として推定する段階と、
前記整数ｋを前記臨時照明色のＲＧＢ値に乗じたＲＧＢ値を自発光スレショルド値として設定する段階と、
前記選択された映像から、自発光スレショルド値を超過するＲＧＢ値を有する領域を自発光領域として除去する段階と、
前記選択された映像について以前に設定された自発光スレショルド値と新たに設定された自発光スレショルド値との間の変化量を所定の基準値と比較し、前記変化量が前記基準値を超過している場合は処理を、前記ＲＧＢ平均ベクトル値を求める段階から繰り返し、前記変化量が前記基準値を超過していない場合は、前記自発光領域が除去された映像のＲＧＢ値についてＲＧＢ平均ベクトル値を求め、求められたＲＧＢ平均ベクトル値からカラー照明の色温度を計算して出力する段階と、
を含む、カラー照明の色温度の検出方法。
【請求項５】
前記自発光スレショルド値の設定段階の前に、日光軌跡上で前記臨時照明色の色座標に一番近い色座標を臨時照明色の色座標として推定し直す段階をさらに含む、請求項４に記載のカラー照明の色温度の検出方法。
【請求項６】
一定の色温度を有する出力装置に入力される映像データを、白色が該色温度の白色と一致するＲＧＢ値に変換し、それと同時に前記映像データを前記出力装置の特性に合わせて補正する段階をさらに含む、請求項４に記載のカラー照明の色温度の検出方法。
【請求項７】
前記整数ｋを設定する段階は、
色の異なる複数のカラーパッチを前記モニターの画面上に配置する段階と、
前記所望の照明を選択し、選択された照明の光を前記複数のカラーパッチに照射する段階と、
前記複数のカラーパッチの中から任意のパッチを選択し、前記モニターの輝度を徐々に上げることにより、選択されたパッチが自発光領域として見えるまで該パッチのＲＧＢ値を増やす段階と、
該パッチが自発光領域として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの上限値として設定する段階と、
該パッチが自発光領域として見えるように前記モニターの輝度を上げて該パッチのＲＧＢ値を増やす段階と、
前記モニターの輝度を徐々に下げることにより、自発光領域として見えている該パッチが、前記選択された照明の光を反射する物体の表面として見えるまで該パッチのＲＧＢ値を減らす段階と、
該パッチが前記物体の表面として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの下限値として設定する段階と、
前記上限値と前記下限値との平均値を前記整数ｋとして決定する段階と、
を含む、請求項４に記載のカラー照明の色温度の検出方法。
【請求項８】
カラー映像から撮影当時のカラー照明の色温度を検出する方法であり、
モニターの画面上に配置されて前記モニターと所望の照明とで照らされたカラーパッチが自発光領域として見えるときの前記カラーパッチの色座標と前記照明の照明色の色座標との比に基づいて、１より大きい正の整数ｋを設定する段階と、
任意の映像を選択し、選択された映像についてＲＧＢチャンネル別に平均値を計算することによってＲＧＢ平均ベクトル値を求める段階と、
１より大きい正の整数ｆをＲＧＢ平均ベクトル値に乗じたＲＧＢ値を、前記選択された映像に対する臨時照明色のＲＧＢ値として推定する段階と、
所定の色温度を有する出力装置について予め設定されたＲＧＢ座標系とＸＹＺ座標系との間の関係を利用して、前記臨時照明色の色座標をＲＧＢ座標系での値からＸＹＺ座標系での値に変換する段階と、
ＸＹＺ座標系での値に変換された前記臨時照明色の色座標をＵＶＷ座標系での値に変換する段階と、
ＵＶＷ座標系での値に変換された前記臨時照明色の色座標をｕｖ色度座標値に正規化する段階と、
正規化されたｕｖ色度座標値と一番近い日光軌跡上のｕｖ色度座標値を推定照明色の色座標として選択する段階と、
ｕｖ色度座標値で表現された推定照明色をＵＶＷ座標系での値に逆変換する段階と、
ＵＶＷ座標系での値に逆変換された推定照明色をＸＹＺ座標系での値に逆変換する段階と、
ＲＧＢ座標系とＸＹＺ座標系との間の前記関係を利用して、ＸＹＺ座標系での値に逆変換された推定照明色をＲＧＢ座標系での値に逆変換する段階と、
ＲＧＢ座標系での値に逆変換された推定照明色のＲＧＢ値に前記整数ｋを乗じたＲＧＢ値を自発光スレショルド値として設定する段階と、
前記選択された映像から、自発光スレショルド値を超過するＲＧＢ値を有する領域を自発光領域として除去する段階と、
前記選択された映像について以前に設定された自発光スレショルド値と新たに設定された自発光スレショルド値との間の変化量を所定の基準値と比較し、前記変化量が前記基準値を超過している場合は処理を、前記ＲＧＢ平均ベクトル値を求める段階から繰り返し、前記変化量が前記基準値を超過していない場合は、前記自発光領域が除去された映像のＲＧＢ値についてＲＧＢ平均ベクトル値を求め、求められたＲＧＢ平均ベクトル値からｕｖ色度座標値を求め、そのｕｖ色度座標値に該当するカラー照明の色温度を計算して出力する段階と、
を含む、カラー照明の色温度の検出方法。
【請求項９】
前記整数ｋを設定する段階は、
色の異なる複数のカラーパッチを前記モニターの画面上に配置する段階と、
前記所望の照明を選択し、選択された照明の光を前記複数のカラーパッチに照射する段階と、
前記複数のカラーパッチの中から任意のパッチを選択し、前記モニターの輝度を徐々に上げることにより、選択されたパッチが自発光領域として見えるまで該パッチのＲＧＢ値を増やす段階と、
該パッチが自発光領域として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの上限値として設定する段階と、
該パッチが自発光領域として見えるように前記モニターの輝度を上げて該パッチのＲＧＢ値を増やす段階と、
前記モニターの輝度を徐々に下げることにより、自発光領域として見えている該パッチが、前記選択された照明の光を反射する物体の表面として見えるまで該パッチのＲＧＢ値を減らす段階と、
該パッチが前記物体の表面として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの下限値として設定する段階と、
前記上限値と前記下限値との平均値を前記整数ｋとして決定する段階と、
を含む、請求項８に記載のカラー照明の色温度の検出方法。
【請求項１０】
カラー映像から撮影当時のカラー照明の色温度を検出する装置であり、
任意の映像を選択し、選択された映像について色チャネル別に平均値を計算することによって平均ベクトル値を出力する映像平均計算部と、
１より大きい正の整数ｆを平均ベクトル値に乗じたベクトル値を、前記選択された映像に対する臨時照明色の色座標として出力する照明色臨時推定部と、
モニターの画面上に配置されて前記モニターと所望の照明とで照らされたカラーパッチが自発光領域として見えるときの前記カラーパッチの色座標と前記照明の照明色の色座標との比に基づいて設定された、１より大きい正の整数ｋを予め記憶し、前記整数ｋを前記臨時照明色の色座標に乗じたベクトル値を自発光スレショルド値として設定する自発光スレショルド値設定部と、
前記選択された映像から、自発光スレショルド値を超過する色座標値を有する領域を自発光領域として除去する自発光領域除去部と、
自発光領域が除去された映像の色座標について平均ベクトル値を求め、求められた平均ベクトル値からカラー照明の色温度を計算して出力する色温度計算部と、
を含む、カラー照明の色温度検出装置。
【請求項１１】
前記整数ｋは、
色の異なる複数のカラーパッチを前記モニターの画面上に配置する段階と、
前記所望の照明を選択し、選択された照明の光を前記複数のカラーパッチに照射する段階と、
前記複数のカラーパッチの中から任意のパッチを選択し、前記モニターの輝度を徐々に上げることにより、選択されたパッチが自発光領域として見えるまで該パッチのＲＧＢ値を増やす段階と、
該パッチが自発光領域として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの上限値として設定する段階と、
該パッチが自発光領域として見えるように前記モニターの輝度を上げて該パッチのＲＧＢ値を増やす段階と、
前記モニターの輝度を徐々に下げることにより、自発光領域として見えている該パッチが、前記選択された照明の光を反射する物体の表面として見えるまで該パッチのＲＧＢ値を減らす段階と、
該パッチが前記物体の表面として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの下限値として設定する段階と、
前記上限値と前記下限値との平均値を前記整数ｋとして決定する段階と、
を通して設定される、請求項１０に記載のカラー照明の色温度検出装置。
【請求項１２】
日光軌跡上で前記臨時照明色の色座標に一番近い色座標を臨時照明色の色座標として推定し直す色温度推定部をさらに含む、請求項１０に記載のカラー照明の色温度検出装置。
【請求項１３】
カラー映像から撮影当時のカラー照明の色温度を検出する装置であり、
任意の映像を選択し、選択された映像についてＲＧＢチャンネル別に平均値を計算することによってＲＧＢ平均ベクトル値を出力する映像平均計算部と、
１より大きい正の整数ｆをＲＧＢ平均ベクトル値に乗じたＲＧＢ値を、前記選択された映像に対する臨時照明色のＲＧＢ値として推定する照明色臨時推定部と、
日光軌跡上で前記臨時照明色の色座標に一番近い色座標を推定照明色の色温度として出力する色温度推定部と、
モニターの画面上に配置されて前記モニターと所望の照明とで照らされたカラーパッチが自発光領域として見えるときの前記カラーパッチの色座標と前記照明の照明色の色座標との比に基づいて設定された、１より大きい正の整数ｋを予め記憶し、前記整数ｋを前記推定照明色の色座標に乗じたベクトル値を自発光スレショルド値として設定する自発光スレショルド値設定部と、
前記選択された映像から、自発光スレショルド値を超過するＲＧＢ値を有する領域を自発光領域として除去する自発光領域除去部と、
自発光領域が除去された映像の色座標について平均ベクトル値を求め、求められた平均ベクトル値からカラー照明の色温度を計算して出力する色温度計算部と、
を含む、カラー照明の色温度検出装置。
【請求項１４】
前記選択された映像について以前に設定された自発光スレショルド値と新たに設定された自発光スレショルド値との間の変化量を所定の基準値と比較して、前記変化量が前記基準値を超過している場合は第１論理値を示し、前記変化量が前記基準値を超過していない場合は第２論理値を示す制御信号を出力する自発光スレショルド値変化判別部、
をさらに含み、
前記自発光領域除去部は、前記制御信号が第１論理値を示す場合は、自発光領域が除去された映像を前記映像平均計算部に出力し、前記制御信号が第２論理値を示す場合は、自発光領域除去動作を終了して処理を前記色温度計算部に渡す、
請求項１３に記載のカラー照明の色温度検出装置。
【請求項１５】
一定の色温度を有する出力装置に入力される映像データを、白色が該色温度の白色と一致するＲＧＢ値に変換し、それと同時に前記映像データを前記出力装置の特性に合わせて補正する色変換部をさらに含む、請求項１３に記載のカラー照明の色温度の検出装置。
【請求項１６】
前記整数ｋは、
色の異なる複数のカラーパッチを前記モニターの画面上に配置する段階と、
前記所望の照明を選択し、選択された照明の光を前記複数のカラーパッチに照射する段階と、
前記複数のカラーパッチの中から任意のパッチを選択し、前記モニターの輝度を徐々に上げることにより、選択されたパッチが自発光領域として見えるまで該パッチのＲＧＢ値を増やす段階と、
該パッチが自発光領域として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの上限値として設定する段階と、
該パッチが自発光領域として見えるように前記モニターの輝度を上げて該パッチのＲＧＢ値を増やす段階と、
前記モニターの輝度を徐々に下げることにより、自発光領域として見えている該パッチが、前記選択された照明の光を反射する物体の表面として見えるまで該パッチのＲＧＢ値を減らす段階と、
該パッチが前記物体の表面として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの下限値として設定する段階と、
前記上限値と前記下限値との平均値を前記整数ｋとして決定する段階と、
を通して設定される、請求項１３に記載のカラー照明の色温度検出装置。
【請求項１７】
カラー映像から撮影当時のカラー照明の色温度を検出する装置であり、
任意の映像を選択し、選択された映像についてＲＧＢチャンネル別に平均値を計算することによってＲＧＢ平均ベクトル値を出力する映像平均計算部と、
１より大きい正の整数ｆをＲＧＢ平均ベクトル値に乗じたＲＧＢ値を、前記選択された映像に対する臨時照明色のＲＧＢ値として推定する照明色臨時推定部と、
所定の色温度を有する出力装置について予め設定されたＲＧＢ座標系とＸＹＺ座標系との間の関係を利用して、前記臨時照明色の色座標をＲＧＢ座標系での値からＸＹＺ座標系での値に変換する第１色座標変換部と、
ＸＹＺ座標系での値に変換された前記臨時照明色の色座標をＵＶＷ座標系での値に変換する第２色座標変換部と、
ＵＶＷ座標系での値に変換された前記臨時照明色の色座標をｕｖ色度座標値に正規化し、正規化されたｕｖ色度座標値と一番近い日光軌跡上のｕｖ色度座標値を推定照明色の色座標として選択し、選択されたｕｖ色度座標値をＵＶＷ座標系での値に逆変換する色温度推定部と、
ＵＶＷ座標系での値に逆変換された推定照明色をＸＹＺ座標系での値に逆変換する第３色座標変換部と、
ＲＧＢ座標系とＸＹＺ座標系との間の前記関係を利用して、ＸＹＺ座標系での値に逆変換された推定照明色をＲＧＢ座標系での値に逆変換する第４色座標変換部と、
モニターの画面上に配置されて前記モニターと所望の照明とで照らされたカラーパッチが自発光領域として見えるときの前記カラーパッチの色座標と前記照明の照明色の色座標との比に基づいて設定された、１より大きい正の整数ｋを予め記憶し、前記整数ｋを、ＲＧＢ座標系での値に逆変換された推定照明色の色座標に乗じたベクトル値を自発光スレショルド値として設定する自発光スレショルド値設定部と、
前記選択された映像から、自発光スレショルド値を超過するＲＧＢ値を有する領域を自発光領域として除去する自発光領域除去部と、
自発光領域が除去された映像の色座標について平均ベクトル値を求め、求められた平均ベクトル値からカラー照明の色温度を計算して出力する色温度計算部と、
を含む、カラー照明の色温度検出装置。
【請求項１８】
前記整数ｋは、
色の異なる複数のカラーパッチを前記モニターの画面上に配置する段階と、
前記所望の照明を選択し、選択された照明の光を前記複数のカラーパッチに照射する段階と、
前記複数のカラーパッチの中から任意のパッチを選択し、前記モニターの輝度を徐々に上げることにより、選択されたパッチが自発光領域として見えるまで該パッチのＲＧＢ値を増やす段階と、
該パッチが自発光領域として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの上限値として設定する段階と、
該パッチが自発光領域として見えるように前記モニターの輝度を上げて該パッチのＲＧＢ値を増やす段階と、
前記モニターの輝度を徐々に下げることにより、自発光領域として見えている該パッチが、前記選択された照明の光を反射する物体の表面として見えるまで該パッチのＲＧＢ値を減らす段階と、
該パッチが前記物体の表面として見えた時のＲＧＢ値と該パッチの元のＲＧＢ値との比を前記整数ｋの下限値として設定する段階と、
前記上限値と前記下限値との平均値を前記整数ｋとして決定する段階と、
を通して設定される、請求項１７に記載のカラー照明の色温度検出装置。
【請求項１９】
前記選択された映像について以前に設定された自発光スレショルド値と新たに設定された自発光スレショルド値との間の変化量を所定の基準値と比較して、前記変化量が前記基準値を超過している場合は第１論理値を示し、前記変化量が前記基準値を超過している場合は第２論理値を示す制御信号を出力する自発光スレショルド値変化判別部、
をさらに含み、
前記自発光領域除去部は、前記制御信号が第１論理値を示す場合は、自発光領域が除去された映像を前記映像平均計算部に出力し、前記制御信号が第２論理値を示す場合は、自発光領域除去動作を終了して処理を前記色温度計算部に渡す、
請求項１７に記載のカラー照明の色温度検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はカラー照明色温度の検出方法及び該装置に係り、より詳細には入力された映像から照明色温度を推定するカラー照明色温度の検出方法及び該装置に関する。
【０００２】
【従来の技術】
デジタルカメラのようなカラー映像入力装置等においては撮影当時の照明の影響を考慮して色補正を遂行する。光源に対する色補正の代表的な例としては、R、G、Bチャンネル間のチャンネル比率に対して補正を遂行する白色平衡技法が広く使われる。白色平衡のような色補正を遂行するための方法は多様に発展してきた。ビデオカメラの場合には、通常撮影前に白色紙や白色板を撮影して照明の色情報を得、前記色情報を参照して白色平衡を遂行する場合もある。または、特定の照明に対応する調節ボタンなどを具備させ使用者のボタン入力を参照する場合もある。または、カメラ上に照明検出器を付着して検出された信号から照明の情報を得る場合もある。または、撮影された映像自体から照明色を得る場合もある。しかし、光検出器を使用する方法はカメラに付加的にハードウェアを付着すべきなので、製造コストを上げるという問題点と共に遠距離撮影から得られる映像には適用し難いという問題がある。また、ボタンを使用する方法は、多様な照明成分に適切に対応するためには非常に多いボタンが要求されるという短所がある。
【０００３】
このような問題を解決するための従来技術の方法が米国特許第４,６８５,０７１号に開示されている。前記方法によれば、映像内の場面から鏡のように反射される光の色を検出してその場面を照射する光の色を決定する。また、この方法によれば、該映像からいくつかの相異なる表面色を有する物体上で変化する色相と彩度を示すハイライトを含む周辺領域を検出することによって鏡のように反射する光の色を検出する。また、この方法によれば、輝度に独立的な色の変化を検出するために映像を色度座標の色空間に変換し、彩度と色相が最も強く変わる色境界を検出する。次には、彩度の変化による境界周囲のデータセットを使用して照明色を検出する。この場合、彩度の変化による境界か色相による境界かを区別するために、その境界点の両辺に位置するデータセットを収集して直線近似し、その直線の交点の経路から照明色に決定する変数を収集する。
【０００４】
しかし、このような方法は、データセットが直線に近似化できない場合が多くてデータ収集が容易でないだけでなく、境界点単位で処理することによって数多くの境界点で両辺のデータを収集して直線近似し比較、判断する作業を反復することが要求される。従って、このような方法は遂行時間が過多にかかるという問題点がある。
【０００５】
さらに他の従来技術の方法が米国特許第５,４９５,４２８号に開示されている。前記方法によれば、映像全体に対してヒストグラムのような方法を使用して色分布を把握した後、各々のクラスタ別に主軸になる直線を求め、各直線に適切な加重値を印加することによって照明色を決定する。このような方法は処理対象データを確保することが相対的に容易であるが、解釈過程上計算量が多くて複雑だという問題点がある。
【０００６】
【発明が解決しようとする課題】
本発明が達成しようとする技術的な課題は、前述した複雑な処理上の問題点を解決するために人間が視感的に認識する映像から自体発光領域を選別的に除外することによって、安定的で効果的な照明情報が抽出できるカラー照明色温度の検出方法を提供することである。
【０００７】
本発明が達成しようとする他の技術的な課題は、前記方法を具現するカラー照明色温度の検出装置を提供することである。
【０００８】
【課題を解決するための手段】
前記課題を達成するために本発明の一形態に係るカラー照明色温度の検出方法は、変換できる任意の標準色座標を有するカラー映像から撮影当時の照明色温度を検出するカラー照明色温度の検出方法において、任意の映像を選択しその映像に対して各色座標チャンネル別に平均値を計算することによって平均ベクトル値を求める段階と、１より大きい正の整数の所定の係数fを定義し、平均ベクトル値のf倍を選択された映像に対する臨時照明色に推定する段階と、人間の視感特性を使用した自体発光領域を設定するために、１より大きい正の整数の所定の係数をkとする時、臨時推定照明色のk倍を自体発光スレショルド値に設定する段階と、自体発光スレショルド値を超過する色座標値を有する自体発光領域を除去することによって自体発光領域が除去された映像を生成する段階と、自体発光スレショルド値の変化値が０に近い所定の基準値を超過するかどうかを判別して、変化値が所定の基準値を超過することと決まれば平均ベクトル値の計算段階に分岐させる段階と、前記判別段階で変化値が所定の基準値を超過しないことと決まれば、自体発光領域が除去された映像平均の色度値から照明色温度を計算して出力する段階とを含むことを特徴とする。
【０００９】
前記方法で係数kは、複数のカラーパッチを準備する段階と、映像で使われうる照明を選択する段階と、選択された照明を複数のカラーパッチに照射する段階と、複数のカラーパッチ中任意のパッチを選択する段階と、選択されたパッチが光源のように見えるまで該パッチのRGB値を増やす段階と、該パッチが光源のように認識される時のRGB値と前記臨時臨時推定照明色とから変数ｋの上限境界を設定する段階と、パッチのRGB値を所定の量だけ増やす段階と、選択されたパッチが物体の表面のように見えるまで該パッチのRGB値を減らす段階と、該パッチが物体の表面のように認識される時のRGB値と前記臨時推定照明色とから変数ｋの下限境界を設定する段階と、上限境界と下限境界との平均値を選択された照明に対する変数kに決定する段階とを含む方法によって決まる。
【００１０】
また、前記方法は、前記自体発光スレショルド値の設定段階前に、日光軌跡上で前記臨時推定照明色に一番近い照明色を照明色に推定する段階をさらに含むことが望ましい。
また、前記課題を達成するために、本発明の他の形態のカラー照明色温度の検出方法は、任意のカラー映像から撮影当時の照明色温度を検出するカラー照明色温度の検出方法において、任意の映像を選択しその映像に対して各RGBチャンネル別に平均値を計算することによってRGB平均ベクトル値を求める段階と、１より大きい正の整数の所定の係数fを定義し、RGB平均ベクトル値のf倍を選択された映像に対する臨時的な照明色に推定する段階と、人間の視感特性を使用した自体発光領域を設定するために、１より大きい正の整数の所定の係数をkとする時、推定照明色のk倍を自体発光スレショルド値に設定する段階と、自体発光スレショルド値を超過するRGB値を有する自体発光領域を除去することによって自体発光領域が除去された映像を生成する段階と、自体発光スレショルド値の変化値が０に近い所定の基準値を超過するかどうかを判別して、変化値が所定の基準値を超過することと決まればRGB平均ベクトル値を計算する段階に分岐させる段階と、前記判別段階で変化値が所定の基準値を超過しないことと決まれば、自体発光領域が除去された映像平均の色度値から照明色温度を計算して出力する段階とを含むことを特徴とする。
【００１１】
また、前記課題を達成するために、本発明の他の形態のカラー照明色温度の検出方法は、任意のカラー映像から撮影当時の照明色温度を検出するカラー照明色温度の検出方法において、任意の映像を選択しその映像に対して各RGBチャンネル別に平均値を計算することによってRGB平均ベクトル値を求める段階と、１より大きい正の整数の所定の係数fを定義し、RGB平均ベクトル値のf倍を選択された映像に対する臨時的な照明色に推定する段階と、前記臨時照明色を所定の色温度を有する出力装置に対してRGB座標系からXYZ座標系に変換する段階と、XYZ座標系に変換された照明色をUVW座標系に変換する段階と、UVW座標系に変換された照明色をuv色度座標値に正規化する段階と、日光軌跡上で正規化したuv色度座標値と一番近いuv色度座標値を推定照明色に選択する段階と、uv色度座標値に表現された推定照明色をUVW座標系に逆変換する段階と、UVW座標系に逆変換された推定照明色をXYZ座標系に逆変換する段階と、XYZ座標系に逆変換された推定照明色を前記所定の色温度を有する出力装置に対してXYZ座標系からRGB座標系に逆変換する段階と、人間の視感特性に従う自体発光領域を設定するために、１より大きい正の整数の所定の係数をkとする時、RGB座標系に逆変換された推定照明色のk倍を自体発光スレショルド値に設定する段階と、選択された映像から自体発光スレショルド値を超過するRGB値を有する自体発光領域を除去することによって自体発光領域が除去された映像を生成する段階と、自体発光スレショルド値の変化値が０に近い所定の基準値を超過するかどうかを判別して、変化値が所定の基準値を超過することと決まればRGB平均ベクトル値を計算する段階に分岐させる段階と、前記判別段階で変化値が所定の基準値を超過しないことと決まれば、日光軌跡上で自体発光領域が除去された映像のuv色度値に該当する照明色温度を計算して出力する段階とを含むことを特徴とする。
【００１２】
前記他の課題を達成するために、本発明の一形態に係るカラー照明色温度の検出装置は、変換できる任意の標準色座標を有するカラー映像から撮影当時の照明色温度を検出するカラー照明色温度の検出装置において、任意の映像を選択しその映像に対して各色座標チャンネル別に平均値を計算することによって平均ベクトル値を出力する映像平均計算部と、１より大きい正の整数の所定の係数fを定義し、平均ベクトル値のf倍を選択された映像に対する臨時照明色として出力する臨時推定部と、人間の視感特性を使用した自体発光領域を設定するために、１より大きい正の整数の所定の係数をkとする時、臨時推定照明色のk倍を自体発光スレショルド値に設定する自体発光スレショルド値設定部と、自体発光スレショルド値を超過する色座標値を有する自体発光領域を除去することによって自体発光領域が除去された映像を生成する自体発光領域除去部と、自体発光領域が除去された映像平均の色度値から照明色温度を計算して出力する色温度計算部とを含むことを特徴とする。
【００１３】
前記他の課題を達成するために、本発明の他の形態に係るカラー照明色温度の検出装置は、任意のカラー映像から撮影当時の照明色温度を検出するカラー照明色温度の検出装置において、任意の映像を選択しその映像に対して各RGBチャンネル別に平均値を計算することによってRGB平均ベクトル値を出力する映像平均計算部と、１より大きい正の整数の所定の係数fを定義し、RGB平均ベクトル値のf倍を選択された映像に対する臨時的な照明色に推定する照明色臨時推定部と、日光軌跡上で臨時的な推定照明色に一番近い照明色を照明色温度に推定する色温度推定部と、人間の視感特性を使用した自体発光領域を設定するために、１より大きい正の整数の所定の係数をkとする時、推定照明色のk倍を自体発光スレショルド値に設定する自体発光スレショルド値設定部と、自体発光スレショルド値を超過するRGB値を有する自体発光領域を除去することによって自体発光領域が除去された映像を生成する自体発光領域除去部と、自体発光領域が除去された映像のuv色度値から照明色温度を計算して出力する色温度計算部とを含むことを特徴とする。
【００１４】
前記他の課題を達成するために、本発明の他の形態に係るカラー照明色温度の検出装置は、任意のカラー映像から撮影当時の照明色温度を検出するカラー照明色温度の検出装置において、任意の映像を選択しその映像に対して各RGBチャンネル別に平均値を計算することによってRGB平均ベクトル値を出力する手段と、１より大きい正の整数の所定の係数fを定義し、RGB平均ベクトル値のf倍を選択された映像に対する臨時的な照明色に推定する段階と、前記臨時照明色を所定の色温度を有する出力装置に対してRGB座標系からXYZ座標系に変換する手段と、XYZ座標系に変換された照明色をUVW座標系に変換する手段と、UVW座標系に変換された照明色をuv色度座標値に正規化する手段と、日光軌跡上で正規化したuv色度座標値と一番近いuv色度座標値を推定照明色に選択する手段と、uv色度座標値に表現された推定照明色をUVW座標系に逆変換する手段と、UVW座標系に逆変換された推定照明色をXYZ座標系に逆変換する手段と、XYZ座標系に逆変換された推定照明色を前記所定の色温度を有する出力装置に対してXYZ座標系からRGB座標系に逆変換する手段と、人間の視感特性に従う自体発光領域を設定するために、１より大きい正の整数の所定の係数をkとする時、RGB座標系に逆変換された推定照明色のk倍を自体発光スレショルド値に設定する手段と、選択された映像から自体発光スレショルド値を超過するRGB値を有する自体発光領域を除去することによって自体発光領域が除去された映像を生成する手段と、日光軌跡上で自体発光領域が除去された映像のuv色度値に該当する照明色温度を計算して出力する手段とを含むことを特徴とする。
【００１５】
【発明の実施の形態】
以下、添付した図面を参照して本発明に係るカラー照明色温度の検出方法及び装置の望ましい実施例を詳細に説明する。
図１及び図２には、本発明の実施例に係るカラー照明色温度の検出方法の主要段階をフローチャートで示した。図１及び図２を参照して本発明に係るカラー照明色温度の検出方法を説明する。デジタルカメラやスキャナのようなカラー映像入力装置で、映像を収集する部分では例えばRGBに分離して入力する(段階１０)。本実施例ではRGBを入力映像として使用すると仮定したが、XYZ座標系のようにRGB座標系でない他の座標系を使用しても関係ない。次に、本実施例の方法によれば、RGB映像データ中任意の映像を選択し、その映像に対して各RGBチャンネル別に平均値を計算することによってRGB平均ベクトル値を求める(段階１２)。
【００１６】
次に、RGB平均ベクトル値から照明色を推定する(段階１４)。照明色を推定する段階を詳細に説明すれば次の通りである。まず、映像のRGBチャンネル別RGB平均値と該映像の照明色間の比例値として１より大きい正の整数の所定の係数fを定義し、RGB平均ベクトル値のf倍を選択された映像に対する臨時的な照明色に仮定する(段階１４２)。前記臨時照明色を、例えば６５００Kの色温度を有するモニターに対してRGB座標系からXYZ座標系に変換し、次にXYZ座標系に変換された照明色をUVW座標系に変換し、UVW座標系に変換された照明色をuv色度座標値に正規化する(段階１４４)。このようにRGB、XYZ及びUVW座標系に変換する理由を説明する。UVW座標系は、各座標系の分布が人間の視感特性上RGB及びXYZ座標系に比べて均等な座標系として知られている。従って、UVW座標系のような均等座標系で色座標データを処理することが望ましい。しかしRGB座標系はUVW座標系に直接変換されないのでRGB座標系からXYZ座標系に変換し、次にXYZ座標系からUVW座標系に変換する。次は、日光軌跡上で正規化したuv色度座標値に最も近いuv色度座標値を推定照明色に選択する(段階１４６)。
【００１７】
以下、本発明をより明確に理解できるように日光軌跡を求める方法に対して詳細に説明し、次に前記日光軌跡上で推定照明色を選択する過程を説明する。
図３には図１及び図２のカラー照明色温度の検出方法に使われうる日光軌跡を求めるための方法の主要段階をフローチャートで示した。図３を参照すれば、まず白色パッチを準備し(段階２００)、いろいろな種類の色温度を有する照明を一つずつ照射する(段階２０２)。パッチから反射される光をスペクトロフォトメータやクロマメータのような測定器を使用して測定することによってXYZ値を得、このXYZ値をUVWに、UVWからuvに変換を遂行する（段階２０４）。次に、使用した照明色温度別にu、v関係を設定する(段階２０６)ことによって日光軌跡を得る(段階２０８)。
【００１８】
図４にはuv座標系型の日光軌跡上で照明色の臨時推定を遂行した結果の一例をグラフで示した。図４を参照すれば、臨時推定された照明色をuv色度座標上に変換した点として例えば（u1、ｖ1)と、（u2、ｖ2) を仮定する。前記点は予め計算された日光軌跡上で最も近い点であって各々(u1′、ｖ1′)と、(u2′、ｖ2′)として選択される。選択された値はuv色度座標値に示され、推定照明色度値に設定される。
【００１９】
また図１を参照すれば、uv色度座標値に示された推定照明色をUVW座標系に逆変換し、UVW座標系に逆変換された推定照明色をXYZ座標系に逆変換し、XYZ座標系に逆変換された推定照明色を前記所定の色温度を有する出力装置に対してXYZ座標系からRGB座標系に逆変換する(段階１４８)。
次に、映像から発光領域を除去する(段階１６)。発光領域除去段階を詳細に説明すれば次の通りである。まず、人間の視感特性に従う自体発光領域を設定するために、１より大きい正の整数の所定の係数をkとする時、RGB座標系に逆変換された推定照明色のk倍を自体発光スレショルド値に設定する(段階１６２)。
【００２０】
図５には自体発光スレショルド値の計算に用いられる変数kを求めるための実験方法を説明するための図面を示した。図５を参照すれば、変数を求めるための実験では、暗箱の所定上部に備わった窓を通じて照明光をRGB映像信号が供給されるモニター上に照射した。モニター上にはカラーパッチを付着し、カラーパッチの中央部にはモニター画面が示されるようにした。代案としては、モニターを使用せずに中央部のパッチを実験条件に従って毎度交替する場合もある。
【００２１】
図６及び図７には自体発光スレショルド値の計算に用いられる変数を求めるための方法をフローチャートで示した。図６を参照すれば、自体発光スレショルド値の計算に用いられる変数を求めるためにはまず、日常で使われうる多数のカラーパッチを準備する(段階５００)。次に同じように日常で使われうる照明を選択し(段階５０２)、照明窓を通じて希望照明を照射する(段階５０４)。次は複数のカラーパッチ中任意のパッチを選択する(段階５０６)。次に観察者は暗箱の観察穴を通じて該当パッチを注視する時、そのパッチが物体の表面のように認識されずアパーチュアまたは光源のように見えるかどうかを判別する(段階５０８)。もし該パッチが光源のように認識されなければ該パッチのRGB値を増やす(段階５１０)。反面に、該パッチが光源のように認識されれば該パッチのRGB値から変数ｋの上限境界（ｋ１と表す）を設定する。即ち、推定照明色のｋ倍が該パッチのRGB値になるようなｋを上限境界ｋ１に設定する。しかし、人間の目は暗い場面から段々明るくなる場合と、明るい場面から段々暗くなる場合が相異に認識されうる。従って、次のように明るい場面から段々暗くなる場合に対して前記と類似の実験を遂行する。まず、光源のように見えた該パッチのRGB値を少し増やす(段階５２０)。該パッチが光源のように認識されるかどうかを識別しながら(段階５２２)、該パッチが物体の表面のように認識されるまで該パッチのRGB値を減らす(段階５２４)。該パッチが物体の表面のように認識される時、そのパッチのRGB値から変数ｋの下限境界（ｋ２と表す）を設定する。即ち、推定照明色のｋ倍が該パッチのRGB値になるようなｋを下限値ｋ２に設定する（段階５２６）。最後に上限境界ｋ１と下限境界ｋ２との平均値を計算し（段階５４０）、変数kに決定する(段階５６０)。これにより、RGB座標系に逆変換された推定照明色のk倍を自体発光スレショルド値に設定できる。
【００２２】
また図２を参照すれば、次に選択された映像から自体発光スレショルド値を超過するRGB値を有する自体発光領域を除去することによって自体発光領域が除去された映像を生成する(段階１６４)。
最後に、日光軌跡上で自体発光領域が除去された映像のuv色度値に該当する照明色温度を計算する(段階１８２)。図８には照明色推定を遂行するために、uv座標系型の日光軌跡上でuv座標値対色温度の関係を説明するためのグラフを示した。図８を参照すれば、u値またはv値を知ればそれに対応する色温度を求めることができる。即ち、色温度Tは、
【００２３】
【数１】
T＝f(u) またはT＝f(v)
に示されうる。これにより照明色温度が得られる(段階１８４)。
前記のような方法によって光源推定性能を評価したデータを表１に示した。評価のための実験では、日常生活で接する照明成分を概略的に全て含める標準光源、例えばHRZ(Horizon)、INC(Incandescent)、CLW(Cool White)、D５０(Daylight５０００K)、D６０(Daylight ６０００K)、D６５(Daylight ６５００K)、及びD７５(Daylight ７５００K)に対して各々同じ構造の物体集合を撮影した６枚の映像を入力として使用した。また、標準光を照射した白色表面からXYZ値を測定し、該照明に対するXYZ-RGB変換を遂行する。次にRGB値を正規化することによって得られるrgb値を照明基準（表１の基準白色ＲＧＢ）として使用した。
【００２４】
【表１】
0004266461.tif 000002
表１を参照すれば、本発明に係る方法の照明推定性能は、ベクトル空間上で照明のrgb値を推定したベクトルと前記照明基準との距離を誤差として使用する時、約４〜９%の誤差を示す。また、実際測定による照明色温度と推定色温度との差は５００K以下で少ないことが分かる。
【００２５】
図９には本発明の実施例に係るカラー照明色温度の検出装置の構造をブロック図で示した。図９を参照すれば、本発明のカラー照明色温度の検出装置は色変換部７０、映像平均計算部７２、照明色推定部７４、発光領域除去部７６及び色温度計算部７８を具備する。照明色推定部７４は照明色臨時推定部７４０、色座標変換部７４１、色座標変換部７４２、色温度推定部７４４、色座標変換部７４６、色座標変換部７４８を具備する。発光領域除去部７６は自体発光スレショルド値設定部７６０、自体発光領域除去部７６２、自体発光スレショルド値変化判別部７６４を具備する。
【００２６】
前記装置の動作を以下に説明する。前記装置にはXYZ座標系に基づいた映像が入力されることを基準として説明する。色変換部７０はXYZ座標系の映像データを入力して測定により予め知っている白色情報を有するRGBへの色変換を遂行する。色変換部７０はまた入力された映像を該モニターの出力色度特性に合うように補正する機能を遂行する。前述した特性補正を同時に遂行する。本実施例ではD６５(６５００Kの日光に該当)の色温度を有するモニターを一例として説明する。D６５(６５００Kの日光に該当)の色温度を有するモニターに対して線形RGBとXYZの関係は実験的に
【００２７】
【数２】
0004266461.tif 000003
のような関係が導出できる。また、色変換部７０はチャンネル別ホワイト補償のためのチャンネル別加重値をwとし、モニターの特性を線形化するための補正係数としてガンマ値をγとする時、各チャンネル別RGB値を、
【００２８】
【数３】
0004266461.tif 000004
のように評価する。ここで、加重値wの実験値は(０.２０７８、０.３９２４、０.３９９８)であり、ガンマ値γは実験的に測定でき、例えばよく用いられる２.２を使用することができる。これにより色変換部７０は、入力されたXYZ映像に対してD６５の色温度を有するモニターに対する特性補正とXYZからRGBへの色変換を遂行してRGB映像データを出力する。
【００２９】
映像平均計算部７２は、色変換部７０から出力されたRGB映像データを自体発光領域除去部７６２に出力するとともに、色変換部７０から出力されたRGB映像データに対して各RGBチャンネル別に全体平均値を、
【００３０】
【数４】
0004266461.tif 000005
のように計算する。このように得られたaR、aG及びaBから平均ベクトルaRGBを求めて出力する。
次に、照明色推定部７４は平均ベクトルaRGBから照明色を推定する。照明色推定部７４内での動作を詳細に説明すれば次の通りである。照明色臨時推定部７４０は映像色度の平均値と該映像の照明色度との比例値として所定の係数fを定義する。即ち、該映像の照明色臨時推定値は、映像色度の平均値のf倍(f×aRGB)として定義される。一例に、黒色と白色の中間に該当する色度のニュートラルグレーを平均値として設定する場合にはfが２.０になる。
【００３１】
色座標変換部７４１、７４２は推定された映像の照明色ベクトルを入力してUVW座標系に対応するように変換する。本実施例ではUVW座標系を変換座標系として使用したが、当業者によって理解されるように人間の視感特性と比較する時他の座標系に比べて線形性が良い他の座標系、例えばYUVまたはLUV座標系を使用する場合もある。また、色座標変換部７４２はUVW座標に変換された照明色ベクトルをuv色度値に変換する。このような変換過程は当業者によって知られたように、UVWベクトル座標系に対する正規化計算で理解されうる。
【００３２】
色温度推定部７４４は正規化したuv色度ベクトルを入力して図４を参照して記述されたように、予め計算された日光軌跡上で最も近い値を推定色温度値として選択する。次に、色温度推定部７４４は選択された推定色温度値に該当する照明色ベクトルを推定照明色として出力する。即ち、推定照明色ベクトルはuv座標値に該当する。
【００３３】
色座標変換部７４６はuv色度ベクトルを入力してUVW照明色ベクトルに変換し、次にXYZ照明色ベクトルに変換する。色座標変換部７４８はXYZ照明色ベクトルをRGB照明色ベクトルに変換する。
発光領域除去部７６では発光領域を除去し、この時RGB照明色ベクトルが使われる。発光領域除去部７６内での動作を詳細に説明すれば次の通りである。自体発光スレショルド値設定部７６０は、日光軌跡上で近似化した照明色臨時推定値(f×aRGB)に図６及び図７を参照して記述した方法で求めた所定の係数kを掛けた値(f×k×aRGB)を自体発光スレショルド値に設定する。自体発光領域除去部７６２は全体映像の中で自体発光スレショルド値を超過する画素、即ち、自体発光領域を除去する。自体発光スレショルド値変化判別部７６４は、以前の自体発光スレショルド値と新しく計算された自体発光スレショルド値との差である自体発光スレショルド値の変化値を０に近い所定の基準値と比較して、前記変化値が前記基準値を超過すれば例えば"ハイ"信号を出力し、そうでなければ例えば"ロー"信号を制御信号として出力する。自体発光領域除去部７６２は"ロー"の制御信号が入力されれば自体発光領域除去動作を終了する。反面に"ハイ"の制御信号が入力されれば、自体発光領域除去部７６２は自体発光領域を除去した映像を映像平均計算部７２に出力し、再度自体発光領域を除去した映像を用いて推定照明色を求め、さらに自体発光領域の除去を行う。
【００３４】
色温度計算部７８は図８を参照して記述したように、日光軌跡上で推定自体発光領域が除去された映像のuv色度値(最終のRGB平均ベクトル値に対応される)に該当する色温度を照明色温度として出力する。
前記のような本発明に係るカラー照明色温度の検出装置は人間の視感特性を係数化して使用し、その係数に従う自体発光領域に対して所定の値を有するスレショルド値を定義し、前記スレショルド値と映像を比較する。このような装置は係数を貯蔵するメモリ、スレショルド値を計算する演算装置、スレショルド値と映像を比較する比較器より構成できる。即ち、本発明に係るカラー照明色温度の検出装置はハードウェアを具現し易い。また、照明色を検出するための別の光センサーが要求されず、照明成分を補償するための別の操作ボタンが要らない。
【００３５】
本発明の実施例ではRGB、XYZ、UVW座標系間で変換されることと説明したが、当業者によって理解されるようにカメラ装置やカムコーダ装置の用途と特徴に従って適切な他の座標系を使用することに変形または修正されうる。従って、前述した実施例は添付された請求項によって定義される本発明の範囲を制限しない。
【００３６】
【発明の効果】
前述したように、本発明に係るカラー照明色温度の検出方法及び該装置は、人間が視感的に認識する映像から自体発光領域を選別的に除外することによって安定的で効果的に照明情報を抽出する。また、前記方法によって具現された装置はその具現方法が簡単なため、ハードウェア適用が容易である。
【図面の簡単な説明】
【図１】本発明の実施例に係るカラー照明色温度の検出方法の主要段階を示すフローチャートである。
【図２】本発明の実施例に係るカラー照明色温度の検出方法の主要段階を示すフローチャートである。
【図３】図１及び図２のカラー照明色温度の検出方法に使われうる日光軌跡を求めるための方法の主要段階を示すフローチャートである。
【図４】  uv座標系型の日光軌跡上で照明色の臨時推定を遂行した結果の一例を示すグラフである。
【図５】自体発光スレショルド値の計算に用いられる変数を求めるための実験方法を説明するための図面である。
【図６】自体発光スレショルド値の計算に用いられる変数を求めるための方法を示すフローチャートである。
【図７】自体発光スレショルド値の計算に用いられる変数を求めるための方法を示すフローチャートである。
【図８】照明色推定を遂行するためにuv座標系型の日光軌跡上でuv座標値対色温度の関係を説明するためのグラフである。
【図９】本発明の実施例に係るカラー照明色温度の検出装置の構造を示すブロック図である。
【図１】
0004266461.tif 000006
【図２】
0004266461.tif 000007
【図３】
0004266461.tif 000008
【図４】
0004266461.tif 000009
【図５】
0004266461.tif 000010
【図６】
0004266461.tif 000011
【図７】
0004266461.tif 000012
【図８】
0004266461.tif 000013
【図９】
0004266461.tif 000014