(57)【要約】【課題】シーンに依存することなく所望の色の見えとなるように色味を補正できるようにする。【解決手段】照明情報、表示画面上に写り込む照明写り込み情報、及び表示されるシーンの特徴量をそれぞれ取得し、取得した照明情報、照明写り込み情報、及びシーンの特徴量に基づいて部分順応係数を算出し、算出した部分順応係数に応じたプロファイルを適用して入力映像信号に係る色変換処理を行うようにして、シーンに応じ適切なプロファイルを適用して所望の色の見えとなるように色補正を行えるようにする。【選択図】図２
2011004249.tif 000002
【特許請求の範囲】
【請求項１】
照明情報を取得する照明情報取得手段と、
表示装置の画面上に写り込む照明写り込み情報を取得する照明写り込み情報取得手段と、
前記表示装置に表示されるシーンの特徴量を取得するシーン特徴量取得手段と、
前記照明情報取得手段により取得した前記照明情報、前記照明写り込み情報取得手段により取得した前記照明写り込み情報、及び前記シーン特徴量取得手段により取得した前記特徴量に基づいて、部分順応係数を算出する部分順応係数算出手段と、
前記部分順応係数算出手段により算出した前記部分順応係数に応じたプロファイルを適用して入力映像信号に係る色変換処理を行うプロファイル適用手段とを有することを特徴とする画像処理装置。
【請求項２】
前記シーン特徴量取得手段は、入力映像信号のシーン毎のヒストグラムから前記特徴量を取得することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記部分順応係数算出手段は、前記照明情報と前記照明写り込み情報と前記特徴量とに基づいて、照明とデバイス白色との部分順応係数を算出することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記プロファイル適用手段は、前記部分順応係数に基づいて算出される順応白色点に応じ、適用する前記プロファイルを作成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記プロファイル適用手段は、前記順応白色点の変化量に応じて前記プロファイルを作成するか否かを判断することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記照明情報及び前記照明写り込み情報は、照明照度ならびに色度情報を含むことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
照明情報を取得する照明情報取得工程と、
表示装置の画面上に写り込む照明写り込み情報を取得する照明写り込み情報取得工程と、
前記表示装置に表示されるシーンの特徴量を取得するシーン特徴量取得工程と、
取得された前記照明情報、前記照明写り込み情報、及び前記特徴量に基づいて、部分順応係数を算出する部分順応係数算出工程と、
算出された前記部分順応係数に応じたプロファイルを適用して入力映像信号に係る色変換処理を行うプロファイル適用工程とを有することを特徴とする画像処理方法。
【請求項８】
照明情報を取得する照明情報取得ステップと、
表示装置の画面上に写り込む照明写り込み情報を取得する照明写り込み情報取得ステップと、
前記表示装置に表示されるシーンの特徴量を取得するシーン特徴量取得ステップと、
取得された前記照明情報、前記照明写り込み情報、及び前記特徴量に基づいて、部分順応係数を算出する部分順応係数算出ステップと、
算出された前記部分順応係数に応じたプロファイルを適用して入力映像信号に係る色変換処理を行うプロファイル適用ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、画像表示に係る色処理技術に関する。
【背景技術】
【０００２】
従来、観察する環境が変化すると、ディスプレイの色の見えが変化して見えることが知られている。これは、人間の感覚系は新しい環境に適応するために、その感度を変化させる機能を有しているためである。色に対する感度変化は色順応と呼ばれている。また、視覚系の順応は照明光の変化を完全にキャンセルできるメカニズムではないことがわかっており、不完全順応と呼ばれている。
【０００３】
色順応と不完全順応はディスプレイの観察時においても起きる。例えば、白色色温度が高いディスプレイを見た場合には、初めは青く感じるがしばらくすると順応して初めほどの青さを感じなくなる。しかし、目が十分に順応しても青さを完全にキャンセルすることはできない。この不完全順応は照明環境下でディスプレイを見た場合には、さらに複雑となる。観察者に対してはディスプレイの白色の他に天井照明の白色点も色の見えに影響するため、複数の白色点から部分順応白色を算出し、基準白色として用いるという技術が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−９３４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１に記載のように、ディスプレイ白色点と照明白色点とから順応白色点を設定する方法においては、必ずしも最適な順応白色点を算出することができないという問題があった。例えば、表示される画像が動かない静止画であれば人間の順応は変化しにくいが、明るいシーンから暗いシーンへ動く動画のような場合には、人間の順応はシーン変化に応じて変わってしまう。具体的には、シーンが暗い場合には、明るい場合と比べて照明が順応に及ぼす影響が大きくなる。つまり、シーンが暗ければ照明白色点側に、シーンが明るければディスプレイ白色点側に順応状態は変化している。しかしながら、前記特許文献１に記載の方法では、固有の順応白色点を用いているために動画におけるシーン変化に対応できていなかった。
本発明は、このような事情に鑑みてなされたものであり、シーンに依存することなく所望の色の見えとなるように色味を適切に補正できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、照明情報を取得する照明情報取得手段と、表示装置の画面上に写り込む照明写り込み情報を取得する照明写り込み情報取得手段と、前記表示装置に表示されるシーンの特徴量を取得するシーン特徴量取得手段と、前記照明情報取得手段により取得した前記照明情報、前記照明写り込み情報取得手段により取得した前記照明写り込み情報、及び前記シーン特徴量取得手段により取得した前記特徴量に基づいて、部分順応係数を算出する部分順応係数算出手段と、前記部分順応係数算出手段により算出した前記部分順応係数に応じたプロファイルを適用して入力映像信号に係る色変換処理を行うプロファイル適用手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、シーンに応じた順応状態に基づくプロファイルを適用して、シーンに依存することなく所望の色の見えとなるように色補正を行うことができ、人間の視覚順応を考慮した適切な画像処理を施すことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理装置のシステム構成例を示す図である。
【図２】本実施形態に係る画像処理装置の機能構成例を示す図である。
【図３】本実施形態に係る画像処理装置の動作例を示すフローチャートである。
【図４】本実施形態におけるシーン特徴量の取得例を説明するための図である。
【図５】本実施形態での部分順応係数算出処理の一例を示すフローチャートである。
【図６】部分順応係数算出方法を説明するための図である。
【図７】本実施形態での色補正処理の一例を示すフローチャートである。
【図８】本実施形態に係る画像処理装置を実現可能なコンピュータ機能を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
＜システム構成＞
図１は、本発明の一実施形態に係る画像処理装置のシステム構成例を示すブロック図である。図１において、１０１は環境光センサー、１０２は映像入力インタフェース（Ｉ／Ｆ）、１０４はＣＰＵ（Central Processing Unit）、１０５はメインメモリ、１０６は表示制御回路、１０７は表示パネル（表示装置）である。環境光センサー１０１、映像入力Ｉ／Ｆ１０２、ＣＰＵ１０４、メインメモリ１０５、及び表示制御回路１０６は、システム１０３を介して互いに通信可能に接続されている。
【００１１】
図２は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図２においては、画像処理装置の機能構成における要素的特徴を示している。
【００１２】
照明情報取得部２０２は、環境光センサー１０１により構成され、照明に係る照明情報を取得する。照明情報取得部２０２により取得された照明情報は、システムバス１０３を経由してメインメモリ１０５に格納される。照明写り込み情報取得部２０３は、環境光センサー１０１により構成され、表示装置の画面上に写り込む照明に係る照明写り込み情報を取得する。照明写り込み情報取得部２０３により取得された照明写り込み情報は、システムバス１０３を経由してメインメモリ１０５に格納される。
【００１３】
シーン特徴量取得部２０４は、映像入力Ｉ／Ｆ１０２とＣＰＵ１０４とから構成され、表示装置に表示されるシーンの特徴量を取得する。例えば、映像入力Ｉ／Ｆ１０２から入力される映像信号（入力映像信号）に対してＣＰＵ１０４がフレーム毎にシーンの特徴量を取得する。取得されたシーンの特徴量は、システムバス１０３を経由してメインメモリ１０５に格納される。
【００１４】
部分順応係数算出部２０５は、ＣＰＵ１０４とメインメモリ１０５とから構成され、各取得部２０２、２０３、２０４により取得された照明情報、照明写り込み情報、及びシーンの特徴量に基づいて部分順応係数を算出する。例えば、メインメモリ１０５に格納された照明情報と照明写り込み情報とシーン特徴量とを用いて、ＣＰＵ１０４が部分順応係数を算出する。算出した部分順応係数は、システムバス１０３を経由してメインメモリ１０５に格納される。
【００１５】
プロファイル適用部２０６は、ＣＰＵ１０４、メインメモリ１０５、及び表示制御回路１０６から構成され、部分順応係数算出部２０５により算出された部分順応係数に応じたプロファイルを適用して入力映像信号に適切な色処理を施す。例えば、メインメモリ１０５に格納された部分順応係数を用いて、ＣＰＵ１０４がプロファイルを算出し、表示制御回路１０６が適用するプロファイルを切り替える。
【００１６】
＜システム全体の処理＞
次に、本実施形態に係る画像処理装置の動作について説明する。
図３は、本実施形態に係る画像処理装置の動作例を示すフローチャートである。
【００１７】
ステップＳ３０１にて、照明情報取得部２０２が、環境光センサー１０１により照明情報を取得する。前記照明情報は、表示パネル１０７周辺の照明照度、ならびに色度情報ｕ’、ｖ’で構成される。色度情報ｕ’、ｖ’はＣＩＥ（国際照明委員会）で規定されたＸＹＺ刺激値から算出されるｕ’ｖ’平面の値である。
【００１８】
ステップＳ３０２にて、照明写り込み情報取得部２０３が、環境光センサー１０１により照明写り込み情報を取得する。前記照明写り込み情報は、表示パネル１０７に黒を表示したときの照明照度、ならびに色度情報ｕ’、ｖ’で構成される。
なお、環境光センサー１０１により取得できる照明情報及び照明写り込み情報は、リアルタイムに取得できるものが望ましいが、ユーザの指示に応じて、又は起動時等に取得するものでも構わない。
【００１９】
ステップＳ３０３にて、シーン特徴量取得部２０４が、映像入力Ｉ／Ｆ１０２から入力される映像信号（入力映像信号）に対して、フレーム毎にシーンの特徴量を算出する。例えば、シーン特徴量取得部２０４は、既知の方法により入力映像信号に係る輝度ヒストグラムをシーン毎に算出し、シーン毎の輝度ヒストグラムにおける最大輝度レベルをシーンの特徴量として取得する。すなわち、シーン特徴量取得部２０４は、図４に示すように、時間毎にシーン解析を行って輝度ヒストグラムを算出し、算出した輝度ヒストグラムの最大値をシーンの特徴量として取得する。なお、シーンの特徴量は最大輝度レベルに限定されるものではなく、輝度レベル平均や輝度レベルの重心の値をシーンの特徴量としても良い。
【００２０】
次に、ステップＳ３０４にて、部分順応係数算出部２０５が、ステップＳ３０１〜Ｓ３０３においてそれぞれ取得された照明情報と照明写り込み情報とシーンの特徴量とを用いて、照明とデバイス白色との部分順応係数を算出する。図５は、このステップＳ３０４での部分順応係数算出処理の一例を示すフローチャートである。以下、図５に示す部分順応係数算出処理について、適宜図６を参照して説明する。
【００２１】
ステップＳ５０１にて、部分順応係数算出部２０５は、ステップＳ３０１において取得された照明情報から照明白色点６０１を取得する。照明白色点６０１は、照明照度ならびに色度情報ｕ’、ｖ’で構成される。
【００２２】
ステップＳ５０２にて、部分順応係数算出部２０５は、ステップＳ３０２において取得された照明写り込み情報からデバイス黒の黒色情報６０２を取得する。デバイス黒の黒色情報６０２は、表示パネル１０７に表示された黒信号の輝度ならびに色度情報ｕ’、ｖ’で構成される。黒色情報は、プロファイルに予め記述されている情報を用いても良いし、黒信号を表示して環境光センサーより取得しても良い。
【００２３】
ステップＳ５０３にて、部分順応係数算出部２０５は、現プロファイルからデバイス白の白色情報６０３を取得する。現プロファイルにおけるデバイス白の白色情報６０３は、表示パネル１０７に表示された白信号の輝度ならびに色度情報ｕ’、ｖ’で構成される。白色情報は、プロファイルに予め記述されている情報を用いても良いし、白信号を表示して環境光センサーより取得しても良い。
【００２４】
次に、ステップＳ５０４にて、部分順応係数算出部２０５は、ステップＳ３０３において取得されたシーンの特徴量からデバイス仮想白色点６０４を算出する。デバイス黒の黒色情報をＢｋ、デバイス白の白色情報をＷとすると、デバイス仮想白色点Ｗｔは、次式を用いて算出される。
Ｗｔ＝（１−ｋ１）＊Ｂｋ＋ｋ１＊Ｗ
ここで、ｋ１は仮想白色点における係数であり、シーンの特徴量に基づいて決定される。例えば、シーンの特徴量を輝度ヒストグラムの最大輝度レベルＹｔとした場合には、仮想白色点における係数ｋ１は、ｋ１＝Ｙｔ／２５５で表される。
【００２５】
次に、ステップＳ５０５にて、部分順応係数算出部２０５は、照明白色点６０１とシーンの特徴量とから部分順応係数を算出する。照明白色点の照度をＹｓとすると、部分順応係数ｋ２は、例えば、次式を用いて算出される。なお、次式において、ｍａｘ、ｍｉｎは不完全順応における閾値である。
ｋ２＝（Ｙｓ＊ｍａｘ＋Ｙｔ＊ｍｉｎ）／（Ｙｓ＋Ｙｔ）
【００２６】
次に、ステップＳ５０６にて、部分順応係数算出部２０５は、ステップＳ５０５において算出した部分順応係数に基づき部分順応白色点６０５を算出する。照明白色点をＷｓとすると、部分順応白色点Ｗｐは、次式を用いて算出される。
Ｗｐ＝（１−ｋ２）＊Ｗｔ＋ｋ２＊Ｗｓ
以上のようにして部分順応係数算出処理が行われる。
【００２７】
図３に戻り、次に、ステップＳ３０５にて、プロファイル適用部２０６が、ステップＳ３０４において算出された部分順応係数に基づいたプロファイルを作成する。詳細には、プロファイル適用部２０６は、部分順応係数に基づいて算出される部分順応白色点に応じてプロファイルを作成する。プロファイル作成処理では、プロファイル適用部２０６は、ステップＳ３０４において算出された部分順応白色点Ｗｐの変化量に基づいてプロファイルを作成するか否かを判断し、判断結果に応じてプロファイルを作成する。なお、部分順応白色点の変化量は、色度情報における色度間の距離であっても良いし、ＣＩＥで規定するＣＩＥＬａｂ色空間に変換した色差を利用しても良い。ここでは、単純に色度情報ｕ’ｖ’平面における距離とする。このプロファイル作成処理で作成されたプロファイルにより、予め作成されたベースとなるプロファイルに対して順応白色点のパラメータを変更する処理が行われる。
【００２８】
次に、ステップＳ３０６にて、プロファイル適用部２０６が、ステップＳ３０５において得られたプロファイルを適用して色補正（色変換処理）を実施する。図７は、このステップＳ３０６での色補正処理の一例を示すフローチャートである。
【００２９】
ステップＳ７０１にて、プロファイル適用部２０６は、入力映像信号の１フレームにおける注目画素のＲＧＢ値を取得する。
【００３０】
次に、ステップＳ７０２にて、プロファイル適用部２０６は、ステップＳ７０１において取得したＲＧＢ値を、入力プロファイルを用いてＸＹＺ値に変換する。入力プロファイルは、例えば、ｓＲＧＢ変換式を用いて変換するものとする。
次に、ステップＳ７０３にて、プロファイル適用部２０６は、ステップＳ７０２において変換して得られたＸＹＺ値を、入力プロファイルに記述された白色データを用いて人間の視覚特性を考慮した知覚色空間での値に変換する。例えば、知覚色空間の値として、ＣＩＥで規定するＣＩＥＣＡＭ０２変換モデルを用いて、ＸＹＺ値を基にＪＣｈ値を算出するものとする。
【００３１】
次に、ステップＳ７０４にて、プロファイル適用部２０６は、ステップＳ７０３において変換して得られたＪＣｈ値を、ステップＳ３０５において得られたプロファイルに記述された部分順応白色点を用いてＸＹＺ値に変換する。
次に、ステップＳ７０５にて、プロファイル適用部２０６は、ステップＳ７０４において変換して得られたＸＹＺ値を、ステップＳ３０５において得られたプロファイルを用いてデバイスＲＧＢ値に変換する。
【００３２】
続いて、ステップＳ７０６にて、プロファイル適用部２０６は、入力映像信号の１フレームにおけるすべての画素について前記色変換処理が実行されたか否かを判断する。判断の結果、１フレームのすべての画素について色変換処理が終了していれば色補正処理を終了し、終了していなければステップＳ７０７に進む。
【００３３】
ステップＳ７０７にて、プロファイル適用部２０６は、注目画素を移動し、すなわち異なる画素を注目画素として選択し、ステップＳ７０１へ戻る。なお、注目画素の移動は、例えば、画面左上の画素から右下方向へ１画素ずつ順次移動するものとする。
以上のようにして色補正処理が行われ、ステップＳ３０４において算出された部分順応係数に基づきステップＳ３０５において得られたプロファイルを適用して入力映像信号に処理を施し出力映像信号として出力される。
【００３４】
本実施形態によれば、照明情報、照明写り込み情報、及びシーンの特徴量に基づいて部分順応係数を算出し、それから算出される部分順応白色点に応じて入力映像信号に対し適用するプロファイルを切り替える。これにより、シーンに応じ適切なプロファイルを適用して所望の色の見えとなるように色補正を行うことができ、人間の視覚特性（視覚順応）を考慮した処理を施すことができる。例えば、暗いシーンでは照明側に順応白色点を設定し、明るいシーンではデバイス側に順応白色点を設定して、シーン変化に対応した適切な色補正を行うことができる。
【００３５】
なお、前述の説明では、色度情報はｕ’ｖ’平面の値としているが、これに限定されるものではない。例えば、色度情報は、ｘｙ平面の値又はｕｖ平面の値であっても良いし、あるいはＸＹＺ刺激値そのものであっても良い。
【００３６】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が前記実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して前記実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって前記実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００３７】
例えば、本実施形態に示した画像処理装置は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により前記実施形態での動作が実施される。
コンピュータ機能８００は、図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とを備える。また、操作部（ＣＯＮＳ）８０９のコントローラ（ＣＯＮＳＣ）８０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）８１０のディスプレイコントローラ（ＤＩＳＰＣ）８０６とを備える。さらに、ハードディスク（ＨＤ）８１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）８１２のコントローラ（ＤＣＯＮＴ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とを備える。それら機能部８０１、８０２、８０３、８０５、８０６、８０７、８０８は、システムバス８０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＳＴＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ８０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＳＴＤ８１２から読み出して実行することで、前記実施形態での動作を実現するための制御を行う。ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ８０５は、ＣＯＮＳ８０９からの指示入力を制御する。ＤＩＳＰＣ８０６は、ＤＩＳＰ８１０の表示を制御する。ＤＣＯＮＴ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前記実施形態における前記処理プログラム等を記憶するＨＤ８１１及びＳＴＤ８１２とのアクセスを制御する。ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。
【００３８】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００３９】
２０２…照明情報取得部、２０３…照明写り込み情報取得部、２０４…シーン特徴量取得部、２０５…部分順応係数算出部、２０６…プロファイル適用部
【図１】
2011004249.tif 000003
【図２】
2011004249.tif 000004
【図３】
2011004249.tif 000005
【図４】
2011004249.tif 000006
【図５】
2011004249.tif 000007
【図６】
2011004249.tif 000008
【図７】
2011004249.tif 000009
【図８】
2011004249.tif 000010