(57)【要約】【課題】デバイスによる入力画像の再現を適正に行うことを目的とする。【解決手段】情報処理装置（１０１）が、デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行い、変換した入力画像データに係るデバイスに依存しない色情報に基づいて、入力画像データの色度データを算出し、算出した色度データに対応する色温度を保持しつつ、色度データを補正し、補正した色度データに基づいて、入力画像データを補正することによって課題を解決する。【選択図】図１
2010258703.tif 000002
【特許請求の範囲】
【請求項１】
デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を入力画像データについて行う変換手段と、
前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、
前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、
前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記補正手段は、前記算出手段で算出された色度データが黒体放射軌跡から離れている場合、前記色度データに係る相関色温度線に基づいて、前記黒体放射軌跡上に又は前記黒体放射軌跡に近づく方向に前記色度データを補正することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像補正手段は、前記補正手段で補正された色度データをパラメータとする知覚モデルを適用して前記入力画像データの色度データを算出し、算出した前記色度データに基づいて前記入力画像データを補正することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記変換手段は、前記デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を基準画像データについて行い、
前記算出手段は、前記基準画像データが前記デバイスで照明されたときに測定された前記デバイスに依存しない色情報と、前記基準画像データにおける前記変換手段で変換された前記デバイスに依存しない色情報とを用いて、前記入力画像データに照明が写りこむ写りこみ量を算出し、算出した前記写りこみ量に基づいて前記デバイスで前記入力画像データが使用されるときの照明の量に適応した前記入力画像の色度データを算出することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行う変換ステップと、
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
を備えることを特徴とする情報処理方法。
【請求項６】
デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行う変換ステップと、
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関し、特に入力した画像の色再現を行うために用いて好適なものである。
【背景技術】
【０００２】
従来、ビデオカメラ、デジタルカメラ等で撮影した画像について、画像の色がより自然となるように画像を補正する処理としてホワイトバランス処理と称される画像処理が一般的に行われている。ホワイトバランス処理は、一般的に、画像データのＲ／Ｇ／Ｂ各成分の信号値のバランスを調整する画像処理である。例えば、ホワイトバランス処理では、画像データを解析し、画像ハイライト部の色の偏りを検出し、当該画像ハイライト部のＲ／Ｇ／Ｂ各成分の信号値の比率が１：１：１となるようにＲ／Ｇ／Ｂ各成分の信号値のバランスを相対的に調整する。
【０００３】
近年、ホワイトバランス処理として、画像ハイライト部の色の偏りに応じてホワイトバランス補正の度合いを調整し、画像データを補正する画像処理方法が提案されている（特許文献１を参照）。
ここで、ホワイトバランスに関連して色温度について説明しておく。色温度は、完全黒体を熱したときに完全黒体から放射される放射光の色に対応し、その色と温度とは１対１に関係付けられ、完全黒体の温度が高くなるにつれて、色度が赤から白、さらに青の方向に変化する。このため、画像全体の赤みが強い場合は「色温度が低い」、画像全体の青みが強い場合は「色温度が高い」といった表現がされる。
なお、デジタルカメラで撮影した画像のホワイトバランスを調整する際には、Ｒ／Ｇ／Ｂ各成分の信号値のバランスを調整する方法以外に、この色温度を調整する方法によって、ホワイトバランスの調整が行える。例えば、撮影した画像の赤みが強い場合には色温度を高く調節することで赤みをとることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１-３１７９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像のホワイトバランスを色温度によって調整する従来の方法では、赤み−青み方向の調節はできるが、黒体放射軌跡と離れる緑方向に調節することはできない。また、色温度を保持したまま緑成分のみを調節することは難しいため、Ｒ／Ｇ／Ｂ各成分の信号値のバランスで緑成分を調節しようとすると、色みの調節に多大な労力が必要となる。
また、特許文献１に記載の技術では、画像データのＲＧＢデータからホワイトバランスを算出してホワイトバランス補正処理を行っているが、実際に画像データを再現するデバイスの特性等が考慮されていない。このため、画像データの使用環境によって画像が好適に再現されない問題が生じ得る。
【０００６】
本発明はこのような問題点に鑑みなされたもので、デバイスによる入力画像の再現を適正に行うことを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、情報処理装置が、デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を入力画像データについて行う変換手段と、前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、デバイスによる入力画像の再現を適正に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置の構成を示す図である。
【図２】情報処理装置における例示的な処理の流れを示す図である。
【図３】デバイス特性取得部が取得するファイル形式の例を示す図である。
【図４】画像データ解析部における例示的な処理の流れを示す図である。
【図５】画像データ解析部により作成されるヒストグラムの例を示す図である。
【図６】ホワイトバランス算出部における例示的な処理の流れを示す図である。
【図７】ホワイトバランス補正部における例示的な処理の流れを示す図である。
【図８】画像変換処理部における例示的な処理の流れを示す図である。
【図９】観察環境パラメータを示す図である。
【図１０】第２の実施形態の情報処理装置の構成を示す図である。
【図１１】第２の実施形態の情報処理装置における例示的な処理の流れを示す図である。
【図１２】第２の実施形態のホワイトバランス算出部における例示的な処理の流れを示す図である。
【図１３】画像の色みを調整するためにユーザに表示するＵＩの例を示す図である。
【図１４】第３の実施形態のホワイトバランス補正部における例示的な処理の流れを示す図である。
【図１５】ホワイトバランス調整の色度データを例示する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報処理装置１０１の構成を示す図である。まず、図１（ａ）を参照して、情報処理装置１０１のハードウェア構成について説明する。
【００１２】
情報処理装置１０１は、ＣＰＵ（Central Processing Unit）１及び記憶装置２を含んで構成される。なお、情報処理装置１０１が備える各装置は、互いに通信可能に構成され、バス等により接続されている。ＣＰＵ１は、情報処理装置１０１の動作をコントロールし、記憶装置２に格納されたプログラムの実行等を行う。記憶装置２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、ＣＰＵ１の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、ＣＰＵ１が、記憶装置２に格納されたプログラムの手順に従って処理を行うことによって、情報処理装置１０１における機能及び後述するフローチャートに係る処理が実現される。
なお、情報処理装置１０１のハードウェア構成は、上述した構成に限られるものではない。例えば、情報処理装置１０１は、各種の指示を入力するマウス、キーボード、タッチパネルデバイス、ボタン等の入力装置を備えてもよい。また、例えば、情報処理装置１０１は、各種の情報を出力する液晶パネル、外部モニタ等の出力装置を備えてもよい。また、例えば、情報処理装置１０１は、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。Ｉ／Ｏ装置は、メモリカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部等である。
【００１３】
次に、図１（ｂ）を参照して、情報処理装置１０１の機能構成について説明する。情報処理装置１０１は、画像データ取得部１０３、デバイス特性取得部１０５、画像データ解析部１０６、ＵＩ部１０７、投影部１０８、ホワイトバランス算出部１０９、ホワイトバランス補正部１１０、及び画像変換処理部１１１を含んで構成される。
【００１４】
画像データ取得部１０３は、変換元画像データ（換言するならば、入力画像データ）であるＲＧＢ画像データを保持する画像データ保持装置１０２から変換元画像データであるＲＧＢ画像データを取得する。デバイス特性取得部１０５は、デバイス特性データを保持するデバイス特性保持装置１０４からデバイス特性データを取得する。画像データ解析部１０６は、ＲＧＢ画像データを解析する。ＵＩ部１０７は、ＵＩ（user interface）を表示装置等の出力装置（図示せず。）に出力する。投影部１０８は、画像変換処理が施されたＲＧＢ画像データを出力装置に出力、スクリーン（図示せず。）に投影等する。ホワイトバランス算出部１０９は、ＲＧＢ画像データのホワイトバランスを算出する。ホワイトバランス補正部１１０は、ホワイトバランスを補正する。画像変換処理部１１１は、色知覚モデルを用いて、ＲＧＢ画像データを変換する。バッファメモリ部１１２は、記憶装置２に設けられる記憶領域であり、画像データ、演算処理を行うために一時的に演算結果等を記憶する。
なお、情報処理装置１０１は、画像データ保持装置１０２及びデバイス特性保持装置１０４の何れか一方又は双方を備えてもよい。
【００１５】
＜情報処理装置１０１における動作＞
図２は、情報処理装置１０１にて実行される処理に係るフローチャートの一例を示す図である。なお、以下のフローチャートによる処理は、情報処理装置１０１が備えるＣＰＵ１が、記憶装置２に記憶されている制御プログラムを実行すること等によって実現される。
【００１６】
ステップＳ１において、画像データ取得部１０３は、変換元画像データであるＲＧＢ画像データを画像データ保持装置１０２から取得し、バッファメモリ部１１２に取得したＲＧＢ画像データを格納する。
ステップＳ２において、画像データ解析部１０６は、ステップＳ１で取得されたＲＧＢ画像データを解析し、ＲＧＢ画像データのヒストグラムを作成する。なお、画像データ解析部１０６の具体的な処理については後述する。
【００１７】
ステップＳ３において、デバイス特性取得部１０５は、デバイス特性保持装置１０４からデバイス特性データを取得する。デバイス特性データは、デバイス（プロジェクタ等）に依存する色情報であるデバイス依存色（ＲＧＢ）からデバイスに依存しない色情報であるデバイス独立色（ＸＹＺ）への変換特性が関連付けられて記述されたファイル（特性情報）である。変換特性は、例えば、ＲＧＢからＸＹＺへのγ＋３×３変換マトリクス、又は変換ルックアップテーブル（ＬＵＴ）として記述される。本実施形態では、ＬＵＴを使用し、例えば、図３に示すフォーマットのように均等格子点に並んだＲＧＢ値とＸＹＺ値との対応関係がＬＵＴに記述され、この対応関係に基づいて四面体補間等することでＲＧＢ値をＸＹＺ値に変換する。なお、本実施形態で採用するＬＵＴのデータは、暗黒環境下でデバイスの投影色を測定した値である。
【００１８】
ステップＳ４において、変換手段及び算出手段の一例であるホワイトバランス算出部１０９は、ステップＳ２で取得されたＲＧＢ画像データのヒストグラムとステップＳ３で取得されたデバイス特性データとに基づいてホワイトバランスを算出する。なお、ホワイトバランス算出部１０９がホワイトバランス（換言するならば、ＲＧＢ画像データの色度データ）を算出する具体的な処理については後述する。
ステップＳ５において、補正手段の一例であるホワイトバランス補正部１１０は、ステップＳ４で算出されたホワイトバランスと黒体放射軌跡データとを用いてホワイトバランスを補正する。なお、ホワイトバランス補正部１１０の具体的な処理については後述する。
【００１９】
ステップＳ６において、画像補正手段の一例である画像変換処理部１１１は、ステップＳ５で補正されたホワイトバランスを用いてＲＧＢ画像データを補正する。なお、画像変換処理部１１１の具体的な処理については後述する。
ステップＳ７において、投影部１０８は、ステップＳ６において補正されたＲＧＢ画像データをスクリーンに投影等し、処理を終了する。
【００２０】
なお、情報処理装置１０１が処理を行う手順は、これに限られるものではない。例えば、ステップＳ３の処理は、ステップＳ１の処理の前に行ってもよく、情報処理装置１０１が処理を行う手順を適宜変更することができる。
【００２１】
＜画像データ解析部１０６の動作＞
図４は、ステップＳ２における画像データ解析部１０６の具体的な処理に係るフローチャートの一例を示す図である。
【００２２】
ステップＳ２１において、画像データ解析部１０６は、バッファメモリ部１１２からＲＧＢ画像データを１画素分取得し、取得したＲＧＢ画像データのＲＧＢ値をバッファメモリ部１１２に設けられるヒストグラム保持部（図示せず。）に保持する。
ステップＳ２２において、画像データ解析部１０６は、ステップＳ２１で取得したＲＧＢ画像データのＲＧＢ値に基づきヒストグラム保持部に保持されているヒストグラムを更新する。ヒストグラム保持部には、Ｒ／Ｇ／Ｂ各成分の信号値（ＲＧＢ値）を格納するHistR[R]、HistG[G]、HistB[B]と、当該信号値を有する画素の出現頻度との関係がヒストグラムとして保持されている。HistR[R]、HistG[G]、HistB[B]の初期状態は、全て０である。ヒストグラムは、下記の式（ａ）に従って更新される。
【００２３】
【数１】
2010258703.tif 000003
【００２４】
ステップＳ２３において、画像データ解析部１０６は、ヒストグラムの更新がＲＧＢ画像データの全画素について終了したかどうかを判断し、全てのヒストグラムの更新が終了している場合は、ステップＳ２４の処理を行う。他方、全てのヒストグラムの更新が終了していない場合は、画像データ解析部１０６は、ステップＳ２１に処理を戻し、再び処理を続ける。
ステップＳ２４において、画像データ解析部１０６は、ステップＳ２３で作成したヒストグラムをバッファメモリ部１１２に保存する。なお、図５に、ステップＳ２で作成されたヒストグラムを例示する。
【００２５】
＜ホワイトバランス算出部１０９の動作＞
図６は、ステップＳ４におけるホワイトバランス算出部１０９の具体的な処理に係るフローチャートの一例を示す図である。
【００２６】
ステップＳ４１において、ホワイトバランス算出部１０９は、ステップＳ２で作成されたＲＧＢ画像データのヒストグラムをバッファメモリ部１１２から取得する。
ステップＳ４２において、ホワイトバランス算出部１０９は、ステップＳ４１で取得したヒストグラムのハイライト領域において出現頻度の最も高いＲ／Ｇ／Ｂ各成分の信号値をホワイトバランス補正の際に使用するＲＧＢ値として取得する。ヒストグラムのハイライト領域とは、例えば、ヒストグラムにおけるHistR[R]、HistG[G]、HistB[B]の上側５％の領域をいう。
【００２７】
ステップＳ４３において、ホワイトバランス算出部１０９は、ステップＳ４２で取得したＲＧＢ値をステップＳ２で取得されたデバイス特性に基づいて色度データに変換する。色度データ（ｘｙ色度値）は、ステップＳ４２で取得したＲＧＢ値をデバイス特性に基づきＸＹＺ値に変換し、ＸＹＺ値を用いて下記の式（ｂ）に従って算出される。
【００２８】
【数２】
2010258703.tif 000004
【００２９】
ステップＳ４４において、ホワイトバランス算出部１０９は、ステップＳ４３で算出した色度データをバッファメモリ部１１２に格納する。
【００３０】
＜ホワイトバランス補正部１１０の動作＞
図７は、ステップＳ５におけるホワイトバランス補正部１１０の具体的な処理に係るフローチャートの一例を示す図である。
【００３１】
ステップＳ５１において、ホワイトバランス補正部１１０は、バッファメモリ部１１２からステップＳ４で算出された色度データを取得する。
ステップＳ５２において、ホワイトバランス補正部１１０は、下記の式（ｃ）を用いてステップＳ５１で取得した色度データにおける相関色温度（Ｔ）を算出する。
【００３２】
【数３】
2010258703.tif 000005
【００３３】
ステップＳ５３において、ホワイトバランス補正部１１０は、ステップＳ５２で算出した相関色温度に対応する黒体放射軌跡上の色度データを下記の式（ｄ）を用いて算出する。このように、ここでは、ステップＳ５２で算出した相関色温度と等しい相関色温度についての色度データの軌跡で表された相関色温度線と、黒体放射軌跡との交点の色度データを求めるようにしている。しかしながら、必ずしもこのようにする必要はない。例えば、ホワイトバランス補正部１１０は、ステップＳ４で算出された色度データが黒体放射軌跡から離れている場合、相関色温度線に沿って、黒体放射軌跡上に又は黒体放射軌跡に近づく方向に当該色度データを補正してもよい。すなわち、ホワイトバランス補正部１１０は、より広義には、色度データに対応する色温度を一定に保った状態で色度データを補正する。
【００３４】
【数４】
2010258703.tif 000006
【００３５】
ステップＳ５４において、ホワイトバランス補正部１１０は、ステップＳ５３で算出した色度データをバッファメモリ部１１２に保存する。
【００３６】
＜画像変換処理部１１１の動作＞
図８は、ステップＳ６における画像変換処理部１１１の動作の具体的な処理に係るフローチャートの一例を示す図である。
【００３７】
ステップＳ６１において、画像変換処理部１１１は、バッファメモリ部１１２からＲＧＢ画像データのＲＢＧ値を１画素分取得する。
ステップＳ６２において、画像変換処理部１１１は、バッファメモリ部１１２からデバイス特性データを取得し、デバイス特性データに基づいてＲＧＢ画像データのＲＧＢ値をＸＹＺ値に変換する。
ステップＳ６３において、画像変換処理部１１１は、フォワードアピアランスモデルを用いてＸＹＺ値を知覚色データに変換する。なお、具体的な変換式については後述する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップＳ４で算出した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
【００３８】
ステップＳ６４において、画像変換処理部１１１は、逆アピアランスモデルを用いて、ステップＳ６３で算出した知覚色データをＸ'Ｙ'Ｚ'値に変換する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップＳ５で補正した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
ステップＳ６５において、画像変換処理部１１１は、バッファメモリ部１１２からデバイス特性データを取得し、デバイス特性データに基づいてステップＳ６４で算出したＸ'Ｙ'Ｚ'値をＲ'Ｇ'Ｂ'値に変換する。
【００３９】
ステップＳ６６において、画像変換処理部１１１は、画像変換を全画素について終了したかどうかを判断し、全ての画像変換が終了している場合は、処理を終了する。他方、全ての画像変換が終了していない場合は、画像変換処理部１１１は、ステップＳ６１に処理を戻し、処理を続ける。
ステップＳ６７において、画像変換処理部１１１は、ステップＳ６１からステップＳ６６で変換されたＲ'Ｇ'Ｂ'値をバッファメモリ部１１２に格納する。
すなわち、画像変換処理部１１１は、補正された色度データをパラメータとする知覚モデルを適用してＲＧＢ画像データに係るＸ'Ｙ'Ｚ'値（デバイスに依存しない色情報）を算出する。そして、画像変換処理部１１１は、デバイス特性データに基づいて、算出した全てのＸ'Ｙ'Ｚ'値について、Ｘ'Ｙ'Ｚ'値をＸ'Ｙ'Ｚ'値に対応するＲ'Ｇ'Ｂ'値（デバイスに依存する色情報）に変換することにより、ＲＧＢ画像データを補正する。
【００４０】
ここで、アピアランスモデル（CIECAM02）の変換式とアピアランスモデルの観察条件パラメータとについて説明する。
＜アピアランスモデル（CIECAM02）の変換式＞
CIECAM02（順変換）における処理フローを色順応部、錐体応答部、心理値変換部の３つの変換部に分けて説明する。
色順応部では、（１）式でＸＹＺ値を錐体の分光感度に変換し、（３）式で各錐体の信号を光源の白色点の値で正規化を行う。順応係数Dは（４）式で算出される。最後に（２）式を用いることで、観察環境下の光源に対応したＸＹＺ値に変換する。
【００４１】
【数５】
2010258703.tif 000007
【００４２】
錐体応答部では、（５）式でＸＹＺ値を錐体の分光感度に変換し、（６）式で目に入る光量の強度に応じた、順応後の錐体応答値に変換する。
【００４３】
【数６】
2010258703.tif 000008
【００４４】
心理値変換部では、（７）、（８）、（９）式を用いて、錐体応答値を視覚野での無彩色応答と反対色応答との信号値に変換し、この信号値を（１０）、（１１）、（１２）式を用いて知覚明度J値、知覚彩度C値、知覚色相h値に変換する。
【００４５】
【数７】
2010258703.tif 000009
【００４６】
なお、CIECAM02逆変換部では、観察環境により観察条件パラメータを設定し、順変換の工程で新たに無彩色応答Awを計算し、Aw、JCh値、かかる係数から順変換部の逆工程を行うことで、知覚色データからＸＹＺ値への変換が行われる。
【００４７】
＜色知覚モデル（CIECAM02）の観察条件パラメータ＞
図９は、CIECAM02において推奨されている観察条件パラメータを示す図である。図９に示す周囲の条件averageは、平均的な周辺（周辺の相対輝度が対象シーンの中の白色の２０％以上であること）を示す。また、周囲の条件dimは、薄暗い周辺（周辺の相対輝度が対象シーンの中の白色の２０％以下であること）を示す。また、周囲の条件darkは、暗黒周辺（周辺の相対輝度が対象シーンの中の白色の０％であること）を示す。なお、本実施形態では、順変換時の白色にはステップＳ４で算出した色度データに基づくＸＹＺ値、逆変換時の白色にはステップＳ５で算出した色度データに基づくＸＹＺ値を用いる。その他のパラメータについてはCIECAM02の推奨パラメータを使用する。
【００４８】
＜第１の実施形態の効果の例＞
本実施形態の情報処理装置１０１は、入力画像の画像情報を解析し、デバイス特性に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、従来に比べ、入力画像に対応する色温度を保持したままホワイトバランスを補正すること、すなわち色みを容易に調整することが可能となることに加え、実際にデバイスを用いて鑑賞するシーンで好適な画像を再現することができる。
【００４９】
（第２の実施形態）
第２の実施形態では、第１の実施形態の処理に加えて、投影面に照明光が写りこむ影響を考慮してホワイトバランスを補正する処理が行われる。そこで、本実施形態では、照明光を取得する部を備えた変更点等、第１の実施形態との差異について説明する。
【００５０】
図１０は、第２の実施形態に係る情報処理装置１０１の構成を示す図である。なお、図１０において、第１の実施形態に係る情報処理装置１０１と同一の部分については、図１に付した符号と同一の符号を付している。また、図１０に示すように、第２の実施形態に係る情報処理装置１０１は、照明データ取得部１１４を備える点が第１の実施形態に係る情報処理装置１０１と異なる。照明データ取得部１１４は、照明データを計測する測定器１１３から照明データを取得する。なお、情報処理装置１０１が測定器１１３を備える構成を採用してもよい。
【００５１】
＜情報処理装置１０１における動作＞
図１１は、情報処理装置１０１にて実行される処理に係るフローチャートの一例を示す図である。図１１を参照して、第２の実施形態に特有の処理であるステップＳ１４及びステップＳ１５の処理について説明する。なお、その他のステップＳ１１からＳ１３までの処理、及びステップＳ１６からＳ１８までの処理については、それぞれ第１の実施形態で説明した図２のステップＳ１からＳ３までの処理、及びステップＳ５からＳ７までの処理と同様であるので説明を省略する。
【００５２】
ステップＳ１４において、照明データ取得部１１４は、測定器１１３を用いて投影面のＸＹＺ値を測定する。なお、投影面には測定用としてＲ＝０、Ｇ＝０、Ｂ＝０の黒（基準色）の色票を表示し、実際に画像（すなわち、基準画像データ）を視聴する環境下で投影面のＸＹＺ値の測定を行う。
【００５３】
ステップＳ１５において、ホワイトバランス算出部１０９は、ホワイトバランスを算出する。すなわちホワイトバランス算出部１０９は、ステップＳ１２で取得したＲＧＢ画像データのヒストグラムと、ステップＳ１３で取得したデバイス特性データと、ステップＳ１４で測定した値に基づく照明光の写りこみ量とを用いてホワイトバランスを算出する。なお、ホワイトバランス算出部１０９の具体的な処理については後述する。
【００５４】
＜ホワイトバランス算出部１０９における動作＞
図１２は、ステップＳ１５における算出手段の一例であるホワイトバランス算出部１０９の具体的な処理に係るフローチャートを示す図である。図１２を参照して、第２の実施形態に特有の処理であるステップＳ１５３からステップＳ１５５までの処理について説明する。なお、その他のステップＳ１５１、Ｓ１５２、Ｓ１５６の処理については、それぞれ第１の実施形態で説明した図６のステップＳ４１、Ｓ４２、Ｓ４４の処理と同様であるので説明を省略する。
【００５５】
ステップＳ１５３において、ホワイトバランス算出部１０９は、ステップＳ１５２で算出したＲＧＢ値をステップＳ１３で取得したデバイス特性に基づいてＸＹＺ値に変換する。
ステップＳ１５４において、ホワイトバランス算出部１０９は、ステップＳ１４で測定した測定値（ＸＬ、ＹＬ、ＢＬ）及びステップＳ１３で取得したデバイス特性データ（Ｒ＝０、Ｇ＝０、Ｂ＝０）に対応するＸＹＺ値（ＸＢ、ＹＢ、ＺＢ）を取得する。そして、ホワイトバランス算出部１０９は、取得した値に基づいて照明光の写りこみ量（ＸＳ、ＹＳ、ＺＳ）を下記の式（ｅ）により算出する。
【００５６】
【数８】
2010258703.tif 000010
【００５７】
ステップＳ１５５において、ホワイトバランス算出部１０９は、ステップＳ１５３で変換されたＸＹＺ値にステップＳ１５４で算出した写りこみ量を加算し、色度データを算出する。すなわち、ホワイトバランス算出部１０９は、入力画像データ（ここではＲＧＢ画像データ）がデバイスで使用される環境下での照明を適応した色度データを算出する。
【００５８】
＜第２の実施形態の効果の例＞
以上、本実施形態の情報処理装置１０１は、入力画像の画像情報を解析し、デバイス特性及び照明光に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、照明光の写りこみ量を考慮したホワイトバランスを算出することが可能となるので、第１の実施形態で説明した効果に加え、（実際にデバイスを用いて鑑賞するシーンだけでなく）視環境下でも好適な画像を再現することができる効果を奏する。
【００５９】
（第３の実施形態）
第３の実施形態では、第１の実施形態に係る構成又は第２の実施形態に係る構成に加えて、ユーザにホワイトバランスを調整するＵＩを表示し、ＵＩで取得した調整値からホワイトバランスを補正する構成を採用する。そこで、本実施形態では、第１の実施形態からの差異である、ＵＩ部１０７によるホワイトバランス調整値の取得方法と、取得したホワイトバランス調整値を用いたホワイトバランスを補正する処理方法（図２のステップＳ５）について説明する。
【００６０】
まず、図１３を参照して、ＵＩ部１０７がホワイトバランス調整値を取得する方法について説明する。
ＵＩ部１０７は、図１３に示すような色調整バーを備えるＵＩを出力装置等に表示する。ユーザは、入力装置等を介してこの色調整バーを操作することにより表示画像の色みを制御することが可能となる。色調整バーは、内部的には０から１の範囲において所定の値（例えば、０．２刻み）で数値を指示する。ＵＩ部１０７は、図１３で色調整バーにより補正なしが選択された場合には１の値、ニュートラルが選択された場合には０の値、その間が選択された場合にはその刻み幅に対応する値をホワイトバランス調整値として取得する。
【００６１】
次に、図１４を参照して、ＵＩ部１０７のユーザの操作により取得されたホワイトバランス調整値に基づいてホワイトバランスを補正する処理について説明する。図１４は、ホワイトバランスを補正する処理に係るフローチャートの一例を示す図である。ここでは、第３の実施形態に特有の処理であるステップＳ７４及びステップＳ７５の処理について説明する。なお、その他のステップＳ７１からステップＳ７３まで、及びステップＳ７６の処理については、それぞれ第１の実施形態で説明した図７のステップＳ５１からステップＳ５３まで、及びステップＳ５４の処理と同様であるので説明を省略する。
【００６２】
ステップＳ７４において、ホワイトバランス補正部１１０は、ＵＩ部１０７よりホワイトバランス調整値を取得する。
ステップＳ７５において、ホワイトバランス補正部１１０は、ステップＳ７１で取得した色度データ及びステップＳ７３で取得した色度データをより人間の感覚に近いｕｖ色度値へと変換する。そして、ホワイトバランス補正部１１０は、補正なしはステップＳ７１で取得した色度データ、ニュートラルはステップＳ７３で取得した色度データ、とそれぞれ対応付ける。ホワイトバランス補正部１１０は、ステップＳ７４で取得したホワイトバランス調整値を内分点としてｕｖ色度値を加算平均する。また、ホワイトバランス補正部１１０は、算出後のｕｖ色度値を色度データへ再度変換する。なお、ｕｖ色度値は、以下の式（ｆ）により算出される。
ここで、図１５に色度データの調整例を示す。図１５において、１５１は、黒体放射軌跡（3000Ｋ〜1200Ｋ）である。１５２は、相関色温度線である。１５３は、ＲＧＢ画像データ（入力画像データ）から算出したホワイトバランス（色度データ）である。１５４は、ＲＧＢ画像データの色度データに対応する色温度での色度データ（換言するならば、入力画像データに係る黒体放射軌跡１５１上の色度データ）である。１５５は、ＵＩ部１０７で設定された内分比により算出される色度データである。
【００６３】
【数９】
2010258703.tif 000011
【００６４】
＜第３の実施形態の効果の例＞
本実施形態の情報処理装置１０１は、画像の色みをユーザが調整する場合において、ホワイトバランスをニュートラルな色度値に簡易に調整できる機構をもつ。この機構によれば、第１の実施形態で説明した効果に加え、ホワイトバランスについてコンテンツの色温度に忠実に色補正できない煩わしさを低減し、ユーザの調整作業の負担を低減できる効果を奏する。
【００６５】
（変形例）
＜画像データ解析部＞
各実施形態に係る情報処理装置では、ＲＧＢ画像データの解析部としてヒストグラムを作成し、ホワイトバランス処理を行っているが、ホワイトバランス処理は、これに限られるものではない。例えば、ホワイトバランス処理では、ヒストグラムの色分布を解析してシーンの判別を行って、ホワイトバランス処理を行うべき画像と行うべきでない画像とを分ける処理を行ってもよい。この構成によれば、どのようなシーンでも一律にホワイトバランスを調整することでシーンによっては逆に画像が不自然になる事態を極力回避できる。
【００６６】
＜ヒストグラムの算出方法＞
各実施形態に係る情報処理装置では、ヒストグラムのハイライト領域からＲＧＢ値を取得する際にヒストグラムの上側５％における最頻値を用いているが、ヒストグラムからＲＧＢ値を取得する処理は、これに限られるものではない。例えば、ヒストグラムからＲＧＢ値を取得する処理では、ヒストグラムの上側５％における平均値、ヒストグラムの最大値等を用いてもよい。また、ヒストグラムからＲＧＢ値を取得する処理では、ヒストグラムに閾値を設けて閾値以上又は閾値以下のヒストグラムの上側１％における平均値、最頻値等をＲＧＢ値とする方法を用いてもよい。
【００６７】
＜ホワイトバランスの補正方法＞
各実施形態に係る情報処理装置では、ホワイトバランス補正部１１０は、ＲＧＢ画像データのホワイトバランスを算出し、そのホワイトバランスを黒体放射軌跡上の色度データへと補正しているが、ホワイトバランスを補正する処理は、これに限られるものではない。例えば、黒体放射軌跡に沿った許容範囲を設けて、ホワイトバランス補正部１１０が、ホワイトバランスが許容範囲外であれば補正し、許容範囲内であれば補正しない構成を採用してもよい。
【００６８】
＜画像変換処理の方法＞
各実施形態に係る情報処理装置では、ＲＧＢ画像データの変換にアピアランスモデルを用いてＲＧＢ値からＲ'Ｇ'Ｂ'値への変換を行っているが、ＲＧＢ値からＲ'Ｇ'Ｂ'値への変換処理は、これに限られるものではない。例えば、ある格子点のＲＧＢ値を用いてこの変換処理をＬＵＴ処理で行ってもよい。また、アピアランスモデルを用いずに、白色の補正前のＲＧＢ値と補正後のＲ'Ｇ'Ｂ'値とから簡易的にホワイトバランス補正の係数を算出し、この係数を用いてＲＧＢ画像データのＲＧＢ値を変換する構成を採用してもよい。なお、係数としては、例えば、Ｒk＝Ｒ'／Ｒ、Ｇk＝Ｇ'／Ｇ、Ｂk＝Ｂ'／Ｂを採用する。
【００６９】
＜黒体放射軌跡のデータ＞
各実施形態に係る情報処理装置では、黒体放射軌跡上の色度データを、式（ｄ）を用いて算出しているが、黒体放射軌跡上の色度データの算出処理は、これに限られるものではない。例えば、予め所定の相関色温度について色度データを計算し、相関色温度と色度データとの対応関係をテーブルとして格納し、これを参照して黒体放射軌跡の色度データの計算処理を行う構成を採用してもよい。
【００７０】
＜第３の実施形態におけるＵＩ＞
第３の実施形態に係る情報処理装置では、画像調整用にＵＩを用いているが、ＵＩは、これに限られるものではない。例えば、青−赤方向の黒体放射軌跡に沿った色温度を調整できるＵＩと併用する構成を採用してもよい。
【００７１】
＜情報処理装置＞
本情報処理装置は、複数の機器(ホストコンピュータ、インタフェイス機器、リーダ、ディスプレイ等)から構成されるシステムに適用しても、１つの機器からなる装置(プロジェクタ等)に適用してもよい。
【００７２】
＜記憶媒体＞
プログラムコードを供給するための記憶媒体としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【００７３】
＜その他の実施形態＞
また、上述した実施形態の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理部（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は上述した実施形態を構成することになる。
【００７４】
また、システム或いは装置の前記中央演算処理部が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００７５】
更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００７６】
上述した実施形態を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００７７】
上述した実施形態では、例えば、入力画像の画像情報に基づいて、ホワイトバランスをデバイス特性、照明光等と関連付けて算出し、算出したホワイトバランスを相関色温度線に沿って黒体放射軌跡方向に補正する。この構成によれば、色温度を保持したままホワイトバランスを補正することが可能となり、実際にデバイスを用いて鑑賞するシーン及び照明環境下で好適な画像を再現することができる。また、この構成によれば、ユーザによるホワイトバランス補正等の色を調整する作業にかかる負担を軽減できる。
【００７８】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００７９】
１０１  情報処理装置、１０３  画像データ取得部、１０５  デバイス特性取得部、１０６  画像データ解析部、１０８  投影部、１０９  ホワイトバランス算出部、１１０  ホワイトバランス補正部、１１１  画像変換処理部、１１２  バッファメモリ部
【図１】
2010258703.tif 000012
【図２】
2010258703.tif 000013
【図３】
2010258703.tif 000014
【図４】
2010258703.tif 000015
【図５】
2010258703.tif 000016
【図６】
2010258703.tif 000017
【図７】
2010258703.tif 000018
【図８】
2010258703.tif 000019
【図９】
2010258703.tif 000020
【図１０】
2010258703.tif 000021
【図１１】
2010258703.tif 000022
【図１２】
2010258703.tif 000023
【図１３】
2010258703.tif 000024
【図１４】
2010258703.tif 000025
【図１５】
2010258703.tif 000026