(57)【特許請求の範囲】
【請求項１】
二次元画像データを入力する第一の入力手段と、
前記二次元画像データが表す画像上の任意の点の指定を入力する指定手段と、
カラーバランス調整処理に使用する画像データの形態の色情報の入力を受け付ける第二の入力手段と、
前記画像データの形態の色情報が入力された場合、前記指定手段により指定された指定点の色情報を前記第二の入力手段が入力した色情報に変換する処理に対応する、前記二次元画像データを構成する色ごとの重み付け比からなる処理パラメータを設定する第一の設定手段と、
前記画像データの形態の色情報が未入力の場合、前記指定点の色情報を白色の色情報に変換する処理に対応する、前記重み付け比からなる処理パラメータを設定する第二の設定手段と、
前記第一および第二の設定手段の何れかによって設定された処理パラメータにより、前記指定点を含む前記二次元画像データを前記カラーバランス調整処理する処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第一の入力手段は、撮像手段から出力された二次元画像データを入力することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
前記第一の入力手段は、前記二次元画像データが表す画像をモニタに表示し、前記指示手段は、前記モニタに表示された画像上の任意の点の指示を入力することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
入力された二次元画像データが表す画像上の任意の点の指定を入力する指定ステップと、
カラーバランス調整処理に使用する画像データの形態の色情報が入力されている場合、前記指定ステップで指定された指定点の色情報を前記画像データの形態の色情報に変換する処理に対応する、前記二次元画像データを構成する色ごとの重み付け比からなる処理パラメータを設定する第一の設定ステップと、
前記画像データの形態の色情報が未入力の場合、前記指定点の色情報を白色の色情報に変換する処理に対応する、前記重み付け比からなる処理パラメータを設定する第二の設定ステップと、
前記第一および第二の設定ステップの何れかで設定された処理パラメータにより、前記指定点を含む前記二次元画像データを前記カラーバランス調整処理する処理ステップとを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、入力された画像信号の色合いを調整する画像処理装置およびその方法に関するものである。
【０００２】
【従来の技術】
CCDなどの撮像素子を用いたTVカメラにおいて、撮像素子やカラーフィルタの経年変化・照明光源の変化に関わらず、見た目に同じ色合いが、常に得られるようにするためには、撮像素子から出力される映像信号を構成する複数成分からなる色信号のレベルは、各成分間でバランスがとられていることが必要である。
【０００３】
通常、上記の目的のために、この種のTVカメラでは、所謂、ホワイトバランス調整を行って、白色と見えるべき物体は白色に見えるように調整される。
【０００４】
一般に、ホワイトバランス調整は、映像信号を構成する複数の色成分信号を、それぞれ増幅補正することにより、白色と見えるべき物体に対して、各色成分信号の出力レベルが等しくなるように調整する。
【０００５】
【発明が解決しようとする課題】
しかし、上述した技術においては、次のような問題点がある。ホワイトバランス調整により映像の色合いを調整する方法は、撮像素子などから得られる映像信号中に白色に見えるべき物体（被写体）が充分に存在するときは有効であるが、撮像信号中に白色に見えるべき物体がない場合や、あっても非常に少ない場合が多々ある。このような状況においては、ホワイトバランス調整により色合いを調整することは、原理的に不可能である。
【０００６】
本発明は、白色に見えるべき被写体がない場合や少ない場合でもカラーバランス調整を可能にすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００８】
本発明にかかる画像処理装置は、二次元画像データを入力する第一の入力手段と、前記二次元画像データが表す画像上の任意の点の指定を入力する指定手段と、カラーバランス調整処理に使用する画像データの形態の色情報の入力を受け付ける第二の入力手段と、前記画像データの形態の色情報が入力された場合、前記指定手段により指定された指定点の色情報を前記第二の入力手段が入力した色情報に変換する処理に対応する、前記二次元画像データを構成する色ごとの重み付け比からなる処理パラメータを設定する第一の設定手段と、前記画像データの形態の色情報が未入力の場合、前記指定点の色情報を白色の色情報に変換する処理に対応する、前記重み付け比からなる処理パラメータを設定する第二の設定手段と、前記第一および第二の設定手段の何れかによって設定された処理パラメータにより、前記指定点を含む前記二次元画像データを前記カラーバランス調整処理する処理手段とを有することを特徴とする。
【００１０】
本発明にかかる画像処理方法は、入力された二次元画像データが表す画像上の任意の点の指定を入力する指定ステップと、カラーバランス調整処理に使用する画像データの形態の色情報が入力されている場合、前記指定ステップで指定された指定点の色情報を前記画像データの形態の色情報に変換する処理に対応する、前記二次元画像データを構成する色ごとの重み付け比からなる処理パラメータを設定する第一の設定ステップと、前記画像データの形態の色情報が未入力の場合、前記指定点の色情報を白色の色情報に変換する処理に対応する、前記重み付け比からなる処理パラメータを設定する第二の設定ステップと、前記第一および第二の設定ステップの何れかで設定された処理パラメータにより、前記指定点を含む前記二次元画像データを前記カラーバランス調整処理する処理ステップとを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００１２】
図1は本発明にかかる一実施形態の画像処理装置の構成例を示すブロック図である。
【００１３】
同図において、10はカラー画像撮像部で、例えば撮像管やCCDなどの撮像素子を備えたディジタルカメラであり、被写体を撮像し、被写体の撮像データとして二次元のディジタルデータを出力する。20はカラー画像再生処理部で、カラー画像再生部10から送られてきた二次元ディジタルデータに画像再生処理を施し、例えば、ディジタル化されたNTSC-RGBデータに変換し出力する。30はカラー画像再生表示部で、例えばカラービデオボードとモニタからなり、カラー画像再生処理部20から出力されたカラー画像信号を受けて、カラー画像としてモニタ上に表示する。
【００１４】
なお、図1には示さないが、本実施形態には、カラー画像再生処理部20から出力されたカラー画像信号を受けて、記録媒体にカラー画像を記録するプリンタなどを接続することもできるし、プリンタに限らず、画像記憶装置やパーソナルコンピュータなどを接続してもよいことは言うまでもない。
【００１５】
カラー画像再生処理部20は、カラー画像再生に必要な様々な処理を行うが、以下では、カラー画像再生処理部20が行うカラーバランス調整に関わる処理とその構成について説明する。なお、通常のカラー画像再生においては、明確に説明および図示しない様々な処理や構成が必要であるが、それらの処理や構成は周知であるから、その詳細説明は省略する。
【００１６】
さて、カラー画像再生処理部20は次の構成などを含む。21は撮像データ保持機構で、カラー画像撮像部10からのディジタル撮像データを保持するためのものである。22は撮像データ抽出機構で、撮像データの一部を抽出するためのものである。24は画像位置指示機構で、撮像データ抽出機構22により抽出する撮像データの画像位置を指示するためのものである。
【００１７】
25は画像データ入力機構で、指示した位置の画像データが最終的にとるべきデータを入力するためのものである。23は画像再生パラメータ決定機構で、画像データ入力機構25から入力された画像データと、画像データ抽出機構22により抽出された撮像データとを用いて、画像再生パラメータを決めるものである。26はカラーバランス調整機構で、画像を再生するときに、画像再生パラメータ決定機構23により決定された画像再生パラメータを用いて、撮像データのカラーバランス調整処理を行う。
【００１８】
また、27は制御部で、例えば、CPU，プログラムROM，ワークRAM，I/Oなどで構成され、上記の各構成および図示しない構成などを制御してカラー画像再生処理を実行するものである。
【００１９】
以下、本実施形態の動作を説明する。図2はカラー画像再生処理部20の動作例を示すフローチャートで、とくにカラーバランス調整に関する手順を示すものであり、カラー画像撮像部10から入力されたディジタル撮像データが撮像データ保持機構21に保持されると、制御部27により開始される。
【００２０】
まず、ステップS1で画像指示機構24により画像位置が指示されたかどうかを調べる。画像位置が指示されていないときはステップS11に進んで、カラーバランス調整機構26により撮像データ保持機構21に保持された撮像データに通常のホワイトバランス処理を施して再生画像データを得た後、処理を終了する。また、画像位置が指示されているときは、指示された画像位置（以下「指示位置」という）を画像データ抽出機構22に送るとともに、ステップS2へ進んで、画像データ入力機構25により画像データが入力されたかどうかを調べる。
【００２１】
以下、通常行なわれるホワイトバランス処理の例を説明する。なお、ここで説明するホワイトバランス処理は、撮像データを基に行うものである。このとき、ホワイトバランス処理を行うためには、撮像データから光源情報を抽出することが必要になる。一般に、抽出した光源情報に基づいてカラーバランスが調整され、光源の色が白色になるようにホワイトバランス処理が行われる。従って、光源情報が正しく抽出されないと、不正確なホワイトバランス処理が行われることになる。
【００２２】
撮像データから光源情報を抽出する方法としては、例えば、物体からの反射光により撮影した画像においては、光源情報をもつ領域（白色領域）は、一般に、その輝度が高いと考えられるから、撮像データ中の最も輝度の高い領域の各色データをもって光源情報にする方法がある。この方法においては、撮像データのすべては物体からの反射光からなり、その画像中に白色領域がある場合には有効であるが、画像中に白色領域がない場合や、発光体がある場合には、輝度の高い領域が必ずしも光源情報をもっているとは限らないので、精度よく光源情報を抽出できない場合がある。
【００２３】
上記以外の方法として、例えば、画像を構成する撮像データすなわちすべての画素の平均値を各色ごとに求めて光源情報にする方法がある。画像中にすべての色が偏りなく均等に存在しているときには、この方法は有用であるが、一般には、ある特定の色成分が多量に存在することが多く、精度よく光源情報を得ることができない場合がある。
【００２４】
特殊な光源を除く一般の光源は、ある色度範囲に存在することが知られている。いま、撮像時に用いる色フィルタの特性が既知であるならば、上記の関係から、光源情報を含む撮像データの存在範囲を設定することができる。従って、画像を構成する撮像データから、上記の存在範囲にあるデータに関してサンプリングを行うことにより、より精度よく撮像データを抽出することができる。
【００２５】
より詳しく説明すると、撮像データとして得られる各色データが例えば(Mg, Gr, Ye, Cy)であるとする。これを次式により正規化する。
Kmg = (Mg - Gr)/ Gr
Kyc = (Ye - Cy)/ Cy
【００２６】
光源に関しては、上記の関係からKmg, Kycはある範囲にあるから、この範囲にある(Mg, Gr, Ye, Cy)を光源情報のデータとして蓄えて行き、平均化する（条件を満たす撮像データの各色データの総和を総サンプリング数で割る）ことにより、精度よく光源情報を求めることができる。
【００２７】
以上説明した方法が、単独で、あるいは組合わされて、ホワイトバランス処理、とくにその内の光源情報を抽出する方法として実施される。
【００２８】
ステップS2において、画像データが入力されていない場合はステップS12に進んで、画像データ抽出機構22により指示位置に相当する撮像データを抽出し、その抽出された撮像データ（以下「抽出データ」という）を画像再生パラメータ決定機構23に送る。抽出データが入力された画像再生パラメータ決定機構23は、指示位置の再生画像データが白色を示す画像データになるように、抽出データを用いて画像再生パラメータを決定し、決定した画像再生パラメータをカラーバランス調整機構26へ送る。
【００２９】
また、画像データ入力機構25により画像データが入力されている場合は、その画像データ（以下「指定データ」という）を画像再生パラメータ決定機構23に送るとともに、ステップS3へ進んで、画像データ抽出機構22により指示位置に相当する撮像データを抽出し、その抽出データを画像再生パラメータ決定機構23に送る。指定データと抽出データとが入力された画像再生パラメータ決定機構23は、指示位置の再生画像データが指定データになるように、指定データと抽出データとを用いて画像再生パラメータを決定し、決定した画像再生パラメータをカラーバランス調整機構26へ送る。
【００３０】
ステップS4では、カラーバランス調整機構26により、ステップS3またはステップS12で得た画像再生パラメータを用いて、撮像データ保持機構21に保持された撮像データにカラーバランス調整を施して再生画像データを得た後、処理を終了する。
【００３１】
このようにして得られた再生画像データはカラー画像再生表示部30に送られ、カラー画像再生表示部30はカラー画像を再生表示する。
【００３２】
以上の手順によれば、二次元平面上に写像された撮像データ、および、これに画像再生処理を施して得られる再生画像の座標位置を指示し、かつ、その指示位置の再生画像データ（指示データ）を与えることにより、自動的に、その指示位置に関わる撮像データおよび指示データに基づいて、画像再生パラメータを決定し、決定した画像再生パラメータを用いて画像再生処理を行うので、簡単な操作で適切にカラーバランス調整がとれた再生画像を得ることができる。
【００３３】
とくに、本実施形態においては、白色を基にカラーバランス調整（ホワイトバランス調整）を行うことに限定されることなく、任意の色を用いてカラーバランスをとることが可能になり、カラーバランス調整に応用できる被写体は限定されることなく、任意に選ぶことができる。
【００３４】
次に、画像再生パラメータを自動的に決定する方法について、その一例を説明する。
【００３５】
ある指示位置における撮像データが、撮像素子の出力より、例えば(Mg,Gr,Cy,Ye)として得られているものとし、その撮像データ(Mg,Gr,Cy,Ye)に、例えば、下式の変換を施すことにより画像再生データ(R,G,B)を得る場合を考える。
0004046780.tif 000002
【００３６】
なお、上式において、k1,k2,k3,k4は、カラーバランス調整のためのパラメータであり、Mg,Gr,Cy,Yeにおけるカラーバランス調整ゲインであり、通常は、デフォルト値としてすべて1とする。また、a11,a12,…,a34は、(Mg,Gr,Cy,Ye)を(R,G,B)に変換するための変換マトリクス係数であり、通常は、撮像時に用いる撮像素子の分光感度特性や、出力画像信号として用いる表色系の特性により決まるものであるが、一般に、設定により固定されているものである。
【００３７】
通常、カラーバランスを調整は、パラメータk1,k2,k3,k4を用いて行われる。例えば、ある画像位置の画像再生データが(R',G',B')であるとし、撮像データ(Mg',Gr',Cy',Ye')が画像再生データ(R',G',B')に変換されるように、次式によりパラメータk1,k2,k3.k4を決める。次式において、パラメータk1は定数として予め設定するものであり、カラーバランス調整において重要なのはパラメータ間の比である。
0004046780.tif 000003
【００３８】
このような方法により、ある指示位置の撮像データ(Mg',Gr',Cy',Ye')と指定データ(R',G',B')とを用いて、画像再生パラメータk1,k2,k3,k4を決めることができる。
【００３９】
【変形例】
上述した実施形態において、画像位置指示機構24は、所謂、オペレータがキーボードを用いて数値（座標）を入力することが考えられるが、撮像データ保持機構21に保持された撮像データにデフォルトの画像再生パラメータを用いた画像再生処理（例えばホワイトバランス処理）を施して、仮りに再生画像データを得て、これを例えばモニタに表示することにより、ライトペン，マウス，タッチパネルなどのポインテングデバイスとポインテング機構により指示位置を入力することも可能であり、操作をより容易にすることができる。
【００４０】
さらに、特定領域の色情報（指示位置の画像データ）は、その値を、直接、キーボードなどにより入力することが考えられるが、例えば、ROMなどに予め格納されたカラーパレットをモニタに表示して、その中から所望する色をオペレータに選択させることも可能であり、操作をより容易にすることができる。また、内部演算装置などを用いれば、所謂カラーピッカーをモニタに表示して、色相、彩度および明度などの色の属性を表す表現を用いて、その属性の全部あるいは一部を用いて色情報を与えることも可能である。
【００４１】
また、言葉や記号を用いて概念的に色情報を与えることも可能である。このようにすれば、より綺麗に再現したい色や強調したい色がある場合、すなわち、「空の色」、「木の葉の色」や「海の色」あるいは「肌色」というような記憶色などを用いて画像再生を行う際に有効である。
【００４２】
以上説明したように、本実施形態によれば、画像の位置を指定し、その指定位置に関する色情報を入力し、その指定位置に対応する撮像データと入力された色情報を基に画像再生パラメータを決定し、決定した画像再生パラメータを用いて撮像データに画像再生処理を施して、再生画像データを得るので、例えば、画面上の任意位置の任意色の被写体を用いた画面全体のカラーバランス調整が可能になり、ホワイトバランス調整のように問題点、つまり、画像に白色の被写体がない場合や、あっても非常に少ない場合は調整ができないといった問題を解決することができる。また、より正確に再現したい色（例えば「肌色」など）を色情報として与えることにより、再現したい場所およびその場所に属する色、あるいは再現したい色を、正確に再現することができる。
【００４３】
【他の実施形態】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，CD-ROM，CD-R，磁気テープ，不揮発性のメモリカード，ROMなどを用いることができる。
【００４４】
なお、本発明は、上記に示した複数の実施形態に示すように、様々の形態で実行することが可能である。従って、前述した本発明の主旨を逸脱しない範囲において、様々な情報を用いて論理化し、あるいはソフトウェア化し、または、前述した本発明の主旨を逸脱しない範囲において、アルゴリズム化し、このアルゴリズムに従って動作するハードウェアや装置として応用することが可能である。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、白色に見えるべき被写体がない場合や少ない場合でもカラーバランス調整が可能になる。
【図面の簡単な説明】
【図１】本発明にかかる一実施形態の画像処理装置の構成例を示すブロック図、
【図２】図1に示すカラー画像再生処理部の動作例を示すフローチャートである。
【符号の説明】
10      カラー画像撮像部
20      カラー画像再生処理部
21      撮像データ保持機構
22      撮像データ抽出機構
24      画像位置指示機構
25      画像データ入力機構
23      画像再生パラメータ決定機構
26      カラーバランス調整機構
27      制御部
30      カラー画像再生表示部
【図１】
0004046780.tif 000004
【図２】
0004046780.tif 000005