(57)【特許請求の範囲】
【請求項１】
撮像素子と、前記撮像素子出力をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から得られるデジタル画像データを画像処理する画像処理部と、前記画像処理部において画像処理することにより前記デジタル画像データを出力画像データに変換するフォーマット変換部と、前記出力画像データを記録媒体に記録する画像記録部を有する撮像装置において、
前記画像処理部は、
前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理部、
前記ホワイトバランス処理部によって求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理部、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理部を有し、
前記画像処理部は、前記３次元ルックアップテーブル演算処理部の前に、前記ホワイトバランス処理部、前記マトリクス演算処理部の順に処理を実行することによって、前記３次元ルックアップテーブル演算処理部による色変換の実行の前に前記ホワイトバランス処理部と前記マトリクス演算部で色温度に基づいた色順応性に合わせた色変換を行い、後段の前記３次元ルックアップテーブル演算処理部において特定色の色変換処理を行うことを特徴とする撮像装置。
【請求項２】
さらに、前記画像信号のビット数を落とすことによってガンマ処理を行うガンマ処理部を有し、
前記ガンマ処理部は、前記色変換マトリクス演算処理部と前記３次元ルックアップテーブル演算処理部の間に配置することを特徴とする請求項１に記載の撮像装置。
【請求項３】
さらに、複数の色から構成される色フィルタを配置された前記撮像素子からの出力を補間する補間処理部を有し、前記補間処理部を前記３次元ルックアップテーブル演算処理部の前に配置したことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記３次元ルックアップテーブル演算処理部は、３つの入力信号に対して、３つの出力信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記３次元ルックアップテーブル演算処理部は、Ｌ×Ｍ×Ｎ（Ｌ、Ｍ、Ｎは任意の整数）の格子点から構成された３次元ルックアップテーブルを含み、前記格子点の間のデータを補間演算により算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記３次元ルックアップテーブル演算処理部は、入力された色信号の記憶色が考慮された色信号を格納していることを特徴とする１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
被写体の像を撮像した撮像素子の出力をＡ／Ｄ変換して得られるデジタル画像データを画像処理する画像処理演算工程と、を有し、前記画像処理演算工程において画像処理演算することで出力画像データに変換する画像信号処理方法において、
前記画像処理演算工程は、前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理工程と、
前記ホワイトバランス処理工程において求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理工程と、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理工程とを有し、
前記画像処理演算工程は、前記３次元ルックアップテーブル演算処理工程の前に、前記ホワイトバランス処理工程、前記マトリクス演算処理工程を順に処理することによって、前記３次元ルックアップテーブル演算処理工程の前段に配置された前記ホワイトバランス処理工程と前記マトリクス演算工程で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行い、後段の前記３次元ルックアップテーブル演算処理工程において特定色の色変換処理を行うことを特徴とする画像信号処理方法。
【請求項８】
さらに、前記画像信号のビット数を落とすことによってガンマ処理を行うガンマ処理工程を有し、前記ガンマ処理工程は、前記色変換マトリクス演算処理工程と前記３次元ルックアップテーブル演算処理工程の間に配置することを特徴とする請求項７に記載の画像信号処理方法。
【請求項９】
前記３次元ルックアップテーブル演算処理工程では、３個の入力信号に対して、３個の出力信号を出力することを特徴とする請求項７又は８に記載の画像信号処理方法。
【請求項１０】
更に複数の色から構成される色フィルタを配置された前記撮像素子からの出力を補間する補間処理工程を有し、前記補間処理工程は前記３次元ルックアップテーブル演算処理工程の前に処理を行うことを特徴とする請求項７乃至９のいずれか１項に記載の画像信号処理方法。
【請求項１１】
前記３次元ルックアップテーブル演算処理工程では、入力された色信号の記憶色を考慮した色信号に変換することを特徴とする請求項７乃至１０のいずれか１項に記載の画像信号処理方法。
【請求項１２】
前記３次元ルックアップテーブル演算処理工程では、Ｌ×Ｍ×Ｎ（Ｌ、Ｍ、Ｎは任意の整数）の格子点から構成された３次元ルックアップテーブルを含み、前記格子点の間のデータを補間演算により算出することを特徴とする請求項７に記載の画像信号処理方法。
【請求項１３】
請求項７に記載の画像信号処理方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元ルックアップテーブル演算処理部を有する画像処理装置及び方法及びプログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
近年、デジタルカメラなどの撮像装置によって撮像された画像の色再現を向上させるため、ＣＣＤからＡ／Ｄ変換して得られる画像データを最終出力画像へと変換するための画像処理演算がより複雑化している。例えば、この画像処理演算として、人間の色知覚特性である色の順応性に対応する色変換処理、および、人間が好ましいと感じる記憶色に変換する色変換処理などがそれである。
【０００３】
【発明が解決しようとする課題】
出願人は、上記の画像処理に３次元ルックアップテーブル処理を用いた処理方法を開発している。しかしながら、上記の色の順応性に対応する色変換処理においては、撮影光源（色温度）の変化に応じて色再現を変化させるために、撮影光源（色温度）に対応する光源に応じた数の３次元ルックアップテーブルデータを保有する必要があった。しかしながら、この３次元ルックアップテーブルデータの容量が非常に大きいため、３次元ルックアップテーブルデータを複数保有するためには、撮像装置内部のメモリを増やさなければならず、コスト的にみて、光源の数に応じた数だけの３次元ルックアップテーブルデータを保有するということは現実的ではなかった。また、最低限の光源の色温度に対応するだけの数の３次元ルックアップテーブルデータを保有し、その３次元ルックアップテーブルを用いて撮影時の光源の色温度に応じて補間演算して、その撮影時の光源色温度に応じた３次元ルックアップテーブルデータを作成する方法もあるが、３次元ルックアップテーブルの数が少くなればなるほど正確な色変換ができず、また、数も最低でも２つ必要となるため、メモリ容量もその分増やさなければならない。
【０００４】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、３次元ルックアップテーブルに要するメモリ容量を削減することである。
【０００５】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像素子と、前記撮像素子出力をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から得られるデジタル画像データを画像処理する画像処理部と、前記画像処理部において画像処理することにより前記デジタル画像データを出力画像データに変換するフォーマット変換部と、前記出力画像データを記録媒体に記録する画像記録部を有する撮像装置において、
前記画像処理部は、
前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理部、
前記ホワイトバランス処理部によって求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理部、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理部を有し、
前記画像処理部は、前記３次元ルックアップテーブル演算処理部の前に、前記ホワイトバランス処理部、前記マトリクス演算処理部の順に処理を実行することによって、前記３次元ルックアップテーブル演算処理部による色変換の実行の前に前記ホワイトバランス処理部と前記マトリクス演算部で色温度に基づいた色順応性に合わせた色変換を行い、後段の前記３次元ルックアップテーブル演算処理部において特定色の色変換処理を行うことを特徴とする。
【０００６】
また、本発明に係わる画像信号処理方法は、被写体の像を撮像した撮像素子の出力をＡ／Ｄ変換して得られるデジタル画像データを画像処理する画像処理演算工程と、を有し、前記画像処理演算工程において画像処理演算することで出力画像データに変換する画像信号処理方法において、
前記画像処理演算工程は、前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理工程と、
前記ホワイトバランス処理工程において求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理工程と、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理工程とを有し、
前記画像処理演算工程は、前記３次元ルックアップテーブル演算処理工程の前に、前記ホワイトバランス処理工程、前記マトリクス演算処理工程を順に処理することによって、前記３次元ルックアップテーブル演算処理工程の前段に配置された前記ホワイトバランス処理工程と前記マトリクス演算工程で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行い、後段の前記３次元ルックアップテーブル演算処理工程において特定色の色変換処理を行うことを特徴とする。
【００１３】
また、本発明に係わるプログラムは、上記の画像信号処理方法をコンピュータに実行させることを特徴とする。
【００１４】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。
【００１６】
図１は本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。
【００１７】
撮像部１０１にはレンズ系、絞り、シャッターが含まれ、被写体の像をＣＣＤ１０２の撮像面に結像する。ＣＣＤ１０２上に結像された被写体像は光電変換されてアナログ信号となり、Ａ／Ｄ変換部１０３へと送られ、デジタル画像信号へと変換される。Ａ／Ｄ変換部１０３で作成されたデジタル画像信号は、画像処理部１０４へと送られ、出力画像信号へと変換される。さらに、出力画像信号は、フォーマット変換部１０５においてＪＰＥＧフォーマット等へのフォーマット変換が行われ、画像記録部１０６においてて撮像装置内のメモリ、もしくはコンパクトフラッシュメモリ（登録商標）等の外部メモリへと書き込まれる。以上が撮像装置内のデータの簡単な流れである。
【００１８】
ここで、さらに画像処理部１０４について詳しく説明する。
【００１９】
図２は図１の画像処理部１０４の中に含まれる処理部を示すブロック図である。以下に図２に示すブロック図を用いて本実施形態の撮像装置における画像処理の流れを説明する。
【００２０】
図１のＡ／Ｄ変換部１０３より出力されるデジタル画像信号は図２のホワイトバランス処理部２０１へと送られ、デジタル画像信号から光源の色温度を検出し、画像中の白が白信号となるようなホワイトバランス係数が求められる。そして、求められたホワイトバランス係数によってデジタル画像信号のゲインが調整される。ホワイトバランス処理されたデジタル画像信号は、エッジ強調処理部２０７、及び補間処理部２０２へと送られる。補間処理部２０２では図３のような単板ＣＣＤの画素配列から、それぞれＲ、Ｇ１、Ｇ２、Ｂ位置の画素それぞれを用いて、補間演算により図４のようなＲ、Ｇ１、Ｇ２、Ｂの面データを作成する。
【００２１】
ここで、人間の色知覚特性である色の順応性は色温度によって異なることが知られている。例えば、夕焼けや白熱灯下などでは人間の目は順応しきれなくて白い被写体を白と認識せず、オレンジ色っぽく見える。マトリクス演算部２０３では、このような人間の目の色順応性に合わせて（光源の色温度変化による色再現性の変化に対応するため）、ホワイトバランス処理部２０１において求められた光源の色温度から、マトリクス演算に用いるマトリクス係数を決定し、マトリクス演算が行われる。マトリクス演算は式(１)を用いて画素ごとに行われる。
【００２２】
【数１】
0003793121.tif 000002
以下にマトリクス係数の求め方について簡単に説明する。
【００２３】
マトリクス演算部にはあらかじめ色温度に応じたマトリクス係数、光源色温度３０００Ｋ以下用のマトリクス係数MTX3K、４０００Ｋ用マトリクスMTX4K、５０００Ｋ用マトリクスMTX5K、６０００Ｋ用マトリクスMTX6K、７０００Ｋ以上用MTX7Kが用意されている。ここでは光源の色温度が５３００Ｋであった場合のマトリクス係数MTXを求める。まず光源の色温度の上下のマトリクス係数が選ばれる。ここでは５０００Ｋ用マトリクスMTX5K、６０００Ｋ用マトリクスMTX6Kとなる。これらのマトリクス係数を用いて光源に応じたマトリクス係数は式(２)によって求められる。
【００２４】
0003793121.tif 000003
ただし、光源の色温度が３０００Ｋ以下であった場合は、
MTX＝MTX3K          …式(３)
また、光源の色温度が７０００Ｋ以上であった場合は、
MTX＝MTX7K          …式(４)
となる。
【００２５】
マトリクス演算処理されたデジタル画像信号はガンマ処理部２０４へと送られる。ガンマ処理部２０４では以下の式を用いてデータ変換する。ただしGammaTableは１次元ルックアップテーブルである。
【００２６】
Rg = GammaTable[Rm]          …式(５)
Gg = GammaTable[Gm]          …式(６)
Bg = GammaTable[Bm]          …式(７)
ガンマ処理されたデジタル画像信号は３次元ルックアップテーブル演算処理部２０５へと送られる。
【００２７】
以下に３次元ルックアップテーブル演算処理について説明する。本実施形態における３次元ルックアップテーブル演算処理は、ＲＧＢの３次元データをマトリクス演算されたＲＧＢ信号から記憶色再現を考慮したＲＧＢ信号へと変換するものである。すなわち、人間が好ましいと記憶している色、例えば、青空は青から青緑へ、芝生は黄緑から緑へ、そして、肌色はピンクよりに再現するようにＲＧＢ信号を変換する。本実施形態においては、３次元ルックアップテーブルの容量を減らすため、Ｒ、Ｇ、Ｂ信号の最小値から最大値までを９分割した、９×９×９の７２９の３次元代表格子点を用意し、代表格子点以外のＲＧＢ信号は補間により求める。補間演算は以下の式により行われる。そして、予め色温度に応じてマトリクス演算されているため、色温度ごとに３次元ルックアップテーブルを持たせる必要がない。
【００２８】
ただし入力信号ＲＧＢをR、G、B、そのときの出力ＲＧＢ信号をRout(R,G,B)、Gout(R,G,B)、Bout(R,G,B)、入力信号R、G、Bそれぞれの信号値より小さく、かつ一番近い値の代表格子点の信号をRi、Gi、Bi、代表格子点出力信号をRout(Ri,Gi,Bi)、Gout(Ri,Gi,Bi)、Bout(Ri,Gi,Bi)、代表格子点のステップ幅をStepとする。
【００２９】
0003793121.tif 000004
0003793121.tif 000005
以上のような演算を用いて入力ＲＧＢ信号（Rg、Gg、Bg）を出力ＲＧＢ信号（Rt、Gt、Bt）に変換する。
【００３０】
３次元ルックアップテーブル演算処理されたデジタル画像信号はエッジ合成処理部２０６へと送られる。
【００３１】
エッジ強調処理部２０７では、ホワイトバランス処理部２０１から送られてくるホワイトバランス処理されたデジタル画像信号を元にエッジ検出し、エッジ信号のみが抽出される。抽出されたエッジ信号はゲインアップにより増幅されてエッジ合成処理部２０６へと送られる。エッジ合成処理部２０６では３次元ルックアップテーブル演算処理部２０５から送られてきたRt、Gt、Bt信号にエッジ信号を加える。
【００３２】
本実施形態においてマトリクス演算処理部にあらかじめ用意されているマトリクス係数の組は３０００Ｋから７０００Ｋまで１０００Ｋ毎に用意されているものを使用したが、この色温度および、あらかじめ用意するマトリクス係数の数はこれに限られるものではなく、より高精度に光源の色温度の変化による色再現性の変化に対応するのであれば、マトリクス係数の組の数を増やしてもよい。たとえマトリクス係数の組を増やしたとしても、１組のマトリクス係数のデータ量が少ないため、メモリの増大には必ずしもつながらない。
【００３３】
また、３次元ルックアップテーブル演算処理部２０５におけるテーブルは９×９×９の格子点を用いたが、これに限られるものではなく、撮像装置のメモリ容量および必要とされる色変換精度に応じて変化させることも可能である。また近傍の格子点からの補間演算も上記の式(８),(９),(１０)に限られるものではなく、四面体補間等の補間演算であれば、どのような補間演算であってもかまわない。
【００３４】
また本実施形態においてはガンマ処理を３次元ルックアップテーブル演算処理の前に行っているが、この順番はこれに限られるものではなく、演算精度と撮像装置のバッファメモリの関係により、前後どちらに設定してもよい。例えばバッファメモリの容量を少なくするためにはガンマ処理を前にして、デジタル画像信号のビット数をガンマ処理により落として、３次元ルックアップテーブル演算処理するようにすれば、３次元ルックアップテーブルの格子点データのビット数も減らすことが可能になり、３次元ルックアップテーブルデータの容量を減らすことが可能になる。また逆に、先にビット数の多い状態で３次元ルックアップテーブル演算処理を行えば演算精度を落とさずに高精度に変換演算が可能になる。
【００３５】
以上説明したように、上記の実施形態によれば、ＣＣＤ１０２からＡ／Ｄ変換して得られるデジタル画像データ（ＲＧＢ信号）は、３次元ルックアップテーブル演算処理部２０５よりも先にマトリクス演算処理部２０３により処理されているため、色温度ごとに３次元ルックアップテーブルを有する必要がなく、３次元ルックアップテーブルデータを１つのテーブルのみで記憶色の変換を行うことが可能となる。
【００３６】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、デジタル画像信号に対して、３次元ルックアップテーブルによる色変換処理の前に、ホワイトバランス処理とホワイトバランス処理で求められた光源の色温度に応じてマトリクス演算係数を変化させるマトリクス演算を順に処理することによって、３次元ルックアップテーブル演算の前段に配置されたホワイトバランス処理とマトリクス演算で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行うことになるため、後段に配置された３次元ルックアップテーブル演算処理では、色温度に依存しない特定色の局所的な色変換を適切に行うことが可能になる。さらに、予め色温度に応じて用意されているマトリクス係数によってマトリクス演算処理することが可能になるため、容量の大きい３次元ルックアップテーブルを色温度に応じて複数用意する必要がなくなり、回路規模及びメモリ容量を大幅に削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】Ａ／Ｄ変換後のデジタル信号の概念図である。
【図４】補間処理後のデジタル画像信号の概念図である。
【図１】
0003793121.tif 000006
【図２】
0003793121.tif 000007
【図３】
0003793121.tif 000008
【図４】
0003793121.tif 000009