(57)【要約】【課題】簡易な構成により混色補正を行う。【解決手段】画素毎にＲ，Ｇ，Ｂの色信号を持つ画像データに対し、Ｒ，Ｇ，Ｂの各色につき閾値を設定する閾値設定処理と、閾値に基づいて、画素毎の信号量が予め設定した条件式を満たすかどうか判断する閾値比較処理と、条件式を満たす場合に、混色補正に用いる演算値を設定する演算値設定処理と、信号量を演算値に基づいて補正する演算処理とを行う。【選択図】図３
2010041534.tif 000002
【特許請求の範囲】
【請求項１】
画素毎にＲ，Ｇ，Ｂの色信号を持つ画像データに対し、Ｒ，Ｇ，Ｂの各色につき閾値を設定する閾値設定処理と、
前記閾値に基づいて、画素毎の信号量が予め設定した条件式を満たすかどうか判断する閾値比較処理と、
前記条件式を満たす場合に、混色補正に用いる演算値を設定する演算値設定処理と、
前記信号量を前記演算値に基づいて補正する演算処理
とを行うことを特徴とする画像処理方法。
【請求項２】
前記演算処理は、前記信号量に対し前記演算値を加算、減算、乗算または除算することにより補正を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記演算処理は、前記信号量に対し前記演算値を減算かつ除算すること、または加算かつ乗算することにより補正を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記条件式は、Ｒ，Ｇ，Ｂの色信号についての前記閾値をそれぞれＲｔｈ，Ｇｔｈ，Ｂｔｈとし、  画素毎の前記信号量をそれぞれＲｓ，Ｇｓ，Ｂｓとすると、次式（１）  
Ｒｓ≧Ｒｔｈ，Ｇｓ＜Ｇｔｈ，Ｂｓ＜Ｂｔｈ  …（１）
により表されることを特徴とする請求項１から３までのいずれかに記載の画像処理方法。
【請求項５】
前記条件式は、Ｒ，Ｇ，Ｂの色信号についての前記閾値をそれぞれＲｔｈ，Ｇｔｈ，Ｂｔｈとし、  画素毎の前記信号量をそれぞれＲｓ，Ｇｓ，Ｂｓとすると、次式（２）  
Ｒｓ＜Ｒｔｈ，Ｇｓ≧Ｇｔｈ，Ｂｓ＜Ｂｔｈ  …（２）
により表されることを特徴とする請求項１から３までのいずれかに記載の画像処理方法。
【請求項６】
前記条件式は、Ｒ，Ｇ，Ｂの色信号についての前記閾値をそれぞれＲｔｈ，Ｇｔｈ，Ｂｔｈとし、  画素毎の前記信号量をそれぞれＲｓ，Ｇｓ，Ｂｓとすると、次式（３）  
Ｒｓ＜Ｒｔｈ，Ｇｓ＜Ｇｔｈ，Ｂｓ≧Ｂｔｈ  …（３）
により表されることを特徴とする請求項１から３までのいずれかに記載の画像処理方法。
【請求項７】
前記閾値設定処理は、前記閾値をＲ，Ｇ，Ｂの各色につき複数箇所設定することを特徴とする請求項１から６までのいずれかに記載の画像処理方法。
【請求項８】
前記演算値設定処理は、前記演算値を前記信号量に応じて変更することを特徴とする請求項１から７までのいずれかに記載の画像処理方法。
【請求項９】
画素毎にＲ，Ｇ，Ｂの色信号を持つ画像データに対し、Ｒ，Ｇ，Ｂの各色につき閾値を設定する閾値設定処理と、
前記閾値に基づいて、画素毎の信号量が予め設定した条件式を満たすかどうか判断する閾値比較処理と、
前記条件式を満たす場合に、混色補正に用いる演算値を設定する演算値設定処理と、
前記信号量を前記演算値に基づいて補正する演算処理
とをコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１０】
画素毎にＲ，Ｇ，Ｂの色信号を持つ画像データに対し、Ｒ，Ｇ，Ｂの各色につき閾値を設定する閾値設定手段と、
前記閾値に基づいて、画素毎の信号量が予め設定した条件式を満たすかどうか判断する閾値比較手段と、
前記条件式を満たす場合に、混色補正に用いる演算値を設定する演算値設定手段と、
前記信号量を前記演算値に基づいて補正する演算手段
とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理プログラムおよび撮像装置に関する。さらに詳述すると、混色特性の補正に好適な画像処理方法、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide   Semiconductor）などの固体撮像素子の高画素化が進み、それに伴い固体撮像素子に与える読み出し駆動パルスの高速化が進んでいる。
【０００３】
その結果、固体撮像素子では、画素の微細化に伴う隣接画素からの光の回り込みや、電荷転送不良等の理由により、隣接画素の信号量が漏れ込んでくる現象（以下、混色という）が発生する。また、ＣＭＯＳではデバイス構成上多層構造であるため、赤色など長波長の光信号は上層の配線アルミ層などに反射して隣接画素に入射しやすい傾向にあり、低色温度環境下での撮影では色再現性に問題を抱えている。さらにまた、固体撮像素子では１画素１色のカラーフィルタを配し光信号を分光して取り込んでいるが、分光特性が悪いために混色が発生し、鮮やかな色味がでない場合もある。
【０００４】
このような混色を補正する従来技術として、例えば特許文献１には、固体撮像素子の注目画素に隣接する複数の周囲画素の各信号と、当該各信号に対して各々独立して設定される補正パラメータとを用いて注目画素の信号に対して補正処理を行うことにより混色特性を補正する信号処理方法が開示されている。
【０００５】
【特許文献１】特開２００７−１４２６９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の信号処理方法は、注目画素に隣接する複数の周囲画素の各信号と、当該各信号に対して各々独立した補正パラメータとを用いて前記注目画素の信号に対して補正処理を行うため必要があるため補正方法が複雑であり、混色補正処理回路の構成が大きくなることが予想される。
【０００７】
そこで本発明は、簡易な構成又は処理により混色補正を行うことができる画像処理方法、画像処理プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
かかる目的を達成するため、請求項１に記載の画像処理方法は、画素毎にＲ，Ｇ，Ｂの色信号を持つ画像データに対し、Ｒ，Ｇ，Ｂの各色につき閾値を設定する閾値設定処理と、閾値に基づいて、画素毎の信号量が予め設定した条件式を満たすかどうか判断する閾値比較処理と、条件式を満たす場合に、混色補正に用いる演算値を設定する演算値設定処理と、信号量を演算値に基づいて補正する演算処理とを行うようにしている。
【０００９】
また、請求項９に記載の画像処理プログラムは、画素毎にＲ，Ｇ，Ｂの色信号を持つ画像データに対し、Ｒ，Ｇ，Ｂの各色につき閾値を設定する閾値設定処理と、閾値に基づいて、画素毎の信号量が予め設定した条件式を満たすかどうか判断する閾値比較処理と、条件式を満たす場合に、混色補正に用いる演算値を設定する演算値設定処理と、信号量を演算値に基づいて補正する演算処理とをコンピュータに実行させるものである。
【００１０】
また、請求項１０に記載の撮像装置は、画素毎にＲ，Ｇ，Ｂの色信号を持つ画像データに対し、Ｒ，Ｇ，Ｂの各色につき閾値を設定する閾値設定手段と、閾値に基づいて、画素毎の信号量が予め設定した条件式を満たすかどうか判断する閾値比較手段と、条件式を満たす場合に、混色補正に用いる演算値を設定する演算値設定手段と、信号量を演算値に基づいて補正する演算手段とを備えるものである。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、演算処理は、信号量に対し演算値を加算、減算、乗算または除算することにより補正を行うようにしている。
【００１２】
また、請求項３に記載の発明は、請求項１に記載の画像処理方法において、演算処理は、信号量に対し演算値を減算かつ除算すること、または加算かつ乗算することにより補正を行うようにしている。
【００１３】
請求項４に記載の発明は、請求項１から３までのいずれかに記載の画像処理方法において、条件式は、Ｒ，Ｇ，Ｂの色信号についての閾値をそれぞれＲｔｈ，Ｇｔｈ，Ｂｔｈとし、画素毎の信号量をそれぞれＲｓ，Ｇｓ，Ｂｓとすると、次式１  
Ｒｓ≧Ｒｔｈ，Ｇｓ＜Ｇｔｈ，Ｂｓ＜Ｂｔｈ  …（１）
により表されるようにしている。
【００１４】
また、請求項５に記載の発明は、請求項１から３までのいずれかに記載の画像処理方法において、条件式は、Ｒ，Ｇ，Ｂの色信号についての閾値をそれぞれＲｔｈ，Ｇｔｈ，Ｂｔｈとし、画素毎の信号量をそれぞれＲｓ，Ｇｓ，Ｂｓとすると、次式（２）
Ｒｓ＜Ｒｔｈ，Ｇｓ≧Ｇｔｈ，Ｂｓ＜Ｂｔｈ  …（２）
により表されるようにしている。
【００１５】
さらに、請求項６に記載の発明は、請求項１から３までのいずれかに記載の画像処理方法において、  条件式は、Ｒ，Ｇ，Ｂの色信号についての閾値をそれぞれＲｔｈ，Ｇｔｈ，Ｂｔｈとし、画素毎の信号量をそれぞれＲｓ，Ｇｓ，Ｂｓとすると、次式（３）
Ｒｓ＜Ｒｔｈ，Ｇｓ＜Ｇｔｈ，Ｂｓ≧Ｂｔｈ  …（３）
により表されるようにしている。
【００１６】
請求項７に記載の発明は、請求項１から６までのいずれかに記載の画像処理方法において、閾値設定処理は、閾値をＲ，Ｇ，Ｂの各色につき複数箇所設定するようにしている。
【００１７】
請求項８に記載の発明は、請求項１から７までのいずれかに記載の画像処理方法において、演算値設定処理は、前記演算値を前記信号量に応じて変更するようにしている。
【発明の効果】
【００１８】
本発明によれば、画素毎に、処理対象となる画素（以下、注目画素ともいう）のＲ，Ｇ，Ｂの信号量と閾値を比較することによって演算する画素と色を決定でき、混色している領域のみに対して演算で混色を補正することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の構成を図１から図７に示す実施の形態に基づいて詳細に説明する。
【００２０】
１．撮像装置の構成
本発明の撮像装置の一例として、デジタルカメラ１（以下、単にカメラともいう）を例に以下説明する。尚、撮像装置は、デジタルカメラ１に限られるものではなく、デジタルビデオカメラ等であっても良いのは勿論である。
【００２１】
図１にデジタルカメラ１の外観図の一例を示す。ここで、図１（Ａ）はカメラ上面図、（Ｂ）はカメラ正面図、（Ｃ）はカメラ裏面図を示す。
【００２２】
デジタルカメラ１は、カメラ上面にサブＬＣＤ１５と、レリーズボタン２と、撮影／再生切り換えダイヤル４とを有する。サブＬＣＤ１５は、例えば、撮影可能枚数など表示するための表示部である。また、カメラ正面には、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、鏡胴ユニット７と、光学ファインダー（正面）１１ａとを有する。
【００２３】
側面に設けられたメモリカードスロットル１２１は、メモリカード１３０（図２参照）を挿入するスロットルである。また、裏面には、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ１０と、光学ファインダー（裏面）１１ｂと、ズームボタン１２と、電源スイッチ１３と、操作部１４とを有する。
【００２４】
図２にデジタルカメラ１の機能ブロック図の一例を示すブロック図を示す。以下、デジタルカメラ１の動作について説明する。
【００２５】
ストロボ発光部３およびストロボ回路１１４は、自然光などの光が足りない場合に光量を補うものである。例えば、暗い場所や被写体が暗い場合の撮影においては、デジタルスチルカメラプロセッサ（以下、単にカメラプロセッサともいう）１０４からストロボ回路１１４にストロボ発光信号を送信する処理を行う。当該ストロボ発光信号を受けたストロボ回路１１４は、ストロボ発光部３を発光させ被写体を明るくする。
【００２６】
測距ユニット５は、カメラと被写体との距離を測るものである。近年、デジタルカメラでは、撮像素子（ＣＣＤ）に形成された像のコントラストを検出し、最もコントラストの高い位置にレンズを移動させてフォーカスを合わせるＣＣＤ−ＡＦ方式が用いられている。しかし、ＣＣＤ−ＡＦ方式は、レンズを少しずつ動かしてコントラストを探していくため、フォーカス動作が遅いという問題がある。そこで、測距ユニット５により被写体との距離情報を常に取得し、距離情報からレンズを一気に移動し、フォーカス動作を高速化している。
【００２７】
温度センサ１２４は環境温度を測定するものである。例えば、カメラ内外の温度を測定し、温度が異常に上昇している場合にはカメラの電源をオフにしたり、温度センサ１２４のデータを参照してカメラの制御内容の変更等を行う。
【００２８】
鏡胴ユニット７は、被写体の光学画像を取り込むズーム（Zoom）レンズ７−１ａ及びズーム（Zoom）モータ7―１ｂからなるズーム（Zoom）光学系７−１、フォーカス（Focus）レンズ７−２ａ及びフォーカス（Focus）モータ７−２ｂからなるフォーカス（Focus）光学系７−２、絞り７−３ａ及び絞りモータ７−３ｂからなる絞りユニット７−３、メカシャッタ７−４ａ及びメカシャッタモータ７−４ｂからなるメカシャッタユニット７−４、並びに各モータを駆動するモータードライバ７−５を有する。
【００２９】
モータードライバ７−５は、リモコン受光部６や操作ＫｅｙユニットＳＷ１〜ＳＷ１３からの入力に基づく、カメラプロセッサ１０４内にあるＣＰＵブロック１０４−３からの駆動指令により駆動制御される。
【００３０】
ＲＯＭ１０８には、ＣＰＵブロック１０４−３にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラ１の電源がオン状態になると、プログラムはメインメモリ（図示せず）にロードされ、ＣＰＵブロック１０４−３はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的にＲＡＭ１０７、及びカメラプロセッサ１０４内にあるＬｏｃａｌ ＳＲＡＭ１０４−４に保存する。尚、ＲＯＭ１０８として書き換え可能なフラッシュＲＯＭを使用することにより、制御プログラムや制御するためのパラメータを変更することができ、機能のバージョンアップを容易に行うことができる。
【００３１】
ＣＣＤ１０１は、光学画像を光電変換するための固体撮像素子である。Ｆ／Ｅ（フロントエンド）−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ（Correlated Double Sampling）１０２−１、利得調整を行うＡＧＣ(Automatic Gain Control)１０２−２、ディジタル信号変換を行うＡ／Ｄ１０２−３及びＣＣＤ１信号処理ブロック１０４−１より、垂直同期信号（以下、ＶＤ信号ともいう）、水平同期信号（以下、ＨＤ信号ともいう）を供給される。また、ＣＰＵブロック１０４−３によって制御されるＣＣＤ１０１及びＦ／Ｅ−ＩＣ１０２の駆動タイミング信号を発生するＴＧ（Timing Generator）１０２−４を有する。
【００３２】
カメラプロセッサ１０４は、ＣＣＤ１０１よりＦ／Ｅ―ＩＣ１０２の出力データにホワイトバランス設定やガンマ設定を行う。また、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１信号処理ブロック１０４−１、フィルタリング処理により輝度データ・色差データへの変換を行うＣＣＤ２信号処理ブロック１０４−２、装置各部の動作を制御するＣＰＵブロック１０４−３、制御に必要なデータ等を一時的に保存するＬｏｃａｌ ＳＲＡＭ１０４−４、パーソナルコンピュータ（以下、単にパソコンともいう）などの外部機器とＵＳＢ通信を行うＵＳＢブロック１０４−５、パソコンなどの外部機器とシリアル通信を行うシリアルブロック１０４−６、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧ ＣＯＤＥＣブロック１０４−７、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック１０４−８、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック１０４−９、撮影された画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック１０４−１０を有する。
【００３３】
ＳＤＲＡＭ１０３は、カメラプロセッサ１０４で画像データに各種処理を施す際、画像データを一時的に保存する。また、保存される画像データは、例えば、ＣＣＤ１０１から、Ｆ／Ｅ−ＩＣ１０２を経由して取りこんで、ＣＣＤ１信号処理ブロック１０４−１でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２信号処理ブロック１０４−２で輝度データ・色差データ変換が行われた状態の「ＹＣｂＣｒ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック１０４−７で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。
【００３４】
メモリカードスロットル１２１は、着脱可能なメモリカード１３０を装着するためのスロットルである。内蔵メモリ１２０は、メモリカードスロットル１２１にメモリカード１３０が装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。
【００３５】
ＬＣＤドライバ１１７は、ＬＣＤモニタ１０を駆動するドライブ回路であり、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号をＬＣＤモニタ１０に表示するための信号に変換する機能を有している。
【００３６】
ＬＣＤモニタ１０は、撮影前に被写体の状態を監視したり、撮影した画像を確認したり、メモリカード１３０や内蔵メモリ１２０に記録した画像データを表示したりするためのモニタである。ビデオＡＭＰ１１８は、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を７５Ωインピーダンス変換するためのアンプである。ビデオジャック１１９は、ＴＶなどの外部表示機器と接続するためのジャックである。ＵＳＢコネクタ１２２は、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタである。
【００３７】
シリアルドライバ回路１２３−１は、パソコンなどの外部機器とシリアル通信を行うために、シリアルブロック１０４−６の出力信号を電圧変換するための回路である。ＲＳ−２３２Ｃコネクタ１２３−２は、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。
【００３８】
ＳＵＢ−ＣＰＵ１０９は、ＲＯＭ・ＲＡＭをワンチップに内蔵したＣＰＵである。操作ＫｅｙユニットＳＷ１〜１３やリモコン受光部６の出力信号をユーザの操作情報として、ＣＰＵブロック１０４−３に出力したり、当該ＣＰＵブロック１０４−３より出力されるカメラの状態をサブＬＣＤ１５、ＡＦ ＬＥＤ８、ストロボＬＥＤ９及びブザー１１３の制御信号に変換して出力する。
【００３９】
サブＬＣＤ１５は、例えば撮影可能枚数など表示するための表示部である。ＬＣＤドライバ１１１は、ＳＵＢ−ＣＰＵ１０９の出力信号より、サブＬＣＤ１５を駆動するためのドライブ回路である。ＡＦ ＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤである。ストロボＬＥＤ９は、ストロボ充電状態を表すためのＬＥＤである。尚、ＡＦ ＬＥＤ８とストロボＬＥＤ９をメモリカードアクセス中などの別の表示用途に使用しても良いのは勿論である。また、操作ＫｅｙユニットＳＷ１〜１３は、ユーザーが操作するＫｅｙ回路である。リモコン受光部６は、ユーザーが操作したリモコン送信機の信号の受信部である。
【００４０】
音声記録ユニット１１５は、ユーザーが音声信号を入力するマイク１１５−３、入力された音声信号を増幅するマイクＡＭＰ１１５−２、増幅された音声信号を記録する音声記録回路１１５−３からなる。音声再生ユニット１１６は、記録された音声信号をスピーカーから出力できる信号に変換する音声再生回路１１６−１、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰ１１６−２及び音声信号を出力するスピーカー１１６−３からなる。
【００４１】
また、撮像装置は、後述するＲＧＢ変換手段２０、閾値設定手段２１、閾値比較手段２２、演算値設定手段２３及び演算手段２４を備えるものである（図３参照）。尚、上記ＲＧＢ変換手段２０、閾値設定手段２１、閾値比較手段２２、演算値設定手段２３及び演算手段２４は、カメラプロセッサ１０４で実行されるソフトウェア（後述の画像処理プログラム）を撮像装置で実行させることで構成でき、その実行の際に必要なデータは、例えば、ＲＡＭ１０７にロードされる。以上述べた撮像装置の構成は一例であってこれに限られるものではない。
【００４２】
２．撮像装置が備える各手段
図３に本発明の撮像装置が備える機能ブロック図を示す。
【００４３】
ＲＧＢ変換手段２０は、例えば入力画像がＪＰＥＧ方式などの場合に、ＪＰＥＧ方式のＹＣｂＣｒ形式の信号をＲＧＢ信号に変換処理を行う。
【００４４】
閾値設定手段２１は入力画像に対し、混色補正を行うかどうかの判定基準となる閾値を設定し、当該閾値を記憶する。ここで、閾値は、ユーザー或いは設計者が任意に設定可能であり、例えば、画像確認用のＬＣＤモニタ１０などで確認しながら操作部１４の操作キー等を用いて閾値を入力できるようにするものである。
【００４５】
閾値比較手段２２は、閾値設定手段２１で設定された閾値と、入力画像の信号量とを比較する。
【００４６】
演算値設定手段２３は、入力画像の各画素に対し、混色補正のための演算を行うための演算値を設定し、当該演算値を記憶する。
【００４７】
演算手段２４は、入力画像の各画素に対して、閾値比較手段２２による比較結果に応じて、演算値設定手段２３で設定された演算値を用いて混色補正のための演算を行う。
【００４８】
３．画像処理方法及び画像処理プログラムの詳細
次に、本発明の画像処理方法及び画像処理プログラムが実行する処理について図４に示すフローチャートを参照して、詳細を説明する。
【００４９】
画像処理方法及び画像処理プログラムでは、ＲＧＢの信号に対して以下に述べる比較、演算等の処理を行う。このため、最初に入力画像がＲＧＢ形式であるかを判断する（Ｓ１０１）。
【００５０】
デジタルカメラでは一般にファイル形式としてＪＰＥＧ方式（信号形式：ＹＣｂＣｒ形式）が採用されている。このため入力画像がＲＧＢ形式でない場合（Ｓ１０１−ＮＯ）、信号形式をＲＧＢ形式に変換した後（Ｓ１０２）、閾値設定処理（Ｓ１０３）に移る。ＹＣｂＣｒ形式からＲＧＢ形式への変換（Ｓ１０２）は、例えば、次式（４）により表される。尚、信号形式がＹＣｂＣｒ以外の形式の場合も、同様に公知または新規の手法によりＲＧＢ変換を行えばよい。
Ｒ ＝ Ｙ ＋ １．４０２００ × Ｃｒ
Ｇ ＝ Ｙ − ０．３４４１４ × Ｃｂ − ０．７１４１４ × Ｃｒ
Ｂ ＝ Ｙ ＋ １．７７２００ × Ｃｂ                      …（４）
【００５１】
一方、入力画像がＲＧＢ形式の場合（Ｓ１０１−ＹＥＳ）は、そのまま閾値設定処理（Ｓ１０３）に移る。
【００５２】
閾値設定処理（Ｓ１０３）では、入力画像の各画素について混色補正を行うかどうかを決定するための閾値が入力画像の各色（Ｒ，Ｇ，Ｂ）毎に設定され、記憶される。
【００５３】
閾値設定の一例を概念的に示した図を図５に示す。本実施形態ではＲ，Ｇ，Ｂの各色毎に２つの閾値を設定した場合を例に説明を行うが、本発明はこれに限定されるものではなく、各色毎に１つの閾値を設けるようにしても、３以上の閾値を設けるようにしても良い。
【００５４】
図５に示すように、閾値としてＲの閾値をＲｔｈ１，Ｒｔｈ２とし（但し、Ｒｔｈ１＜Ｒｔｈ２）、Ｇの閾値をＧｔｈ１，Ｇｔｈ２とし（但し、Ｇｔｈ１＜Ｇｔｈ２、）、Ｂの閾値をＢｔｈ１，Ｂｔｈ２とする（但し、Ｂｔｈ１＜Ｂｔｈ２）。ここで、Ｒ，Ｇ，Ｂの各閾値の値は、それぞれ独立した値であり相関性を持たせる必要はないが、相関性を持たせるようにしても良い。
【００５５】
次に閾値比較処理（Ｓ１０４）について説明する。閾値比較処理（Ｓ１０４）の詳細な処理フローを図６に示す。閾値比較処理（Ｓ１０４）は、入力画像の各画素のＲ，Ｇ，Ｂの信号量に対して行うものである。
【００５６】
閾値比較処理（Ｓ１０４）では、次式（５）に示すように、最初に信号量が閾値の大きい方の値（Ｒｔｈ２、Ｇｔｈ２、Ｂｔｈ２）以上の値であるかを比較する（Ｓ１０４−１）。
（Ｒ≧Ｒｔｈ２） ＯＲ （Ｇ≧Ｇｔｈ２） ＯＲ （Ｂ≧Ｂｔｈ２）  …（５）
【００５７】
このとき上記式（５）の条件式のいずれか１つのみを満たすかを判断する（Ｓ１０４−２）。いずれか１つの条件式を満たす場合（Ｓ１０４−２：ＹＥＳ）には、条件を満たさなかった残り２つの色が閾値の小さい方の値（Ｒｔｈ１、Ｇｔｈ１、Ｂｔｈ１）より小さいかどうかを判断する（Ｓ１０４−３〜６）。
【００５８】
Ｒ≧Ｒｔｈ２の条件を満たす場合は、次式（６）により判断する（Ｓ１０４−３）。
（Ｇ＜Ｇｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）  …（６）
【００５９】
Ｇ≧Ｇｔｈ２の条件を満たす場合は、次式（７）により判断する（Ｓ１０４−４）。
（Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）  …（７）
【００６０】
Ｂ≧Ｂｔｈ２の条件を満たす場合は、次式（８）により判断する（Ｓ１０４−５）。
（Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｇ＜Ｇｔｈ１）  …（８）
【００６１】
上記式（６）〜（８）を満たす、即ち、残りの２つの色についても条件を満たしていれば条件を満たしているとし（Ｓ１０４−６：ＹＥＳ）、どちらか片方でも条件を満たさない場合には条件を満たしていないとする（Ｓ１０４−６：ＮＯ）。
【００６２】
また、上記式（５）の条件式の２つ以上の条件式を満たす場合または上記式（５）の条件式のいずれも満たさない場合は、条件を満たしていないとする（Ｓ１０４−２：ＮＯ）。
【００６３】
以上の処理により条件を満たす（Ｓ１０４−６：ＹＥＳ）と判断された画素（条件ＯＫ）については、以下に述べる演算値設定処理（Ｓ１０５）以降の処理を行って、混色補正を行うが、条件を満たさない（Ｓ１０４−２：ＮＯ，Ｓ１０４−６：ＮＯ）と判断された画素（条件ＮＧ）については、以降の処理は行わず混色補正は行わない。
【００６４】
このように判断するのは、Ｒ、Ｇ、Ｂのうち２つの色の信号量が大きいときには、Ｒ、Ｇ、Ｂの補色であるＣｙａｎ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗを表現している可能性があり、また２色が閾値よりも小さい場合は、原色のＲ、Ｇ、Ｂを表現している可能性が高いためである。
【００６５】
図４のフローチャートの説明に戻る。閾値比較処理（Ｓ１０４）において条件を満たす場合（Ｓ１０４：条件ＯＫ）は、演算値設定処理（Ｓ１０５）に移る。一方、条件を満たさない場合（Ｓ１０４：条件ＮＧ）は、Ｓ１０７の判断に移る。
【００６６】
ここで、演算を行う画素の信号量に関係なく一律の値で演算すると、信号量が小さい画素に大きな値の演算値の設定であれば、減算であれば引き過ぎにより信号がなくなってしまうおそれがあり、その結果、画像が破綻する可能性がある。また、逆に、信号量が大きな画素に小さな値の演算値の設定であれば、演算による値の変化が小さいため、補正効果が現れない。
【００６７】
そこで本発明では、演算値設定処理（Ｓ１０５）において、演算を行う画素の信号量に応じた演算値を設定し、当該演算値を記憶させるようにしている。
【００６８】
以下に、図７を参照して演算を行う画素の信号量に応じた演算値を設定する方法を説明する。
【００６９】
図７（ａ）は、信号量に比例して演算値を設定した場合の設定例を示す。この場合、信号量の増減に応じた定率の演算値設定を行うことができる。
【００７０】
これに対し、図７（ｂ）、（ｃ）は、信号量に比例しない演算値を設定した場合の設定例を示す。
当該演算値の設定は、入力信号量に対して非線形の演算処理を行う場合に用いる。
【００７１】
例えば、ＬＣＤやＣＲＴなどの出力装置では、入力に対して出力は非線形な特性で出力されており、このような非線形な出力の場合、明るさに階調性がなく、また画像が暗くなるため、人は正しく画像を見ることができない。このため、出力装置の特性を考慮して、出力が線形性を保つように予め入力信号に処理を行うガンマ処理を行っている。従って、図７（ｂ）のようなガンマ曲線と同じグラフを用いることで、ガンマ処理による影響を無くすことができる。
【００７２】
尚、演算値の設定形式は、上述の例に限らず、例えば、入力信号量と演算値の点の組合せで複数箇所設定できるようにしても良く、また、設定箇所を数点に絞って間を近似するようにしても良い。
【００７３】
次に、演算値設定処理（Ｓ１０５）で設定された演算値に基づいて、混色補正のための演算処理（Ｓ１０６）を行う。信号量と演算値に基づいた演算処理（Ｓ１０６）は、以下に述べる減算、除算、加算、乗算のいずれか、または、減算かつ除算、加算かつ積算のいずれか一方を行うものである。ここで、いずれの演算処理を行うかは、混色状況に応じて判断すればよい。例えば、Ｒ，Ｇ，Ｂの各信号量や全体の信号量を判断基準として判断すればよく、特に限られるものではない。
【００７４】
以下、各画素毎の信号量をそれぞれＲｓ、Ｇｓ、Ｂｓ、設定された演算値をＲｒｅｖ、Ｇｒｅｖ、Ｂｒｅｖ、演算後のそれぞれの信号量をＲｓ’、Ｇｓ’、Ｂｓ’とする。
【００７５】
減算または除算の演算時には、信号量の少ない色に対して演算を行う。信号量の少ない色に対して演算を行うのは、信号量の多い色に対して、混色によって漏れ込んできた信号量の少ない色を取り除くためである。尚、減算、除算、または減算及び除算の双方のいずれの演算処理を行うかは、例えば、全体の信号量を判断基準として任意に設定可能である。
【００７６】
減算処理時の信号量は、次式（９）で表される。
（Ｒ≧Ｒｔｈ２） ＡＮＤ （Ｇ＜Ｇｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）を満たすとき、
Ｇｓ’ ＝ Ｇｓ − Ｇｒｅｖ
Ｂｓ’ ＝ Ｂｓ − Ｂｒｅｖ
（Ｇ≧Ｇｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）を満たすとき、
Ｒｓ’ ＝ Ｒｓ − Ｒｒｅｖ
Ｂｓ’ ＝ Ｂｓ − Ｂｒｅｖ
（Ｂ≧Ｂｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｇ＜Ｇｔｈ１）を満たすとき、
Ｒｓ’ ＝ Ｒｓ − Ｒｒｅｖ
Ｇｓ’ ＝ Ｇｓ − Ｇｒｅｖ                            …（９）
【００７７】
同様に除算処理時の信号量は、次式（１０）で表される。
（Ｒ≧Ｒｔｈ２） ＡＮＤ （Ｇ＜Ｇｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）を満たすとき、
Ｇｓ’ ＝ Ｇｓ ／ Ｇｒｅｖ
Ｂｓ’ ＝ Ｂｓ ／ Ｂｒｅｖ
（Ｇ≧Ｇｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）を満たすとき、
Ｒｓ’ ＝ Ｒｓ ／ Ｒｒｅｖ
Ｂｓ’ ＝ Ｂｓ ／ Ｂｒｅｖ
（Ｂ≧Ｂｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｇ＜Ｇｔｈ１）を満たすとき、
Ｒｓ’ ＝ Ｒｓ ／ Ｒｒｅｖ
Ｇｓ’ ＝ Ｇｓ ／ Ｇｒｅｖ                          …（１０）
【００７８】
これに対し、加算または乗算の演算時には、信号量の多い色に対して演算を行う。信号量の多い色に対して演算を行うのは、信号量の多い色に対して、信号量の少ない色が混色によって漏れ込んできており、信号量の多い色の比率を高めて混色を低減させるためである。尚、加算、乗算、または加算及び乗算の双方のいずれの演算処理を行うかは、例えば、全体の信号量を判断基準として任意に設定可能である。
【００７９】
加算処理時の信号量は、次式（１１）で表される。
（Ｒ≧Ｒｔｈ２） ＡＮＤ （Ｇ＜Ｇｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１））を満たすとき、
Ｒｓ’ ＝ Ｒｓ ＋ Ｒｒｅｖ
（Ｇ≧Ｇｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１））を満たすとき、
Ｇｓ’ ＝ Ｇｓ ＋ Ｇｒｅｖ
（Ｂ≧Ｂｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｇ＜Ｇｔｈ１）を満たすとき、
Ｂｓ’ ＝ Ｂｓ ＋ Ｂｒｅｖ                          …（１１）
【００８０】
同様に乗算処理時の信号量は、次式（１２）で表される。
（Ｒ≧Ｒｔｈ２） ＡＮＤ （Ｇ＜Ｇｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）を満たすとき、
Ｒｓ’ ＝ Ｒｓ × Ｒｒｅｖ
（Ｇ≧Ｇｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｂ＜Ｂｔｈ１）を満たすとき、
Ｇｓ’ ＝ Ｇｓ × Ｇｒｅｖ
（Ｂ≧Ｂｔｈ２） ＡＮＤ （Ｒ＜Ｒｔｈ１） ＡＮＤ （Ｇ＜Ｇｔｈ１）を満たすとき、
Ｂｓ’ ＝ Ｂｓ × Ｂｒｅｖ                          …（１２）
【００８１】
演算処理（Ｓ１０６）が終了したら、入力画像の全ての画素について処理が終了したかどうかを判断（Ｓ１０７）し、全ての画素についての処理が終了していない場合（Ｓ１０７：ＮＯ）は、対象を次の画素に移し（Ｓ１０４へ戻る）、閾値比較処理（Ｓ１０４）、演算値設定処理（Ｓ１０５）及び演算処理（Ｓ１０６）を全ての画素が終了するまで繰り返す。これに対し、全ての画素についての処理が終了している場合（Ｓ１０７：ＹＥＳ）は、画像処理方法及び画像処理プログラムが実行する処理は終了する。
【００８２】
以上述べたように、本発明は、演算手段として加算、減算、乗算、除算を有し、かつ混色状況に応じた演算を選択できることにより、効果的な演算を行うことができる。また、信号量と閾値との比較結果に条件式を定めることより、Ｒ，Ｇ，Ｂの補色に対して誤って混色補正をすることを防ぐことができる。更に、演算に用いる演算値を入力信号に応じて変更することにより、信号量に効果のある演算量を設定することができる。その結果、暗部、明部などで細やかな混色補正を行うことができる。
【００８３】
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。また、上述の演算式は一例であり、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【００８４】
例えば、本発明はパーソナルコンピュータ等の画像処理装置にも適用することができる。画像処理装置は、ディスプレイ等の出力装置と、キーボード、マウス等の入力装置と、演算処理を行う中央処理演算装置（ＣＰＵ）と、演算中のデータ、パラメータ等が記憶される主記憶装置（ＲＡＭ）と、計算結果等の各種データが記録される補助記憶装置としてのハードディスク、画像データが入力される入力インターフェース等を備えるものである。尚、上記のハードウェア資源は例えばバスを通じて電気的に接続されている。また、入力インターフェースは、撮像装置や映像、画像等が記録された記憶媒体から読み込まれる信号をコンピュータでの処理が可能なデータに変換する機能や、各画像をそれぞれ画像データとして補助記憶装置に記録する機能等を有する。
【００８５】
この場合、画像処理装置は、本発明の撮像装置と同様に上記ＲＧＢ変換手段２０、閾値設定手段２１、閾値比較手段２２、演算値設定手段２３及び演算手段２４を備えるものとする。尚、上記ＲＧＢ変換手段２０、閾値設定手段２１、閾値比較手段２２、演算手段２３及び演算値設定手段２３は、ＣＰＵで実行されるソフトウェア（本発明の画像処理プログラム）をコンピュータで実行させることで構成でき、その実行の際に必要なデータは、ＲＡＭにロードされる。
【図面の簡単な説明】
【００８６】
【図１】デジタルカメラの外観図の一例であって、（Ａ）は上面図、（Ｂ）は正面図、（Ｃ）は裏面図である。
【図２】デジタルカメラの機能ブロック図の一例である。
【図３】撮像装置の機能ブロック図の一例である。
【図４】画像処理方法及び画像処理プログラムが実行する処理の一例を示すフローチャートである。
【図５】閾値設定手段における閾値設定の一例を示す概念図である。
【図６】閾値比較処理の詳細を示すフローチャートである。
【図７】演算値設定手段における演算値設定の一例を示す概念図である。
【符号の説明】
【００８７】
１  撮像装置（デジタルカメラ）
２１  閾値設定手段
２２  閾値比較手段
２３  演算値設定手段
２４  演算手段
【図１】
2010041534.tif 000003
【図２】
2010041534.tif 000004
【図３】
2010041534.tif 000005
【図４】
2010041534.tif 000006
【図５】
2010041534.tif 000007
【図６】
2010041534.tif 000008
【図７】
2010041534.tif 000009