(57)【要約】【課題】 ノイズ成分を適切に除去し、高画質の画像を得ることができるカラー撮像装置を提供することである。【解決手段】 ＣＰＵ７は、撮像素子３を制御して、撮像により得られた画像データを第１のメモリ５に記憶する。ＤＳＰ８は、第１のメモリ５に記憶した画像データを加工して色差データを生成する。ＤＳＰ８は、生成した色差データに対して偽色評価を行い、ノイズ成分が含まれているか否かを判別する。ＤＳＰ８は、ノイズ成分が含まれていると判別した場合に、色差データの彩度を減少させてノイズ成分を除去する。ＤＳＰ８は、色差データをＲＧＢデータに変換し第２のメモリ１０に記憶する。ＣＰＵ７は、第２のメモリ１０に記憶したＲＧＢデータを表示部９に表示する。【選択図】      図１
2007195259.tif 000002
【特許請求の範囲】
【請求項１】
各画素位置でのｎ色分の画像データを入力する入力手段と、
前記入力手段により入力された画像データがノイズ成分を含んでいるか否かを判別する評価手段と、
前記評価手段が画像データにノイズ成分が含まれていると判別した場合に、画像データの値を補正する補正手段と、
前記補正手段により補正された画像データを出力する手段と、
を備えることを特徴とするカラー撮像装置。
【請求項２】
ｎ色分の画像データがマトリクス状に配置されて形成された画像データを入力する入力手段と、
前記入力手段により入力された画像データが予め決められた関係を満たすか否かにより、入力された画像データがノイズ成分を含んでいるか否かを判別する評価手段と、
前記評価手段が画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させる補正手段と、
前記補正手段により補正された画像データを出力する手段と、を備えることを特徴とするカラー撮像装置。
【請求項３】
前記入力手段は、被写体の像を撮像して前記画像データを生成する撮像手段を備え、
前記評価手段は、数式１に示される評価値の絶対値が予め設定された基準の範囲内であれば、入力された画像データがノイズ成分を含んでいないと判別し、範囲内でなければ、入力された画像データがノイズ成分を含んでいると判別する、ことを特徴とする請求項１又は２に記載のカラー撮像装置。
［数１］
Ｆ＝ｋ１・ｄ１＋ｋ２・ｄ２＋…＋ｋｎ・ｄｎ
Ｆ：評価値
ｎ：画像を構成する色成分の数
ｋ１〜ｋｎ：補正係数
ｄ１〜ｄｎ：同一画素位置での各色の画像データ
【請求項４】
前記撮像手段は、マトリクス状に配置された複数の受光素子と、各受光素子の受光面上にマトリクス状に配置されたｎ色のカラーフィルタと、を備え、
前記入力手段は、各画素位置でのｎ色分の画像データを各受光素子で得られた画像データから補間法を用いて求める補間手段と、
をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載のカラー撮像装置。
【請求項５】
前記カラーフィルタは、白、緑、水色、黄色の４色であることを特徴とする請求項４に記載のカラー撮像装置。
【請求項６】
各画素位置又は隣接する画素位置での各色の画像データを入力し、
入力した画像データが予め決められた関係を満たすか否かにより、入力した画像データがノイズ成分を含んでいるか否かを判別し、
画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させるように該画像データを補正し、
補正した画像データを出力する、
ことを特徴とするカラー画像補正方法。
【請求項７】
各画素位置又は隣接する画素位置での各色の画像データを入力し、
入力した画像データを数式１に代入して得られる評価値の絶対値が予め設定された基準の範囲内であれば、入力された画像データがノイズ成分を含んでいないと判別し、範囲内でなければ、入力された画像データがノイズ成分を含んでいると判別し、
画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させるように該画像データを補正し、
補正した画像データを出力する、
ことを特徴とするカラー画像補正方法。
【請求項８】
コンピュータをカラー撮像装置として機能させるプログラムを記録するコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、各画素位置でのｎ色分の画像データを入力する入力手段、前記入力手段により入力された画像データがノイズ成分を含んでいるか否かを判別する評価手段、前記評価手段が画像データにノイズ成分が含まれていると判別した場合に、画像データの値を補正する補正手段、前記補正手段により補正された画像データを出力する手段、として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像素子を用いた撮像等により取得した画像データから、ノイズ成分を除去し、高画質の画像データを生成することができるカラー撮像装置、カラー画像補正方法及び記憶媒体に関する。
【背景技術】
【０００２】
従来のカラー撮像装置は、撮像により取得した画像データからノイズ成分を除去し、画質の向上を図っている。一般的な、ノイズ除去の方法として、例えば、偽色というノイズが発生しやすい画像の空間高周波数部やエッジ部を抜き出し、そこの色の濃さ（彩度）を減少させる方法が採られていた。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この方法では、画像の空間高周波数部やエッジ部に現れる偽色部は、除去されるが、その他の部分に発生した偽色部が、除去されずに残ってしまうという欠点があった。また、画像の空間高周波数部やエッジ部を抜き出すための計算も煩雑なものであった。
さらに、画像の空間高周波数部やエッジ部から抜き出した部分が偽色部でない場合であっても、偽色部とみなして色の濃さ（彩度）を減少させてしまう誤作動を防止するため、不感帯を設ける必要があり、完全にノイズ成分が除去できない場合もあった。
【０００４】
この発明は、上記実状に鑑みてなされたもので、ノイズ成分を適切に除去し、高画質の画像を得ることができるカラー撮像装置、カラー画像補正方法及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の第１の観点にかかるカラー撮像装置は、
各画素位置でのｎ色分の画像データを入力する入力手段と、
入力手段により入力された画像データがノイズ成分を含んでいるか否かを判別する評価手段と、
評価手段が画像データにノイズ成分が含まれていると判別した場合に、画像データの値を補正する補正手段と、
補正手段により補正された画像データを出力する手段と、
を備えることを特徴とする。
【０００６】
この発明によれば、評価手段は、入力手段から入力した画像データにノイズ成分が含まれているか否かを判別する。評価手段が画像データにノイズ成分が含まれていると判別した場合に、補正手段は、画像データの値を補正する。この結果、ノイズ成分を適切に除去し、高画質の画像を得ることができる。
【０００７】
上記目的を達成するため、本発明の第２の観点にかかるカラー撮像装置は、
ｎ色分の画像データがマトリクス状に配置されて形成された画像データを入力する入力手段と、
入力手段により入力された画像データが予め決められた関係を満たすか否かにより、入力された画像データがノイズ成分を含んでいるか否かを判別する評価手段と、
評価手段が画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させる補正手段と、
補正手段により補正された画像データを出力する手段と、
を備えることを特徴とする。
【０００８】
この発明によれば、評価手段は、入力手段から入力した画像データにノイズ成分が含まれているか否かを判別する。評価手段が画像データにノイズ成分が含まれていると判別した場合に、補正手段は、画像データの値を補正する。この結果、ノイズ成分を適切に除去し、高画質の画像を得ることができる。
【０００９】
入力手段は、被写体の像を撮像して前記画像データを生成する撮像手段を備え、
評価手段は、数式２に示される評価値の絶対値が予め設定された基準の範囲内であれば、入力された画像データがノイズ成分を含んでいないと判別し、範囲内でなければ、入力された画像データがノイズ成分を含んでいると判別してもよい。
［数２］
Ｆ＝ｋ１・ｄ１＋ｋ２・ｄ２＋…＋ｋｎ・ｄｎ
Ｆ：評価値
ｎ：画像を構成する色成分の数
ｋ１〜ｋｎ：補正係数
ｄ１〜ｄｎ：同一画素位置での各色の画像データ
【００１０】
撮像手段は、マトリクス状に配置された複数の受光素子と、各受光素子の受光面上にマトリクス状に配置されたｎ色のカラーフィルタと、を備え、
入力手段は、各画素位置でのｎ色分の画像データを各受光素子で得られた画像データから補間法を用いて求める補間手段と、
をさらに備えてもよい。
【００１１】
入力手段は、各受光素子で得られた画像データから補間法を用いて高解像度のｎ色分の画像データを入力する。評価手段は、入力手段から入力した画像データにノイズ成分が含まれているか否かを判別する。評価手段が画像データにノイズ成分が含まれていると判別した場合に、補正手段は、画像データの値を補正する。この結果、ノイズ成分を適切に除去し、高画質の画像を得ることができる。
【００１２】
カラーフィルタは、白、緑、水色、黄色の４色としてもよい。
【００１３】
上記目的を達成するため、本発明の第３の観点にかかるカラー画像補正方法は、
各画素位置又は隣接する画素位置での各色の画像データを入力し、
入力した画像データが予め決められた関係を満たすか否かにより、入力した画像データがノイズ成分を含んでいるか否かを判別し、
画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させるように該画像データを補正し、
補正した画像データを出力する、
ことを特徴とする。
【００１４】
この発明によれば、入力した画像データがノイズ成分を含んでいるか否かを判別し、画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させるように該画像データを補正し、補正した画像データを出力する。この結果、ノイズ成分を適切に除去し、高画質の画像を得ることができる。
【００１５】
上記目的を達成するため、本発明の第４の観点にかかるカラー画像補正方法は、
各画素位置又は隣接する画素位置での各色の画像データを入力し、
入力した画像データを数式２に代入して得られる評価値の絶対値が予め設定された基準の範囲内であれば、入力された画像データがノイズ成分を含んでいないと判別し、範囲内でなければ、入力された画像データがノイズ成分を含んでいると判別し、
画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させるように該画像データを補正し、
補正した画像データを出力する、
ことを特徴とする。
【００１６】
この発明によれば、入力した画像データがノイズ成分を含んでいるか否かを判別し、画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させるように該画像データを補正し、補正した画像データを出力する。この結果、ノイズ成分を適切に除去し、高画質の画像を得ることができる。
【００１７】
上記目的を達成するため、本発明の第５の観点にかかる記憶媒体は、
コンピュータをカラー撮像装置として機能させるプログラムを記録するコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、各画素位置でのｎ色分の画像データを入力する入力手段、前記入力手段により入力された画像データがノイズ成分を含んでいるか否かを判別する評価手段、前記評価手段が画像データにノイズ成分が含まれていると判別した場合に、画像データの値を補正する補正手段、前記補正手段により補正された画像データを出力する手段、として機能させるプログラムを記録する。
【００１８】
この発明によれば、入力した画像データがノイズ成分を含んでいるか否かを判別し、画像データにノイズ成分が含まれていると判別した場合に、画像データの彩度を減少させるように該画像データを補正し、補正した画像データを出力する。この結果、ノイズ成分を適切に除去し、高画質の画像を得ることができる。
【発明の効果】
【００１９】
以上説明したように、この発明にかかるカラー撮像装置は、各画素位置毎に、ノイズ成分（偽色）を適切に除去し、高画質の画像を得ることができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して、この発明の実施の形態にかかるカラー撮像装置及びカラー画像補正方法を説明する。
図１は、この発明の実施の形態にかかるカラー撮像装置の構成の一例を示すブロック図である。
この撮像装置は、撮像レンズ１と、カラーフィルタ２と、撮像素子３と、Ａ／Ｄ部４と、第１のメモリ５と、キー６と、ＣＰＵ７と、ＤＳＰ８と、表示部９と、第２のメモリ１０とより構成される。
【００２１】
撮像レンズ１は、ガラス、プラスチック等の透明な材質から構成され、被写体の像を撮像素子３の受光面上に結像する。
【００２２】
カラーフィルタ２は、撮像素子３の前方（受光面上）に配置され、セルロース、ゼラチン等からなるカラーフィルタ片から構成される。カラーフィルタ片は白（Ｗｈ）、緑（Ｇ）、水色（Ｃｙ）及び黄色（Ｙｅ）のうちいずれか１色の光を中心とした通過帯域特性を有し、図２に示すようにマトリクス状に配列されている。隣接するカラーフィルタ片の間は、ブラックマスクにより遮光されている。
【００２３】
撮像素子３は、ＣＣＤ（チャージカップルドデバイス）等からなり、方形の開口部を持つ受光素子（光電変換素子）が、マトリクス状に配列された構成を有し、図２に示すように、撮像素子３の前方（受光面上）を覆ったカラーフィルタ２の白（Ｗｈ）、緑（Ｇ）、水色（Ｃｙ）、黄色（Ｙｅ）のうち１色のカラーフィルタ片が各受光素子を覆う様に配置される。撮像素子３は、ＣＰＵ７からの指示に応答して、開口部からその前方を覆うカラーフィルタ片の色を中心とした帯域の光を受光し、光電変換を行った後、入射光量に対応する画像信号をＡ／Ｄ部４に供給する。
【００２４】
Ａ／Ｄ（アナログデジタル）部４は、Ａ／Ｄコンバータ等から構成され、撮像素子３から供給された画像信号をデジタル変換して、第１のメモリ５に画像データとして供給する。
【００２５】
第１のメモリ５は、ＲＡＭ等から構成され、Ａ／Ｄ部４から供給される画像データを記憶する。
【００２６】
キー６（シャッタボタン）は、押ボタン等から構成され、押操作により、一連の撮像動作の開始を指示するトリガ信号を発生させ、ＣＰＵ７に供給する。
【００２７】
ＣＰＵ（中央処理装置）７は、（１）キー６の押操作に応答して、撮像素子３を制御して撮像し、（２）Ａ／Ｄ部４を制御して、撮像素子３から出力された画像信号を画像データに変換し、（３）ＤＳＰ８を制御して、画像データを画像処理し、（４）表示部９を制御して、画像処理後のＲ（赤）Ｇ（緑）Ｂ（青）データを表示する。
【００２８】
ＤＳＰ（デジタルシグナルプロセッサ）８は、（１）画像データからスミア成分及び暗電流値を除去し、（２）各画素位置でのカラーフィルタ２の各色に対応する画像データを生成する補間処理を行い、（３）画像データから輝度データ（Ｙ）を生成し、（４）画像データをＲＧＢデータに変換し、（５）ＲＧＢデータをホワイトバランス調整し、（６）ホワイトバランス調整後のＲＧＢデータを色差データ（ＵＶ）に変換し、（７）色差データ（ＵＶ）からノイズ成分を除去し、（８）輝度データ（Ｙ）及び色差データ（ＵＶ）をγ補正し、（９）γ補正後の輝度データ（Ｙ）と色差データ（ＵＶ）とをＲＧＢデータに変換して第２のメモリ１０に供給する。
【００２９】
表示部９は、ＬＣＤ（液晶ディスプレイ）等から構成され、第２のメモリ１０に記憶された画像処理後のＲＧＢデータを表示する。
【００３０】
第２のメモリ１０は、ＲＡＭ等から構成され、ＤＳＰ８から供給される画像処理後のＲＧＢ画像データを記憶する。
【００３１】
以下、この実施の形態にかかるカラー撮像装置の撮像動作及び画像処理動作を図３及び図４のフローチャートを参照して説明する。
【００３２】
キー６が押下されると、キー６は、撮像開始を指示するトリガ信号を発生させ、ＣＰＵ７に供給する。このトリガ信号に応答して、ＣＰＵ７は、図３に示す撮像処理を開始する。まず、ＣＰＵ７は、撮像素子３を制御して、カラーフィルタ２を通過して入射した被写体からの光を露光する（ステップＳ１）。
【００３３】
次に、ＣＰＵ７は、撮像素子３を制御して、露光した光を光電変換により画像信号に変換し、Ａ／Ｄ部４に供給する（ステップＳ２）。
【００３４】
次に、ＣＰＵ７は、Ａ／Ｄ部４を制御して、撮像素子３から供給された画像信号をアナログ・デジタル変換により画像データに変換し、第１のメモリ５に供給する（ステップＳ３）。
【００３５】
次に、ＣＰＵ７は、Ａ／Ｄ部４が、全ての画像データを第１のメモリ５に供給した後、ＤＳＰ８に画像処理の開始を指示するコマンドを送信する（ステップＳ４）。
【００３６】
ＣＰＵ７から画像処理の開始を指示するコマンドを受信すると、ＤＳＰ８は、図４に示す画像処理を開始する。
まず、ＤＳＰ８は、第１のメモリ５に記憶されている画像データから、スミア成分及び暗電流値を除去する（ステップＳ１１）。即ち、撮像素子３を用いた撮像により取得した画像データは、スミア成分や暗電流値を含むため、例えば、数式３で示すようにこれらの成分を除去する。
【００３７】
［数３］
Ｄ’Wh＝ＤWh−ＤD−ＤS
Ｄ’G＝ＤG−ＤD−ＤS
Ｄ’Cy＝ＤCy−ＤD−ＤS
Ｄ’Ye＝ＤYe−ＤD−ＤS
ＤWh〜ＤYe：除去前の白、緑、水色、黄色の画像データ
Ｄ’Wh〜Ｄ’Ye：除去後の白、緑、水色、黄色の画像データ
ＤD：暗電流による成分
ＤS：スミア成分
【００３８】
次に、ＤＳＰ８は、各画素位置でのカラーフィルタ２の各色の画像データを生成する補間処理を行う（ステップＳ１２）。
第１のメモリ５に記憶されている画像データは、カラーフィルタ２を通過した光を撮像素子３を用いて撮像した後、Ａ／Ｄ部４を介して画像データに変換したものであるため、図５に示すようにカラーフィルタ２の各カラーフィルタ片に対応した１色分（Ｗｈ〜Ｙｅ）の画像データとなる。ＤＳＰ８は、これらの画像データを高解像度の画像データとするため、図６に示すように、各画素位置で４色分の画像データとなる画像データ（Ｗｈ’〜Ｙｅ’）を補間処理により求める。
【００３９】
補間処理は、例えば、数式４及び数式５を用いて行い、各画素位置で４色分の画像データを生成する。なお、この補間処理は、（空間的）ローパスフィルタも兼ねており、求められた各画素位置での４色分の画像データ（Ｗｈ’〜Ｙｅ’）の画質を高める効果もある。
【００４０】
［数４］
Ｗｈ’i,j＝（Ｗｈi-2,j-2＋Ｗｈi-2,j＋Ｗｈi-2,j+2＋Ｗｈi,j-2＋Ｗｈi,j＋Ｗｈi,j+2＋Ｗｈi+2,j-2＋Ｗｈi+2,j＋Ｗｈi+2,j+2）／９
（Ｗｈi,jが存在する場合）
Ｇ’i,j＝（Ｇi-2,j-2＋Ｇi-2,j＋Ｇi-2,j+2＋Ｇi,j-2＋Ｇi,j＋Ｇi,j+2＋Ｇi+2,j-2＋Ｇi+2,j＋Ｇi+2,j+2）／９
（Ｇi,jが存在する場合）
Ｃｙ’i,j＝（Ｃｙi-2,j-2＋Ｃｙi-2,j＋Ｃｙi-2,j+2＋Ｃｙi,j-2＋Ｃｙi,j＋Ｃｙi,j+2＋Ｃｙi+2,j-2＋Ｃｙi+2,j＋Ｃｙi+2,j+2）／９
（Ｃｙi,jが存在する場合）
Ｙｅ’i,j＝（Ｙｅi-2,j-2＋Ｙｅi-2,j＋Ｙｅi-2,j+2＋Ｙｅi,j-2＋Ｙｅi,j＋Ｙｅi,j+2＋Ｙｅi+2,j-2＋Ｙｅi+2,j＋Ｙｅi+2,j+2）／９
（Ｙｅi,jが存在する場合）
Ｗｈi,j〜Ｙｅi,j：白、緑、水色、黄色の補間前画像データ
Ｗｈ’i,j〜Ｙｅ’i,j：白、緑、水色、黄色の補間後画像データ
【００４１】
［数５］
Ｗｈ’i,j＝（Ｗｈi-1,j-1＋Ｗｈi-1,j+1＋Ｗｈi+1,j-1＋Ｗｈi+1,j+1）／４
（Ｗｈi,jが存在しない場合）
Ｇ’i,j＝（Ｇi-1,j-1＋Ｇi-1,j+1＋Ｇi+1,j-1＋Ｇi+1,j+1）／４
（Ｇi,jが存在しない場合）
Ｃｙ’i,j＝（Ｃｙi-1,j-1＋Ｃｙi-1,j+1＋Ｃｙi+1,j-1＋Ｃｙi+1,j+1）／４
（Ｃｙi,jが存在しない場合）
Ｙｅ’i,j＝（Ｙｅi-1,j-1＋Ｙｅi-1,j+1＋Ｙｅi+1,j-1＋Ｙｅi+1,j+1）／４
（Ｙｅi,jが存在しない場合）
Ｗｈi,j〜Ｙｅi,j：白、緑、水色、黄色の補間前画像データ
Ｗｈ’i,j〜Ｙｅ’i,j：白、緑、水色、黄色の補間後画像データ
【００４２】
ここで補間処理を具体的に説明すると、例えば、図６に示す画像データＷｈ’2,2を補間処理により生成する場合、ＤＳＰ８は、図５に示すように、既に画像データＷｈ2,2が存在するため、Ｗｈ2,2とその隣接する画像データＷｈ4,0、Ｗｈ2,0、Ｗｈ0,0、Ｗｈ4,2、Ｗｈ0,2、Ｗｈ4,4、Ｗｈ2,4、Ｗｈ0,4とを数式４にあてはめ、Ｗｈ’2,2を生成する。また、図６に示す画像データＷｈ’1,1を補間処理により生成する場合、ＤＳＰ８は、図５に示すように画像データＷｈ1,1が存在しないため、Ｙｅ1,1に隣接する画像データＷｈ2,0、Ｗｈ0,0、Ｗｈ2,2、Ｗｈ0,2を数式５にあてはめ、Ｗｈ’1,1を生成する。同様に、ＤＳＰ８は、全ての画素位置の画像データを補間処理により生成する。
ＤＳＰ８は、図５に示すような、補間処理により生成された全ての画素位置画像データを第２のメモリ１０に記憶する。
【００４３】
以降、ＤＳＰ８は、第２のメモリ１０に記憶された補間処理後の画像データから同じ画素位置（ｉ，ｊ）の４つの画像データ（Ｗｈ’i,j〜Ｙｅ’i,j）を順次読み出し、この４つの画像データ毎に画像処理を行う。
図４に戻って、まず、ＤＳＰ８は、第２のメモリ１０に記憶された画像データから、画素位置（０，０）の４つの画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）を読み出し、図示せぬ内部メモリに記憶する（ステップＳ１３）。
【００４４】
次に、ＤＳＰ８は、図示せぬ内部メモリに記憶された４つの画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）を数式６にあてはめて、輝度データ（Ｙ0,0）を生成する（ステップＳ１４）。
【００４５】
［数６］
Ｙi,j＝ｋ１・Ｗｈ’i,j＋ｋ２・Ｇ’i,j＋ｋ３・Ｃｙ’i,j＋ｋ４・Ｙｅ’i,j
Ｙi,j：輝度データ
Ｗｈ’i,j〜Ｙｅ’i,j：白、緑、水色、黄色の画像データ
ｋ１〜ｋ４：変換係数
【００４６】
次に、ＤＳＰ８は、図示せぬ内部メモリに記憶された４つの画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）を数式７にあてはめて、ＲＧＢデータ（Ｒ0,0〜Ｂ0,0）を生成する（ステップＳ１５）。
【００４７】
【数７】
2007195259.tif 000003
Ｒi,j〜Ｂi,j：ＲＧＢデータ
Ｗｈ’i,j〜Ｙｅ’i,j：白、緑、水色、黄色の画像データ
ｋ１１〜ｋ３４：変換係数
【００４８】
次に、ＤＳＰ８は、生成したＲＧＢ画像データ（Ｒ0,0〜Ｂ0,0）を数式８にあてはめて、ホワイトバランスの調整を行う（ステップＳ１６）。
【００４９】
【数８】
2007195259.tif 000004
Ｒi,j〜Ｂi,j：調整前ＲＧＢデータ
Ｒ’i,j〜Ｂ’i,j：調整後ＲＧＢデータ
ｗ１１〜ｗ３４：ホワイトバランス調整係数
【００５０】
次に、ＤＳＰ８は、ホワイトバランス調整後のＲＧＢ画像データ（Ｒ’0,0〜Ｂ’0,0）を数式９にあてはめて、色差データ（Ｕ0,0、Ｖ0,0）に変換する（ステップＳ１７）。
【００５１】
【数９】
2007195259.tif 000005
Ｒ’i,j〜Ｂ’i,j：ＲＧＢデータ
Ｕi,j、Ｖi,j：色差データ
ｈ１１〜ｈ２３：変換係数
【００５２】
次に、ＤＳＰ８は、現在の画素位置単位の画像処理の対象である図示せぬ内部メモリにステップＳ１３にて記憶された画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）を使用して、この画像データがノイズ成分（偽色）を含んでいるか否かを判断する偽色評価を行う（ステップＳ１８）。
【００５３】
ここで、偽色評価について説明する。一般に、撮像により取得した画像を構成する各画素の各色の画像データ（又は隣接する複数の画素の各色の画像データ）ｄ１〜ｄｎは、補正係数ｋ１〜ｋｎを適当に選択することにより、数式１０を満たす。この関係は、入射光の周波数帯域分光強度分布によらず成立する。
【００５４】
［数１０］
ｋ１・ｄ１＋ｋ２・ｄ２＋…＋ｋｎ・ｄｎ  ０
ｎ：画像を構成する色成分の数
ｋ１〜ｋｎ：補正係数
ｄ１〜ｄｎ：同一画素位置での各色の画像データ
【００５５】
例えば、この実施の形態でのカラーフィルタ２と撮像素子３との組み合わせの場合、数式１０は、数式１１で表される。
【００５６】
［数１１］
ａ・Ｗｈ＋ｂ・Ｇ＋ｃ・Ｃｙ＋ｄ・Ｙｅ  ０
Ｗｈ〜Ｙｅ：白、緑、水色、黄色の画像データ
ａ，ｂ，ｃ，ｄ：補正係数
【００５７】
この数式１１に示す補正係数ａ，ｂ，ｃ，ｄは、カラーフィルタ２と、撮像素子３との組合せにより変化するため実験的に選択する。補正係数ａ，ｂ，ｃ，ｄを実験的に選択するため、例えば図７に示すような周波数帯域の異なる複数色の光を、カラーフィルタ２を通して撮像素子３に照射し、任意の隣接する画像データＷｈ〜Ｙｅを測定する。測定した画像データＷｈ〜Ｙｅから、補正係数ａ，ｂ，ｃ，ｄを例えば、ａ＝１，ｂ＝０．９３５，ｃ＝−１．０４４，ｄ＝−０．９１５と選択したときに、図７に示すようにほぼ数式１１が成立する。
【００５８】
このような原理を応用して、補正係数を予め実験的に選択した数式１１に、各画素位置の画像データ（Ｗｈ’i,j〜Ｙｅ’i,j）をあてはめ、数式１１の関係を満たさない画像データの組が得られた場合には、その画素位置の画像データが、ノイズ成分を含んでいる（偽色部）と考えることができる。
【００５９】
具体的に、ＤＳＰ８は、図示せぬ内部メモリに記憶された画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）を数式１２にあてはめて、偽色評価を行う。
【００６０】
［数１２］
Ｆi,j＝ａ・Ｗｈ’i,j＋ｂ・Ｇ’i,j＋ｃ・Ｃｙ’i,j＋ｄ・Ｙｅ’i,j
Ｆi,j：偽色評価値
Ｗｈ’i,j〜Ｙｅ’i,j：白、緑、水色、黄色の画像データ
ａ，ｂ，ｃ，ｄ：補正係数
【００６１】
即ち、ＤＳＰ８は、画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）を数式１２にあてはめることにより得られた偽色評価値（Ｆ0,0）の絶対値が、予め決められた基準値の範囲内にない場合、ノイズ成分を含んでいる（偽色部）と判別する（ステップＳ１９）。
【００６２】
ＤＳＰ８は、ステップＳ１９において、現在の画素位置単位の画像処理の対象である画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）がノイズ成分を含んでいる（偽色部）と判別した場合、画像処理中の色差データ（Ｕ0,0、Ｖ0,0）の彩度を減少させる彩度変換処理を行う（ステップＳ２０）。一方、ＤＳＰ８は、画像データ（Ｗｈ’0,0〜Ｙｅ’0,0）がノイズ成分を含んでいないと判別した場合に、彩度変換処理を行わない。
【００６３】
この彩度変換処理は、例えば、色差データ（ＵＶ）を図８に示すような色度図中の座標位置にあてはめ、その座標位置から原点に向かう方向に予め設定された値分だけ移動した座標位置に変換することで、彩度を減少させることができる。
例えば、色差データ（Ｕ0,0、Ｖ0,0）が図８に示す色度図中での点Ｐ１の座標の値であった場合に、原点に向かう方向に予め設定された値分だけ移動する座標の値である点Ｐ２に変換する。
【００６４】
このような彩度変換処理を行うため、ＤＳＰ８は、色差データ（Ｕ0,0、Ｖ0,0）を数式１３にあてはめて、彩度を減少させた色差データ（Ｕ’0,0、Ｖ’0,0）に変換する。
【００６５】
【数１３】
2007195259.tif 000006
Ｕ’i,j、Ｖ’i,j：彩度変換処理前の色差データ
Ｕi,j、Ｖi,j：彩度変換処理後の色差データ
ｓ１１〜ｓ２２：彩度変換係数
【００６６】
次に、ＤＳＰ８は、ステップＳ１４にて生成した輝度データ（Ｙ0,0）及び彩度を低下させた色差データ（Ｕ’0,0、Ｖ’0,0）若しくはそのままの色差データ（Ｕ0,0、Ｖ0,0）にγ補正を行う（ステップＳ２１）。
一般に、撮像素子３の受光素子は、図９（ａ）で示すようなγ特性を有するため、撮像素子３が出力する画像データの値は、受光素子の画素に入射した光量に比例しない。そのため、数式１４に示すように、撮像素子３の有するγ特性を関数として予め求めておき、その逆関数γ-1（ｘ）に画像データを代入して、γ特性をキャンセルするγ補正を行う。γ補正により、図９（ｂ）に示すように、画像データの値は、受光素子の画素に入射した光量に比例する。
【００６７】
［数１４］
Ｄ’Yi,j＝γYi,j-1（ＤYi,j）
Ｄ’Ui,j＝γUi,j-1（ＤUi,j）
Ｄ’Vi,j＝γVi,j-1（ＤVi,j）
ＤYi,j〜ＤUi,j：γ補正前の輝度データ、色差データ
Ｄ’Yi,j〜Ｄ’Ui,j：γ補正前の輝度データ、色差データ
γ-1：受光素子の示すγ特性関数の逆関数
【００６８】
次にＤＳＰ８は、γ補正後の輝度データ（Ｙ0,0）及び色差データ（Ｕ0,0、Ｖ0,0）をＲＧＢデータ（Ｒ0,0〜Ｂ0,0）に変換する（ステップＳ２２）。
輝度データ（Ｙ0,0）及び色差データ（Ｕ0,0、Ｖ0,0）をＲＧＢデータ（Ｒ0,0〜Ｂ0,0）に変換するため、例えば数式１５を使用して変換する。
【００６９】
【数１５】
2007195259.tif 000007
Ｒi,j、Ｇi,j、Ｂi,j：赤、緑、青の画素データ
彩度変換処理後の色差データ
Ｙi,j：輝度データ
Ｕi,j、Ｖi,j：色差データ
【００７０】
ＤＳＰ８は、生成したＲＧＢデータ（Ｒ0,0〜Ｂ0,0）を第２のメモリ１０に供給する（ステップＳ２３）。
【００７１】
次に、ＤＳＰ８は、画像処理の対象となる画素位置の値を画素位置（０，０）から画素位置（０，１）に更新する（ステップＳ２４）。
【００７２】
ＤＳＰ８は、ステップＳ２４の画素位置の更新から、全ての画素位置の画像データを処理したか否かを判別する（ステップＳ２５）。
ＤＳＰ８は、全ての画素位置のデータを処理していないと判別した場合に、ステップＳ１３に戻って、ステップＳ２４にて更新した画素位置（０，１）の画像データ（Ｗｈ’0,1〜Ｙｅ’0,1）に対して同一の画像処理を行う。即ち、ＤＳＰ８は、全ての画素位置の画像データ（Ｗｈ’i,j〜Ｙｅ’i,j）に対して画像処理を行ため、ステップＳ１３〜ステップＳ２４の処理を繰り返して実行する。
【００７３】
ＤＳＰ８は、ステップＳ２５にて、全ての画素位置（ｉ，ｊ）の画像データに対する画像処理を完了したと判別した場合に、ＣＰＵ７に一連の画像処理の終了を通知するコマンドを送信する（ステップＳ２６）。このとき、第２のメモリ１０には、全ての画素位置の画像処理後のＲＧＢデータ（Ｒi,j〜Ｂi,j）が記憶されている。
【００７４】
ＣＰＵ７は、ＤＳＰ８から、画像処理の終了のコマンドを受信した後、表示部９を制御して、第２のメモリ１０に記憶された画像処理後のＲＧＢデータ（Ｒi,j〜Ｂi,j）を表示部９に表示する。
【００７５】
以上説明したように、この実施の形態にかかるカラー撮像装置は、各画素位置毎に偽色評価を行い、偽色部と判別した場合に、ノイズ成分（偽色）を適切に除去するため、高画質の画像を得ることができる。
【００７６】
上記の実施の形態では、数式４、数式５を用いた補間処理を行っているが、その際の数式４、数式５で用いる周辺の画素数は、任意である。例えば、周辺の画素数を増加させて、高精度の画像データを生成してもよい。また別途係数を加えてもよい。
【００７７】
また、上記の実施の形態では、カラーフィルタの色（画像を構成する色成分）をＷｈ（白）、Ｇ（緑）、Ｃｙ（水色）、Ｙｅ（黄色）としているが、この組み合わせに限定されず、任意に変更可能である。例えば、カラーフィルタとして、Ｙ（イエロー）、Ｍ（マジェンダ）、Ｃ（シアン），やＲ（赤）、Ｇ（緑）、Ｂ（青）の組み合わせを使用してもよい。
【００７８】
さらに、回転式のカラーフィルタ等を用いて、Ｙ（イエロー）のカラーフィルタを撮像素子３の前面に配置して、Ｙ（イエロー）の画像データを得て、Ｍ（マジェンダ）のカラーフィルタを配置してＭ（マジェンダ）の画像データを得て、さらに、Ｃ（シアン）のカラーフィルタを配置して、Ｃ（シアン）の画像データを取得するなど、画像データを取得するための手法も任意である。
【００７９】
また、画像データを取得するための撮像装置と得られた画像データを補正するための制御回路（補正回路）が一体に構成されている必要はなく、他の場所で撮像されて媒体に格納された画像データを、撮像装置とは別体の補正回路で補正してノイズを除去してもよい。
【００８０】
また、上記の実施の形態では、同じ位置の４色のカラーフィルタに対する画像データを元の画像データと同じ数だけ算出したが、これより少なく、例えば、縦横、共に半分ずつで１／４（つまり、１色のカラーフィルタに対する元の画素データの数と同じ）だけ、デジタルローパスフィルタ等の計算手法を用いて算出してもよい。
本発明は、主に色（差）データに影響することとなる。色（差）データに対する人間の目の解像度は、輝度データ（モノクロームデータ）に対する解像度よりも落ちるため、実質的な影響をあまり与えない。
【００８１】
なお、この発明のカラー撮像装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、コンピュータに上述の動作を実行するためのプログラムを格納した媒体（フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等）から該プログラムをインストールすることにより、上述の処理を実行するカラー撮像装置を構成することができる。
【００８２】
また、コンピュータにプログラムを供給するための媒体は、通信媒体（通信回線、通信ネットワーク、通信システムのように、一時的に且つ流動的にプログラムを保持する媒体）でも良い。例えば、通信ネットワークの掲示板（ＢＢＳ）に該プログラムを掲示し、これをネットワークを介して配信してもよい。
そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【図面の簡単な説明】
【００８３】
【図１】この発明の実施の形態にかかるカラー撮像装置の構成を示すブロック図である。
【図２】撮像素子３の受光素子とカラーフィルタ２を示す図である。
【図３】この発明の実施の形態にかかる撮像処理を示すフローチャートである。
【図４】この発明の実施の形態にかかる画像処理を示すフローチャートである。
【図５】この発明の実施の形態にかかるカラーフィルタ２を通過した光を撮像素子３が撮像し、出力した画像データを示す図である。
【図６】この発明の実施の形態にかかる補間処理により生成された画像データを示す図である。
【図７】この発明の実施の形態にかかるカラーフィルタ２を介して撮像素子３に複数色の光を照射したときに得られた画像データの値を示す図である。
【図８】明度５（Ｖ＝５）ＣＩＥ ＬＵＶの色度図を示す図である。
【図９】この発明の実施の形態にかかる撮像素子３の受光光量と出力画像データとの関係を示す図である。
【符号の説明】
【００８４】
１・・・撮像レンズ、２・・・カラーフィルタ、３・・・撮像素子、４・・・Ａ／Ｄ部、５・・・第１のメモリ、６・・・キー、７・・・ＣＰＵ、８・・・ＤＳＰ、９・・・表示部、１０・・・第２のメモリ
【図１】
2007195259.tif 000008
【図２】
2007195259.tif 000009
【図３】
2007195259.tif 000010
【図４】
2007195259.tif 000011
【図５】
2007195259.tif 000012
【図６】
2007195259.tif 000013
【図７】
2007195259.tif 000014
【図８】
2007195259.tif 000015
【図９】
2007195259.tif 000016
【手続補正書】
【提出日】平成19年5月10日(2007.5.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画素としての受光素子がマトリクス状に配置された撮像素子と、
前記撮像素子の各受光素子に対応させてそれぞれにｎ色のうちの何れか１色が配置されたカラーフィルタと、
前記カラーフィルタを介して前記撮像素子により取得した元画像データを入力する入力手段と、
前記入力手段により入力された元画像データに基づき、色成分毎にデータ補間して各画素位置に対してｎ色分の画素データを対応付けた補間画像データを生成する補間画像データ生成手段と、
前記画素位置毎に、当該画素位置における各色成分の前記画素データに基づいて当該画素位置での彩度を補正するか否かを判別する判別手段と、を備え、
前記判別手段は、前記色成分毎に設定された補正係数に、それぞれ対応する色成分の画素データを乗算し、前記画素位置毎に前記乗算値を加算したときの値に基づいて前記判別を実施し、
前記各補正係数は、前記色成分毎のカラーフィルタを介した所定光での撮像により取得された色成分毎の画素データが、それぞれ対応する当該補正係数と乗算されたときの総和が０となるように設定され、
前記カラーフィルタは、前記ｎ色分の各色成分が、同一色成分間で、等間隔となるように前記各受光素子に対応付けられていることを特徴とするカラー撮像装置。
【請求項２】
前記カラーフィルタは、白、緑、水色及び黄色成分の４色を備えていることを特徴とする請求項１記載のカラー撮像装置。
【請求項３】
前記カラーフィルタは、イエロー、マジェンダ及びシアン成分の３色を備えていることを特徴とする請求項１記載のカラー撮像装置。
【請求項４】
前記カラーフィルタは、赤、緑及び青成分の３色を備えていることを特徴とする請求項１記載のカラー撮像装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
この発明は、撮像素子を用いた撮像等により取得した画像データから、ノイズ成分を除去し、高画質の画像データを生成することができるカラー撮像装置に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
この発明は、上記実状に鑑みてなされたもので、ノイズ成分を適切に除去し、高画質の画像を得ることができるカラー撮像装置を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
上記目的を達成するため、本発明の第１の観点にかかるカラー撮像装置は、
画素としての受光素子がマトリクス状に配置された撮像素子と、
前記撮像素子の各受光素子に対応させてそれぞれにｎ色のうちの何れか１色が配置されたカラーフィルタと、
前記カラーフィルタを介して前記撮像素子により取得した元画像データを入力する入力手段と、
前記入力手段により入力された元画像データに基づき、色成分毎にデータ補間して各画素位置に対してｎ色分の画素データを対応付けた補間画像データを生成する補間画像データ生成手段と、
前記画素位置毎に、当該画素位置における各色成分の前記画素データに基づいて当該画素位置での彩度を補正するか否かを判別する判別手段と、を備え、
前記判別手段は、前記色成分毎に設定された補正係数に、それぞれ対応する色成分の画素データを乗算し、前記画素位置毎に前記乗算値を加算したときの値に基づいて前記判別を実施し、
前記各補正係数は、前記色成分毎のカラーフィルタを介した所定光での撮像により取得された色成分毎の画素データが、それぞれ対応する当該補正係数と乗算されたときの総和が０となるように設定され、
前記カラーフィルタは、前記ｎ色分の各色成分が、同一色成分間で、等間隔となるように前記各受光素子に対応付けられていることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
前記カラーフィルタは、白、緑、水色及び黄色成分の４色を備えていてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前記カラーフィルタは、イエロー、マジェンダ及びシアン成分の３色を備えていてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
前記カラーフィルタは、赤、緑及び青成分の３色を備えていてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】