(57)【要約】【課題】  色・感度モザイク画像から、各画素の感度特性が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を生成する。【解決手段】  輝度画像生成部１８１は、色・感度モザイク画像に対応する輝度画像を生成する。単色画像生成部１８２乃至１８４は、色・感度モザイク画像、輝度画像、色モザイクパターン情報、および感度モザイクパターン情報を入力とし、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する。本発明は、例えば、デジタルカメラに適用できる。【選択図】      図８２
2011087317.tif 000002
【特許請求の範囲】
【請求項１】
各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちいずれかの感度特性を有し、
画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、
第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、
第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、
第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元手段を
備える画像処理装置。
【請求項２】
各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちいずれかの感度特性を有し、
画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、
第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、
第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、
第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを
含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関し、例えば、単板式CCDイメージセンサ等を用いて取得した画像信号から、広ダイナミックレンジのカラー画像信号を生成する場合に用いて好適な画像処理装置および方法に関する。
【背景技術】
【０００２】
CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ(Factory Automation)の分野における部品検査装置、およびＭＥ(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【０００３】
従来、固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する方法が知られている。以下、そのような第１乃至第４の従来方法について説明する。
【０００４】
第１の従来方法としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる。この方法は、特開平８−２２３４９１号公報等に開示されている。しかしながら、第１の方法では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化や省スペース化の面で不利である問題があった。
【０００５】
第２の従来方法としては、１つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、それらを合成する方法を挙げることができる。この方法は、特開平８−３３１４６１号公報等に開示されている。しかしながら、第２の方法では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。
【０００６】
第３の従来方法としては、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる。この方法は、米国特許第５７８９７３７号公報に開示されている。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。また、特開２０００−６９４９１号公報には、第３の従来方法をカラー画像に適応する技術が開示されている。
【０００７】
第３の従来方法によれば、第１の従来方法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の従来方法において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第３の従来方法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ユニットセルサイズが大きくなる課題があった。
【０００８】
第４の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。この方法は、文献「S．K．Nayar and T．Mitsunaga，“High Dynamic RangeImaging：Spatially Varying Pixel Exposures”，Proc． of Computer Vision and Pattern Recognition 2000，Vol．1，pp．472-479，June，2000」に開示されている。
【０００９】
第４の従来方法では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、第４の従来方法は、第１乃至第３の従来方法の問題を解決することが可能である。しかしながら、第４の従来方法は、モノクロ画像を生成することを前提としたものであり、カラー画像を生成することについては、その技術が確立されていない課題があった。具体的には、画素毎に色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化する技術は従来確立されていない課題があった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、画素毎に色や感度が異なる色・感度モザイク画像を用いて、各画素の感度特性が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を生成できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面である画像処理装置は、各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちいずれかの感度特性を有し、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元手段を備える。
【００１３】
本発明の一側面である画像処理方法は、各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちいずれかの感度特性を有し、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを含む。
【００１４】
本発明の一側面においては、各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちいずれかの感度特性を有し、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像が復元される。
【発明の効果】
【００１５】
本発明によれば、各画素の感度が均一化されており、かつ、各画素が複数の色成分の全ての色成分を有する復元画像を生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
【図２】ディジタルスチルカメラの動作の概要を説明する図である。
【図３】被写体の一例を示す図である。
【図４】図３に対応する色・感度モザイク画像の一例を示す図である。
【図５】色・感度モザイクパターンＰ１を示す図である。
【図６】色・感度モザイクパターンＰ２を示す図である。
【図７】色・感度モザイクパターンＰ３を示す図である。
【図８】色・感度モザイクパターンＰ４を示す図である。
【図９】色・感度モザイクパターンＰ５を示す図である。
【図１０】色・感度モザイクパターンＰ６を示す図である。
【図１１】色・感度モザイクパターンＰ７を示す図である。
【図１２】色・感度モザイクパターンＰ８を示す図である。
【図１３】色・感度モザイクパターンＰ９を示す図である。
【図１４】色・感度モザイクパターンＰ１０を示す図である。
【図１５】色・感度モザイクパターンＰ１１を示す図である。
【図１６】色・感度モザイクパターンＰ１２を示す図である。
【図１７】色・感度モザイクパターンＰ１３を示す図である。
【図１８】色・感度モザイクパターンＰ１４を示す図である。
【図１９】CCDイメージセンサ４の受光素子の断面を示す図である。
【図２０】感度のモザイク配列を光学的に実現する方法を説明する図である。
【図２１】感度のモザイク配列を光学的に実現する方法を説明する図である。
【図２２】感度のモザイク配列を光学的に実現する方法を説明する図である。
【図２３】感度のモザイク配列を電子的に実現する第１の方法を説明する図である。
【図２４】感度のモザイク配列を電子的に実現する第２の方法を説明する図である。
【図２５】ＯＲ型の電極構造を示す図である。
【図２６】ＯＲ型の電極構造の断面を示す図である。
【図２７】AND型の電極構造を示す図である。
【図２８】色・感度モザイクパターンＰ１を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図２９】色・感度モザイクパターンＰ２を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３０】色・感度モザイクパターンＰ３を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３１】色・感度モザイクパターンＰ４を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３２】色・感度モザイクパターンＰ５を実現するＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３３】画素の位置座標の定義を説明するための図である。
【図３４】第１のデモザイク処理の概要を説明するための図である。
【図３５】第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図３６】第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図３７】第１のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図３８】第１のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図３９】第１のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図４０】第２のデモザイク処理の概要を説明するための図である。
【図４１】第２のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図４２】第２のデモザイク処理における第１の感度均一化処理の概要を説明するための図である。
【図４３】第２のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図４４】第２のデモザイク処理における第２の感度均一化処理の概要を説明するための図である。
【図４５】画像処理部７の第１の構成例を示すブロック図である。
【図４６】感度均一化部５１の第１の構成例を示すブロック図である。
【図４７】色補間部５２の構成例を示すブロック図である。
【図４８】色差画像生成部７２の構成例を示すブロック図である。
【図４９】輝度画像生成部７４の構成例を示すブロック図である。
【図５０】画像処理部７の第１の構成例による第１のデモザイク処理を説明するフローチャートである。
【図５１】感度均一化部５１の第１の構成例による第１の感度均一化処理を説明するフローチャートである。
【図５２】ステップＳ１１の感度補償処理を説明するフローチャートである。
【図５３】ステップＳ１２の有効性判別処理を説明するフローチャートである。
【図５４】ステップＳ１３の欠落補間処理を説明するフローチャートである。
【図５５】ステップＳ２の色補間処理を説明するフローチャートである。
【図５６】ステップＳ５２の第１の色差画像生成処理を説明するフローチャートである。
【図５７】ステップＳ５３の輝度画像生成処理を説明するフローチャートである。
【図５８】ステップＳ５４の色空間変換処理を説明するフローチャートである。
【図５９】感度均一化部５１の第２の構成例を示すブロック図である。
【図６０】感度均一化部５１の第２の構成例による第２の感度均一化処理を説明するフローチャートである。
【図６１】ステップＳ１０３の補間処理を説明するフローチャートである。
【図６２】第２の色差画像生成処理を説明するフローチャートである。
【図６３】ステップＳ１２３の画像勾配ベクトル演算処理を説明するフローチャートである。
【図６４】画像処理部７の第２の構成例を示すブロック図である。
【図６５】感度均一化部１１１の第１の構成例を示すブロック図である。
【図６６】欠落補間部１２４の欠落補間処理を説明するフローチャートである。
【図６７】感度均一化部１１１の第２の構成例を示すブロック図である。
【図６８】感度均一化部１１１の第２の構成例による第２のデモザイク処理における第２の感度均一化処理を説明するフローチャートである。
【図６９】ステップＳ１６３の補間色決定処理を説明するフローチャートである。
【図７０】第３のデモザイク処理の概要を説明するための図である。
【図７１】第３のデモザイク処理における感度別色補間処理の概要を説明するための図である。
【図７２】第３のデモザイク処理における感度別色補間処理の概要を説明するための図である。
【図７３】画像処理部７の第３の構成例を示すブロック図である。
【図７４】感度別色補間部１５１の構成例を示すブロック図である。
【図７５】感度均一化部１５２の構成例を示すブロック図である。
【図７６】画像処理部７の第３の構成例による第３のデモザイク処理を説明するフローチャートである。
【図７７】ステップＳ１８１の感度別色補間処理を説明するフローチャートである。
【図７８】ステップＳ１９３の抽出処理を説明するための図である。
【図７９】ステップＳ１９３の抽出処理を説明するための図である。
【図８０】ステップＳ１８２の感度均一化処理を説明するフローチャートである。
【図８１】ステップＳ２０３の局所和算出処理において用いるフィルタ係数の例を示す図である。
【図８２】画像処理部７の第４の構成例を示すブロック図である。
【図８３】輝度画像生成部１８１の第１の構成例を示すブロック図である。
【図８４】単色画像生成部１８２の構成例を示すブロック図である。
【図８５】画像処理部７の第４の構成例による第４のデモザイク処理を説明するフローチャートである。
【図８６】輝度画像生成部１８１の輝度画像生成処理を説明するフローチャートである。
【図８７】推定部１９１のＲ成分推定処理を説明するフローチャートである。
【図８８】Ｒ，Ｂ成分用補間フィルタ係数の一例を示す図である。
【図８９】Ｇ成分用補間フィルタ係数の一例を示す図である。
【図９０】合成感度補償LUTについて説明するための図である。
【図９１】合成感度補償LUTについて説明するための図である。
【図９２】合成感度補償LUTについて説明するための図である。
【図９３】ノイズ除去部１９８のノイズ除去処理を説明するフローチャートである。
【図９４】ノイズ除去部１９８の方向選択的平滑化処理を説明するフローチャートである。
【図９５】単色画像生成部１８２の単色画像生成処理を説明するフローチャートである。
【図９６】比率値算出部２０２の比率値算出処理を説明するフローチャートである。
【図９７】平滑化フィルタ係数の一例を示す図である。
【図９８】輝度画像生成部１８１の第２の構成例を示すブロック図である。
【図９９】推定部２１１によるＲＧＢ成分の推定処理を説明するフローチャートである。
【図１００】推定画素値Ｃ０補間処理に用いる画素の配置を示す図である。
【図１０１】推定画素値Ｃ０補間処理を説明するフローチャートである。
【図１０２】推定画素値Ｃ１補間処理に用いる画素の配置を示す図である。
【図１０３】推定画素値Ｃ１補間処理を説明するフローチャートである。
【図１０４】推定画素値Ｃ２補間処理に用いる画素の配置を示す図である。
【図１０５】推定画素値Ｃ２補間処理を説明するフローチャートである。
【図１０６】推定画素値Ｃ３補間処理に用いる画素の配置を示す図である。
【図１０７】推定画素値Ｃ３補間処理を説明するフローチャートである。
【図１０８】補間部２０１−ＲによるＲ候補画像生成処理を説明するフローチャートである。
【図１０９】補間部２０１−ＢによるＢ候補画像生成処理を説明するフローチャートである。
【図１１０】補間部２０１−ＧによるＧ候補画像生成処理を説明するフローチャートである。
【図１１１】画像処理部７の第５の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
図１は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００１８】
光学系は、被写体の光画像を集光するレンズ１、光画像の光量を調整する絞り２、および、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するCCDイメージセンサ４から構成される。
【００１９】
信号処理系は、CCDイメージセンサ４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（CDS）５、相関２重サンプリング回路５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６から入力されるディジタル信号に所定の画像処理を施す画像処理部７から構成される。なお、画像処理部７が実行する処理の詳細については後述する。
【００２０】
記録系は、画像処理部７が処理した画像信号を符号化してメモリ９に記録し、また、読み出して復号し、画像処理部７に供給するCODEC(Compression/Decompression)８、および、画像信号を記憶するメモリ９から構成される。
【００２１】
表示系は、画像処理部７が処理した画像信号をアナログ化するＤ／Ａコンバータ１０、アナログ化された画像信号を後段のディスプレイ１２に適合する形式のビデオ信号にエンコードするビデオエンコーダ１１、および、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１２から構成される。
【００２２】
制御系は、CCDイメージセンサ４乃至画像処理部７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３、ユーザがシャッタタイミングやその他のコマンドを入力する操作入力部１３、および、ドライブ１５を制御して磁気ディスク１６、光ディスク１７、光磁気ディスク１８、または半導体メモリ１９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部１３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部１４から構成される。
【００２３】
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１および絞り２を介してCCDイメージセンサ４に入射され、CCDイメージセンサ４によって光電変換され、得られた電気信号は、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、画像処理部７が内蔵する画像メモリに一時格納される。
【００２４】
なお、通常の状態では、タイミングジェネレータ３による信号処理系に対する制御により、画像処理部７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ１０によってアナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて対応する画像がディスプレイ１２に表示される。
【００２５】
ディスプレイ１２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部１３に含まれるシャッタボタンを押下した場合、制御部１４は、タイミングジェネレータ３に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部７の画像メモリに画像信号が上書きされないように信号処理系を制御させる。その後、画像処理部７の画像メモリに書き込まれた画像データは、CODEC８によって符号化されてメモリ９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
【００２６】
次に、当該ディジタルスチルカメラの動作の概要について、図２を参照して説明する。当該ディジタルスチルカメラは、CCDイメージセンサ４を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。その後、画像処理部７を中心とする信号処理系により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部７を中心とする信号処理系の処理を、デモザイク処理とも記述する。
【００２７】
例えば、図３に示すような被写体を撮影した場合、撮像処理によって図４に示すような色・感度モザイク画像が得られ、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図４に示す色・感度モザイク画像から図３に示す被写体の元の色を復元する。
【００２８】
次に、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）Ｐ１乃至１４を図５乃至図１８に示す。なお、色・感度モザイクパターンを構成する色の組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ（青）からなる３色の組み合わせの他、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の組み合わせがある。感度の段階としては、Ｓ０およびＳ１から成る２段階の他、感度Ｓ２を追加した３段階や、さらに、感度Ｓ３を追加した４段階がある。なお、図５乃至図１４においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、Ｇ0と表示された画素は、色がＧ（緑）であって感度がＳ０であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
【００２９】
色・感度モザイクパターンＰ１乃至Ｐ１４は、以下に示す第１乃至第４の特徴によって分類することができる。
【００３０】
第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第１の特徴について、図５に示す色・感度モザイクパターンＰ１を参照して説明する。
【００３１】
図５の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２1/2の間隔で、垂直方向には２3/2の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２1/2の間隔で格子状の配置されている。
【００３２】
第１の特徴は、図５に示す色・感度モザイクパターンＰ１の他、色・感度モザイクパターンＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３が有している。
【００３３】
第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。
【００３４】
第２の特徴は、図７に示す色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４が有している。
【００３５】
第３の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ(Bayer)配列をなしていることである。第３の特徴について、図６に示す色・感度モザイクパターンＰ２を参照して説明する。
【００３６】
図６の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列であるといえる。
【００３７】
なお、第３の特徴は、図６の色・感度モザイクパターンＰ２の他、色・感度モザイクパターンＰ１０，Ｐ１１が有している。
【００３８】
第４の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第４の特徴について、図７に示す色・感度モザイクパターンＰ３を参照して説明する。
【００３９】
図７の色・感度モザイクパターンＰ３において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２1/2の間隔を空けてベイヤ配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００４０】
なお、第４の特徴は、図７の色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ１２が有している。
【００４１】
ところで、以下、図５乃至図１８に示した色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【００４２】
次に、CCDイメージセンサ４において上述した色・感度モザイクパターンを実現する方法について説明する。
【００４３】
色・感度モザイクパターンのうち、色のモザイク配列については、CCDイメージセンサ４の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。
【００４４】
色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。
【００４５】
感度のモザイク配列を光学的に実現する方法について説明する。図１９は、CCDイメージセンサ４の受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ２１が形成されている。オンチップレンズ２１は、図面上方からの入射光がフォトダイオード（ＰＤ）２３に集光されるようになされている。オンチップカラーフィルタ２２は、入射光の波長帯域を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード２３が形成されている。フォトダイオード２３は、入力された光量に対応して電荷を生じる。フォトダイオード２３の両脇には、垂直レジスタ２６が形成されている。垂直レジスタ２６の上部には、垂直レジスタ２６を駆動する垂直レジスタ駆動電極２５が配線されている。
【００４６】
垂直レジスタ２５は、フォトダイオード２３で生じた電荷を転送する領域であるので、そこで電荷が生じることがないように、垂直レジスタ２６と垂直レジスタ駆動電極２５はシールド２４によって遮光されている。シールド２４は、フォトダイオード２３の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード２３に到達するようになされている。
【００４７】
以上説明したように構成されるCCDイメージセンサ４を利用して、各受光素子の感度を変えることができる（フォトダイオード２３に対する入射光量を変化させることができる）。
【００４８】
例えば、図２０に示すように、オンチップレンズ２１の設置の有無により、集光される光量を変化させることができる。また、例えば図２１に示すように、オンチップカラーフィルタ２２の上方（または下方）にニュートラルデンシティフィルタ３１を設置することにより、光の透過率を変えることができる。また、例えば図２２に示すように、シールド２４の開口部分の面積を変化させることにより、フォトダイオード２３に対する入射光量を変化させることができる。
【００４９】
次に、感度のモザイク配列を電子的に実現する２種類の方法について説明する。
【００５０】
例えば、隣接する２つの受光素子（第1および第2の受光素子）に対し、制御のタイミングを違えることにより、２つの受光素子を異なる感度に設定する第１の方法について、図２３を参照して説明する。
【００５１】
図２３の第１段目は、CCDイメージセンサ４の露光期間を示している。同図の第２段目は、電荷掃き出しを指令するパルス電圧のタイミングを示している。同図の第３段目は、電荷転送を指令する制御電圧が与えられるタイミングを示している。同図の第４段目は、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第５段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。同図の第６段目は、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第７段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００５２】
感度のモザイク配列を電子的に実現する第１の方法において、電荷掃き出しパルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、フォトダイオード２３から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００５３】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通して垂直レジスタ２６に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ２６からの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００５４】
電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（同図の第２段目）の直前に、１回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読み出しパルス電圧が供給される。
【００５５】
その結果、第１の受光素子からは、１回目および２回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、それら２回の読み出し電荷量が垂直レジスタ２６内で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００５６】
一方、第２の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に１回だけ電荷読み出しパルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００５７】
以上のように、第１の受光素子と第２の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第１の受光素子から読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００５８】
ところで、感度のモザイク配列を電子的に実現する第１の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。
【００５９】
次に、感度のモザイク配列を電子的に実現する第２の方法について、図２４を参照して説明する。同図の第１乃至７段目はそれぞれ、図２３の第１乃至７段目と同様に、CCDイメージセンサ４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００６０】
感度のモザイク配列を電子的に実現する第２の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。
【００６１】
すなわち、電荷掃き出しパルス電圧については、第１および第２の受光素子に対し共通して露光期間中において、１回目の電荷掃き出しパルス電圧と２回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃き出しパルス電圧の直前に２回目の電荷読み出しパルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回だけ電荷読み出しパルス電圧が供給される。
【００６２】
その結果、第１の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ２６の電荷の転送が停止されているので、これら組ごとに２回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。第２の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に１回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。
【００６３】
以上説明したような感度のモザイク配列を電子的に実現する第２の方法では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
【００６４】
なお、上述した感度のモザイク配列を電子的に実現する第１および第２の方法に関連し、一般的に、CCDイメージセンサ４の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極２５に印加される。例えば、図５に示した色・感度モザイクパターンＰ１のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧がかけられるような若干の改良をおこなえばよい。さらに、３相駆動の垂直レジスタを持つプログレッシブスキャンのCCDイメージセンサにおいては、その電極構造を工夫することによって、２段階感度による任意のモザイク配列を電子的に実現できる。
【００６５】
図２５は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第１の電極構造を示している。図２６は、図２５の図中の線分ａａ’におけるCCDイメージセンサの断面図を示している。第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４は、対応するフォトダイオ−ド２３に隣接する読み出しゲ−ト４１上にもかかるようになされている。
【００６６】
したがって、第２相垂直レジスタ駆動電極４３、または第３相垂直レジスタ駆動電極４４に読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを一時的に取り除き、対応するフォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送することが可能である。以下、図２５および図２６に示した電極構造をＯＲ型の電極構造と記述する。
【００６７】
図２７は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第２の電極構造を示している。図２７の図中の線分ａａ’におけるCCDイメージセンサの断面も、図２６に示した断面図と同様である。すなわち、第２の電極構造においても、第１の電極構造と同様に、第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第３相垂直レジスタ駆動電極４４は、第１の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。
【００６８】
しかしながら、第３相垂直レジスタ駆動電極４４が対応するフォトダイオ−ド２３に隣接する読み出しゲート４１上において、当該フォトダイオ−ド２３の辺縁部分に沿って配置され、次いでそれに隣接するように第２相垂直レジスタ駆動電極４３の細長く加工された部分が読み出しゲート４１にかかるようになされている点が第１の電極構造と異なる。
【００６９】
したがって、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４のうち、一方だけに読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを取り除くことができない。読み出しゲ−ト４１のバリアを取り除き、フォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送するためには、第２相垂直レジスタ駆動電極４３と第３相垂直レジスタ駆動電極４４に同時に読み出しパルスを印加する必要がある。以下、図２７に示した電極構造をAND型の電極構造と記述する。
【００７０】
以上説明したＯＲ型の電極構造とAND型の電極構造を１つのCCDイメージセンサ内で組み合わせて使うことにより、２段階感度による任意のモザイク配列をつくることができる。例えば、図５に示した色・感度モザイクパターンＰ１のうち、感度のモザイク配列を実現するためには、図２８に示すようにＯＲ型の電極構造とAND型の電極構造を組み合わせればよい。
【００７１】
図５と図２８を比較すれば明らかなように、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０画素にはAND型の電極構造を採用し、高感度Ｓ１の画素にはＯＲ型の電極構造を採用するようにする。このようにＯＲ型とAND型の電極構造を組み合わせて構成したCCDイメージセンサ４に対し、その第２相垂直レジスタ駆動電極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画素だけで電荷読み出しがおこなわれ、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４に同時に読みだしパルス電圧を印加すれば、ＯＲ型とAND型の両方、すなわち全ての画素で電荷読み出しがおこなわれるようになる。
【００７２】
なお、第２相垂直レジスタ駆動電極４３、および第３相垂直レジスタ駆動電極４４に対するパルス電圧の供給タイミングは、図２３（または図２４）に示した制御タイミングのうち、同図(Ｄ)の１回目の電荷読み出しパルス電圧の供給タイミングと、同図(Ｆ)の電荷読み出しパルス電圧の供給タイミングにおいて、第２相および第３相の両方を駆動し、同図(Ｄ)の２回目の電荷読み出しパルス電圧の供給タイミングにおいて第２相だけを駆動するようにすれば、ＯＲ型の電極構造の画素は高感度Ｓ１となり、AND型の電極構造の画素は低感度Ｓ０となる。
【００７３】
同様の方法により、その他の２段階の感度を有する感度のモザイク配列をつくることができる。例えば、図６に示した色・感度モザイクパターンＰ２のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図２９に示すように組み合わせる。図７に示した色・感度モザイクパターンＰ３のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３０に示すように組み合わせる。図８に示した色・感度モザイクパターンＰ４のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３１に示すように組み合わせる。図９に示した色・感度モザイクパターンＰ５のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３２に示すように組み合わせる。
【００７４】
次に、画像処理部７を中心とする画像処理系のデモザイク処理について説明するが、その前に、以下の説明において用いる画素の位置座標の定義について、図３３を参照して説明する。
【００７５】
図３３は、画像上の画素の位置を示す座標系（ｘ，ｙ）を示している。すなわち、画像の左下端を（０，０）とし、画像の右上端を（ｘmax，ｙmax）とする。図中に□で表されている各画素は、長さ１の横幅と縦幅を有し、格子上に配列されている。従って、例えば、左下端の画素の中心の座標は、（０．５，０．５）であり、右上端の画素の中心の座標は（ｘmax−０．５，ｙmax−０．５）である。また、以下の説明において、□で表されている各画素に対して位相が縦横に半画素ずれた画像データ（図中に●で表される位置の画素データ）を利用する場合があるが、例えば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は（１，１）である。
【００７６】
次に、図３４は、画像処理部７を中心とする画像処理系の第１のデモザイク処理の概要を示している。
【００７７】
第１のデモザイク処理は、図３４に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を変更することなく、感度を均一化して色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理から成る。
【００７８】
第１のデモザイク処理における第１の感度均一化処理の概要について、図３５乃至図３７を参照して説明する。図３５乃至図３７は、処理される画像の所定の１ラインの画素配列を示している。Ｘ０は、色成分がＸ（例えば、Ｒ（赤））であり、感度が２段階Ｓ０，Ｓ１のうちのＳ０であることを示し、Ｘ１は、色成分がＸであり、感度が２段階Ｓ０，Ｓ１のうちのＳ１であることを示し、Ｙ０は、色成分がＹ（例えば、Ｇ（緑））であり、感度が２段階Ｓ０，Ｓ１のうちのＳ０であることを示し、Ｙ１は、色成分がＹであり、感度が２段階Ｓ０，Ｓ１のうちのＳ１であることを示している。感度Ｓ０の画素は、入射光の強度を所定の割合で減衰させて測光し、感度Ｓ１の画素は、入射光の強度を減衰させることなく測光する。また、同図の横軸は画素のライン上の位置を示しており、縦棒の長さは対応する画素の画素値を示している。
【００７９】
第１のデモザイク処理における第１の感度均一化処理は、２段階の処理に分別することができる。図３５は、第１の感度均一化処理を施される前の色・感度モザイク画像の所定の１ラインの画素の画素値を示している。なお、曲線Ｘは、入射光の色Ｘの強度分布を示し、曲線Ｙは、色Ｙの強度分布を示している。
【００８０】
閾値θHは、CCDイメージセンサ４の飽和レベルを示し、入射光の強度が閾値θHを越える場合、その強度を正確に測定することができず、その測定値は閾値θHと等しい値となる。閾値θLは、CCDイメージセンサ４のノイズレベルを示しており、入射光の強度が閾値θLよりも小さい場合も、その強度を正確に測定することができず、その測定値は閾値θLと等しい値となる。
【００８１】
有効性判別結果は、各画素が入射光の強度を正確に測定できたか否かを示す情報、すなわち、測定された各画素の画素値が有効Ｖ(Valid)であるか、無効Ｉ(Invalid)であるかを示す情報である。
【００８２】
第１の感度均一化処理の１段階目の処理により、感度Ｓ０の画素の画素値は、感度Ｓ１に対する感度Ｓ０の相対的比率を用いてスケーリングされる。感度Ｓ１の画素の画素値はスケーリングされない。図３６は、第１の感度均一化処理の１段階目の処理を施した結果を示している。１段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効である画素は、スケーリングによって本来の光強度が復元されるが、無効である画素は、本来の光強度が復元されていない。
【００８３】
そこで、第１の感度均一化処理の２段階目の処理では、無効である画素の画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。図３７は、第１の感度均一化処理の２段階目の処理を施した結果を示している。例えば、図３７の中央の無効であって色Ｙの画素は、近傍の有効な色Ｙの画素の画素値を用いて生成される補間曲線Ｙ‘に従って補間される。
【００８４】
次に、第１のデモザイク処理における第２の感度均一化処理の概要について、図３５、図３８、および図３９を参照して説明する。第２の感度均一化処理も、２段階の処理に分別することができる。第２の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
【００８５】
第２の感度均一化処理の１段階目の処理により、各画素の色を変更することなく、感度Ｓ０での画素値と、感度Ｓ１での画素値が推定される。例えば、色Ｘであって感度Ｓ０の画素については、感度Ｓ０での画素値はそのまま用いられ、感度Ｓ１での推定値が近傍に存在する色Ｘであって感度Ｓ１の画素の画素値を用いて補間される。図３８は、第２の感度均一化処理の１段階目の処理を施した結果を示している。同図に示すように、１段階目の処理が施されたことにより、各画素は、元の色の感度Ｓ０の画素値と、感度Ｓ１の画素値を有している。
【００８６】
第２の感度均一化処理の２段階目の処理では、画素毎に感度Ｓ０の画素値と、感度Ｓ１の画素値が合成されて感度が均一化される。図３９は、第２の感度均一化処理の２段階目の処理を施した結果を示している。
【００８７】
次に、図４０は、画像処理部７を中心とする画像処理系の第２のデモザイク処理の概要を示している。
【００８８】
第２のデモザイク処理は、図４０に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を、感度均一化のために最適な色に変更して感度を均一化し、色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理から成る。
【００８９】
第２のデモザイク処理における第１の感度均一化処理の概要について、図３５、図４１および図４２を参照して説明する。
【００９０】
第２のデモザイク処理における第１の感度均一化処理も、２段階の処理に分別することができる。第１の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
【００９１】
第２のデモザイク処理における第１の感度均一化処理の１段階目の処理により、感度Ｓ０の画素の画素値は、感度Ｓ１に対する感度Ｓ０の相対的比率を用いてスケーリングされる。感度Ｓ１の画素の画素値はスケーリングされない。図４１は、第１の感度均一化処理の１段階目の処理を施した結果を示している。１段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効Ｖである画素は、スケーリングによって本来の光強度が復元されるが、無効Ｉである画素は、本来の光強度が復元されていない。
【００９２】
そこで、第２のデモザイク処理における第１の感度均一化処理の２段階目の処理では、無効である画素の画素値を、その色に拘わらず近傍の有効な画素の画素値を用いて補間する。図４２は、第１の感度均一化処理の２段階目の処理を施した結果を示している。例えば、図４１の中央の無効であって色Ｙの画素は、図４２に示すように、当該画素に隣接する有効な色Ｘの画素の画素値を用いて生成される補間曲線Ｘ‘に基づいて色Ｘの画素値が補間される。
【００９３】
次に、第２のデモザイク処理における第２の感度均一化処理の概要について、図３５、図４３、および図４４を参照して説明する。第２のデモザイク処理における第２の感度均一化処理も、２段階の処理に分別することができる。第２の感度均一化処理が施される前の色・感度モザイク画像の所定の１ラインの画素の画素値は、図３５と同様であるとする。
【００９４】
第２のデモザイク処理における第２の感度均一化処理の１段階目の処理では、各画素に対し、色に拘わらずより近くに位置する近傍の画素の画素値が用いられて感度Ｓ０での画素値と、感度Ｓ１での画素値が推定される。例えば、色Ｘの画素の推定値として、当該画素に隣接する画素が色Ｙである場合、色Ｙの感度Ｓ１での推定値と、感度Ｓ１での画素値が補間される。図４３は、第２の感度均一化処理の１段階目の処理を施した結果を示している。同図に示すように、１段階目の処理が施されたことにより、各画素は、元の色に拘わらず隣接した画素の色に変更されて、感度Ｓ０での画素値と、感度Ｓ１での画素値を有している。
【００９５】
第２のデモザイク処理における第２の感度均一化処理の２段階目の処理では、画素毎に感度Ｓ０の画素値と、感度Ｓ１の画素値が合成されて感度が均一化される。図４４は、第２の感度均一化処理の２段階目の処理を施した結果を図４４に示す。
【００９６】
次に、第１のデモザイク処理を主に実行する画像処理部７の第１の構成例について、図４５を参照して説明する。以下、特に断りがある場合を除き、色・感度モザイク画像は、図６の色・感度モザイクパターンＰ２である、すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であるとする。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
【００９７】
画像処理部７の第１の構成例において、撮像系からの色・感度モザイク画像は、感度均一化部５１に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度均一化部５１、および色補間部５２に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部５１に供給される。
【００９８】
感度均一化部５１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施すことによって、各画素の色が変更されずに感度が均一化された色モザイク画像Ｍを生成し、色補間部５２に出力する。
【００９９】
色補間部５２は、感度均一化部５１からの色モザイク画像Ｍに対し、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。
【０１００】
なお、色モザイクパターン情報は、色・感度モザイク画像の各画素の色の種類（いまの場合、Ｒ，Ｇ，Ｂのいずれかの色）を示す情報であり、画素位置をインデックスとして、その画素が有する色成分の情報を取得できるようになされている。
【０１０１】
感度モザイクパターン情報は、色・感度モザイク画像の各画素の感度の種類（いまの場合、Ｓ０またはＳ１）を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。
【０１０２】
図４６は、感度均一化部５１の第１の構成例を示している。当該第１の構成例は、図３５乃至図３７を参照して説明した第１の感度均一化処理を実行する感度均一化部５１の構成例である。
【０１０３】
感度均一化部５１の第１の構成例において、撮像系からの色・感度モザイク画像は、感度補償部６１および有効性判別部６３に供給される。色モザイクパターン情報は、欠落補間部６４に供給される。感度モザイクパターン情報は、感度補償部６１および有効性判別部６３に供給される。
【０１０４】
感度補償部６１は、相対感度値LUT６２から得られる相対感度値Ｓに基づき、色・感度モザイク画像に感度補償を施して欠落補間部６４に出力する。相対感度値LUT６２は、画素の感度をインデックスとして、相対感度値Ｓを出力するルックアップテーブルである。
【０１０５】
有効性判別部６３は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θHおよびノイズレベルのθLと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部６４に供給する。判別情報には、各画素の画素値について、有効(Valid)、または無効(Invalid)を示す情報が記述されている。
【０１０６】
欠落補間部６４は、有効性判別部６３からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施すことによって色モザイク画像Ｍを生成し、後段の色補間部５２に出力する。
【０１０７】
図４７は、色補間部５２の構成例を示している。色補間部５２において、感度均一化部５１からの色モザイク画像Ｍは、階調変換部７１に供給される。色モザイクパターン情報は、色差画像生成部７２，７３、および輝度画像生成部７４に供給される。
【０１０８】
階調変換部７１は、色モザイク画像Ｍに対して階調変換処理を施し、得られる変調色モザイク画像Ｍｇを色差画像生成部７２，７３、および輝度画像生成部７４に供給する。階調変換処理としては、具体的にはγ乗のべき算関数による変換等を用いる。
【０１０９】
色差画像生成部７２は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｃ（＝Ｒ−Ｇ）成分を有する色差画像Ｃを生成して輝度画像生成部７４および色空間変換部７５に供給する。色差画像生成部７３は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｄ（＝Ｂ−Ｇ）成分を有する色差画像Ｄを生成して輝度画像生成部７４および色空間変換部７５に供給する。輝度画像生成部７４は、変調モザイク画像Ｍｇ、色差信号Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する。
【０１１０】
色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施し、得られる変調画像（各画素がそれぞれＲＧＢ成分を有する画像）を階調逆変換部７６乃至７８に供給する。
【０１１１】
階調逆変換部７６は、色空間変換部７５からのＲ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｒを得る。階調逆変換部７７は、色空間変換部７５からのＧ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｇを得る。階調逆変換部７８は、色空間変換部７５からのＢ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｂを得る。
【０１１２】
なお、感度均一化部５１から供給される色モザイク画像Ｍがベイヤ配列を成している場合、色補間部５２において、例えば、特開昭６１−５０１４２４号公報等に開示されている従来の方法を用いて色補間処理を実行するようにしてもよい。
【０１１３】
図４８は、色差画像生成部７２の構成例を示している。色差画像生成部７２において、階調変換部７１からの変調色モザイク画像Ｍｇは平滑化部８１，８２に供給される。色モザイクパターン情報も平滑化部８１，８２に供給される。
【０１１４】
平滑化部８１は、各画素に対し、Ｒ成分を有する近傍の画素の画素値を用いて当該画素のＲ成分を補間することにより、平滑化されたＲ成分の画像Ｒ’を生成して減算器８３に供給する。平滑化部８２は、各画素に対し、Ｇ成分を有する近傍の画素の画素値を用いて当該画素のＧ成分を補間することにより、平滑化されたＧ成分の画像Ｇ’を生成して減算器８３に供給する。
【０１１５】
減算器８３は、平滑化部８１からの平滑化されるＲ成分の画像Ｒ’の画素値から、平滑化部８２からの平滑化されるＧ成分の画像Ｇ’の対応する画素の画素値を減算することにより、色差画像Ｃを生成して色空間変換部７５に供給する。
【０１１６】
なお、色差画像生成部７３の同様に構成されている。
【０１１７】
図４９は、輝度画像生成部７４の構成例を示している。輝度画像生成部７４を構成する輝度算出部９１は、階調変換部７１からの変調色モザイク画像Ｍｇ、色差画像生成部７２からの色差画像Ｃ、色差画像生成部７３からの色差画像Ｄ、および色モザイクパターン情報に基づいて各画素の輝度候補値を算出し、各画素の輝度候補値からなる輝度候補値画像Ｌｃをノイズ除去部９２に出力する。
【０１１８】
ノイズ除去部９２は、輝度候補値画像Ｌｃの各画素値（輝度候補値）に平滑化成分（後述）を合成することによってノイズを除去し、得られる輝度画像Ｌを色空間変換部７５に出力する。
【０１１９】
次に、図４５に示した画像処理部７の第１の構成例による第１のデモザイク処理について、図５０のフローチャートを参照して説明する。
【０１２０】
ステップＳ１において、感度均一化部５１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られた色モザイク画像Ｍを色補間部５２に出力する。
【０１２１】
図４６に示した感度均一化部５１の第１の構成例による第１の感度均一化処理の詳細について、図５１のフローチャートを参照して説明する。
【０１２２】
ステップＳ１１において、感度補償部６１は、入力された色・感度モザイク画像に感度補償処理を施し、感度補償された色・感度モザイク画像を欠落補間部６４に供給する。
【０１２３】
感度補償処理の詳細について、図５２のフローチャートを参照して説明する。ステップＳ２１において、感度補償部６１は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２２に進む。ステップＳ２２において、感度補償部６１は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１２４】
ステップＳ２３において、感度補償部６１は、感度モザイクパターン情報を参照することにより、注目画素の感度（Ｓ０またはＳ１）を取得し、さらに、相対感度値LUT６２を参照することによって注目画素の感度に対応する相対感度値Ｓを取得する。
【０１２５】
ステップＳ２４において、感度補償部６１は、色・感度モザイク画像の注目画素の画素値を相対感度値Ｓで除算することにより、その画素値の感度を補償する。感度が補償された画素値は、感度補償された色・感度モザイク画像の画素値とされる。
【０１２６】
処理は、ステップＳ２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２１乃至Ｓ２４の処理が繰り返される。ステップＳ２１において、全ての画素を注目画素としたと判定された場合、処理は図５１のステップＳ１２にリターンする。
【０１２７】
ステップＳ１２において、有効性判別部６３は、色・感度モザイク画像に有効性判別処理を施すことにより、各画素の画素値の有効性を示す判別情報を生成して欠落補間部６４に供給する。なお、ステップＳ１２の有効判別処理は、ステップＳ６１の感度補償処理を平行して実行するようにしてもよい。
【０１２８】
有効性判別処理の詳細について、図５３のフローチャートを参照して説明する。ステップＳ３１において、有効性判別部６３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ３２に進む。ステップＳ３２において、有効性判別部６３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１２９】
ステップＳ３３において、有効性判別部６３は、色・感度モザイク画像の注目画素の画素値が、ノイズレベルの閾値θLと飽和レベルの閾値θHの範囲内であるか否かを判定し、閾値の範囲内であると判定した場合、ステップＳ３４に進む。
【０１３０】
ステップＳ３４において、有効性判別部６３は、注目画素の判別情報を有効とする。処理はステップＳ３１に戻る。
【０１３１】
ステップＳ３３において、色・感度モザイク画像の注目画素の画素値が閾値の範囲内ではないと判定した場合、ステップＳ３５に進む。ステップＳ３５において、有効性判別部６３は、色・感度モザイク画像の注目画素の画素値が、飽和レベルの閾値θH以上であるか否かを判定し、飽和レベルの閾値θH以上であると判定した場合、ステップＳ３６に進む。
【０１３２】
ステップＳ３６において、有効性判別部６３は、感度モザイクパターン情報を参照することにより、注目画素が感度Ｓ０であるか否かを判定し、感度Ｓ０であると判定した場合、ステップＳ３４に進み、注目画素が感度Ｓ０ではないと判定した場合、ステップＳ３７に進む。
【０１３３】
ステップＳ３７において、有効性判別部６３は、注目画素の判別情報を無効とする。処理はステップＳ３１に戻る。
【０１３４】
ステップＳ３５において、色・感度モザイク画像の注目画素の画素値が飽和レベルの閾値θH以上ではないと判定した場合、ステップＳ３８に進む。ステップＳ３８において、有効性判別部６３は、感度モザイクパターン情報を参照することにより、注目画素が感度Ｓ１であるか否かを判定し、感度Ｓ１であると判定した場合、ステップＳ３４に進み、注目画素が感度Ｓ１ではないと判定した場合、ステップＳ３７に進む。
【０１３５】
その後、ステップＳ３１において、全ての画素を注目画素としたと判定されるまで、ステップＳ３１乃至３８の処理が繰り返される。ステップＳ３１において、全ての画素を注目画素としたと判定された場合、処理は図５１のステップＳ１３にリターンする。
【０１３６】
ステップＳ１３において、欠落補間部６４は、有効性判別部６３からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施し、得られた色モザイク画像Ｍを色補間部５２に供給する。
【０１３７】
欠落補間処理の詳細について、図５４のフローチャートを参照して説明する。ステップＳ４１において、欠落補間部６４は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ４２に進む。ステップＳ４２において、欠落補間部６４は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１３８】
ステップＳ４３において、欠落補間部６４は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップＳ４４に進む。
【０１３９】
ステップＳ４４において、欠落補間部６４は、色モザイクパターン情報を参照することにより、注目画素の色の種類（いまの場合、ＲＧＢのうちのいずれかの色）を判別し、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、注目画素と同じ色であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０１４０】
ステップＳ４５において、欠落補間部６４は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップＳ４６において、欠落補間部６４は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Ｍの注目画素の画素値とする。
【０１４１】
処理は、ステップＳ４１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ４１乃至４６の処理が繰り返される。ステップＳ４１において、全ての画素を注目画素としたと判定された場合、処理は図５０のステップＳ２にリターンする。
【０１４２】
以上説明したステップＳ１の感度均一化処理によって得られた色モザイク画像Ｍに対し、ステップＳ２において、色補間部５２は、色モザイクパターン情報に基づいて色補間処理を施すことにより、出力画像Ｒ，Ｇ，Ｂを生成する。
【０１４３】
色補間処理の詳細について、図５５のフローチャートを参照して説明する。ステップＳ５１において、階調変換部７１は、色モザイク画像Ｍに対して階調変換処理を施す（具体的には、変調色モザイク画像Ｍｇの各画素値をγ乗する）ことにより、変調色モザイク画像Ｍｇを生成して色差画像生成部７２，７３、および輝度画像生成部７４に供給する。
【０１４４】
ステップＳ５２において、色差画像生成部７２は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｃを生成し、輝度画像生成部７４および色空間変換部７５に供給する。一方、色差画像生成部７３は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｄを生成し、輝度画像生成部７４および色空間変換部７５に供給する。
【０１４５】
色差画像生成部７２が色差画像Ｃを生成する第１の処理について、図５６のフローチャートを参照して説明する。ステップＳ６１において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ６２に進む。ステップＳ６２において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１４６】
ステップＳ６３において、平滑化部８１は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｒ成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部８２も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、Ｇ成分を有する画素を検出し、検出した画素の画素値を抽出する。
【０１４７】
ステップＳ６４において、平滑化部８１は、Ｒ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
【０１４８】
ステップＳ６５において、平滑化部８１は、Ｒ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値とする。一方、平滑化部８２も同様に、Ｇ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値とする。
【０１４９】
ステップＳ６６において、減算器８３は、平滑化部８１からの平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値から、平滑化部８２からの平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値を減算し、その差を色差画像Ｃの注目画素に対応する画素値とする。
【０１５０】
処理は、ステップＳ６１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ６１乃至６６の処理が繰り返される。ステップＳ６１において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５３にリターンする。
【０１５１】
なお、色差画像生成部７３が色差画像Ｄを生成する処理は、上述した色差画像生成部７２が色差画像Ｃを生成する第１の処理と同様であるので、その説明は省略する。
【０１５２】
ステップＳ５３において、輝度画像生成部７４は、変調色モザイク画像Ｍｇ、色差画像Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する。
【０１５３】
輝度画像生成部７４の輝度画像生成処理の詳細について、図５７のフローチャートを参照して説明する。ステップＳ７１において、輝度算出部９１は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ７２に進む。ステップＳ７２において、輝度算出部９１は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１５４】
ステップＳ７３において、輝度算出部９１は、色モザイクパターン情報を参照して、注目画素の色の種類（いまの場合、ＲＧＢのいずれかの色）を判定する。
【０１５５】
ステップＳ７３において、注目画素の色の種類がＲであると判定された場合、処理はステップＳ７４に進む。ステップＳ７４において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差画像Ｃ，Ｄの注目画素に対応する画素値を次式（１）に適用して、輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。
【０１５６】
Ｌｃ＝３Ｍｇ−２Ｃ＋Ｄ                              ・・・（１）
【０１５７】
ステップＳ７３において、注目画素の色の種類がＧであると判定された場合、処理はステップＳ７５に進む。ステップＳ７５において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差画像Ｃ，Ｄの注目画素に対応する画素値を次式（２）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。
【０１５８】
Ｌｃ＝３Ｍｇ＋Ｃ＋Ｄ                                ・・・（２）
【０１５９】
ステップＳ７３において、注目画素の色の種類がＢであると判定された場合、処理はステップＳ７６に進む。ステップＳ７６において、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差画像Ｃ，Ｄの注目画素に対応する画素値Ｃ，Ｄを次式（３）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する。
【０１６０】
Ｌｃ＝３Ｍｇ＋Ｃ−２Ｄ                              ・・・（３）
【０１６１】
なお、式（１）乃至（３）において、Ｌｃ，Ｍｇ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、変調色モザイク画像Ｍｇ、色差画像Ｃ、色差画像Ｄの画素値である。
【０１６２】
処理はステップＳ７１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ７１乃至Ｓ７６の処理が繰り返される。ステップＳ７１において、全ての画素を注目画素としたと判定された場合、処理はステップＳ７７に進む。
【０１６３】
以上説明したステップＳ７１乃至Ｓ７６の処理によって生成された輝度候補画像Ｌｃはノイズ除去部９２に供給される。
【０１６４】
ステップＳ７７において、ノイズ除去部９２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ７８に進む。ステップＳ７８において、ノイズ除去部９２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１６５】
ステップＳ７９において、ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（４）に適用して、注目画素に対応する勾配∇（グラディエント）を算出する。なお、勾配∇は、画像の水平方向と垂直方向の１次微係数を要素とするベクトルである。また、注目画素の上下左右に位置する画素の画素値（輝度候補値）を、それぞれＬｃ（Ｕ），Ｌｃ（Ｄ），Ｌｃ（Ｌ），Ｌｃ（Ｒ）とする。
【０１６６】
勾配∇＝（Ｌｃ（Ｒ）−Ｌｃ（Ｌ），Ｌｃ（Ｕ）−Ｌｃ（Ｄ））・・・  （４）
【０１６７】
ステップＳ８０において、ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（５），（６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを算出する。
【０１６８】
Ｈｈ＝（Ｌｃ（Ｌ）＋Ｌｃ（Ｒ））／２              ・・・（５）
Ｈｖ＝（Ｌｃ（Ｕ）＋Ｌｃ（Ｄ））／２              ・・・（６）
【０１６９】
ステップＳ８１において、ノイズ除去部９２は、ステップＳ７９で算出した注目画素に対応する勾配∇の絶対値‖∇‖に対応して、水平方向の平滑化寄与率ｗｈと垂直方向の平滑化寄与率ｗｖを算出する。
【０１７０】
具体的には、勾配∇の絶対値が０よりも大きい場合、次式（７）に示すように、正規化した勾配∇／‖∇‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の平滑化寄与率ｗｈを得る。また、次式（８）に示すように、正規化した勾配∇／‖∇‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の平滑化寄与率ｗｖを得る。
【０１７１】
ｗｈ＝１−｜（∇／‖∇‖，（１，０））｜                ・・・（７）
ｗｖ＝１−｜（∇／‖∇‖，（０，１））｜                ・・・（８）
【０１７２】
勾配∇の絶対値が０である場合、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
【０１７３】
ステップＳ８２において、ノイズ除去部９２は、次式（９）を用いて注目画素に対応する輝度画像Ｌの画素値（輝度値）を算出する。
【０１７４】
Ｌ＝Ｌｃ＋（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ）    ・・・（９）
なお、式（９）において、Ｌｃ，Ｌは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、輝度画像Ｌの画素値である。
【０１７５】
処理はステップＳ７７に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ７７乃至Ｓ８２の処理が繰り返される。ステップＳ７７において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５４にリターンする。
【０１７６】
ステップＳ５４において、色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施すことにより、各画素がそれぞれＲＧＢ成分を有する変調画像を生成して階調逆変換部７６乃至７８に供給する。
【０１７７】
色空間変換処理の詳細について、図５８のフローチャートを参照して説明する。ステップＳ９１において、色空間変換部７５は、輝度画像Ｌ（色差画像Ｃ、または色差画像Ｄでもよい）の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ９２に進む。ステップＳ９２において、色空間変換部７５は、輝度画像Ｌの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１７８】
ステップＳ９３において、色空間変換部７５は、注目画素に対応する輝度画像Ｌ、色差画像Ｃ、および色差画像Ｄの画素値を次式（１０），（１１），（１２）に適用して、注目画素に対応する変調画像のＲ成分の値Ｒｇ、Ｇ成分の値Ｇｇ、Ｂ成分の値Ｂｇを算出する。
【０１７９】
Ｒｇ＝（Ｌ＋２Ｃ−Ｄ）／３                        ・・・（１０）
Ｇｇ＝（Ｌ−Ｃ−Ｄ）／３                          ・・・（１１）
Ｂｇ＝（Ｌ−Ｃ＋２Ｄ）／３                        ・・・（１２）
なお、式（１０）乃至（１２）において、Ｌ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度画像Ｌ、色差画像Ｃ、色差画像Ｄの画素値である。
【０１８０】
処理はステップＳ９１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ９１乃至Ｓ９３の処理が繰り返される。ステップＳ９１において、全ての画素を注目画素としたと判定された場合、処理は図５５のステップＳ５５にリターンする。
【０１８１】
ステップＳ５５において、階調逆変換部７６は、色空間変換部７５から供給された変調画像の各画素のＲ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すこと（具体的には、画素値を１／γ乗すること）によって出力画像Ｒを生成する。同様に、階調逆変換部７７は、色空間変換部７５から供給された変調画像の各画素のＧ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｇを生成する。階調逆変換部７８は、色空間変換部７５から供給された変調画像の各画素のＢ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｂを生成する。以上説明したような色補間処理によって、出力画像Ｒ，Ｇ，Ｂが生成される。
【０１８２】
以上により、図４５に示した画像処理部７の第１の構成例による第１のデモザイク処理についての説明を終了する。
【０１８３】
次に、図４６に示した感度均一化部５１の第１の構成例の代わりに用いることができる感度均一化部５１の第２の構成例について、図５９を参照して説明する。
【０１８４】
当該第２の構成例は、図３５、図３８、および図３９を参照して説明した第１のデモザイク処理における第２の感度均一化処理を感度均一化部５１が実行するための構成例である。以下、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ１０、図１５の色・感度モザイクパターンＰ１１等のように、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度は４段階Ｓ０，Ｓ１，Ｓ２，Ｓ３のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。また、感度が２段階、または３段階である色・感度モザイクパターンに適用することが可能である。
【０１８５】
感度均一化部５１の第２の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部１０１−１乃至１０１−４に供給される。
【０１８６】
補間部１０１−１は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ０の補間処理を施し、得られる感度Ｓ０に対応する補間値を加算器１０２に出力する。補間部１０１−２は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ１の補間処理を施し、得られる感度Ｓ１に対応する補間値を加算器１０２に出力する。補間部１０１−３は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ２の補間処理を施し、得られる感度Ｓ２に対応する補間値を加算器１０２に出力する。補間部１０１−４は、色・感度モザイク画像の各画素の色を変更せずに感度Ｓ３の補間処理を施し、得られる感度Ｓ３に対応する補間値を加算器１０２に出力する。
【０１８７】
加算器１０２は、補間部１０１−１乃至１０１−４から入力される感度Ｓ０乃至Ｓ３の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部１０３に供給する。
【０１８８】
合成感度補償部１０３は、加算器１０２から供給される色モザイク候補画像の画素値を合成感度補償LUT１０４に照らし合わせ、得られる値を画素値とする色モザイク画像Ｍを生成して色補間部５２に供給する。合成感度補償LUT１０４は、色モザイク候補画像の画素値をインデックスとして、色モザイク画像Ｍの画素値を取得できるようになされている。
【０１８９】
図５９に示した感度均一化部５１の第２の構成例による、第１のデモザイク処理における第２の感度均一化処理について、図６０のフローチャートを参照して説明する。
【０１９０】
ステップＳ１０１において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１０２に進む。ステップＳ１０２において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０１９１】
ステップＳ１０３において、補間部１０１−１乃至１０１−４は、色・感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成して加算器１０２に出力する。
【０１９２】
補間部１０１−１による感度Ｓ０の補間処理について、図６１のフローチャートを参照して説明する。ステップＳ１１１において、補間部１０１−１は、色・感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする５×５画素）のうち、色が注目画素と同じであり、かつ、感度がＳ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０１９３】
ステップＳ１１２において、補間部１０１−１は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップＳ１１３において、補間部１０１−１は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度Ｓ０に対応する補間値とする。処理は図６０のステップＳ１０４に戻る。
【０１９４】
なお、補間部１０１−２乃至１０１−３による感度Ｓ１乃至Ｓ３の補間処理は、上述した補間部１０１−１による感度Ｓ０の補間処理と同様であるので、その説明は省略する。ステップＳ１０４において、加算器１０２は、補間部１０１−１乃至１０１−４から入力される注目画素に対応する感度Ｓ０乃至Ｓ３の補間値を加算し、その和を、注目画素に対応する色モザイク候補画像の画素値として合成感度補償部１０３に供給する。
【０１９５】
ステップＳ１０５は、合成感度補償部１０３は、加算器１０２から供給された色モザイク候補画像の画素値を合成感度補償LUT１０４に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。
【０１９６】
処理は、ステップＳ１０１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１０１乃至１０５の処理が繰り返される。ステップＳ１０１において、全ての画素を注目画素としたと判定された場合、第１のデモザイク処理における第２の感度均一化処理は終了される。
【０１９７】
なお、第２の感度均一化処理後においては、図５５のフローチャートを参照して上述した色補間処理が実行される。
【０１９８】
次に、上述した色差画像Ｃを生成する第１の処理（図５６）の代わりに、色差画像生成部７２が実行可能な色差画像Ｃを生成する第２の処理について、図６２のフローチャートを参照して説明する。
【０１９９】
ステップＳ１２１において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１２２に進む。ステップＳ１２２において、平滑化部８１，８２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２００】
ステップＳ１２３において、平滑化部８１は、注目画素に対応する画像勾配ベクトルｇを演算する。
【０２０１】
画像勾配ベクトル演算処理の詳細について、図６３のフローチャートを参照して説明する。当該画像勾配ベクトル演算処理においては、変調色モザイク画像Ｍｇの全ての画素のうち、所定の１種類の色の画素だけを用いて画像勾配ベクトルｇを演算する。なお、所定の１種類の色の選択は任意であるが、例えば、変調色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしている場合、Ｇ成分を有する画素は、Ｒ成分を有する画素やＢ成分を有する画素に比較して２倍存在するので、１種類の色をＧとすることが理にかなっている。したがって、以下、色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしており、かつ、所定の１種類の色をＧに選択したとして仮定して説明を継続する。
【０２０２】
ステップＳ１４１において、平滑化部８１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ１４２に進む。この場合、注目画素の上下左右に位置する４画素の色はＧではなく、かつ、注目画素の斜め方向に隣接する４画素の色がＧである。
【０２０３】
ステップＳ１４２において、平滑化部８１は、注目画素の上下左右に位置する４画素にそれぞれ対応するＧ成分の値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）を、注目画素の左上に隣接するＧ成分を有する画素の画素値Ｇ（ＬＵ）、注目画素の左下に隣接するＧ成分を有する画素の画素値Ｇ（ＬＤ）、注目画素の右上に隣接するＧ成分を有する画素の画素値Ｇ（ＲＵ）、および、注目画素の右下に隣接するＧ成分を有する画素の画素値Ｇ（ＲＤ）を次式（１３）乃至次式（１６）に適用して補間する。
【０２０４】
Ｇ（Ｕ）＝（Ｇ（ＬＵ）＋Ｇ（ＲＵ））／２          ・・・（１３）
Ｇ（Ｄ）＝（Ｇ（ＬＤ）＋Ｇ（ＲＤ））／２          ・・・（１４）
Ｇ（Ｌ）＝（Ｇ（ＬＵ）＋Ｇ（ＬＤ））／２          ・・・（１５）
Ｇ（Ｒ）＝（Ｇ（ＲＵ）＋Ｇ（ＲＤ））／２          ・・・（１６）
【０２０５】
ステップＳ１４３において、平滑化部８１は、注目画素の上下左右に位置する４画素にそれぞれ対応するＧ成分の値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）を、次式（１７）乃至次式（１９）に適用してベクトルｇ’を算出し、次式（２０）のように正規化して勾配ベクトルｇを算出する。
【０２０６】
ｇｈ＝Ｇ（Ｒ）−Ｇ（Ｌ）                          ・・・（１７）
ｇｖ＝Ｇ（Ｕ）−Ｇ（Ｄ）                          ・・・（１８）
ｇ’＝（ｇｈ，ｇｖ）                              ・・・（１９）
ｇ＝ｇ’／‖ｇ’‖                                ・・・（２０）
【０２０７】
なお、ステップＳ１４１において、注目画素の色がＧではないと判定された場合、処理はステップＳ１４４に進む。この場合、注目画素の上下左右に位置する４画素の色はＧである。
【０２０８】
ステップＳ１４４において、注目画素の上下左右に位置する４画素の画素値を取得して、それぞれを値Ｇ（Ｕ），Ｇ（Ｄ），Ｇ（Ｌ），Ｇ（Ｒ）に代入する。
【０２０９】
以上のようにして、注目画素に対応する画像勾配ベクトルｇを演算する。なお、変調色モザイク画像Ｍｇの色モザイクパターンがベイヤ配列をなしていない場合においても、類似した処理によって画像勾配ベクトルｇを演算することができる。
【０２１０】
処理は図６２のステップＳ１２４にリターンする。
【０２１１】
ステップＳ１２４において、平滑化部８１は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｒ成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。一方、平滑化部８２も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、Ｇ成分を有する画素を検出し、検出した画素の画素値を抽出する。
【０２１２】
ステップＳ１２５において、平滑化部８１は、注目画素からＲ成分を有する各参照画素までの位置ベクトルｎをそれぞれ算出して正規化する。一方、平滑化部８２も同様に、注目画素からＧ成分を有する各参照画素までの位置ベクトルｎをそれぞれ算出して正規化する。
【０２１３】
ステップＳ１２６において、平滑化部８１は、次式（２１）に示すように、Ｒ成分を有する参照画素毎に、注目画素の勾配ベクトルｇと位置ベクトルｎとの内積の絶対値を１から減算し、その差のρ乗を演算することにより、当該参照画素に対する重要度ωを算出する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素毎に重要度ωを算出する。ここで、ρは、方向選択の先鋭度を調整するための定数であり、予め設定されている。
【０２１４】
ω＝（１−｜（ｎ，ｇ）｜）ρ                      ・・・（２１）
【０２１５】
ステップＳ１２７において、平滑化部８１は、Ｒ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
【０２１６】
ステップＳ１２８において、平滑化部８１は、Ｒ成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。一方、平滑化部８２も同様に、Ｇ成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。
【０２１７】
ステップＳ１２９において、平滑化部８１は、ステップＳ１２８で演算したＲ成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値とする。一方、平滑化部８２も同様に、平滑化部８２は、ステップＳ１２８で演算したＧ成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値とする。
【０２１８】
ステップＳ１３０において、減算器８３は、平滑化部８１からの平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値から、平滑化部８２からの平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値を減算し、その差を色差画像Ｃの注目画素の画素値とする。
【０２１９】
処理は、ステップＳ１２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１２１乃至１３０の処理が繰り返される。ステップＳ１２１において、全ての画素を注目画素としたと判定された場合、当該色差画像生成処理を終了して、図５５のステップＳ５３にリターンする。
【０２２０】
なお、色差画像生成部７３が色差画像Ｄを生成する処理は、上述した色差画像生成部７２が色差画像Ｃを生成する第２の処理と同様であるので、その説明は省略する。
【０２２１】
色差画像Ｃを生成する第２の処理では、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようにしたので、色差画像Ｃを生成する第１の処理に比較して色モアレの発生を抑止するこができる。
【０２２２】
次に、第２のデモザイク処理を主に実行する画像処理部７の第２の構成例について、図６４を参照して説明する。画像処理部７の第２の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部１１１に供給される。
【０２２３】
感度均一化部１１１は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られる感度が均一化された色モザイク画像Ｍを色補間部１１２に出力する。ただし、得られる色モザイク画像Ｍの色モザイク配列は、元の色・感度モザイク画像の色モザイク配列とは必ずしも同じではないので、感度均一化部１１１は、色モザイクパターン情報を更新して色補間部１１２に供給する。
【０２２４】
色補間部１１２は、感度均一化部１１１からの色モザイク画像Ｍに対し、図４５の色補間部５２と同様に、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。
【０２２５】
図６５は、感度均一化部１１１の第１の構成例を示している。当該第１の構成例は、図３５、図４１および図４２を参照して説明した第２のデモザイク処理における第１の感度均一化処理を実行する感度均一化部１１１の構成例である。
【０２２６】
感度均一化部１１１の第１の構成例において、撮像系からの色・感度モザイク画像は、感度補償部１２１および有効性判別部１２３に供給される。色モザイクパターン情報は、欠落補間部１２４に供給される。感度モザイクパターン情報は、感度補償部１２１および有効性判別部１２３に供給される。
【０２２７】
感度補償部１２１は、相対感度値LUT１２２から得られる相対感度値Ｓに基づき、色・感度モザイク画像に感度補償を施して欠落補間部１２４に出力する。相対感度値LUT１２２は、画素の感度をインデックスとして、相対感度値Ｓを出力するルックアップテーブルである。
【０２２８】
有効性判別部１２３は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θHおよびノイズレベルのθLと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部１２４に供給する。判別情報には、各画素の画素値について有効または無効を示す情報が記述されている。
【０２２９】
欠落補間部１２４は、有効性判別部１２３からの判別情報に基づき、感度補償された色・感度モザイク画像の全画素のうち、判別情報が有効である画素の画素値はそのまま用い、判別情報が無効である画素に対しては、感度補償された色・感度モザイク画像のなかに最も多く存在する色を有する画素の画素値を用いて、その色成分の画素値を補間する。このように、最も多く存在する色を有する画素の画素値を用いることによって、より高周波成分が復元し易くなる。さらに、欠落補間部１２４は、生成した色モザイク画像Ｍの色モザイク配列に対応して色モザイクパターン情報を更新し、色補間部１１２に出力する。
【０２３０】
次に、図６４に示した画像処理部７の第２の構成例が主に実行する第２のデモザイク処理について説明するが、その大部分は、上述した第１のデモザイク処理と同様である。よって、上述した第１のデモザイク処理と異なる処理、すなわち、感度均一化部１１１を構成する欠落補間部１２４の欠落補間処理について、図６６のフローチャートを参照して説明する。以下、色・感度モザイク画像のなかにはＧ成分を有する画素が最も多く存在すると仮定する。ただし、他の色成分を有する画素が最も多く存在する場合においても同様に処理することができる。
【０２３１】
ステップＳ１５１において、欠落補間部１２４は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１５２に進む。ステップＳ１５２において、欠落補間部１２４は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２３２】
ステップＳ１５３において、欠落補間部１２４は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップＳ１５４に進む。
【０２３３】
ステップＳ１５４において、欠落補間部１２４は、色モザイクパターン情報を参照し、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｇ成分を有する画素であって、かつ、判別情報が有効である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、欠落補間部１２４は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、欠落補間部１２４は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Ｍの注目画素の画素値とする。
【０２３４】
ステップＳ１５５において、欠落補間部１２４は、色モザイクパターン情報における注目画素の色をＧに更新する。
【０２３５】
なお、ステップＳ１５３において、注目画素の判別情報が無効ではないと判定された場合、ステップＳ１５４、およびステップＳ１５５の処理はスキップされる。
【０２３６】
処理は、ステップＳ１５１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１５１乃至１５５の処理が繰り返される。ステップＳ１５１において、全ての画素を注目画素としたと判定された場合、当該欠落補間処理は終了され、得られた色モザイク画像Ｍ、および更新された色モザイクパターン情報は、後段の色補間部１１２に供給される。
【０２３７】
次に、図６５に示した感度均一化部１１１の第１の構成例の代わりに用いることができる感度均一化部１１１の第２の構成例について、図６７を参照して説明する。
【０２３８】
当該第２の構成例は、図３５、図４３、および図４４を参照して説明した第２のデモザイク処理における第２の感度均一化処理を感度均一化部１１１が実行するための構成例である。
【０２３９】
以下、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ１０、図１５の色・感度モザイクパターンＰ１１等のように、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度は４段階Ｓ０，Ｓ１，Ｓ２，Ｓ３のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。また、感度が２段階、または３段階である色・感度モザイクパターンに適用することが可能である。
【０２４０】
感度均一化部１１１の第２の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部１３２−１乃至１３２−４に供給される。色モザイクパターン情報は、補間色決定部１３１にも供給される。
【０２４１】
補間色決定部１３１は、色モザイクパターン情報に基づき、補間部１３２−１乃至１３２−３で補間する補間値の色（補間色）を指定する。また、補間色決定部１３１は、補間色の決定に対応して色モザイクパターン情報を更新する。
【０２４２】
補間部１３２−１は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ０の補間処理を施し、得られる感度Ｓ０に対応する補間値を加算器１３３に出力する。補間部１３２−２は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ１の補間処理を施し、得られる感度Ｓ１に対応する補間値を加算器１３３に出力する。補間部１３２−３は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ２の補間処理を施し、得られる感度Ｓ２に対応する補間値を加算器１３３に出力する。補間部１３２−４は、補間色決定部１３１からの補間色の指定に対応して、色・感度モザイク画像に感度Ｓ３の補間処理を施し、得られる感度Ｓ３に対応する補間値を加算器１３３に出力する。
【０２４３】
加算器１３３は、補間部１３２−１乃至１３２−４から入力される感度Ｓ０乃至Ｓ３の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部１３４に供給する。
【０２４４】
合成感度補償部１３４は、加算器１３３から供給される色モザイク候補画像の画素値を合成感度補償LUT１３５に照らし合わせ、得られる値を画素値とする色モザイク画像を生成して色補間部１１２に供給する。合成感度補償LUT１３５は、色モザイク候補画像の画素値をインデックスとして、色・感度モザイク画像Ｍの画素値を取得できるようになされている。
【０２４５】
図６７に示した感度均一化部１１１の第２の構成例による、第２のデモザイク処理における第２の感度均一化処理について、図６８のフローチャートを参照して説明する。
【０２４６】
ステップＳ１６１において、補間部１３２−１乃至１３２−４は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ１６２に進む。ステップＳ１６２において、補間部１３２−１乃至１３２−４は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２４７】
ステップＳ１６３において、補間色決定部１３１は、色モザイクパターン情報に基づく補間色決定処理を実行し、得られた注目画素の補間色を補間部１３２−１乃至１３２−４に通知する。
【０２４８】
補間色決定部１３１の補間色決定処理の詳細について、図６９のフローチャートを参照して説明する。なお、当該補間色決定処理は、注目画素により近傍の画素を用いて注目画素の画素値を補間することを目的とし、色・感度モザイク画像の色モザイク配列がベイヤ配列をなしていると仮定する。
【０２４９】
ステップＳ１７１において、補間色決定部１３１は、色モザイクパターン情報を参照することにより、注目画素の色を判定する。
【０２５０】
ステップＳ１７１において、注目画素の色がＧであると判定された場合、ステップＳ１７２に進む。この場合、注目画素の斜め方向に隣接する４画素の色もＧである。ステップＳ１７２において、補間色決定部１３１は、注目画素の補間色をＧに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＧに更新する。
【０２５１】
ステップＳ１７１において、注目画素の色がＲであると判定された場合、ステップＳ１７３に進む。この場合、注目画素の斜め方向に隣接する４画素の色はＢである。ステップＳ１７３において、補間色決定部１３１は、注目画素の補間色をＢに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＢに更新する。
【０２５２】
ステップＳ１７１において、注目画素の色がＢであると判定された場合、ステップＳ１７４に進む。この場合、注目画素の斜め方向に隣接する４画素の色はＲである。ステップＳ１７４において、補間色決定部１３１は、注目画素の補間色をＲに決定し、補間部１３２−１乃至１３２−４に通知する。さらに、補間色決定部１３１は、注目画素に対応する色モザイクパターン情報をＲに更新する。
【０２５３】
以上説明した補間色決定処理によれば、色モザイク配列がベイヤ配列をなす色・感度モザイク画像のＲとＢを入れ替えるように、注目画素の補間色を指定するので、更新された色モザイクパターン情報もベイヤ配列をなすことが維持される。
【０２５４】
処理は図６８のステップＳ１６４にリターンする。ステップＳ１６４において、補間部１３２−１乃至１３２−４は、補間色決定部１３１からの補間色の指定に対応し、色・感度モザイク画像に補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成して加算器１３３に出力する。
【０２５５】
具体的には、例えば、補間部１３２−１は、色・感度モザイク画像の注目画素の近傍に位置する画素（例えば、注目画素を中心とする５×５画素）のうち、補間色指定部１３１から指定された色を有し、かつ、感度がＳ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。また、補間部１３２−１は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、補間部１３２−１は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度Ｓ０に対応する補間値とする。
【０２５６】
なお、補間部１３２−２乃至１３２−４による感度Ｓ１乃至Ｓ３の補間処理は、上述した補間部１３２−１による感度Ｓ０の補間処理と同様であるので、その説明は省略する。
【０２５７】
ステップＳ１６５において、加算器１３３は、補間部１３２−１乃至１３２−４から入力される注目画素に対応する感度Ｓ０乃至Ｓ３の補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値として合成感度補償部１３４に供給する。
【０２５８】
ステップＳ１６６は、合成感度補償部１３４は、加算器１３３から供給された色モザイク候補画像の画素値を合成感度補償LUT１３５に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。
【０２５９】
処理は、ステップＳ１６１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ１６１乃至１６６の処理が繰り返される。ステップＳ１６１において、全ての画素を注目画素としたと判定された場合、第２のデモザイク処理における第２の感度均一化処理は終了される。
【０２６０】
なお、第２のデモザイク処理における第２の感度均一化処理により得られた色モザイク画像Ｍに対しては、色補間部１１２によって色補間処理が施されるが、その処理は図５５のフローチャートを参照して上述した色補間処理と同様であるので説明は省略する。
【０２６１】
次に、図７０は、画像処理部７を中心とする画像処理系の第３のデモザイク処理の概要を示している。
【０２６２】
第３のデモザイク処理は、図７０に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のＲＧＢ成分を補間してＲ成分の感度モザイク画像MsR、Ｇ成分の感度モザイク画像MsG、およびＢ成分の感度モザイク画像MsBを生成する感度別色補間処理と、Ｒ成分の感度モザイク画像、Ｇ成分の感度モザイク画像、およびＢ成分の感度モザイク画像のそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成する感度均一化処理から成る。
【０２６３】
第３のデモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のＲＧＢ成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をＲＧＢ成分毎に合成して感度モザイク画像を生成する挿入処理からなる。
【０２６４】
例えば、抽出処理では、色・感度モザイク画像から、感度Ｓ１の画素だけが抽出されて、画素が市松状に配置された色モザイク画像McS1が生成される。色補間処理では、色モザイク画像McS1から、感度Ｓ１であってＲ成分を有する画素が市松状に配置された画像Rs1、感度Ｓ１であってＧ成分を有する画素が市松状に配置された画像Gs1、および感度Ｓ１であってＢ成分を有する画素が市松状に配置された画像Bs1が生成される。
【０２６５】
例えば、挿入処理では、色補間処理によって生成された画像RS0と、画像RS1が組み合わされて、感度モザイク画像MsRが生成される。
【０２６６】
次に、第３のデモザイク処理を主に実行する画像処理部７の第３の構成例について、図７３を参照して説明する。
【０２６７】
画像処理部７の第３の構成例において、撮像系からの色・感度モザイク画像は、感度別色補間部１５１に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度別色補間部１５１に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度別色補間部１５１、および感度均一化部１５２乃至１５４に供給される。
【０２６８】
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図７の色・感度モザイクパターンＰ３であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であって、さらに、色に拘わらず感度Ｓ０の画素だけに注目すれば、それらは格子状（市松状）に配置されている。同様に、感度Ｓ１の画素の格子状（市松状）に配置されている。
【０２６９】
ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
【０２７０】
感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施し、得られるＲ成分の感度モザイク画像MsR、Ｇ成分の感度モザイク画像MsG、およびＢ成分の感度モザイク画像MsBを、それぞれ対応する感度均一化部１５２乃至１５４に供給する。
【０２７１】
感度均一化部１５２は、Ｒ成分の感度モザイク画像MsRに感度均一化処理を施すことによって出力画像Ｒを生成する。感度均一化部１５３は、Ｇ成分の感度モザイク画像MsGに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像MsBに感度均一化処理を施すことによって出力画像Ｂを生成する。
【０２７２】
図７４は、感度別色補間部１５１の構成例を示している。感度別色補間部１５１において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、抽出部１６１に供給される。
【０２７３】
抽出部１６１は、色・感度モザイク画像に対して、感度Ｓｉ（いまの場合、ｉ＝０，１）の抽出処理を施し、得られる感度Ｓｉの画素からなる色モザイク画像McSiを色補間部１６２に供給する。なお、色モザイク画像McSiは、元の色・感度モザイク画像のｘｙ座標系とは異なるｓｔ座標系を用いて表現されるで画像である（詳細は図７８および図７９を参照して後述する）。また、抽出部１６１は、色モザイク画像McSiの色モザイク配列を示す感度Ｓｉの色モザイクパターン情報を生成し、色補間部１６２に供給する。さらに、抽出部１６１は、色モザイク画像McSiと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３乃至１６５に供給する。
【０２７４】
色補間部１６２は、抽出部１６１からの色モザイク画像McSiの全画素のＲＧＢ成分を補間し、得られる画像Rsi，Gsi，Bsiをそれぞれ対応する挿入部１６３乃至１６５に供給する。画像Rsiは、色モザイク画像McSiの各画素に対応するＲ成分の画素値からなる画像である。画像Gsiは、色モザイク画像McSiの各画素に対応するＧ成分の画素値からなる画像である。画像Bsiは、色モザイク画像McSiの各画素に対応するＢ成分の画素値からなる画像である。また、画像Rsi，Gsi，Bsiは、色モザイク画像McSiと同じ座標系によって表現される。なお、色補間部１６２は、図４７に示した色補間部５２の構成例と同様に構成される。
【０２７５】
挿入部１６３は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＲ成分の画像Rsiを組み合わせて感度モザイク画像MsRを生成し、感度均一化部１５２に供給する。挿入部１６４は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＧ成分の画像Gsiを組み合わせて感度モザイク画像MsGを生成し、感度均一化部１５３に供給する。挿入部１６５は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＢ成分の画像Bsiを組み合わせて感度モザイク画像MsBを生成し、感度均一化部１５４に供給する。
【０２７６】
図７５は、感度均一化部１５２の構成例を示している。感度均一化部１５２において、感度別色補間部１５１の挿入部１６３から供給される感度モザイク画像MsRは、局所和算出部１７１に供給される。局所和算出部１７１は、感度モザイク画像MsRの各画素に対し、その近傍の画素を用いる局所和算出処理を施し、得られる各画素に対応する局所和を合成感度補償部１７２に供給する。合成感度補償部１７２は、合成感度補償LUT１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を画素値として出力画像Ｒを生成する。合成感度補償LUT１７３は、局所和をインデックスとして、対応する補償値を供給するようになされている。
【０２７７】
なお、感度均一化部１５３，１５４の構成例は、図７５に示した感度均一化部１５２の構成例と同様であるので、その説明は省略する。
【０２７８】
次に、図７３に示した画像処理部７の第３の構成例による第３のデモザイク処理について、図７６にフローチャートを参照して説明する。
【０２７９】
ステップＳ１８１において、感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施すことにより、Ｒ成分の感度モザイク画像MsR、Ｇ成分の感度モザイク画像MsG、およびＢ成分の感度モザイク画像MsBを生成し、それぞれ対応する感度均一化部１５２乃至１５４に供給する。
【０２８０】
感度別色補間部１５１の感度別色補間処理の詳細について、図７７のフローチャートを参照して説明する。ステップＳ１９１において、抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度（いまの場合、Ｓ０およびＳ１）を指定したか否かを判定し、全ての感度を指定していないと判定した場合、ステップＳ１９２に進む。
【０２８１】
ステップＳ１９２において、抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度のうちの１種類の感度を指定する。指定された感度をＳｉとする。
【０２８２】
ステップＳ１９３において、抽出部１６１は、色・感度モザイク画像の全ての画素のうち、感度Ｓｉの画素だけを抽出し、感度Siの色モザイク画像McSiを生成して色補間部１６２に供給する。さらに、抽出部１６１は、色モザイク画像McSiと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３乃至１６５に供給する。また、抽出部１６１は、色モザイク画像McSiの色モザイク配列を示す感度Ｓｉの色モザイクパターン情報を生成し、色補間部１６２に供給する。
【０２８３】
ステップＳ１９３の処理の詳細について、図７８および図７９を参照して説明する。抽出される感度Ｓｉの画素は元の色・感度モザイク画像の画素間隔では抽出されないので、生成される感度Siの色モザイク画像McSiは、元の色・感度モザイク画像とは画素間隔、原点、向きが異なる格子に形成される。そこで、抽出部１６１は、色モザイク画像McSiを生成すると同時に、元の色・感度モザイク画像の座標系と、色モザイク画像McSiの座標系との対応関係を元に、画素毎に元の位置の情報を参照できる元位置情報を生成する。
【０２８４】
元の色・感度モザイク画像と生成する色モザイク画像McSiの座標系の対応関係は、図７８または図７９に示すとおりである。同図において、元の色・感度モザイク画像はｘｙ座標系で表示され、色モザイク画像McSiはｓｔ座標系で表示されている。また、色・感度モザイク画像の■は感度Ｓ０の画素を示し、色・感度モザイク画像の□は感度Ｓ１の画素を示している。このようにｘｙ座標系に対して斜めに設定したｓｔ座標系を用いることにより、元の色・感度モザイク画像において市松状に配置された感度Ｓｉの画素を、等間隔格子の画素配置として抽出できるようになされている。
【０２８５】
図７８を参照して、色・感度モザイク画像の■で示される感度Ｓ０の画素を抽出する場合について説明する。例えば、図中の画素Ａは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘA，ｙA）であり、生成される色モザイク画像McSiを表現するｓｔ座標系では（ｓA，ｔA）である。（ｓA，ｔA）と（ｘA，ｙA）は、次式（２２）に示すような対応関係がある。
【０２８６】
ｓA＝｛（ｘA−１）＋ｙA｝／２
ｔA＝｛（ｘmax−１−ｘA）＋ｙA｝／２                  ・・・（２２）
【０２８７】
抽出部１６１は、元の色・感度モザイク画像の感度Ｓ０の画素の座標（ｘA，ｙA）を式（２２）に適用して、色モザイク画像McSiでの座標（ｓA，ｔA）を算出し、その座標に当該画素の値を用いて色モザイク画像McSiを生成する。同時に、感度Ｓ０の元位置情報には、座標（ｓA，ｔA）に対応して座標（ｘA，ｙA）を格納する。
【０２８８】
図７９を参照して、色・感度モザイク画像の□で示される感度Ｓ１の画素を抽出する場合について説明する。例えば、図中の画素Ｂは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘB，ｙB）であり、生成される色モザイク画像McSiを表現するｓｔ座標系では（ｓB，ｔB）である。（ｓB，ｔB）と（ｘB，ｙB）は、次式（２３）に示すような対応関係がある。
【０２８９】
ｓB＝（ｘB＋ｙB）／２
ｔB＝｛（ｘmax−１−ｘB）＋ｙB｝／２                  ・・・（２３）
【０２９０】
抽出部１６１は、元の色・感度モザイク画像の感度Ｓ１の画素の座標（ｘB，ｙB）を式（２３）に適用して、色モザイク画像McSiでの座標（ｓB，ｔB）を算出し、その座標に当該画素の値を用いて色モザイク画像McSiを生成する。同時に、感度Ｓ１の元位置情報には、座標（ｓB，ｔB）に対応して座標（ｘB，ｙB）を格納する。
【０２９１】
図７７に戻り、ステップＳ１９４において、色補間部１６２は、抽出部１６１からの色モザイク画像McSiの全画素のＲＧＢ成分を補間して、画像Rsi，Gsi，Bsiを生成し、それぞれ対応する挿入部１６３乃至１６５に供給する。なお、色補間部１６２の処理の詳細については、図５５を参照して説明した色補間部５２の色補間処理と同様であるので、その説明は省略する。
【０２９２】
処理はステップＳ１９１に戻り、感度モザイクパターン情報に含まれる全ての感度を指定したと判定されるまで、ステップＳ１９１乃至Ｓ１９４に処理が繰り返される。ステップＳ１９１において、感度モザイクパターン情報に含まれる全ての感度を指定したと判定された場合、処理はステップＳ１９５に進む。
【０２９３】
ステップＳ１９５において、挿入部１６３は、抽出部１６１から供給された全ての元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されたＲ成分の画像Rsi（いまの場合、画像Rs0と画像Rs1）を組み合わせて感度モザイク画像MsRを生成し、感度均一化部１５２に供給する。同様に、挿入部１６４は、感度モザイク画像MsGを生成して感度均一化部１５３に供給し、挿入部１６５は、感度モザイク画像MsBを生成して感度均一化部１５４に供給する。
【０２９４】
処理は図７６のステップＳ１８２にリターンする。ステップＳ１８２において、感度均一化部１５２は、Ｒ成分の感度モザイク画像MsRに感度均一化処理を施すことによって出力画像Ｒを生成する。感度均一化部１５３は、Ｇ成分の感度モザイク画像MsGに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像MsBに感度均一化処理を施すことによって出力画像Ｂを生成する。
【０２９５】
感度均一化部１５２の感度均一化処理について、図８０のフローチャートを参照して説明する。ステップＳ２０１において、局所和算出部１７１は、Ｒ成分の感度モザイク画像MsRの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２０２に進む。ステップＳ２０２において、局所和算出部１７１は、感度モザイク画像MsRの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０２９６】
ステップＳ２０３において、局所和算出部１７１は、注目画素に対応する局所和を算出し、合成感度補償部１７２に供給する。具体的には、注目画素を中心とする５×５画素（以下、参照画素と記述する）の画素値が抽出され、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている図８１に示すようなフィルタ係数とがそれぞれ乗算され、それらの積の総和が演算される。さらに、その積の総和が、２５個のフィルタ係数の総和で除算されて、その商が注目画素に対応する局所和とされる。
【０２９７】
ステップＳ２０４において、合成感度補償部１７２は、合成感度補償LUT１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を注目画素に対応する出力画像Ｒの画素値とする。
【０２９８】
処理は、ステップＳ２０１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２０１乃至２０４の処理が繰り返される。ステップＳ２０１において、全ての画素を注目画素としたと判定された場合、感度均一化処理は終了され、図７６にリターンする。
【０２９９】
なお、感度均一化部１５３，１５４も、感度均一化部１５２の感度均一化処理と平行して同様の感度均一化処理を実行するが、その詳細な説明は省略する。
【０３００】
以上、画像処理部７の第３の構成例による第３のデモザイク処理の説明を終了する。
【０３０１】
次に、画像処理部７を中心とする画像処理系の第４のデモザイク処理の概要について説明する。
【０３０２】
第４のデモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理から成る。
【０３０３】
図８２は、第４のデモザイク処理を主に実行する画像処理部７の第４の構成例を示している。
【０３０４】
画像処理部７の第４の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１、並びに単色画像生成部１８２乃至１８４に供給される。
【０３０５】
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図６の色・感度モザイクパターンＰ２であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしている。
【０３０６】
ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色から成る色・感度モザイク画像や、４色から成る色・感度モザイク画像に適用することも可能である。
【０３０７】
輝度画像生成部１８１は、供給される色・感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部１８２乃至１８４に供給する。
【０３０８】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０３０９】
図８３は、輝度画像生成部１８１の第１の構成例を示している。輝度画像生成部１８１の第１の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部１９１乃至１９３に供給される。
【０３１０】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’を乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施し、得られる各画素に対するＧ成分の推定値Ｇ’を乗算器１９５に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施し、得られる各画素に対するＢ成分の推定値Ｂ’を乗算器１９６に供給する。
【０３１１】
乗算器１９４は、推定部１９１から供給される推定値Ｒ’に、色バランス係数ｋRを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給される推定値Ｇ’に、色バランス係数ｋGを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給される推定値Ｂ’に、色バランス係数ｋBを乗算し、その積を加算器１９７に出力する。
【０３１２】
加算器１９７は、乗算器１９４から入力される積Ｒ’・ｋR、乗算器１９５から入力される積Ｇ’・ｋG、および乗算器１９６から入力される積Ｂ’・ｋBを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部１９８に供給する。
【０３１３】
ここで、色バランス係数ｋR，ｋG，ｋBは、予め設定されている値であり、例えば、ｋR＝０．３、ｋG＝０．６、ｋB＝０．１である。なお、色バランス係数ｋR，ｋG，ｋBの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、例えば、ｋR＝ｋG＝ｋBとしてもよい。
【０３１４】
ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を単色画像生成部１８２乃至１８４に供給する。
【０３１５】
図８４は、単色画像生成部１８２の構成例を示している。単色画像生成部１８２において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部２０１に供給される。輝度画像は、比率算出部２０２、および乗算器２０３に供給される。
【０３１６】
補間部２０１は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がＲ成分の画素値を有するＲ候補画像を比率値算出部２０２に出力する。比率値算出部２０２は、Ｒ候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下、単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０３１７】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０３１８】
なお、単色画像生成部１８３，１８４の構成例も同様であるので、その説明は省略する。
【０３１９】
次に、画像処理部７の第４の構成例による第４のデモザイク処理について、図８５のフローチャートを参照して説明する。
【０３２０】
ステップＳ２１１において、輝度画像生成部１８１は、色・感度モザイク画像に輝度画像生成処理を施すことによって輝度画像を生成し、単色画像生成部１８２乃至１８４に供給する。
【０３２１】
輝度画像生成部１８１の輝度画像生成処理について、図８６のフローチャートを参照して説明する。
【０３２２】
ステップＳ２２１において、推定部１９１乃至１９３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２２２に進む。ステップＳ２２２において、推定部１９１乃至１９３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０３２３】
ステップＳ２２３において、推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定し、乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施すことにより、注目画素に対応する推定値Ｇ’を推定し、乗算器１９４に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施すことにより、注目画素に対応する推定値Ｂ’を推定し、乗算器１９４に供給する。
【０３２４】
推定部１９１のＲ成分推定処理について、図８７のフローチャートを参照して説明する。ステップＳ２３１において、推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ０である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０３２５】
ステップＳ２３２において、推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、図８８に示すような予め設定されているＲ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたＲ成分用補間フィルタ係数の総和で除算して第１の商を取得する。
【０３２６】
ステップＳ２３３において、推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ１である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する。
【０３２７】
ステップＳ２３４において、推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、Ｒ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第２の商を取得する。
【０３２８】
ステップＳ２３５において、推定部１９１は、ステップＳ２３２で取得した第１の商と、ステップＳ２３４で取得した第２の商を加算する。ステップＳ２３６において、推定部１９１は、ステップＳ２３５で演算した第１の商と第２の商の和を、内蔵する合成感度補償LUT（後述）に照らし合わせることにより、感度特性を補償した補償値を取得する。取得した補償値は、注目画素に対応する推定値Ｒ’とされる。処理は図８６のステップＳ２２４にリターンする。
【０３２９】
なお、推定部１９２のＧ成分推定処理、および推定部１９３のＢ成分推定処理は、推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。ただし、推定部１９２のＧ成分推定処理においては、注目画素を中心とする７×７画素のなかから参照画素を検出するようにし、さらに、図８９に示すＧ成分用補間フィルタ係数を用いることにする。
【０３３０】
ここで、推定部１９１が用いる合成感度補償LUTについて、図９０乃至図９２を参照して説明する。図９０は、感度Ｓ０の画素の特性曲線ｂと、感度Ｓ１の画素の特性曲線ａを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度Ｓ１は、低感度の感度Ｓ０に対して４倍の感度を有している。
【０３３１】
当該推定処理では、図９０の特性曲線ｂに示すような特性で測定された感度Ｓ０の画素から算出された第１の商と、同図の特性曲線ａに示すような特性で測定された感度Ｓ１の画素を用いて算出された第２の商とが加算されている。従って、第１の商と第２の商の和は、図９１の特性曲線ｃに示すように、感度Ｓ０と感度Ｓ１の特性が合成された特性を有することになる。
【０３３２】
この合成された特性曲線ｃは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図９１に示すように折れ線となっているので、感度特性曲線ｃの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。具体的には、図９２に示すように、第１の商と第２の商の和を、図９１の感度特性曲線ｃの逆特性曲線ｄに適用して非線形性を補償するようにする。
【０３３３】
すなわち、合成感度補償LUTは、図９２の逆特性曲線ｄをルックアップテーブル化したものである。
【０３３４】
図８６の説明に戻る。ステップＳ２２４において、乗算器１９４は、推定部１９１から供給された推定値Ｒ’に色バランス係数ｋRを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給された推定値Ｇ’に色バランス係数ｋGを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給された推定値Ｂ’に色バランス係数ｋBを乗算し、その積を加算器１９７に出力する。加算器１９７は、乗算器１９４から入力された積Ｒ’・ｋR、乗算器１９５から入力された積Ｇ’・ｋG、および乗算器１９６から入力された積Ｂ’・ｋBを加算し、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする。
【０３３５】
処理は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２２１乃至２２４の処理が繰り返される。ステップＳ２２１において、全ての画素を注目画素としたと判定された場合、ステップＳ２２５にすすむ。なお、ステップＳ２２１乃至２２４の処理によって生成された輝度候補画像はノイズ除去部１９８に供給される。
【０３３６】
ステップＳ２２５において、ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成し、単色画像生成部１８２乃至１８４に供給する。
【０３３７】
ノイズ除去部１９８のノイズ除去処理について、図９３のフローチャートを参照して説明する。ステップＳ２４１において、ノイズ除去部１９８は、輝度候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２４２に進む。ステップＳ２４２において、ノイズ除去部１９８は、輝度候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。
【０３３８】
ステップＳ２４３において、ノイズ除去部１９８は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する。
【０３３９】
ステップＳ２４４において、ノイズ除去部１９８は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する。
【０３４０】
ノイズ除去部１９８の方向選択的平滑化処理について、図９４のフローチャートを参照して説明する。ステップＳ２５１において、ノイズ除去部１９８は、次式（２４）に適用して、注目画素に対応する輝度勾配ベクトルｇを算出する。
【０３４１】
輝度勾配ベクトルｇ＝（ａ２−ａ１，ａ３−ａ０）          ・・・（２４）
【０３４２】
ステップＳ２５２において、ノイズ除去部１９８は、輝度勾配ベクトルｇの大きさ（絶対値）‖∇‖を演算する。
【０３４３】
ステップＳ２５３において、ノイズ除去部１９８は、変数ａ０乃至ａ３を次式（２５），（２６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを演算する。
【０３４４】
Ｈｈ＝（ａ１＋ａ２）／２                        ・・・（２５）
Ｈｖ＝（ａ３＋ａ０）／２                        ・・・（２６）
【０３４５】
ステップＳ２５４において、ノイズ除去部１９８は、輝度勾配ベクトルｇの絶対値‖ｇ‖に対応して、水平方向の重要度ｗｈと垂直方向の重要度ｗｖを演算する。
【０３４６】
具体的には、輝度勾配ベクトルｇの絶対値‖ｇ‖が０よりも大きい場合、次式（２７）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の重要度ｗｈを得る。また、次式（２８）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の重要度ｗｖを得る。
【０３４７】
ｗｈ＝１−｜（ｇ／‖ｇ‖，（１，０））｜            ・・・（２７）
ｗｖ＝１−｜（ｇ／‖ｇ‖，（０，１））｜            ・・・（２８）
【０３４８】
輝度勾配ベクトルｇの絶対値‖ｇ‖が０である場合、水平方向の重要度ｗｈおよび垂直方向の重要度ｗｖを、それぞれ０．５とする。
【０３４９】
ステップＳ２５５において、ノイズ除去部１９８は、次式（２９）を用いて注目画素に対応する平滑化値αを演算する。
【０３５０】
α＝（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ）    ・・・（２９）
【０３５１】
処理は図９３のステップＳ２４５に戻る。ステップＳ２４５において、ノイズ除去部１９８は、注目画素の画素値（輝度候補値）と、ステップＳ２４４で演算した注目画素に対応する平滑化値αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする。
【０３５２】
処理はステップＳ２４１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２４１乃至Ｓ２４５の処理が繰り返される。ステップＳ２４１において、全ての画素を注目画素としたと判定された場合、ノイズ除去処理は終了されて、すなわち、輝度画像生成処理も終了されて、図８５のステップＳ２１２にリターンする。
【０３５３】
ステップＳ２１２において、単色画像生成部１８２乃至１８４は、供給された色・感度モザイク画像および輝度画像を用い、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する。
【０３５４】
単色画像生成部１８２の第１の単色画像生成処理について、図９５のフローチャートを参照して説明する。
【０３５５】
ステップＳ２６１において、補間部２０１は、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成し、比率値算出部２０２に出力する。
【０３５６】
なお、補間部２０１の補間処理は、図８７のフローチャートを参照して上述した輝度画像生成部１８１を構成する推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。
【０３５７】
ステップＳ２６２において、比率値算出部２０２は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０３５８】
比率値算出部２０２の比率値算出処理について、図９６のフローチャートを参照して説明する。ステップＳ２７１において、比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップＳ２７２に進む。ステップＳ２７２において、比率値算出部２０２は、Ｒ候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する。ステップＳ２７３において、比率値算出部２０２は、注目画素の近傍に位置する画素（例えば、注目画素を中心とする７×７画素）を参照画素とし、それらの画素値（Ｒ成分の単色候補値）を取得する。また、比率値算出部２０２は、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する。
【０３５９】
ステップＳ２７４において、比率値算出部２０２は、参照画素の注目画素に対する相対的な位置に対応し、図９７に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。
【０３６０】
ステップＳ２７５において、比率値算出部２０２は、各参照画素のＲ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。
【０３６１】
処理はステップＳ２７１に戻り、Ｒ候補画像の全ての画素を注目画素としたと判定されるまで、ステップＳ２７１乃至Ｓ２７５の処理が繰り返される。ステップＳ２７１において、Ｒ候補画像の全ての画素を注目画素としたと判定された場合、生成された比率値情報が乗算器２０３に供給されて、処理は図９５のステップＳ２６３にリターンする。
【０３６２】
ステップＳ２６３において、乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０３６３】
なお、単色画像生成部１８２の第１の単色画像生成処理と同時に、単色画像生成部１８３，１８４も、同様の処理を実行する。
【０３６４】
以上、画像処理部７の第４の構成例による第４のデモザイク処理の説明を終了する。
【０３６５】
次に、図９８は、輝度画像生成部１８１の第２の構成例を示している。輝度画像生成部１８１の第２の構成例は、図８３に示した輝度画像生成部１８１の第１の構成例における推定部１９１乃至１９３を、推定部２１１で置換したものである。
【０３６６】
輝度画像生成部１８１の第２の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部２１１に供給される。
【０３６７】
推定部２１１は、色・感度モザイク画像に対して成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’、Ｇ成分の推定値Ｇ’、およびＢ成分の推定値Ｂ’を、対応する乗算器１９４乃至１９６に供給する。
【０３６８】
なお、輝度画像生成部１８１の第２の構成例をなす乗算器１９４乃至ノイズ除去部１９８は、同一の番号を附した図８３に示した輝度画像生成部１８１の第１の構成例をなす乗算器１９４乃至ノイズ除去部１９８と同様であるので、その説明は省略する。
【０３６９】
次に、推定部２１１によるＲＧＢ成分の推定処理について、図９９のフローチャートを参照して説明する。なお、当該ＲＧＢ成分の推定処理は、図８６のステップＳ２２３における処理として、図８７を参照して上述したＲ成分推定処理に代えて実行可能な処理である。したがって、既に色・感度モザイク画像の注目画素は推定部２１１によって決定されているとして、ステップＳ２８１以降の処理を説明する。
【０３７０】
ステップＳ２８１において、推定部２１１は、図１００に示すような注目画素を中心とする４画素の画素値を用いる推定画素値Ｃ０補間処理によって、注目画素に対応する推定画素値Ｃ０を算出する。推定画素値Ｃ０補間処理について、図１０１のフローチャートを参照して説明する。
【０３７１】
ステップＳ２９１において、推定部２１１は、図１００に示すように、○で表される注目画素に対して１画素分の間隔を空けて上下左右に位置する４画素の画素値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
【０３７２】
このように、指定した画素の上下左右方向に位置する４画素の画素値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する垂直方向選択的平滑化処理と定義する。
【０３７３】
ステップＳ２９２において、推定部２１１は、ステップＳ２９１で得た平滑化値αを注目画素の画素値に加算して、その和を注目画素の推定画素値Ｃ０とする。処理は図９９のステップＳ２８２にリターンする。
【０３７４】
ステップＳ２８２において、推定部２１１は、図１０２に示すような注目画素を中心とする１２画素を用いる推定画素値Ｃ１補間処理によって、注目画素に対応する推定画素値Ｃ１を算出する。推定画素値Ｃ１補間処理について、図１０３のフローチャートを参照して説明する。
【０３７５】
ステップＳ３０１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３０２に進む。ステップＳ３０２において、推定部２１１は、図１０２に示すように、○で表される注目画素に対して左下、左上、右下、右上に隣接して位置する４画素の画素値を、それぞれ変数ａ０，ａ１，ａ２，ａ３に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
【０３７６】
このように、指定した画素の左下、左上、右下、右上方向に位置する４画素の画素値を、それぞれ変数ａ０，ａ１，ａ２，ａ３に代入して、図９４を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する斜め方向選択的平滑化処理と定義する。
【０３７７】
ステップＳ３０３にいて、推定部２１１は、ステップＳ３０２で得た平滑化値αに２を乗算して、その積を注目画素の推定画素値Ｃ１とする。処理は図９９のステップＳ２８３にリターンする。
【０３７８】
なお、ステップＳ３０１において、注目画素の色がＧではないと判定された場合、処理はステップＳ３０４に進む。
【０３７９】
ステップＳ３０４において、推定部２１１は、注目画素の左上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ１に代入する。ステップＳ３０５において、推定部２１１は、注目画素の右下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ２に代入する。ステップＳ３０６において、推定部２１１は、注目画素の左下に隣接する画素の画素値を変数ａ０に代入し、注目画素の右上に隣接する画素の画素値を変数ａ３に代入する。
【０３８０】
ステップＳ３０７において、推定部２１１は、ステップＳ３０４乃至Ｓ３０６で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
【０３８１】
ステップＳ３０８において、推定部２１１は、注目画素の左下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ０に代入する。ステップＳ３０９において、推定部２１１は、注目画素の右上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ３に代入する。ステップＳ３１０において、推定部２１１は、注目画素の左上に隣接する画素の画素値を変数ａ１に代入し、注目画素の右下に隣接する画素の画素値を変数ａ２に代入する。
【０３８２】
ステップＳ３１１において、推定部２１１は、ステップＳ３０８乃至Ｓ３１０で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
【０３８３】
ステップＳ３１２において、推定部２１１は、ステップＳ３０７で得た平滑化値α’と、ステップＳ３１１で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値Ｃ１とする。処理は図９９のステップＳ２８３にリターンする。
【０３８４】
ステップＳ２８３において、推定部２１１は、図１０４Ａに示すような注目画素を中心とする４画素、または図１０４Ｂに示すような注目画素を中心とする８画素を用いる推定画素値Ｃ２補間処理によって、注目画素に対応する推定画素値Ｃ２を算出する。推定画素値Ｃ２補間処理について、図１０５のフローチャートを参照して説明する。
【０３８５】
ステップＳ３２１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３２２に進む。
【０３８６】
ステップＳ３２２において、推定部２１１は、注目画素の上に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
【０３８７】
ステップＳ３２３において、推定部２１１は、注目画素の下に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
【０３８８】
ステップＳ３２４において、推定部２１１は、注目画素の下に隣接する画素の画素値と、ステップＳ３２２で得た平滑化値α’との平均値と、注目画素の上に隣接する画素の画素値と、ステップＳ３２３で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値Ｃ２とする。処理は図９９のステップＳ２８４にリターンする。
【０３８９】
なお、ステップＳ３２１において、注目画素の色がＧではないと判定された場合、処理はステップＳ３２５に進む。
【０３９０】
ステップＳ３２５において、推定部２１１は、注目画素の左に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ１に代入する。ステップＳ３２６において、推定部２１１は、注目画素の右に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ２に代入する。ステップＳ３２７において、推定部２１１は、注目画素の下に隣接する画素の画素値を変数ａ０に代入し、注目画素の上に隣接する画素の画素値を変数ａ３に代入する。
【０３９１】
ステップＳ３２８において、推定部２１１は、ステップＳ３２５乃至Ｓ３２７で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
【０３９２】
ステップＳ３２９において、推定部２１１は、注目画素の下に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ０に代入する。ステップＳ３３０において、推定部２１１は、注目画素の上に隣接する画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数ａ３に代入する。ステップＳ３３１において、推定部２１１は、注目画素の左に隣接する画素の画素値を変数ａ１に代入し、注目画素の右に隣接する画素の画素値を変数ａ２に代入する。
【０３９３】
ステップＳ３３２において、推定部２１１は、ステップＳ３２９乃至Ｓ３３１で値を設定した変数ａ０，ａ１，ａ２，ａ３を、図９４を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
【０３９４】
ステップＳ３３３において、推定部２１１は、ステップＳ３２８で得た平滑化値α’と、ステップＳ３３２で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値Ｃ２とする。処理は図９９のステップＳ２８４にリターンする。
【０３９５】
ステップＳ２８４において、推定部２１１は、図１０６に示すような注目画素を中心とする８画素を用いる推定画素値Ｃ３補間処理によって、注目画素に対応する推定画素値Ｃ３を算出する。推定画素値Ｃ３補間処理について、図１０７のフローチャートを参照して説明する。
【０３９６】
ステップＳ３４１において、推定部２１１は、注目画素の色がＧであるか否かを判定し、注目画素の色がＧであると判定した場合、ステップＳ３４２に進む。
【０３９７】
ステップＳ３４２において、推定部２１１は、注目画素の右に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
【０３９８】
ステップＳ３４３において、推定部２１１は、注目画素の左に隣接する画素を中心として１画素分の間隔を空けて位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
【０３９９】
ステップＳ３４４において、推定部２１１は、注目画素の左に隣接する画素の画素値と、ステップＳ３４２で得た平滑化値α’との平均値と、注目画素の右に隣接する画素の画素値と、ステップＳ３４３で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値Ｃ３とする。処理は図９９のステップＳ２８５にリターンする。
【０４００】
なお、ステップＳ３４１において、注目画素の色がＧではないと判定された場合、処理はステップＳ３４５に進む。ステップＳ３４５において、推定部２１１は、注目画素に対応する推定画素値Ｃ３を０とする。処理は図９９のステップＳ２８５にリターンする。
【０４０１】
ステップＳ２８５において、推定部２１１は、色モザイクパターン情報および感度モザイクパターン情報を参照して、注目画素の色と感度を判別し、その判別結果に対応して、ステップＳ２８１乃至Ｓ２８４で得た注目画素に対応する推定画素値Ｃ０乃至Ｃ３を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用して、推定値Ｒ’，Ｇ’，Ｂ’を算出する。
【０４０２】
すなわち、注目画素の色がＧであって、かつ、感度Ｓ０である場合、推定画素値Ｃ２を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｒ’とされ、推定画素値Ｃ０＋Ｃ１の平均値を合成感度補償LUTに適用した値LUT（（Ｃ０＋Ｃ１／）２））が推定値Ｇ’とされ、推定画素値Ｃ３を合成感度補償LUTに適用した値LUT（Ｃ３）が推定値Ｂ’とされる。
【０４０３】
注目画素の色がＧであって、かつ、感度Ｓ１である場合、推定画素値Ｃ３を合成感度補償LUTに適用した値LUT（Ｃ３）が推定値Ｒ’とされ、推定画素値Ｃ０＋Ｃ１の平均値を合成感度補償LUTに適用した値LUT（（Ｃ０＋Ｃ１／）２））が推定値Ｇ’とされ、推定画素値Ｃ２を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｂ’とされる。
【０４０４】
注目画素の色がＲである場合、推定画素値Ｃ０を合成感度補償LUTに適用した値LUT（Ｃ０）が推定値Ｒ’とされ、推定画素値Ｃ２の平均値を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｇ’とされ、推定画素値Ｃ１を合成感度補償LUTに適用した値LUT（Ｃ１）が推定値Ｂ’とされる。
【０４０５】
注目画素の色がＢである場合、推定画素値Ｃ１を合成感度補償LUTに適用した値LUT（Ｃ１）が推定値Ｒ’とされ、推定画素値Ｃ２の平均値を合成感度補償LUTに適用した値LUT（Ｃ２）が推定値Ｇ’とされ、推定画素値Ｃ０を合成感度補償LUTに適用した値LUT（Ｃ０）が推定値Ｂ’とされる。
【０４０６】
以上のように、推定部２１１によるＲＧＢ成分の推定処理では、方向選択的平滑化処理を利用して生成された推定画素値Ｃ０乃至Ｃ３が用いられるので、画像信号の解像度劣化が抑止される。
【０４０７】
以上、推定部２１１によるＲＧＢ成分の推定処理の説明を終了する。
【０４０８】
ところで上述した説明においては、画像処理部７の第４の構成例の単色画像生成部１８３、１８４は、図８４に示した単色画像生成部１８２の構成例と同様に構成されており、図９５を参照して説明した単色画像生成部１８２の単色画像生成処理（図９５）と同様の処理を実行するとしたが、単色画像生成部１８２乃至１８４は、単色画像生成処理に含まれる単色候補画像生成処理（図９５のステップＳ２６１）に代えて、それぞれに最適化された独自の処理を実行することも可能である。
【０４０９】
ステップＳ２６１の単色候補画像生成処理に代えて単色画像生成部１８２が実行するＲ候補画像生成処理について、図１０８のフローチャートを参照して説明する。なお、説明の便宜上、単色画像生成部１８２を構成する補間部２０１を補間部２０１−Ｒと記述する。
【０４１０】
ステップＳ３５１において、補間部２０１−Ｒは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３５２に進む。ステップＳ３５２において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
【０４１１】
ステップＳ３５３において、補間部２０１−Ｒは、１回目の注目画素の色がＲであるか否かを判定し、Ｒであると判定した場合、ステップＳ３５４に進む。ステップＳ３５４において、補間部２０１−Ｒは、１回目の注目画素を中心として１画素分の間隔を空けて上下左右に位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３５５において、補間部２０１−Ｒは、１回目の注目画素の画素値と、ステップＳ３５４で算出した平滑化値αとの和を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用し、得られた値をＲ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３５１に戻る。
【０４１２】
なお、ステップＳ３５３において、１回目の注目画素の色がＲではないと判定された場合、ステップＳ３５４およびステップＳ３５５はスキップされ、ステップＳ３５１に戻る。
【０４１３】
その後、ステップＳ３５１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３５１乃至Ｓ３５５の処理が繰り返され、ステップＳ３５１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３５６に進む。
【０４１４】
ステップＳ３５６において、補間部２０１−Ｒは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３５７に進む。ステップＳ３５７において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
【０４１５】
ステップＳ３５８において、補間部２０１−Ｒは、２回目の注目画素の色がＢであるか否かを判定し、Ｂであると判定した場合、ステップＳ３５９に進む。ステップＳ３５９において、補間部２０１−Ｒは、２回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３６０において、補間部２０１−Ｒは、ステップＳ３５９で算出した平滑化値αをＲ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３５６に戻る。
【０４１６】
なお、ステップＳ３５８において、２回目の注目画素の色がＢではない判定された場合、ステップＳ３５９およびステップＳ３６０はスキップされ、ステップＳ３５６に戻る。
【０４１７】
その後、ステップＳ３５６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３５６乃至Ｓ３６０の処理が繰り返され、ステップＳ３５６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、処理はステップＳ３６１に進む。
【０４１８】
ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたか否かを判定し、全ての画素を３回目の注目画素としていないと判定した場合、ステップＳ３６２に進む。ステップＳ３６２において、補間部２０１−Ｒは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ３回目の注目画素に決定する。
【０４１９】
ステップＳ３６３において、補間部２０１−Ｒは、３回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３６４に進む。ステップＳ３６４において、補間部２０１−Ｒは、３回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３６５において、補間部２０１−Ｒは、ステップＳ３６４で算出した平滑化値αをＲ候補画像の３回目の注目画素に対応する画素値とする。処理はステップＳ３６１に戻る。
【０４２０】
なお、ステップＳ３６３において、３回目の注目画素の色がＧではないと判定された
合、ステップＳ３６４およびステップＳ３６５はスキップされ、ステップＳ３６１に戻る。
【０４２１】
その後、ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定されるまで、ステップＳ３６１乃至Ｓ３６５の処理が繰り返され、ステップＳ３６１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定された場合、当該Ｒ候補画像生成処理は終了される。
【０４２２】
単色画像生成部１８４が実行するＢ候補画像生成処理について、図１０９のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部１８２の補間部２０１に相当する単色画像生成部１８４の構成要素を補間部２０１−Ｂと記述する。
【０４２３】
ステップＳ３７１において、補間部２０１−Ｂは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３７２に進む。ステップＳ３７２において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
【０４２４】
ステップＳ３７３において、補間部２０１−Ｂは、１回目の注目画素の色がＢであるか否かを判定し、Ｂであると判定した場合、ステップＳ３７４に進む。ステップＳ３７４において、補間部２０１−Ｂは、１回目の注目画素を中心として１画素分の間隔を空けて上下左右に位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３７５において、補間部２０１−Ｂは、１回目の注目画素の画素値と、ステップＳ３７４で算出した平滑化値αとの和を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用し、得られた値をＢ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３７１に戻る。
【０４２５】
なお、ステップＳ３７３において、１回目の注目画素の色がＢではない判定された場合、ステップＳ３７４およびステップＳ３７５はスキップされ、ステップＳ３７１に戻る。
【０４２６】
その後、ステップＳ３７１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３７１乃至Ｓ３７５の処理が繰り返され、ステップＳ３７１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３７６に進む。
【０４２７】
ステップＳ３７６において、補間部２０１−Ｂは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３７７に進む。ステップＳ３７７において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
【０４２８】
ステップＳ３７８において、補間部２０１−Ｂは、２回目の注目画素の色がＲであるか否かを判定し、Ｒであると判定した場合、ステップＳ３７９に進む。ステップＳ３７９において、補間部２０１−Ｂは、２回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３８０において、補間部２０１−Ｂは、ステップＳ３７９で算出した平滑化値αをＢ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３７６に戻る。
【０４２９】
なお、ステップＳ３７８において、２回目の注目画素の色がＲではないと判定された場合、ステップＳ３７９およびステップＳ３８０はスキップされ、ステップＳ３７６に戻る。
【０４３０】
その後、ステップＳ３７６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３７６乃至Ｓ３８０の処理が繰り返され、ステップＳ３７６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、処理はステップＳ３８１に進む。
【０４３１】
ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたか否かを判定し、全ての画素を３回目の注目画素としていないと判定した場合、ステップＳ３８２に進む。ステップＳ３８２において、補間部２０１−Ｂは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ３回目の注目画素に決定する。
【０４３２】
ステップＳ３８３において、補間部２０１−Ｂは、３回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３８４に進む。ステップＳ３８４において、補間部２０１−Ｂは、３回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３８５において、補間部２０１−Ｂは、ステップＳ３８４で算出した平滑化値αをＢ候補画像の３回目の注目画素に対応する画素値とする。処理はステップＳ３８１に戻る。なお、ステップＳ３８３において、３回目の注目画素の色がＧではないと判定された場合、ステップＳ３８４およびステップＳ３８５はスキップされ、ステップＳ３８１に戻る。
【０４３３】
その後、ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定されるまで、ステップＳ３８１乃至Ｓ３８５の処理が繰り返され、ステップＳ３８１において、色・感度モザイク画像の全ての画素を３回目の注目画素としたと判定された場合、当該Ｂ候補画像生成処理は終了される。
【０４３４】
単色画像生成部１８３が実行するＧ候補画像生成処理について、図１１０のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部１８２の補間部２０１に相当する単色画像生成部１８３の構成要素を補間部２０１−Ｇと記述する。
【０４３５】
ステップＳ３９１において、補間部２０１−Ｇは、色・感度モザイク画像の全ての画素を１回目の注目画素としたか否かを判定し、全ての画素を１回目の注目画素としていないと判定した場合、ステップＳ３９２に進む。ステップＳ３９２において、補間部２０１−Ｇは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ１回目の注目画素に決定する。
【０４３６】
ステップＳ３９３において、補間部２０１−Ｇは、１回目の注目画素の色がＧであるか否かを判定し、Ｇであると判定した場合、ステップＳ３９４に進む。ステップＳ３９４において、補間部２０１−Ｇは、１回目の注目画素を中心として斜め方向に隣接して位置する４画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ３９５において、補間部２０１−Ｇは、１回目の注目画素の画素値と、ステップＳ３９４で算出した平滑化値αとの和を、内蔵する合成感度補償LUT（図９０乃至図９２を参照して上述した合成感度補償LUTと同様のもの）に適用し、得られた値をＧ候補画像の１回目の注目画素に対応する画素値とする。処理はステップＳ３９１に戻る。
【０４３７】
なお、ステップＳ３９３において、１回目の注目画素の色がＧではない判定された場合、ステップＳ３９４およびステップＳ３９５はスキップされ、ステップＳ３９１に戻る。
【０４３８】
その後、ステップＳ３９１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定されるまで、ステップＳ３９１乃至Ｓ３９５の処理が繰り返され、ステップＳ３９１において、色・感度モザイク画像の全ての画素を１回目の注目画素としたと判定された場合、処理はステップＳ３９６に進む。
【０４３９】
ステップＳ３９６において、補間部２０１−Ｇは、色・感度モザイク画像の全ての画素を２回目の注目画素としたか否かを判定し、全ての画素を２回目の注目画素としていないと判定した場合、ステップＳ３９７に進む。ステップＳ３９７において、補間部２０１−Ｇは、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ２回目の注目画素に決定する。
【０４４０】
ステップＳ３９８において、補間部２０１−Ｇは、２回目の注目画素の色がＧであるか否かを判定し、Ｇではないと判定した場合、ステップＳ３９９に進む。ステップＳ３９９において、補間部２０１−Ｇは、２回目の注目画素を中心として上下左右に隣接して位置する４画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップＳ４００において、補間部２０１−Ｇは、ステップＳ３９９で算出した平滑化値αをＧ候補画像の２回目の注目画素に対応する画素値とする。処理はステップＳ３９６に戻る。
【０４４１】
なお、ステップＳ３９８において、２回目の注目画素の色がＧであると判定された場合、ステップＳ３９９およびステップＳ４００はスキップされ、ステップＳ３９６に戻る。
【０４４２】
その後、ステップＳ３９６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定されるまで、ステップＳ３９６乃至Ｓ４００の処理が繰り返され、ステップＳ３９６において、色・感度モザイク画像の全ての画素を２回目の注目画素としたと判定された場合、当該Ｇ候補画像生成処理は終了される。
【０４４３】
ところで、上述したように、第４のデモザイク処理では、色・感度モザイク画像像から、輝度画像と単色画像を生成し、その後、輝度と色成分との相関性を利用して、全色を復元することにより、全ての画素が均一の感度で全ての色成分を復元するようにしたが、最初に生成する輝度画像は、復元する色情報に相関があって、高解像度で復元できる信号であれば、偏った分光特性をもっていてもかまわない。例えば、色・感度モザイク画像の色モザイク配列がベイヤ配列のように、Ｒの画素やＢの画素に比較してＧの画素が２倍存在する特性を利用して、輝度画像の代わりにＧ成分の画像を生成し、ＧとＲ、またはＧとＢの相関性を利用して、Ｒ成分の画像とＢ成分の画像を生成するようにしてもよい。
【０４４４】
そのような処理を実行するために、図１１１に示すように、画像処理部７を構成してもよい。輝度画像生成部２２１は、画像処理部７の第４の構成例における単色画像生成部１８２の補間部２０１（図８４）の処理と同様の処理を実行することによって出力画像Ｇを生成する。単色画像生成部２２２，２２３は、それぞれ、画像処理部７の第４の構成例における単色画像生成部１８２，１８４と同様の処理を実行することによって、出力画像Ｒまたは出力画像Ｂを生成する。
【０４４５】
以上、第１乃至第４のデモザイク処理を実行する画像処理部７の構成例に関する説明を終了する。
【０４４６】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０４４７】
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１６（フロッピディスクを含む）、光ディスク１７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【０４４８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０４４９】
４  CCDイメージセンサ，  ７  画像処理部，  １４  制御部，  １６  磁気ディスク，  １７  光ディスク，  １８  光磁気ディスク，  １９  半導体メモリ，  ２２  オンチップカラーフィルタ，  ５１  感度均一化部，  ５２  色補間部，  ６１  感度補償部，  ６２  相対感度値LUT，  ６３  有効性判定部，  ６４  欠落補間部，  ７１  階調変換部，  ７２，７３  色差画像生成部，  ７４  輝度画像生成部，  ７５  色空間変換部，  ７６乃至７８  階調逆変換部，  ８１，８２  平滑化部，  ８３  減算器，  ９１  輝度算出部，  ９２  ノイズ除去部，  １０１  補間部，  １０２  加算器，  １０３  合成感度補償部，  １０４  合成感度補償LUT，  １１１  感度均一部，  １１２  色補間部，  １２１  感度補償部，  １２２  相対感度値LUT，  １２３  有効性判定部，  １２４  欠落補間部，  １３１  補間色決定部，  １３２  補間部，  １３３  加算器，  １３４  感度補償部，  １３５  合成感度補償LUT，  １５１  感度別色補間部，  １５２乃至１５４  感度均一部，  １６１  抽出部，  １６２  色補間部，  １６３乃至１６５  挿入部，  １７１  局所和算出部，  １７２  合成感度補償部，  １７３  合成感度補償LUT，  １８１  輝度画像生成部，  １８２乃至１８４  単色画像生成部，  １９１乃至１９３  推定部，  １９４乃至１９６  乗算器，  １９７  加算器，  １９８  ノイズ除去部，  ２０１  補間部，  ２０２  比率値算出部，  ２０３  乗算器，  ２１１  推定部，  ２２１  輝度画像生成部，  ２２２，２２３  単色画像生成部
【図１】
2011087317.tif 000003
【図２】
2011087317.tif 000004
【図３】
2011087317.tif 000005
【図４】
2011087317.tif 000006
【図５】
2011087317.tif 000007
【図６】
2011087317.tif 000008
【図７】
2011087317.tif 000009
【図８】
2011087317.tif 000010
【図９】
2011087317.tif 000011
【図１０】
2011087317.tif 000012
【図１１】
2011087317.tif 000013
【図１２】
2011087317.tif 000014
【図１３】
2011087317.tif 000015
【図１４】
2011087317.tif 000016
【図１５】
2011087317.tif 000017
【図１６】
2011087317.tif 000018
【図１７】
2011087317.tif 000019
【図１８】
2011087317.tif 000020
【図１９】
2011087317.tif 000021
【図２０】
2011087317.tif 000022
【図２１】
2011087317.tif 000023
【図２２】
2011087317.tif 000024
【図２３】
2011087317.tif 000025
【図２４】
2011087317.tif 000026
【図２５】
2011087317.tif 000027
【図２６】
2011087317.tif 000028
【図２７】
2011087317.tif 000029
【図２８】
2011087317.tif 000030
【図２９】
2011087317.tif 000031
【図３０】
2011087317.tif 000032
【図３１】
2011087317.tif 000033
【図３２】
2011087317.tif 000034
【図３３】
2011087317.tif 000035
【図３４】
2011087317.tif 000036
【図３５】
2011087317.tif 000037
【図３６】
2011087317.tif 000038
【図３７】
2011087317.tif 000039
【図３８】
2011087317.tif 000040
【図３９】
2011087317.tif 000041
【図４０】
2011087317.tif 000042
【図４１】
2011087317.tif 000043
【図４２】
2011087317.tif 000044
【図４３】
2011087317.tif 000045
【図４４】
2011087317.tif 000046
【図４５】
2011087317.tif 000047
【図４６】
2011087317.tif 000048
【図４７】
2011087317.tif 000049
【図４８】
2011087317.tif 000050
【図４９】
2011087317.tif 000051
【図５０】
2011087317.tif 000052
【図５１】
2011087317.tif 000053
【図５２】
2011087317.tif 000054
【図５３】
2011087317.tif 000055
【図５４】
2011087317.tif 000056
【図５５】
2011087317.tif 000057
【図５６】
2011087317.tif 000058
【図５７】
2011087317.tif 000059
【図５８】
2011087317.tif 000060
【図５９】
2011087317.tif 000061
【図６０】
2011087317.tif 000062
【図６１】
2011087317.tif 000063
【図６２】
2011087317.tif 000064
【図６３】
2011087317.tif 000065
【図６４】
2011087317.tif 000066
【図６５】
2011087317.tif 000067
【図６６】
2011087317.tif 000068
【図６７】
2011087317.tif 000069
【図６８】
2011087317.tif 000070
【図６９】
2011087317.tif 000071
【図７０】
2011087317.tif 000072
【図７１】
2011087317.tif 000073
【図７２】
2011087317.tif 000074
【図７３】
2011087317.tif 000075
【図７４】
2011087317.tif 000076
【図７５】
2011087317.tif 000077
【図７６】
2011087317.tif 000078
【図７７】
2011087317.tif 000079
【図７８】
2011087317.tif 000080
【図７９】
2011087317.tif 000081
【図８０】
2011087317.tif 000082
【図８１】
2011087317.tif 000083
【図８２】
2011087317.tif 000084
【図８３】
2011087317.tif 000085
【図８４】
2011087317.tif 000086
【図８５】
2011087317.tif 000087
【図８６】
2011087317.tif 000088
【図８７】
2011087317.tif 000089
【図８８】
2011087317.tif 000090
【図８９】
2011087317.tif 000091
【図９０】
2011087317.tif 000092
【図９１】
2011087317.tif 000093
【図９２】
2011087317.tif 000094
【図９３】
2011087317.tif 000095
【図９４】
2011087317.tif 000096
【図９５】
2011087317.tif 000097
【図９６】
2011087317.tif 000098
【図９７】
2011087317.tif 000099
【図９８】
2011087317.tif 000100
【図９９】
2011087317.tif 000101
【図１００】
2011087317.tif 000102
【図１０１】
2011087317.tif 000103
【図１０２】
2011087317.tif 000104
【図１０３】
2011087317.tif 000105
【図１０４】
2011087317.tif 000106
【図１０５】
2011087317.tif 000107
【図１０６】
2011087317.tif 000108
【図１０７】
2011087317.tif 000109
【図１０８】
2011087317.tif 000110
【図１０９】
2011087317.tif 000111
【図１１０】
2011087317.tif 000112
【図１１１】
2011087317.tif 000113
【手続補正書】
【提出日】平成23年1月4日(2011.1.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元手段を
備える画像処理装置。
【請求項２】
被写体を撮像し、前記色・感度モザイク画像を生成する撮像手段を
さらに備える請求項１に記載の画像処理装置。
【請求項３】
各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちのいずれかの感度特性を有し、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを
含む画像処理方法。
【請求項４】
被写体を撮像し、前記色・感度モザイク画像を生成する撮像ステップを
さらに含む請求項３に記載の画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の一側面である画像処理装置は、各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちいずれかの感度特性を有し、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元手段を備える。
本発明の一側面である画像処理装置は、被写体を撮像し、前記色・感度モザイク画像を生成する撮像手段をさらに備えることができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の一側面である画像処理方法は、各画素が第１乃至第３の色成分のうちのいずれかの色成分、および光強度に対する複数の感度特性のうちいずれかの感度特性を有し、画素の色成分だけに注目した場合、第１乃至３の色成分を有する画素がベイヤ配列に従って配置され、第１の色成分を有する画素に注目した場合、その感度特性がライン毎に異なり、第２の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置され、第３の色成分を有する画素に注目した場合、その感度特性が市松模様状に配置された色・感度モザイク画像に基づき、各画素の感度が均一化されており、かつ、各画素が前記複数の色成分の全ての色成分を有する復元画像を復元する復元ステップを含む。
本発明の一側面である画像処理方法は、被写体を撮像し、前記色・感度モザイク画像を生成する撮像ステップをさらに含むことができる。