(57)【要約】【課題】彩度の高い高周波成分を含んだ画像において偽色の発生を抑制する。【解決手段】方向補間部２００は近傍領域における水平方向および垂直方向の補間値を生成する。方向判断部３００は近傍領域におけるテクスチャ方向を評価して水平方向および垂直方向の補間値の重みを生成する。合成部４００は方向判断部３００による重みに従って方向補間部２００による水平方向および垂直方向の補間値を合成する。方向判断部３００は水平方向および垂直方向の補間値のクロマ信号のエイリアス強度をクロマ信号エイリアス強度算出部３３０および３４０によって算出して、方向評価部３５０によりテクスチャ方向を評価する。その際、注目画素を含むラインの補間値と近傍領域の補間値との類似度が算出され、その類似度を重み付けしたクロマ信号の分散値がエイリアス強度として算出される。【選択図】図４
2008258931.tif 000002
【特許請求の範囲】
【請求項１】
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、
前記補間手段による前記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、
前記クロマ信号エイリアス強度算出手段による前記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて前記複数の方向のそれぞれに対する評価値を生成する方向評価手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記クロマ信号エイリアス強度算出手段は、前記複数の方向のそれぞれの補間値のクロマ信号の統計量に基づいて前記エイリアス強度を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記クロマ信号エイリアス強度算出手段は、
前記複数の方向のそれぞれの補間値の各要素に対応する重みを算出する重み算出手段と、
前記重みに従って前記複数の方向のそれぞれの補間値から前記統計量を算出する統計量算出手段と
を備えることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記重み算出手段は、前記複数の方向のそれぞれの補間値における前記所定の注目画素に対応する要素と他の要素との類似度を前記重みとして算出することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記クロマ信号エイリアス強度算出手段は、前記クロマ信号の統計量として前記クロマ信号の分散値を算出することを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記補間手段は、
前記近傍領域における複数の方向のそれぞれに沿って平滑化を行って平滑化値を生成する平滑化手段と、
前記平滑化値に基づいて前記補間値を生成する補間値生成手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記方向評価手段は、前記複数の方向のそれぞれのクロマ信号のエイリアス強度の大小関係を比較して、最もエイリアス強度の小さい方向の評価値を所定の値より高くして、残りの方向の評価値を所定の値より低くすることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記方向評価手段は、前記複数の方向のそれぞれのクロマ信号のエイリアス強度の比に従って前記複数の方向の評価値を定めることを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記複数の方向は、水平方向、垂直方向、右上がり斜め方向、および、右下がり斜め方向の何れか２つ以上の組合せであることを特徴とする請求項１記載の画像処理装置。
【請求項１０】
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を第１の補間値として生成する第１の補間手段と、
前記第１の補間手段による前記複数の方向のそれぞれの第１の補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、
前記クロマ信号エイリアス強度算出手段による前記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて前記複数の方向のそれぞれに対する評価値を生成する方向評価手段と、
前記複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を第２の補間値として生成する第２の補間手段と、
前記複数の方向のそれぞれに対する評価値に基づいてその評価値に対応する方向の前記第２の補間値を合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項１１】
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、
前記補間手段による前記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、
前記クロマ信号エイリアス強度算出手段による前記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて前記複数の方向のそれぞれに対する評価値を生成する方向評価手段と、
前記複数の方向のそれぞれに対する評価値に基づいてその評価値に対応する方向の前記補間値を合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項１２】
被写体を撮像して入力画像を生成する撮像手段と、
前記入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、
前記補間手段による前記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、
前記クロマ信号エイリアス強度算出手段による前記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて前記複数の方向のそれぞれに対する評価値を生成する方向評価手段と
を具備することを特徴とする画像処理装置。
【請求項１３】
前記撮像手段は、原色系ベイヤー配列によるカラーフィルタを前面に配したイメージセンサであることを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記撮像手段は、カラーフィルタを前面に配したイメージセンサであって、
前記カラーフィルタは、特定の色に対応する画素が市松状に配置され、他の少なくとも３つの色が残る画素位置に配置される
ことを特徴とする請求項１２記載の画像処理装置。
【請求項１５】
前記特定の色は、人間の視感度曲線に近い分光感度を有するフィルタ色であることを特徴とする請求項１４記載の画像処理装置。
【請求項１６】
前記他の少なくとも３つの色のうち、第１の色は前記特定の色以外の画素位置において水平方向および垂直方向に１画素おきの正方格子状に配置され、第２および第３の色は残る画素位置において斜め方向に１画素おきの斜め格子状に配置されることを特徴とする請求項１４記載の画像処理装置。
【請求項１７】
前記第１の色は、前記特定の色と比較して長波長側に感度を有する分光特性のフィルタ色であり、
前記第２および第３の色のうち少なくとも一方は、前記特定の色と比較して短波長側に感度を有する分光特性のフィルタ色である
ことを特徴とする請求項１６記載の画像処理装置。
【請求項１８】
前記特定の色は、赤外線にも分光感度を有するフィルタ色であることを特徴とする請求項１４記載の画像処理装置。
【請求項１９】
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手順と、
前記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手順と、
前記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて前記複数の方向のそれぞれに対する評価値を生成する方向評価手順と
を具備することを特徴とする画像処理方法。
【請求項２０】
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手順と、
前記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手順と、
前記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて前記複数の方向のそれぞれに対する評価値を生成する方向評価手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特にモザイク画像のデモザイク処理を行う画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子では、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量が順次読み出されるような構造になっている。ここで、通常の受光素子は単一の分光特性を持つため、固体撮像素子から得られる画像信号は色に関して１チャネル（すなわち単色）である。１つの固体撮像素子でカラー画像（例えばＲＧＢなどの３チャネル画像）を得ようとする場合には、受光素子毎に分光特性（色）の異なるフィルタを取り付けた固体撮像素子を用いる。このようなカラー固体撮像素子１個を用いた撮像装置は、一般に単板カラー撮像装置と呼ばれる。カラー固体撮像素子から得られる画像信号は１チャネル画像であるため、１画素毎には対応する受光素子のフィルタの色のみが得られ、その結果、色に関してモザイク状の画像が得られることになる。このような理由から、このカラー固体撮像素子の出力画像をモザイク画像と呼称する。
【０００３】
カラー撮像素子から多チャネル画像を得るためには、適当な画像処理によって、モザイク画像の各画素の色情報を周囲の画素位置によって補間することが必要である。このような画像処理は一般に、デモザイク処理、色補間処理または同時化処理などと呼ばれる。このように、デモザイク処理はカラー固体撮像素子を使った単板カラー撮像装置には必須の処理であり、従来からさまざまな手法が開発されてきた。
【０００４】
このデモザイク処理においては、カラーフィルタの各色でサンプリング周波数および位相が異なることから、画質に対して様々な影響を及ぼすことが問題となる。現在最も広く用いられている色配列である原色系ベイヤー（Bayer）配列（以下、ベイヤー配列と呼称する。）では、Ｒ（赤：Red）、Ｇ（緑：Green）、Ｂ（青：Blue）の３つの原色系色フィルタを用い、Ｇを市松状に、ＲとＢを線順次に配置するようになされている。ベイヤー配列においては、Ｇは市松状に配置されるため、Ｇ信号は、水平、垂直の全位相において存在するが、ＲおよびＢは線順次であるために、それぞれに対応する信号は、水平または垂直にそれぞれ１ラインおきにしか存在しない。すなわちＲおよびＢのサンプリング周波数は、Ｇのサンプリング周波数の半分であるため、再現できる画像信号の周波数の限界も、ＲおよびＢはＧと比較して１／２となってしまう。そのため、画像信号に高周波成分が存在すると、そのＧ成分は正しく復元できるが、Ｒ成分およびＢ成分には、振幅の劣化やエイリアシング（aliasing）が生じてしまい、それが、出力画像における色バランスのずれとして観測されてしまう現象、すなわち、偽色（色モアレ）が発生する。さらに、ＲとＢとはサンプリング周波数は同一であるが、サンプリングの位相が異なる。このため、ＲとＧとではエイリアシングによる色ずれの出かたが画像上で異なる。このことにより、さらに、ＲとＢとにおける偽色現象が顕著に発生してしまう。
【０００５】
このような出力画像の画質を損なう偽色現象を低減するため、従来のデモザイク処理でさまざまな工夫がなされている。例えば、画素毎に近傍画素との相関を検出し、相関に応じて適応的に補間方式を切り替える補間処理が提案されている（例えば、特許文献１参照。）。この従来技術では、縦、横および斜めの各方向の相関度を計算した後、相関度が最大となる方向で補間を行うことで、その直交方向の解像度の劣化を抑圧し、偽色の発生を低減している。
【０００６】
また、上述の従来技術では、ナイキスト近辺では補間方向が間違った方向に判定されることがあるため、相関度判定によって水平又は垂直いずれかの方向に補間処理して得られた色差信号から彩度を算出し、方向選択を行わずに補間処理して得られた色差信号から算出した彩度と比較し、彩度の小さい方（すなわち、偽色の発生が少ないと考えられる方）の色差信号を選択する技術が提案されている（例えば、特許文献２参照。）。これにより、ナイキスト近辺において相関度判定が誤判定した場合には、方向選択を行わずに補間することで、偽色の発生を低減している。
【特許文献１】特開平１０−１５０６６８号公報（図１）
【特許文献２】特開２００２−３００５９０号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上述の従来技術では、例えば白と黒からなる縞模様のような、彩度が低い高周波成分を含む画像であれば偽色の発生を低減することができるが、色付きの縞模様のような、彩度の高い高周波な画像の場合、正しい方向で補間したとしても彩度は低くならず、偽色であるか正しい色であるかの判断ができずに、偽色を発生させてしまうという問題がある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、単板カラー固体撮像素子のモザイク出力画像の各チャネルを同時化するデモザイク処理において、例えば、色の付いた縞模様のような彩度の高い高周波成分を含んだ画像においても、偽色の発生を低減することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、上記補間手段による上記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、上記クロマ信号エイリアス強度算出手段による上記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて上記複数の方向のそれぞれに対する評価値を生成する方向評価手段とを具備することを特徴とする画像処理装置である。これにより、クロマ信号のエイリアス強度に基づいて複数の方向の補間値を評価させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記クロマ信号エイリアス強度算出手段は、上記複数の方向のそれぞれの補間値のクロマ信号の統計量に基づいて上記エイリアス強度を算出してもよい。この場合、上記クロマ信号エイリアス強度算出手段は、上記複数の方向のそれぞれの補間値の各要素に対応する重みを算出する重み算出手段と、上記重みに従って上記複数の方向のそれぞれの補間値から上記統計量を算出する統計量算出手段とを備えてもよい。また、上記重み算出手段は、上記複数の方向のそれぞれの補間値における上記所定の注目画素に対応する要素と他の要素との類似度を上記重みとして算出してもよい。また、上記クロマ信号エイリアス強度算出手段は、上記クロマ信号の統計量として上記クロマ信号の分散値を算出してもよい。
【００１１】
また、この第１の側面において、上記補間手段は、上記近傍領域における複数の方向のそれぞれに沿って平滑化を行って平滑化値を生成する平滑化手段と、上記平滑化値に基づいて上記補間値を生成する補間値生成手段とを備えてもよい。これにより、１画素毎に補間を行わずに補間方向に沿って平滑化することによって補間処理を高速にさせるという作用をもたらす。
【００１２】
また、この第１の側面において、上記方向評価手段は、上記複数の方向のそれぞれのクロマ信号のエイリアス強度の大小関係を比較して、最もエイリアス強度の小さい方向の評価値を所定の値より高くして、残りの方向の評価値を所定の値より低くしてもよい。一方、上記方向評価手段は、上記複数の方向のそれぞれのクロマ信号のエイリアス強度の比に従って上記複数の方向の評価値を定めてもよい。
【００１３】
また、この第１の側面において、上記複数の方向は、水平方向、垂直方向、右上がり斜め方向、および、右下がり斜め方向の何れか２つ以上の組合せであってもよい。なお、本発明の実施の形態においては、水平方向および垂直方向の組合せを例に挙げて説明する。
【００１４】
また、本発明の第２の側面は、入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を第１の補間値として生成する第１の補間手段と、上記第１の補間手段による上記複数の方向のそれぞれの第１の補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、上記クロマ信号エイリアス強度算出手段による上記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて上記複数の方向のそれぞれに対する評価値を生成する方向評価手段と、上記複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を第２の補間値として生成する第２の補間手段と、上記複数の方向のそれぞれに対する評価値に基づいてその評価値に対応する方向の上記第２の補間値を合成する合成手段とを具備することを特徴とする画像処理装置である。これにより、クロマ信号のエイリアス強度に基づいて複数の方向の補間値を合成させるという作用をもたらす。
【００１５】
また、本発明の第３の側面は、入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、上記補間手段による上記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、上記クロマ信号エイリアス強度算出手段による上記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて上記複数の方向のそれぞれに対する評価値を生成する方向評価手段と、上記複数の方向のそれぞれに対する評価値に基づいてその評価値に対応する方向の上記補間値を合成する合成手段とを具備することを特徴とする画像処理装置である。これにより、合成に使用される補間値と方向評価のための補間値とを共用させるという作用をもたらす。
【００１６】
また、本発明の第４の側面は、被写体を撮像して入力画像を生成する撮像手段と、上記入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、上記補間手段による上記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手段と、上記クロマ信号エイリアス強度算出手段による上記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて上記複数の方向のそれぞれに対する評価値を生成する方向評価手段とを具備することを特徴とする画像処理装置である。これにより、撮像画像のクロマ信号のエイリアス強度に基づいて複数の方向の補間値を評価させるという作用をもたらす。
【００１７】
また、この第４の側面において、上記撮像手段は、原色系ベイヤー配列によるカラーフィルタを前面に配したイメージセンサであってもよい。
【００１８】
また、この第４の側面において、上記撮像手段は、カラーフィルタを前面に配したイメージセンサであって、上記カラーフィルタは、特定の色に対応する画素が市松状に配置され、他の少なくとも３つの色が残る画素位置に配置することができる。また、この場合において、上記特定の色は、人間の視感度曲線に近い分光感度を有するフィルタ色を採用することができる。また、上記他の少なくとも３つの色のうち、第１の色は上記特定の色以外の画素位置において水平方向および垂直方向に１画素おきの正方格子状に配置され、第２および第３の色は残る画素位置において斜め方向に１画素おきの斜め格子状に配置することができる。この場合において、上記第１の色は、上記特定の色と比較して長波長側に感度を有する分光特性のフィルタ色を採用することができ、上記第２および第３の色のうち少なくとも一方は、上記特定の色と比較して短波長側に感度を有する分光特性のフィルタ色を採用することができる。また、上記特定の色は、赤外線にも分光感度を有するフィルタ色を採用することができる。
【００１９】
また、本発明の第５の側面は、入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における複数の方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手順と、上記複数の方向のそれぞれの補間値からクロマ信号のエイリアス強度をそれぞれ算出するクロマ信号エイリアス強度算出手順と、上記複数の方向のそれぞれのクロマ信号のエイリアス強度に基づいて上記複数の方向のそれぞれに対する評価値を生成する方向評価手順とを具備することを特徴とする画像処理方法もしくはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、クロマ信号のエイリアス強度に基づいて複数の方向の補間値を評価させるという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、彩度の高い高周波成分を含んだ画像においても、偽色の発生を低減することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２１】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２２】
図１は、本発明の実施の形態における撮像装置の一例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。
【００２３】
光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどにより実現される。
【００２４】
信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるディジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。また、画像処理回路２３は、例えば、ＤＳＰ（Digital Signal Processor）によって実現される。なお、画像処理回路２３により実行される処理の詳細については後述する。
【００２５】
記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。なお、メモリ３２は、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等であってよい。
【００２６】
表示系は、画像処理回路２３によって処理された画像信号を表示部４２に出力する表示ドライバ４１と、入力される画像信号に対応する画像を表示する表示部４２とから構成される。表示部４２は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。
【００２７】
制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムを、ドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。
【００２８】
画像処理回路２３、符号化／復号器３１、メモリ３２、表示ドライバ４１、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。
【００２９】
この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってディジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。
【００３０】
なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、表示ドライバ４１を介して表示部４２に出力され、対応する画像が表示部４２に表示される。
【００３１】
表示部４２は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッタボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。
【００３２】
図２は、本発明の実施の形態における画像処理回路２３の処理機能の一例を示す図である。画像処理回路２３は、ホワイトバランス処理部２３１と、デモザイク処理部２３２と、マトリックス処理部２３３と、ガンマ補正部２３４と、ＹＣ変換部２３５とを備える。この画像処理回路２３は、Ａ／Ｄ変換回路２２によってデジタイズされたモザイク画像Ｍを入力画像として画像処理を施すものである。モザイク画像は、各画素にＲ、Ｇ、Ｂの何れかの色に対応する強度信号が格納されたものであり、その色配列は図３に示すようなベイヤー配列である。
【００３３】
ホワイトバランス処理部２３１は、モザイク画像Ｍに対してホワイトバランス処理を施すものである。このホワイトバランス処理部２３１は、モザイク画像Ｍに対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかけるものである。このホワイトバランス処理を施されたモザイク画像Ｍｗは、デモザイク処理部２３２に供給される。
【００３４】
デモザイク処理部２３２は、モザイク画像Ｍｗの各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うように補間処理（デモザイク処理）を行うものである。この補間処理の施されたデモザイク画像［Ｒ，Ｇ，Ｂ］Ｔは、マトリックス処理部２３３に供給される。なお、行列ＡＴは、行列Ａの転置行列を意味する。
【００３５】
マトリックス処理部２３３は、予め係数が設定された３行３列のリニアマトリックスをデモザイク処理部２３２の出力の各画素［Ｒ，Ｇ，Ｂ］Ｔに適用し、３原色の強度値［Ｒｍ，Ｇｍ，Ｂｍ］Ｔに変換するものである。リニアマトリックスは、人間の見え方に近い色再現のための変換係数である。この変換後の強度値［Ｒｍ，Ｇｍ，Ｂｍ］Ｔは、ガンマ補正部２３４に供給される。
【００３６】
ガンマ補正部２３４は、強度値［Ｒｍ，Ｇｍ，Ｂｍ］Ｔに対してガンマ補正を施すものである。ガンマ補正は、表示部４２において入力画像に忠実な表示を再現するための補正である。このガンマ補正部２３４の出力［Ｒγ，Ｇγ，Ｂγ］Ｔは、ＹＣ変換部２３５に供給される。
【００３７】
ＹＣ変換部２３５は、ガンマ補正された３チャネル画像［Ｒγ，Ｇγ，Ｂγ］ＴにＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を出力するものである。この輝度信号および色差信号は、画像処理回路２３の後段の符号化／復号器３１に供給される。
【００３８】
なお、表示ドライバ４１には、通常の場合、ＲＧＢ信号が供給される。このＲＧＢ信号は、ＹＣ変換部２３５の出力である輝度信号および色差信号をＲＧＢ信号に変換したものである。
【００３９】
図３は、本発明の実施の形態における撮像素子の前面に配されるカラーフィルタの一例としてのベイヤー配列を示す図である。このベイヤー配列では、Ｇの色の画素が市松状に配置され、それ以外の画素位置ではＲの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置され、残りの画素位置にＢの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置されている。
【００４０】
Ｇの色は、人間の視感度曲線に近い分光特性のフィルタ色である。Ｒの色は、比較的長波長側に感度を有するような分光特性のフィルタ色である。一方、Ｂの色は、比較的短波長側に感度を有するような分光特性のフィルタ色である。
【００４１】
これらは、市松状に配置された第１のチャネル（Ｇ）と、それ以外の第２のチャネル（ＲおよびＢ）に区分けすることができる。第１のチャネルでは、水平方向および垂直方向の何れについて平滑化してもその色が存在する。これに対して、第２のチャネルでは、水平方向および垂直方向の何れか一方について平滑化した際、その色が存在しない場合がある。この場合、第１のチャネルの強度を用いて第２のチャネルの強度を推定することができる。
【００４２】
図４は、本発明の実施の形態におけるデモザイク処理部２３２の機能構成例を示す図である。デモザイク処理部２３２は、近傍領域抽出部１００と、方向補間部２００と、方向判断部３００と、合成部４００とを備える。デモザイク処理は、全画素位置において全ての色が存在するように、各画素位置に対して順次、そこにない色の強度を補間または推定していく処理である。すなわち、以下に説明する各処理は、順次設定される注目画素位置において行われる処理であり、全画素について繰り返し行われた後に終了する。
【００４３】
近傍領域抽出部１００は、ホワイトバランス処理の施されたモザイク画像Ｍｗから、注目画素位置の周囲の所定の大きさの近傍領域を抽出するものである。本発明の実施の形態では、注目画素位置を中心とした９×９画素の矩形領域を近傍領域として抽出するものとする。
【００４４】
例えば、近傍領域抽出部１００をソフトウェアとして実現する場合は、注目画素位置の近傍の９×９画素の矩形領域内の画素値を配列の形でメモリ上に確保する動作をすればよい。また、近傍領域抽出部１００をハードウェアで実現する場合、通常の撮像装置の信号処理系ではイメージセンサからの信号は水平ラインの画素強度の１次元系列としてデータを流すように実装されることが多いため、その場合は１水平ライン分の画素強度を保持できるディレイラインを用いて上下に隣接する水平ラインの画素へのアクセスを確保するようにすればよい。９×９画素の矩形領域へのアクセスを確保するには、最低８個のディレイラインを用意すれば足りる。
【００４５】
方向補間部２００は、注目画素位置について、複数の方向それぞれに沿って補間処理を行い、複数の方向それぞれにおける補間結果を出力するものである。本発明の実施の形態では、方向補間部２００は、水平方向に沿った補間処理を行う水平方向補間処理部２１０と、垂直方向に沿った補間処理を行う垂直方向補間処理部２２０とを備えるものとする。水平方向補間処理部２１０は水平方向補間値［Ｒｈ，Ｇｈ，Ｂｈ］Ｔを信号線２１９に出力し、垂直方向補間処理部２２０は垂直方向補間値［Ｒｖ，Ｇｖ，Ｂｖ］Ｔを信号線２２９に出力する。
【００４６】
方向判断部３００は、注目画素位置についてテクスチャ方向を判断し、複数の方向に沿った補間値をどのように合成するかを指示するものである。本発明の実施の形態では、方向判断部３００は、水平方向および垂直方向の補間値の重みＳｈおよびＳｖを算出するものとする。この方向判断部３００は、水平方向に沿った補間処理を行う水平方向補間処理部３１０と、垂直方向に沿った補間処理を行う垂直方向補間処理部３２０とを備える。これら水平方向補間処理部３１０および垂直方向補間処理部３２０から信号線３１９および３２９を介して出力された補間値は、それぞれクロマ信号エイリアス強度算出部３３０および３４０に供給される。クロマ信号エイリアス強度算出部３３０および３４０は、補間値に含まれるクロマ信号のエイリアス強度を算出するものである。これらクロマ信号エイリアス強度算出部３３０および３４０から信号線３３９および３４９を介して出力された水平方向のエイリアス強度Ｖｈおよび垂直方向のエイリアス強度Ｖｖは、方向評価部３５０に供給される。
【００４７】
方向評価部３５０は、水平方向および垂直方向のエイリアス強度ＶｈおよびＶｖに基づいて水平方向および垂直方向の補間値の重みＳｈおよびＳｖを算出する。この方向評価部３５０により算出された水平方向および垂直方向の補間値の重みＳｈおよびＳｖは信号線３６９および３７９を介して出力される。例えば、水平方向のエイリアス強度Ｖｈが垂直方向のエイリアス強度Ｖｖよりも小さい場合には、水平方向の補間値の重みＳｈを「１」として、垂直方向の補間値の重みＳｖを「０」とする。一方、それ以外の場合には、水平方向の補間値の重みＳｈを「０」として、垂直方向の補間値の重みＳｖを「１」とする。また、他の算出方法として、エイリアス強度の比率から次式のように重みＳｈおよびＳｖを算出してもよい。
Ｓｈ＝１−Ｖｈ／（Ｖｈ＋Ｖｖ）
Ｓｖ＝１−Ｖｖ／（Ｖｈ＋Ｖｖ）
【００４８】
合成部４００は、方向判断部３００によって出力された補間値の重みＳｈおよびＳｖに基づいて方向補間部２００によって出力された補間値を合成するものである。この合成部４００は、例えば次式によりモザイク画像［Ｒ，Ｇ，Ｂ］Ｔを算出して、信号線４０９に出力する。
【数１】
2008258931.tif 000003
【００４９】
これにより、例えば縦縞のようにテクスチャ方向が垂直方向であれば垂直方向の補間値に比重をおいて合成を行い、横縞のようにテクスチャ方向が水平方向であれば水平方向の補間値に比重をおいて合成を行うことができる。
【００５０】
図５は、本発明の実施の形態における水平方向補間処理部２１０の機能構成例を示す図である。この水平方向補間処理部２１０は、水平方向平滑化部２１１０および２１２０と、強度推定部２１３０および２１４０と、垂直方向平滑化部２１７０および２１８０と、合成部２１９０とを備える。
【００５１】
水平方向平滑化部２１１０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、垂直方向に沿った位置（以下、垂直サンプル位置と呼称する。）で水平方向に平滑化を行うものである。この水平方向平滑化部２１１０によって生成された平滑化値は、信号線２１１９に出力される。
【００５２】
水平方向平滑化部２１２０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＲチャネルおよびＢチャネルについて、垂直サンプル位置で水平方向に平滑化を行うものである。但し、ＲチャネルおよびＢチャネルについては、ある垂直サンプル位置の水平ラインに、該当するチャネルの画素が存在しない場合があり、その場合には平滑化値を求めることはできず、平滑値は不在のままである。この水平方向平滑化部２１２０によって生成された平滑化値は、信号線２１２９に出力される。
【００５３】
強度推定部２１３０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、注目画素位置の強度を推定するものである。この強度推定部２１３０は、注目画素位置にＧチャネルの画素が存在する場合にはその値を強度とし、注目画素位置にＧチャネルの画素が存在しない場合には水平方向に隣り合うＧチャネルの画素強度の平均値を強度と推定する。この推定された強度は、Ｇチャネルの補間値として信号線２１３９に出力される。
【００５４】
強度推定部２１４０は、水平方向平滑化部２１２０によるＲチャネルおよびＢチャネルの平滑化値の強度を、水平方向平滑化部２１１０によるＧチャネルの平滑化値の強度によって推定するものである。この強度推定部２１４０によって推定された強度は、ＲチャネルおよびＢチャネルの補間された平滑化値として信号線２１４９に出力される。
【００５５】
垂直方向平滑化部２１７０は、水平方向平滑化部２１１０によるＧチャネルの水平方向の平滑化値の強度を、さらに垂直方向に平滑化するものである。このようにして生成された値はＧチャネルの低周波成分として信号線２１７９に出力される。
【００５６】
垂直方向平滑化部２１８０は、強度推定部２１４０によるＲチャネルおよびＢチャネルの補間された水平方向の平滑化値の強度を、さらに垂直方向に平滑化するものである。このようにして生成された値はＲチャネルおよびＢチャネルの低周波成分として信号線２１８９に出力される。
【００５７】
合成部２１９０は、垂直方向平滑化部２１７０によるＧチャネルの低周波成分と、垂直方向平滑化部２１８０によるＲチャネルおよびＢチャネルの低周波成分と、強度推定部２１３０によるＧチャネルの補間値とに基づいて、注目画素位置のＲチャネルおよびＢチャネルの強度を合成するものである。ここで、合成対象となるチャネルとしてＲチャネルを例にすると、Ｒチャネルの強度ＲＣは、Ｒチャネルの高周波成分ＲＨおよび低周波成分ＲＬの合成値となる。また、Ｒチャネルの高周波成分ＲＨは、Ｇチャネルの高周波成分と低周波成分との比から求めることができる。したがって、Ｒチャネルの強度ＲＣは、次式のように、ＲチャネルおよびＧチャネルの低周波成分の比とＧチャネルの強度ＧＣをかけたものになる。なお、Ｂチャネルについても同様である。
ＲＣ＝ＲＨ＋ＲＬ＝ＲＬ・（（ＧＣ−ＧＬ）／ＧＬ）＋ＲＬ＝（ＲＬ／ＧＬ）・ＧＣ
【００５８】
この合成部２１９０により合成されたＲチャネルおよびＢチャネルの強度は、ＲチャネルおよびＢチャネルの補間値として信号線２１９９に出力される。また、これらＲチャネルおよびＢチャネルの補間値、および、強度推定部２１３０から出力されたＧチャネルの補間値は、水平方向に沿った補間処理結果として信号線２１９に出力される。
【００５９】
なお、ここでは、水平方向補間処理部２１０の機能構成例について説明したが、垂直方向補間処理部２２０の場合は水平方向と垂直方向とが逆になるだけで基本的な構成は同様である。
【００６０】
図６は、本発明の実施の形態における水平方向補間処理部２１０による処理の模式図である。図６（ａ）は、９×９画素のベイヤー配列に対して水平方向の平滑化を行う様子を示す図である。Ｇチャネルについては水平方向平滑化部２１１０により平滑化が行われ、ＲチャネルおよびＢチャネルについては水平方向平滑化部２１２０により平滑化が行われる。
【００６１】
図６（ｂ）は、水平方向平滑化部２１１０および２１２０による平滑化の結果を示す図である。Ｇチャネルは各ラインに存在するため、全ての垂直サンプル位置について平滑化値が得られている。一方、ＲチャネルおよびＢチャネルは１ラインおきに存在するため、平滑化値は全ての垂直サンプル位置について得られるわけではなく、空きが生じていることがわかる。
【００６２】
強度推定部２１４０は、ＲチャネルおよびＢチャネルの平滑化値について強度を推定して、図６（ｃ）のように、ＲチャネルおよびＢチャネルについても全ての垂直サンプル位置について平滑化値が揃うようにする。
【００６３】
図６（ｃ）は、得られた水平方向の平滑化値に対して垂直方向の平滑化を行う様子を示す図である。Ｇチャネルについては垂直方向平滑化部２１７０により平滑化が行われ、ＲチャネルおよびＢチャネルについては垂直方向平滑化部２１８０により平滑化が行われる。
【００６４】
図６（ｄ）は、垂直方向平滑化部２１７０および２１８０による平滑化の結果を示す図である。これらの平滑化値は、各チャネルの低周波成分であり、合成部２１９０に供給される。
【００６５】
図７は、本発明の実施の形態における強度推定部２１４０の機能構成例を示す図である。この強度推定部２１４０は、高周波成分算出部２１４１と、低周波成分算出部２１４３と、補正値算出部２１４５とを備えている。
【００６６】
高周波成分算出部２１４１は、水平方向平滑化部２１１０によって生成された平滑化値から各垂直サンプル位置での高周波成分を算出するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＧチャネルの平滑化値をＧ［ｉ］、位置ｉに隣り合う垂直サンプル位置のＧチャネルの平滑化値をＧ［ｉ−１］およびＧ［ｉ＋１］とする。このとき、Ｇチャネルの高周波成分ＧＨ［ｉ］は、位置ｉにＲチャネルの画素がある場合は、
ＧＨ［ｉ］＝（（Ｇ［ｉ＋１］＋Ｇ［ｉ−１］）／２−Ｇ［ｉ］）／２
により算出され、位置ｉにＲチャネルの画素がない場合は、
ＧＨ［ｉ］＝（Ｇ［ｉ］−（Ｇ［ｉ＋１］＋Ｇ［ｉ−１］）／２）／２
により算出される。ここではＲチャネルの位置を基準としてＧチャネルの高周波成分を算出する方法について説明したが、Ｒチャネルの代わりにＢチャネルを基準としてもよい。
【００６７】
低周波成分算出部２１４３は、水平方向平滑化部２１２０によって生成された平滑化値から各垂直サンプル位置での低周波成分を算出するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＲチャネルの平滑化値をＲ［ｉ］、位置ｉに隣り合う垂直サンプル位置のＲチャネルの平滑化値をＲ［ｉ−１］およびＲ［ｉ＋１］とする。このとき、Ｒチャネルの低周波成分ＲＬ［ｉ］は、位置ｉにＲチャネルの画素がある場合は、
ＲＬ［ｉ］＝Ｒ［ｉ］
により算出され、位置ｉにＲチャネルの画素がない場合は、
ＲＬ［ｉ］＝（Ｒ［ｉ＋１］＋Ｒ［ｉ−１］）／２
により算出される。なお、Ｂチャネルの低周波成分ＢＬ［ｉ］を算出する場合も同様である。
【００６８】
補正値算出部２１４５は、高周波成分算出部２１４１によって生成されたＧチャネルの高周波成分と、低周波成分算出部２１４３によって生成されたＲチャネルまたはＢチャネルの低周波成分とから、ＲチャネルまたはＢチャネルの各垂直サンプル位置での平滑化値を補正するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＲチャネルの補正値をＲＣ［ｉ］は、次式のようにＲチャネルの低周波成分ＲＬ［ｉ］とＧチャネルの高周波成分ＧＨ［ｉ］との加算によって算出することができる。
ＲＣ［ｉ］＝ＲＬ［ｉ］＋ＧＨ［ｉ］
【００６９】
Ｂチャネルについても同様であり、Ｂチャネルの低周波成分ＢＬ［ｉ］とＧチャネルの高周波成分ＧＨ［ｉ］との加算からＢチャネルの補正値ＢＣ［ｉ］を算出することができる。
【００７０】
なお、ここでは、ＲチャネルまたはＢチャネルの低周波成分とＧチャネルの高周波成分との加算からＲチャネルの補正値を算出する例について説明したが、以下のようにＲチャネルまたはＢチャネルの高周波成分を推定することによりＲチャネルまたはＢチャネルの補正値を算出してもよい。
【００７１】
図８は、本発明の実施の形態における強度推定部２１４０の他の機能構成例を示す図である。この強度推定部２１４０は、高周波成分算出部２１４１と、低周波成分算出部２１４２および２１４３と、高周波成分推定部２１４４と、補正値算出部２１４５とを備えている。すなわち、図７の例と比較して、低周波成分算出部２１４２および高周波成分推定部２１４４を追加した構成になっている。
【００７２】
低周波成分算出部２１４２は、水平方向平滑化部２１１０によって生成された平滑化値から各垂直サンプル位置での低周波成分を算出するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＧチャネルの平滑化値をＧ［ｉ］とすると、Ｇチャネルの低周波成分ＧＬ［ｉ］は、
ＧＬ［ｉ］＝Ｇ［ｉ］
により算出される。
【００７３】
高周波成分推定部２１４４は、低周波成分算出部２１４２によって生成されたＧチャネルの低周波成分と、低周波成分算出部２１４３によって生成されたＲチャネルまたはＢチャネルの低周波成分との比率に基づいて、高周波成分算出部２１４１によって生成されたＧチャネルの高周波成分を調整することにより、ＲチャネルまたはＢチャネルの高周波成分を推定するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＧチャネルの高周波成分をＧＨ［ｉ］、Ｇチャネルの低周波成分をＧＬ［ｉ］、Ｒチャネルの低周波成分をＲＬ［ｉ］とすると、Ｒチャネルの高周波成分ＲＨ［ｉ］は次式により算出することができる。
ＲＨ［ｉ］＝（ＲＬ［ｉ］／ＧＬ［ｉ］）・ＧＨ［ｉ］
【００７４】
これにより、補正値算出部２１４５は、次式のようにＲチャネルの低周波成分ＲＬ［ｉ］とＲチャネルの高周波成分ＲＨ［ｉ］との加算によって算出することができる。
ＲＣ［ｉ］＝ＲＬ［ｉ］＋ＲＨ［ｉ］
【００７５】
なお、ここでは、Ｒチャネルについて説明したが、Ｂチャネルについても同様である。
【００７６】
図９は、本発明の実施の形態における水平方向補間処理部３１０の機能構成例を示す図である。この水平方向補間処理部３１０は、Ｇ強度推定部３１１と、ＲＢ強度推定部３１２とを備える。
【００７７】
Ｇ強度推定部３１１は、近傍領域抽出部１００によって抽出された近傍領域において、Ｇチャネルの画素がない位置についてＧチャネルを推定するものである。この場合の推定方法として、例えば図１０（ａ）に示す補間フィルタを用いて、水平方向に隣り合う画素の強度の平均値を求めることにより推定することができる。このＧチャネルの推定値は信号線３１８に出力される。なお、垂直方向補間処理部３２０におけるＧ強度推定部でも同様であり、例えば図１０（ｂ）に示す補間フィルタを用いて、垂直方向に隣り合う画素の強度の平均値を求めることにより推定することができる。
【００７８】
ＲＢ強度推定部３１２は、近傍領域抽出部１００によって抽出された近傍領域において、ＲチャネルおよびＢチャネルの画素がない位置についてそれぞれＲチャネルおよびＢチャネルを推定するものである。この場合の推定方法として、例えば図１０（ａ）に示す補間フィルタを用いて、水平方向に隣り合う画素の強度の平均値を求めることにより推定することができる。但し、ＲチャネルおよびＢチャネルについては、ラインに該当するチャネルが存在しない場合があるため、その場合にはＧ強度推定部３１１により推定されたＧチャネルの強度に基づいて、ＲチャネルおよびＢチャネルの強度を推定することができる。このＲＢ強度推定部３１２により推定されたＲチャネルおよびＢチャネルの強度、および、Ｇ強度推定部３１１により推定されたＧチャネルの強度は、信号線３１９に出力される。
【００７９】
この図９の例では、近傍領域の全ての画素について、存在しないチャネルの強度を推定している。したがって、信号線３１９には近傍領域に対応する９×９画素における各チャネルの強度が出力される。これに対し、次のように、一方向に平滑化を行った後に、足りないチャネルの強度のみを推定するようにしてもよい。
【００８０】
図１１は、本発明の実施の形態における水平方向補間処理部３１０の他の機能構成例を示す図である。この水平方向補間処理部３１０は、水平方向平滑化部３１３および３１４と、ＲＢ強度推定部３１５とを備えている。
【００８１】
水平方向平滑化部３１３は、注目画素位置の近傍領域に含まれるＧチャネルについて、垂直サンプル位置で水平方向に平滑化を行うものである。この水平方向平滑化部３１３によって生成された平滑化値は、信号線３１７に出力される。
【００８２】
水平方向平滑化部３１４は、注目画素位置の近傍領域に含まれるＲチャネルおよびＢチャネルについて、垂直サンプル位置で水平方向に平滑化を行うものである。但し、ＲチャネルおよびＢチャネルについては、ある垂直サンプル位置の水平ラインに、該当するチャネルの画素が存在しない場合があり、その場合には平滑化値を求めることができず、平滑値は不在のままである。この水平方向平滑化部３１４によって生成された平滑化値は、信号線３１６に出力される。
【００８３】
ＲＢ強度推定部３１５は、水平方向平滑化部３１４によるＲチャネルおよびＢチャネルの平滑化値の強度を、水平方向平滑化部３１３によるＧチャネルの平滑化値の強度によって推定するものである。このＲＢ強度推定部３１５により推定されたＲチャネルおよびＢチャネルの強度、および、水平方向平滑化部３１３により平滑化されたＧチャネルの強度は、信号線３１９に出力される。
【００８４】
この図１１の例では、近傍領域の各画素を水平方向に平滑化して処理を行っている。したがって、信号線３１９には近傍領域の各画素を水平方向に平滑化した１×９画素における各チャネルの強度が出力される。すなわち、近傍領域について１画素毎に補間を行わずに補間方向に沿って１ライン分平滑化することにより、図９の例の場合と比べて高速な補間処理を行うことができる。そこで、以下では、図１１の例による水平方向補間処理部３１０の出力（１×９画素）に基づいてクロマ信号のエイリアス強度を算出する場合について説明する。
【００８５】
図１２は、本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０の機能構成例を示す図である。このクロマ信号エイリアス強度算出部３３０は、類似度算出部３３１と、クロマ信号分散算出部３３２とを備えている。
【００８６】
類似度算出部３３１は、注目画素を含むラインの補間値と近傍領域の補間値との類似度を算出するものである。この類似度算出部３３１は、例えば次式によりｉ番目の垂直サンプル位置における類似度ｗｉを算出する。ここで、Ｇｃｅｎｔｅｒは注目画素を含む垂直サンプル位置におけるＧチャネルの補間値であり、Ｇｉはｉ番目の垂直サンプル位置におけるＧチャネルの補間値である。また、Ｇチャネルの各補間値は最大値が１になるように正規化されているものとする。
ｗｉ＝１−｜Ｇｉ−Ｇｃｅｎｔｅｒ｜
【００８７】
なお、類似度算出部３３１における類似度の算出式は上式に限られるものではなく、例えば次式により類似度ｗｉを算出してもよい。ここで、ＧｍｅａｎはＧチャネルの補間値の平均値であり、ＧｖａｒはＧチャネルの補間値の分散である。
ｗｉ＝（（Ｇｉ−Ｇｍｅａｎ）・（Ｇｃｅｎｔｅｒ−Ｇｍｅａｎ）／Ｇｖａｒ）×０．５＋０．５
【００８８】
このようにして得られた類似度は、クロマ信号分散算出部３３２におけるクロマ信号の分散値算出のための重みとして用いられる。
【００８９】
クロマ信号分散算出部３３２は、クロマ信号の重み付け分散値を算出するものである。ここで、クロマ信号は、画素信号のクロミナンス（Chrominance：色差）であり、画素信号から輝度信号Ｙ（ルミナンス：Luminance）を除いたものである。本発明の実施の形態では、赤の色差Ｃｒおよび青の色差Ｃｂを次式から算出するものとする。但し、Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂである。
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ
【００９０】
このクロマ信号分散算出部３３２は、このようにして算出されたクロマ信号の類似度による重み付け分散値として、赤の色差Ｃｒの分散ＶＣｒおよび青の色差Ｃｂの分散ＶＣｂを次式により算出する。ここで、Ｎはサンプリング総数であり、図１１を前提とする実施の形態ではＮ＝９である。また、ＣｒｉおよびＣｂｉは、ｉ番目の垂直サンプル位置における赤および青のクロマ信号の強度である。また、オーバーラインは平均値を表す。
【数２】
2008258931.tif 000004
【００９１】
この結果、クロマ信号の分散値を加算した値Ｖ＝ＶＣｒ＋ＶＣｂがクロマ信号のエイリアス強度となる。このエイリアス強度Ｖは、水平方向のエイリアス強度Ｖｈとして信号線３３９から出力される。
【００９２】
なお、クロマ信号エイリアス強度算出部３４０における処理も同様であり、エイリアス強度Ｖが垂直方向のエイリアス強度Ｖｖとして信号線３４９から出力される。
【００９３】
図４の構成例においては、方向補間部２００における補間処理（水平方向補間処理部２１０および垂直方向補間処理部２２０による処理）と方向判断部３００における補間処理（水平方向補間処理部３１０および垂直方向補間処理部３２０による処理）とを独立して行っている。しかし、これらの間では互いに重複する部分が存在するため、何れか一方における結果を共用することも可能である。この場合の構成例について以下に説明する。
【００９４】
図１３は、本発明の実施の形態におけるデモザイク処理部２３２の他の機能構成例を示す図である。この図１３の例では、図４の例と比べて、水平方向補間処理部３１０および垂直方向補間処理部３２０が除かれている。そして、これらに代えて、水平方向補間処理部２１０および垂直方向補間処理部２２０からの信号線２１８および２２８が、クロマ信号エイリアス強度算出部３３０および３４０にそれぞれ入力されている。
【００９５】
図１４は、図１３の例における水平方向補間処理部２１０の一構成例を示す図である。この水平方向補間処理部２１０では、垂直方向平滑化部２１７０および２１８０への入力である信号線２１１９および２１４９が、信号線２１８として出力されている。この信号線２１８の出力は、図１１における信号線３１９と等価である。したがって、クロマ信号エイリアス強度算出部３３０に対して供給される信号は、図４の例と同様になる。
【００９６】
なお、ここでは、水平方向補間処理部２１０について説明したが、垂直方向補間処理部２２０の場合は水平方向と垂直方向とが逆になるだけで基本的な構成は同様である。
【００９７】
次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。
【００９８】
図１５は、本発明の実施の形態における画像処理回路２３の処理手順例を示す図である。Ａ／Ｄ変換回路２２からモザイク画像が取得されると（ステップＳ９０１）、ホワイトバランス処理部２３１は、そのモザイク画像に対してホワイトバランス処理を施す（ステップＳ９０２）。デモザイク処理部２３２は、ホワイトバランス処理の施されたモザイク画像の各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うように補間処理（デモザイク処理）を行う（ステップＳ９０３）。マトリックス処理部２３３は、リニアマトリックスをデモザイク処理部２３２の出力の各画素に適用し、３原色の強度値に変換する（ステップＳ９０４）。ガンマ補正部２３４は、マトリックス処理された強度値に対してガンマ補正を施す（ステップＳ９０５）。ＹＣ変換部２３５は、ガンマ補正された３チャネル画像にＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を出力する（ステップＳ９０６）。
【００９９】
図１６は、本発明の実施の形態におけるデモザイク処理部２３２によるデモザイク処理（図１５のステップＳ９０３）の処理手順例を示す図である。デモザイク処理は、全画素位置に全ての色が存在するように、画素位置毎にそこにない色の強度を補間または推定していく処理である。この処理は、各画素位置（ｐ，ｑ）について（ｐ＝１〜ｍ，ｑ＝１〜ｎ）ループＬ９９１を繰り返すことにより実現される。
【０１００】
まず、現在の画素位置（ｐ，ｑ）が注目画素位置として設定されると（ステップＳ９１１）、近傍領域抽出部１００は、ホワイトバランス処理の施されたモザイク画像から、注目画素位置の周囲の所定の大きさ（例えば９×９画素）の近傍領域を抽出する（ステップＳ９１２）。方向補間部２００は、注目画素位置について、複数の方向それぞれに沿って補間処理を行い、複数の方向それぞれにおける補間結果を出力する（ステップＳ９１３）。方向判断部３００は、注目画素位置についてテクスチャ方向を判断し、複数の方向に沿った補間値をどのように合成するかを指示する（ステップＳ９１４）。合成部４００は、方向判断部３００によって出力された補間値の重みに基づいて方向補間部２００によって出力された補間値を合成して、注目画素位置の補間値として出力する（ステップＳ９１５）。
【０１０１】
図１７は、本発明の実施の形態における方向補間部２００による補間処理（図１６のステップＳ９１３）の処理手順例を示す図である。水平方向平滑化部２１１０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、垂直サンプル位置で水平方向に平滑化を行う（ステップＳ９２１）。また、水平方向平滑化部２１２０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＲチャネルおよびＢチャネルについて、垂直サンプル位置で水平方向に平滑化を行う（ステップＳ９２２）。強度推定部２１４０は、水平方向平滑化部２１２０によるＲチャネルおよびＢチャネルの平滑化値の強度を、水平方向平滑化部２１１０によるＧチャネルの平滑化値の強度によって推定する（ステップＳ９２３）。
【０１０２】
そして、垂直方向平滑化部２１７０は、水平方向平滑化部２１１０によるＧチャネルの水平方向の平滑化値の強度を、さらに垂直方向に平滑化する（ステップＳ９２４）。また、垂直方向平滑化部２１８０は、強度推定部２１４０によるＲチャネルおよびＢチャネルの補間された水平方向の平滑化値の強度を、さらに垂直方向に平滑化する（ステップＳ９２５）。
【０１０３】
また、強度推定部２１３０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、注目画素位置の強度を推定する（ステップＳ９２６）。そして、合成部２１９０は、垂直方向平滑化部２１７０によるＧチャネルの低周波成分と、垂直方向平滑化部２１８０によるＲチャネルおよびＢチャネルの低周波成分と、強度推定部２１３０によるＧチャネルの補間値とに基づいて、注目画素位置のＲチャネルおよびＢチャネルの強度を合成する（ステップＳ９２７）。
【０１０４】
なお、これらの手順は、図５における動作の依存関係に従う限り、異なる順序で実行しても構わない。
【０１０５】
図１８は、本発明の実施の形態における方向判断部３００によるテクスチャ方向判断処理（図１６のステップＳ９１４）の処理手順例を示す図である。水平方向補間処理部３１０は、水平方向に沿った補間処理を行う（ステップＳ９３１）。クロマ信号エイリアス強度算出部３３０は、水平方向に沿った補間値に含まれるクロマ信号のエイリアス強度を算出する（ステップＳ９３２）。
【０１０６】
また、垂直方向補間処理部３２０は、垂直方向に沿った補間処理を行う（ステップＳ９３３）。クロマ信号エイリアス強度算出部３４０は、垂直方向に沿った補間値に含まれるクロマ信号のエイリアス強度を算出する（ステップＳ９３４）。
【０１０７】
そして、方向評価部３５０は、水平方向および垂直方向のエイリアス強度に基づいて水平方向および垂直方向の補間値の重みを算出する（ステップＳ９３５）。
【０１０８】
なお、これらの手順は、図４における動作の依存関係に従う限り、異なる順序で実行しても構わない。
【０１０９】
図１９は、本発明の実施の形態における水平方向補間処理部３１０および垂直方向補間処理部３２０による一方向補間処理（図１８のステップＳ９３１およびＳ９３３）の処理手順例を示す図である。図９の水平方向補間処理部３１０は、近傍領域の全ての画素についてＲ、Ｇ、Ｂ信号が全て揃うように補間処理を行う。この水平方向補間処理部３１０による処理は、各画素位置（ｓ，ｔ）について（本発明の実施の形態ではｓ＝１〜９，ｔ＝１〜９）ループＬ９９２およびＬ９９３を繰り返すことにより実現される。
【０１１０】
ループＬ９９２では、画素位置（ｓ，ｔ）の色がＧでなければ（ステップＳ９４１）、Ｇ強度推定部３１１は、画素位置（ｓ，ｔ）のＧチャネルの強度を推定する（ステップＳ９４２）。近傍領域内の全ての画素について、ステップＳ９４１の処理が実行されると、ループＬ９９２は終了して、ループＬ９９３へ移行する。
【０１１１】
ループＬ９９３では、ＲＢ強度推定部３１２は、画素位置（ｓ，ｔ）において、ＲチャネルおよびＢチャネルの画素がない位置についてそれぞれＲチャネルおよびＢチャネルを推定する（ステップＳ９４３）。近傍領域内の全ての画素についてＲ、Ｇ、Ｂ信号が揃うと、一方向補間処理は終了する。
【０１１２】
なお、垂直方向補間処理部３２０による処理は、水平方向と垂直方向とが逆になるだけで水平方向補間処理部３１０による処理と同様である。
【０１１３】
図２０は、本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０および３４０によるクロマ信号のエイリアス強度算出処理（図１８のステップＳ９３２およびＳ９３４）の処理手順例を示す図である。
【０１１４】
クロマ信号エイリアス強度算出部３３０において、類似度算出部３３１は、注目画素を含むラインの補間値と近傍領域の補間値との類似度を算出する（ステップＳ９５１）。そして、クロマ信号分散算出部３３２は、クロマ信号の重み付け分散値を算出する（ステップＳ９５２）。
【０１１５】
なお、クロマ信号エイリアス強度算出部３４０による処理は、水平方向と垂直方向とが逆になるだけでクロマ信号エイリアス強度算出部３３０による処理と同様である。
【０１１６】
本発明の実施の形態においては、図３に示したベイヤー配列の３原色系色フィルタを用いた例について説明したが、本発明はこれ以外の色配列についても適用可能である。例えば、図２１（ａ）のようにＲＧＢの他にＥ（エメラルド）のフィルタを加えた４色配列であってもよい。この４色配列は、３色のベイヤー配列のＢ画素位置の半分を若干分光特性の異なるものに置換した配列となっている。この４色配列の場合、方向補間部２００においてＲ、Ｇ、Ｂ、Ｅの各チャネルの補間値を算出しておいて、方向判断部３００におけるテクスチャ方向の判断に基づいて合成部４００において補間値を合成することができる。
【０１１７】
この４色配列では、Ｇの色の画素が市松状に配置され、それ以外の画素位置ではＲの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置され、残りの画素位置にＢおよびＥの色の画素が斜め方向に１画素おきの斜め格子状に配置されている。
【０１１８】
Ｇの色は、人間の視感度曲線に近い分光特性のフィルタ色である。Ｒの色は、比較的長波長側に感度を有するような分光特性のフィルタ色である。一方、ＢおよびＥの色は、比較的短波長側に感度を有するような分光特性のフィルタ色である。
【０１１９】
この４色配列は、図２１（ｂ）のように一般化することができる。上の例では、ＧがＣ１に相当し、ＲがＣ２に相当し、ＢがＣ３に相当し、ＥがＣ４に相当する。これらは、市松状に配置された第１のチャネル（Ｃ１）と、それ以外の第２のチャネル（Ｃ２乃至Ｃ４）に区分けすることができる。第１のチャネルでは、水平方向および垂直方向の何れについて平滑化してもその色が存在する。これに対して、第２のチャネルでは、水平方向および垂直方向の何れか一方もしくは両方について平滑化した際、その色が存在しない場合がある。この場合、第１のチャネルの強度を用いて第２のチャネルの強度を推定することができる。
【０１２０】
また、４色以上の配列についても同様である。すなわち、第１のチャネルが市松状に配置されていれば、第２のチャネルについては規則的に配列された４色以上の色を含むことができる。
【０１２１】
なお、ここでは、市松状に配置される第１のチャネルとして人間の視感度曲線に近い分光特性のフィルタ色を想定したが、これに限らず、赤外線にも分光感度を有するフィルタ色であってもよい。そのような例として、例えば全ての色の光線を通す素通しフィルタが想定される。
【０１２２】
また、本発明の実施の形態では、各画素が水平方向および垂直方向に規則的に配置されていることを想定したが、これに限らず、例えば４５度傾斜して配置されていてもよい。
【０１２３】
また、本発明の実施の形態では、近傍領域において水平方向および垂直方向に補間してテクスチャ方向を判断することを想定したが、これに限らず、水平方向および垂直方向に加えて例えば右上がり斜め方向（Ascending）および右下がり斜め方向（Descending）の補間およびテクスチャ方向判断を行い、これらに基づいて合成を行ってもよい。
【０１２４】
このように、本発明の実施の形態によれば、方向補間部２００によって生成された補間値を合成部４００により合成するためのテクスチャ方向の評価にあたって、クロマ信号のエイリアス強度を利用することにより、例えば色付きの縞模様のような彩度の高い高周波成分を含む画像においても補間の方向を正しく評価することができ、偽色の発生を抑制することができる。
【０１２５】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１２６】
すなわち、請求項１において、補間手段は例えば水平方向補間処理部３１０および垂直方向補間処理部３２０に対応する。また、クロマ信号エイリアス強度算出手段は例えばクロマ信号エイリアス強度算出部３３０および３４０に対応する。また、方向評価手段は例えば方向評価部３５０に対応する。
【０１２７】
また、請求項３において、重み算出手段は例えば類似度算出部３３１に対応する。また、統計量算出手段は例えばクロマ信号分散算出部３３２に対応する。
【０１２８】
また、請求項６において、平滑化手段は例えば水平方向平滑化部３１３および３１４に対応する。また、補間値生成手段は例えばＲＢ強度推定部３１５に対応する。
【０１２９】
また、請求項１０において、第１の補間手段は例えば水平方向補間処理部３１０および垂直方向補間処理部３２０に対応する。また、クロマ信号エイリアス強度算出手段は例えばクロマ信号エイリアス強度算出部３３０および３４０に対応する。また、方向評価手段は例えば方向評価部３５０に対応する。また、第２の補間手段は例えば水平方向補間処理部２１０および垂直方向補間処理部２２０に対応する。また、合成手段は例えば合成部４００に対応する。
【０１３０】
また、請求項１１において、補間手段は例えば水平方向補間処理部３１０および垂直方向補間処理部３２０に対応する。また、クロマ信号エイリアス強度算出手段は例えばクロマ信号エイリアス強度算出部３３０および３４０に対応する。また、方向評価手段は例えば方向評価部３５０に対応する。また、合成手段は例えば合成部４００に対応する。
【０１３１】
また、請求項１２において、撮像手段は例えば撮像素子１３に対応する。また、補間手段は例えば水平方向補間処理部３１０および垂直方向補間処理部３２０に対応する。また、クロマ信号エイリアス強度算出手段は例えばクロマ信号エイリアス強度算出部３３０および３４０に対応する。また、方向評価手段は例えば方向評価部３５０に対応する。
【０１３２】
また、請求項１６において、特定の色は例えばＧ（緑）色に対応する。また、第１の色は例えばＲ（赤）色に対応する。また、第２の色は例えばＢ（青）色に対応する。また、第３の色は例えばＥ（エメラルド）色に対応する。
【０１３３】
また、請求項１９および２０において、補間手順は例えばステップＳ９３１およびＳ９３３に対応する。また、クロマ信号エイリアス強度算出手順は例えばステップＳ９３２およびＳ９３４に対応する。また、方向評価手順は例えばステップＳ９３５に対応する。
【０１３４】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１３５】
【図１】本発明の実施の形態における撮像装置の一例を示す図である。
【図２】本発明の実施の形態における画像処理回路２３の処理機能の一例を示す図である。
【図３】本発明の実施の形態における撮像素子の前面に配されるカラーフィルタの一例としてのベイヤー配列を示す図である。
【図４】本発明の実施の形態におけるデモザイク処理部２３２の機能構成例を示す図である。
【図５】本発明の実施の形態における水平方向補間処理部２１０の機能構成例を示す図である。
【図６】本発明の実施の形態における水平方向補間処理部２１０による処理の模式図である。
【図７】本発明の実施の形態における強度推定部２１４０の機能構成例を示す図である。
【図８】本発明の実施の形態における強度推定部２１４０の他の機能構成例を示す図である。
【図９】本発明の実施の形態における水平方向補間処理部３１０の機能構成例を示す図である。
【図１０】本発明の実施の形態において用いられる補間フィルタの例を示す図である。
【図１１】本発明の実施の形態における水平方向補間処理部３１０の他の機能構成例を示す図である。
【図１２】本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０の機能構成例を示す図である。
【図１３】本発明の実施の形態におけるデモザイク処理部２３２の他の機能構成例を示す図である。
【図１４】図１３の例における水平方向補間処理部２１０の一構成例を示す図である。
【図１５】本発明の実施の形態における画像処理回路２３の処理手順例を示す図である。
【図１６】本発明の実施の形態におけるデモザイク処理部２３２によるデモザイク処理の処理手順例を示す図である。
【図１７】本発明の実施の形態における方向補間部２００による補間処理の処理手順例を示す図である。
【図１８】本発明の実施の形態における方向判断部３００によるテクスチャ方向判断処理の処理手順例を示す図である。
【図１９】本発明の実施の形態における水平方向補間処理部３１０および垂直方向補間処理部３２０による一方向補間処理の処理手順例を示す図である。
【図２０】本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０および３４０によるクロマ信号のエイリアス強度算出処理の処理手順例を示す図である。
【図２１】本発明の実施の形態における撮像素子の前面に配される他のカラーフィルタの例を示す図である。
【符号の説明】
【０１３６】
１１  レンズ
１２  絞り
１３  撮像素子
２１  サンプリング回路
２２  Ａ／Ｄ変換回路
２３  画像処理回路
３１  符号化／復号器
３２  メモリ
４１  表示ドライバ
４２  表示部
５１  タイミング生成器
５２  操作入力受付部
５３  ドライバ
５４  制御部
５９  バス
１００  近傍領域抽出部
２００  方向補間部
２１０  水平方向補間処理部
２２０  垂直方向補間処理部
３００  方向判断部
３１０  水平方向補間処理部
３１１  Ｇ強度推定部
３１２  ＲＢ強度推定部
３１３、３１４  水平方向平滑化部
３１５  ＲＢ強度推定部
３２０  垂直方向補間処理部
３３０、３４０  クロマ信号エイリアス強度算出部
３３１  類似度算出部
３３２  クロマ信号分散算出部
３５０  方向評価部
４００  合成部
２１１０、２１２０  水平方向平滑化部
２１３０、２１４０  強度推定部
２１４１  高周波成分算出部
２１４２、２１４３  低周波成分算出部
２１４４  高周波成分推定部
２１４５  補正値算出部
２１７０、２１８０  垂直方向平滑化部
２１９０  合成部
【図１】
2008258931.tif 000005
【図２】
2008258931.tif 000006
【図３】
2008258931.tif 000007
【図４】
2008258931.tif 000008
【図５】
2008258931.tif 000009
【図６】
2008258931.tif 000010
【図７】
2008258931.tif 000011
【図８】
2008258931.tif 000012
【図９】
2008258931.tif 000013
【図１０】
2008258931.tif 000014
【図１１】
2008258931.tif 000015
【図１２】
2008258931.tif 000016
【図１３】
2008258931.tif 000017
【図１４】
2008258931.tif 000018
【図１５】
2008258931.tif 000019
【図１６】
2008258931.tif 000020
【図１７】
2008258931.tif 000021
【図１８】
2008258931.tif 000022
【図１９】
2008258931.tif 000023
【図２０】
2008258931.tif 000024
【図２１】
2008258931.tif 000025