(57)【特許請求の範囲】
【請求項１】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記第２の画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、
前記第１の画素は複数の前記第２の画素に囲まれていることを特徴とする撮像装置。
【請求項２】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記第２の画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、
前記相関値は、前記第１の画素の周囲に位置する複数の前記第２の画素の値の分散であることを特徴とする撮像装置。
【請求項３】
前記相関値は、前記第１の画素の周囲に位置する複数の前記第２の画素の値の差分の絶対値であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記第２の画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、
前記相関値は、前記第１の画素の周囲に位置する複数の前記第２の画素の値の平均値に対する輝度弁別限値であることを特徴とする撮像装置。
【請求項５】
前記第２の画素は、前記第１の画素の分光感度特性よりも広い半値幅の分光感度特性を有することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記第２の画素は白画素である請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記第２の画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、
複数の前記第１の画素を備え、複数の前記第１の画素は、赤画素、緑画素、青画素から構成されることを特徴とする撮像装置。
【請求項８】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記第２の画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、
複数の前記第１の画素を備え、複数の前記第１の画素は、シアン画素、マゼンタ画素、イエロ画素から構成されることを特徴とする撮像装置。
【請求項９】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記第２の画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、
前記第２の画素の数は前記第１の画素の数の３倍以上であることを特徴とする撮像装置。
【請求項１０】
前記閾値は、複数の前記第２の画素の値のゲインに対応して予め用意されたノイズ像標本に基づき求められることを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記閾値は、第１のフレームにおける複数の前記第２の画素の値と第２のフレームにおける複数の前記第２の画素の値とのフレーム間の差分に基づき、求められることを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【請求項１２】
前記閾値は、前記第１のフレームおよび前記第２のフレームにおいて画像の動きが検出されなかった場合に求められることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記第２の画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、
前記方向性判定部は、複数の前記第２の画素のうちの１対の第２の画素の値の差分と、前記第１の画素の重心から前記１対の第２の画素の重心までの距離とに基づき前記方向を判定することを特徴とする撮像装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の撮像装置と、前記撮像装置から出力された画像データを処理する画像処理部とを備えたことを特徴とする撮像システム。
【請求項１５】
第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とを含む画素部から出力された信号を処理する画像処理方法であって、
複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定するステップと、
複数の前記第２の画素の値の相関値を算出するステップと、
前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間するステップとを有し、
前記第１の画素は複数の前記第２の画素に囲まれていることを特徴とする画像処理方法。
【請求項１６】
色画素と前記色画素以外の白画素とが行列状に配置され、複数の前記白画素は前記色画素の周囲に位置する画素部と、
複数の前記白画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記白画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記白画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記白画素の値から、前記輝度分布の方向に基づいて前記色画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記白画素の値から、前記輝度分布の方向に依存せずに前記色画素の値を補間する補間処理部とを有し、
前記色画素は複数の前記白画素に囲まれていることを特徴とする撮像装置。
【請求項１７】
色画素と前記色画素以外の白画素とが行列状に配置され、複数の前記白画素は前記色画素の周囲に位置する画素部と、
複数の前記白画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記白画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記白画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記白画素の値から、前記輝度分布の方向に基づいて前記色画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記白画素の値から、前記輝度分布の方向に依存せずに前記色画素の値を補間する補間処理部とを有し、
前記相関値は、前記色画素の周囲に位置する複数の前記白画素の値の分散であることを特徴とする撮像装置。
【請求項１８】
前記相関値は、前記色画素の周囲に位置する複数の前記白画素の値の差分の絶対値であることを特徴とする請求項１６に記載の撮像装置。
【請求項１９】
色画素と前記色画素以外の白画素とが行列状に配置され、複数の前記白画素は前記色画素の周囲に位置する画素部と、
複数の前記白画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、
複数の前記白画素の値の相関値を算出する相関値算出部と、
前記相関値が複数の前記白画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記白画素の値から、前記輝度分布の方向に基づいて前記色画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記白画素の値から、前記輝度分布の方向に依存せずに前記色画素の値を補間する補間処理部とを有し、
前記相関値は、前記色画素の周囲に位置する複数の前記白画素の値の平均値に対する輝度弁別限値であることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、および画像処理方法に関する。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどの撮像装置においては、２次元状に配置された複数の光電変換素子上に、特定波長の光を透過するカラーフィルタが形成されている。このカラーフィルタの組合せには様々なタイプがあり、例えば加法混色の原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の組合せ、あるいは減法混色の原色であるシアン（Ｃｙ）、マゼンタ（Ｍｇ）、イエロ（Ｙｅ）の組合せが知られている。これらの各色のフィルタを備えた画素（以下、色画素と称する）からの信号に基づき、カラーの画像データが生成される。固体撮像装置の感度の向上、画像データにおける信号対ノイズ比（Ｓ／Ｎ比）の向上のため、輝度情報を得やすい色の画素の割合を増やす構成が知られている。例えば、Ｇ、Ｙｅの色画素の割合を増し、あるいは可視光域の光を広く透過させる白（ホワイト、Ｗ、若しくはクリア）の画素（以下、Ｗ画素と称する）をさらに備えた固体撮像装置が提案されている。また、各色のフィルタの配列についても、いわゆるベイヤ配列等、カラー画像データの生成に適した種々の配列が提案されている。
【０００３】
特許文献１には、Ｒ、Ｇ、Ｂの色画素と白画素とからなる所謂ＲＧＢＷ配列を有する固体撮像装置、各画素の出力信号に基づきＲＧＢのカラー画像データを補間および生成する画像処理装置が開示されている。特許文献１においては、補間対象の色画素の周囲に位置する複数のＷ画素の画素値の勾配からエッジ方向を検出し、エッジ方向に基づき色画素におけるＷ画素相当の画素値を補間処理している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−９１４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術においては、画像に重畳されたノイズ信号が大きい場合には、エッジ方向が誤検出され、画素値を正確に補間することができなくなる。この結果、偽パターンが生成され、画像の品位が損なわれてしまう。
【課題を解決するための手段】
【０００６】
本発明の一態様における撮像装置は、第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とが行列状に配置された画素部と、複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定する方向性判定部と、複数の前記第２の画素の値の相関値を算出する相関値算出部と、前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間する補間処理部とを有し、前記第１の画素は複数の前記第２の画素に囲まれていることを特徴とする。
【０００７】
また、本発明における固体撮像装置の製造方法は、第１の画素と、前記第１の画素の周囲に配置されるとともに前記第１の画素よりも感度が高い複数の第２の画素とを含む画素部から出力された信号を処理する画像処理方法であって、複数の前記第２の画素の値の差分に基づき輝度分布の方向を判定するステップと、複数の前記第２の画素の値の相関値を算出するステップと、前記相関値が複数の前記第２の画素の値におけるノイズ信号強度に基づく閾値よりも大きい場合、複数の前記第２の画素の値から、前記輝度分布の方向に基づいて前記第１の画素の値を補間し、前記相関値が前記閾値以下である場合、複数の前記第２の画素の値から、前記輝度分布の方向に依存せずに前記第１の画素の値を補間するステップとを有し、前記第１の画素は複数の前記第２の画素に囲まれていることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、偽パターンの生成を抑制し、高品位の画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における撮像システムのブロック図である。
【図２】第１実施形態における撮像装置のブロック図である。
【図３】第１実施形態における撮像装置の画素および列増幅部の回路図である。
【図４Ａ】第１実施形態における加法混色のカラーフィルタを備えた撮像装置の図である。
【図４Ｂ】第１実施形態における加法混色のカラーフィルタを備えた撮像装置の図である。
【図４Ｃ】第１実施形態における加法混色のカラーフィルタを備えた撮像装置の図である。
【図５Ａ】第１実施形態における減法混色のカラーフィルタを備えた撮像装置の図である。
【図５Ｂ】第１実施形態における減法混色のカラーフィルタを備えた撮像装置の図である。
【図５Ｃ】第１実施形態における減法混色のカラーフィルタを備えた撮像装置の図である。
【図５Ｄ】第１実施形態における減法混色のカラーフィルタを備えた撮像装置の図である。
【図６】第１実施形態における信号処理部のブロック図である。
【図７】第１実施形態における方向性判定処理を説明するための図である。
【図８】第１実施形態における補間処理の結果の一例の図である。
【図９】第１実施形態における画像処理方法のフローチャートである。
【図１０】第２実施形態における画像処理方法のフローチャートである。
【図１１】第３実施形態における画像処理方法のフローチャートである。
【図１２】第３実施形態における撮像装置の画素配列の図である。
【図１３】第４実施形態における方向性判定処理を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら各実施形態の撮像装置について説明する。
【００１１】
（第１の実施形態）
図１は、本実施形態に係る撮像システムのブロック図である。撮像システムは撮像装置を用いて静止画、動画等を取得する装置であり、例えばデジタルスチルカメラ、デジタルカムコーダ、監視カメラ、スマートフォン等である。撮像システム１は、バリア１ａ、レンズ１ｂ、絞り１ｃ、撮像装置２、信号処理部３、タイミング発生部４、一時記憶部５、外部Ｉ／Ｆ部６、記録媒体Ｉ／Ｆ部７、記録媒体８、全体制御・演算部９を有する。撮像装置２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの固体撮像素子であって、被写体１０１から発せられた光学像１０２を電気信号に変換し、後段の信号処理部３へ出力する。レンズ１ｂは被写体１０１の光学像１０２を撮像装置２に結像させる。絞り１ｃは、レンズ１ｂを経て、撮像装置２に結像される光学像１０２の光量を調整する。レンズ１ｂを保護するバリア１ａは必要に応じて配置される。
【００１２】
信号処理部３はデジタル信号処理部を有し、撮像装置２から出力される信号に対して各種の補正、圧縮を行い、画像データを出力する。撮像装置２から出力される信号がアナログ信号である場合、信号処理部３はアナログ／デジタル変換（Ａ／Ｄ変換）回路をデジタル信号処理部の前段に備え得る。なお、信号処理部３は撮像装置２に設けられても良く、また撮像システム１の外部のコンピュータに設けられても良い。
【００１３】
タイミング発生部４は撮像装置２、信号処理部３にクロック信号、同期信号などのタイミング信号を出力する。なお、タイミング信号は撮像システム１の外部から供給されても良い。一時記憶部５は画像データを一時的に記憶するためのバッファメモリである。外部Ｉ／Ｆ（インターフェース）部６は外部のコンピュータ、画像処理装置、ネットワーク等と通信するための回路である。記録媒体Ｉ／Ｆ部７は記録媒体８への記録または読出しを行うためのインターフェースである。記録媒体８は、半導体メモリ、光磁気記録媒体等であって、撮像システム１に着脱可能または内蔵され得る。全体制御・演算部９は撮像システム１の全体を制御する。
【００１４】
図２は本実施形態における撮像装置２のブロック図である。撮像装置２は、複数の画素２１が行列状に配された画素部２０、垂直走査回路２２、列増幅部２３、水平走査回路２４、出力部２５を有する。画素部２０は行列状に配置された複数の画素２１を備え、それぞれの画素２１は光電変換素子ＰＤを備える。光電変換素子ＰＤは照射された光に応じた電荷を生じさせ、画素２１は電荷に基づく電圧を出力する。垂直走査回路２２は、画素２１のトランジスタを導通状態（オン）または非導通状態（オフ）に制御するための制御信号を供給する。画素部２０は、画素２１から画素信号を読出すために垂直信号線２０６を有する。画素２１から垂直信号線２０６に転送された画素信号は画素列毎に読出される。水平走査回路２４は各画素列の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力部２５はバッファアンプ、差動増幅器などから構成され、列増幅部２３からの画素信号を撮像装置２の外部の信号処理部３に出力する。出力された画素信号は信号処理部３によって、アナログ／デジタル変換、入力データの補正などの処理が行われる。なお、撮像装置２はアナログ／デジタル変換の機能を備えても良い。
【００１５】
図３は本実施形態における撮像装置２の画素２１、列増幅部２３の回路図である。ここでは、説明を容易にするため、列増幅部２３のうちの１列分の回路と、１つの画素２１とが示されている。画素２１は光電変換素子ＰＤ、浮遊拡散容量ＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を備える。なお、画素２１は、複数の光電変換素子ＰＤが浮遊拡散容量ＦＤ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を共有する構成を備えていても良い。また、トランジスタＭ２〜Ｍ４はＮチャネルＭＯＳに限定されず、ＰチャネルＭＯＳによって構成されても良い。
【００１６】
光電変換素子ＰＤはフォトダイオードなどから構成され、照射された光を電子（電荷）に光電変換する。転送トランジスタＭ１のゲートには信号ＴＸが供給され、信号ＴＸがハイレベルになると、転送トランジスタＭ１は光電変換素子ＰＤに発生した電荷を浮遊拡散容量ＦＤに転送する。浮遊拡散容量ＦＤは、転送トランジスタＭ１のドレイン端子を兼ねており、転送トランジスタＭ１を介して光電変換素子ＰＤから転送される電荷を保持可能である。リセットトランジスタＭ２のゲートには信号ＲＥＳが供給され、信号ＲＥＳがハイレベルになると、リセットトランジスタＭ２は浮遊拡散容量ＦＤの電圧をリセット電圧ＶＤＤにリセットする。転送トランジスタＭ１とリセットトランジスタＭ２を同時にオンにさせることにより、光電変換素子ＰＤの電子がリセットされる。増幅トランジスタＭ３のゲートは、浮遊拡散容量ＦＤに接続される。
【００１７】
増幅トランジスタＭ３のソースは、選択トランジスタＭ４を介して列ごとに共通の垂直信号線２０６のノードＰＤＯＵＴに電気的に接続され、ソースフォロアを構成する。選択トランジスタＭ４のゲートには信号ＳＥＬが印加され、信号ＳＥＬがハイレベルとなると、垂直信号線２０６と増幅トランジスタＭ３が電気的に接続される。これにより、選択された画素２１から画素信号が読み出される。
【００１８】
画素２１に供給される信号ＴＸ、信号ＲＥＳ、信号ＳＥＬは垂直走査回路２２から出力される。垂直走査回路２２はこれらの信号レベルを制御することによって、画素２１を行単位で走査する。電流源２０７は垂直信号線２０６を介して画素２１に電流を供給し、垂直信号線２０６は信号ＰＬによって駆動されるスイッチＳＷ０を介して列増幅部２３に接続されている。
【００１９】
列増幅部２３は、列増幅器２３１、入力容量Ｃ０、帰還容量Ｃ１、Ｃ２、スイッチＳＷ１〜ＳＷ７、容量ＣＴＮ、ＣＴＳを有する。列増幅器２３１は反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器２３１の反転入力ノードはスイッチＳＷ０、入力容量Ｃ０を介して垂直信号線２０６に電気的に接続され、非反転入力ノードには基準電圧ＶＲＥＦが印加されている。反転入力ノードと出力ノードとは並列接続された３つの帰還回路を介して互いに接続されている。第１の帰還回路は直列に接続されたスイッチＳＷ１および帰還容量Ｃ１から構成され、第２の帰還回路は直列に接続されたスイッチＳＷ２および帰還容量Ｃ２から構成され、第３の帰還回路はスイッチＳＷ３から構成されている。スイッチＳＷ１〜ＳＷ３のオン、オフを適宜制御することにより、列増幅器２３１の増幅率を変更することができる。すなわち、スイッチＳＷ１のみがオンとなると、増幅率はＣ０／Ｃ１となり、スイッチＳＷ２のみがオンとなると、増幅率はＣ０／Ｃ２となる。また、スイッチＳＷ１、ＳＷ２がオンとなると、増幅率はＣ０／（Ｃ１＋Ｃ２）となり、スイッチＳＷ３のみがオンとなると、列増幅器２３１はボルテージフォロアとして動作する。スイッチＳＷ１〜ＳＷ３は信号φＣ〜φＣ２によってそれぞれ制御される。
【００２０】
列増幅器２３１の出力ノードは、信号φＣＴＮによって制御されるスイッチＳＷ４を介して容量ＣＴＮに接続されている。同様に、列増幅器２３１の出力ノードは、信号φＣＴＳによって制御されるスイッチＳＷ５を介して容量ＣＴＳに接続されている。浮遊拡散容量ＦＤのリセット時において、スイッチＳＷ４がオン、スイッチＳＷ５がオフとなり、リセット時の画素信号（Ｎ信号）が容量ＣＴＮにサンプルホールドされる。光電変換された電荷が浮遊拡散容量ＦＤに転送された後、スイッチＳＷ４がオフ、スイッチＳＷ５がオンとなり、光電変換された電荷に基づく画素信号（Ｓ信号）が容量ＣＴＳにサンプルホールドされる。
【００２１】
容量ＣＴＮはスイッチＳＷ６を介して出力部２５の第１入力ノードに接続され、容量ＣＴＳはスイッチＳＷ７を介して出力部２５の第２入力ノードに接続されている。水平走査回路２４が各列の信号φＨｎを順にハイレベルとすることにより、水平走査が行われる。すなわち、信号φＨｎがハイレベルとなると、スイッチＳＷ６は容量ＣＴＮに保持されたＮ信号を出力部２５の第１入力ノードに出力し、スイッチＳＷ７は容量ＣＴＳに保持されたＳ信号を出力部２５の第２入力ノードに出力する。
【００２２】
出力部２５は差動増幅回路から構成されており、入力されたＳ信号、Ｎ信号の差分を増幅および出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。なお、Ｎ信号、Ｓ信号をアナログ／デジタル変換した後に、相関二重サンプリングを行っても良い。
【００２３】
図４Ａ〜４Ｃ、図５Ａ〜５Ｄは、本実施形態に適用可能な様々な撮像装置２の上面図を表している。単板の撮像装置２は、カラー画像を生成するためのカラーフィルタを各画素２１に備える。カラーフィルタは光電変換素子ＰＤに対して被写体からの光が入射される側に配置され、色強度を表す画素信号が画素２１から出力され、画素信号に基づきカラー画像が生成される。本実施形態においては以下に示すように様々なカラーフィルタを有する撮像装置２を適用可能である。
【００２４】
図４Ａ〜図４Ｃは加法混色のカラーフィルタを備えた撮像装置２を示している。図４Ａの撮像装置２は、カラーフィルタ２１ｒを備えたＲ画素、カラーフィルタ２１ｇを備えたＧ画素、カラーフィルタ２１ｂを備えたＢ画素、クリアフィルタ２１ｗを備えたＷ画素を有する。赤画素（Ｒ画素）、緑画素（Ｇ画素）、青画素（Ｂ画素）、白画素（Ｗ画素）はベイヤ配列に従って配置され、Ｒ画素、Ｇ画素、Ｂ画素の色画素（第１の画素）の４方向にはＷ画素（第２の画素）が配置されている。図４Ｂの撮像装置２は、Ｒ画素、Ｇ画素、Ｂ画素を備え、Ｒ画素、Ｂ画素の色画素（第１の画素）の周囲には８個のＧ画素（第２の画素）が配置されている。図４Ｃの撮像装置２は、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素を備え、Ｒ画素、Ｇ画素、Ｂ画素の色画素（第１の画素）の周囲には８個のＷ画素（第２の画素）が配置されている。４×４の１６画素のうち、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の個数比で各画素が配置されており、この配置はＲＧＢＷ１２配列と称される。ＲＧＢＷ１２配列においては、色画素であるＲ、Ｇ、Ｂの各画素が８個のＷ画素で囲まれており、Ｗ画素の比率が全画素の３／４を占めている。すなわち、ＲＧＢＷ１２配列は、第２の画素群としてＷ画素を有し、第１の画素群として色画素（ＲＧＢ画素）を有している。第２の画素群の画素数の総和は第２の画素群の画素数の総和の３倍以上（２倍より多い）であり、第２の画素群の解像度情報は第１の画素群の解像度情報よりも多い。
【００２５】
図５Ａ〜図５Ｄは減法混色のカラーフィルタを備えた撮像装置２を示している。図５Ａの撮像装置２はカラーフィルタ２１ｃｙを備えたシアン画素（Ｃｙ画素）、カラーフィルタ２１ｍｇを備えたマゼンタ画素（Ｍｇ画素）、カラーフィルタ２１ｙｅを備えたイエロ画素（Ｙｅ画素）、クリアフィルタ２１ｗを備えた白画素（Ｗ画素）を有する。Ｃｙ画素、Ｍｇ画素、Ｙｅ画素、Ｗ画素はベイヤ配列に従って配置され、Ｃｙ画素、Ｍｇ画素、Ｙｅ画素の色画素（第１の画素）の４方向にはＷ画素（第２の画素）が配置されている。図５Ｂの撮像装置２はＣｙ画素、Ｍｇ画素、Ｙｅ画素を備え、Ｃｙ画素、Ｍｇ画素の色画素（第１の画素）の４方向にはＹｅ画素（第２の画素）が配置されている。図５Ｃの撮像装置２はＣｙ画素、Ｍｇ画素、Ｙｅ画素、Ｇ画素、Ｗ画素を備える。Ｃｙ画素、Ｍｇ画素、Ｙｅ画素の色画素（第１の画素）の周囲には８個のＷ画素が配置されている。図５Ｄの撮像装置２はＣｙ画素、Ｍｇ画素、Ｙｅ画素、Ｗ画素を備え、Ｃｙ画素、Ｍｇ画素、Ｙｅ画素の色画素（第１の画素）の周囲には８個のＷ画素（第２の画素）が配置されている。
【００２６】
図４Ａ〜図４Ｃ、図５Ａ〜図５Ｄのいずれの撮像装置２においても、第１の画素の周囲には、第１の画素から得られる輝度情報よりも多くの輝度情報を得ることが可能な第２の画素が配置されている。特にＷ画素を第２の画素として用いた場合、Ｗ画素はＧ画素、Ｙｅ画素に比べてより広い半値幅の分光感度特性を有している。このため、Ｗ画素を色画素の周囲に配置することによって、より多くの輝度情報を得ることが可能となる。例えば、図４Ａの撮像装置２は加法混色の原色（Ｒ、Ｇ、Ｂ）の画素に加えてＷ画素を有し、図５Ａの撮像装置２は減法混色の原色（Ｍｇ、Ｃｙ、Ｙｅ）の画素に加えてＷ画素を有している。これらの撮像装置２はベイヤ配列を有する撮像装置に比べて感度を高くすることができる。また、Ｗ画素は、可視波長域に加えて光電変換素子ＰＤが検知しうる波長域において感度を有し得る。なお、撮像装置２には、有効な画素以外に、オプティカルブラック画素、光電変換部を有さないダミー画素などのように画像を出力しない画素が含まれ得る。但し、これらのオプティカルブラック画素、ダミー画素は第１の画素、第２の画素には含まれない。
【００２７】
図４Ｂ、図５Ｂに示された撮像装置２は、加法及び減法混色の原色の画素の中で輝度に対する感度が高い色の画素を多く含み、多くの輝度情報を得ることができる。図４Ｃ、図５Ｃ、５Ｄの撮像装置２においては、色画素の数とＷ画素の数との比率は１：３である。このため、輝度に対して高い感度を有するとともに、高解像度である撮像装置２を実現することができる。
【００２８】
上述した撮像装置２はいずれも単版式であるため、各画素からは特定の色成分（情報）の信号が出力される。このため、他の色成分の信号を補間処理によって生成することにより、高精細のカラー画像を生成している。例えば、Ｒ画素はＧ、Ｂの情報を有していないが、Ｒ画素の近傍に位置するＧ画素およびＢ画素の値に基づき、Ｒ画素の位置におけるＧ、Ｂの画素値を推定することができる。図４Ｂ、４Ｃ、図５Ｂ、５Ｃ、５Ｄにおいて、色画素の周囲には、Ｇ画素、Ｙｅ画素、またはＷ画素が配置されている。Ｇ画素、Ｙｅ画素、Ｗ画素は他の色画素に比べて輝度に対して高い感度を有しており、輝度に対して鋭敏に知覚され得る。従って、色画素の周囲のＧ画素、Ｙｅ画素、またはＷ画素の値を用いることにより、当該色画素の位置におけるＧ、Ｙｅ、またはＷの輝度情報を類推し易くなる。また、それぞれの色画素の周囲にＷ画素などのように輝度に対して鋭敏な画素を配置することにより、色画素の位置における輝度値を高精度に補間することができる。
【００２９】
図６は本実施形態における信号処理部３のブロック図である。信号処理部３は、前段処理部３１、分離処理部３２、方向性判定部３３、相関値算出部３４、補間処理部３５、合成処理部３６、画像処理部３７を備える。撮像装置２からの画素信号は前段処理部３１に入力される。ここでは、撮像装置２はＲＧＢＷ１２配列を有するものとして説明するが、他の画素配列を用いても良い。前段処理部３１は画素信号のオフセット補正、ゲイン補正を含む様々な補正を実行する。撮像装置２から出力された画素信号がアナログ信号である場合には、Ａ／Ｄ変換を前段処理部３１で実施してもよい。
【００３０】
前段処理部３１は、入力された画素信号Ｄｉｎのオフセット補正、ゲイン補正、等の補正を適宜実施して、補正後の出力Ｄｏｕｔを生成する。この処理は、典型的には以下の式で表わされる。
【数１】
0006758859.tif 000002
【００３１】
この補正は様々な回路単位で行い得る。例えば、画素毎に補正を行ってもよく、さらには、列増幅器毎、アナログデジタル変換部（ＡＤＣ）、出力増幅器のそれぞれの回路毎に補正を行ってもよい。補正を行うことで、いわゆる固定パターンノイズが低減され、より高品質な画像データ３ａを得ることができる。画像データ３ａは一時記憶部５または信号処理部３のバッファメモリに保持される。また、絞り値、シャッタスピード、距離の値ととともに、画像データ３ａのゲイン値Ｘも保存される。
【００３２】
分離処理部３２は、画像データ３ａを輝度情報のための画像データ（輝度信号）３ｂと色情報のためのＲＧＢの画像データ（色信号）３ｃとに分離する。画像データ３ｂにおいて、「？」で示された画素の値は不明であるため、当該画素の値は後述する補間処理によって求められる。なお、以下の説明において、補間処理の対象となる画素を着目画素と称する。
【００３３】
方向性判定部３３は画像データ３ｂのそれぞれの画素値の差分（相関）を算出し、この差分から画像データ３ｂにおける輝度分布の方向性を判定する。例えば、着目画素の周囲のＷ画素において上下方向、左右方向、斜め方向の差分を比較することにより、被写体のエッジなどの方向性を判定することができる。この差分を画素の重心間の距離で除算しても良く、被写体のエッジの有無、孤立点の有無に基づき、方向性を判定しても良い。また、画素値の分散を求めることにより方向性を判定しても良い。
【００３４】
相関値算出部３４は画像データ３ｂにおける複数のＷ画素の値の相関値を算出する。相関値は、例えば、着目画素の周囲に位置する複数のＷ画素の値の分散、差分の絶対値、または、平均値に対する輝度弁別限値に基づき算出され得る。
【００３５】
補間処理部３５は、画像データ３ｂにおける画素値の相関値がノイズ信号強度に基づく閾値よりも大きい場合には、画素値の差分が小さい方向に位置する複数のＷ画素に基づき着目画素の画素値を補間する。例えば、Ｒ画素を着目画素として、Ｗの信号を補間する場合には、差分が小さい２個のＷ画素の値を参照し、補間値を算出する。差分に基づき被写体のエッジなどの輝度分布を推定することにより、高精度の補間を行うことができる。差分が大きいＷ画素の値を参照する場合に比べて、Ｒ画素におけるＷの画素値を高精度に補間することができる。
【００３６】
補間処理部３５は、輝度の相関値がノイズ信号強度に基づく閾値以下である場合には、方向に依存しない画素値に基づき着目画素の値を補間する。例えば、画像データ３ｂにおける（３，３）の座標のＷ画素の値は、着目画素の周囲の８画素の平均値で補間され得る。
【数２】
0006758859.tif 000003
【００３７】
本実施形態によれば、Ｗ画素の値の変化（輝度振幅）が被写体あるいはノイズのいずれに起因するかを判定することにより、方向性の誤判定に起因する偽パターンの生成を回避することができる。
【００３８】
信号値が不明な画素の信号を、周囲の画素の信号値から補間する処理を行う。なお、４×４の画素群を表記しているが、このパターンが繰り返されるため、ｉＷｒ、ｉＷｇなども周囲８画素の情報から補間を行うことができる。図中、補間により生成されたＷ画素の値をｉＷｒ、ｉＷｂ、ｉＷｇｒ、ｉＷｇｂと表記する。
【００３９】
合成処理部３６は補間後のＷの画像データ３ｄ、カラーの画像データ３ｃに基づき、Ｒデータ、Ｇデータ、Ｂデータを生成する。Ｒデータ、Ｇデータ、Ｂデータの生成には、さまざまな方法を用いることができる。例えば、カラーの画像データ３ｃを正規化し、色の比からＲデータ、Ｇデータ、Ｂデータを生成しても良い。この方法では、以下の式で色の比を算出する。
【数３】
0006758859.tif 000004
但し、Ｇ＝（Ｇｒ＋Ｇｂ）／２である。
【００４０】
また、カラーの画像データ３ｃと、補間値ｉＷｒ、ｉＷｇ、ｉＷｂとの比を算出しても良い。この場合には、次式により色の比を算出する。
【数４】
0006758859.tif 000005
【００４１】
色の比ＲＧＢ＿ｒａｔｉｏと、Ｗの画素値あるいは補間値ｉＷｒ、ｉＷｇｒ、ｉＷｇｂ、ｉＷｂの信号を用いて、各画素におけるＲ、Ｇ、Ｂのそれぞれの値を以下のように求めることができる。このようにして、各々が４×４の１６画素を有する、Ｒデータ、Ｇデータ、Ｂデータが得られる。
【数５】
0006758859.tif 000006
【００４２】
ここで、Ｒ＿ｒａｔｉｏ、Ｇ＿ｒａｔｉｏ、Ｂ＿ｒａｔｉｏはＲＧＢ＿ｒａｔｉｏのそれぞれの色の比を表している。
【数６】
0006758859.tif 000007
【００４３】
画像処理部３７は、Ｒデータ、Ｇデータ、Ｂデータに対して、ホワイトバランス処理、ガンマ処理、ノイズリダクション処理などを行う。また、Ｒデータ、Ｇデータ、Ｂデータをアップコンバート処理により、水平および垂直解像度を例えば２倍のデータに変換し、画像処理を行っても良い。アップコンバート処理の手法としては、最近傍内挿（ニアレストレイバー）法、バイリニア法、バイキュービック法等を用いることができる。アップコンバート処理後にモザイク処理を行っても良く、最近傍内挿法を用いることで、データ処理誤差の蓄積を防ぐことができる。
【００４４】
なお、それぞれ複数フレームのＷの画像データ、カラーの画像データを平均化しても良い。また、Ｎフレーム（Ｎは１以上の数）のＷの画像データを平均化し、Ｎフレームよりも多いフレーム数のＭフレームのカラーの画像データを平均化しても良い。この場合には、解像感の低下を抑えながら、色ノイズを低減した画像を生成することができる。また、Ｗデータのフレーム間の変化（相関）を判断し、判断結果に基づきフレーム間処理のフレーム数（重み付け）を変更しても良い。例えば、被写体に動体が含まれることを検出した場合には、Ｗデータの平均化を行わず、１フレームのＷの画像データと、複数フレームのカラーの画像データとを用いて補間処理を行っても良い。この場合には、被写体のブレを抑えながら、色ノイズを低減した画像を得ることができる。また、被写体に動体が含まれていないことが検出された場合には、画像処理部３７は、Ｗの画像データ、カラーの画像データをそれぞれ複数フレームずつ平均化して画像を生成する。一方、被写体に動体が含まれていることが検出された場合には、画像処理部３７が、各フレームのＷの画像データ、カラーの画像データから画像を生成するようにしても良い。これにより、動きの大きな被写体における色残像などの色ノイズを抑制することができる。
【００４５】
図７は本実施形態における方向性判定処理を説明するための図である。図７（ａ）〜（ｅ）は、ＲＧＢＷ１２配列における相関値（方向性）の算出判定処理を示している。図７（ｂ）〜（ｅ）は、図７（ａ）の８×８画素のうちの５×５の画素において、相関値の算出に用いる２個のＷ画素を矢印で示している。また、座標（３，３）のＢ画素は着目画素である。方向性判定部３３は、着目画素の周囲のＷ画素において、Ｗ画素値の差分の絶対値を重み付け加算し、相関値を算出する。重み付けの係数は、対をなす２個のＷ画素の間の位置からＢ画素までの距離に応じて定められ得る。例えば、Ｗ画素とＢ画素との距離が短いほど、重み付け係数を大きくしても良い。ここで画素間の距離は、一方の画素の重心から他方の画素の重心までの距離と定義し得る。また、画素の重心は、マイクロレンズの重心あるいは光電変換素子ＰＤの重心と定義し得る。
【００４６】
図７（ｂ）は、横方向の差分和に用いる画素を矢印で示している。方向性判定部３３は、隣接する２個の画素値の差分の絶対値を加算することにより、横方向の差分和を算出することができる。矢印で示されたＷ画素の対はそれぞれＢ画素から等距離にあるため、重み付け係数はすべて等しい。
差分和（横）＝｜Ｗ（２，２）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，２）｜×２
＋｜Ｗ（２，４）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，４）｜×２
【００４７】
図７（ｃ）は、縦方向の差分和の算出に用いられる画素を矢印で示している。横方向と同様に、縦方向の差分和は次式にて求められる。
差分和（縦）＝｜Ｗ（２，２）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（２，４）｜×２
＋｜Ｗ（４，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（４，４）｜×２
【００４８】
図７（ｄ）は、左斜方向の差分和の算出に用いられる画素を矢印で示している。方向性判定部３３は、それぞれの差分に距離の重み付けを行い、差分の絶対値の総和を求める。例えば、座標（１，２）、（２，３）のＷ画素の対は、座標（２，３）、（３，４）のＷ画素の対よりもＢ画素から離れている。このため、Ｂ画素から離れたＷ画素の対の重み付け係数は「１」となっている。
差分和（左斜）＝｜Ｗ（１，２）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，５）｜
＋｜Ｗ（２，１）−Ｗ（３，２）｜
＋｜Ｗ（３，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，４）｜
【００４９】
図７（ｅ）は、右斜方向の差分和の算出に用いられる画素を矢印で示している。左斜方向と同様に、それぞれの差分に距離の重みづけを行い、差分の絶対値の総和を求めることができる。
差分和（右斜）＝｜Ｗ（１，４）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，１）｜
＋｜Ｗ（２，５）−Ｗ（３，４）｜
＋｜Ｗ（３，４）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，２）｜
【００５０】
４方向の差分和の算出式のそれぞれにおいて、差分の重み付け係数の合計が８になっている。これにより、４方向の差分和同士の重み付けを同等にすることができる。また、差分和を算出するためのＷ画素の対（矢印）は、着目画素（Ｂ画素）に対して、線対称に位置している。差分和の対称性をよくすることで、方向性判定のエラーを少なくすることができる。斜め方向の差分和を求める場合には、着目画素に近接する画素対の重み付け係数を２とし、着目画素から離れた画素対の重み付け係数を１としている。このように、着目画素からの距離に応じて差分の重み付けを行うことにより、差分和の精度を高めることができる。なお、判定の対象となる方向は必ずしも４方向に限られず、横および縦の２方向、または斜めの２方向であっても良い。
【００５１】
以上の処理により求められた４個の差分和（横、縦、左斜、右斜）のうち、最も小さい差分和を有する方向が、輝度の差分の小さい、すなわち相関が高いことを示す。従って、最小の差分和を有する方向の複数の画素を用いることにより、着目画素を高精度に補間することが可能となる。
【００５２】
図８に補間処理の結果の一例を示す。図８（ａ）は、撮像装置２の撮像面における被写体の露光パターンを示している。露光パターンは横方向に延在する細線またはエッジなどのように、横方向の差分和が小さい画像を含んでいる。図８（ａ）において、横方向に延在する２本の線が撮像面に露光され、各画素の信号強度が模式的に示されている。
【００５３】
図８（ｂ）は、図８（ａ）の画像をＲＧＢＷ１２配列で撮像した場合の画素値の大きさを示している。図中の「？」はＷ画素以外の色画素（Ｒ，Ｇ，Ｂ）であり、座標（３，３）のＢ画素を着目画素とする。Ｗ画素の濃淡は画素値の大きさを表している。方向性判定部３３は、着目画素の近傍のＷ画素において、各方向の差分和を算出し、差分和が最小となる方向を判定する。横方向の細線においては、横方向の差分和が最も小さくなることから、横方向の輝度分布の相関性が高くなる。図８（ｃ）では、補間処理部３５は、着目画素の横方向に位置するとともに、着目画素を挟む２個のＷ画素の値の平均値を算出し、この平均値を着目画素における補間値とする。座標（３，３）の着目画素の横方向には、座標（２，３）のＷ画素と座標（４，３）のＷ画素がそれぞれ位置している。補間処理部３５は座標（２，３）のＷ画素の値と座標（４，３）のＷ画素の値との平均値を座標（３，３）の値とする。
【００５４】
このように、方向性判定部３３は、着目画素の近傍の複数のＷ画素において、エッジまたは細線などの輝度分布の相関性がある方向を判定する。補間処理部３５は、着目画素に対して、相関性が高い（差分和が小さい）方向に位置する複数のＷ画素の値に基づき、着目画素の値を補間することができる。この様に補間することで、１画素単位での差分の情報をもとに補間処理を実行することができるため、解像度を向上させることができる。
【００５５】
図９は、本実施形態における撮像システムの画像処理方法のフローチャートを示す。ここで撮像装置２は、図４Ｃに示されたＲＧＢＷ１２配列のカラーフィルタを有するものとする。
【００５６】
撮像システム１が動作を開始すると、全体制御・演算部９は、撮像者により入力された絞り値、シャッタスピード、距離、ゲイン値Ｘ等の撮像設定値を外部Ｉ／Ｆ部６を介して取得する（ステップＳ９００）。ゲイン値Ｘは、画素２１から信号処理部３までの信号経路におけるゲインの総和であって、例えば列増幅器２３１におけるゲイン、信号処理部３におけるデジタルゲイン等を含む。
【００５７】
次に、全体制御・演算部９は取得した撮像設定値を撮像装置２に送信し、撮像装置２は撮像設定値に基づく撮像動作を行う。撮像装置２は画素信号を信号処理部３に出力し、信号処理部３の前段処理部３１は画素信号をアナログデジタル変換した画像データ３ａを一時記憶部５に保持する（ステップＳ９０１）。分離処理部３２は原画像である画像データ３ａをＷの画像データ３ｂとカラーの画像データ３ｃとに分離し、一時記憶部５に保持する。
【００５８】
全体制御・演算部９には、ゲイン値Ｘに対応したノイズ像標本ＦＸとノイズ信号強度の標準偏差σ（ＦＸ）との対照情報（テーブル）が格納されている。ノイズ像標本ＦＸは、画素部２０に光が照射されていない状態において得られた画像データであって、ノイズのみを含む画像データである。また、ノイズ像標本ＦＸはゲイン値Ｘ毎に予め用意され得る。信号処理部３は、ノイズ信号強度の標準偏差σ（ＦＸ）のテーブルを参照し（ステップＳ９０２）、入力されたゲイン値Ｘに対応したノイズ信号強度の標準偏差σ（ＦＸ）を取得する（ステップＳ９０３）。信号処理部３は、次式に従い、ノイズ信号強度の標準偏差σ（ＦＸ）からノイズ強度ＲＮを得る（ステップＳ９０４）。
【数７】
0006758859.tif 000008
【００５９】
次に、信号処理部３は、着目画素の周囲のＷ画素の値（輝度）の輝度振幅が被写体の画像あるいはノイズのいずれに起因するかを判定する。先ず、相関値算出部３４は、補間処理の対象となる色画素を着目画素の周囲のＷ画素の画素値Ｗｉを取得する。相関値算出部３４は複数の画素値Ｗｉの平均輝度ＷＡＶＧを求める（ステップＳ９０５）。画素値を取得するＷ画素の範囲は、着目画素を中心に上下左右斜めに１〜３画素程度の距離の範囲が好ましい。そして、補間処理部３５は、ステップＳ９０５で取得したＷ画素の画素値Ｗｉと平均輝度ＷＡＶＧを基に、次式に従い着目画素の周囲のＷ画素の輝度分散（相関値）σＷを求める（ステップＳ９０６）。なお次式におけるｎは、Ｗ画素の輝度分散を求める際に対象となっているＷ画素の個数を表す。
【数８】
0006758859.tif 000009
【００６０】
次に、補間処理部３５はＷ画素の輝度分散σＷとノイズ強度ＲＮとを比較する（ステップＳ９０７）。ノイズ強度ＲＮがＷ画素の輝度分散σＷに比べて小さい場合（σＷ＞ＲＮ）、着目する色画素の周囲に位置するＷ画素の輝度振幅は被写体の画像に起因すると判定できる。この場合（ステップＳ９０７でＹＥＳ）、補間処理部３５は、着目画素の周囲に位置するＷ画素の輝度分布の方向性判定に基づいて、着目画素におけるＷ画素相当の画素値（輝度）を補間できる（ステップＳ９０８）。すなわち、補間処理部３５は、方向性判定部３３によって判定された方向のＷ画素に基づき、着目画素に対応するＷの画素値を求める。従って、輝度分布の方向性を推定することにより、被写体の高周波成分を維持した高精度の補間を実現することができる。
【００６１】
ノイズ強度ＲＮがＷ画素の輝度分散σＷに比べて等しいか大きい場合（σＷ≦ＲＮ）、着目する色画素の周囲に位置するＷ画素の輝度振幅が被写体の画像あるいはノイズのいずれに起因するかを分別できない。従って、この場合（ステップＳ９０７でＮＯ）、補間処理部３５は着目画素の周囲のＷ画素の平均輝度ＷＡＶＧを、着目画素におけるＷ画素相当の画素値（輝度）とみなして補間処理を行う（ステップＳ９０９）。すなわち、着目画素の値は平均輝度ＷＡＶＧとなる。従って、方向性の誤判定による偽パターンの生成を回避することが可能となる。
【００６２】
以上述べたように、本実施形態によれば、着目する色画素の周囲のＷ画素の輝度振幅が被写体の画像あるいはノイズのいずれに起因するかを判定することができる。色画素の周囲のＷ画素の輝度振幅が被写体の画像と判定しがたい場合には、輝度分布の方向に依存しない補間を行うことにより、偽パターンの生成を回避することができる。従って、画像データの高周波成分を維持しつつ、ノイズを抑制した高品位の画像を得ることが可能となる。
【００６３】
なお、各ステップの処理の順序は必ずしもフローチャートに示された順序に限定されない。また、フローチャートに示された画像処理を撮像システムの外部の汎用のコンピュータにおいて実行しても良く、また、撮像装置２において実行しても良い。相関値との比較に用いられる閾値は、ノイズ強度ＲＮに基づく値であればよく、例えばノイズ強度ＲＮに所定の係数を乗じた値であっても良く、またノイズ強度ＲＮに定数を加算または減算した値であっても良い。
【００６４】
（第２の実施形態）
第２の実施形態における撮像システムを説明する。図１０は、本実施形態における撮像システムの画像処理方法のフローチャートを示す。第１実施形態と同様に、撮像装置２は、図４Ｃに示されたＲＧＢＷ１２配列のカラーフィルタを有するものとする。本実施形態においては、時間的に連続した複数フレームの画像データを処理可能である。以下、第１実施形態と異なる構成を中心に説明する。
【００６５】
撮像システム１が動作を開始すると、全体制御・演算部９は、撮像者により入力された撮像設定値（絞り値、シャッタスピード、距離、ゲイン値Ｘ等）を外部Ｉ／Ｆ部６を介して取得する（ステップＳ１０００）。次に、全体制御・演算部９は取得した撮像設定値を撮像装置２に送信し、撮像装置２は撮像設定値に基づく撮像動作を行う。前段処理部３１は撮像装置２からの各フレームの画像データを一時記憶部５に保持する（ステップＳ１００１）。ここで、連続した２フレーム（第１、第２フレーム）の画像データＦ１、Ｆ２が一時記憶部５に記憶されており、画像データＦ２の撮像時刻は画像データＦ１の撮像時刻の後であるとする。フレームレートは例えば１／６０秒、１／３０秒等、任意の値に定め得る。信号処理部３は、２つの画像データＦ１、Ｆ２の間で動きの有無の判定を行う（ステップＳ１００２）。動きの判定は、例えば２つの画像データＦ１、Ｆ２の差分の大きさに基づき行い得るが、様々な判定方法を用いることができる。画像データＦ１、Ｆ２の間で動きがあると判定された場合（ステップＳ１００２でＹＥＳ）、信号処理部３はステップＳ１００１の処理を再び実行し、撮像装置２からの次フレームの画像データを取得する。一時記憶部５において前の時刻の画像データＦ１は後の時刻の画像データＦ２に置き換えられ、画像データＦ２が画像データＦ１となる。信号処理部３は、撮像装置２から新たに出力された次フレームの画像データを画像データＦ２として一時記憶部５に記憶する。
【００６６】
画像データＦ１、Ｆ２の間で動きがないと判定されるまで（ステップＳ１００２でＮＯ）、信号処理部３はステップＳ１００１〜Ｓ１００２の処理を繰り返し実行する。画像に動きがないと判定された場合（ステップＳ１００２でＮＯ）、信号処理部３は画像データＦ１、Ｆ２を静止画とみなし、画像データＦ１、Ｆ２の差分画像（ノイズ像）を求める（ステップＳ１００３）。差分演算によって、被写体の画像が除去され、ノイズ成分のみが抽出される。
【００６７】
次に、相関値算出部３４は、画像データＦ１、Ｆ２の差分画像においてノイズ信号強度に対する出現画素数の統計解析を行い、２フレーム間の差分画像の標準偏差σ（Ｆ１−Ｆ２）を得る（ステップＳ１００４）。信号処理部３は、次式に従い、ノイズ信号強度の標準偏差σ（ＦＸ）からノイズ強度ＲＮを得る（ステップＳ１００５）。
【数９】
0006758859.tif 000010
【００６８】
次に、新しい時刻の画像データＦ２での着目画素の周囲のＷ画素の値（輝度）の輝度振幅が被写体の画像あるいはノイズのいずれに起因するかを判定する。先ず、補間処理部３５は、着目画素の周囲の複数のＷ画素の値Ｗｉから平均輝度ＷＡＶＧを求める（ステップＳ１００６）。
【００６９】
そして、相関値算出部３４は、Ｗ画素の平均輝度ＷＡＶＧを着目画素に対する背景輝度とみなして、次式に従い輝度弁別限ＪＮＤ（Just Noticeable Difference）を求める（ステップＳ１００７）。ここで、係数ＫＪＮＤは、ウェーバー・フェヒナーモデルに基づいて決定され、ある明るさの背景に明るさの異なる２物体が置かれた際に、２物体間の明るさを弁別できる背景と物体との最小輝度比である。
【数１０】
0006758859.tif 000011
【００７０】
そして、補間処理部３５は、輝度弁別限ＪＮＤに対してノイズ強度ＲＮとの大小を判定する（ステップＳ１００８）。輝度弁別限ＪＮＤがノイズ強度ＲＮよりも大きい場合（ＪＮＤ＞ＲＮ：ステップＳ１００８でＹＥＳ）、補間処理部３５は方向性判定部３３によって判定された方向のＷ画素に基づき、着目画素に対応するＷの画素値を補間する。例えば、輝度弁別限ＪＮＤがノイズ強度ＲＮよりも十分に大きい場合、着目画素の周囲のＷ画素における輝度振幅は被写体の画像に起因すると判定できる。この場合、補間処理部３５は着目画素の周囲のＷ画素の輝度分布の方向性判定に基づいて、着目画素におけるＷ画素相当の画素値（輝度）を補間する（ステップＳ１００９）。ノイズ強度ＲＮが輝度弁別限ＪＮＤに比べて小さい限り（ＪＮＤ＞ＲＮ）、着目画素の周囲に位置するＷ画素の輝度振幅は被写体の信号に由来するとみなすことができ、判定された方向性に基づく補間処理を行うことができる。なお、ステップＳ１００８の判定において、ノイズ強度ＲＮに所定の係数を乗算した値を閾値として用いても良い。
【００７１】
一方、輝度弁別限ＪＮＤがノイズ強度ＲＮ以下である場合（ステップＳ１００８でＮＯ）、第１実施形態と同様にＷ画素の輝度分散σＷに基づく判定を行う（ステップＳ１０１０〜Ｓ１０１１）。すなわち、着目画素の周囲のＷ画素の輝度振幅が被写体あるいはノイズのいずれに起因するかを輝度分散σＷに基づき判定する。ステップＳ１０１０において、補間処理部３５は着目画素の周囲に位置するＷ画素の輝度分散σＷを求める（次式）。なお、次式におけるｎは、Ｗ画素の輝度分散を求める際に対象となっているＷ画素の個数を表す。
【数１１】
0006758859.tif 000012
【００７２】
次に、ステップＳ１０１１において、補間処理部３５は、Ｗ画素の輝度分散σＷとノイズ強度ＲＮとを比較する。ノイズ強度ＲＮがＷ画素の輝度分散σＷに比べて小さい場合（σＷ＞ＲＮ）、着目する色画素の周囲に位置するＷ画素の輝度振幅は被写体の画像に起因すると判定できる。この場合（ステップＳ１０１１でＹＥＳ）、補間処理部３５は、色画素の周囲に位置するＷ画素の輝度分布の方向性判定に基づいて、色画素に対するＷ画素相当の画素値（輝度）を補間する。ノイズ強度ＲＮがＷ画素の輝度分散σＷに比べて等しいか大きい場合（σＷ≦ＲＮ）、所望の色画素の周囲に位置するＷ画素の輝度振幅が信号あるいはノイズのいずれに由来するかを分別できない。従って、この場合（ステップＳ１０１１でＮＯ）、着目画素の周囲のＷ画素の平均輝度ＷＡＶＧを、着目画素におけるＷ画素相当の画素値（輝度）とみなして補間処理を行う（ステップＳ１０１２）。
【００７３】
本実施形態においても、第１実施形態と同様の効果を奏することが可能である。すなわち、着目する色画素の周囲のＷ画素の輝度振幅が被写体の画像あるいはノイズのいずれに起因するかを判定することにより、方向性の誤判定を回避することができる。例えば、被写体の画像のショットノイズが無視し得ない場合においても、Ｗ画素の輝度分布に関する方向性の誤判定を防ぎ、偽パターンの生成を抑制することができる。従って、画像データの高周波成分を維持しつつ、ノイズを抑制した像品位の画像を得ることが可能となる。
【００７４】
また、本実施形態において、ノイズ強度は複数フレームの画像データの差分に基づき算出される。このため、ゲイン値Ｘに対応したノイズの標準偏差テーブルを用意する必要がなくなる。さらに、Ｗ画素の輝度分散σＷに加えて、輝度弁別限ＪＮＤを相関値として用いることにより、輝度分布の方向性をさらに正確に推定することができ、より高精度の補間を行うことが可能となる。
【００７５】
（第３の実施形態）
続いて、第３の実施形態における撮像システムを説明する。以下、第１および第２実施形態と異なる構成を中心に説明する。
【００７６】
図１２は本実施形態における撮像装置の画素配列を示している。図１２において、着目画素Ｃ３３を中心に５行５列の画素が示されている。撮像装置２においては、同様の画素配列が繰り返し配置されているものとする。図１２（ａ）の画素配列は、色画素Ｃ１１、Ｃ１３、・・・、Ｃ５５、Ｗ画素Ｗ１２、Ｗ１４・・・、Ｗ５４を有している。それぞれの色画素は８個のＷ画素に囲まれており、色画素の数とＷ画素の数との比は１：３となっている。Ｗ画素は色画素に比べて輝度に対して鋭敏に知覚される画素であって、画素の輝度分布の方向性を判定するために用いられる。色画素は色情報を取得するための画素であり、加法混色の原色であるＲＧＢ画素、あるいは減法混色の原色であるＣｙＭｇＹｅ画素である。
【００７７】
図１２（ｂ）の画素配列は、色画素Ｃ１１、Ｃ１３、・・・、Ｃ５５、Ｇ画素Ｇ１２、Ｇ１４、・・・、Ｇ５４を有している。また、図１２（ｃ）の画素配列は色画素Ｃ１１、Ｃ１３、・・・、Ｃ５５、Ｙｅ画素Ｙｅ１２、Ｙｅ１４、・・・、Ｙｅ５４を有している。Ｇ画素、Ｙｅ画素は色画素Ｃに比べて輝度に対して鋭敏に知覚される画素であり、輝度情報を多く含む。これらの画素配列においても、それぞれの色画素は８個のＧ画素またはＹｅ画素に囲まれており、色画素の数とＧ画素またはＹｅ画素の数との比は１：３となっている。
【００７８】
図１１は本実施形態における撮像システムの画像処理方法のフローチャートを示している。以下の説明において、本実施形態における撮像装置２は図１２（ａ）の画素配列を有するものとするが、他の画素配列を用いても良い。
【００７９】
ステップＳ１１００〜Ｓ１１０４までの処理は、第１の実施形態における撮像システムの処理（ステップＳ９００〜Ｓ９０４）と同様であるため、その説明を省略する。信号処理部３は、着目画素Ｃ３３の周囲のＷ画素において、輝度振幅が被写体の画像あるいはノイズのいずれに起因するかを判定する。ステップＳ１１０５において、信号処理部３は、着目画素Ｃ３３の周囲のＷ画素の値Ｗｉ、Ｗｊを取得する。ここで、ｉ、ｊは、着目画素の周囲における互いに異なる位置を示している。そして、信号処理部３は、着目画素Ｃ３３を挟んで対向する２個のＷ画素の値の差分（輝度値差）の絶対値｜Ｗｉ−Ｗｊ｜を演算する。例えば、対となる画素は、（Ｗ３２、Ｗ３４）、（Ｗ２３、Ｗ４３）、（Ｗ２２、Ｗ４４）、（Ｗ２４、Ｗ４２）の４組である。信号処理部３は、次式に従い、これら４組の輝度値差の絶対値｜Ｗｉ−Ｗｊ｜を方向性判定のための相関値ＤＲ、ＤＵ、ＤＬＵ、ＤＲＵにそれぞれ割り当てる（ステップＳ１１０６）。ここで、相関値ＤＲは左右（横）の方向性を表し、相関値ＤＵは上下（縦）の方向性を表す。相関値ＤＬＵは左上と右下との斜めの方向性を表し、相関値ＤＲＵは右上と左下との斜めの方向性を表す。
【数１２】
0006758859.tif 000013
【００８０】
なお、相関値の算出に用いられる１対のＷ画素は、着目画素Ｃ３３の周囲に位置するとともに、当該相関値に関連づけられた方向に位置していれば良い。１対のＷ画素は着目画素Ｃ３３に必ずしも隣接していなくても良く、着目画素Ｃ３３から離間して配置されていても良い。例えば、横方向の相関値ＤＲの算出のための１対のＷ画素は、着目画素Ｃ３３に対して左上に位置するとともに互いに隣接した画素Ｗ２２、Ｗ２１、着目画素Ｃ３３から離間した位置にある画素Ｗ１２、Ｗ１４であっても良い。相関値の算出のために組み合わせが可能なＷ画素を次式に示す。
【数１３】
0006758859.tif 000014
【００８１】
次に、信号処理部３は、相関値ＤＲ、ＤＵ、ＤＬＵ、ＤＲＵから最小値と最大値を抽出する（ステップＳ１１０７）。ここで、最小値をＤｍｉｎ、最大値をＤｍａｘとする。最小値Ｄｍｉｎを有する相関値に関連付けられた方向の１対のＷ画素は、他の相関値に関連付けられた方向の１対のＷ画素と比較して、互いに近似した画素値（輝度値）を有している。従って、着目画素Ｃ３３の値は、最小値Ｄｍｉｎを有する相関値に関連付けられた方向の画素値と相関を有している。すなわち、最小値Ｄｍｉｎを有する相関値によって表された方向は、画素の値の勾配（変化）が小さい方向であると推定し得る。例えば、相関値ＤＲが最小値Ｄｍｉｎを有する場合、横方向に位置する複数のＷ画素の値の変化は小さく、画像のエッジ等の輝度分布が横方向であると推定し得る。
【００８２】
推定された方向に基づく補間処理は、他の方向の２個のＷ画素の相関値、特に相関値の最大値Ｄｍａｘが、最小値Ｄｍｉｎにノイズ輝度振幅分を加算した値より大きいことを前提としている。このため、信号処理部３は、方向性の判定結果を補間処理において用いるか否かを判定している（ステップＳ１１０８〜Ｓ１１０９）。まず、ステップＳ１１０８において、信号処理部３は、次式に従い、相関値の最小値Ｄｍｉｎにノイズ強度ＲＮを加算し、閾値ＴｈＲＮを求める。
【数１４】
0006758859.tif 000015
【００８３】
次に、ステップＳ１１０９において、信号処理部３は、相関値の最大値Ｄｍａｘと閾値ＴｈＲＮとを比較して、方向性の判定結果を補間処理において用いるか否かを判定している。相関値の最大値Ｄｍａｘが閾値ＴｈＲＮより大きい場合、すなわちＤｍａｘ＞ＴｈＲＮである場合（ステップＳ１１０９でＹＥＳ）、着目画素の周囲に位置するＷ画素の輝度振幅は被写体の画像に由来するとみなし得る。この場合、信号処理部３は、最小値Ｄｍｉｎを有する相関値に関連付けられた方向のＷ画素の値に基づき、着目画素の補間値を演算する（ステップＳ１１００）。例えば、横方向の相関値ＤＲが最小値をＤｍｉｎを有する場合には、信号処理部３は着目画素Ｃ３３に対して横方向に位置する２個の画素Ｗ３２、Ｗ３４の補間値を着目画素Ｃ３３の値とすることができる。
【００８４】
一方、相関値での最大値Ｄｍａｘが閾値ＴｈＲＮと等しいあるいは小さい場合（Ｄｍａｘ≦ＴｈＲＮ）、着目画素の周囲に位置するＷ画素の輝度振幅が被写体の画像あるいはノイズのいずれに起因するのかを区別が出来ない。この場合（ステップＳ１１０９でＮＯ）、信号処理部３は、着目画素の周囲に位置するＷ画素の平均輝度ＷＡＶＧを、着目画素におけるＷ画素相当の画素値（輝度）とみなして補間処理を行う。
【００８５】
以上述べたように、本実施形態によれば、着目する色画素の周囲に位置するＷ画素の輝度振幅（勾配）が被写体の画像あるいはノイズのいずれに起因するかを判定することができる。画像のエッジ部分の抽出を行うとともに、エッジ部分抽出の誤判定を抑制できるため偽パターンの生成を回避することができる。従って、画像データの像品位を高めることが可能となる。
【００８６】
（第４の実施形態）
本実施形態の撮像システムについて、第１実施形態と異なる構成を中心に説明する。図１３は本実施形態における方向性判定処理を説明するための図である。本実施形態の信号処理部３は、方向性を判定する画素までの距離に応じた重みづけを行って差分和を求める。
【００８７】
図１３（ａ）は、ＲＧＢＷ１２の画素配列において、座標（３，３）の着目画素から、差分を算出する２個のＷ画素までの距離を示す図である。ここで、着目画素の重心から、差分を算出する２個のＷ画素の重心までの距離を、単演算距離と定義する。画素の重心は、例えば、画素部２０の半導体基板上の１つの画素に対応して設けられた１つのマイクロレンズの重心であり得る。また、光電変換素子ＰＤを１つのみ有する画素においては、画素の重心を光電変換素子ＰＤの重心とすることができる。２個の画素の重心は、それぞれ画素の重心を結ぶ直線の中点となる。また、画素のピッチを２と仮定し、単演算距離を以下のように算出する。
【００８８】
図１３（ａ）において、縦方向の差分｜Ｗ（２，２）−Ｗ（２，３）｜とＢ（３，３）との単演算距離１３１は√３となる。また、縦方向の差分｜Ｗ（２，１）−Ｗ（２，２）｜とＢ（３，３）との単演算距離１３２は、画素のピッチを２とすると、√１３である。また、斜め方向の差分｜Ｗ（３，２）−Ｗ（４，３）｜とＢ（３，３）との単演算距離１３３は√２となる。また、斜め方向の差分｜Ｗ（４，３）−Ｗ（５，４）｜とＢ（３，３）との単演算距離１３４は√１０となる。
【００８９】
このようにして算出された単演算距離と、差分の重み付け係数とを乗算し、乗算結果の総和を演算距離と定義する。たとえば、第１実施形態に縦方向の差分の重み付け係数を２とすると、演算距離（縦）は以下のように計算される。
演算距離（縦）＝２×√３＋２×√３＋２×√３＋２×√３＝８√３
【００９０】
同様に、他の方向の演算距離は以下のように計算される。
演算距離（横）＝８√３
演算距離（右斜め）＝４√２＋４√１０
演算距離（左斜め）＝４√２＋４√１０
【００９１】
上述の例において、縦横方向の演算距離は約１３．８、斜め方向の演算距離は約１８．３であり、２つの演算距離の比は約１．３となる。それぞれの方向の演算距離が異なるということは、空間的な方向性の判定がそれぞれの方向によって異なることを意味する。差分和演算距離がそれぞれの方向で異なると、方向性を判定する際にエラーが生じ得る。このため、それぞれの方向における演算距離が同等であることが好ましく、演算距離の最大値と最小値の比が２以下であると好ましい。
【００９２】
本実施形態では、図１３（ｂ）、図１３（ｃ）、図１３（ｄ）、図１３（ｅ）の矢印で示す隣接画素において差分を取得し、それぞれの差分に以下の重み付け係数を乗じた差分和を得る。それぞれの方向における差分和は以下のように求められる。
差分和（横）＝｜Ｗ（１，２）−Ｗ（２，２）｜
＋｜Ｗ（２，２）−Ｗ（３，２）｜×３
＋｜Ｗ（３，２）−Ｗ（４，２）｜×３
＋｜Ｗ（４，２）−Ｗ（５，２）｜
＋｜Ｗ（１，４）−Ｗ（２，４）｜
＋｜Ｗ（２，４）−Ｗ（３，４）｜×３
＋｜Ｗ（３，４）−Ｗ（４，４）｜×３
＋｜Ｗ（４，４）−Ｗ（５，４）｜
差分和（縦）＝｜Ｗ（２，１）−Ｗ（２，２）｜
＋｜Ｗ（２，２）−Ｗ（２，３）｜×３
＋｜Ｗ（２，３）−Ｗ（２，４）｜×３
＋｜Ｗ（２，４）−Ｗ（２，５）｜
＋｜Ｗ（４，１）−Ｗ（４，２）｜
＋｜Ｗ（４，２）−Ｗ（４，３）｜×３
＋｜Ｗ（４，３）−Ｗ（４，４）｜×３
＋｜Ｗ（４，４）−Ｗ（４，５）｜
差分和（左斜）＝｜Ｗ（１，２）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，５）｜×２
＋｜Ｗ（２，１）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，４）｜×２
差分和（右斜）＝｜Ｗ（１，４）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，１）｜×２
＋｜Ｗ（２，５）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，２）｜×２
【００９３】
上述の差分和において、それぞれの方向の演算距離は以下のようになる。
演算距離（横）＝４√１３＋１２√３
演算距離（縦）＝４√１３＋１２√３
演算距離（左斜）＝８√１０＋８√２
演算距離（右斜）＝８√１０＋８√２
【００９４】
縦横方向の演算距離は約３５．２、斜め方向の演算距離は約３６．６であり、その比は
約１．０４である。本実施形態によれば、それぞれの方向に演算距離を同等にすることができ、輝度分布の方向性をより正確に判定することができる。また、本実施形態においても、輝度分布が被写体の画像またはノイズのいずれに起因するかを判定することにより、方向性の誤判定による偽パターンの生成を回避することができる。
【００９５】
（他の実施形態）
以上、本発明に係る撮像装置を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜修正および変形することを妨げるものではない。例えば、上述の第１〜第４実施形態の構成を組み合わせることも可能である。また、撮像システムは必ずしも撮像装置を備えなくても良く、撮像装置から出力された画像信号を処理するコンピュータなどの画像処理装置であっても良い。この場合、撮像装置は画素信号からのＲＡＷデータを入力し、上述の処理を実行することができる。また、撮像装置が信号処理部を備えることにより、撮像装置が上述の処理を実行しても良い。
【符号の説明】
【００９６】
１  撮像システム
２  撮像装置
３  信号処理部
２０  画素部
３３  方向性判定部
３４  相関値算出部
３５  補間処理部
３７  画像処理部
【図１】
0006758859.tif 000016
【図２】
0006758859.tif 000017
【図３】
0006758859.tif 000018
【図４Ａ】
0006758859.tif 000019
【図４Ｂ】
0006758859.tif 000020
【図４Ｃ】
0006758859.tif 000021
【図５Ａ】
0006758859.tif 000022
【図５Ｂ】
0006758859.tif 000023
【図５Ｃ】
0006758859.tif 000024
【図５Ｄ】
0006758859.tif 000025
【図６】
0006758859.tif 000026
【図７】
0006758859.tif 000027
【図８】
0006758859.tif 000028
【図９】
0006758859.tif 000029
【図１０】
0006758859.tif 000030
【図１１】
0006758859.tif 000031
【図１２】
0006758859.tif 000032
【図１３】
0006758859.tif 000033