(57)【特許請求の範囲】
【請求項１】
第１の感度で色成分を取得する固体撮像素子と、該第１の感度よりも高い第２の感度で色成分を取得する固体撮像素子と、が２次元的に配されたイメージセンサが搭載された撮像装置であって、
注目画素の前記第１の感度の色成分を、該注目画素の周囲の第１の画素における前記第１の感度で取得した第１の色成分と該注目画素の周囲の第２の画素における前記第１の感度で取得した第２の色成分とを用いた補間計算を行うことで求める第１の計算手段と、
前記注目画素の前記第２の感度の色成分を、該注目画素の周囲の第３の画素における前記第２の感度で取得した第３の色成分と該注目画素の周囲の第４の画素における前記第２の感度で取得した第４の色成分とを用いた補間計算を行うことで求める第２の計算手段と、
前記第１の計算手段と前記第２の計算手段とによって全ての画素の色成分が確定したカラー画像を出力する手段と、
前記注目画素における前記第１の感度で取得した色成分が飽和しているか否かを判断する判断手段と、
前記判断手段により、前記注目画素における前記第１の感度で取得した色成分が飽和していると判断された場合、前記注目画素における前記第１の感度の色成分を、前記第２の感度の色成分から求める第３の計算手段と
を備え、
前記第１の感度で色成分を取得する固体撮像素子は、第１の明るさでＲ成分を取得する固体撮像素子ＤＲと、前記第１の明るさでＧ成分を取得する固体撮像素子ＤＧと、前記第１の明るさでＢ成分を取得する固体撮像素子ＤＢと、からなり、
前記第２の感度で色成分を取得する固体撮像素子は、前記第１の明るさよりも明るい第２の明るさでＲ成分を取得する固体撮像素子ＬＲと、前記第２の明るさでＧ成分を取得する固体撮像素子ＬＧと、前記第２の明るさでＢ成分を取得する固体撮像素子ＬＢと、からなり、
前記イメージセンサには、
前記固体撮像素子ＤＧと前記固体撮像素子ＬＧとから成る固体撮像素子列が１列おきに配されており、
前記固体撮像素子ＤＲ、前記固体撮像素子ＤＧ、前記固体撮像素子ＤＢ、の数の比は１：２：１であり、前記固体撮像素子ＬＲ、前記固体撮像素子ＬＧ、前記固体撮像素子ＬＢの数の比は１：２：１であり、
前記第１の計算手段は、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算手段は、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
ことを特徴とする撮像装置。
【請求項２】
前記第１の計算手段は、
前記固体撮像素子ＬＲにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＬＲにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＬＲにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＬＲにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算手段は、
前記固体撮像素子ＬＲにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の前記カラー画像上における画素値とし、
前記固体撮像素子ＬＲにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＬＲにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の計算手段は、
前記固体撮像素子ＬＢにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＬＢにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＬＢにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＬＢにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算手段は、
前記固体撮像素子ＬＢにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＬＢにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＬＢにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＬＢにより取得された画素の前記カラー画像上における画素値とする
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の計算手段は、
前記固体撮像素子ＬＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＬＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算手段は、
前記固体撮像素子ＬＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＬＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記第１の計算手段は、
前記固体撮像素子ＤＲにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＲにより取得された画素の前記カラー画像上における画素値とし、
前記固体撮像素子ＤＲにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＲにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算手段は、
前記固体撮像素子ＤＲにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＲにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＲにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＲにより取得された画素の前記カラー画像上における画素値とする
ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記第１の計算手段は、
前記固体撮像素子ＤＢにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＢにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＢにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＢにより取得された画素の前記カラー画像上における画素値とし、
前記第２の計算手段は、
前記固体撮像素子ＤＢにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＢにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＢにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＢにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
ことを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
第１の感度で色成分を取得する固体撮像素子と、該第１の感度よりも高い第２の感度で色成分を取得する固体撮像素子と、が２次元的に配されたイメージセンサが搭載された撮像装置の制御方法であって、
前記撮像装置の第１の計算手段が、注目画素の前記第１の感度の色成分を、該注目画素の周囲の第１の画素における前記第１の感度で取得した第１の色成分と該注目画素の周囲の第２の画素における前記第１の感度で取得した第２の色成分とを用いた補間計算を行うことで求める第１の計算工程と、
前記撮像装置の第２の計算手段が、前記注目画素の前記第２の感度の色成分を、該注目画素の周囲の第３の画素における前記第２の感度で取得した第３の色成分と該注目画素の周囲の第４の画素における前記第２の感度で取得した第４の色成分とを用いた補間計算を行うことで求める第２の計算工程と、
前記撮像装置の出力手段が、前記第１の計算工程と前記第２の計算工程とによって全ての画素の色成分が確定したカラー画像を出力する工程と、
前記撮像装置の判断手段が、前記注目画素における前記第１の感度で取得した色成分が飽和しているか否かを判断する判断工程と、
前記撮像装置の第３の計算手段が、前記判断工程で、前記注目画素における前記第１の感度で取得した色成分が飽和していると判断された場合、前記注目画素における前記第１の感度の色成分を、前記第２の感度の色成分から求める第３の計算工程と
を備え、
前記第１の感度で色成分を取得する固体撮像素子は、第１の明るさでＲ成分を取得する固体撮像素子ＤＲと、前記第１の明るさでＧ成分を取得する固体撮像素子ＤＧと、前記第１の明るさでＢ成分を取得する固体撮像素子ＤＢと、からなり、
前記第２の感度で色成分を取得する固体撮像素子は、前記第１の明るさよりも明るい第２の明るさでＲ成分を取得する固体撮像素子ＬＲと、前記第２の明るさでＧ成分を取得する固体撮像素子ＬＧと、前記第２の明るさでＢ成分を取得する固体撮像素子ＬＢと、からなり、
前記イメージセンサには、
前記固体撮像素子ＤＧと前記固体撮像素子ＬＧとから成る固体撮像素子列が１列おきに配されており、
前記固体撮像素子ＤＲ、前記固体撮像素子ＤＧ、前記固体撮像素子ＤＢ、の数の比は１：２：１であり、前記固体撮像素子ＬＲ、前記固体撮像素子ＬＧ、前記固体撮像素子ＬＢの数の比は１：２：１であり、
前記第１の計算工程では、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算工程では、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板式ＨＤＲ撮像技術に関するものである。
【背景技術】
【０００２】
隣接した画素同士で感度を異ならせ、感度の高い画素の信号と感度の低い画素の信号とを合成することで、ダイナミックレンジを拡大することができる。例えば、特許文献１には、明ＲＧＢＷ暗ｒｇｂｗ全色が全ての行および全ての列に配置された色フィルタ配列が開示されている。また、特許文献２には、ＲＧＢ行とＷ行とが交互に配置されたセンサが開示されている。
【０００３】
しかしながら、特許文献１に開示の技術では、全画素を同一比率で持っているため、例えば、Ｇ（緑）のサンプリング間隔は２ピクセルに１つとなり、通常のbayer配列と比べると、解像度が半分になってしまう。また、高感度画素のＧが飽和した場合、Ｇのサンプリング間隔は４ピクセルに１つとなり、bayer配列と比べて４分の１になってしまう。
【０００４】
また、特許文献２に開示の技術では、低感度画素については輝度情報のみであり、高輝度側のカラー情報を保持することができない。また、縦方向の解像度が半分に低下してしまう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2006-253876号公報
【特許文献２】特開2007−258686号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のように、感度の異なる画素を同一センサ上に配置する場合、解像度の低下が避けられない。また、高感度の画素が飽和した場合には、さらに解像度が低下する。
【０００７】
本発明は以上の問題に鑑みてなされたものであり、感度の異なる固体撮像素子を配したイメージセンサを用いても、撮像画像の解像度低下を抑制する為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。即ち、第１の感度で色成分を取得する固体撮像素子と、該第１の感度よりも高い第２の感度で色成分を取得する固体撮像素子と、が２次元的に配されたイメージセンサが搭載された撮像装置であって、
注目画素の前記第１の感度の色成分を、該注目画素の周囲の第１の画素における前記第１の感度で取得した第１の色成分と該注目画素の周囲の第２の画素における前記第１の感度で取得した第２の色成分とを用いた補間計算を行うことで求める第１の計算手段と、
前記注目画素の前記第２の感度の色成分を、該注目画素の周囲の第３の画素における前記第２の感度で取得した第３の色成分と該注目画素の周囲の第４の画素における前記第２の感度で取得した第４の色成分とを用いた補間計算を行うことで求める第２の計算手段と、
前記第１の計算手段と前記第２の計算手段とによって全ての画素の色成分が確定したカラー画像を出力する手段と、
前記注目画素における前記第１の感度で取得した色成分が飽和しているか否かを判断する判断手段と、
前記判断手段により、前記注目画素における前記第１の感度で取得した色成分が飽和していると判断された場合、前記注目画素における前記第１の感度の色成分を、前記第２の感度の色成分から求める第３の計算手段と
を備え、
前記第１の感度で色成分を取得する固体撮像素子は、第１の明るさでＲ成分を取得する固体撮像素子ＤＲと、前記第１の明るさでＧ成分を取得する固体撮像素子ＤＧと、前記第１の明るさでＢ成分を取得する固体撮像素子ＤＢと、からなり、
前記第２の感度で色成分を取得する固体撮像素子は、前記第１の明るさよりも明るい第２の明るさでＲ成分を取得する固体撮像素子ＬＲと、前記第２の明るさでＧ成分を取得する固体撮像素子ＬＧと、前記第２の明るさでＢ成分を取得する固体撮像素子ＬＢと、からなり、
前記イメージセンサには、
前記固体撮像素子ＤＧと前記固体撮像素子ＬＧとから成る固体撮像素子列が１列おきに配されており、
前記固体撮像素子ＤＲ、前記固体撮像素子ＤＧ、前記固体撮像素子ＤＢ、の数の比は１：２：１であり、前記固体撮像素子ＬＲ、前記固体撮像素子ＬＧ、前記固体撮像素子ＬＢの数の比は１：２：１であり、
前記第１の計算手段は、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算手段は、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
ことを特徴とする。
【発明の効果】
【０００９】
本発明の構成によれば、感度の異なる固体撮像素子を配したイメージセンサを用いても、撮像画像の解像度低下を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置の機能構成例を示すブロック図。
【図２】イメージセンサ１０３上の固体撮像素子の配置例を示す図。
【図３】各画素のＤＧ値を求める処理のフローチャート。
【図４】各画素のＤＲ値、ＲＢ値を求める処理のフローチャート。
【図５】第２の実施形態に係るデモザイク部１０９の構成例を示すブロック図。
【図６】各画素のＤＧ値を求める処理のフローチャート。
【図７】第１補間部５０２が行う処理のフローチャート。
【図８】各画素のＤＧ値を求める処理のフローチャート。
【図９】イメージセンサ１０３上の固体撮像素子の配置例を示す図。
【図１０】カラー画像を構成する各画素のＤＲ，ＤＢ値を求める為の処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１２】
［第１の実施形態］
先ず、本実施形態に係る撮像装置の機能構成例について、図１のブロック図を用いて説明する。被写体９０が存在する外界の光は、光学系１０１を介してイメージセンサ１０３に入光するので、イメージセンサ１０３には、この入光した光に応じた電荷が蓄積される。イメージセンサ１０３は、この蓄積した電荷に応じたアナログ画像信号を、後段のＡ／Ｄ変換部１０４に対して出力する。
【００１３】
Ａ／Ｄ変換部１０４は、イメージセンサ１０３から入力されたアナログ画像信号をディジタル画像信号に変換し、変換したディジタル画像信号を、後段の信号処理部１０５及びメディアＩ／Ｆ１０７に対して出力する。
【００１４】
信号処理部１０５は、Ａ／Ｄ変換部１０４から入力されたディジタル画像信号が示すカラー画像に対して、後述の様々な画像処理を施す。そして信号処理部１０５は、この画像処理済みのカラー画像を、後段の表示部１０６及びメディアＩ／Ｆ１０７に対して出力する。
【００１５】
次に、イメージセンサ１０３について説明する。イメージセンサ１０３には図２に示す如く、第１の感度でＲ成分を撮像する為の固体撮像素子ＤＲ、第１の感度でＧ成分を撮像する為の固体撮像素子ＤＧ、第１の感度でＢ成分を撮像する為の固体撮像素子ＤＢが２次元的に配されている。ここで、「ＤＲ」は暗い赤（第１の明るさの赤）、「ＤＧ」は暗い緑（第１の明るさの緑）、「ＤＢ」は暗い青（第１の明るさの青）を示している。更にイメージセンサ１０３には、第１の感度よりも高い第２の感度でＲ成分を撮像するための固体撮像素子ＬＲ、第２の感度でＧ成分を撮像するための固体撮像素子ＬＧ、第２の感度でＢ成分を撮像するための固体撮像素子ＬＢが２次元的に配されている。ここで「ＬＲ」は明るい赤（第１の明るさよりも明るい第２の明るさの赤）、「ＬＧ」は明るい緑（第２の明るさの緑）、「ＬＢ」は明るい青（第２の明るさの青）を示している。
【００１６】
ここで、イメージセンサ１０３上に配されているこれらの固体撮像素子の配置パターンについてより詳細に説明する。イメージセンサ１０３には図２に示す如く、固体撮像素子ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢから成る４×４の２次元固体撮像素子配列が重複することなく繰り返し配置されている。更に、１つの２次元固体撮像素子配列中の固体撮像素子ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢのそれぞれの数については、固体撮像素子ＤＲ、ＤＧ、ＤＢのそれぞれの数の比は１：２：１となっている。また、固体撮像素子ＬＲ、ＬＧ、ＬＢのそれぞれの数の比は１：２：１となっている。更に、固体撮像素子ＤＧと固体撮像素子ＬＧとから成る固体撮像素子列（固体撮像素子行でも良い）が１列（行）おきにイメージセンサ１０３上に配されている。なお、固体撮像素子ＬＲと固体撮像素子ＬＢとはその配置位置は入れ替え可能であり、同様に、固体撮像素子ＤＲと固体撮像素子ＤＢとはその配置位置は入れ替え可能である。
【００１７】
このように、本実施形態に係る撮像装置には、第１の感度で色成分を撮像するための固体撮像素子と、第１の感度よりも高い第２の感度で色成分を撮像する為の固体撮像素子と、が交互に２次元的に配されたイメージセンサが搭載されている。
【００１８】
次に、信号処理部１０５について説明する。カメラ制御部１０８は、ＡＥ／ＡＦ／ＡＷＢ制御を行う。デモザイク部１０９は、Ａ／Ｄ変換部１０４から入力されたディジタル画像信号が示すカラー画像について、第１の感度で撮像された画素に対する補間処理、第２の感度で撮像された画素に対する補間処理を行うことで、ＨＤＲ画像を生成する。
【００１９】
色処理部１１１は、このＨＤＲ画像に対して、カラーバランス処理、γ処理、シャープネス処理、ノイズリダクション処理等の様々な色処理を行う。そして色処理部１１１は、この様々な色処理を施したＨＤＲ画像を、後段の表示部１０６及びメディアＩ／Ｆ１０７に対して出力する。
【００２０】
次に、カラー画像中の各画素のＤＧ値を求めるためにデモザイク部１０９が行う処理について、同処理のフローチャートを示す図３を用いて説明する。なお、カラー画像を構成する各画素のＤＧ値を求めるためにデモザイク部１０９が行う処理は、図３のフローチャートにおいて「ＤＧ」を「ＬＧ」と読み替えた処理となる。
【００２１】
ステップＳ３０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。ここで変数ｉはカラー画像上のｘ座標値を示し、変数ｊはカラー画像上のｙ座標値を示すものとする。そしてカラー画像上の左上隅の位置を原点（ｉ、ｊ）＝（０，０）とする。もちろん、カラー画像上の座標系の設定についてはこれに限るものではない。
【００２２】
ステップＳ３０２ではデモザイク部１０９は、図２に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。
【００２３】
ステップＳ３０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。これは、カラー画像上の画素位置（ｉ、ｊ）における画素が、固体撮像素子ＤＧによって撮像されたか否かを判断していることになる。係る判断は、イメージセンサ１０３上の左上隅の位置を原点とした時に、イメージセンサ１０３上の位置（ｉ、ｊ）における固体撮像素子が固体撮像素子ＤＧであるか否かを判断すればよい。
【００２４】
ステップＳ３０３における判断の結果、固体撮像素子ＤＧであると判断した場合には処理はステップＳ３０９に進み、固体撮像素子ＤＧではないと判断した場合には処理はステップＳ３０４に進む。
【００２５】
ステップＳ３０４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ−１）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００２６】
ステップＳ３０４における判断の結果、固体撮像素子ＤＧであると判断した場合には、処理はステップＳ３０５に進み、固体撮像素子ＤＧではないと判断した場合には、処理はステップＳ３１０に進む。
【００２７】
ステップＳ３０５ではデモザイク部１０９は、以下の式１を計算する。これにより、画素位置（ｉ、ｊ）における画素を挟んで左上から右下方向へ並ぶ５つの画素に対する変動評価値ｄｅｆｆ１、画素位置（ｉ、ｊ）における画素を挟んで右上から左下方向へ並ぶ５つの画素に対する変動評価値ｄｅｆｆ２を求める。ここで、Ｐ（ｉ、ｊ）は、カラー画像上の画素位置（ｉ、ｊ）における画素値を示している。
【００２８】
【数１】
0005503522.tif 000002
【００２９】
ステップＳ３０６ではデモザイク部１０９は、ｄｅｆｆ１とｄｅｆｆ２との大小比較を行う。この大小比較の結果、ｄｅｆｆ１＜ｄｅｆｆ２の場合には、処理はステップＳ３０７に進み、ｄｅｆｆ１≧ｄｅｆｆ２の場合には、処理はステップＳ３０８に進む。
【００３０】
ステップＳ３０７ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式２を計算する。
【００３１】
【数２】
0005503522.tif 000003
【００３２】
この補間処理は要は、一次元のローパスフィルタ処理であって、この式２中に登場する、各画素値に対する係数値はフィルタ係数に相当する。一方、ステップＳ３０８ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式３を計算する。
【００３３】
【数３】
0005503522.tif 000004
【００３４】
ステップＳ３０９ではデモザイク部１０９は、ＤＧ（ｉ、ｊ）に画素値Ｐ（ｉ、ｊ）を代入する。そしてステップＳ３１０ではデモザイク部１０９は変数ｉの値がpel（カラー画像のｘ方向の総画素数）−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ３１１に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ３０３以降の処理を繰り返す。
【００３５】
ステップＳ３１１ではデモザイク部１０９は、変数ｊの値がline（カラー画像のｙ方向の総画素数）−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には処理はステップＳ３１２に進み、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ３０３以降の処理を繰り返す。
【００３６】
ステップＳ３１２ではデモザイク部１０９は、変数ｉ、ｊを共に０に初期化する。ステップＳ３１３でデモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）若しくは画素位置（ｉ、ｊ−１）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００３７】
ステップＳ３１３における判断の結果、固体撮像素子ＤＧであると判断した場合には処理はステップＳ３１４に進み、固体撮像素子ＤＧではないと判断した場合には処理はステップＳ３１８に進む。
【００３８】
ステップＳ３１４ではデモザイク部１０９は以下の式４を計算し、画素位置（ｉ、ｊ）の画素Ｑに隣接する上下（ｙ方向）の画素に対する変動評価値ｄｅｆｆ３、画素Ｑに隣接する左右（ｘ方向）の画素に対する変動評価値ｄｅｆｆ４を求める。
【００３９】
【数４】
0005503522.tif 000005
【００４０】
ステップＳ３１５ではデモザイク部１０９は、ｄｅｆｆ３とｄｅｆｆ４との大小比較を行う。この大小比較の結果、ｄｅｆｆ３＜ｄｅｆｆ４の場合には、処理はステップＳ３１６に進み、ｄｅｆｆ３≧ｄｅｆｆ４の場合には、処理はステップＳ３１７に進む。
【００４１】
ステップＳ３１６ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式５を計算する。
【００４２】
【数５】
0005503522.tif 000006
【００４３】
一方、ステップＳ３１７ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式６を計算する。
【００４４】
【数６】
0005503522.tif 000007
【００４５】
そしてステップＳ３１８ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ３１９に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ３１３以降の処理を繰り返す。
【００４６】
ステップＳ３１９ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了し、図４のフローチャートに従った処理に移行する。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ３１３以降の処理を繰り返す。
【００４７】
次に、カラー画像を構成する各画素のＤＲ値、ＲＢ値を求めるためにデモザイク部１０９が行う処理について、同処理のフローチャートを示す図４を用いて説明する。なお、カラー画像を構成する各画素のＬＲ値、ＬＢ値を求めるためにデモザイク部１０９が行う処理は、図４のフローチャートにおいて「ＤＲ」を「ＬＲ」と読み替え、「ＤＢ」を「ＬＢ」と読み替えた処理となる。また、図４のフローチャートに従った処理は、図３のフローチャートに従った処理（ＤＧ、ＬＧについての処理）の後に行うものである。
【００４８】
先ずステップＳ４０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。
【００４９】
ステップＳ４０２ではデモザイク部１０９は、図２に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。
【００５０】
ステップＳ４０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、上位ステップＳ３０３と同様にして行う。
【００５１】
ステップＳ４０３における判断の結果、固体撮像素子ＤＧであると判断した場合には処理はステップＳ４０４に進み、固体撮像素子ＤＧではないと判断した場合には処理はステップＳ４０７に進む。
【００５２】
ステップＳ４０４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００５３】
ステップＳ４０４における判断の結果、固体撮像素子ＬＢであると判断した場合には処理はステップＳ４０５に進み、固体撮像素子ＬＢではないと判断した場合には処理はステップＳ４０６に進む。
【００５４】
ステップＳ４０５では、デモザイク部１０９は、式７に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ値を示すＤＲ（ｉ、ｊ）、ＤＢ値を示すＤＢ（ｉ、ｊ）、ＬＲ値を示すＬＲ（ｉ、ｊ）、ＬＢ値を示すＬＢ（ｉ、ｊ）を、求めることができる。
【００５５】
【数７】
0005503522.tif 000008
【００５６】
ステップＳ４０６では、デモザイク部１０９は、式８に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。
【００５７】
【数８】
0005503522.tif 000009
【００５８】
ステップＳ４０７では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＲであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００５９】
ステップＳ４０７における判断の結果、固体撮像素子ＬＲであると判断した場合には処理はステップＳ４０８に進み、固体撮像素子ＬＲではないと判断した場合には処理はステップＳ４０９に進む。
【００６０】
ステップＳ４０８では、デモザイク部１０９は、式９に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。
【００６１】
【数９】
0005503522.tif 000010
【００６２】
ステップＳ４０９では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００６３】
ステップＳ４０９における判断の結果、固体撮像素子ＬＢであると判断した場合には処理はステップＳ４１０に進み、固体撮像素子ＬＢではないと判断した場合には処理はステップＳ４１１に進む。
【００６４】
ステップＳ４１０では、デモザイク部１０９は、式１０に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。
【００６５】
【数１０】
0005503522.tif 000011
【００６６】
ステップＳ４１１では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００６７】
ステップＳ４１１における判断の結果、固体撮像素子ＬＧであると判断した場合には処理はステップＳ４１２に進み、固体撮像素子ＬＧではないと判断した場合には処理はステップＳ４１５に進む。
【００６８】
ステップＳ４１２では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００６９】
ステップＳ４１２における判断の結果、固体撮像素子ＤＲであると判断した場合には処理はステップＳ４１３に進み、固体撮像素子ＤＲではないと判断した場合には処理はステップＳ４１４に進む。
【００７０】
ステップＳ４１３では、デモザイク部１０９は、式１１に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。
【００７１】
【数１１】
0005503522.tif 000012
【００７２】
一方、ステップＳ４１４では、デモザイク部１０９は、式１２に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。
【００７３】
【数１２】
0005503522.tif 000013
【００７４】
ステップＳ４１５では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。
【００７５】
ステップＳ４１５における判断の結果、固体撮像素子ＤＲであると判断した場合には処理はステップＳ４１６に進み、固体撮像素子ＤＲではないと判断した場合、即ち固体撮像素子ＤＢであると判断した場合には処理はステップＳ４１７に進む。
【００７６】
ステップＳ４１６では、デモザイク部１０９は、式１３に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。
【００７７】
【数１３】
0005503522.tif 000014
【００７８】
一方、ステップＳ４１７では、デモザイク部１０９は、式１４に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。
【００７９】
【数１４】
0005503522.tif 000015
【００８０】
そしてステップＳ４１８ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ４１９に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ４０３以降の処理を繰り返す。
【００８１】
ステップＳ４１９ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了する。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ４０３以降の処理を繰り返す。
【００８２】
このように、以上説明した図３，４のフローチャートに従った処理を行うことで、カラー画像を構成する各画素に対する色成分（ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢ）が確定することになる。そして本実施形態ではこの確定処理を、次のような計算処理で実現することを特徴としている。即ち、第１の感度で撮像された画素の色成分は、この画素の周囲の第１の感度で撮像された画素の色成分を用いた補間計算（第１の計算）で求める。そして、第２の感度で撮像された画素の色成分は、この画素の周囲の第２の感度で撮像された画素の色成分を用いた補間計算（第２の計算）で求める。
【００８３】
このように、本実施形態によれば、感度の異なる画素を同一センサ上に配置する場合であっても、最も解像度の高い色フィルタと多色の相関を利用して補間することにより、サンプリングできない部分の解像度を一部復元することができる。また、一つの感度画素からのみデモザイクするため、飽和不飽和に関わらず、安定した解像度を得ることができる。
【００８４】
［第２の実施形態］
本実施形態は、上記のデモザイク部１０９の構成及び動作のみが第１の実施形態と異なる。本実施形態に係るデモザイク部１０９は図５に示すような構成を有する。飽和判定部５０１は、カラー画像を構成する画素毎に画素値が飽和しているか否かを判断する。そして、画素値が飽和している画素については第１補間部５０２が動作し、画素値が飽和していない画素については第２補間部５０３が動作する。
【００８５】
ここで、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同じであるので、以下では第１補間部５０２の動作について触れ、第２補間部５０３の動作については省略する。また、以下の説明では、第１の実施形態との差分についてのみ触れており、以下に説明する点以外は第１の実施形態と同じである。
【００８６】
本実施形態に係るデモザイク部１０９が、カラー画像を構成する各画素のＤＧ値を求める為の処理について、同処理のフローチャートを示す図６を用いて説明する。なお、以下の説明では、ＤＧ（ｉ、ｊ）には予め画素値Ｐ（ｉ、ｊ）が格納されているものとして説明する。
【００８７】
ステップＳ６０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。
【００８８】
ステップＳ６０２ではデモザイク部１０９は、図２に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。
【００８９】
ステップＳ６０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。
【００９０】
ステップＳ６０３における判断の結果、固体撮像素子ＬＧであると判断した場合には処理はステップＳ６０４に進み、固体撮像素子ＬＧではないと判断した場合には処理はステップＳ６０７に進む。
【００９１】
ステップＳ６０４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ６０５に進み、飽和していないと判断した場合には処理はステップＳ６０６に進む。画素値が飽和しているか否かの判断は、次のようにして行う。即ち、画素値が所定の値以上であれば飽和していると判断し、所定の値よりも小さければ不飽和と判断する。この「所定の値」は特に限定するものではないが、ここでは便宜上、センサーアナログ値の最大値を用いるものとして説明することにする。
【００９２】
ステップＳ６０５では、デモザイク部１０９は第１補間部５０２を動作させるので、第１補間部５０２は、後述する補間処理を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。本ステップにおいて第１補間部５０２が行う処理の詳細については後述する。
【００９３】
ステップＳ６０６では、デモザイク部１０９は第２補間部５０３を動作させるので、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同様の動作を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。
【００９４】
そしてステップＳ６０７ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ６０８に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ６０３以降の処理を繰り返す。
【００９５】
ステップＳ６０８ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には処理はステップＳ６０９に進む。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ６０３以降の処理を繰り返す。
【００９６】
ステップＳ６０９ではデモザイク部１０９は、変数ｉ、ｊの値を共に０に初期化する。ステップＳ６１０ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲ若しくは固体撮像素子ＤＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。
【００９７】
ステップＳ６１０における判断の結果、固体撮像素子ＤＲ若しくは固体撮像素子ＤＢであると判断した場合には処理はステップＳ６１１に進み、固体撮像素子ＤＲでも固体撮像素子ＤＢでもないと判断した場合には処理はステップＳ６１４に進む。
【００９８】
ステップＳ６１１では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）若しくは画素位置（ｉ＋１、ｊ）の何れかの画素位置における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ６１２に進み、飽和していないと判断した場合には処理はステップＳ６１３に進む。
【００９９】
ステップＳ６１２では、デモザイク部１０９は第１補間部５０２を動作させるので、第１補間部５０２は、後述する補間処理を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。本ステップにおいて第１補間部５０２が行う処理の詳細については後述する。
【０１００】
ステップＳ６１３では、デモザイク部１０９は第２補間部５０３を動作させるので、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同様の動作を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。
【０１０１】
ステップＳ６１４ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＲ若しくは固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。
【０１０２】
ステップＳ６１４における判断の結果、固体撮像素子ＬＲ若しくは固体撮像素子ＬＢであると判断した場合には処理はステップＳ６１５に進み、固体撮像素子ＬＲでも固体撮像素子ＬＢでもないと判断した場合には処理はステップＳ６１８に進む。
【０１０３】
ステップＳ６１５では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ−１）、（ｉ−１、ｊ＋１）、（ｉ＋１、ｊ−１）、（ｉ＋１、ｊ＋１）の何れかの画素位置における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ６１６に進み、飽和していないと判断した場合には処理はステップＳ６１７に進む。
【０１０４】
ステップＳ６１６では、デモザイク部１０９は第１補間部５０２を動作させるので、第１補間部５０２は、後述する補間処理を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。本ステップにおいて第１補間部５０２が行う処理の詳細については後述する。
【０１０５】
ステップＳ６１７では、デモザイク部１０９は第２補間部５０３を動作させるので、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同様の動作を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。
【０１０６】
そしてステップＳ６１８ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ６１９に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ６１０以降の処理を繰り返す。
【０１０７】
ステップＳ６１９ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了させる。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ６１０以降の処理を繰り返す。
【０１０８】
次に、第１補間部５０２が行う処理について、同処理のフローチャートを示す図７を用いて説明する。ステップＳ７０３では、第１補間部５０２は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。
【０１０９】
係る判断の結果、固体撮像素子ＬＧである場合には処理はステップＳ７０４に進み、固体撮像素子ＬＧではない場合には処理はステップＳ７０５に進む。ステップＳ７０４では、第１補間部５０２は式１５を計算することで、ＤＧ（ｉ、ｊ）を確定させる。
【０１１０】
【数１５】
0005503522.tif 000016
【０１１１】
ここで、αはゲインを表す定数（０＜α≦１）であり、予め設定されているものとする。ステップＳ７０５では、第１補間部５０２は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲ若しくは固体撮像素子ＤＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。
【０１１２】
係る判断の結果、固体撮像素子ＤＲ若しくは固体撮像素子ＤＢである場合には処理はステップＳ７０６に進み、ＤＲでもＤＢでもない場合には処理は本処理を終了させる。ステップＳ７０６では第１補間部５０２は、以下の式１６を計算する。この計算により、評価値ｄｅｆｆ５−１、変動評価値ｄｅｆｆ６−１、評価値ｄｅｆｆ７−１を求める。評価値ｄｅｆｆ５−１は、画素位置（ｉ、ｊ）の左上及び右下に隣接する画素に対する評価値である。変動評価値ｄｅｆｆ６−１は、画素位置（ｉ、ｊ）に隣接する左右の画素に対する変動評価値である。評価値ｄｅｆｆ７−１は、画素位置（ｉ、ｊ）の左下及び右上に隣接する画素に対する評価値である。なお、各評価値の算出にて左上、右下の組み合わせのうちいずれか一方が飽和している場合は評価値ｄｅｆｆ５−１の代わりに評価値ｄｅｆｆ５−２を求める。また、左、右の組み合わせのうちいずれか一方が飽和している場合は評価値ｄｅｆｆ６−１の代わりに評価値ｄｅｆｆ６−２を求める。また、左下、右上の組み合わせのうちいずれか一方が飽和している場合は評価値ｄｅｆｆ７−１の代わりに評価値ｄｅｆｆ７−２を求める。ここで、ＭＡＸは最小画素値と最大画素値との差分を表し、画素値が８ビットの場合は２５５、１６ビットの場合は６５５３５となる。
【０１１３】
【数１６】
0005503522.tif 000017
【０１１４】
以下では、ｄｅｆｆ５−１、ｄｅｆｆ５−２のうち求めた方をｄｅｆｆ５と表記する。同様に、ｄｅｆｆ６−１、ｄｅｆｆ６−２のうち求めた方をｄｅｆｆ６と表記する。同様に、ｄｅｆｆ７−１、ｄｅｆｆ７−２のうち求めた方をｄｅｆｆ７と表記する。ステップＳ７０６では第１補間部５０２は、ｄｅｆｆ５とｄｅｆｆ６，ｄｅｆｆ７との大小比較を行う。この大小比較の結果、ｄｅｆｆ５＜ｄｅｆｆ６且つｄｅｆｆ５＜ｄｅｆｆ７の条件を満たす場合には、処理はステップＳ７０７に進み、この条件を満たさない場合には、処理はステップＳ７０８に進む。
【０１１５】
ステップＳ７０７では第１補間部５０２は、画素位置（ｉ、ｊ）の左上及び右下に隣接する画素の画素値を用いた補間計算を行うことで画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式１７を計算する。
【０１１６】
【数１７】
0005503522.tif 000018
【０１１７】
ステップＳ７０８では第１補間部５０２は、上記のｄｅｆｆ６とｄｅｆｆ７との大小比較を行う。この大小比較の結果、ｄｅｆｆ６＜ｄｅｆｆ７の場合には処理はステップＳ７０９に進み、ｄｅｆｆ６≧ｄｅｆｆ７の場合には処理はステップＳ７１０に進む。
【０１１８】
ステップＳ７０９では第１補間部５０２は、画素位置（ｉ、ｊ）に隣接する左右の画素の画素値を用いた補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式１８を計算する。
【０１１９】
【数１８】
0005503522.tif 000019
【０１２０】
ステップＳ７１０では第１補間部５０２は、画素位置（ｉ、ｊ）の左下及び右上に隣接する画素の画素値を用いた補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式１９を計算する。
【０１２１】
【数１９】
0005503522.tif 000020
【０１２２】
ステップＳ７１１では第１補間部５０２は、画素位置（ｉ、ｊ）の左右に隣接する画素の画素値を用いた補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式２０を計算する。
【０１２３】
【数２０】
0005503522.tif 000021
【０１２４】
このように、本実施形態によれば、感度の異なる画素を同一センサ上に配置する場合であっても、最も解像度の高い色フィルタと多色の相関を利用して補間することにより、サンプリングできない部分の解像度を一部復元することができる。
【０１２５】
また、不飽和時には両感度の画素を用いた画素値決定を行うため、より高い解像度を得ることができる。また、片方が飽和している場合でも解像度を向上させる画素補間を行うことができる。
【０１２６】
［第３の実施形態］
本実施形態では、第２の実施形態に係るデモザイク部１０９の別の実施形態について説明する。なお、本実施形態では、イメージセンサ１０３上に配置される固体撮像素子は、図９に示した配置分布であることが好ましい。また、以下の説明では、第２の実施形態との差分についてのみ触れており、以下に説明する点以外は第１の実施形態と同じである。
【０１２７】
本実施形態に係るデモザイク部１０９が、カラー画像を構成する各画素のＤＧ値を求める為の処理について、同処理のフローチャートを示す図８を用いて説明する。なお、以下の説明では、ＤＧ（ｉ、ｊ）には予め画素値Ｐ（ｉ、ｊ）が格納されているものとして説明する。
【０１２８】
ステップＳ８０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。
【０１２９】
ステップＳ８０２ではデモザイク部１０９は、図９に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。
【０１３０】
ステップＳ８０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。
【０１３１】
ステップＳ８０３における判断の結果、固体撮像素子ＤＧでないと判断した場合には処理はステップＳ８０４に進み、固体撮像素子ＤＧであると判断した場合には処理はステップＳ８１１に進む。
【０１３２】
ステップＳ８０４ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。
【０１３３】
ステップＳ８０４における判断の結果、固体撮像素子ＬＧでないと判断した場合には処理はステップＳ８１２に進み、固体撮像素子ＬＧであると判断した場合には処理はステップＳ８０５に進む。
【０１３４】
ステップＳ８０５では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ８０６に進み、飽和していないと判断した場合には処理はステップＳ８１０に進む。
【０１３５】
ステップＳ８０６では第１補間部５０２は、以下の式２１を計算する。この計算により、画素位置（ｉ、ｊ）の左上及び右下に隣接する画素に対する評価値ｄｅｆｆ８、画素位置（ｉ、ｊ）の左下及び右上に隣接する画素に対する変動評価値ｄｅｆｆ９を求める。
【０１３６】
【数２１】
0005503522.tif 000022
【０１３７】
ステップＳ８０７では、ｄｅｆｆ８とｄｅｆｆ９との大小比較を行い、ｄｅｆｆ８＜ｄｅｆｆ９であれば処理はステップＳ８０８に進み、ｄｅｆｆ８≧ｄｅｆｆ９であれば処理はステップＳ８０９に進む。
【０１３８】
ステップＳ８０８では第１補間部５０２は、以下の式２２を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を、求めることができる。
【０１３９】
【数２２】
0005503522.tif 000023
【０１４０】
ステップＳ８０９では第１補間部５０２は、以下の式２３を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を、求めることができる。
【０１４１】
【数２３】
0005503522.tif 000024
【０１４２】
ステップＳ８１０では第１補間部５０２は、以下の式２４を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を、求めることができる。
【０１４３】
【数２４】
0005503522.tif 000025
【０１４４】
そしてステップＳ８１１ではデモザイク部１０９は、ＤＧ（ｉ、ｊ）に画素値Ｐ（ｉ、ｊ）を代入する。そしてステップＳ８１２ではデモザイク部１０９は、変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ８１３に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ８０３以降の処理を繰り返す。
【０１４５】
ステップＳ８１３ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には処理はステップＳ８１４に進む。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ８０３以降の処理を繰り返す。
【０１４６】
ステップＳ８１３ではデモザイク部１０９は、変数ｉ、ｊを共に０に初期化する。ステップＳ８１４ではデモザイク部１０９は、画素位置（ｉ、ｊ）がＤＧかＬＧであるかを判定し、ＤＧあるいはＬＧであると判断されれば、ステップＳ８２５へ進み、そうでないと判断されれば、ステップＳ８１６へ進む
ステップＳ８１６ではデモザイク部１０９は、画素位置（ｉ−２、ｊ）、（ｉ＋２、ｊ）、（ｉ、ｊ）、（ｉ、ｊ−２）、（ｉ、ｊ＋２）の何れかに対応するイメージセンサ１０３上の位置の固体撮像素子が飽和しているか否かを判断する。この判断は、ステップＳ８０５と同様にして行う。そして飽和していると判断した場合には処理はステップＳ８１７に進み、飽和していないと判断した場合には処理はステップＳ８２１に進む。
【０１４７】
ステップＳ８１７では第１補間部５０２は、以下の式２５を計算する。この計算により、画素位置（ｉ、ｊ）の上下に隣接する画素に対する評価値ｄｅｆｆ１０、画素位置（ｉ、ｊ）の左右に隣接する画素に対する変動評価値ｄｅｆｆ１１を求める。
【０１４８】
【数２５】
0005503522.tif 000026
【０１４９】
ステップＳ８１８ではデモザイク部１０９は、ｄｅｆｆ１０とｄｅｆｆ１１との大小比較を行う。この大小比較の結果、ｄｅｆｆ１０＜ｄｅｆｆ１１の場合には処理はステップＳ８１９に進み、ｄｅｆｆ１０≧ｄｅｆｆ１１の場合には処理はステップＳ８２０に進む。
【０１５０】
ステップＳ８１９では第１補間部５０２は、以下の式２６を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。
【０１５１】
【数２６】
0005503522.tif 000027
【０１５２】
ステップＳ８２０では第１補間部５０２は、以下の式２７を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。
【０１５３】
【数２７】
0005503522.tif 000028
【０１５４】
ステップＳ８２１では第２補間部５０３は、以下の式２８を計算する。この計算により、画素位置（ｉ、ｊ）の上下方向に隣接する画素に対する評価値ｄｅｆｆ１２、画素位置（ｉ、ｊ）の左右方向に隣接する画素に対する変動評価値ｄｅｆｆ１３を求める。
【０１５５】
【数２８】
0005503522.tif 000029
【０１５６】
ステップＳ８２２ではデモザイク部１０９は、ｄｅｆｆ１２とｄｅｆｆ１３との大小比較を行う。この大小比較の結果、ｄｅｆｆ１２＜ｄｅｆｆ１３の場合には処理はステップＳ８２３に進み、ｄｅｆｆ１２≧ｄｅｆｆ１３の場合には処理はステップＳ８２４に進む。
【０１５７】
ステップＳ８２３では第２補間部５０３は、以下の式２９を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。
【０１５８】
【数２９】
0005503522.tif 000030
【０１５９】
ステップＳ８２４では第１補間部５０３は、以下の式３０を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。
【０１６０】
【数３０】
0005503522.tif 000031
【０１６１】
そしてステップＳ８２５ではデモザイク部１０９は、変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ８２６に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ８１５以降の処理を繰り返す。
【０１６２】
ステップＳ８２６ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了させる。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ８１５以降の処理を繰り返す。
【０１６３】
次に、本実施形態に係るデモザイク部１０９が、カラー画像を構成する各画素のＤＲ，ＤＢ値を求める為の処理について、同処理のフローチャートを示す図１０を用いて説明する。
【０１６４】
ステップＳ１００１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。
【０１６５】
ステップＳ１００２ではデモザイク部１０９は、図９に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。
【０１６６】
ステップＳ１００３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＤＧであれば処理はステップＳ１００４に進み、ＤＧでなければ処理はステップＳ１００７に進む。
【０１６７】
ステップＳ１００４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）もしくは画素位置（ｉ＋１、ｊ）もしくは画素位置（ｉ、ｊ−１）もしくは画素位置（ｉ、ｊ＋１）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１００５に進み、飽和していないと判断した場合には処理はステップＳ１００６に進む。
【０１６８】
ステップＳ１００５では第１補間部５０２は、以下の式３１を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１６９】
【数３１】
0005503522.tif 000032
【０１７０】
ステップＳ１００６では第２補間部５０３は、以下の式３２を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１７１】
【数３２】
0005503522.tif 000033
【０１７２】
ステップＳ１００７ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＲであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＬＲであれば処理はステップＳ１００８に進み、ＬＲでなければ処理はステップＳ１０１１に進む。
【０１７３】
ステップＳ１００８ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１００９に進み、飽和していないと判断した場合には処理はステップＳ１０１０に進む。
【０１７４】
ステップＳ１００９では第１補間部５０２は、以下の式３３を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１７５】
【数３３】
0005503522.tif 000034
【０１７６】
ステップＳ１０１０では第２補間部５０３は、以下の式３４を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１７７】
【数３４】
0005503522.tif 000035
【０１７８】
ステップＳ１０１１ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＬＢであれば処理はステップＳ１０１２に進み、ＬＢでなければ処理はステップＳ１０１５に進む。
【０１７９】
ステップＳ１０１２ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１０１３に進み、飽和していないと判断した場合には処理はステップＳ１０１４に進む。
【０１８０】
ステップＳ１０１３では第１補間部５０２は、以下の式３５を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１８１】
【数３５】
0005503522.tif 000036
【０１８２】
ステップＳ１０１４では第２補間部５０３は、以下の式３６を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１８３】
【数３６】
0005503522.tif 000037
【０１８４】
ステップＳ１０１５ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＬＧであれば処理はステップＳ１０１６に進み、ＬＧでなければ処理はステップＳ１０１９に進む。
【０１８５】
ステップＳ１０１６ではデモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）もしくは画素位置（ｉ＋１、ｊ）もしくは画素位置（ｉ、ｊ−１）もしくは画素位置（ｉ、ｊ＋１）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１０１７に進み、飽和していないと判断した場合には処理はステップＳ１０１８に進む。
【０１８６】
ステップＳ１０１７では第１補間部５０２は、以下の式３７を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１８７】
【数３７】
0005503522.tif 000038
【０１８８】
ステップＳ１０１８では第２補間部５０３は、以下の式３８を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１８９】
【数３８】
0005503522.tif 000039
【０１９０】
ステップＳ１０１９ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＤＲであれば処理はステップＳ１０２０に進み、ＤＲでなければ処理はステップＳ１０２１に進む。
【０１９１】
ステップＳ１０２０では第１補間部５０２は、以下の式３９を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１９２】
【数３９】
0005503522.tif 000040
【０１９３】
ステップＳ１０２１では第１補間部５０２は、以下の式４０を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。
【０１９４】
【数４０】
0005503522.tif 000041
【０１９５】
以上の説明により、本実施形態によれば、感度の異なる画素を同一センサ上に配置する場合であっても、最も解像度の高い色フィルタと多色の相関を利用して補関することにより、サンプリングできない部分の解像度を一部復元することができる。
【０１９６】
また、不飽和時には両感度の画素を用いた画素値決定を行うため、より高い解像度を得ることができる。また、片方が飽和している場合でも解像度を向上させる画素補間を行うことができる。
【０１９７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005503522.tif 000042
【図２】
0005503522.tif 000043
【図３】
0005503522.tif 000044
【図４】
0005503522.tif 000045
【図５】
0005503522.tif 000046
【図６】
0005503522.tif 000047
【図７】
0005503522.tif 000048
【図８】
0005503522.tif 000049
【図９】
0005503522.tif 000050
【図１０】
0005503522.tif 000051