【手続補正書】
【提出日】平成21年5月11日(2009.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
アレイ上に配置された複数素子からなる撮像素子であり、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子と、
前記撮像素子における高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御する露光制御部と、
前記撮像素子の出力信号に基づいて画像生成処理を実行する画像生成部を有し、
前記画像生成部は、
前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行し、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行する構成であることを特徴とする撮像装置。
【請求項２】
前記画像生成部は、
前記２つの評価画像における対応画素間の差異が小さいと判断された画素領域については、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データの両データを適用した画像処理を実行し、差異が大きいと判断された画素領域については、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、
ＲＧＢの各特定波長領域の光を受光する低感度画素対応素子と、可視光領域の光を受光する高感度画素対応素子とから構成され、
前記画像生成部は、
ＲＧＢ対応の低感度画素対応素子の出力データに基づいて生成する低感度画素評価画像をＷＬ、可視光対応の高感度画素対応素子の出力データに基づいて生成する高感度画素評価画像をＷＨとしたとき、係数としてのパラメータａ，ｂ，ｃを適用した算出式、
ＷＬ＝ａＲ＋ｂＧ＋ｃＢ、
に基づいて、低感度画素評価画像ＷＬを生成する構成であり、前記パラメータａ，ｂ，ｃを、撮像素子の特性に応じて決定する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画像生成部は、
前記パラメータを光源に応じて異なる値を適用する構成であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像生成部は、
前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた閾値との比較処理を実行し、閾値を超える差分を持つ画素領域と閾値以下の画素領域とで異なる画像処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記画像生成部は、
前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた複数の閾値との比較処理を実行し、前記複数の閾値によって規定される差分量に応じて異なる画像処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記画像生成部は、
前記複数の閾値によって規定される差分量に応じた異なる画像処理として、
前記高感度画素対応素子の出力データと低感度画素対応素子の出力データとの利用比率を変更した画像処理を実行する構成であることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像生成部は、
前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、高周波成分をカットした評価画像を生成して比較を行う構成であることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記画像生成部は、
前記２つの評価画像における対応画素間の差異の大きい画素および該画素の周囲画素領域について、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記画像生成部は、
前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、補間処理を実行する前のデータを適用した比較処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記撮像素子を構成する高感度画素対応素子は、可視光領域および赤外光などの不可視光を受光する素子であることを特徴とする請求項１〜１０いずれかに記載の撮像装置。
【請求項１２】
撮像装置において画像処理を実行する画像処理方法であり、
相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力するステップと、
前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行する評価画像比較ステップと、
前記画像生成部において、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成する画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
撮像装置において画像処理を実行させるコンピュータ・プログラムであり、
制御部の制御の下、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力させるステップと、
前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行させる評価画像比較ステップと、
前記画像生成部において、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成させる画像処理ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
本発明の撮像装置において適用する撮像素子は、このような４種類のＲＧＢＷ対応の透過フィルタを持つ撮像素子であり、図４に示すように、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号全成分を取得するＷ素子によって構成される。なお、ＲＧＢＷの配列は、図４に示す配列構成の他の設定も可能であり、例えば図６に示す配列としてもよい。図６に示す光学フィルタ配列は、図４に示す配列を４５度回転させた構成に相当する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
この補間処理によって、例えば、図８（２）に示すようなデモザイク画像が得られる。デモザイク画像１５１が、図７に示すローパスフルタ１１３，１１５における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５２が、図７に示すローパスフルタ１１２における補間処理によって生成されるＧチャネルのデモザイク画像であり、デモザイク画像１５３が、図７に示すローパスフルタ１１４，１１６における補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像１５４が、図７に示すローパスフルタ１１１における補間処理によって生成されるＷチャネルのデモザイク画像である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
図７に示すローパスフルタ１１１における補間処理によって生成される図８に示すデモザイク画像１５４では、Ｗチャネル、すなわち、ＲＧＢの可視光領域の全波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。このデモザイク画像は、図７に示すように、ローパスフィルタ１１１からの出力として得られる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
この結果として、低感度画素対応素子（ＲＧＢ）の取得画像は、時間ｔ１〜ｔ５の画像、すなわち、図９（ｂ１）に示す低感度画素対応素子撮影画像となり、一方、高感度画素対応素子（Ｗ）の取得画像は、時間ｔ４〜ｔ５の画像、すなわち、図９（ｂ２）に示す高感度画素対応素子撮影画像となる。これらの画像から合成画像を生成することになるが、図９（ｂ１）に示す低感度画素対応素子撮影画像と、図９（ｂ２）に示す高感度画素対応素子撮影画像とでは明らかに異なる被写体の画像部分が含まれる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
撮像素子２０１は、アレイ上に配置された複数素子からなる撮像素子であり、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子である。例えば、先に図４、図６を参照して説明した
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
ＲＧＢのすべてを透過するＷ、
これら４種類のＲＧＢＷ受光素子からなる撮像素子である。低感度画素対応素子２０２が、ＲＧＢ素子、高感度画素対応素子２０３が、Ｗ素子に対応する。なお、高感度画素対応素子２０３は、可視光の全波長を受光する素子であってもよいが、可視光および赤外光などの不可視光領域を受光する素子として構成してもよい。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
なお、評価画像比較部２１６において適用する閾値ＴＨの具体例としては、例えば、各画素値が８ｂｉｔ（２５６階調）と仮定した場合、ＴＨ１＝１０階調、ＴＨ２＝２０階調、ＴＨ３＝３０階調、ＴＨ４＝４０階調とする。
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2007306447.tif 000001