【手続補正書】
【提出日】平成22年3月8日(2010.3.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
長時間露光画像および短時間露光画像を入力する画像入力部と、
前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析部と、
前記画像解析部の解析した輝度変化画素の画素値を補正する処理を実行する画素値補正部を有し、
前記画素値補正部は、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成部と、
前記合成画像のぼかし画像を生成する中間画像生成部と、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成部と、
を有する構成であることを特徴とする画像処理装置。
【請求項２】
前記出力画像生成部は、
前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像解析部は、
前記短時間露光画像から有効な出力値が得られ、前記長時間露光画像からも有効な出力値が得られている画素位置の検出を実行して、検出された画素位置にある画素を輝度が高輝度から低輝度へと変化した輝度変化画素であると判定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像解析部は、
前記長時間露光画像の画素値が飽和しており、前記短時間露光画像から有効な出力値が得られていない画素位置の検出を実行して、検出された画素位置にある画素を輝度が低輝度から高輝度へと変化した輝度変化画素であると判定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像解析部は、
前記輝度変化画素の検出結果に基づく検出結果画像に対して平滑化フィルタを適用した画像変換を実行し、変換結果画像に基づいて誤って検出された輝度変化画素を排除する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像解析部は、
前記輝度変化画素の検出結果に基づく検出結果画像に対してフィルタを適用した画像変換を実行し、輝度変化画素領域を拡大する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記出力画像生成部は、
前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する処理を実行する構成であり、
前記合成画像に基づいて検出された輝度変化画素領域の画素値算出に適用する係数ａ１，ｂ１と、
前記フィルタを適用して新たに出現した拡大された輝度変化画素領域の画素値算出に適用する係数ａ２，ｂ２とを異なる値に設定して画素値算出処理を実行することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記中間画像生成部は、
前記合成画像に対して平滑化フィルタを適用してぼかし画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記中間画像生成部は、
前記合成画像に対して縮小処理および拡大処理を実行してぼかし画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記画素値補正部は、さらに、
前記合成画像生成部の生成した合成画像の彩度低下処理を実行する画像補正部を有し、
前記中間画像生成部は、前記画像補正部の生成した再度低下画像を入力してぼかし画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記画素値補正部は、さらに、
前記出力画像生成部の生成した画像に対してローパスフィルタを施す画像補正処理を実行する画像補正部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記短時間露光画像を生成する際の露光期間は、前記長時間露光画像を生成する際の露光期間内にあり、前記短時間露光画像、および前記長時間露光画像は単一の撮像素子によって同一の画素からそれぞれ生成された画像であることを特徴とする請求項１〜１１いずれかに記載の画像処理装置。
【請求項１３】
長時間露光画像および短時間露光画像を生成する撮像デバイスと、
前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析部と、
前記画像解析部の解析した輝度変化画素の画素値を補正する処理を実行する画素値補正部を有し、
前記画素値補正部は、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成部と、
前記合成画像のぼかし画像を生成する中間画像生成部と、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成部と、
を有する構成であることを特徴とする撮像装置。
【請求項１４】
前記撮像デバイスは、
前記短時間露光画像を生成する際の露光期間を、前記長時間露光画像を生成する際の露光期間内とし、前記短時間露光画像、および前記長時間露光画像を単一の撮像素子によって同一の画素からそれぞれ生成する構成であることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
画像処理装置において画像処理を実行する画像処理方法であり、
画像入力部が、長時間露光画像および短時間露光画像を入力する画像入力ステップと、
画像解析部が、前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析ステップと、
画素値補正部が、前記画像解析ステップにおいて解析した輝度変化画素の画素値を補正する処理を実行する画素値補正ステップを有し、
前記画素値補正ステップは、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成ステップと、
前記合成画像のぼかし画像を生成する中間画像生成ステップと、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成ステップと、
実行することを特徴とする画像処理方法。
【請求項１６】
前記出力画像生成ステップは、
前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記画像解析ステップは、
前記短時間露光画像から有効な出力値が得られ、前記長時間露光画像からも有効な出力値が得られている画素位置の検出を実行して、検出された画素位置にある画素を輝度が高輝度から低輝度へと変化した輝度変化画素であると判定する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
【請求項１８】
前記画像解析ステップは、
前記長時間露光画像の画素値が飽和しており、前記短時間露光画像から有効な出力値が得られていない画素位置の検出を実行して、検出された画素位置にある画素を輝度が低輝度から高輝度へと変化した輝度変化画素であると判定する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
【請求項１９】
前記画像解析ステップは、
前記輝度変化画素の検出結果に基づく検出結果画像に対して平滑化フィルタを適用した画像変換を実行し、変換結果画像に基づいて誤って検出された輝度変化画素を排除する処理を実行するステップを含むことを特徴とする請求項１５に記載の画像処理方法。
【請求項２０】
画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
画像入力部に、長時間露光画像および短時間露光画像を入力させる画像入力ステップと、
画像解析部に、前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出させる画像解析ステップと、
画素値補正部に、前記画像解析ステップにおいて解析した輝度変化画素の画素値を補正する処理を実行させる画素値補正ステップを有し、
前記画素値補正ステップは、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成させる合成画像生成ステップと、
前記合成画像のぼかし画像を生成させる中間画像生成ステップと、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定させる出力画像生成ステップと、
実行させるステップであることを特徴とするコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
そこで、このような高輝度領域２５１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ１〜ｔ２）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図７（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現する色配列や、図７（ｂ）に示すように、輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列などが用いられる。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
図８に示す画像処理部２０３の画像入力部３０１は、このような処理によって生成された長時間露光画像２１１と短時間露光画像２１２を入力し、画像解析部３０２に出力する。画像解析部３０２では、これらの２つの入力画像に基づいて、動く被写体領域など画素値変化があると判断される画素位置を検出する。画素値変化の態様としては、
（ａ）被写体の輝度が高輝度から低輝度へと変化する場合、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する場合、
これらの２つの種類がある。
画像解析部３０２では、これらの２つの態様（ａ），（ｂ）の輝度変化画素位置を、それぞれ異なる手法を適用して検出する。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2008227697.tif 000001