【手続補正書】
【提出日】令和2年7月15日(2020.7.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の露光量で撮影された第１の画像と、前記第１の露光量とは異なる第２の露光量で、前記第１の画像を撮影する前に撮影された第２の画像と、前記第２の露光量で、前記第１の画像を撮影した後に撮影された第３の画像とを取得する取得手段と、
前記第１の画像、前記第２の画像及び前記第３の画像のうち少なくとも２つの画像を用いて、被写体のオクルージョン特性を特定する特定手段と、
前記第１の画像に対して、前記オクルージョン特性に応じて前記第２の画像または第３の画像の少なくとも１つの画素を合成し、ＨＤＲ画像を生成する合成手段と、
を有し、前記合成手段は、
注目画素が前記第１の画像における前記被写体の近傍領域の画素に対して、前記被写体の移動により前記被写体により隠されていた領域が前記第２の画像において出現した出現領域の画素である場合には、前記第３の画像における少なくとも１つの画素を合成し、
前記注目画素が前記被写体の移動により前記第２の画像において背景領域が消失した消失領域の画素である場合には、前記第２の画像における少なくとも１つの画素を合成することを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記注目画素が前記消失領域でない場合には、前記第１の画像における前記注目画素の画素値に対して前記第３の画像における前記注目画素の画素値を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定手段は、前記第２の画像と前記第３の画像との差分により算出される差分画像及びオプティカルフローを用いて、前記オクルージョン特性を特定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記特定手段は、前記オプティカルフローにおける前記注目画素に対応する移動ベクトルの大きさが所定の閾値より小さく、かつ、前記差分画像における前記注目画素に対応する画素値がゼロでない場合に、前記注目画素の前記オクルージョン特性を前記消失領域として特定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特定手段は、前記オプティカルフローにおける前記注目画素に対応する移動ベクトルの大きさが所定の閾値よりも大きく、かつ、前記差分画像における前記注目画素に対応する画素値が０でない場合に、前記注目画素の前記オクルージョン特性を、前記出現領域として特定することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記特定手段は、前記オプティカルフローにおける前記注目画素に対応する移動ベクトルの大きさが所定の閾値よりも大きく、かつ、前記差分画像における前記注目画素に対応する画素値が０である場合に、前記注目画素の前記オクルージョン特性を、前記被写体の領域として設定することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記第１の画像、前記第２の画像、前記第３の画像は、いずれもＲＧＢからなるカラー画像であり、前記合成手段が用いる合成比率は、前記第１の画像、前記第２の画像、前記第３の画像の何れか１つにおける前記注目画素のＲ、Ｇ、Ｂに対応する画素値から算出される輝度値に基づいて、算出されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記特定手段は、ユーザが指定した前記シーンのシーン特性、及び、前記第２の画像と前記第３の画像から算出された画素値の差分を用いて、前記オクルージョン特性を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記特定手段は、前記差分の正負を示す情報を取得することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記シーン特性は、前記シーンの背景に対する前記被写体の明るさであることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記特定手段は、前記シーンの背景に対して前記被写体が暗い場合、前記差分が負の領域の前記オクルージョン特性を前記消失領域として特定し、前記背景に対して前記被写体が明るい場合、前記差分が正の領域の前記オクルージョン特性を前記消失領域として特定することを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
第１の露光量で撮影された第１の画像と、前記第１の露光量とは異なる第２の露光量で、前記第１の画像を撮影する前に撮影された第２の画像と、前記第２の露光量で、前記第１の画像を撮影した後に撮影された第３の画像とを取得する工程と、
前記第１の画像、前記第２の画像及び前記第３の画像のうち少なくとも２つの画像を用いて、被写体のオクルージョン特性を特定する工程と、
前記第１の画像に対して、前記オクルージョン特性に応じて前記第２の画像または第３の画像の少なくとも１つの画素を合成し、ＨＤＲ画像を生成する工程と、
を有し、前記ＨＤＲ画像を生成する工程は、
注目画素が前記第１の画像における前記被写体の近傍領域の画素に対して、前記被写体の移動により前記被写体により隠されていた領域が前記第２の画像において出現した出現領域の画素である場合には、前記第３の画像における少なくとも１つの画素を合成する工程と、
前記注目画素が前記被写体の移動により前記第２の画像において背景領域が消失した消失領域の画素である場合には、前記第２の画像における少なくとも１つの画素を合成する工程と、
を含むことを特徴とする画像処理方法。
【請求項１３】
前記特定する工程は、前記第２の画像と前記第３の画像との差分により算出される差分画像及びオプティカルフローを用いて、前記オクルージョン特性を特定することを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
前記特定する工程は、ユーザが指定した前記シーンのシーン特性、及び、前記第２の画像と前記第３の画像から算出された画素値の差分を用いて、前記オクルージョン特性を特定することを特徴とする請求項１２に記載の画像処理方法。
【請求項１５】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１６】
前記合成手段は、
注目画素が前記第１の画像における前記被写体の近傍領域の画素に対して、前記被写体の移動により前記被写体により隠されていた領域が前記第２の画像において出現した出現領域の画素である場合には、前記第３の画像における少なくとも１つの画素を合成し、
前記注目画素が前記被写体の移動により前記第２の画像において背景領域が消失した消失領域の画素である場合には、前記第２の画像における少なくとも１つの画素を合成することを特徴とする請求項１５に記載のプログラム。
【請求項１７】
前記特定手段は、前記第２の画像と前記第３の画像との差分により算出される差分画像及びオプティカルフローを用いて、前記オクルージョン特性を特定することを特徴とする請求項１５記載のプログラム。
【請求項１８】
前記特定手段は、ユーザが指定した前記シーンのシーン特性、及び、前記第２の画像と前記第３の画像から算出された画素値の差分を用いて、前記オクルージョン特性を特定することを特徴とする請求項１６に記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一実施形態に係る画像処理装置は、第１の露光量で撮影された第１の画像と、前記第１の露光量とは異なる第２の露光量で、前記第１の画像を撮影する前に撮影された第２の画像と、前記第２の露光量で、前記第１の画像を撮影した後に撮影された第３の画像とを取得する取得手段と、前記第１の画像、前記第２の画像及び前記第３の画像のうち少なくとも２つの画像を用いて、被写体のオクルージョン特性を特定する特定手段と、前記第１の画像に対して、前記オクルージョン特性に応じて前記第２の画像または第３の画像の少なくとも１つの画素を合成し、ＨＤＲ画像を生成する合成手段と、を有し、前記合成手段は、注目画素が前記第１の画像における前記被写体の近傍領域の画素に対して、前記被写体の移動により前記被写体により隠されていた領域が前記第２の画像において出現した出現領域の画素である場合には、前記第３の画像における少なくとも１つの画素を合成し、前記注目画素が前記被写体の移動により前記第２の画像において背景領域が消失した消失領域の画素である場合には、前記第２の画像における少なくとも１つの画素を合成する。