【手続補正書】
【提出日】令和3年3月11日(2021.3.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮影した入力画像を取得する入力画像取得部と、
前記被写体の法線情報を取得する法線情報取得部と、
前記入力画像が撮像された際の光源条件と、前記法線情報と、に基づいて前記被写体に関する第一レンダリング画像を生成する第一レンダリング部と、
前記入力画像と、前記第一レンダリング画像と、に基づいて、前記被写体において前記法線情報の誤差が所定値よりも大きい部分に対応する対象領域を検出する領域検出部と、を有することを特徴とする処理装置。
【請求項２】
前記入力画像取得部は、前記入力画像として、互いに異なる複数の位置の光源からの光を前記被写体に順次照射して撮像された前記被写体の複数の入力画像を取得し、
前記法線情報取得部は、前記複数の入力画像に基づいて前記法線情報を取得することを特徴とする請求項１に記載の処理装置。
【請求項３】
前記第一レンダリング画像は、前記入力画像が撮像された前記光源条件と同一の光源条件でレンダリングされた画像であることを特徴とする請求項１または２に記載の処理装置。
【請求項４】
前記領域検出部は、前記入力画像と前記第一レンダリング画像との差分に基づいて前記対象領域を検出することを特徴とする請求項１乃至３のいずれか１項に記載の処理装置。
【請求項５】
前記領域検出部は、更に前記入力画像と前記第一レンダリング画像との前記差分の符号に基づいて前記対象領域を検出することを特徴とする請求項４に記載の処理装置。
【請求項６】
前記領域検出部は、複数の前記入力画像と複数の前記第一レンダリング画像とのそれぞれの複数の差分の最大値または平均値に基づいて前記対象領域を検出することを特徴とする請求項４または５に記載の処理装置。
【請求項７】
前記領域検出部は、前記入力画像と前記第一レンダリング画像とに基づく差分を反射率または前記入力画像に基づく画像で除した正規化差分に基づいて前記対象領域を検出することを特徴とする請求項４または５に記載の処理装置。
【請求項８】
前記領域検出部は、前記入力画像と前記第一レンダリング画像とに基づく前記差分が所定の閾値以上である領域を前記対象領域として検出することを特徴とする請求項４乃至７のいずれか１項に記載の処理装置。
【請求項９】
前記領域検出部は、前記入力画像と前記第一レンダリング画像との前記差分および前記入力画像における影領域に基づいて、前記対象領域を検出することを特徴とする請求項４乃至８のいずれか１項に記載の処理装置。
【請求項１０】
任意の光源条件における第二レンダリング画像を生成する第二レンダリング部と、
前記第二レンダリング画像における前記対象領域を前記入力画像を用いて置き換え処理を行う置換部と、を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の処理装置。
【請求項１１】
前記置換部は、第二レンダリング画像を生成した際の光源条件である画像を、複数の入力画像を補間して生成した画像を用いて置き換え処理を行うことを特徴とする請求項１０に記載の処理装置。
【請求項１２】
前記置換部は、複数の前記入力画像のうち第二レンダリング画像を生成した際の光源条件に最も近い光源条件である入力画像を用いて前記置き換え処理を行うことを特徴とする請求項１０に記載の処理装置。
【請求項１３】
前記置換部は、
前記入力画像および第二レンダリング画像における前記対象領域の周囲の輝度値に基づいて調整係数を決定し、
前記調整係数に基づいて前記入力画像における前記対象領域の明るさを調整して前記置き換え処理を行うことを特徴とする請求項１０に記載の処理装置。
【請求項１４】
前記置換部は、第二レンダリング画像における前記対象領域の境界に対してぼかし処理を行うことを特徴とする請求項１０に記載の処理装置。
【請求項１５】
前記法線情報における前記対象領域に対して補間処理を行う補間部と、
前記補間処理により得られた前記対象領域の前記法線情報に基づいて、任意の光源条件における第二レンダリング画像を生成する第二レンダリング部と、を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の処理装置。
【請求項１６】
前記対象領域は、前記法線情報の誤差が所定の誤差よりも大きい領域であることを特徴とする請求項１乃至１５のいずれか１項に記載の処理装置。
【請求項１７】
光源部と、
請求項１乃至１６のいずれか１項に記載の処理装置と、を有することを特徴とする処理システム。
【請求項１８】
前記光源部は１つの光源を含み、
前記入力画像取得部は、前記光源を移動して互いに異なる複数の位置の前記光源からの光を前記被写体に順次照射して撮像された前記被写体の複数の入力画像を取得することを特徴とする請求項１７に記載の処理システム。
【請求項１９】
前記光源部は、互いに位置が異なる少なくとも３つの光源を含み、
前記入力画像取得部は、前記少なくとも３つの光源からの光を前記被写体に順次照射して撮像された前記被写体の複数の入力画像を取得することを特徴とする請求項１７に記載の処理システム。
【請求項２０】
前記被写体を撮像する撮像部を更に有することを特徴とする請求項１７乃至１９のいずれか１項に記載の処理システム。
【請求項２１】
撮像光学系を介して形成された光学像を光電変換して入力画像に対応する画像データを出力する撮像素子と、
請求項１乃至２０のいずれか１項に記載の処理装置と、を有することを特徴とする撮像装置。
【請求項２２】
被写体を撮影した入力画像を取得するステップと、
前記被写体の法線情報を取得するステップと、
前記入力画像が撮像された際の光源条件と、前記法線情報と、に基づいて前記被写体に関する第一レンダリング画像を生成するステップと、
前記入力画像と、前記第一レンダリング画像と、に基づいて、前記被写体において前記法線情報の誤差が所定値よりも大きい部分に対応する対象領域を検出するステップと、を有することを特徴とする処理方法。
【請求項２３】
請求項２２に記載の処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
請求項２３に記載のプログラムを記憶していることを特徴とする記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一側面としての処理装置は、被写体を撮影した入力画像を取得する入力画像取得部と、前記被写体の法線情報を取得する法線情報取得部と、前記入力画像が撮像された際の光源条件と、前記法線情報と、に基づいて前記被写体に関する第一レンダリング画像を生成する第一レンダリング部と、前記入力画像と、前記第一レンダリング画像と、に基づいて、前記被写体において前記法線情報の誤差が所定値よりも大きい部分に対応する対象領域を検出する領域検出部とを有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の他の側面としての処理方法は、被写体を撮影した入力画像を取得するステップと、前記被写体の法線情報を取得するステップと、前記入力画像が撮像された際の光源条件と、前記法線情報と、に基づいて前記被写体に関する第一レンダリング画像を生成するステップと、前記入力画像と、前記第一レンダリング画像と、に基づいて、前記被写体において前記法線情報の誤差が所定値よりも大きい部分に対応する対象領域を検出するステップとを有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
続いてステップＳ１０４において、領域検出部１０４ｄは、ステップＳ１０１で取得された入力画像１２０とステップＳ１０３で生成された第一レンダリング画像１２２とに基づいて、対象領域（エラー領域１２４）を検出する。対象領域は、例えば、法線情報の誤差が所定の誤差（所定値）よりも大きい領域である。前述のように、照度差ステレオ法で面法線を算出した場合、仮定した反射特性とは異なる反射特性の被写体については法線誤差（法線エラー）が生じる。このため、誤差が生じた面法線を用いてレンダリング画像を生成すると、レンダリング画像にも誤差（エラー）が生じる。すなわち、拡散反射モデルを仮定した照度差ステレオ法で金属球１２０ｂの面法線を算出すると、大きな誤差が生じる。このため、取得した面法線を用いてレンダリング画像を生成すると、第一レンダリング画像１２２における金属球１２０ｂに対応する斜線領域１２２ｂが破綻する（すなわち、斜線領域１２２ｂにおいて適切なレンダリング画像を生成することができない）。