【手続補正書】
【提出日】平成27年10月29日(2015.10.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに視差を有する複数の視差画像を処理する画像処理装置であって、
視差情報とともに取得された画像データから、前記視差情報に従って複数の視差画像を生成する視差画像生成手段と、
生成された前記複数の視差画像から所定の大きさの領域の画像を参照画像として抽出し、抽出した前記参照画像に類似する類似画像を前記複数の視差画像から探索する探索手段であり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索手段と、
前記探索手段が各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成手段と、
前記参照画像が抽出された前記視差画像における前記所定の大きさの領域の画像を前記置換画像生成手段が生成した前記置換画像で置き換えた視差画像を生成して出力する出力画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記探索手段は、前記参照画像とは異なる位置における前記所定の大きさの領域の画像である比較画像を前記複数の視差画像から抽出し、前記参照画像と前記比較画像との差分に基づいて比較画像の類似度を判定して類似画像を探索し、前記置換画像生成手段は前記視差情報および類似度の少なくとも一つに基づいて、探索された前記類似画像を合成して前記置換画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記探索手段は、前記視差情報に従って前記差分に重み付けをして前記類似度を判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記置換画像生成手段は、前記類似度に従って、予め定められた数の類似画像を選択して合成し、前記類似画像の合成は前記視差情報に応じて重みを変更するフィルタ処理であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記視差画像生成手段が生成した前記複数の視差画像から選択した一対の視差画像のずれ量を検知する測距手段を備え、
前記探索手段は、前記第２のモードにおける前記類似画像の探索範囲を、前記ずれ量に基づいて決定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記置換画像生成手段は、前記類似度に従って、予め定められた数の類似画像を選択して合成し、前記類似画像の合成は前記視差情報に応じて重みを変更するフィルタ処理であり、
前記視差画像生成手段が生成した前記複数の視差画像から選択した一対の視差画像のずれ量を検知する測距手段を備え、
前記探索手段は、前記第２のモードにおける前記類似画像の探索範囲を、前記ずれ量に基づいて決定し、
前記置換画像生成手段は、前記ずれ量に基づいて前記フィルタ処理の重みを変更することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項７】
前記探索手段が前記参照画像を抽出するための前記所定の大きさの領域の位置を指定する参照画像位置制御手段を備え、
前記参照画像位置制御手段は、前記参照画像が抽出される前記視差画像に含まれる被写体の位置に基づいて決定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記視差画像生成手段が生成した前記複数の視差画像から選択した一対の視差画像のずれ量を検知する測距手段を備え、
前記探索手段が前記参照画像を抽出するための前記所定の大きさの領域の位置を指定する参照画像位置制御手段を備え、
前記参照画像位置制御手段は、前記参照画像が抽出される前記視差画像に含まれる被写体の位置に基づいて決定し、
前記測距手段は、前記被写体の位置を検知することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記視差画像生成手段は、取得した前記画像データの撮影光学系に関するメタデータを取得し、前記測距手段は、取得された前記メタデータに基づいて前記ずれ量を検知することを特徴とする請求項５乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
視差情報を得るための光線制御手段を有する撮影光学系と、
前記撮影光学系が形成した被写体像を撮像して前記視差情報を含む画像データを生成する撮像手段と、
請求項１乃至９のいずれか一項に記載の画像処理装置と
を備えることを特徴とする撮像装置。
【請求項１１】
生成された前記画像データと前記画像データのメタデータとを記録する記録手段を備え、前記メタデータは光線制御手段に関する情報を含むことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記光線制御手段は、前記撮像手段の前面に配置されたマイクロレンズアレイであることを特徴とする請求項１０又は１１に記載の撮像装置。
【請求項１３】
前記光線制御手段は、多眼光学系であり、前記撮像手段は前記多眼光学系に対応した複数の撮像手段で構成されていることを特徴とする請求項１０又は１１に記載の撮像装置。
【請求項１４】
互いに視差を有する複数の視差画像を処理する画像処理装置の制御方法であって、
視差情報とともに取得された画像データから、前記視差情報に従って複数の視差画像を生成する視差画像生成ステップと、
生成された前記複数の視差画像から所定の大きさの領域の画像を参照画像として抽出し、抽出した前記参照画像に類似する類似画像を前記複数の視差画像から探索する探索ステップであり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索ステップと、
前記探索ステップが各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成ステップと、
前記参照画像が抽出された前記視差画像における前記所定の大きさの領域の画像を前記置換画像生成ステップで生成された前記置換画像で置き換えた視差画像を生成して出力する出力画像生成ステップと、
を備えることを特徴とする制御方法。
【請求項１５】
互いに視差を有する複数の視差画像を処理する画像処理装置を制御するプログラムであって、コンピュータを、
視差情報とともに取得された画像データから、前記視差情報に従って複数の視差画像を生成する視差画像生成手段、
生成された前記複数の視差画像から所定の大きさの領域の画像を参照画像として抽出し、抽出した前記参照画像に類似する類似画像を前記複数の視差画像から探索する探索手段であり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索手段、
前記探索手段が各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成手段、
前記参照画像が抽出された前記視差画像における前記所定の大きさの領域の画像を前記置換画像生成手段が生成した前記置換画像で置き換えた視差画像を生成して出力する出力画像生成手段、
として機能させるプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項１７】
コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１８】
コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一観点によれば、互いに視差を有する複数の視差画像を処理する画像処理装置において、視差情報とともに取得された画像データから、前記視差情報に従って複数の視差画像を生成する視差画像生成手段と、生成された前記複数の視差画像から所定の大きさの領域の画像を参照画像として抽出し、抽出した前記参照画像に類似する類似画像を前記複数の視差画像から探索する探索手段であり、前記参照画像が抽出された視差画像から前記類似画像を探索する第１のモードと、前記参照画像が抽出された視差画像とは異なる視差画像から前記類似画像を探索する第２のモードとを有する探索手段と、前記探索手段が各モードにおいて探索した前記類似画像を用いて前記参照画像と置換されるべき置換画像を生成する置換画像生成手段と、前記参照画像が抽出された前記視差画像における前記所定の大きさの領域の画像を前記置換画像生成手段が生成した前記置換画像で置き換えた視差画像を生成して出力する出力画像生成手段と、を備えることを特徴とする画像処理装置が提供される。