【手続補正書】
【提出日】平成28年7月29日(2016.7.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記の目的を達成するため、本発明による画像処理装置は、ライトフィールドデータを取得する取得手段と、第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理手段と、前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出手段と、前記検出手段によって検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せ手段と、を有することを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明による画像処理装置の制御方法は、ライトフィールドデータを取得する取得ステップと、第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、を有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明による制御プログラムは、画像処理装置が備えるコンピュータに、ライトフィールドデータを取得する取得ステップと、第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、を実行させることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライトフィールドデータを取得する取得手段と、
第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理手段と、
前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出手段と、
前記検出手段によって検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せ手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記位置合せ手段によって位置合わせした前記複数の第２のリフォーカス画像データを合成する合成手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のリフォーカス係数は、前記ライトフィールドデータを該第１のリフォーカス係数でリフォーカス処理することで、前記ライトフィールドデータが取り得る最も深い被写界深度であるリフォーカス範囲となるような係数であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１のリフォーカス係数を設定する第１の設定手段を有し、
前記第１の設定手段は、前記ライトフィールドデータを得る際の被写体までの距離に対応する距離情報に応じて前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記第１のリフォーカス係数を設定する第１の設定手段と、
前記ライトフィードデータを得る際の移動体を検出する移動体検出手段とを備え、
前記第１の設定手段は、前記移動体がリフォーカス処理後の被写界深度であるリフォーカス範囲から除かれるように前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記第１のリフォーカス係数を設定する第１の設定手段を有し、
前記第１の設定手段は、前記第１のリフォーカス画像データおよび前記第２のリフォーカス画像データの重複箇所に主被写体が存在しないと、前記ライトフィールドデータが取り得る最も深い被写界深度であるリフォーカス範囲に前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記第１のリフォーカス係数を設定する第１の設定手段を有し、
前記第１の設定手段は、前記第１のリフォーカス画像データおよび前記第２のリフォーカス画像データの重複箇所に存在する複数の被写体の全てがリフォーカス処理後の被写界深度であるリフォーカス範囲に含まれるように前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項８】
前記第１のリフォーカス画像データおよび前記第２のリフォーカス画像データの重複箇所において前記ライトフィールドデータのボケ量を算出するボケ量算出手段と、
前記ボケ量に応じて前記第１のリフォーカス係数を設定する第１の設定手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項９】
前記第１の設定手段は前記ボケ量が所定の閾値を超えると、前記ボケ量が小さくなるように前記第１のリフォーカス係数を変更することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記リフォーカス処理手段は、前記ボケ量が所定の閾値を超えた際に行う再リフォーカス処理を前記重複箇所に対して行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記検出手段は、前記複数の第１のリフォーカス画像データ間を比較して対応する領域を検出することで前記位置ずれを検出することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第２のリフォーカス係数を設定する第２の設定手段を有し、
前記第２の設定手段は、記第２のリフォーカス係数を主被写体の距離情報に基づいて設定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記第２のリフォーカス係数を設定する第２の設定手段を有し、
前記第２の設定手段は、前記第２のリフォーカス係数を前記第１のリフォーカス係数と同一のリフォーカス係数に設定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記第２のリフォーカス係数を設定する第２の設定手段を有し、
前記第２の設定手段は、記第２のリフォーカス係数をユーザ操作に応じて設定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
画像処理装置の制御方法であって、
ライトフィールドデータを取得する取得ステップと、
第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、
前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、
前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、
を有することを特徴とする制御方法。
【請求項１６】
画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
ライトフィールドデータを取得する取得ステップと、
第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、
前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、
前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、
を実行させることを特徴とする制御プログラム。