【手続補正書】
【提出日】平成28年3月2日(2016.3.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得手段と、
取得した前記ライトフィールドに基づき、生成する複数のリフォーカス画像の合成パラメータの初期値を設定する初期値設定手段と、
前記合成パラメータの初期値に基づいてリフォーカス画像を生成した場合の画像の枚数が、削減判定基準を満たすかを判定する削減判定手段と、
前記削除判定手段により削除判定基準を満たすと判定された場合、前記初期値設定手段で設定された合成パラメータの初期値で合成されるリフォーカス画像のうち少なくとも２つのリフォーカス画像を削除対象とし、当該削除対象となったリフォーカス画像それぞれの被写界深度を包含する１枚の被写界深度を有するリフォーカス画像により置き換えることで、前記生成されるリフォーカス画像を削減する削減手段と、を有することを特徴とする請求項１に記載の画像処理装置。
【請求項２】
前記削除手段は、前記合成パラメータの初期値のうち前記当該対象となったリフォーカス画像に対応する合成パラメータを更新し、
更に、前記削除手段により更新された前記合成パラメータに基づいてリフォーカス画像を生成する生成手段
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
リフォーカス画像の許容数を取得する許容数取得手段を更に有し、
前記削減判定手段は、リフォーカス画像の枚数が前記許容数を超えている場合に、削減必要と判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記合成パラメータによって生成されるリフォーカス画像の被写界深度内に収まる画素を特定する特定手段を更に有し、
前記削減判定手段は、リフォーカス画像のいずれかが、被写界深度内画素数が閾値以下である場合に、削減不要と判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記合成パラメータによって生成されるリフォーカス画像の被写界深度内に収まる画素を特定する特定手段を更に有し、
前記削減手段は、各リフォーカス画像が合焦している主要被写体を、前記特定手段で特定した被写界深度内画素から特定し、主要被写体が同一のペアのリフォーカス画像を優先して前記削除対象とすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記合成パラメータによって生成されるリフォーカス画像の被写界深度内に収まる画素を特定する特定手段を更に有し、
前記削減手段は、焦点があった被写体までの距離が隣り合うペアのリフォーカス画像のうち被写界深度内の画素数の和が最小となるペアが持つ被写界深度を比較し、被写界深度が浅いほうのペアを前記削除対象として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記削減手段は、削減する画像ペアの優先度を判定する方法を複数持ち、異なる優先度で選ばれた削減候補の画像ペアが持つ被写界深度を比較し、被写界深度が浅いほうのペアを前記削除対象として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
取得したライトフィールドと同一のシーンに対するデプス画像取得手段を更に有し、
前記特定手段が、デプス画像を用いて被写界深度内画素を特定することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
前記特定手段が、予め設定された閾値以上のコントラストを持つ領域を被写界深度内画素を有する範囲することを特徴とする
請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項１０】
前記初期値設定手段が、前記ライトフィールドで合成可能な最浅被写界深度のリフォーカス画像を合成するパラメータを初期値として設定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールド、及び、当該シーンのデプス画像を取得する取得手段と、
リフォーカス画像の許容数を設定する設定手段と、
デプスを一方の軸、前記ライトフィールドで生成可能な各デプスにおける合焦した画素数をもう一方の軸とするヒストグラムを、前記デプス画像から算出する算出手段と、
該算出手段で算出された前記ヒストグラムの前記デプスを示す軸の方向を、互いに等しい画素数となるように、前記設定手段で設定された前記許容数で分割し、
各分割された領域を被写界深度内に含むリフォーカス画像を前記ライトフィールドに従って生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項１２】
ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得手段と、
前記シーンを撮影した際に生成するリフォーカス画像の許容枚数を設定する設定手段と、
取得した前記ライトフィールドに基づき、前記許容枚数以下の複数のリフォーカス画像を生成し、表示部に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記許容枚数がＮである場合に表示されるＮ枚のリフォーカス画像の少なくとも１枚の画像の被写界深度は、前記許容枚数がＭ（Ｍ＞Ｎ）である場合に表示されるＭ枚のリフォーカス画像の少なくとも２枚の被写界深度を包含し、かつ、それより深いことを特徴とする画像処理装置。
【請求項１３】
前記取得手段は、ライトフィールドを多視点画像として取得することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
【請求項１４】
画像処理装置が有する取得手段が、ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得工程と、
画像処理装置が有する初期値設定手段が、取得した前記ライトフィールドに基づき、生成する複数のリフォーカス画像の合成パラメータの初期値を設定する初期値設定工程と、
画像処理装置が有する削減判定手段が、前記合成パラメータの初期値に基づいてリフォーカス画像を生成した場合の画像の枚数が、削減判定基準を満たすかを判定する削減判定工程と、
画像処理装置が有する削減手段が、
前記削除判定工程により削除判定基準を満たすと判定された場合、前記初期値設定工程で設定された合成パラメータの初期値で合成されるリフォーカス画像のうち少なくとも２つのリフォーカス画像を削除対象とし、当該削除対象となったリフォーカス画像それぞれの被写界深度を包含する１枚の被写界深度を有するリフォーカス画像により置き換えることで、前記生成されるリフォーカス画像を削減する削減工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１５】
画像処理装置が有する取得手段が、ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールド、及び、当該シーンのデプス画像を取得する取得工程と、
画像処理装置が有する設定手段が、リフォーカス画像の許容数を設定する設定工程と、画像処理装置が有する算出手段が、デプスを一方の軸、前記ライトフィールドで生成可能な各デプスにおける合焦した画素数をもう一方の軸とするヒストグラムを、前記デプス画像から算出する算出工程と、
画像処理装置が有する生成手段が、
該算出工程で算出された前記ヒストグラムの前記デプスを示す軸の方向を、互いに等しい画素数となるように、前記設定工程で設定された前記許容数で分割し、
各分割された領域を被写界深度内に含むリフォーカス画像を前記ライトフィールドに従って生成する生成工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項１６】
画像処理手段が有する取得手段が、ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得工程と、
画像処理手段が有する設定手段が、前記シーンを撮影した際に生成するリフォーカス画像の許容枚数を設定する設定工程と、
画像処理手段が有する表示制御手段が、取得した前記ライトフィールドに基づき、前記許容枚数以下の複数のリフォーカス画像を生成し、表示部に表示させる表示制御工程と、を有し、
前記表示制御工程では、前記許容枚数がＮである場合に表示されるＮ枚のリフォーカス画像の少なくとも１枚の画像の被写界深度は、前記許容枚数がＭ（Ｍ＞Ｎ）である場合に表示されるＭ枚のリフォーカス画像の少なくとも２枚の被写界深度を包含し、かつ、それより深いことを特徴とする画像処理装置の制御方法。
【請求項１７】
コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１４乃至１６のいずれか１項に記載の画像処理装置の制御方法における各工程を実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この課題を解決するため、例えば本明細書における画像処理装置は以下の構成を備える。すなわち、
ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得手段と、
取得した前記ライトフィールドに基づき、生成する複数のリフォーカス画像の合成パラメータの初期値を設定する初期値設定手段と、
前記合成パラメータの初期値に基づいてリフォーカス画像を生成した場合の画像の枚数が、削減判定基準を満たすかを判定する削減判定手段と、
前記削除判定手段により削除判定基準を満たすと判定された場合、前記初期値設定手段で設定された合成パラメータの初期値で合成されるリフォーカス画像のうち少なくとも２つのリフォーカス画像を削除対象とし、当該削除対象となったリフォーカス画像それぞれの被写界深度を包含する１枚の被写界深度を有するリフォーカス画像により置き換えることで、前記生成されるリフォーカス画像を削減する削減手段とを有する。