【手続補正書】
【提出日】令和1年11月20日(2019.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、
画像データに対応する、被写体の深度分布情報を取得する取得手段と、
前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備え、
前記制御手段は、ユーザが設定する前記複数の画像データの撮像のフレームレートに応じて決まる所定フレームごとに前記第１のモードと前記第２のモードとを切替えて前記複数の画像データの記録処理を行うことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記複数の画像データの記録の中で前記第１のモードと前記第２のモードを切り替えて記録処理を行い、前記複数の画像データを動画像として前記記録手段によって前記記録媒体に記録させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記録手段は、前記複数の画像データおよび前記第１のモードで記録処理が行われた画像データに対応する深度分布情報を、１つの動画像ファイルに記録することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記記録手段は、前記動画像ファイルにおいて、前記第１のモードで記録処理が行われた画像データに対応する深度分布情報を、該画像データのメタデータとして該画像データの前または後に記録することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、複数の被写体のうち主被写体および背景の深度情報を含む前記深度分布情報を取得し、前記深度分布情報に含まれる主被写体の深度情報と背景の深度情報との差分が閾値以内である場合、前記第１のモードで記録処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮像光学系の焦点距離と前記深度分布情報に含まれる主被写体の深度情報と許容デフォーカス量から前記閾値を算出する閾値算出手段をさらに備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御手段は、前記差分と前記閾値との比較結果および撮像光学系のＦ値により、前記第１のモードで記録処理を行うか否かを判断することを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記制御手段は、フレームのダイナミックレンジを示す評価値を算出し、前記評価値と閾値を比較することにより、前記第１のモードで記録処理を行うか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記制御手段は前記評価値として、複数の被写体のうちの主被写体に係る主被写体領域と背景領域との露出段差を算出し、前記露出段差が前記閾値以上である場合に前記第１のモードで記録処理を行い、前記露出段差が前記閾値より小さい場合に前記第２のモードで記録処理を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第１のモードで記録された画像データおよび深度分布情報から、複数の被写体のうちの主被写体に係る主被写体領域の情報を抽出する抽出手段と、
前記抽出手段により抽出された主被写体領域の情報を取得して前記画像データの画像処理を行う画像処理手段と、をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記画像処理手段は、前記主被写体領域の情報から画像内の背景領域を決定し、背景画像のぼかし処理を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１のモードで記録された画像データおよび深度分布情報から、複数の被写体のうちの主被写体に係る主被写体領域の情報を抽出する抽出手段と、
前記抽出手段により抽出された主被写体領域の情報を取得して前記画像データの画像処理を行う画像処理手段と、をさらに備え、
前記画像処理手段は、前記主被写体領域の情報から画像内の主被写体領域および背景領域を決定し、前記主被写体領域と前記背景領域にそれぞれ異なる階調補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
動画像の記録容量を取得し、当該記録容量が閾値以上である場合に、前記第１のモードで記録するフレームを絞り込むことで記録量を調整する調整手段をさらに備え、
前記調整手段は、絞り込んだ前記フレームの画像データおよび前記深度分布情報を記録する制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記制御手段は、複数の被写体のうちの主被写体の位置情報およびサイズ情報の少なくとも１つ以上から算出されるスコアを閾値と比較し、前記スコアが前記閾値より大きいフレームでは前記第１のモードで記録処理を行い、前記スコアが前記閾値以下のフレームでは前記第２のモードで記録処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記制御手段は、画像間の差分からシーンの変化を検出し、前記シーンの変化が検出された場合、前記第１のモードで記録処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記制御手段は、前記取得手段により取得される時系列の複数の画像において、所定フレーム毎に前記第１のモードで記録処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
前記制御手段は、前記第１のモードで記録処理された動画像が再生されるときに、当該第１のモードで記録処理された画像であることを報知することを特徴とする請求項１ないし１６のいずれか１項に記載の画像処理装置。
【請求項１８】
前記深度分布情報は、複数の視点画像の視差量に基づく像ずれマップ、領域ごとのデフォーカス量に基づくデフォーカスマップ、画像データにおける各被写体の相対的な距離関係を示す距離マップ、ＴＯＦ法により取得された撮像装置から各被写体までの距離関係を示す距離情報のうちいずれかであることを特徴とする請求項１ないし１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記取得手段は、前記取得された画像データに対応する対を成す視差画像の視差量に基づいて、当該画像データに対応する前記深度分布情報である像ずれマップを算出して取得することを特徴とする請求項１ないし１８のいずれか１項に記載の画像処理装置。
【請求項２０】
前記取得手段は、前記取得された画像データの領域ごとのデフォーカス量に基づいて、当該画像データに対応する前記深度分布情報であるデフォーカスマップを算出して取得することを特徴とする請求項１ないし１８のいずれか１項に記載の画像処理装置。
【請求項２１】
前記取得手段は、前記取得された画像データの領域ごとのデフォーカス量と撮像光学系または撮像素子に基づいて、当該画像データに対応する前記深度分布情報である各被写体の相対的な距離関係を算出して取得することを特徴とする請求項１ないし１８のいずれか１項に記載の画像処理装置。
【請求項２２】
前記取得手段は、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うＴＯＦ法を用いて、画像データに対応する前記深度分布情報である撮像装置から各被写体までの被写体距離を取得することを特徴とする請求項１ないし１８のいずれか１項に記載の画像処理装置。
【請求項２３】
前記制御手段は、前記第１のモードにて、画像加工前のＲＡＷ画像のデータを記録する制御を行うことを特徴とする請求項１ないし２２のいずれか１項に記載の画像処理装置。
【請求項２４】
前記ＲＡＷ画像は、デモザイキング処理、ホワイトバランス調整、色変換処理、またはガンマ補正を含む画像処理が行われていない画像であることを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
請求項１から２４のいずれか１項に記載の画像処理装置と、
被写体を撮像する撮像手段と、を備えることを特徴とする撮像装置。
【請求項２６】
前記撮像手段により被写体を撮像し画像データを生成する際の露出条件を制御する露出条件制御手段を備え、
前記露出条件制御手段は、前記第１のモードにてフレームの画像内の被写体の動き量を取得し、前記動き量とフレーム間隔から前記フレームの次のフレームの撮像に係るシャッタ速度およびフレームレートのうちの１つ以上を決定することを特徴とする請求項２５に記載の撮像装置。
【請求項２７】
複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置の制御方法であって、
画像データに対応する、被写体の深度分布情報を取得する取得工程と、
前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御工程と、を有し、
前記制御工程は、ユーザが設定する前記複数の画像データの撮像のフレームレートに応じて決まる所定フレームごとに前記第１のモードと前記第２のモードとを切替えて前記複数の画像データの記録処理を行うことを特徴とする制御方法。
【請求項２８】
請求項２７に記載の各ステップを画像処理装置のコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の一実施形態の装置は、複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、画像データに対応する、被写体の深度分布情報を取得する取得手段と、前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備え、前記制御手段は、ユーザが設定する前記複数の画像データの撮像のフレームレートに応じて決まる所定フレームごとに前記第１のモードと前記第２のモードとを切替えて前記複数の画像データの記録処理を行う。