【手続補正書】
【提出日】平成28年4月1日(2016.4.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明に係る画像処理装置は、操作履歴を示す履歴情報に基づいて焦点を合わせる対象の順位を決定する決定手段と、前記決定手段で決定された順位に従って、前記対象に焦点を合わせた合成画像データを複数の視点位置から撮像して得られた多視点画像データから順次生成する生成手段と、前記生成された合成画像データを表示させる制御手段と、を備え、前記生成手段は、前記表示された合成画像データに対するユーザーからのパラメータの入力がない間、前記順位に従って前記合成画像データを順次生成することを特徴とする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
操作履歴を示す履歴情報に基づいて焦点を合わせる対象の順位を決定する決定手段と、
前記決定手段で決定された順位に従って、前記対象に焦点を合わせた合成画像データを複数の視点位置から撮像して得られた多視点画像データから順次生成する生成手段と、
前記生成された合成画像データを表示させる制御手段と、を備え、
前記生成手段は、前記表示された合成画像データに対するユーザーからのパラメータの入力がない間、前記順位に従って前記合成画像データを順次生成することを特徴とする画像処理装置。
【請求項２】
前記表示された合成画像データに対するユーザーからのパラメータの入力があった場合、前記制御手段は、
前記入力されたパラメータに対応する対象に焦点を合わせた合成画像データが前記生成手段によって生成されているかを判定し、
前記生成手段によって生成されていると判定した場合は当該生成されている合成画像データを表示させ、
前記生成手段によって生成されていないと判定した場合は当該パラメータに対応する対象に焦点を合わせた合成画像データを前記生成手段に生成させる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記多視点画像データが示す画像に含まれる物体を認識する認識手段をさらに備え、
前記決定手段は、前記認識手段によって認識された物体を前記対象として抽出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表示された合成画像データに対してユーザーから入力されたパラメータに対応する領域を含む対象が選択された回数を前記履歴情報として記憶する履歴情報記憶手段をさらに備えることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
焦点を合わせる対象を示すモードが優先設定されているかを判定する判定手段をさらに備え、
前記決定手段は、前記判定手段によって前記モードが優先設定されていると判定された場合、前記モードに適合する対象の前記順位を変更することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記決定手段は、前記モードにおける操作履歴を示す第２の履歴情報を用いて前記順位の変更をすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
複数の視点位置から撮像して得られた多視点画像データから、操作履歴を示す履歴情報に応じた対象に焦点を合わせた合成画像データを、ユーザーからのパラメータの入力なしで表示する表示手段を
有することを特徴とする画像処理装置。
【請求項８】
ユーザーからの指示により、画像上で焦点を合わせたくない非合焦領域を特定する特定手段と、
前記特定された非合焦領域に対応するピント面を決定する決定手段と、
前記決定されたピント面を用いて複数の画像データを合成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項９】
前記合成手段は、少なくとも２つの異なる視点から撮像された複数の画像データを合成することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記合成手段は、少なくとも２つの連続する時刻において撮像された複数の画像データを合成することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記特定手段は、ユーザーからの指示により、画像上で焦点を合わせたい合焦領域をさらに特定することを特徴とする請求項８から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記合成手段で合成された画像データに前記特定手段で特定された合焦領域または非合焦領域の位置を示す位置情報を付加する付加手段をさらに備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記付加手段は、前記位置情報が合焦領域か非合焦領域かを示す属性情報を前記位置情報に関連付けてさらに前記画像データに付加することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記付加手段により前記位置情報が付加された画像データが示す画像に対する前記ユーザーからの指示に基づいて、前記付加手段により前記位置情報が付加された画像データが示す画像上で前記非合焦領域を前記特定手段が特定した場合、
前記付加手段は、前記画像データに付加される前記属性情報を、前記非合焦領域を示す情報で更新することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記特定手段は、ユーザーが画像上の領域を一定時間以上指示した場合、前記指示された領域を前記非合焦領域として特定することを特徴とする請求項８から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記特定手段は、ユーザーが画像上の領域を一定時間内に連続して指示した場合、前記指示された領域を前記合焦領域として特定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１７】
前記決定手段は、ユーザーの指示に基づき、ピント面の位置をずらすことで前記非合焦領域に対応するピント面を決定することを特徴とする請求項８から１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記決定手段は、ユーザーの指示に基づき、被写界深度を調整することで前記非合焦領域に対応するピント面を決定することを特徴とする請求項８から１７のいずれか一項に記載の画像処理装置。
【請求項１９】
前記決定手段は、ユーザーの指示に基づき、ピント面を形成する元となる曲線の形状を調整することで前記非合焦領域に対応するピント面を決定することを特徴とする請求項８から１８のいずれか一項に記載の画像処理装置。
【請求項２０】
前記決定手段は、画像データに付加される合焦領域の位置を示す位置情報に基づいて前記非合焦領域に対応するピント面を決定することを特徴とする請求項８から１９のいずれか一項に記載の画像処理装置。
【請求項２１】
前記決定手段は、画像データに付加される非合焦領域の位置を示す位置情報にさらに基づいて前記非合焦領域に対応するピント面を決定することを特徴とする請求項８から２０のいずれか一項に記載の画像処理装置。
【請求項２２】
対象物を識別するための識別用データと、該識別用データに関連付けられた、対象物の合焦状態を示す合焦状態データとを取得する取得手段と、
画像内に前記識別用データと一致する対象物が存在するか判定する判定手段と、
前記判定手段によって前記画像内に識別用データと一致する対象物が存在すると判定された場合、前記識別用データに関連付けられた合焦状態データに基づいて複数の画像データを合成する際のピント面を決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項２３】
前記合焦状態データは、対象物が合焦対象であるか非合焦対象であるかを示すことを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
前記取得手段は、前記識別用データとして識別コードを取得し、
前記判定手段は、前記識別コードが前記画像を示す画像データに含まれる場合、前記対象物が存在すると判定することを特徴とする請求項２２または２３に記載の画像処理装置。
【請求項２５】
前記取得手段は、前記識別用データとして対象物の特徴を示す認識情報を取得し、
前記判定手段は、前記認識情報と前記画像内のオブジェクトとを比較することによって前記判定を行うことを特徴とする請求項２２または２３に記載の画像処理装置。
【請求項２６】
前記取得手段は、前記識別用データとして識別コードと対象物の特徴を示す認識情報とを取得し、
前記判定手段は、前記識別コードが前記画像を示す画像データに含まれない場合、前記認識情報と前記画像内のオブジェクトとを比較することによって前記判定を行うことを特徴とする請求項２２または２３に記載の画像処理装置。
【請求項２７】
前記判定手段は、画像内に占める面積の大きさ、画像内の位置、またはその両方に基づく順位に従って検出される複数のオブジェクトを用いて前記比較を行うことを特徴とする請求項２５または２６に記載の画像処理装置。
【請求項２８】
前記決定手段によって決定されたピント面を示す情報を、前記画像を示す画像データに付加する付加手段をさらに備えることを特徴とする請求項２２から２７のいずれか一項に記載の画像処理装置。
【請求項２９】
前記決定手段によって決定されたピント面を示す情報は、前記識別用データと、前記合焦状態データと、前記対象物の前記画像における位置を示す位置情報とが関連付けられた情報であることを特徴とする請求項２８に記載の画像処理装置。
【請求項３０】
前記取得手段で取得した識別用データに対応する対象物についての位置情報が前記画像データに付加されている場合、前記画像データに前記識別用データに関連付けられて付加されている合焦状態データを、前記取得手段で取得した合焦状態データで更新する更新手段をさらに有することを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
前記取得手段で取得する識別用データに一致しない識別用データが前記画像データに付加されている場合、該一致しない識別用データと、該一致しない識別用データに関連付けられている合焦状態データと、位置情報と、を前記画像データから削除する削除手段をさらに備えることを特徴とする請求項２９または３０に記載の画像処理装置。
【請求項３２】
前記複数の画像データの集合と、対象物を識別するための識別用データ及び該識別用データに関連付けられた対象物の合焦状態を示す合焦状態データとを階層化されたグループ毎に保持する保持手段をさらに備え、
前記判定手段は、前記取得手段で取得した識別用データと合焦状態データとが属するグループ及び該グループによって包含されるグループに属する画像データに対して前記判定を行うことを特徴とする請求項２２から３１のいずれか一項に記載の画像処理装置。
【請求項３３】
前記識別用データと一致すると判定された対象物を含む領域を画像から抽出することにより生成される対象物データを表示する表示手段と、
前記表示手段によって表示された前記対象物データに対するユーザーからの指示に従い、前記識別用データを更新する更新手段とを
さらに備えることを特徴とする請求項２２から３２のいずれか一項に記載の画像処理装置。
【請求項３４】
前記識別用データと一致すると判定された対象物を含む領域を画像から抽出することにより生成される対象物データを表示する表示手段と、
前記表示手段によって表示された前記対象物データに対するユーザーからの指示に従い、前記対象物データが抽出された画像データ内の前記画像内の対象物が存在する位置情報を削除する削除手段と
をさらに備えることを特徴とする請求項２２から３３のいずれか一項に記載の画像処理装置。
【請求項３５】
複数の視点から撮像された画像データを含む画像ファイルのデータ構造であって、
前記画像データと、
前記画像データが示す画像における合焦する対象物の位置情報を示すデータと
を含むデータ構造。
【請求項３６】
前記画像データが示す画像における合焦する対象物の位置情報を示すデータの有無を示すデータをさらに含むことを特徴とする請求項３５に記載のデータ構造。
【請求項３７】
複数の視点から撮像された画像データを含む画像ファイルのデータ構造であって、
前記画像データと、
前記画像データが示す画像における非合焦する対象物の位置情報を示すデータと
を含むデータ構造。
【請求項３８】
前記画像データが示す画像における非合焦する対象物の位置情報を示すデータの有無を示すデータをさらに含むことを特徴とする請求項３７に記載のデータ構造。
【請求項３９】
複数の視点から撮像された画像データを含む画像ファイルのデータ構造であって、
前記画像データと、
前記画像データが示す画像における対象物の位置情報を示すデータと、
前記対象物が合焦する対象物かまたは非合焦する対象物かを示すデータと
を含むデータ構造。
【請求項４０】
前記画像データを除く各データは、対象物ごとに含まれることを特徴とする請求項３５から３９のいずれか一項に記載のデータ構造。
【請求項４１】
操作履歴を示す履歴情報に基づいて焦点を合わせる対象の順位を決定する決定ステップと、
前記決定ステップで決定された順位に従って、前記対象に焦点を合わせた合成画像データを複数の視点位置から撮像して得られた多視点画像データから順次生成する生成ステップと、
前記生成された合成画像データを表示させる制御ステップと、を備え、
前記生成ステップにおいて、前記表示された合成画像データに対するユーザーからのパラメータの入力がない間、前記順位に従って前記合成画像データが順次生成されることを特徴とする画像処理方法。
【請求項４２】
複数の視点位置から撮像して得られた多視点画像データから、操作履歴を示す履歴情報に応じた対象に焦点を合わせた合成画像データを、ユーザーからのパラメータの入力なしで表示する表示ステップを
有することを特徴とする画像処理方法。
【請求項４３】
ユーザーからの指示により、画像上で焦点を合わせたくない非合焦領域を特定する特定ステップと、
前記特定された非合焦領域に対応するピント面を決定する決定ステップと、
前記決定されたピント面を用いて複数の画像データを合成する合成ステップと
を備えることを特徴とする画像処理方法。
【請求項４４】
対象物を識別するための識別用データと、該識別用データに関連付けられた対象物の合焦状態を示す合焦状態データとを取得する取得ステップと、
画像内に前記識別用データと一致する対象物が存在するか判定する判定ステップと、
前記判定ステップによって前記画像内に識別用データと一致する対象物が存在すると判定された場合、前記識別用データに関連付けられた合焦状態データに基づいて複数の画像データを合成する際のピント面を決定する決定ステップと
を備えることを特徴とする画像処理方法。
【請求項４５】
コンピュータを請求項１から３４のいずれかに記載の画像処理装置として機能させるためのプログラム。