【手続補正書】
【提出日】令和2年8月27日(2020.8.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力動画像データに含まれる複数フレームのうち少なくとも１つのフレームに対して、仮想ライトの動きを規定する第１の動作モードと、前記第１の動作モードとは異なる前記仮想ライトの動きを規定する第２の動作モードとを少なくとも含む複数の動作モードのうち、１つの動作モードを選択する設定手段と、
前記設定手段により設定された動作モードに基づいて、前記複数フレームに設定する前記仮想ライトのパラメータを導出する導出手段と、
前記導出手段により導出された前記仮想ライトのパラメータに基づいて、前記複数フレームそれぞれに対して前記仮想ライトによる照明効果を加えるライティング処理を実行する実行手段と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記入力動画像データに含まれる前記複数フレームそれぞれを、前記導出手段により前記導出された前記仮想ライトのパラメータに基づき前記ライティング処理が施された前記複数フレームそれぞれに置き換えて得られる、出力動画像データを出力する出力手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記導出手段は、
前記仮想ライトの位置または方向が前記動作モードに従って時間軸上で変化するように、前記複数フレームそれぞれに設定する前記仮想ライトのパラメータを導出する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記動作モードには少なくとも、前記仮想ライトをカメラに追従させるカメラ基準モードと、前記仮想ライトを被写体に追従させる被写体基準モードと、前記仮想ライトの動作がカメラや被写体の動作に依存しないシーン基準モードと、が含まれる
ことを特徴とする請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記入力動画像データを解析して該入力動画像データについて設定可能な前記動作モードを決定し、前記設定可能な前記動作モードを示す選択肢情報を生成する生成手段をさらに備え、
前記設定手段は、
前記選択肢情報により示される前記動作モードの中から、１つの動作モードを選択する
ことを特徴とする請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記入力動画像データを撮像により取得したカメラの設置状態に応じて、該入力動画像データについて設定可能な前記動作モードを決定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記生成手段は、
前記入力動画像データから被写体の位置姿勢を示す情報が取得できるか否かに応じて、該入力動画像データについて設定可能な前記動作モードを決定する
ことを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記生成手段は、
前記入力動画像データから、該入力動画像データを撮像により取得したカメラの位置姿勢を示す情報が取得できるか否かに応じて、該入力動画像データについて設定可能な前記動作モードを決定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
ユーザの指示に基づき、前記入力動画像データに含まれる前記複数フレームのうち少なくとも１つのフレームに対して、前記仮想ライトのパラメータを設定するパラメータ設定手段をさらに備え、
前記導出手段は、
前記設定手段により設定された動作モードに基づいて、前記パラメータ設定手段によって設定された前記仮想ライトのパラメータを座標変換し、前記座標変換された前記仮想ライトのパラメータに基づいて前記複数フレームに設定する前記仮想ライトのパラメータを導出する
ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の画像処理装置。
【請求項１０】
時間軸上で連続する複数フレームが、前記ライティング処理の対象とされ、
前記ライティング処理の対象とされる前記複数フレームを、ユーザの指示に基づき指定する指定手段をさらに備える
ことを特徴とする請求項１から請求項９のうちのいずれか１項に記載の画像処理装置。
【請求項１１】
前記複数の動作モードの中からいずれかの動作モードを指定させるための第１のユーザインタフェイスと、前記仮想ライトのパラメータとして前記仮想ライトの位置姿勢と発光特性を表すパラメータを指定させるための第２のユーザインタフェイスと、を少なくとも表示装置に表示させる表示制御手段をさらに備え、
前記設定手段は、
前記第１のユーザインタフェイスを介してユーザが指定した動作モードを選択し、
前記導出手段は、
前記第２のユーザインタフェイスを介してユーザが指定した前記仮想ライトのパラメータを、前記設定手段により設定された動作モードに基づいて座標変換し、前記座標変換された前記仮想ライトのパラメータに基づいて前記複数フレームに設定する前記仮想ライトのパラメータを導出する
ことを特徴とする請求項１から請求項１０のうちのいずれか１項に記載の画像処理装置。
【請求項１２】
前記導出手段は、
前記仮想ライトのパラメータを、前記入力動画像データを撮像により取得したカメラの位置姿勢に基づく座標系で表された値から、前記設定手段により設定された動作モードに対応する座標系で表した値に変換する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記導出手段は、
前記仮想ライトを被写体に追従させる被写体基準モードが前記設定手段により設定された場合には、前記仮想ライトのパラメータを、前記仮想ライトを追従させる被写体の位置姿勢に基づく座標系で表した値に変換する
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記導出手段は、
前記仮想ライトの動作が前記カメラや被写体の動作に依存しないシーン基準モードが前記設定手段により設定された場合には、前記仮想ライトのパラメータを、シーン中に設定された基準位置に基づく座標系で表した値に変換する
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記導出手段は、
前記仮想ライトを前記カメラに追従させるカメラ基準モードが前記設定手段により設定された場合には、前記座標変換を行わない
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
前記表示制御手段は、
前記第１のユーザインタフェイスを介してユーザが指定した動作モードと、前記入力動画像データから取得可能なカメラまたは被写体の位置姿勢を示す情報とから、前記仮想ライトのパラメータとして設定不可であると判断された発光特性を、前記第２のユーザインタフェイスにおいて指定できないようにする
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１７】
時間軸上で連続する複数フレームが、前記ライティング処理の対象とされ、
前記表示制御手段は、
前記ライティング処理の対象とされる前記複数フレームの先頭フレームの時刻と、該時刻からの経過時間とをユーザに指定させるための第３のユーザインタフェイスを前記表示装置に表示させる
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１８】
時間軸上で連続する複数フレームが、前記ライティング処理の対象とされ、
前記表示制御手段は、
前記ライティング処理の対象とされる前記複数フレームの先頭フレーム及び末尾フレームの時間軸上における位置をユーザに指定させるための第４のユーザインタフェイスを前記表示装置に表示させる
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１９】
入力動画像データに含まれる複数フレームのうち少なくとも１つのフレームに対して、仮想ライトの動きを規定する第１の動作モードと、前記第１の動作モードとは異なる前記仮想ライトの動きを規定する第２の動作モードとを少なくとも含む複数の動作モードのうち、１つの動作モードを選択する設定ステップと、
前記設定ステップにより設定された動作モードに基づいて、前記複数フレームに設定する前記仮想ライトのパラメータを導出する導出ステップと、
前記導出ステップにより導出された前記仮想ライトのパラメータに基づいて、前記複数フレームそれぞれに対して前記仮想ライトによる照明効果を加えるライティング処理を実行する実行ステップと、を含む
ことを特徴とする画像処理方法。
【請求項２０】
コンピュータを、請求項１から１８のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明による画像処理装置は、入力動画像データに含まれる複数フレームのうち少なくとも１つのフレームに対して、仮想ライトの動きを規定する第１の動作モードと、前記第１の動作モードとは異なる前記仮想ライトの動きを規定する第２の動作モードとを少なくとも含む複数の動作モードのうち、１つの動作モードを選択する設定手段と、前記設定手段により設定された動作モードに基づいて、前記複数フレームに設定する前記仮想ライトのパラメータを導出する導出手段と、前記導出手段により導出された前記仮想ライトのパラメータに基づいて、前記複数フレームそれぞれに対して前記仮想ライトによる照明効果を加えるライティング処理を実行する実行手段と、を備えることを特徴とする。