【手続補正書】
【提出日】平成25年10月15日(2013.10.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、複数の上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するとともに、上記動被写体画像の動作推移に応じて移動する移動体を表現する移動体画像データを生成して上記動作推移画像データと合成することで、上記移動体の画像を含む移動体画像付き動作推移画像データを生成する合成処理を行う合成処理部と、
を備えた画像処理装置。
【請求項２】
上記合成処理部は、上記移動体画像データとして、上記移動体の軌道判定処理に基づいて移動体軌道画像データを生成し、
上記移動体軌道画像データを上記動作推移画像データと合成して、上記移動体画像付き動作推移画像データを生成する請求項１に記載の画像処理装置。
【請求項３】
上記移動体の軌道判定処理は、
フレーム画像データ内に存在する移動体画像の位置を用いて、そのフレーム画像データで表現される時点以降における上記移動体の位置を予測し、上記移動体の移動軌道を判定する処理を含む請求項２に記載の画像処理装置。
【請求項４】
上記移動体の軌道判定処理は、
移動体軌道情報により上記移動体の移動軌道を判定する処理である請求項２に記載の画像処理装置。
【請求項５】
上記移動体の軌道判定処理は、
動作推移画像データで表現される動被写体の動作を解析して、フレーム画像データ内には画像として存在しない移動体の移動軌道を判定する処理である請求項２に記載の画像処理装置。
【請求項６】
上記合成処理部で生成した上記移動体画像付き動作推移画像データを出力する画像出力部をさらに備えた請求項１に記載の画像処理装置。
【請求項７】
上記合成処理部は、順次所定の方向に並んで配置された複数の動被写体画像の最後の動被写体画像に続く画像領域に、上記移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う請求項２に記載の画像処理装置。
【請求項８】
上記合成処理部は、上記移動体の画像が配置される画像領域の背景画像として、上記フレーム画像データに含まれる背景画像を用いて上記合成処理を行う請求項７に記載の画像処理装置。
【請求項９】
上記合成処理部は、上記移動体の画像が配置される画像領域の背景画像として、上記フレーム画像データに存在しない画像を用いて上記合成処理を行う請求項７に記載の画像処理装置。
【請求項１０】
順次所定の方向に並んで配置される複数の動被写体画像の最後の動被写体画像を指定する指定部をさらに備え、
上記合成処理部は、上記指定部で指定された最後の動被写体画像までの動作推移画像データを生成するとともに、上記最後の動被写体画像に続く画像領域に、上記移動体画像データによる移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う請求項７に記載の画像処理装置。
【請求項１１】
移動体の画像が配置される画像領域を指定する指定部をさらに備え、
上記合成処理部は、上記指定部で指定された画像領域に至るまでの画像領域に、複数の動被写体画像が並んで配置され、その最後の動被写体画像に続く上記指定された画像領域に、上記移動体画像データによる移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う請求項７に記載の画像処理装置。
【請求項１２】
上記合成処理部は、順次所定の方向に並んで配置された複数の動被写体画像に重畳して上記移動体の画像が配置されるように、上記移動体軌道画像データと上記動作推移画像データの合成処理を行う請求項１に記載の画像処理装置。
【請求項１３】
上記合成処理部は、上記合成処理で、上記移動体軌道画像データによる画像が、上記動作推移画像データの画像よりも優先して表示される、移動体画像付き動作推移画像データを生成する請求項１２に記載の画像処理装置。
【請求項１４】
順次所定の方向に並んで配置された複数の動被写体画像のうちで一の動被写体画像を指定する指定部をさらに備え、
上記合成処理部は、上記指定部で指定された動被写体画像の拡大画像と、上記移動体軌道画像データとの合成処理を行う請求項２に記載の画像処理装置。
【請求項１５】
上記合成処理部は、フレーム画像データに含まれる移動体の画像を用いて、上記移動体軌道画像データを生成する請求項２に記載の画像処理装置。
【請求項１６】
上記合成処理部は、フレーム画像データに含まれる移動体の実写画像以外の画像を用いて、上記移動体軌道画像データを生成する請求項２に記載の画像処理装置。
【請求項１７】
上記合成処理部は、フレーム画像データからキーフレームを選択し、選択した複数のキーフレームから抽出した動被写体画像を、順次所定の方向に並べて配置して上記動作推移画像データを生成する請求項１に記載の画像処理装置。
【請求項１８】
上記合成処理部は、
最新のフレーム画像データの動被写体レイヤーを第１に優先し、
前回の合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、
最新のフレーム画像データの背景レイヤーを第３に優先し、
前回の合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態で合成処理を行うことで、上記動作推移画像データを生成する請求項１に記載の画像処理装置。
【請求項１９】
複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するステップと、
上記動被写体画像の動作推移に応じて移動する移動体を表現する移動体画像を生成するステップと、
上記移動体画像を上記動作推移画像データと合成することで、上記移動体画像を含む移動体画像付き動作推移画像データを生成する合成処理を行うステップと、
を備えた画像処理方法。
【請求項２０】
複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するステップと、
上記動被写体画像の動作推移に応じて移動する移動体を表現する移動体画像を生成するステップと、
上記移動体画像を上記動作推移画像データと合成することで、上記移動体画像を含む移動体画像付き動作推移画像データを生成する合成処理を行うステップと、
を演算処理装置に実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理装置は、複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、複数の上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するとともに、上記動被写体画像の動作推移に応じて移動する移動体を表現する移動体画像データを生成して上記動作推移画像データと合成することで、上記移動体の画像を含む移動体画像付き動作推移画像データを生成する合成処理を行う合成処理部とを備える。
また上記合成処理部は、上記移動体画像データとして、上記移動体の軌道判定処理に基づいて移動体軌道画像データを生成し、上記移動体軌道画像データを上記動作推移画像データと合成して、上記移動体画像付き動作推移画像データを生成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記移動体の軌道判定処理は、フレーム画像データ内に存在する移動体画像の位置を用いて、そのフレーム画像データで表現される時点以降における上記移動体の位置を予測し、上記移動体の移動軌道を判定する処理を含む。
或いは上記移動体の軌道判定処理は、移動体軌道情報により上記移動体の移動軌道を判定する処理である。
或いは上記移動体の軌道判定処理は、動作推移画像データで表現される動被写体の動作を解析して、フレーム画像データ内には画像として存在しない移動体の移動軌道を判定する処理である。
また、上記合成処理部で生成した上記移動体画像付き動作推移画像データを出力する画像出力部をさらに備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また順次所定の方向に並んで配置された複数の動被写体画像のうちで一の動被写体画像を指定する指定部をさらに備え、上記合成処理部は、上記指定部で指定された動被写体画像の拡大画像と、上記移動体軌道画像データとの合成処理を行う。
また上記合成処理部は、フレーム画像データに含まれる移動体の画像を用いて、上記移動体軌道画像データを生成する。
また上記合成処理部は、フレーム画像データに含まれる移動体の実写画像以外の画像を用いて、上記移動体軌道画像データを生成する。
また上記合成処理部は、フレーム画像データからキーフレームを選択し、選択した複数のキーフレームから抽出した動被写体画像を、順次所定の方向に並べて配置して上記動作推移画像データを生成する。
また上記合成処理部は、最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、最新のフレーム画像データの背景レイヤーを第３に優先し、前回の合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態で合成処理を行うことで、上記動作推移画像データを生成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の画像処理方法は、複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成するステップと、上記動被写体画像の動作推移に応じて移動する移動体を表現する移動体画像を生成するステップと、上記移動体画像を上記動作推移画像データと合成することで、上記移動体画像を含む移動体画像付き動作推移画像データを生成する合成処理を行うステップとを備える。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
このような本発明では、まず、複数のフレーム画像データに含まれる動被写体画像を用いた合成処理を行い、上記動被写体画像が順次所定の方向に並んで配置されていくことで動被写体の動作推移を表現する動作推移画像データを生成する。これによって動被写体の動作推移を的確に表現する。これに加えて、動被写体画像の動作推移に応じて移動する移動体（例えば動被写体の動作で放たれるボール等）を表現する移動体画像を生成する。この移動体画像は、例えば移動体の軌道を推定してそれを表現する移動体軌道画像などとする。これは実際にはフレーム画像データ内に存在しない画像も用いて、明確に移動体の挙動がわかるような画像とすることができる。
そして、このような移動体画像を動作推移画像データと合成することで、移動体画像付き動作推移画像データを生成するが、これは、動被写体の動作推移と、移動体の挙動がそれぞれ十分に表現されたものとなる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
このように、合成の際に重複部分となるＡ領域において、図９のレイヤー合成を行うことで、動被写体ＦＲｘＤの一部が欠損することなく、それまでの合成画像データに加えられる状態となる。従って、図３に示したように、多数のキーフレームを用いても、動被写体の動作が適切に表現された動作推移画像が生成されることになる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
例えばフレームＦＲ２１がインパクトタイミングの画像で、インパクト直後のフレーム画像データ、つまりボールが所期位置から移動した画像は、フレームＦＲ２２であるとする。
フレームＦＲ１〜フレームＦＲ２１までのフレーム画像データが入力される時点では、それぞれ上述のステップＦ１０３〜Ｆ１１０の処理が行われる。
フレームＦＲ２２が入力された時点で、処理はステップＦ１１１に進む。この場合、まずボール座標計算部６１でフレームＦＲ２２内のボール座標が計算される。この場合のボール軌道は、フレームＦＲ２１以前までの静止していた位置座標と、今回のボール位置座標を結ぶ軌道となる。
この軌道に応じた画像がステップＦ１１３，Ｆ１１４で生成、保持され、ステップＦ１１５で、ボール軌道画像がそれまでの動作推移画像と合成される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１８０
【補正方法】変更
【補正の内容】
【０１８０】
ここで図２６（ｂ）のようにユーザが表示最終フレームとして指定したフレームＦＲ（Ｐ１）は、この図２６（ｂ）の動作推移画像においては、１９番目のキーフレームである。
一方、図２７（ｂ）のように、ボール軌道始点として下段の約１／３の位置をユーザが指定した場合、その位置からボール軌道画像を配置する。そして本実施の形態の場合、前述したように、動作推移画像とボール軌道画像は重複させない。
すると、ボール軌道画像の始点位置のあたりに表示最終フレームとして指定されたフレームＦＲ（Ｐ１）を配置することとなる。この始点位置は、図２６（ａ）の画像でいえば１５番目のキーフレームＦＲ（ＳＰ１）の配置位置に相当する。
つまり、当初１９番目のキーフレームとしたフレームＦＲ（Ｐ１）を、最終的に生成される図２８（ａ）では１５番目のキーフレームとして動作推移画像を生成することとなる。
従ってこの場合、ステップＦ２４１でキーフレームを再選択する際には、当初１９番目に選択したキーフレームが、今度は１５番目に選択されるように、キーフレーム数を調整してキーフレームを選択するものとなる。
この例の場合は、最初にステップＦ２０９〜Ｆ２１０の処理でキーフレームとして用いた２２個のフレームうちの、さらにフレームＦＲ１〜ＦＲ（Ｐ１）までの１９個のキーフレームのうちで、フレームＦＲ（Ｐ１）を含めて１５個のフレームを選択することとなる。これは、フレームＦＲ１〜ＦＲ（Ｐ１）までの１９個のキーフレームのうちで４フレームを間引いても良いし、或いは、予備キーフレーム保持部９で保持されている多数のフレームを用いて、フレームＦＲ（Ｐ１）に至る１５個のフレームを選択してもよい。