【手続補正書】
【提出日】平成17年3月24日(2005.3.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレーム間予測符号化処理により符号化された動画像を取得する取得手段と、
この取得手段により取得された前記動画像に含まれる各フレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択する選択手段と、
この選択手段により選択された部分画像を静止画像に合成する合成手段と
を備えたことを特徴とする静止画合成装置。
【請求項２】
前記選択手段は、
前記フレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断する動きベクトル判断手段を含み、
前記動きベクトル判断手段により動きベクトルが所定の閾値よりも大きいと判断された部分の画像を部分画像として選択することを特徴とする請求項１記載の静止画合成装置。
【請求項３】
前記選択手段は、更に、
前記動きベクトル判断手段により動きベクトルが所定の閾値よりも大きいと判断された部分の画像に隣接する部分の画像を部分画像として選択することを特徴とする請求項２記載の静止画合成装置。
【請求項４】
前記選択手段は、更に、
前記隣接する部分画像が所定の選択条件を満足するか否かを判断する選択条件判断手段を含み、
前記選択条件判断手段により所定の選択条件を満足すると判断された前記隣接する部分画像を選択することを特徴とする請求項３記載の静止画合成装置。
【請求項５】
前記選択条件判断手段は、
前記隣接する部分画像における、前記動きベクトルと共に前記フレーム画像を復号する際に使用する予測誤差が、所定の閾値よりも大きいか否かを判断することを特徴とする請求項４記載の静止画合成装置。
【請求項６】
フレーム画像中の部分画像の輪郭を抽出する輪郭抽出手段を備え、
前記選択条件判断手段は、
前記輪郭抽出手段により動きベクトルが所定の閾値よりも大きい部分の画像から抽出された輪郭と、前記輪郭抽出手段により前記隣接する部分画像から抽出された輪郭との間における連続性の度合が所定の閾値よりも大きいか否かを判断することを特徴とする請求項４又は５記載の静止画合成装置。
【請求項７】
同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段と、
前記演算手段により演算されたフレーム動きベクトルに基づき、前記合成手段により静止画像に合成される部分画像の静止画像に対する合成位置を補正する補正手段と
を更に備えたことを特徴とする請求項１乃至６いずれか記載の静止画合成装置。
【請求項８】
前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、
前記選択手段は、前記指定手段により指定されたフレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択することを特徴とする請求項１乃至７いずれか記載の静止画合成装置。
【請求項９】
前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、
前記選択手段は、前記指定手段により指定されたフレーム画像からの複数のフレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択することを特徴とする請求項１乃至７いずれか記載の静止画合成装置。
【請求項１０】
前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、
前記選択手段は、前記指定手段により指定されたフレーム画像までの複数のフレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択することを特徴とする請求項１乃至７いずれか記載の静止画合成装置。
【請求項１１】
前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、
前記合成手段は、前記選択手段により選択された部分画像を、前記指定手段により指定されたフレーム画像に合成することを特徴とする請求項１乃至７いずれか記載の静止画合成装置。
【請求項１２】
前記合成手段により生成された合成静止画像を表示出力又は印刷出力する画像出力手段を備えたことを特徴とする請求項１乃至１１いずれか記載の静止画合成装置。
【請求項１３】
前記取得手段は、ＭＰＥＧ方式により符号化された動画像を取得することを特徴とする請求項１乃至１２いずれか記載の静止画合成装置。
【請求項１４】
前記取得手段は、
フレーム間予測符号化処理により符号化された動画像を記憶するメモリを含み、
前記メモリに記憶されている動画像を取得することを特徴とする請求項１乃至１３いずれか記載の静止画合成装置。
【請求項１５】
前記取得手段は、
動画像をフレーム間予測符号化処理により符号化するエンコーダを含み、
前記エンコーダにより符号化された動画像を取得することを特徴とする請求項１乃至１４いずれか記載の静止画合成装置。
【請求項１６】
前記取得手段は、
被写体を撮像し、動画像を出力する撮像手段を含み、
前記エンコーダは、
前記撮像手段から出力された動画像をフレーム間予測符号化処理により符号化することを特徴とする請求項１５記載の静止画合成装置。
【請求項１７】
フレーム間予測符号化処理により符号化された動画像を取得するステップと、
前記取得された動画像に含まれる各フレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択するステップと、
前記選択された部分画像を静止画像に合成するステップと
を含むことを特徴とする動画像からの静止画合成方法。
【請求項１８】
静止画合成装置が有するコンピュータに、
フレーム間予測符号化処理により符号化された動画像を取得する処理と、
前記取得された動画像に含まれる各フレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択する処理と、
前記選択された部分画像を静止画像に合成する処理と
を実行させるための静止画合成プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
【課題を解決するための手段】
前記課題を解決するために請求項１の発明にあっては、フレーム間予測符号化処理により符号化された動画像を取得する取得手段と、この取得手段により取得された前記動画像に含まれる各フレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択する選択手段と、この選択手段により選択された部分画像を静止画像に合成する合成手段とを備えたものとした。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、請求項２の発明にあっては、前記選択手段は、前記フレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断する動きベクトル判断手段を含み、前記動きベクトル判断手段により動きベクトルが所定の閾値よりも大きいと判断された部分の画像を部分画像として選択するものとした。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、請求項３の発明にあっては、前記選択手段は、更に、前記動きベクトル判断手段により動きベクトルが所定の閾値よりも大きいと判断された部分の画像に隣接する部分の画像を部分画像として選択するものとした。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、請求項４の発明にあっては、前記選択手段は、更に、前記隣接する部分画像が所定の選択条件を満足するか否かを判断する選択条件判断手段を含み、前記選択条件判断手段により所定の選択条件を満足すると判断された前記隣接する部分画像を選択するものとした。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、請求項５の発明にあっては、前記選択条件判断手段は、前記隣接する部分画像における、前記動きベクトルと共に前記フレーム画像を復号する際に使用する予測誤差が、所定の閾値よりも大きいか否かを判断するものとした。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、請求項６の発明にあっては、フレーム画像中の部分画像の輪郭を抽出する輪郭抽出手段を備え、前記選択条件判断手段は、前記輪郭抽出手段により動きベクトルが所定の閾値よりも大きい部分の画像から抽出された輪郭と、前記輪郭抽出手段により前記隣接する部分画像から抽出された輪郭との間における連続性の度合が所定の閾値よりも大きいか否かを判断するものとした。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、請求項７の発明にあっては、同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段と、前記演算手段により演算されたフレーム動きベクトルに基づき、前記合成手段により静止画像に合成される部分画像の静止画像に対する合成位置を補正する補正手段とを更に備えたものとした。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、請求項８の発明にあっては、前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、 前記選択手段は、前記指定手段により指定されたフレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択するものとした。
また、請求項９の発明にあっては、前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、 前記選択手段は、前記指定手段により指定されたフレーム画像からの複数のフレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択するものとした。
また、請求項１０の発明にあっては、前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、前記選択手段は、前記指定手段により指定されたフレーム画像までの複数のフレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択するものとした。
また、請求項１１の発明にあっては、前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、前記合成手段は、前記選択手段により選択された部分画像を、前記指定手段により指定されたフレーム画像に合成するものとした。
また、請求項１２の発明にあっては、前記合成手段により生成された合成静止画像を表示出力又は印刷出力する画像出力手段を備えたものとした。
また、請求項１３の発明にあっては、前記取得手段は、ＭＰＥＧ方式により符号化された動画像を取得するものとした。
また、請求項１４の発明にあっては、前記取得手段は、フレーム間予測符号化処理により符号化された動画像を記憶するメモリを含み、前記メモリに記憶されている動画像を取得するものとした。
また、請求項１５の発明にあっては、前記取得手段は、動画像をフレーム間予測符号化処理により符号化するエンコーダを含み、前記エンコーダにより符号化された動画像を取得するものとした。
また、請求項１６の発明にあっては、前記取得手段は、被写体を撮像し、動画像を出力する撮像手段を含み、前記エンコーダは、前記撮像手段から出力された動画像をフレーム間予測符号化処理により符号化するものとした。
また、請求項１７の発明にあっては、フレーム間予測符号化処理により符号化された動画像を取得するステップと、前記取得された動画像に含まれる各フレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択するステップと、前記選択された部分画像を静止画像に合成するステップとを含む動画像からの静止画合成方法とした。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、請求項１８の発明にあっては、静止画合成装置が有するコンピュータに、フレーム間予測符号化処理により符号化された動画像を取得する処理と、前記取得された動画像に含まれる各フレーム画像を復号する際に使用する動きベクトルに基づき、前記フレーム画像中の部分画像を選択する処理と、前記選択された部分画像を静止画像に合成する処理とを実行させるための静止画合成プログラムとした。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
また、請求項１７の発明においては、その方法を用いることにより、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きの合った被写体部分の部分画像を直接抽出し、それを静止画像に合成することができ、またそれをフレーム画像を復号する過程で行うことができるようにした。よって、静止画像の生成を効率的に行うことが可能となるとともに、それを容易かつ低コストで実施することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
また、請求項１８の発明においては、そのプログラムを用いることにより、特定のハードウェア資源を用いることなく、汎用的なハードウェア資源によって請求項１の発明を実現することが可能となる。