(57)【要約】【課題】動画像から、被写体の動きが視覚的に把握可能な静止画像を効率よく生成することができる静止画合成装置、及び動画像からの静止画合成方法を提供する。【解決手段】動画像を構成する各フレームを順に復号するとともに、対象となるフレームを復号する間には、マクロブロック毎に可変長復号された動きベクトルが閾値よりも大きいか否かを判定する。それが大きければ、そのブロックの復元された画像を、当該フレームにおいて動きのあった被写体部分を構成する部分画像として判定し、合成処理部７ｂのスチルメモリ７１に記憶されているベース画像に合成する。これを繰り返すことにより、被写体の動きが視覚的に把握可能な静止画像がスチルメモリ７１に生成される。【選択図】    図２
2005006191.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置において、
前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、
この選択手段により選択された部分画像を静止画像に合成する合成手段と
を備えたことを特徴とする静止画合成装置。
【請求項２】
前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像を部分画像として選択することを特徴とする請求項１記載の静止画合成装置。
【請求項３】
前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像と、当該画像に隣接する部分の画像とを部分画像として選択することを特徴とする請求項１記載の静止画合成装置。
【請求項４】
前記選択手段は、前記隣接する部分画像のうち、所定の選択条件を満足するものを選択することを特徴とする請求項３記載の静止画合成装置。
【請求項５】
前記所定の選択条件は、前記動きベクトルと共に復号に使用する予測誤差の大きさであることを特徴とする請求項４記載の静止画合成装置。
【請求項６】
フレーム画像における部分画像の輪郭を抽出する輪郭抽出手段を備えるとともに、前記所定の選択条件は、動きベクトルが所定の閾値よりも大きい部分の画像から前記輪郭抽出手段により抽出された輪郭と、前記隣接する部分画像から前記輪郭抽出手段により抽出された輪郭との間における連続性の度合であることを特徴とする請求項４又は５記載の静止画合成装置。
【請求項７】
同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段を備え、
前記合成手段は、前記演算手段により演算されたフレーム動きベクトルに基づき、当該フレーム画像から前記選択手段によって選択された部分画像における静止画像への合成位置を補正することを特徴とする請求項１乃至６いずれか記載の静止画合成装置。
【請求項８】
フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の静止画像を抽出し静止画像に合成する静止画合成方法であって、
前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択し、選択した部分画像を静止画像に合成することを特徴とする静止画合成方法。
【請求項９】
フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置が有するコンピュータを、
前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、
この選択手段により選択された部分画像を静止画像に合成する合成手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置、及び動画像からの静止画合成方法に関する。
【０００２】
【従来の技術】
従来、デジタルカメラにおいては、１回の撮影操作で被写体を複数回連続して撮影する連写撮影モードを備えたものがある。係る撮影モードは、動きのある被写体の画像を時系列的に記録することができるため、例えばゴルフスウィングや野球の投球動作等のフォーム分析を行う場合に用いられている。
【０００３】
さらに、前述した連写撮影モードで記録した複数画像から、各画像について動きのあった被写体部分を切り出し、切り出した複数の被写体部分の画像を１枚の画像に合成することによって、被写体の動きを視覚的に把握できるようにする技術が本出願人において提案されるに至っている（下記特許文献１参照。）。
【０００４】
【特許文献１】
特開平１１−３３１６９３号公報
【０００５】
【発明が解決しようとする課題】
ところで、上記のように被写体部分の画像を１枚の画像に合成することにより、被写体の動きを視覚的に把握可能とすることは、連写撮影モードで記録された複数の静止画像に限らず、時系列で記録された複数のフレーム画像からなる動画像に用いても有効である。
【０００６】
しかしながら、前述した技術を動画像に適用する場合には、静止画像として合成すべき被写体部分の切り出し作業に先立ち、予め動画を構成する全てのフレーム画像について、それを他のフレーム画像と比較し、動きのあった被写体部分の部分画像を特定する作業が不可欠であるため、処理効率が悪い。その結果、被写体の動きを視覚的に把握可能な静止画像を合成するには多大な時間を要するという問題があった。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画像から、被写体の動きが視覚的に把握可能な静止画像を効率よく生成することができる静止画合成装置、及び動画像からの静止画合成方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するために請求項１の発明にあっては、フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置において、前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、この選択手段により選択された部分画像を静止画像に合成する合成手段とを備えたものとした。
【０００９】
かかる構成においては、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができる。
【００１０】
また、請求項２の発明にあっては、前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像を部分画像として選択するものとした。
【００１１】
かかる構成においては、静止画像への合成に適した部分画像だけを抽出することができる。
【００１２】
また、請求項３の発明にあっては、前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像と、当該画像に隣接する部分の画像とを部分画像として選択するものとした。
【００１３】
かかる構成においては、各フレーム画像における、本来抽出して合成すべき部分画像が欠落する率を減少させることができる。
【００１４】
また、請求項４の発明にあっては、前記選択手段は、前記隣接する部分画像のうち、所定の選択条件を満足するものを選択するものとした。
【００１５】
かかる構成においては、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができる。
【００１６】
また、請求項５の発明にあっては、前記所定の選択条件は、前記動きベクトルと共に復号に使用する予測誤差の大きさであるものとした。
【００１７】
かかる構成においても、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができる。
【００１８】
また、請求項６の発明にあっては、フレーム画像における部分画像の輪郭を抽出する輪郭抽出手段を備えるとともに、前記所定の選択条件は、動きベクトルが所定の閾値よりも大きい部分の画像から前記輪郭抽出手段により抽出された輪郭と、前記隣接する部分画像から前記輪郭抽出手段により抽出された輪郭との間における連続性の度合であるものとした。
【００１９】
かかる構成においては、各フレーム画像から、合成すべき部分画像をより一層精度よく抽出することができる。
【００２０】
また、請求項７の発明にあっては、同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段を備え、前記合成手段は、前記演算手段により演算されたフレーム動きベクトルに基づき、当該フレーム画像から前記選択手段によって選択された部分画像における静止画像への合成位置を補正するものとした。
【００２１】
かかる構成においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができる。
【００２２】
また、請求項８の発明にあっては、フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の静止画像を抽出し静止画像に合成する静止画合成方法であって、前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択し、選択した部分画像を静止画像に合成する方法とした。
【００２３】
かかる方法によれば、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができる。また、それをフレーム画像を復号する過程で行うことができる。
【００２４】
また、請求項９の発明にあっては、フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置が有するコンピュータを、前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、この選択手段により選択された部分画像を静止画像に合成する合成手段として機能させるためのプログラムとした。
【００２５】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
【００２６】
（第１の実施の形態）
図１は、本発明の各実施の形態に共通する静止画合成装置１を示すブロック図である。静止画合成装置１は、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に準拠する動画データ、すなわちフレーム間予測符号化技術を用いて符号化された動画像から、被写体の動きが視覚的に把握可能な静止画を生成する機能を有するものであり、画像データ取込み部２と、ワークメモリ３、操作部４、画像処理部５、モニタ８、プリンタ９とを備えている。
【００２７】
ここで、ＭＰＥＧ方式により記録されている動画像の概略について説明する。すなわち、ＭＰＥＧ方式においては、図１１に示したように動画を構成する一連のフレーム画像Ｆ１〜Ｆｎに、Ｉピクチャ（Ｉｎｔｒａ  Ｐｉｃｔｕｒｅ、フレーム内符号化画像）と、Ｐピクチャ（Ｐｒｅｄｉｃｉｔｉｖｅ  Ｐｉｃｔｕｒｅ、順方向予測符号化画像）及びＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  Ｐｉｃｔｕｒｅ、双方向予測符号化画像）とが混在している。Ｉピクチャはフレーム内符号化により記録されている完全な画像であるが、Ｐ、Ｂピクチャはフレーム間予測符号化により記録されている画像であって、図１２に示したように所定数に分割されたマクロブロック毎に、動きベクトル（ＭＶ）と予測誤差によって表現されており、それらと共に、先に復号されている他のフレーム画像（Ｐピクチャでは過去のフレーム画像、Ｂピクチャについては過去又は未来のフレーム画像）を復元用予測画像を用いて復元されるようになっている。動きベクトルは、過去（又は未来）のフレームとの間における被写体が動いた方向と距離とを示すデータであり、予測誤差は、過去（又は未来）のフレームとの間における画素値の差分情報をＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）係数により量子化したデータである。つまり、ＰピクチャとＢピクチャとは、いずれかのＩピクチャを起点とする一連の再生処理を経なければ生成し得ない画像である。
【００２８】
一方、前述した画像データ取込み部２は、上述した構成の動画データを取り込む部分であり、例えばデジタルカメラやデジタルビデオカメラに設けられた動画エンコーダ、或いは動画データが蓄積されたハードディスク等の記録媒体や、動画データが蓄積されたビデオＣＤが装着されるディスクドライブ等である。ワークメモリ３は、動画像の各フレームデータを記憶したり、それに基づき後述する方法により作成される静止画データを記憶するＤＲＡＭ等である。操作部４はユーザーインターフェイスとして各種の操作キーから構成されており、動画像のどの部分から静止画を合成するかを指示するための操作キーが含まれる。
【００２９】
画像処理部５は、動画データをデコードするデコード部６と、デコードしたデータに基づき静止画を合成する画像合成部７から構成される。図２は、前記画像処理部５の詳細を示すブロック図であり、前記デコード部６は、第１及び第２の可変長復号部６ａ，６ｂと、逆量子化部６ｃ、逆ＤＣＴ部６ｄ、動き補償部６ｅ、フレームメモリ６ｆを備えている。また、前記画像合成部７は、採用判定部７ａと合成処理部７ｂとを備えており、採用判定部７ａが本発明の選択手段として機能する。合成処理部７ｂは、静止画データの生成過程で使用されるスチルバッファ７１を備えるとともに本発明の合成手段として機能する。
【００３０】
モニタ８は、画像処理部５においてデーコードされた動画像や合成された静止画像を表示し、プリンタ９は合成された静止画を印刷する。
【００３１】
次に、以上の構成からなる静止画合成装置１の動作を説明する。図３は、例えば記録されている任意の動画像から静止画像を合成するときの動作を示すフローチャートである。
【００３２】
静止画合成装置１は、画像データ取込み部２から指定された動画データを読み出し（ステップＳ１）、動画像を構成する複数のフレーム画像Ｆ１〜Ｆｎ（図１１）から、ユーザーに、所望するスタートフレーム、ベースフレーム、エンドフレームを指定させる（ステップＳ２）。スタートフレームは静止画像を合成するとき最初に処理対象となるフレーム、エンドフレームは最後に処理対象となるフレームであり、ベースフレームは、スタートフレームとエンドフレームとの間のフレームに含まれる部分画像を合成するとき元（背景）となるフレーム画像である。なお、ベースフレームとして指定させるフレーム画像の種類はＩ、Ｐ、Ｂピクチャのいずれであってもよく、また、動画像とは別に記録されている任意の静止画像や空白（単色で塗りつぶされた画像）を指定可能としてもよい。
【００３３】
また、上記各フレームの指定は、例えば動画像を先頭から再生してモニタ８に表示させながら所望するフレーム画像を選択させることにより行う。その際、前記画像処理部５においては、前記デコード部６が以下の動作で各フレーム画像を復元する。なお、以下の説明では、便宜上、動画像を構成する複数のフレーム画像Ｆ１〜Ｆｎが、ＩピクチャとＰピクチャのみであることを前提とする。
【００３４】
先ず、先頭のフレーム画像Ｆ１つまりＩピクチャを復元するときには、ブロック毎に、第１の可変長復号部６ａによるＤＴＣ係数の復号化、逆量子化部６ｃによる逆量子化処理、逆ＤＣＴ部６ｄによる逆ＤＣＴ演算を順に行って対象ブロックの画像（以下、部分画像という。）を復元する。そして、それを前述したワークメモリ３へ出力する一方、フレームメモリ６ｆにも蓄積する。これを全てのブロックに対して行うことにより、ワークメモリ３及びフレームメモリ６ｆにフレーム画像Ｆ１を生成する。
【００３５】
さらに、２枚目以降のフレーム画像つまりＰピクチャの復元に際しては、ＤＴＣ係数と動きベクトルＭＶ（図１２参照）とを分離した後、各々を第１及び第２の可変長復号部６ａ，６ｂによって復号し、復号したＤＴＣ係数に対して逆量子化処理、逆ＤＣＴ演算を順に行い予測誤差の画像データを取得する。また、動き補償部６ｅによって、フレームメモリ６ｆに蓄積されている画像を復元用予測画像とし、そこから、復号した動きベクトルＭＶによって表されるブロック部分の画像データを取り出し、それを前記予測誤差の画像データに加えることにより部分画像を復元する。そして、それを前述したワークメモリ３へ出力する一方、フレームメモリ６ｆにも蓄積する。これを全てのブロックに対して行うことにより、ワークメモリ３にフレーム画像が生成され、かつ同一の画像がフレームメモリ６ｆの新たな復元用予測画像として更新される。
【００３６】
一方、前述したスタートフレーム、ベースフレーム、エンドフレームが指定されたら、指定されたベースフレームの静止画データを合成処理部７ｂのスチルバッファ７１に記憶する（ステップＳ３）。なお、前述したように動画像を先頭から再生してモニタ８に表示させてベースフレームを指定させる場合には、その時点で記憶させてもよい。
【００３７】
引き続き、動画像における対象フレーム（当初はスタートフレーム）を選択し（ステップＳ４）、さらにそのフレームにおける復元対象となる対象ブロックを選択し（ステップＳ５）、その部分画像を、前述した通常の動画再生時と同様の手順で復元する。またその間には、前記採用判定部７ａにおいて動きベクトルＭＶを抽出し（ステップＳ６）、それが予め決められている閾値よりも大きいか否かを判断する（ステップＳ７）。ここで動きベクトルＭＶが閾値よりも大きければ（ステップＳ７でＹＥＳ）、合成処理部７ｂにおいてスチルバッファ７１に記憶されているベースフレームの画像（静止画像）に、復元した部分画像を合成する（ステップＳ８）。
【００３８】
また、動きベクトルＭＶが閾値以下であれば（ステップＳ７でＮＯ）、上記合成処理をスキップして、次の対象ブロックについてもステップＳ６〜Ｓ８の処理を行う。やがて、全てのブロックに対する処理が終了したら（ステップＳ９でＹＥＳ）、引き続き、対象フレームに次のフレームを選択した後（ステップＳ４）、ステップＳ５〜Ｓ９の処理を繰り返す。つまり、前記スチルバッファ７１に記憶している画像に、各フレーム画像から抽出された部分画像であって、前のフレーム画像と比べて一定以上の動きがあった被写体部分の画像である部分画像だけを復号順に合成する。
【００３９】
そして、エンドフレームまでの全てのフレームに対する処理が終了したら（ステップＳ１０でＹＥＳ）、その時点で、スチルバッファ７１に記憶されている合成画像のデータ、つまり被写体の動きを視覚的に把握することができる静止画像のデータをワークメモリ３へ出力して合成処理を終了する。なお、ワークメモリ３へ出力された静止画像は、その後、モニタ８によって表示されるとともに、ユーザーの指示に応じてプリンタ９により印刷される。
【００４０】
以上のように、本実施の形態においては、動画像から、被写体の動きが視覚的に把握可能な静止画像を生成するとき、スタートフレームからエンドフレームまでの処理対象とする複数のフレーム画像から、必要な部分画像だけを動きベクトルに基づき選択的に抽出して静止画像に合成するため、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がない。よって、静止画像の生成を効率的に行うことができる。
【００４１】
また、本実施の形態では、部分画像（ブロック毎の画像）の抽出処理、及び静止画像への合成処理を、処理対象とする複数のフレーム画像の復元（復号）処理を行う間にそれと並行して行うため、前述したように動画像の再生に使用するデコード部６を静止画像合成時に流用することができる。したがって、静止画合成装置１の構成が簡単であり、それを容易かつ低コストで実施することができる。
【００４２】
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。第１の実施の形態では、各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像を抽出して静止画像に合成するものとしたが、本実施の形態は、動画像を構成する各フレーム画像が、例えば図４に示したように横９×縦６のブロック（マクロブロック）に分割されて符号化されているとき、動きベクトルが閾値よりも大きいブロック（同図に黒塗りで示したブロック）の画像（部分画像）と共に、それと隣接するブロック（斜線及び網掛けで示したブロック）の画像（他の部分画像）も静止画像として合成するものである。
【００４３】
図５は、本実施の形態の静止画合成装置における画像処理部５の詳細を示した図２に対応するブロック図である。本実施の形態では、前述した採用判定部７ａに採用判定バッファ７２が設けられている。この採用判定バッファ７２は、復号処理中の対象フレームの全ブロックについて、それが静止画像として合成すべきブロックか否かの判定結果を記憶するためのバッファ（一時記憶用のメモリ等）であって、この採用判定バッファ７２にはブロック毎に判定結果が記憶されるよう構成されている。
【００４４】
そして、本実施の形態においては、第１の実施の形態と同様に、スタートフレームからエンドフレームまでの対象フレームを復号する間に、採用判定バッファ７２が、対象ブロック毎に動きベクトルが閾値よりも大きいか否かを判別し、閾値よりも大きいときには、そのブロックの画像を合成すべきものであることを示す採用フラグを採用判定バッファ７２に記憶する。同時に、そのブロックに隣接する他のブロックについても採用フラグを記憶する。
【００４５】
図６は、係る採用フラグの記憶処理動作の内容を示す説明図であって、同図において、「ブロック番号」は採用判定バッファ７２内でブロック毎に付与されている、同一フレーム内での復号順（左から右、上から下へ向かう順）と一致する番号を、「動きベクトル」はブロック毎の動きベクトルを、「採用判定」は前記採用フラグの有無、及びそれが記憶された原因を示している。また「採用判定」の「×」は採用フラグが記録されていないことを示し、「◎」はそのブロックにおける動きベクトルが閾値よりも大きいことに起因して採用フラグが記録されたことを示し、かつ「○」はそのブロックが、それと隣接する他のブロックの動きベクトルが閾値よりも大きいことに起因して採用フラグが記録されたことを示している。
【００４６】
また、図示した例は、動きベクトルの閾値が例えば（５，５）である場合を示したものであって、この場合においては、ブロック番号２１，２２，２４のブロックの動きベクトルが（２，１）、ブロック番号２３のブロック（ここでは、図４に黒塗りで示したブロックである）の動きベクトルが（１０，−１２）であるため、上記の判別、及び判定の記憶処理が繰り返し行われる間、ブロック番号２２のブロックが復号対象となった時点まで、ブロック番号２１，２２の採用判定は「×」となるが、ブロック番号２３のブロックが復号対象となった時点で、その採用判定が「◎」となると同時に、それと隣接するブロック番号２２，２４のブロックの採用判定が「○」となることとなる。なお、図６には示さないが、ブロック番号１３〜１５，３１〜３３のブロックの採用判定も「○」となる。
【００４７】
そして、全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用判定バッファ７２において採用フラグが記憶されている（図６で採用判定が「◎」又は「○」である）ブロックの情報が採用判定部７ａから前記合成処理部７ｂへ送られる。さらに、それに応答して合成処理部７ｂが、それらのブロックに対応する複数の部分画像をフレームメモリ６ｆから読み出すとともに、それらを内部のスチルバッファ７１に記憶されている静止画像に順に合成する。
【００４８】
それ以後、対象フレームを順に切り換えながら、各フレーム画像について前述と同様の処理を実施する。そして、エンドフレームまでの全てのフレームに対する処理が終了したら、第１の実施の形態と同様、その時点で、スチルバッファ７１に記憶されている合成画像のデータ、つまり被写体の動きを視覚的に把握することができる静止画像のデータをワークメモリ３へ出力して合成処理を終了する。
【００４９】
ここで本実施の形態においては、スタートフレームからエンドフレームまでの各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像（部分画像）と共に、その周囲のブロックの画像（他の部分画像）も抽出し、それらの部分画像を静止画像として合成するため、第１の実施の形態と比べ以下のような効果を得ることができる。
【００５０】
すなわち動画像の各フレーム間における動き補償の有無は動画が符号化された時点で適宜決められているものであるため、動きのある被写体部分の全て、つまり被写体部分が含まれる全てのブロックについて動き補償が行われているとは限らない。そのため、動きベクトルが閾値よりも大きいブロックだけを静止画像に合成する場合には、動きのある被写体部分が含まれているにもかかわらず、合成されない部分画像が存在することとなる。一方、あるブロックの画像が、動きがあった被写体部分を構成しているときには、それと隣接するブロックの画像が上記被写体部分を構成している場合が多い。したがって、本実施の形態によれば、本来抽出して合成すべき部分画像が欠落する率を減少させることができるため、最終的に生成する静止画像に、動きのある被写体部分をより忠実に反映させることができる。
【００５１】
また、第１の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置１の構成が簡単であり、それを容易に実現することができる。
【００５２】
（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。第２の実施の形態では、動きベクトルが閾値よりも大きいブロックに隣接するブロックの画像を全て静止画像に合成するものとしたが、本実施の形態は、隣接するブロックのうち予測誤差の大きいものだけを静止画像に合成するものである。
【００５３】
図７は、本実施の形態の静止画合成装置における画像処理部５の詳細を示した図５に対応するブロック図である。本実施の形態では第２の実施の形態と異なり、逆ＤＣＴ部６ｄにおいて復元された予測誤差（画素値のデータ）を採用判定部７ａに入力するとともに、採用判定バッファ７２には、前述した判定結果に加え予測誤差のデータがブロック毎に記憶されるよう構成されている。
【００５４】
そして、本実施の形態においても、スタートフレームからエンドフレームまでの対象フレームを復号する間、採用判定部７ａは、対象ブロック毎に動きベクトルが閾値よりも大きいか否かを判別し、閾値よりも大きいときには、そのブロックの画像を合成すべきものであることを示す採用フラグを採用判定バッファ７２に記憶する。さらに、対象ブロックの予測誤差も採用判定バッファ７２に記憶する。やがて全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用フラグが記憶されているブロックと隣接するブロックのうち、記憶されている予測誤差が予め決められている閾値よりも大きいブロックについて新たに採用フラグを記憶する。なお、予測誤差の大きさは、例えば当該ブロック内の全ての画素値の合計値や平均値である。
【００５５】
図８は、上記の採用フラグの記憶処理動作の内容を示した、図６に対応する説明図であって、図示したように本実施の形態では、動きベクトルが閾値よりも大きかったブロック番号２３と隣接するブロック番号２２，２４のブロックのうち、予測誤差が小さいブロック番号２２のブロックについては採用判定が「×」となり、予測誤差が大きいブロック番号２４のブロックについてはブロックの採用判定は「○」となる。
【００５６】
そして、全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用判定バッファ７２において採用フラグが記憶されている（図８で採用判定が「◎」又は「○」である）ブロックの情報が採用判定部７ａから前記合成処理部７ｂへ送られる。さらに、それに応答して合成処理部７ｂが、それらのブロックに対応する複数の部分画像をフレームメモリ６ｆから読み出すとともに、それらを内部のスチルバッファ７１に記憶されている静止画像に順に合成する。なお、これ以後の動作については第２の実施の形態と同様である。
【００５７】
以上のように本実施の形態においては、スタートフレームからエンドフレームまでの各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像と共に、それと隣接するブロックの画像のうちで予測誤差が閾値よりも大きなものを抽出し、それらの部分画像を静止画像として合成するため、以下のような効果を得ることができる。
【００５８】
すなわち、前述したように動きベクトルが閾値よりも大きいブロックだけを静止画像に合成する場合には、動きのある被写体部分が含まれているにもかかわらず、抽出されず合成されないブロックの画像（部分画像）が存在することとなる。一方、あるブロックの画像が、動きがあった被写体部分を構成しているときには、それと隣接するブロックの画像が上記被写体部分を構成している場合が多く、しかも予測誤差が大きいブロックについてはその確率が極めて高い。したがって、第２の実施の形態に比べると、合成すべき部分画像の抽出精度が高く、ベースフレームとして指定された静止画像に、動きのある被写体部分を正確に合成することができる。
【００５９】
また、第１及び第２の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。
【００６０】
（第４の実施の形態）
次に、本発明の第４の実施の形態を説明する。第３の実施の形態では、前記採用判定部７ａが、予測誤差が所定の閾値よりも大きいことを条件（選択条件）として、動きベクトルが閾値よりも大きいブロックに隣接したブロックの合成の可否を判定するものとしたが、本実施の形態は、上記条件に、そのブロックの画像が、動きベクトルが閾値よりも大きいブロックの画像との間で輪郭に連続性があることを加えたものである。
【００６１】
図９は、本実施の形態の静止画合成装置における画像処理部５の詳細を示す、第３の実施の形態で図７に示したものに対応するブロック図である。本実施の形態では第３の実施の形態と異なり、前記フレームメモリ６ｆに記憶されている復元用予測画像のデータが入力するとともに、入力した画像から輪郭を抽出する本発明の輪郭抽出手段である輪郭抽出部７ｃを有しており、そこで抽出された輪郭のデータが採用判定部７ａへ出力される構成となっている。
【００６２】
そして、本実施の形態においても、スタートフレームからエンドフレームまでの対象フレームを復号する間、採用判定部７ａは、対象ブロック毎に動きベクトルが閾値よりも大きいブロックについて、その画像が合成すべきものであることを示す採用フラグを採用判定バッファ７２に記憶する。また、全てのブロックについて上記の判別、及び判定フラグの記憶が終了したら、その時点で、採用フラグが記憶されているブロックと隣接するブロックのうち、記憶されている予測誤差が予め決められている閾値よりも大きいブロックについて新たに採用フラグを記憶する。
【００６３】
さらに、本実施の形態では、採用判定部７ａが、採用フラグが記憶されているブロックと、それに隣接する各々のブロック（但し、採用フラグが記憶されているものは除く）について、互いの画像における輪郭をフレーム画像における位置関係に即して所定の方法により比較し、両者間における輪郭の連続性を数値化する。そして、隣接する各々のブロックに前記連続性が所定レベルに達しているものがあれば、そのブロックについて、採用判定バッファ７２に新たに採用フラグを記憶する。
【００６４】
以後は、第３の実施の形態と同様に、採用判定バッファ７２において採用フラグが記憶されているブロックの情報が採用判定部７ａから合成処理部７ｂへ送られ、それに基づき合成処理部７ｂによって複数の部分画像がフレームメモリ６ｆから読み出されるとともに、それが内部のスチルバッファ７１に記憶されている静止画像に順に合成されることとなる。
【００６５】
以上のように本実施の形態においては、動きベクトルが閾値よりも大きいブロックに隣接したブロックの合成の可否を判定する際の条件として、そのブロックの画像が、動きベクトルが閾値よりも大きいブロックの画像との間で輪郭に一定以上の連続性があることを追加したことから、第３の実施の形態に比べ、各フレーム画像から合成すべき部分画像をより一層精度よく抽出することができる。その結果、ベースフレームとして指定された静止画像に、動きのある被写体部分だけを確実に合成することができる。
【００６６】
また、第１〜第３の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。
【００６７】
（第５の実施の形態）
次に、本発明の第５の実施の形態を説明する。本実施の形態は、スタートフレームからエンドフレームまでの対象フレームを復号する間に、第３の実施の形態と同様の方法により抽出した部分画像を静止画像に合成するとき、その位置を補正するものである。
【００６８】
図１０は、本実施の形態の静止画合成装置における画像処理部５の詳細を示す、第３の実施の形態で図７に示したものに対応するブロック図である。本実施の形態では第３の実施の形態と異なり、前記画像合成部７（図１）が、採用判定部７ａと合成処理部７ｂに加え、フレーム動きベクトル推定部７ｄと、本発明の演算手段として機能するフレーム動きベクトル累積部７ｅとを備えており、フレーム動きベクトル推定部７ｄには、第２の可変長復号部６ｂで復号された対象ブロックの動きベクトルが入力する構成となっている。
【００６９】
そして、本実施の形態においては、対象フレームを復号する間、画像合成部７が以下のように動作する。すなわち採用判定部７ａは第３の実施の形態で説明した手順で、同一フレームの全ブロックについて、その画像を静止画像として合成すべきか否かの判定を行うとともに、その判定結果を採用判定バッファ７２に記憶する。一方、それと並行してフレーム動きベクトル推定部７ｄは、入力した各ブロックの動きベクトルについて、その内容別に出現回数をカウントする統計的処理を行い、最終的な処理結果をフレーム動きベクトル累積部７ｅへ出力する。フレーム動きベクトル累積部７ｅは、入力した動きベクトルの内容別の出現回数（ブロック数）に基づき、各ブロックにおける全体的な動きの傾向を示すフレーム動きベクトルを演算し、それを合成処理部７ｂへ出力する。
【００７０】
前記フレーム動きベクトルの演算は、最も出現回数が多い動きベクトルについて、出現回数が決められた数以上で、かつその動きベクトルが決められた閾値（合成するブロックの判定に用いられるものとは異なる閾値である。）よりも小さいといった決定条件を満たせば、その動きベクトルを前記フレーム動きベクトルとして決定し、上記決定条件を満たさなければ、フレーム動きベクトルの内容を動き無しを示すもの（０，０）とする演算である。
【００７１】
ここで、フレーム動きベクトルの演算に際して、対象フレームが撮影時にカメラ揺れがあったものである場合、本来は動きのない背景等の被写体部分のブロックについては、その動きベクトルの内容が同一となる可能性が高い。例えば各ブロックの動きベクトルの内容が図８に示したようなものであって、ブロック番号２１，２２，２４のブロックのように微少な動きを示す動きベクトル（２，１）が大勢を占めている場合が、それに相当する。そして、上記動きベクトル（２，１）が前述した決定条件を満たすものであった場合には、それがフレーム動きベクトルとして合成処理部７ｂへ出力される。
【００７２】
また、合成処理部７ｂは、採用判定部７ａから各ブロックの採用判定結果が送られると、それに従い複数の部分画像をフレームメモリ６ｆから読み出すとともに、それらを内部のスチルバッファ７１に記憶されている静止画像に順に合成する。そのとき、本実施の形態においては、合成処理部７ｂが、読み出した部分画像を、本来のブロック位置から前記フレーム動きベクトルより示される距離だけ所定の方向へシフトさせて静止画像に合成する。これにより、静止画像に合成される部分画像におけるカメラ揺れに起因する位置ズレが補償される。なお、これ以外の動作については第３の実施の形態と同様である。
【００７３】
以上のように本実施の形態においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができる。したがって、最終的に得られる静止画像から撮影時のカメラ揺れの影響を排除することができ、静止画像の品質が向上する。
【００７４】
また、第１〜第４の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。
【００７５】
なお、本実施の形態では、静止画像における部分画像の合成位置を、部分画像の合成時点でフレーム動きベクトルに基づき補正するようにしたが、以下のようにしてもよい。すなわち前記採用判定部７ａに、全ての対象ブロックの動きベクトルを記憶するバッファを設けるとともに、前記フレーム動きベクトル累積部７ｅから採用判定部７ａにフレーム動きベクトルを出力させる構成とするとともに、前記採用判定部７ａに、前記バッファに記憶した全ての動きベクトルをフレーム動きベクトルに基づき予め補正した後、各ブロックに対する前述した判定処理を行わせるようにしてもよい。その場合であっても、結果的には静止画像における部分画像の合成位置をフレーム動きベクトルに基づき補正することができる。
【００７６】
また、本実施の形態においては、第３の実施の形態を基本としたものについて説明したが、それ以外の前述した他の実施の形態にフレーム動きベクトル推定部７ｄとフレーム動きベクトル累積部７ｅとを付加することにより、静止画像から撮影時のカメラ揺れの影響を排除するようにしてもよい。
【００７７】
なお、以上の説明においては、主として、被写体の動きを視覚的に把握することができる静止画像を生成し、それを表示したり印刷したりする静止画合成装置について説明したが、本発明は、例えば動画撮影機能を有するデジタルカメラや、デジタルビデオカメラに適用することができる。また、前述した画像処理部５が行うデータ処理は、専用のハードウェア資源を用いなくとも実現することができる。したがって、例えば汎用のパーソナルコンピュータと、それに前記画像処理部５と同様のデータ処理を行わせるための所定のソフトウェアとによっても本発明を実施することができる。
【００７８】
【発明の効果】
以上説明したように、請求項１の発明においては、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができるようにした。よって、静止画像の生成を効率的に行うことが可能となる。
【００７９】
また、請求項２の発明においては、静止画像への合成に適した部分画像だけを抽出することができるようにした。よって、被写体の動きを視覚的に把握するのにより適した静止画像を得ることが可能となる。
【００８０】
また、請求項３の発明においては、各フレーム画像における、本来抽出して合成すべき部分画像が欠落する率を減少させることができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分をより忠実に反映させることが可能となる。
【００８１】
また、請求項４の発明においては、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分を正確に合成することができる。
【００８２】
また、請求項５の発明においては、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分を正確に合成することが可能となる。
【００８３】
また、請求項６の発明においては、各フレーム画像から、合成すべき部分画像をより一層精度よく抽出することができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分だけを確実に合成することが可能となる。
【００８４】
また、請求項７の発明においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができるようにした。よって、最終的に得られる静止画像から撮影時のカメラ揺れの影響を排除することができ、生成する静止画像の品質を向上させることが可能となる。
【００８５】
また、請求項８の発明においては、その方法を用いることにより、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができ、またそれをフレーム画像を復号する過程で行うことができるようにした。よって、静止画像の生成を効率的に行うことが可能となるとともに、それを容易かつ低コストで実施することができる。
【００８６】
また、請求項９の発明においては、そのプログラムを用いることにより、特定のハードウェア資源を用いることなく、汎用的なハードウェア資源によって請求項１〜請求項８の発明を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の各実施の形態に共通する静止画合成装置のブロック図である。
【図２】第１の実施の形態における画像処理部を示すブロック図である。
【図３】同実施の形態において静止画像を合成するときの動作を示すフローチャートである。
【図４】フレーム画像におけるマクロブロックを示す図である。
【図５】第２の実施の形態における画像処理部を示すブロック図である。
【図６】同実施の形態の採用判定部による採用フラグの記憶処理動作の内容を示す説明図である。
【図７】第３の実施の形態における画像処理部を示すブロック図である。
【図８】同実施の形態の採用判定部による採用フラグの記憶処理動作の内容を示す説明図である。
【図９】第４の実施の形態における画像処理部を示すブロック図である。
【図１０】第５の実施の形態における画像処理部を示すブロック図である。
【図１１】動画データの構成を示す模式図である。
【図１２】フレーム画像を構成するデータの内容を示す説明図である。
【符号の説明】
１    静止画合成装置
２    画像データ取込み部
５    画像処理部
６    デコード部
６ａ    第１の可変長復号部
６ａ    第２の可変長復号部
６ｃ    逆量子化部
６ｄ    逆ＤＣＴ部
６ｅ    動き補償部
６ｆ    フレームメモリ
７    画像合成部
７ａ    採用判定部
７ｂ    合成処理部
７ｃ    輪郭抽出部
７ｄ    フレーム動きベクトル推定部
７ｅ    フレーム動きベクトル累積部
８    モニタ
９    プリンタ
【図１】
2005006191.tif 000003
【図２】
2005006191.tif 000004
【図３】
2005006191.tif 000005
【図４】
2005006191.tif 000006
【図５】
2005006191.tif 000007
【図６】
2005006191.tif 000008
【図７】
2005006191.tif 000009
【図８】
2005006191.tif 000010
【図９】
2005006191.tif 000011
【図１０】
2005006191.tif 000012
【図１１】
2005006191.tif 000013
【図１２】
2005006191.tif 000014