(57)【要約】【課題】被写体の動きが等速度である時、緩急織り交ざっている時のいずれの場面においても、被写体の大まかな動きを表示しつつ、被写体自身も重複させずに表示する多重合成画像の出力が可能になる画像処理装置を提供する。【解決手段】画像処理装置は、動画像から静止画像を取得する取得手段と、動画像中の注目被写体を設定する設定手段と、取得手段で取得された複数の静止画像から、注目被写体の動きベクトルを算出する算出手段と、取得手段で取得された複数の静止画像を合成する合成手段とを有し、合成手段は、取得手段により取得された第１静止画像と、当該第１静止画像と比較して算出手段で算出される注目被写体の動きベクトルが所定値より大きい第２静止画像とを合成処理する。各手段は、ＣＰＵ１３０がその機能を有する。【選択図】図２
2008167220.tif 000002
【特許請求の範囲】
【請求項１】
動画像から抽出した複数の静止画像を合成する画像処理装置であって、
動画像から静止画像を取得する取得手段と、
前記動画像中の注目被写体を設定する設定手段と、
前記取得手段で取得された複数の静止画像から、注目被写体の動きベクトルを算出する算出手段と、
前記取得手段で取得された複数の静止画像を合成する合成手段とを有し、
前記合成手段は、前記取得手段により取得された第１静止画像と、当該第１静止画像と比較して前記算出手段で算出される前記注目被写体の動きベクトルが所定値より大きい第２静止画像とを合成処理することを特徴とする画像処理装置。
【請求項２】
さらに、前記取得手段で取得された静止画像から前記注目被写体を認識する注目被写体認識手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに、前記合成手段の合成処理により得られた画像を印刷する印刷手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
動画像から抽出した複数の静止画像を合成する画像処理方法であって、
動画像から静止画像を取得する取得工程と、
前記動画像中の注目被写体を設定する設定工程と、
前記取得工程で取得された複数の静止画像から、注目被写体の動きベクトルを算出する算出工程と、
前記取得工程で取得された複数の静止画像を合成する合成工程とを有し、
前記合成工程は、前記取得工程により取得された第１静止画像と、当該第１静止画像と比較して前記算出工程で算出される前記注目被写体の動きベクトルが所定値より大きい第２静止画像とを合成処理することを特徴とする画像処理方法。
【請求項５】
さらに、前記取得工程で取得された静止画像から前記注目被写体を認識する注目被写体認識工程を有することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
さらに、前記合成工程で得られた画像を印刷する印刷工程を有することを特徴とする請求項４に記載の画像処理方法。
【請求項７】
動画像から抽出した複数の静止画像を合成する画像処理プログラムであって、
動画像から静止画像を取得する取得モジュールと、
前記動画像中の注目被写体を設定する設定モジュールと、
前記取得モジュールで取得された複数の静止画像から、注目被写体の動きベクトルを算出する算出モジュールと、
前記取得モジュールで取得された複数の静止画像を合成する合成モジュールとをコンピュータに実行させ、
前記合成モジュールは、前記取得モジュールにより取得された第１静止画像と、当該第１静止画像と比較して前記算出モジュールで算出される前記注目被写体の動きベクトルが所定値より大きい第２静止画像とを合成処理することを特徴とする画像処理プログラム。
【請求項８】
請求項７記載の画像処理プログラムを格納するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録媒体中の動画像に含まれる複数の画像を一枚の静止画像として出力する画像処理装置及び方法、並びにプログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来の動画記録再生装置では、印刷出力等の用途に供するために、動画中に含まれる複数の画像フレームの中から特定の一つのフレームのみを抜き出し選択出力しており、出力に際し、特に出力画像フレームに対して画像処理を与えることは一般的ではない。
【０００３】
そこで、特許文献１においては、以下の技術が提案されている。
【０００４】
シーンのインデックス静止画を構築する際に代表画像を静止画として抽出する。同時に、代表画像に含まれる被写体の輪郭抽出画像を、動画中に含まれる複数の画像フレームに亘って取り出し、代表画像上へこの輪郭抽出画像を多重合成する。このことにより、被写体の動きを代表画像に織り込む効果を持たせ、単純に静止画だけをユーザーへ表示するよりも、判り易い形で動画シーンの内容変化を表示できるようにする。
【特許文献１】特許３４３２３４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の技術では、被写体の動きを表現するための多重合成用の被写体の抽出輪郭は全連続画像フレームに亘って抽出するということは行っていない。一定時間間隔という規則の下で、画像フレームを選択して、選択された画像フレームに対し被写体の輪郭抽出を行い、多重合成している。
【０００６】
ところで一定時間間隔という規則の下、画像合成を行う場合、被写体が大きな等速度で動作する場合であれば、仮令、選択画像フレームへ多重合成しても被写体同士の形状が重なることなく適度に離れて配置される。従って、被写体の動作変化の観察が容易に可能となる。
【０００７】
しかし、現実は被写体の動きは等速度では無く、被写体には、動作が機敏なもの、極めて緩慢なものの両方が存在する。更に、一つの同じ被写体をとっても、常に等速度で運動する被写体は極めて稀である。
【０００８】
例えば、図３に示す蝶を例にとって考えてみる。図３は、被写体の蝶を１／３０秒に１フレームの間隔で撮影された画像によって構築された動画像フレーム列であり、（３−１）（３−２）（３−３）・・・（３−１０）の順にフレームは進行していく。
【０００９】
蝶は風に漂いながら活動しているため、一定速度の風環境においては等速度で運動しているが、一瞬でも風速が変化すれば、外部から観察できる速度が簡単に変わってしまう。この結果、図３の動画像フレーム列から単に一定時間間隔で画像フレームを選択し、多重合成した場合、図９に示す様な合成結果となる。
【００１０】
つまり、被写体の蝶の動きが小さいタイミングにおいては被写体画像同士が重なって合成され、重複している部分の被写体画像が判別しにくくなる。一方、蝶の動きが大きいタイミングにおいては、被写体画像同士が離れて配置され、被写体の蝶の様子が明瞭に観察できる。
【００１１】
本発明の目的は、被写体の動きが等速度である時、緩急織り交ざっている時のいずれの場面においても、被写体の大まかな動きを表示しつつ、被写体自身も重複させずに表示する多重合成画像の出力が可能になる画像処理装置及び方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、請求項１記載の画像処理装置は、画像から抽出した複数の静止画像を合成する画像処理装置であって、動画像から静止画像を取得する取得手段と、前記動画像中の注目被写体を設定する設定手段と、前記取得手段で取得された複数の静止画像から、注目被写体の動きベクトルを算出する算出手段と、前記取得手段で取得された複数の静止画像を合成する合成手段とを有し、前記合成手段は、前記取得手段により取得された第１静止画像と、当該第１静止画像と比較して前記算出手段で算出される前記注目被写体の動きベクトルが所定値より大きい第２静止画像とを合成処理することを特徴とする。
【００１３】
請求項４記載の画像処理方法は、動画像から抽出した複数の静止画像を合成する画像処理方法であって、動画像から静止画像を取得する取得工程と、前記動画像中の注目被写体を設定する設定工程と、前記取得工程で取得された複数の静止画像から、注目被写体の動きベクトルを算出する算出工程と、前記取得工程で取得された複数の静止画像を合成する合成工程とを有し、前記合成工程は、前記取得工程により取得された第１静止画像と、当該第１静止画像と比較して前記算出工程で算出される前記注目被写体の動きベクトルが所定値より大きい第２静止画像とを合成処理することを特徴とする。
【００１４】
請求項７記載の画像処理プログラムは、動画像から抽出した複数の静止画像を合成する画像処理プログラムであって、動画像から静止画像を取得する取得モジュールと、前記動画像中の注目被写体を設定する設定モジュールと、前記取得モジュールで取得された複数の静止画像から、注目被写体の動きベクトルを算出する算出モジュールと、前記取得モジュールで取得された複数の静止画像を合成する合成モジュールとをコンピュータに実行させ、前記合成モジュールは、前記取得モジュールにより取得された第１静止画像と、当該第１静止画像と比較して前記算出モジュールで算出される前記注目被写体の動きベクトルが所定値より大きい第２静止画像とを合成処理することを特徴とする。
【００１５】
請求項８記載のコンピュータ読み取り可能な記憶媒体は、請求項７記載の画像処理プログラムを格納する。
【発明の効果】
【００１６】
本発明では、算出された動きベクトルの方が大きい場合、次フレームを多重合成する。従って、被写体の動きが等速度である時、緩急織り交ざっている時のいずれの場面においても、被写体の大まかな動きを表示しつつ、被写体自身も重複させずに表示する多重合成画像の出力が可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１８】
本発明では、注目被写体の動きが大きいタイミングのフレームだけを抽出して多重合成する。このことにより、図４に示す様な注目被写体の重なりの無い画像を得ることができる。
【００１９】
図１は、本発明の実施の形態に係る画像処理装置としてのビデオカムコーダのブロック構成を概略的に図である。
【００２０】
図１において、ビデオカムコーダは、磁気テープ、磁気ディスク、光ディスクなどの記録媒体１００は、記録媒体１００中の変調信号を読出しデジタル信号へ復調する再生回路１０１を備える。また、記録されていたデジタル圧縮画像信号をデジタル画像信号へ復号する復号回路１０２、デジタル画像信号を表示するＬＣＤ１０３を備える。ＬＣＤ１０３は、ユーザーが再生画像信号をモニタするために使用する。
【００２１】
また、ビデオカムコーダは、復号されたデジタル画像を一時保存するための画像メモリ１１０、複数の静止画（フレーム）を多重合成するための多重回路１１１、多重合成時に一時保存するための画像メモリ１１２を備える。また、プリンタへ出力画像信号を出力する印刷出力回路１１３、注目被写体位置の輝度信号等を背景画像と比較し、注目被写体の特徴を抽出する特徴抽出回路１２０を備える。
【００２２】
また、ビデオカムコーダは、輝度信号等の特徴と、注目被写体の大きさ及び形状を一時保存するための特徴メモリ１２１、前後隣接するフレームでの注目被写体位置を検知し、注目被写体の動きベクトルを演算する動きベクトル演算回路１２２を備える。
【００２３】
また、ビデオカムコーダは、動きベクトル演算回路１２２で演算した動きベクトルと予め設定してある閾値とを比較し、選択画像を多重出力に供するか否かを決定する動きベクトル比較器１２３を備える。また、システム全体を制御するＣＰＵ１３０、ＬＣＤ上に設けられたタッチパネル等のＵＩ（ユーザーインターフェース）１３１を備える。
【００２４】
次に、図１のビデオカムコーダの動作の概略を説明する。本発明のビデオカムコーダは、再生動画をユーザーへ表示し、再生画像中に印刷対象としたい場面を見つけた時点で操作される印刷トリガスイッチの指示に従い、トリガタイミング後、それぞれ動きベクトルが閾値より大きいフレーム画像を多重合成する。そして、合成された画像を印刷出力する。
【００２５】
図２は、図１のビデオカムコーダによって実行される多重合成画像再生処理の手順を示すフローチャートである。
【００２６】
本処理は、図１におけるＣＰＵ１３０によって実行される。
【００２７】
図２において、まず、最初に、動画再生前の任意時点において、ユーザーへ多重印刷する画像フレームの枚数Ｎの入力を促すメッセージをＬＣＤ１０３へ表示する（ステップＳ２０１）。ユーザーはＬＣＤに付属したタッチパネルで構成されるＵＩ１３１を使って指定枚数Ｎを入力する（ステップＳ２０２）。
【００２８】
ユーザーによる枚数設定が完了するまで、枚数入力を促すメッセージを表示する（ステップＳ２０３）。枚数入力を受け付けると、画像メモリ１１０中に少なくともＮ枚分画像フレーム記憶領域を確保する。
【００２９】
尚、このステップＳ２０１、ステップＳ２０２、ステップＳ２０３の動作は、再生操作毎にたびたびユーザーが設定するシステムはユーザーにとって使いにくい。装置のファンクション設定において、ユーザーが予め一定枚数Ｎを設定し、通常はその枚数Ｎを使い続けるシステム構成とした方が、ユーザーが使いやすいものとなる。
【００３０】
最初に不図示の再生トリガキー操作により動画像の再生が開始される。すると、記録媒体１００中の変調信号データが、再生回路１０１によりデジタル信号へ復調され、復号回路１０２によりデジタル圧縮画像信号がデジタル画像信号へ復号され、ＬＣＤ１０３へ出力表示される（ステップＳ２０４）。
【００３１】
そして、ユーザーが多重印刷したいタイミングでＵＩ１３１を使って印刷トリガを指示する（ステップＳ２０５）。すると、画像メモリ１１０は、動画像から、印刷トリガタイミング後の静止画を順次、復号回路１０２から取込み一時記録する（ステップＳ２０６）。次に、ユーザーへ注目被写体の指示入力を促すメッセージをＬＣＤ１０３へ表示する（ステップＳ２０７）。
【００３２】
ユーザーはＵＩ１３１を使い、図５に示す様に、注目被写体の外周をタッチペンで囲う方法により入力する（ステップＳ２０８）。ＵＩ１３１のタッチパネルより得られるユーザーが指示する画面上の位置情報を取り込み、特徴抽出回路１２０へ送信する。
【００３３】
すると、特徴抽出回路１２０は指示されたタイミングのフレーム画像を画像メモリ１１０より取り出し、囲われた領域内と領域外の輝度、色差の関係を検査し、領域内の被写体の輝度、色差の特徴を特徴メモリ１２１へ記録する。
【００３４】
更に、ユーザーがタッチペン操作で囲んだ領域には注目被写体輪郭外の背景エリアも含まれることから、特徴メモリ１２１に記録された輝度、色差情報を基準に注目被写体エリアを特定し直す。
【００３５】
具体的には、図５の様に、あいまいに丸いエリアで囲まれた領域の中の大部分を占める蝶の羽の色が特徴メモリ１２１へ記録され、この蝶の羽の色を基準に、注目被写体エリアを再評価し、図６の様に、蝶の羽の色のエリアを注目被写体エリアとして再設定する。
【００３６】
再設定された結果は注目被写体の細かな輪郭に近づいたものとなる。そして、この再設定したエリアの輝度、色差の特徴と、エリアの大きさと形状情報自身を特徴メモリ１２１へ記録し直す（ステップＳ２０９）。
【００３７】
次に、動きベクトル演算回路１２２は、画像メモリ１１０より、現在のフレームと現在より１フレーム後のフレームの合計２フレームを取込む（ステップＳ２１０）。なお、この現在のフレーム（静止画）は、最初は印刷トリガを指示したことにより取得されたフレームであるが、動きベクトルが所定値よりも大きいフレームを抽出すると、その都度その抽出されたフレームに置き換わる。特徴メモリ１２１内の注目被写体の色、大きさ及び形状情報を元に、取込んだ２フレーム内の注目被写体の位置をそれぞれ取得する。
【００３８】
次に現在フレームと１フレーム後のフレームの間での注目被写体位置の変化より、注目被写体の動きベクトルを算出する（ステップＳ２１１）。
【００３９】
図６、図７、図８を使い動きベクトル算出を視覚的に表現する。ここで、図６は現在のフレーム画像、図７は現在より１フレーム後のフレーム画像、図８は現在フレームと１フレーム後のフレーム間での注目被写体の動きベクトルを示す図である。
【００４０】
図６、図７において、太線で囲われた領域が蝶の羽の色で判別された注目被写体のエリアである。この注目被写体のエリアの幾何学的重心位置を、双方のフレーム画像について算出し、重心位置の変化を動きベクトルとして図８のように算出する。
【００４１】
尚、本実施の形態では、動きベクトルを算出するために、現在フレーム中の注目被写体部各画素の動きベクトルの合成を合成動きベクトルとせず、幾何学的重心位置の変化を合成動きベクトルとして使っている。これは、色情報のみでサーチする相似形各画素の動き先は、相似形の同一座標と合致することが極めて少ないとの理由による。
【００４２】
ステップＳ２１１で動きベクトルが算出されると、この動きベクトルは動きベクトル比較器１２３へ送られる。動きベクトル比較器は１２３のＣＰＵ内に予め設定されている動きベクトル閾値を読出し、動きベクトル演算回路１２２より読み出した動きベクトルとベクトルの大きさを比較する（ステップＳ２１２）。
【００４３】
ここで閾値より演算動きベクトルが大きい場合は、画像メモリ１１０へ出力許可信号を送り、画像メモリ１１０から１フレーム後のフレーム画像が多重回路１１１へ入力される。次に、多重回路１１１では出力画像メモリ１１２内の画像データ（最初の１フレームは０データとの加算することになる）と加算され、再び出力画像メモリ１１２へ加算データが記録される（ステップＳ２１３）。
【００４４】
ステップＳ２１２で閾値より演算動きベクトルが小さい場合は、画像メモリ１１０から多重回路１１１へのフレーム画像転送を禁止しステップＳ２１４へ進む。ステップＳ２１４では、ステップＳ２０２で設定された多重枚数Ｎと現在の処理枚数を比較し、現在の処理枚数が設定Ｎ枚に未達の場合、ステップＳ２１０へ戻り、現在のフレームと、先ほど動きベクトルの算出に用いてフレームよりももう１フレーム後のフレームついて動きベクトル評価と多重合成のステップを継続し、これを繰返していく。
【００４５】
なお、ステップS２１３で多重回路１１１へ入力されたフレームは、その後は、S２１０の現フレームとして、動きベクトル算出の基準フレームとなる。
【００４６】
一方、ステップＳ２１４で処理枚数が設定多重枚数Ｎと合致していた場合は、出力画像メモリ１１２内のフレーム画像を印刷出力回路１１３へ送信し、印刷出力回路１１３に接続済みのプリンタ上にて印画され（ステップＳ２１５）（印刷出力手段）、本処理を終了する。
【００４７】
本実施の形態においては、本発明の要点を表現する最小構成を記述するに留めてある。従って、動画列Ｎ枚に対し、ユーザーのトリガタイミングの位置を、プリトリガ、アフタートリガ、センタートリガにするかといった選択肢をユーザーインターフェース操作により設定するアプリケーションは、本発明の技術を利用し、容易に実現可能である。
【００４８】
また、その選択肢を予め装置側で設定するか、ユーザーのユーザーインターフェース操作により設定するかというアプリケーションも本発明の技術を利用し、容易に実現可能である。
【００４９】
同様に、多重枚数Ｎや動きベクトルと比較する閾値を予め装置側で設定するか、ユーザーのユーザーインターフェース操作により設定するかといったアプリケーションも本発明の技術を利用し、容易に実現可能である。
【００５０】
更に、注目被写体を選択するためのユーザーインターフェースの構成についても、本発明の技術を利用した様々な展開は、容易に実現可能である。
【００５１】
また、本発明の目的は、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００５２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００５４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯステップＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００５５】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００５６】
【図１】図１は、本発明の実施の形態に係る画像処理装置としてのビデオカムコーダのブロック構成を概略的に図である。
【図２】図１のビデオカムコーダによって実行される多重合成画像再生処理の手順を示すフローチャートである。
【図３】注目被写体の蝶の画像によって構築された動画像フレーム列を示す図である。
【図４】注目被写体の重なりの無い多重画像を示す図である。
【図５】注目被写体をタッチペンで囲う方法により入力するユーザーインターフェースの説明図である。
【図６】現在のフレーム画像を示す図である。
【図７】現在より１フレーム後のフレーム画像である。
【図８】現在フレームと１フレーム後のフレーム間での注目被写体の動きベクトルを示す図である。
【図９】注目被写体の重なりの有る多重画像を示す図である。
【符号の説明】
【００５７】
１００  記録媒体
１０１  再生回路
１０２  復号回路
１０３  ＬＣＤ
１１０  画像メモリ
１１１  多重回路
１１２  出力画像メモリ
１１３  印刷出力回路
１２０  特徴抽出回路
１２１  特徴メモリ
１２２  動きベクトル演算回路
１２３  動きベクトル比較器
１３０  ＣＰＵ
１３１  ユーザーインターフェース
【図１】
2008167220.tif 000003
【図２】
2008167220.tif 000004
【図３】
2008167220.tif 000005
【図４】
2008167220.tif 000006
【図５】
2008167220.tif 000007
【図６】
2008167220.tif 000008
【図７】
2008167220.tif 000009
【図８】
2008167220.tif 000010
【図９】
2008167220.tif 000011