(57)【要約】【課題】  動画像から抽出した静止画像をハードコピーとして残せるようにする。【解決手段】  動きベクトル抽出部２４が、動画像データから動きベクトルを抽出し、操作位置検出部２６が動きベクトルに基づいて、動画像データを取得した際のカメラのズームまたはパンの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出する。フレーム抽出部２８が、操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置のフレームを動画像データから抽出し、抽出したフレームをプリント部２０からプリント出力する。【選択図】          図１
2006345035.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを構成するフレーム間の動きベクトルを取得する動きベクトル取得手段と、
前記動きベクトルに基づいて、前記動画像データを取得したカメラの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出する操作位置検出手段と、
前記操作開始位置、前記操作中間位置および前記操作終了位置の少なくとも１つの位置におけるフレームを前記動画像データから抽出するフレーム抽出手段と、
前記抽出したフレームをプリント出力するプリント手段とを備えたことを特徴とする動画像プリント装置。
【請求項２】
前記動きベクトル取得手段は、前記動画像データに含まれる動きベクトルを抽出することにより前記動きベクトルを取得する手段であることを特徴とする請求項１記載の動画像プリント装置。
【請求項３】
前記動きベクトル取得手段は、前記動画像データのフォーマットを判定し、該動画像データが動きベクトルを含むフォーマットである場合には、前記動画像データから前記動きベクトルを抽出することにより前記動きベクトルを取得し、それ以外の場合には前記動画像データを解析することにより前記動きベクトルを取得する手段であることを特徴とする請求項１記載の動画像プリント装置。
【請求項４】
動画像データを構成するフレーム間の動きベクトルを取得し、
前記動きベクトルに基づいて、前記動画像データを取得したカメラの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出し、
前記操作開始位置、前記操作中間位置および前記操作終了位置の少なくとも１つの位置におけるフレームを前記動画像データから抽出し、
前記抽出したフレームをプリント出力することを特徴とする動画像プリント方法。
【請求項５】
動画像データを構成するフレーム間の動きベクトルを取得する手順と、
前記動きベクトルに基づいて、前記動画像データを取得したカメラの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出する手順と、
前記操作開始位置、前記操作中間位置および前記操作終了位置の少なくとも１つの位置におけるフレームを前記動画像データから抽出する手順と、
前記抽出したフレームをプリント出力する手順とを有することを特徴とする動画像プリント方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に含まれるフレームをプリント出力する動画像プリント装置および方法並びに動画像プリント方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、動画像の内容を短時間で把握する手法として、動画像を早送り再生する際にフレームを均等に間引いて表示したり、表示速度を変更して再生する手法が用いられている。また、動画像からフレームを間引く際に、動画像を解析することによりフレーム間の動きベクトルを検出し、動きベクトルに基づいて、ズームおよびパン等のカメラの操作開始位置または操作終了位置を推定し、推定した操作開始位置または操作終了位置のフレームを用いて、動画像のダイジェスト版を作成するシステムが提案されている（特許文献１参照）。また、カメラのズームやパン等のカメラの操作情報に基づいて、動画像から動画像を代表する代表画像を抽出する手法も提案されている（特許文献２参照）。
【特許文献１】特許第３２８６３６０号公報
【特許文献２】特開平７−２３３２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１，２に記載された手法は、動画像から静止画像を抽出してはいるものの、その抽出した静止画像をハードコピーとして残すことについては言及されていない。
【０００４】
本発明は、上記事情に鑑みなされたものであり、動画像から抽出した静止画像をハードコピーとして残せるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明による動画像プリント装置は、動画像データを構成するフレーム間の動きベクトルを取得する動きベクトル取得手段と、
前記動きベクトルに基づいて、前記動画像データを取得したカメラの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出する操作位置検出手段と、
前記操作開始位置、前記操作中間位置および前記操作終了位置の少なくとも１つの位置におけるフレームを前記動画像データから抽出するフレーム抽出手段と、
前記抽出したフレームをプリント出力するプリント手段とを備えたことを特徴とするものである。
【０００６】
「操作中間位置」としては、操作開始位置と操作終了位置との間であればいかなる位置であってもよいが、中央の位置であることが好ましい。
【０００７】
なお、本発明による動画像プリント装置においては、前記動きベクトル取得手段を、前記動画像データに含まれる動きベクトルを抽出することにより前記動きベクトルを取得する手段としてもよい。
【０００８】
また、本発明による動画像プリント装置においては、前記動きベクトル取得手段を、前記動画像データのフォーマットを判定し、該動画像データが動きベクトルを含むフォーマットである場合には、前記動画像データから前記動きベクトルを抽出することにより前記動きベクトルを取得し、それ以外の場合には前記動画像データを解析することにより前記動きベクトルを取得する手段としてもよい。
【０００９】
本発明による動画像プリント方法は、動画像データを構成するフレーム間の動きベクトルを取得し、
前記動きベクトルに基づいて、前記動画像データを取得したカメラの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出し、
前記操作開始位置、前記操作中間位置および前記操作終了位置の少なくとも１つの位置におけるフレームを前記動画像データから抽出し、
前記抽出したフレームをプリント出力することを特徴とするものである。
【００１０】
なお、本発明による動画像プリント方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１１】
本発明によれば、動画像データを構成するフレーム間の動きベクトルが取得され、動きベクトルに基づいて、動画像データを取得したカメラの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置が検出される。そして、検出された位置におけるフレームが抽出され、抽出されたフレームがプリント出力される。このため、動画像から抽出した静止画像をハードコピーとして残すことができる。
【００１２】
また、動画像データが例えばＭＰＥＧフォーマットのように、動きベクトルを含むものである場合には、動画像データに含まれる動きベクトルを抽出して動きベクトルを取得することにより、簡易に動きベクトルを取得することができる。
【００１３】
また、動画像データのフォーマットを判定し、動画像データが動きベクトルを含むフォーマットである場合には、動画像データから動きベクトルを抽出することにより動きベクトルを取得し、そうでない場合には、動画像データを解析することにより動きベクトルを取得するようにすれば、どのようなフォーマットの動画像データからも、静止画像のプリントを得ることができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像プリント装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による動画像プリント装置１は、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラムおよび各種定数が記録されているＲＯＭ、並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるメインメモリ１４と、メインメモリ１４を制御するメモリ制御部１６とを備える。
【００１５】
また、動画像プリント装置１は、デジタルビデオカメラ等により取得した動画像データを記録した記録媒体２から動画像データを読み出したり、記録媒体２に動画像データを記録したりするためのメモリ制御部１８と、後述するように抽出したフレームをプリント出力するプリント部２０と、プリント部２０を制御するプリント制御部２２とを備える。
【００１６】
また、動画像プリント装置１は、動画像データから動きベクトルを抽出する動きベクトル抽出部２４と、動きベクトルに基づいて動画像データを取得したカメラの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出する操作位置検出部２６と、操作位置検出部２６が検出した位置のフレームを動画像データから抽出するフレーム抽出部２８とを備える。
【００１７】
なお、第１の実施形態においては、動画像データはＭＰＥＧフォーマットであるものとする。ＭＰＥＧフォーマットにおいて、動画像データを構成するフレームとしては、そのフレーム内でのみ圧縮を行うことによりそのフレーム自身で画像を構成することが可能なフレーム内符号化フレーム（Ｉフレーム）、フレーム内圧縮の他に時間軸順方向のみの予測を取り入れ、フレーム内符号化フレームとの差異を元にした圧縮を行った順方向フレーム間予測符号化フレーム（Ｐフレーム）、およびフレーム内圧縮の他に前後フレームとの差異を利用した双方向予測的圧縮を採用した双方向フレーム間予測符号化フレーム（Ｂフレーム）がある。ＭＰＥＧフォーマットにおいては、ＧＯＰ（Group of Picture）という固まりフレームの単位で圧縮・伸長が行われる。例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ（ＩはＩフレーム、ＰはＰフレーム、ＢはＢフレーム）のように、１５フレーム単位でＧＯＰが構成される。そして、各フレームには動きベクトルの情報が含まれている。
【００１８】
動きベクトル抽出部２４は、動画像データの各フレームに含まれる動きベクトルを抽出する。なお、動きベクトル抽出部２４は、各フレームのすべての画素における動きベクトルを抽出するものではなく、適宜画素を間引いて動きベクトルを抽出する。
【００１９】
操作位置検出部２６は、動きベクトル抽出部２４が抽出した動きベクトルに基づいて、動画像データの撮影時にズームまたはパンの操作が行われたか否かを判定し、ズームまたはパンの操作が行われた場合に、ズームまたはパンの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出する。以下、ズームおよびパンの操作開始位置、操作中間位置および操作終了位置の検出について説明する。まず、ズームの場合について説明する。
【００２０】
図２はズーム操作時の動画像を示す図である。図２に示すようにズーム操作時においては、被写体を捕捉した後、画面内に含まれる被写体が徐々に大きくなり、被写体が所定サイズとなるとズーム操作が終了する。ズーム操作中において、動画像データの各フレームの動きベクトルは、図３に示すように、画面の中心から放射状に向かうように現れることとなる。また、中心よりも周囲の方が動きベクトルの大きさが大きくなる。一方、ズーム操作の前後においては、動きベクトルは図３に示すように放射状には現れず、例えば、ズーム操作終了後は図４に示すように被写体部分の動きベクトルが周囲の動きベクトルと比較して小さく現れることとなる。また、被写体部分の動きベクトルの方向はランダムとなる。なお、ズーム操作開始前は、被写体を捕捉しようとしてカメラを移動していることから、動きベクトルは全くランダムな方向を向くものとなる。
【００２１】
したがって、操作位置検出部２６は、図３に示すように動きベクトルが画面の中心から放射状に現れるフレームが動画像に含まれる場合にズーム操作が行われたと判定し、動きベクトルが画面の中心から放射状に現れる最初のフレームの位置を、ズーム操作開始位置として検出する。また、動きベクトルが画面の中心から放射状に現れている状態から図４に示すように被写体部分の動きベクトルが周囲の動きベクトルと比較して小さく現れるように切り替わったフレームの直前のフレームの位置をズーム操作終了位置として検出する。また、ズーム操作開始位置およびズーム操作終了位置の中央の位置をズーム操作中間位置として検出する。
【００２２】
次いで、パンの場合について説明する。図５はパン操作時の動画像を示す図である。なお、ここではカメラを右方向へパンする場合について説明する。図５に示すようにパン操作時においては、被写体を画面の中心に捕捉するまで画面内に含まれる被写体が徐々にカメラの移動方向とは反対側（ここでは左）へ移動し、被写体を画面の中心に捕捉するとパン操作が終了する。パン操作中において、動画像データの各フレームの動きベクトルは、図６に示すように、フレームの全体においてカメラの移動方向とは反対側に向かうように現れることとなる。なお、動きベクトルの大きさはカメラの移動速度に依存する。一方、パン操作の前後においては、動きベクトルは図６に示すようにフレームの全体において同じ方向を向くようには現れず、例えば、パン操作終了後は上記図４に示すように被写体部分の動きベクトルが周囲の動きベクトルと比較して小さく現れることとなる。なお、パン操作開始前は、被写体を補足しようとしてカメラを移動していることから、動きベクトルは全くランダムな方向を向くものとなる。
【００２３】
したがって、操作位置検出部２６は、図６に示すようにフレーム内のすべての動きベクトルが同じ方向を向くフレームが動画像に含まれる場合にパン操作が行われたと判定し、フレーム内のすべての動きベクトルが同じ方向を向いて現れる最初のフレームの位置を、パン操作開始位置として検出する。また、動きベクトルが同じ方向を向いて現れている状態から図４に示すように被写体部分の動きベクトルが周囲の動きベクトルと比較して小さく現れるように切り替わったフレームの直前のフレームの位置をパン操作終了位置として検出する。また、パン操作開始位置およびパン操作終了位置の中央の位置をパン操作中間位置として検出する。
【００２４】
なお、操作位置検出部２６は、操作開始位置および操作終了位置の間における任意の位置を中間位置として検出するものであってもよい。ここで、本実施形態においては、後述するようにズームまたはパンの操作終了位置のフレームを抽出することから、以下、操作位置検出部２６はズームまたはパンの操作終了位置のみを検出するものとして説明する。
【００２５】
フレーム抽出部２８は、操作位置検出部２６が検出した操作終了位置のフレームを抽出する。すなわち、ズームの場合には図２（ｃ）に示すフレームを、パンの場合には図５（ｃ）に示すフレームを動画像データから抽出する。
【００２６】
プリント制御部２２は、フレーム抽出部２８が抽出したフレームをプリント出力するように、プリント部２０を制御する。
【００２７】
次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。記録媒体２から動画像データが装置１に入力されることにより処理が開始され、動画像データの最初のフレームを抽出するように、フレーム抽出部２８が抽出するフレームを初期値に設定し（ステップＳＴ１）、フレームを抽出する（ステップＳＴ２）。次いで、抽出したフレームから動きベクトル抽出部２４が動きベクトルを抽出する（ステップＳＴ３）。そして、すべてのフレームについて動きベクトルを抽出したか否かを判定し（ステップＳＴ４）、ステップＳＴ４が否定されると、抽出するフレームを次のフレームに設定し（ステップＳＴ５）、ステップＳＴ２に戻る。
【００２８】
ステップＳＴ４が肯定されると、操作位置検出部２６が、抽出された動きベクトルに基づいて、動画像データの撮影時にズームまたはパンの操作が行われたか否かを判定し（ステップＳＴ６）、ステップＳＴ６が否定されると処理を終了する。ステップＳＴ６が肯定されると、操作位置検出部２６はズームまたはパンの操作終了位置を検出する（ステップＳＴ７）。そして、フレーム抽出部２８が操作終了位置のフレームを動画像データから抽出し（ステップＳＴ８）、プリント制御部２２が抽出したフレームをプリント部２０からプリント出力し（ステップＳＴ９）、処理を終了する。
【００２９】
このように、第１の実施形態によれば、動画像データを構成するフレーム間の動きベクトルを抽出し、動きベクトルに基づいて、動画像データを撮影したカメラのズームまたはパンの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出し、検出した操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置におけるフレームをプリント出力するようにしたため、動画像から抽出した静止画像をハードコピーとして残すことができる。
【００３０】
また、第１の実施形態においては、動画像データが例えばＭＰＥＧフォーマットのように、動きベクトルを含むものであることから、動画像データに含まれる動きベクトルを抽出して動きベクトルを取得するようにしたため、簡易に動きベクトルを取得することができる。
【００３１】
次いで、本発明の第２の実施形態について説明する。図８は本発明の第２の実施形態による動画像プリント装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による動画像プリント装置１００は、動きベクトル抽出部２４に代えて動きベクトル検出部３０を備えた点が第１の実施形態と異なる。
【００３２】
動きベクトル検出部３０は、入力された動画像データを解析することにより動きベクトルを検出する。以下、動きベクトルの検出について説明する。図９は動きベクトルの検出を説明するための図である。
【００３３】
動きベクトル検出部３０は、図９（ａ）に示すように、動画像データに含まれるフレームＦｒ１を例えば８×８画素の複数の小領域に分割する。なお、図９においては説明のためにフレームＦｒ１を６×４の領域に分割するものとする。そして、処理対象のフレームＦｒ１の各小領域を、フレームＦｒ１に時間的に隣接するフレームＦｒ２上において平行移動し、各小領域とフレームＦｒ２上における対応する小領域との相関値を算出する。具体的には、小領域内における画素値の差の累積和の逆数を相関値として算出する。そして、相関値が最も高く、すなわち小領域内における画素値の差の累積和が最も小さくなったときの小領域の移動方向および移動量を、動きベクトルＶ１２として検出する。
【００３４】
例えば、図９（ｂ）に示すように、フレームＦｒ１内の小領域Ａ１について、フレームＦｒ２における小領域Ａ１′との相関値が最も高い場合には、小領域Ａ１をフレームＦｒ２に投影して得られる小領域Ａ１″を小領域Ａ１′へ移動させるために必要な移動量および移動方向を動きベクトルＶ１２として検出する。
【００３５】
なお、動きベクトルの検出はフレームに含まれるすべての小領域について行う必要はなく、小領域を適宜間引いて行うようにしてもよい。
【００３６】
次いで、第２の実施形態において行われる処理について説明する。図１０は第２の実施形態において行われる処理を示すフローチャートである。記録媒体２から動画像データが装置１００に入力されることにより処理が開始され、動画像データの最初のフレームを抽出するように、フレーム抽出部２８が抽出するフレームを初期値に設定し（ステップＳＴ１１）、フレームを抽出する（ステップＳＴ１２）。次いで、抽出したフレームから動きベクトル検出部３０が動きベクトルを検出する（ステップＳＴ１３）。そして、すべてのフレームについて動きベクトルを検出したか否かを判定し（ステップＳＴ１４）、ステップＳＴ１４が否定されると、抽出するフレームを次のフレームに設定し（ステップＳＴ１５）、ステップＳＴ１２に戻る。
【００３７】
ステップＳＴ１４が肯定されると、操作位置検出部２６が、検出された動きベクトルに基づいて、動画像データの撮影時にズームまたはパンの操作が行われたか否かを判定し（ステップＳＴ１６）、ステップＳＴ１６が否定されると処理を終了する。ステップＳＴ１６が肯定されると、操作位置検出部２６はズームまたはパンの操作終了位置を検出する（ステップＳＴ１７）。そして、フレーム抽出部２８が操作終了位置のフレームを動画像データから抽出し（ステップＳＴ１８）、プリント制御部２２が抽出したフレームをプリント部２０からプリント出力し（ステップＳＴ１９）、処理を終了する。
【００３８】
このように、第２の実施形態においては、動画像データを構成するフレーム間の動きベクトルを検出し、動きベクトルに基づいて、動画像データを撮影したカメラのズームまたはパンの操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置を検出し、検出された操作開始位置、操作中間位置および操作終了位置の少なくとも１つの位置におけるフレームをプリント出力するようにしたため、動画像から抽出した静止画像をハードコピーとして残すことができる。
【００３９】
次いで、本発明の第３の実施形態について説明する。図１１は本発明の第３の実施形態による動画像プリント装置の構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第３の実施形態による動画像プリント装置１０１は、動きベクトル抽出部２４に代えて動きベクトル取得部３２を備えた点が第１の実施形態と異なる。
【００４０】
動きベクトル取得部３２は、入力された動画像データがＭＰＥＧフォーマットのように動きベクトルを含むフォーマットである場合には、動画像データから動きベクトルを抽出し、動画像データが動きベクトルを含まないフォーマットである場合には、動画像データを解析することにより動画像データから動きベクトルを検出する。なお、第３の実施形態における動きベクトルの抽出の処理は、上記第１の実施形態における動きベクトル抽出部２４が行う処理と同一であり、動きベクトル検出の処理は、上記第２の実施形態における動きベクトル検出部３０が行う処理と同一であるため、ここでは詳細な説明は省略する。
【００４１】
次いで、第３の実施形態において行われる処理について説明する。図１２は第３の実施形態において行われる処理を示すフローチャートである。記録媒体２から動画像データが装置１０１に入力されることにより処理が開始され、まず、動きベクトル取得部３２が入力された動画像データに動きベクトルが含まれるか否かを判定する（ステップＳＴ２１）。ステップＳＴ２１が肯定されると、操作位置検出部２６、動きベクトル取得部３２、フレーム抽出部２８およびプリント制御部２２が、図７に示す第１の実施形態の処理と同一の処理を行って操作終了位置のフレームをプリント出力し（ステップＳＴ２２）、処理を終了する。
【００４２】
ステップＳＴ２１が否定されると、操作位置検出部２６、動きベクトル取得部３２、フレーム抽出部２８およびプリント制御部２２が、図１０に示す第２の実施形態の処理と同一の処理を行って操作終了位置のフレームをプリント出力し（ステップＳＴ２３）、処理を終了する。
【００４３】
このように、第３の実施形態によれば、動画像データのフォーマットを判定し、動きベクトルが含まれるフォーマットである場合には、動画像データから動きベクトルを抽出することにより動きベクトルを取得し、そうでない場合には、動画像データを解析することにより動きベクトルを取得するようにしたため、どのようなフォーマットの動画像データからも、静止画像のプリントを得ることができる。
【００４４】
以上、本発明の実施形態に係る装置１、１００，１０１について説明したが、コンピュータを、上記のプリント制御部２２、動きベクトル抽出部２４、操作位置検出部２６、フレーム抽出部２８、動きベクトル検出部３０および動きベクトル取得部３２に対応する手段として機能させ、図７、図１０および図１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１の実施形態による動画像プリント装置の構成を示す概略ブロック図
【図２】ズーム操作時の動画像を示す図
【図３】ズーム操作時の動きベクトルを示す図
【図４】ズーム操作終了後の動きベクトルを示す図
【図５】パン操作時の動画像を示す図
【図６】パン操作時の動きベクトルを示す図
【図７】第１の実施形態において行われる処理を示すフローチャート
【図８】本発明の第２の実施形態による動画像プリント装置の構成を示す概略ブロック図
【図９】動きベクトルの検出を説明するための図
【図１０】第２の実施形態において行われる処理を示すフローチャート
【図１１】本発明の第３の実施形態による動画像プリント装置の構成を示す概略ブロック図
【図１２】第３の実施形態において行われる処理を示すフローチャート
【符号の説明】
【００４６】
１，１００，１０１    動画像プリント装置
２    記録媒体
１２    ＣＰＵ
１４    メインメモリ
１６，１８    メモリ制御部
２０    プリント部
２２    プリント制御部
２４    動きベクトル抽出部
２６    操作位置検出部
２８    フレーム抽出部
３０    動きベクトル検出部
３２    動きベクトル取得部
【図１】
2006345035.tif 000003
【図２】
2006345035.tif 000004
【図３】
2006345035.tif 000005
【図４】
2006345035.tif 000006
【図５】
2006345035.tif 000007
【図６】
2006345035.tif 000008
【図７】
2006345035.tif 000009
【図８】
2006345035.tif 000010
【図９】
2006345035.tif 000011
【図１０】
2006345035.tif 000012
【図１１】
2006345035.tif 000013
【図１２】
2006345035.tif 000014