(57)【要約】【課題】折り返し歪みによる画像劣化や映像内容の連続性の喪失を軽減することができる映像コマ数削減装置および映像コマ数削減方法を提供する。【解決手段】制御情報作成部５では、総和値算出部４で算出された動きベクトル量の総和値に基づいて、入力映像信号ＩＭから抽出する映像コマおよびその抽出する間隔を示す制御情報ＳＣを作成する。そして、低コマ数映像信号作成部６では、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦと、制御情報作成部５から入力された制御情報ＳＣとに基づいて、カット毎に、入力映像信号ＩＭから制御情報ＳＣに示された映像コマを制御情報ＳＣに示された間隔で抽出して、入力映像信号ＩＭの映像コマ数を削減した低コマ数映像信号ＬＭを作成する。【選択図】　　　図１
2004040473.tif 000002
【特許請求の範囲】
【請求項１】
一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、
前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出部と、
前記動きベクトル量を予め設定した閾値と比較し、前記閾値を超える動きベクトル量を検出する検出部と、
前記抽出映像コマ毎に、前記検出部で検出された動きベクトル量の総和値を算出する総和値算出部と、
前記総和算値出部で算出された動きベクトル量の総和値に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部と、
を備えて構成されることを特徴とする映像コマ数削減装置。
【請求項２】
前記制御情報作成部は、前記総和値算出部で算出された動きベクトル量の総和値を、前記総和値のカット全体における平均と分散から決定される閾値と比較し、
前記総和値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記総和値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項１に記載の映像コマ数削減装置。
【請求項３】
一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、
前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出部と、
前記動きベクトル量を基に、各抽出映像コマにおけるグローバルベクトル量を算出するグローバルベクトル量算出部と、
前記グローバルベクトル量算出部で算出されたグローバルベクトル量に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部と、
を備えて構成されることを特徴とする映像コマ数削減装置。
【請求項４】
前記制御情報作成部は、前記グローバルベクトル量算出部で算出されたグローバルベクトル量を、前記グローバルベクトル量のカット全体における平均と分散から決定される閾値と比較し、
前記グローバルベクトル量が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記グローバルベクトル量が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項３に記載の映像コマ数削減装置。
【請求項５】
一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、
前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出ステップと、
前記動きベクトル量を予め設定した閾値と比較し、前記閾値を超える動きベクトル量を検出する動きベクトル量検出ステップと、
前記抽出映像コマ毎に、前記動きベクトル量検出ステップで検出された動きベクトル量の総和値を算出する総和値算出ステップと、
前記総和算値出ステップで算出された動きベクトル量の総和値に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップと、
を含むことを特徴とする映像コマ数削減方法。
【請求項６】
前記制御情報作成ステップは、前記総和値算出ステップで算出された動きベクトル量の総和値を、前記総和値のカット全体における平均と分散から決定される閾値と比較し、
前記総和値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記総和値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項５に記載の映像コマ数削減方法。
【請求項７】
一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、
前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出ステップと、
前記動きベクトル量を基に、各抽出映像コマにおけるグローバルベクトル量を算出するグローバルベクトル量算出ステップと、
前記グローバルベクトル量算出ステップで算出されたグローバルベクトル量に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップと、
を含むことを特徴とする映像コマ数削減方法。
【請求項８】
前記制御情報作成ステップは、前記グローバルベクトル量算出ステップで算出されたグローバルベクトル量を、前記グローバルベクトル量のカット全体における平均と分散から決定される閾値と比較し、
前記グローバルベクトル量が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記グローバルベクトル量が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項７に記載の映像コマ数削減方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像コマ数削減装置および映像コマ数削減方法に関し、特に、一定のフレームレートで入力される複数の映像コマからなる映像信号の映像コマ数を削減するための映像コマ数削減装置および映像コマ数削減方法に関する。
【０００２】
【従来の技術】
近年、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の携帯端末を対象に、小さな画面での映像提供サービスが実施されている。このような映像提供サービスでは、伝送路の帯域に制限があるため、映像を構成している映像コマを間引いて削減する、いわゆる「コマ落とし」が行われている。この「コマ落とし」には、（１）映像コマを単純に一定の間隔で間引く方法と、（２）被写体の動きが大きい映像コマはあまり間引かずに、被写体の動きが小さい映像コマを多く間引く方法と、（３）ＭＰＥＧ−４の符号化・復号化装置で発生したビット量がバッファの占有量の規定を超えると、フレームをスキップして可変フレームレート映像を作成する方法等がある。
【０００３】
（２）の方法としては、フレーム間の対応画素のレベル差が、予め設定した閾値を超える変化画素総数によってフレームレートを変化させて、可変フレームレートの映像を作成する方法がある。このような方法は、文献（「フレームレートの変化が映像品質に及ぼす影響」電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ７９−Ａ、Ｎｏ．４、ｐｐ．９９１−１０００、１９９６，林孝典　他）に開示されている。
【０００４】
また、（３）の方法は、例えば、文献（ＭＰＥＧ−４　ＶＭ　ソフトウェア、Ｅｕｒｏｐｅａｎ　ＡＣＴＳ　ｐｒｏｊｅｃｔ　ＭｏＭｕＳｙｓ）に開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、（１）の映像コマを単純に一定の間隔で間引く方法や、（３）のＭＰＥＧ−４の符号化・復号化装置で発生したビット量がバッファの占有量の規定を超えると、フレームをスキップして可変フレームレート映像を製作する方法では、コマ落としした映像を一定のフレームレートで表示する際に同一の映像コマを繰り返す部分が生じるため、各映像コマ間における被写体の移動量が大きくなり、折り返し歪みにより画像劣化が生じるという問題や、映像内容の連続性が喪失するという問題があった。
【０００６】
また、（２）のフレーム間の対応画素のレベル差が、予め設定した閾値を超える変化画素総数によってフレームレートを変化させて、可変フレームレートの映像を作成する方法では、その映像コマに含まれる被写体の動きの大きさについては考慮していないため、被写体の動きが複雑である場合は、折り返し歪みにより画像劣化が生じるという問題や、映像内容の連続性が喪失するという問題があった。
【０００７】
そこで、本発明は、前記した従来の技術が有する課題を解消し、一定のフレームレートで入力される複数の映像コマからなる映像信号の映像コマ数を削減した際に、動きの大きなシーンで生じ易い折り返し歪みによる画像劣化や映像内容の連続性の喪失を軽減することができる映像コマ数削減装置および映像コマ数削減方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の映像コマ数削減装置は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出部と、前記動きベクトル量を予め設定した閾値と比較し、前記閾値を超える動きベクトル量を検出する検出部と、前記抽出映像コマ毎に、前記検出部で検出された動きベクトル量の総和値を算出する総和値算出部と、前記総和算値出部で算出された動きベクトル量の総和値に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部とを備えて構成されることを特徴とする。
【０００９】
請求項１に記載の映像コマ数削減装置によれば、まず、映像コマ抽出部では、外部から入力されたカット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとし、動きベクトル量算出部では、映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、マクロブロック毎に、動きベクトル量を算出する。続いて、検出部では、動きベクトル量を予め設定した閾値と比較し、閾値を超える動きベクトル量を検出し、総和値算出部では、抽出映像コマ毎に、検出部で検出された動きベクトル量の総和値を算出する。次に、制御情報作成部では、総和算値出部で算出された動きベクトル量の総和値に基づいて、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成部では、外部から入力されたカット情報および目標コマ数情報と、制御情報作成部から入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００１０】
なお、「カット情報」とは、一台のカメラでいったん写し始めてから写し終わるまでの一場面を“カット”と定義した際の、入力映像信号の映像におけるカットの切り替わりを示す情報である。
【００１１】
また、「目標コマ数情報」とは、入力映像信号から映像コマを抽出するコマ数を示す情報である。例えば、入力映像信号のフレームレートがｎ［コマ／秒］で、入力映像信号から映像コマを抽出して作成する低コマ数映像信号のフレームレートをｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）としたい場合は、入力映像信号から映像コマを抽出する間隔を示す係数であるｒが目標コマ数情報となる。
【００１２】
また、「動きベクトル量」とは、被写体の動き量をベクトル量で表したものである。例えば、被写体が動いていないところでは、ベクトル量は“０”に近づき、被写体が動いていればどの程度動いたかを“動き量”として表す。“この動き量”は、被写体の動きが激しくなればなるほど大きくなる。
【００１３】
そして、「制御情報」とは、入力映像信号から抽出する映像コマと、その抽出する間隔を示す情報である。本発明では、入力映像信号から映像コマを抽出する間隔は、映像コマ群毎に異なるので、その映像コマ群における先頭および最後尾のコマ番号と、その映像コマ群における抽出間隔を示す制御信号とを制御情報としている。なお、映像コマ群とは、映像コマがあるコマ数で連続しているものである。
【００１４】
また、請求項２に記載の映像コマ数削減装置は、請求項１に記載の映像コマ数削減装置において、前記制御情報作成部は、前記総和値算出部で算出された動きベクトル量の総和値を、前記総和値のカット全体における平均と分散から決定される閾値と比較し、前記総和値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記総和値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００１５】
請求項２に記載の映像コマ数削減装置によれば、制御情報作成部では、総和値算出部で算出された動きベクトル量の総和値を、総和値のカット全体における平均と分散から決定される閾値と比較し、総和値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、総和値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このように構成すると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。なお、ここでいう、「目標コマ数情報に基づいて一定の間隔で抽出する際の間隔」とは、入力映像信号から映像コマを、目標コマ数情報に示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００１６】
また、請求項３に記載の映像コマ数削減装置は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出部と、前記動きベクトル量を基に、各抽出映像コマにおけるグローバルベクトル量を算出するグローバルベクトル量算出部と、前記グローバルベクトル量算出部で算出されたグローバルベクトル量に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部とを備えて構成されることを特徴とする。
【００１７】
請求項３に記載の映像コマ数削減装置によれば、まず、映像コマ抽出部では、外部から入力されたカット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとし、動きベクトル量算出部では、映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、マクロブロック毎に、動きベクトル量を算出する。続いて、グローバルベクトル量算出部では、動きベクトル量算出部で算出された動きベクトル量を基に、各抽出映像コマにおけるグローバルベクトル量を算出する。次に、制御情報作成部では、グローバルベクトル量算出部で算出されたグローバルベクトル量に基づいて、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成部では、外部から入力されたカット情報および目標コマ数情報と、制御情報作成部から入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００１８】
また、請求項４に記載の映像コマ数削減装置は、請求項３に記載の映像コマ数削減装置において、前記制御情報作成部は、前記グローバルベクトル量算出部で算出されたグローバルベクトル量を、前記グローバルベクトル量のカット全体における平均と分散から決定される閾値と比較し、前記グローバルベクトル量が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記グローバルベクトル量が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００１９】
請求項４に記載の映像コマ数削減装置によれば、制御情報作成部では、グローバルベクトル量算出部で算出されたグローバルベクトル量を、グローバルベクトル量のカット全体における平均と分散から決定される閾値と比較し、グローバルベクトル量が閾値よりも大きい場合は、入力映像信号から映像コマを、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、グローバルベクトル量が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このように構成すると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００２０】
請求項５に記載の映像コマ数削減方法は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出ステップと、前記動きベクトル量を予め設定した閾値と比較し、前記閾値を超える動きベクトル量を検出する動きベクトル量検出ステップと、前記抽出映像コマ毎に、前記動きベクトル量検出ステップで検出された動きベクトル量の総和値を算出する総和値算出ステップと、前記総和算値出ステップで算出された動きベクトル量の総和値に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップとを含むことを特徴とする。
【００２１】
請求項５に記載の映像コマ数削減方法によれば、まず、映像コマ抽出ステップでは、カット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとし、動きベクトル量算出ステップでは、映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、マクロブロック毎に、動きベクトル量を算出する。続いて、動きベクトル量検出ステップでは、動きベクトル量を予め設定した閾値と比較し、閾値を超える動きベクトル量を検出し、総和値算出ステップでは、抽出映像コマ毎に、動きベクトル量検出ステップで検出された動きベクトル量の総和値を算出する。次に、制御情報作成ステップでは、総和算値出ステップで算出された動きベクトル量の総和値に基づいて、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成ステップでは、カット情報および目標コマ数情報と、制御情報作成ステップから入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００２２】
請求項６に記載の映像コマ数削減方法は、請求項５に記載の映像コマ数削減方法において、前記制御情報作成ステップは、前記総和値算出ステップで算出された動きベクトル量の総和値を、前記総和値のカット全体における平均と分散から決定される閾値と比較し、前記総和値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記総和値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００２３】
請求項６に記載の映像コマ数削減方法によれば、制御情報作成ステップでは、総和値算出ステップで算出された動きベクトル量の総和値を、総和値のカット全体における平均と分散から決定される閾値と比較し、総和値が閾値よりも大きい場合は、入力映像信号から映像コマを入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、総和値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このようにすると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００２４】
請求項７に記載の映像コマ数削減方法は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出ステップと、前記動きベクトル量を基に、各抽出映像コマにおけるグローバルベクトル量を算出するグローバルベクトル量算出ステップと、前記グローバルベクトル量算出ステップで算出されたグローバルベクトル量に基づいて、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記制御情報に示された映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップとを含むことを特徴とする。
【００２５】
請求項７に記載の映像コマ数削減方法によれば、まず、映像コマ抽出ステップでは、カット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとし、動きベクトル量算出ステップでは、映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、マクロブロック毎に、動きベクトル量を算出する。続いて、グローバルベクトル量算出ステップでは、動きベクトル量算出ステップで算出された動きベクトル量を基に、各抽出映像コマにおけるグローバルベクトル量を算出する。次に、制御情報作成ステップでは、グローバルベクトル量算出ステップで算出されたグローバルベクトル量に基づいて、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成ステップでは、カット情報および目標コマ数情報と、制御情報作成ステップから入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００２６】
請求項８に記載の映像コマ数削減方法は、請求項７に記載の映像コマ数削減方法において、前記制御情報作成ステップは、前記グローバルベクトル量算出ステップで算出されたグローバルベクトル量を、前記グローバルベクトル量のカット全体における平均と分散から決定される閾値と比較し、前記グローバルベクトル量が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記グローバルベクトル量が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００２７】
請求項８に記載の映像コマ数削減方法によれば、制御情報作成ステップでは、グローバルベクトル量算出ステップで算出されたグローバルベクトル量を、グローバルベクトル量のカット全体における平均と分散から決定される閾値と比較し、グローバルベクトル量が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、グローバルベクトル量が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このようにすると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００２８】
【発明の実施の形態】
以下、本発明の一実施の形態を図面に基づいて説明する。本発明に係る映像コマ数削減装置および映像コマ数削減方法は、各映像コマの動きベクトル量を利用して、カット毎に、被写体の動きの大きい映像コマが続く区間では、映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、被写体の動きの小さい映像コマが続く区間では、映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを特徴とする。
【００２９】
（映像コマ数削減装置の構成）
図１は、本発明の一実施の形態に係る映像コマ数削減装置の全体構成を示すブロック図である。以下、本実施の形態に係る映像コマ数削減装置の構成を説明する。
【００３０】
図１に示すように、映像コマ数削減装置は、コマ落とし映像信号作成部１と、動きベクトル量算出部２と、検出部３と、総和値算出部４と、制御情報作成部５と、低コマ数映像信号作成部６とを備えて構成されている。コマ落とし映像信号作成部１と低コマ数映像信号作成部６には、カット情報ＣＩ、入力映像信号ＩＭおよび目標コマ数情報ＴＦが入力され、動きベクトル量算出部２には、入力映像信号ＩＭが入力される。
【００３１】
コマ落とし映像信号作成部１は、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから映像コマを一定の間隔で抽出したコマ落とし映像信号ＬＦを作成する。このコマ落とし映像信号作成部１は、特許請求の範囲における「映像コマ抽出部」に相当する。なお、カット情報ＣＩとは、一台のカメラでいったん写し始めてから写し終わるまでの一場面を「カット」と定義した際の、入力映像信号の映像におけるカットの切り替わりを示す情報である。また、目標コマ数情報ＴＦとは、入力映像信号ＩＭから映像コマを抽出するコマ数を示す情報である。
【００３２】
図２は、コマ落とし映像信号作成部１の構成を示すブロック図である。図２に示すように、コマ落とし映像信号作成部１は、コマ落とし部１１と映像遅延部１２から構成されている。
【００３３】
コマ落とし部１１は、カット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから映像コマを一定の間隔で抽出する。コマ落とし部１１で抽出された映像コマは、図示しない記憶部に記憶される。
【００３４】
映像遅延部１２は、目標コマ数情報ＴＦに基づいて、コマ落とし部１１で抽出された映像コマを遅延させ、一定のフレームレートのコマ落とし映像信号ＬＦを作成する。映像遅延部１２で作成されたコマ落とし映像信号ＬＦは、動きベクトル量算出部２へ出力される。なお、このコマ落とし映像信号ＬＦは、特許請求の範囲における「抽出映像コマ」に相当する。
【００３５】
例えば、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、入力映像信号ＩＭから映像コマを削減した後の目標フレームレートがｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）である場合は、コマ落とし部１１は、入力映像信号ＩＭから（１／ｒ）コマ毎に映像コマを抽出する。そして、映像遅延部１２は、コマ落とし部１１で映像コマを（１／ｒ）コマ遅延させ、フレームレートがｒｎ［コマ／秒］のコマ落とし映像信号ＬＦを作成する。
【００３６】
図３は、コマ落とし映像信号作成部１に入力された入力映像信号ＩＭと、コマ落とし映像信号作成部１から出力されたコマ落とし映像信号ＬＦとの対応関係の一例を示すタイムチャートである。図３では、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、コマ落とし映像信号ＬＦの目標フレームレートが０．２５ｎ［コマ／秒］である場合を示している。
【００３７】
図３に示すように、目標フレームレートが０．２５ｎである場合は、映像コマは４コマ毎に抽出されている。そして、抽出された映像コマは、４コマ遅延させて出力されている。
【００３８】
図１に戻って説明を続けると、動きベクトル量算出部２は、コマ落とし映像信号作成部１から入力されたコマ落とし映像信号ＬＦと、外部から入力された入力映像信号ＩＭとの各映像コマを、マクロブロックと呼ばれるｍｂ×ｎｂ画素（ｍ，ｎは正の定数）の矩形領域に分割し、マクロブロック毎に、動きベクトル量を算出する。具体的には、例えば、ブロックマッチング法を用いて、ｍｂ×ｍｂ画素の矩形領域に分割されたマクロブロック毎に、動きベクトル量ＭＶを算出する。なお、動きベクトル量ＭＶとは、被写体の動きの大きさをベクトル量で表したものである。動きベクトル量算出部２で算出された各マクロブロックの動きベクトル量ＭＶは、検出部３へ出力される。
【００３９】
検出部３は、動きベクトル量算出部２で求められた各マクロブロックの動きベクトル量ＭＶを予め設定した閾値と比較し、前記閾値を超える動きベクトル量ＭＶ（以降、「検出動きベクトル量ＭＶｄ」という）を検出する。検出部３で検出された検出動きベクトル量ＭＶｄは総和値算出部４へ出力される。
【００４０】
なお、閾値は、例えば、入力映像信号ＩＭのフレームレートが６０コマ／秒で、水平方向の画素が３５２画素、垂直方向の画素が２４０画素であり、ＭＢを１６×１６、ベクトルの探索エリアを半画素精度で−１２８．５〜１２８．５とした場合は、目標コマ数が３０、１５、７．５、３．７５、１．８７５に対して、それぞれ１０、１５、２０、３０、４０に設定される。
【００４１】
図４は、入力映像信号ＩＭが１０秒のアイスホッケーのシーンであった場合の、検出動きベクトル量ＭＶｄの各映像コマにおける度数分布を示すヒストグラムであり、（ａ）は水平方向のベクトル情報、（ｂ）は垂直方向のベクトル情報を示す。なお、入力映像信号ＩＭのフレームレートは６０コマ／秒であり、目標コマ数は１５コマ／秒（ｒ＝０．２５）であった。
【００４２】
総和値算出部４は、検出部３で検出された検出動きベクトル量ＭＶｄを基に、各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値を算出する。総和値算出部４で検出された各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値は、制御信号作成部５へ出力される。
【００４３】
制御情報作成部５は、総和値算出部４で算出された各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値を、総和値のカット全体における平均と分散から決定される閾値と比較して、入力映像信号ＩＭから抽出する映像コマおよびその抽出する間隔（抽出間隔）を示す制御情報ＳＣを作成する。制御情報ＳＣは、具体的には、入力映像信号ＩＭから抽出する映像コマのコマ番号と、その抽出間隔を示す制御信号とからなる。
【００４４】
なお、本実施の形態では、制御信号は、目標コマ数情報ＴＦに基づいた間隔で抽出する場合は“０”、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔で抽出する場合は“１”、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔で抽出する場合は“２”と設定している。なお、ここでいう「目標コマ数情報ＴＦに基づいた間隔」とは、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００４５】
図５は、制御情報作成部５の構成を示すブロック図である。図５に示すように、制御情報作成部５は、平均・分散算出部５１と、抽出映像コマ判定部５２と、制御情報記憶部５３とから構成されている。
【００４６】
平均・分散算出部５１は、総和値算出部４で算出された各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値から、そのカットにおける検出動きベクトル量ＭＶｄの平均Ａｖｅｉ（ｉ＝Ｈ（水平），Ｖ（垂直））と、分散σｉ２（ｉ＝Ｈ（水平），Ｖ（垂直））を算出する。
【００４７】
抽出映像コマ判定部５２は、平均・分散算出部５１で算出された平均Ａｖｅｉおよび分散σｉ２を、予め設定した基準値Ａｖｅ０および基準値σ０と比較して、入力映像信号ＩＭから抽出する映像コマとその抽出間隔を判定する。判定結果としては、入力映像信号ＩＭから抽出する映像コマと、抽出間隔を示す制御信号とからなる制御情報ＳＣが得られる。ここでは、入力映像信号ＩＭから映像コマを抽出する間隔は、映像コマ群毎に異なるので、その映像コマ群における先頭のコマ番号と最後尾のコマ番号と、その映像コマ群における抽出間隔を示す制御信号を制御情報ＳＣとしている。なお、映像コマ群とは、映像コマがあるコマ数連続しているものである。
【００４８】
抽出映像コマ判定部５２で求められた制御情報ＳＣは制御情報記憶部５３に記憶され、後記する低コマ数映像信号作成部６から入力されるタイミング情報ＴＭに基づいて、低コマ数映像信号作成部６へ出力される。
【００４９】
以下、抽出映像コマ判定部５２の一実施例について図６〜図１０を参照して説明する。図６は、抽出映像コマ判定部５２の一実施例を説明するためのフローチャートであり、図７は、図６のフローチャートにおけるＳ８以降を説明するためのフローチャート、図８は、図６のフローチャートにおけるＳ９以降を説明するためのフローチャートである。また、図９は、図４（ａ）のヒストグラムから制御情報ＳＣを作成する方法を説明するための説明図である。また、図１０は、図４（ｂ）のヒストグラムから制御情報ＳＣを作成する方法を説明するための説明図である。
【００５０】
図６のフローチャートを参照して説明すると、まず、水平方向の平均ＡｖｅＨと基準値Ａｖｅ０、および、垂直方向の平均ＡｖｅＶと基準値Ａｖｅ０をそれぞれ比較する（Ｓ１）。
【００５１】
ＡｖｅＨ≦Ａｖｅ０、かつ、ＡｖｅＶ≦Ａｖｅ０の場合は、そのカットの先頭のコマ番号と制御信号０を制御情報記憶部５３に記憶させる（Ｓ２）。
【００５２】
ＡｖｅＨ＞Ａｖｅ０、または、ＡｖｅＶ＞Ａｖｅ０の場合は、Ａｖｅｉ＞Ａｖｅ０となるｉについて、Ａｖｅｉ＋ｃ・σｉ（ｃは正の定数）より大きな総和値（各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値）が、予め設定したコマ数以上連続する数をＰｉ、そのときの連続するコマ数をｐｉｋ（ｋは識別番号、１からＰｉまでの整数）とする。また、Ａｖｅｉ＞Ａｖｅ０となるｉについて、Ａｖｅｉ−ｃσｉ（ｃは正の定数）より小さな総和値（各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値）が予め設定したコマ数以上連続する数をＱｉ、そのとき連続するコマ数をｑｉｋ（ｋは識別番号、１からＱｉまでの整数）とする（Ｓ３）。
【００５３】
例えば、ｃ＝１とすると、図４（ａ）のヒストグラムでは、図９に示すように、ＡｖｅＨ＋ｃ・σｉ＝２０．７、ＡｖｅＨ−ｃ・σｉ＝１１．５となる。また、図４（ｂ）のヒストグラムでは、図１０に示すように、ＡｖｅＶ＋ｃ・σｉ＝１０．３、ＡｖｅＶ−ｃ・σｉ＝６．９となる。
【００５４】
そして、連続するコマ数について、予め設定したコマ数が４コマの場合は、図４（ａ）のヒストグラムでは、図９に示すように、ＰＨ＝１、ｐＨ１＝１０（先頭のコマ番号５５７、最後尾のコマ番号５９３）、ＱＨ＝２、ｑＨ１＝１３（先頭のコマ番号１、最後尾のコマ番号４９）、ｑＨ２＝６（先頭のコマ番号３２９、最後尾のコマ番号３４９）となる。また、図４（ｂ）のヒストグラムでは、図１０に示すように、ＰＶ＝４、ｐＶ１＝４（先頭のコマ番号３６９、最後尾のコマ番号３８１）、ｐＶ２＝１０（先頭のコマ番号３８９、最後尾のコマ番号４２５）、ｐＶ３＝４（先頭のコマ番号５６１、最後尾のコマ番号５７３）、ｐＶ４＝４（先頭のコマ番号５８１、最後尾のコマ番号５９３）、ＱＶ＝１、ｑＶ１＝１０（先頭のコマ番号１、最後尾のコマ番号３７）となる。
【００５５】
次に、ΣＰｉとΣＱｉとを調べ（Ｓ４）、ΣＰｉ＝０、または、ΣＱｉ＝０の場合は、そのカットの先頭のコマ番号と制御信号０を制御情報記憶部５３に記憶させる（Ｓ５）。
【００５６】
ΣＰｉ≧１、かつ、ΣＱｉ≧１の場合は、ｆＨ＝Ｍｉｎ（ΣｐＨｋ，ΣｑＨｋ）、および、ｆＶ＝Ｍｉｎ（ΣｐＶｋ，ΣｑＶｋ）を調べる（Ｓ６）。つまり、ΣｐＨｋとΣｑＨｋとを比較して、小さい方をｆＨとする。また、ΣｐＶｋとΣｑＶｋとを比較し、小さい方をｆＶとする。
【００５７】
例えば、図４（ａ），（ｂ）のヒストグラムでは、ΣｐＨｋ＝ｐＨ１＝１０、ΣｑＨｋ＝ｑＨ１＋ｑＨ２＝１３＋６＝１９なので、ｆＨ＝１０となる（図９参照）。また、ΣｐＶｋ＝ｐＶ１＋ｐＶ２＋ｐＶ３＋ｐＶ４＝４＋１０＋４＋４＝２２、ΣｑＶｋ＝ｑＶ１＝１０なので、ｆＶ＝１０となる（図１０参照）。
【００５８】
そして、ｆＨとｆＶとを比較して、大きい方をｆｉ´として選択し、ｆｉ´を決定したｐｉ´ｋまたはｑｉ´ｋに従がって、Ｓ８またはＳ９を選択する（Ｓ７）。なお、ｆＨとｆＶとが同じ値の場合は、ｆＨを選択する。
【００５９】
Ｓ８またはＳ９では、その映像コマ群における先頭のコマ番号と、ｐｉ´ｋまたはｑｉ´ｋに対応する制御信号とを、対にして制御情報記憶部５３に記憶させる。また、その映像コマ群における「最後尾のコマ番号＋１／ｒ」と、制御信号０とを対にして制御情報記憶部５３に記憶させる。なお、制御信号は、ｐｉ´ｋに対しては、制御信号１を割り当て、ｑｉ´ｋに対しては制御信号２を割り当てる。
【００６０】
例えば、図４（ａ），（ｂ）のヒストグラムでは、ｆＨとｆＶは同じ値なので、ｆＨを選択し、Ｓ８へ進む。そして、Ｓ８では、ｆＨ＝１０を導いたｐＨ１に対応する制御信号１を、先頭のコマ番号５５７（図９参照）と共に制御情報記憶部５３に記憶させる。また、「最後尾番号５９３＋１／ｒ」＝５９３＋４＝５９７を、制御信号０と共に制御情報記憶部５３に記憶させる。
【００６１】
図７のフローチャートを参照して、Ｓ８の次は、Ｍａｘｑｉ´ｋを満たすｋ´に関して、条件ｆｉ´−ｑｉ´ｋ´＞０を調べる（Ｓ８１）。
【００６２】
条件ｆｉ´−ｑｉ´ｋ´＞０が成立している場合は、次のステップＳ８２へ進む。ステップＳ８２では、該当するｋ´に対応する映像コマ群における先頭のコマ番号と制御信号２を対にして制御情報記憶部５３に記憶させる。また、「最後尾の番号＋１／ｒ」と制御信号０を対にして制御情報記憶部５３に記憶させる（Ｓ８２）。そして、ｋ´を除去してから、Ｍａｘｑｉ´ｋを満たすｋ´´に関して、条件（ｆｉ´−ｑｉ´ｋ´）−ｑｉ´ｋ´´＞０を調べ、この条件が成立しなくなるまで続ける（Ｓ８３）。そして、この条件が成立しなくなると、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号２を対にして制御情報記憶部５３に記憶させる。また、「先頭のコマ番号＋（ｆｉ´−ｑｉ´ｋ´）×１／ｒ」と制御信号０を対にして制御情報記憶部５３に記憶させて（Ｓ８４）、処理を終了する。
【００６３】
逆に、条件ｆｉ´−ｑｉ´ｋ´＞０が成立していない場合は、次のステップＳ８５へ進む。ステップＳ８５では、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号２を対にして制御情報記憶部５３に記憶させる。また、「先頭のコマ番号＋ｆｉ´×１／ｒ」と制御信号０を対にして制御情報記憶部５３に記憶させて、処理を終了する。
【００６４】
例えば、図４（ａ），（ｂ）のヒストグラムでは、先のＳ７においてｆＨが選択されているので、条件ｆｉ´−ｑｉ´ｋ´＞０を調べると、ｆＨ−ｑＨ１＝１０−１３＝−３＜０となり、この条件は成立していないので、先頭コマ番号＝１と制御信号２を対にして制御情報記憶部５３に記憶させる。また、「先頭のコマ番号＋ｆｉ´×１／ｒ」＝１＋１０×４＝４１と制御信号０を対にして制御情報記憶部５３に記憶させる。
【００６５】
図８のフローチャートを参照して、Ｓ９の次は、Ｍａｘｐｉ´ｋを満たすｋ´に関して、条件ｆｉ´−ｐｉ´ｋ´＞０を調べる（Ｓ９１）。
【００６６】
条件ｆｉ´−ｐｉ´ｋ´＞０が成立している場合は、次のステップＳ９２へ進む。ステップＳ９２では、該当するｋ´に対応する映像コマ群における先頭のコマ番号と制御信号１を対にして制御情報記憶部５３に記憶させる。また、「最後尾の番号＋１／ｒ」と制御信号０を対にして制御情報記憶部５３に記憶させる（Ｓ９２）。そして、ｋ´を除去してから、Ｍａｘｐｉ´ｋを満たすｋ´´に関して、条件（ｆｉ´−ｐｉ´ｋ´）−ｐｉ´ｋ´´＞０を調べ、この条件が成立しなくなるまで続ける（Ｓ９３）。そして、この条件が成立しなくなると、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号１を対にして制御情報記憶部５３に記憶させる。また、「先頭のコマ番号＋（ｆｉ´−ｐｉ´ｋ´）×１／ｒ」と制御信号０を対にして制御情報記憶部５３に記憶させて（Ｓ９４）、処理を終了する。
【００６７】
逆に、条件ｆｉ´−ｐｉ´ｋ´＞０が成立していない場合は、次のステップＳ９５へ進む。ステップＳ９５では、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号１を対にして制御情報記憶部５３に記憶させる。また、「先頭のコマ番号＋ｆｉ´×１／ｒ」と制御信号０を対にして制御情報記憶部５３に記憶させて、処理を終了する。
【００６８】
そして、全てのステップが終了すると、Ｓ７で選択したｆｉ´と逆のｆｉ´´について、Ｓ７以降の手順を繰り返す。つまり、Ｓ７でｆＨが選択された場合は、ｆＶについてＳ７以降の手順を繰り返す。また、Ｓ７でｆＶが選択された場合は、ｆＨについてＳ７以降の手順を繰り返す。ただし、ｆｉ´について、抽出対象としたコマ番号と重複したコマ番号を記憶対象とした場合は、その重複したコマ番号を新たに記憶させることはしない。
【００６９】
図１に戻って説明を続けると、低コマ数映像信号作成部６は、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦと、制御情報作成部５から入力される制御情報ＳＣとに基づいて、カット毎に、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔、目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔よりも短い間隔および目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔よりも長い間隔のいずれかの間隔で抽出して低コマ数映像信号ＬＭを作成する。なお、低コマ数映像信号ＬＭとは、入力映像信号ＩＭの映像コマ数を目標コマ数情報ＴＦに基づいて削減した映像信号のことである。
【００７０】
図１１は、低コマ数映像信号作成部６の構成を示すブロック図である。図１１に示すように、低コマ数映像信号作成部６は、第１の映像遅延部６１と、第２の映像遅延部６２と、コマ落とし部６３とからなる。
【００７１】
第１の映像遅延部６１は、新たなカット情報ＣＩが入力されるまで、現在の入力映像信号ＩＭを遅延させる。
【００７２】
第２の映像遅延部６２は、制御情報作成部５が制御情報ＳＣを作成するまで、現在の入力映像信号ＩＭを遅延させ、必要に応じて、タイミング情報ＴＭを制御情報作成部５の制御情報記憶部５３に出力する。なお、タイミング情報ＴＭとは、制御情報記憶部５３が制御情報ＳＣを出力するタイミングを示す情報である。
【００７３】
コマ落とし部６３は、制御情報記憶部５３から入力された制御情報ＳＣに基づいて、入力映像信号ＩＭから映像コマを抽出して低コマ数映像信号ＬＭを作成する。具体的には、制御信号に示されている抽出間隔に基づいて、映像コマ群毎に映像コマを抽出して、低コマ数映像信号ＬＭを作成する。
【００７４】
次に、コマ落とし部６３の一実施例について図１２および図１３を参照して説明する。図１２は、制御情報作成部５の制御情報記憶部５３に記憶された制御情報ＳＣの一例を示す表である。また、図１３は、コマ落とし部６３が図１２に示す制御情報ＳＣに基づいて作成した低コマ数映像信号ＬＭを説明するための説明図である。
【００７５】
図１２に示す制御情報ＳＣに基づいて、入力映像信号ＩＭから低コマ数映像信号ＬＭを作成する際は、図１３に示すように、先頭のコマ番号が１、最後尾のコマ番号が３７である映像コマ群では、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔（ｒ＝０．１２５）で映像コマを抽出する。また、先頭のコマ番号が５５７、最後尾のコマ番号が５９３である映像コマ群では、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔（ｒ＝０．５）で映像コマを抽出する。そして、その他の部分では、目標コマ数情報ＴＦに基づいた間隔（ｒ＝０．２５）で抽出する。なお、「目標コマ数情報ＴＦに基づいた間隔」とは、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００７６】
低コマ数映像信号作成部６で作成された低コマ数映像信号ＬＭは、フラグ情報ＦＩと共に、表示部７に多重して出力される。なお、フラグ情報ＦＩとは、映像コマをホールドするコマ数を示す情報である。
【００７７】
図１４は表示部７の構成を示すブロック図である。図１４に示すように、表示部７は、分離部７１とコマホールド部７２から構成されている。
【００７８】
分離部７１は、低コマ数映像信号作成部６から多重されて入力される低コマ数映像信号ＬＭとフラグ情報ＦＩを分離する。低コマ数映像信号作成部６で分離された低コマ数映像信号ＬＭとフラグ情報ＦＩは、コマホールド部７２へ出力される。
【００７９】
コマホールド部７２は、フラグ情報ＦＩに基づいて、低コマ数映像信号ＬＭの映像コマをホールドする。なお、本実施の形態では、映像コマをホールドするコマ数は、フラグ情報が０の場合は１／ｒコマ、フラグ情報が１の場合は１／２ｒコマ、フラグ情報が２の場合は２／ｒコマと設定している。
【００８０】
（映像コマ数削減装置の動作）
次に、図１５に示す映像コマ数削減装置の動作を示すフローチャートを参照して映像コマ数削減装置の動作を説明する。なお、以下の説明では、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、目標フレームレートがｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）である場合を想定している。
【００８１】
まず、コマ落とし映像信号作成部１では、コマ落とし部１１で、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから（１／ｒ）コマ毎に映像コマを抽出する（Ｓ１１）。そして、映像遅延部１２で、抽出された映像コマを（１／ｒ）コマ遅延させ、フレームレートがｒｎ［コマ／秒］のコマ落とし映像信号ＬＦを作成する（Ｓ１２）。作成されたコマ落とし映像信号ＬＦは、動きベクトル量算出部２へ出力される。
【００８２】
続いて、動きベクトル量算出部２では、コマ落とし映像信号作成部１から入力されたコマ落とし映像信号ＬＦと、外部から入力された入力映像信号ＩＭとの各映像コマを、マクロブロックと呼ばれるｍｂ×ｎｂ画素（ｍ，ｎは正の定数）の矩形領域に分割し、マクロブロック毎に、動きベクトル量ＭＶを算出する（Ｓ１３）。動きベクトル量算出部２で算出された各マクロブロックの動きベクトル量ＭＶは、検出部３へ出力される。
【００８３】
次に、検出部３では、動きベクトル量算出部２で求められた各マクロブロックの動きベクトル量ＭＶを予め設定した閾値と比較し、前記閾値を超える動きベクトル量ＭＶ（検出動きベクトル量ＭＶｄ）を検出する（Ｓ１４）。検出部３で検出された検出動きベクトル量ＭＶｄは、総和値算出部４へ出力される。
【００８４】
そして、総和値算出部４では、検出部３で検出された検出動きベクトル量ＭＶｄを基に、各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値を算出する（Ｓ１５）。総和値算出部４で算出された各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値は、制御信号作成部５へ出力される。
【００８５】
制御情報作成部５では、平均・分散算出部５１で、総和値算出部４で算出された各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値から、そのカットにおける検出動きベクトル量ＭＶｄの平均Ａｖｅｉ（ｉ＝Ｈ（水平），Ｖ（垂直））と、分散σｉ２（ｉ＝Ｈ（水平），Ｖ（垂直））を算出する。（Ｓ１６）。そして、抽出映像コマ判定部５２で、平均・分散算出部５１で算出された平均Ａｖｅｉおよび分散σｉ２を、予め設定した基準値Ａｖｅ０および基準値σ０と比較して、入力映像信号ＩＭから抽出する映像コマと、その抽出間隔を判定する（Ｓ１７）。判定結果としては、入力映像信号ＩＭから抽出する映像コマと、抽出間隔を示す制御信号とからなる制御情報ＳＣが得られる。抽出映像コマ判定部５２で求められた制御情報ＳＣは制御情報記憶部５３に記憶される（Ｓ１８）。
【００８６】
低コマ数映像信号作成部６では、第１の映像遅延部６１は、新たなカット情報ＣＩが入力されるまで、現在の入力映像信号ＩＭを遅延させる（Ｓ１９）。また、第２の映像遅延部６２は、制御情報作成部５で制御情報ＳＣが作成されるまで、現在の入力映像信号ＩＭを遅延させ、必要に応じて、タイミング情報ＴＭを制御情報作成部５の制御情報記憶部５３へ出力する（Ｓ２０）。そして、第２の映像遅延部６２からタイミング情報ＴＭが出力されると、制御情報記憶部５３に記憶されている制御情報ＳＣが低コマ数映像信号作成部６のコマ落とし部６３へ入力される（Ｓ２１）。
【００８７】
そして、コマ落とし部６３では、制御情報記憶部５３から入力された制御情報ＳＣに基づいて、入力映像信号ＩＭから映像コマを抽出して低コマ数映像信号ＬＭを作成する（Ｓ２２）。具体的には、制御情報に示された映像コマを制御情報に示された間隔で抽出して、低コマ数映像信号ＬＭを作成する。低コマ数映像信号作成部６で作成された低コマ数映像信号ＬＭは、フラグ情報ＦＩと共に、表示部７に多重して出力される（Ｓ２３）。
【００８８】
以上説明したように、本発明に係る映像コマ数削減装置および映像コマ数削減方法によれば、カット毎に、被写体の動きの大きい映像コマ群では、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔で抽出し、被写体の動きの小さい映像コマ群では、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔で抽出することができる。
【００８９】
以上、本発明の実施の形態について説明したが、本発明はこのような実施例にのみ限定されるものではなく、本発明の技術的思想に基づく限りにおいて、種々の変形が可能である。
【００９０】
例えば、本実施の形態では、検出部３で検出動きベクトル量ＭＶｄを検出し、算出部４で各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値を算出した後、制御情報作成部５で、各抽出映像コマにおける検出動きベクトル量ＭＶｄの総和値を利用して制御情報ＳＣを作成したが、図１６に示すように、検出部３と総和値算出部４との代わりに、グローバルベクトル量算出部８を設けた構成とすることもできる。
【００９１】
その場合、グローバルベクトル量算出部８で、動きベクトル量算出部２で算出された動きベクトル量ＭＶを基に、各抽出映像コマにおけるグローバルベクトル量ＭＶｍを算出する。なお、グローバルベクトル量とは、その抽出映像コマにおいて最も多く検出された動きベクトル量のことである。
【００９２】
グローバルベクトル量を算出する方法には、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐｐ．９９４−９５２、１９９３，上倉一人　他）に提案されている手法を利用することができる。また、グローバルベクトル量として各映像コマにおける動きベクトル量の大きさの平均値を利用することもできる。
【００９３】
そして、制御情報作成部５では、グローバルベクトル量算出部８で算出されたグローバルベクトル量ＭＶｍを、グローバルベクトル量のカット全体における平均と分散から決定される閾値と比較して、入力映像信号ＩＭから抽出する映像コマおよびその抽出する間隔（抽出間隔）を示す制御情報ＳＣを作成する。
【００９４】
【発明の効果】
請求項１および請求項４に記載された発明によれば、動きベクトル量の総和値に基づいて、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成するので、映像コマ数を削減する際に動きの大きなシーンで生じ易い折り返し歪みにより画像劣化や映像内容の連続性の喪失を軽減させることができる。
【００９５】
また、請求項２および請求項６に記載された発明によれば、動きベクトル量の総和値を総和値のカット全体における平均と分散から決定される閾値と比較することにより制御情報を作成するので、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。したがって、精度の高い制御情報を作成することができる。
【００９６】
また、請求項３および請求項７に記載された発明によれば、グローバルベクトル量に基づいて、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成するので、映像コマ数を削減する際に動きの大きなシーンで生じ易い折り返し歪みにより画像劣化や映像内容の連続性の喪失を軽減させることができる。
【００９７】
また、請求項４および請求項８に記載された発明によれば、グローバルベクトル量をグローバルベクトル量のカット全体における平均と分散から決定される閾値と比較することにより制御情報を作成するので、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。したがって、精度の高い制御情報を作成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像コマ数削減装置の全体構成を示すブロック図である。
【図２】コマ落とし映像信号作成部１の構成を示すブロック図である。
【図３】コマ落とし映像信号作成部１に入力された入力映像信号ＩＭと、コマ落とし映像信号作成部１から出力されたコマ落とし映像信号ＬＦとの対応関係の一例を示したタイムチャートである。
【図４】入力映像信号ＩＭが１０秒のアイスホッケーのシーンであった場合の、検出動きベクトル量ＭＶｄの各映像コマにおける度数分布を示すヒストグラムであり、（ａ）は水平方向のベクトル情報、（ｂ）は垂直方向のベクトル情報を示す。
【図５】制御情報作成部５の構成を示すブロック図である。
【図６】抽出映像コマ判定部５２の一実施例を説明するためのフローチャートである。
【図７】図６のフローチャートにおけるＳ８以降を説明するためのフローチャートである。
【図８】図６のフローチャートにおけるＳ９以降を説明するためのフローチャートである。
【図９】図４（ａ）のヒストグラムから制御情報ＳＣを作成する方法を説明するための説明図である。
【図１０】図４（ｂ）のヒストグラムから制御情報ＳＣを作成する方法を説明するための説明図である。
【図１１】低コマ数映像信号作成部６の構成を示すブロック図である。
【図１２】制御情報作成部５の制御情報記憶部５３に記憶された制御情報ＳＣの一例を示す表である。
【図１３】コマ落とし部６３が図１２に示す制御情報ＳＣに基づいて作成した低コマ数映像信号ＬＭを説明するための説明図である。
【図１４】表示部７の構成を示すブロック図である。
【図１５】映像コマ数削減装置の動作を示すフローチャートである。
【図１６】本発明の他の実施の形態映像コマ数削減装置の全体構成を示すブロック図である。
【符号の説明】
１　　コマ落とし映像信号作成部
２　　動きベクトル量算出部
３　　検出部
４　　総和値算出部
５　　制御情報作成部
６　　低コマ数映像信号作成部
ＣＩ　カット情報
ＩＭ　入力映像信号
ＴＦ　目標コマ数情報
ＬＦ　コマ落とし映像信号
ＭＶ　動きベクトル量
ＳＣ　制御情報
ＬＭ　低コマ数映像出力
【図１】
2004040473.tif 000003
【図２】
2004040473.tif 000004
【図３】
2004040473.tif 000005
【図４】
2004040473.tif 000006
【図５】
2004040473.tif 000007
【図６】
2004040473.tif 000008
【図７】
2004040473.tif 000009
【図８】
2004040473.tif 000010
【図９】
2004040473.tif 000011
【図１０】
2004040473.tif 000012
【図１１】
2004040473.tif 000013
【図１２】
2004040473.tif 000014
【図１３】
2004040473.tif 000015
【図１４】
2004040473.tif 000016
【図１５】
2004040473.tif 000017
【図１６】
2004040473.tif 000018