(57)【特許請求の範囲】
【請求項１】
映像符号化におけるスプライト符号化が適用できるか否かを判定する方法であって、
ショットに対し、ショットが第一の閾値を超えるもしくは該第一の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定するステップと、
前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、ショット中で該カメラパラメータのいずれかがそれぞれに対応した第二の閾値群の閾値二Ａ、二Ｂ、二Ｃ、二Ｄ、二Ｅ、二Ｆ、二Ｇを超えるもしくは該第二の閾値群の閾値以上である場合に、そのショットをスプライト符号化が適用できる可能性があると判定するステップと、
前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたショットに対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第三の閾値未満もしくは該第三の閾値以下であるショットを、スプライト符号化ができるショットであると判定するステップとを有する
ことを特徴とする映像のスプライト符号化判定方法。
【請求項２】
映像符号化におけるスプライト符号化が適用できるか否かを判定する方法であって、
ショットに対し、ショットが第四の閾値を超えるもしくは該第四の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定するステップと、
前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、モーションフレーム列中で各カメラパラメータのいずれかがそれぞれに対応した第五の閾値群の閾値五Ａ、五Ｂ、五Ｃ、五Ｄ、五Ｅ、五Ｆ、五Ｇを超えるもしく該第五閾値群の閾値以上である場合で、かつ、そのモーションフレーム列のフレーム数が第六の閾値を超えるもしくは該第六の閾値以上である場合に、そのモーションフレーム列をスプライト符号化が適用できる可能性があると判定するステップと、
前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたモーションフレーム列に対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第七の閾値未満もしくは該第七の閾値以下であり、かつ、フレーム数が第八の閾値を超えるもしくは該第八の閾値以上であるモーションフレーム列を、スプライト符号化ができるモーションフレーム列であると判定するステップとを有する
ことを特徴とする映像のスプライト符号化判定方法。
【請求項３】
映像符号化におけるスプライト符号化が適用できるか否かを判定する装置であって、
ショットに対し、ショットが第一の閾値を超えるもしくは該第一の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定する手段と、
前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、ショット中で各カメラパラメータのいずれかがそれぞれに対応した第二の閾値群の閾値二Ａ、二Ｂ、二Ｃ、二Ｄ、二Ｅ、二Ｆ、二Ｇを超えるもしくは該第二の閾値群の閾値以上である場合に、そのショットをスプライト符号化が適用できる可能性があると判定する手段と、
前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたショットに対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第三の閾値未満もしくは該第三の閾値以下であるショットを、スプライト符号化ができるショットであると判定する手段とを備える
ことを特徴とする映像のスプライト符号化判定装置。
【請求項４】
映像符号化におけるスプライト符号化が適用できるか否かを判定する装置であって、
ショットに対し、ショットが第四の閾値を超えるもしくは該第四の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定する手段と、
前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、モーションフレーム列中で各カメラパラメータのいずれかがそれぞれに対応した第五の閾値群の閾値五Ａ、五Ｂ、五Ｃ、五Ｄ、五Ｅ、五Ｆ、五Ｇを超えるもしくは該第五の閾値群の閾値以上である場合で、かつ、そのモーションフレーム列のフレーム数が第六の閾値を超えるもしくは該第六の閾値以上である場合に、そのモーションフレーム列をスプライト符号化が適用できる可能性があると判定する手段と、
前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたモーションフレーム列に対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第七の閾値未満もしくは該第七の閾値以下であり、かつ、フレーム数が第八の閾値を超えるもしくは該第八の閾値以上であるモーションフレーム列を、スプライト符号化ができるモーションフレーム列であると判定する手段とを備える
ことを特徴とする映像のスプライト符号化判定装置。
【請求項５】
請求項１または２記載の映像のスプライト符号化判定におけるステップをコンピュータで実行するプログラムであって、映像中のショットがスプライト符号化に適しているか否かを判定するためのスプライト符号化判定プログラムを、
前記コンピュータが読取可能である記憶媒体に格納した
ことを特徴とする映像のスプライト符号化判定プログラムを格納した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スプライト符号化判定方法及び装置及びスプライト符号化判定プログラムを格納した記憶媒体に係り、特に編集映像中のショット（映像の映りかわりであるカット点、すなわち、シーンチェンジを持たない連続したフレーム列をいう）もしくはモーションフレーム列（１個のショット中に含まれ、カメラの動きに一定の傾向がある連続したフレーム列をいう）において、スプライト符号化が適しているか否かを判定するためのスプライト符号化判定方法及び装置及びスプライト符号化判定プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
映像符号化の次世代標準であるＭＰＥＧ−４のＶｅｒｓｉｏｎ１  Ｍａｉｎ  Ｐｒｏｆｉｌｅで映像をビデオオブジェクト毎に符号化する「オブジェクト符号化」において、特に、カメラの動きを抽出することによって背景オブジェクトを背景パノラマ画像（以下スプライト画像）で表現する「スプライト符号化」は、全画面を１つのビデオオブジェクトとして符号化する通常符号化と比較して劇的な符号化効率の向上を実現する方法である。なお、「オブジェクト符号化」、「スプライト符号化」については、文献１「“ＭＰＥＧ−４のすべて”、ｐｐ．５３−５６、三木弼一著、工業調査会」、文献２「“Ａ  Ｌａｙｅｒｅｄ  Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ  Ｓｙｓｔｅｍ  Ｕｓｉｎｇ  Ｓｐｒｉｔｅａｎｄ  Ａｆｆｉｎｅ  Ｍｏｔｉｏｎ  Ｍｏｄｅｌ”、Ｍｉｎｇ−ＣｈｉｅｈＬｅｅ，Ｗｅｉ−ｇｅ  Ｃｈｅｎ  ａｎｄ  Ｃｈｉｈ−ｌｕｎｇ  他、ＩＥＥＥＴ  Ｔｒｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．７，Ｎｏ．１，ｐｐ．１３０−１４５，Ｆｅｂｒｕａｒｙ  １９９７」などに記載されている。
【０００３】
このスプライト符号化は、映像の映りかわりであるカット点を持たない、連続したフレーム列であるショットに対し、そのショット中の基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し、そのグローバルモーションを用いてフレームを幾何変換し、繋ぎ合わせてスプライト画像を生成する。更に生成したスプライト画像から該当フレームの背景画像を切り出し、該背景画像と各フレームの差分をもとに得られる移動物体等の前景画像を抽出し、スプライト画像、前景画像をそれぞれオブジェクト符号化することによって実現する符号化方法である。
【０００４】
ここで、通常符号化部とスプライト符号化部をもつ、従来のＭＰＥＧ−４混成符号化器を図４に示す。図４の従来の混成符号化器では、入力である一般編集映像に対し、カット点検出部３１がカット点を検出してショットに分割した後、あらかじめ通常符号化部３３とスプライト符号化部３４とで、通常符号化、スプライト符号化の両方で符号化した後に、従来のショット判定部４４にて、両方の符号量を比較し、どちらの符号化方法が適しているかを判定し、ショット合成部３５に処理を引き渡してＭＰＥＧ−４ビットストリームを出力する。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、１つのショットに対し、常に２通りの符号化方法で符号化した後に、どちらの符号化方法が適しているかを比較し、判定する必要があるために、全体として処理量がかかるという問題がある。このため、上記の従来の技術では、ショットに分割した後にショットごとに符号化方法を適応的に切り替えることは出来なかった。
【０００６】
本発明の課題は、上記従来の技術では、前記ショットが前記スプライト符号化、前記通常符号化のいずれかに適しているかの判定が、ショット抽出後に両方の符号化方法で符号化した後で行われていたものを、ショット抽出直後に判定可能とし、ショット抽出後にショットごとに符号化方法を適応的に切り替えることを可能として、一般編集映像を入力とした通常符号化、スプライト符号化の双方を含む混成符号化器を小さい処理量で提供することができる映像のスプライト判定方法及び装置、及びこの方法を格納した記憶媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、映像符号化におけるスプライト符号化が適用できるか否かを判定する方法であって、ショットに対し、ショットが第一の閾値を超えるもしくは該第一の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定するステップと、前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、ショット中で該カメラパラメータのいずれかがそれぞれに対応した第二の閾値群の閾値二Ａ、二Ｂ、二Ｃ、二Ｄ、二Ｅ、二Ｆ、二Ｇを超えるもしくは該第二の閾値群の閾値以上である場合に、そのショットをスプライト符号化が適用できる可能性があると判定するステップと、前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたショットに対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第三の閾値未満もしくは該第三の閾値以下であるショットを、スプライト符号化ができるショットであると判定するステップとを有することを特徴とする。
【０００８】
あるいは、映像符号化におけるスプライト符号化が適用できるか否かを判定する方法であって、ショットに対し、ショットが第四の閾値を超えるもしくは該第四の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定するステップと、前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、モーションフレーム列中で各カメラパラメータのいずれかがそれぞれに対応した第五の閾値群の閾値五Ａ、五Ｂ、五Ｃ、五Ｄ、五Ｅ、五Ｆ、五Ｇを超えるもしく該第五閾値群の閾値以上である場合で、かつ、そのモーションフレーム列のフレーム数が第六の閾値を超えるもしくは該第六の閾値以上である場合に、そのモーションフレーム列をスプライト符号化が適用できる可能性があると判定するステップと、前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたモーションフレーム列に対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第七の閾値未満もしくは該第七の閾値以下であり、かつ、フレーム数が第八の閾値を超えるもしくは該第八の閾値以上であるモーションフレーム列を、スプライト符号化ができるモーションフレーム列であると判定するステップとを有することを特徴とする。
【０００９】
あるいは、映像符号化におけるスプライト符号化が適用できるか否かを判定する装置であって、ショットに対し、ショットが第一の閾値を超えるもしくは該第一の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定する手段と、前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、ショット中で各カメラパラメータのいずれかがそれぞれに対応した第二の閾値群の閾値二Ａ、二Ｂ、二Ｃ、二Ｄ、二Ｅ、二Ｆ、二Ｇを超えるもしくは該第二の閾値群の閾値以上である場合に、そのショットをスプライト符号化が適用できる可能性があると判定する手段と、前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたショットに対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第三の閾値未満もしくは該第三の閾値以下であるショットを、スプライト符号化ができるショットであると判定する手段とを備えることを特徴とする。
【００１０】
あるいは、映像符号化におけるスプライト符号化が適用できるか否かを判定する装置であって、ショットに対し、ショットが第四の閾値を超えるもしくは該第四の閾値以上のフレーム数を有するとき、スプライト符号化が適用できる可能性があるショットであると判定する手段と、前記スプライト符号化が適用できる可能性があると判定されたショットに対し、各フレーム間のカメラの動きであるカメラパラメータとしてズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値を算出し、モーションフレーム列中で各カメラパラメータのいずれかがそれぞれに対応した第五の閾値群の閾値五Ａ、五Ｂ、五Ｃ、五Ｄ、五Ｅ、五Ｆ、五Ｇを超えるもしくは該第五の閾値群の閾値以上である場合で、かつ、そのモーションフレーム列のフレーム数が第六の閾値を超えるもしくは該第六の閾値以上である場合に、そのモーションフレーム列をスプライト符号化が適用できる可能性があると判定する手段と、前記カメラパラメータによってスプライト符号化が適用できる可能性があると判定されたモーションフレーム列に対し、前景部分を除去した画像を繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像の差分画像より、所定の閾値において２値化処理した画像を生成し、前景部分の全体部分に占める割合である前景比率を算出し、前記算出した前景比率が第七の閾値未満もしくは該第七の閾値以下であり、かつ、フレーム数が第八の閾値を超えるもしくは該第八の閾値以上であるモーションフレーム列を、スプライト符号化ができるモーションフレーム列であると判定する手段とを備えることを特徴とする。
【００１１】
さらには、上記の映像のスプライト符号化判定におけるステップをコンピュータで実行するプログラムであって、映像中のショットがスプライト符号化に適しているか否かを判定するためのスプライト符号化判定プログラムを、前記コンピュータが読取可能である記憶媒体に格納したことを特徴とする。
【００１２】
本発明は、一般編集映像中のショットがスプライト符号化に適しているか否かを、いくつかの判定要素を併用することにより、通常符号化およびスプライト符号化の両方で符号化する前に判定することを最も主要な特徴とする。従来の技術とは、判定までの処理量を大幅に削減した点が異なる。
【００１３】
スプライト符号化に適しているショットは、十分なフレーム数を有すること、カメラの動きがあること、カメラの動きとは異なる動きをする部分である移動体等の前景部分が十分小さいこと、が挙げられる。十分なフレーム数がないショットは、全符号化データ中のスプライト画像の占める割合が高くなり、通常符号化と比較すると、符号量削減のメリットを生かすことが出来ないのでスプライト符号化には適さない。カメラの動きがないショットは、フレーム間において背景が変化しないために、符号化データなし（Ｎｏｔ  Ｃｏｄｅｄ）という方法を用いた通常符号化と比較すると、符号量削減のメリットを生かすことが出来ないのでスプライト符号化には適さない。前景部分が大きいショットは、スプライト画像を良好に生成することができないために、スプライト画像との差分で算出する前景画像が大きくなってしまい、通常符号化と比較すると、符号量削減のメリットを生かすことができないのでスプライト符号化には適さない。
【００１４】
本発明では、ショット中のフレーム数を第一の閾値で判定する手段／ステップにより、ショットが十分なフレーム数を有することを判定可能とし、カメラパラメータを第二の閾値群によって判定する手段／ステップにより、カメラの動きがあることを判定可能とし、差分画像の２値化処理を施した２値画像における前景比率を第三の閾値によって判定する手段／ステップにより、前景部分が十分小さいことを判定可能とし、これら３つの手段／ステップにより、本発明の課題である、ショットがスプライト符号化に適しているかの判定を通常符号化とスプライト符号化の両方で符号化する前に行うことを可能にしている。
【００１５】
【発明の実施の形態】
以下、図面により本発明の実施の形態を詳細に説明する。
【００１６】
図１は、本発明の第一の実施形態例を示す第一の原理構成図であって、本装置の構成とともに処理の流れを示している。
【００１７】
本装置は、フレーム数判定部１１、カメラパラメータ判定部１２、前景比率判定部１３から構成される。この３つの判定部をまとめて、ショット判定部３２Ａとする。これは図３の実施形態例の構成図のショット判定部３２（Ａ，Ｂ）に相当する。
【００１８】
フレーム数判定部１１は、入力されたショットのフレーム数が第一の閾値を超えているか否かを判定する。フレーム数が第一の閾値以下の場合は、スプライト符号化に適さないと判定し、通常符号化部３４に処理を引き渡す。第一の閾値を超えている場合は、スプライト符号化に適している可能性があるとして、次のカメラパラメータ判定部１２へ処理を引き渡す。
【００１９】
カメラパラメータ判定部１２は、フレーム数判定部１１からスプライト符号化に適している可能性があると判定されたショットのカメラパラメータをズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値において算出し、これらの値のいずれかが、ズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値のそれぞれに対応した第二の閾値群の閾値二Ａ，二Ｂ，二Ｃ，二Ｄ，二Ｅ，二Ｆ，二Ｇを超えているか否かを検査し、ショットがカメラの動きを有するか否かを判定する。すべてのカメラパラメータが第二の閾値群の中のそれぞれに対応する閾値以下である場合は、カメラの動きがなく、スプライト符号化に適さないと判定し、通常符号化部３３へ処理を引き渡す。いずれかのカメラパラメータが第二の閾値群の中のそれぞれに対応する閾値を超えている場合は、カメラの動きがあり、スプライト符号化に適している可能性があると判定し、次の前景比率判定部１３へ処理を引き渡す。
【００２０】
前景比率判定部１３は、カメラパラメータ判定部１２からスプライト符号化に適している可能性があると判定したショットに対し、前景部分を繋ぎ合わせることで背景パノラマ画像である仮スプライト画像を生成し、原画像と仮スプライト画像から抜き出した各フレームにおける予測背景画像との差分画像を所定の閾値によって２値化処理した画像の前景部分の全体に対する比率を算出し、その比率を第三の閾値によって、ショットの前景が大きくないことを判定する。前景比率が第三の閾値以上であるショットは、スプライト符号化に適さないと判定し、通常符号化部３３へ処理を引き渡す。それ以外（第三の閾値未満）の場合はスプライト符号化に適していると判定し、スプライト符号化部３４へ処理を引き渡す。
【００２１】
図２は、本発明の第二の実施形態例を示す第二の原理構成図であって、本装置の構成とともに処理の流れを示している。
【００２２】
本装置は、フレーム数判定部２１、カメラパラメータ判定およびフレーム数判定部２２、前景比率判定およびフレーム数判定部２３から構成される。３つの判定部をまとめてショット判定部３２Ｂとする。これは図３の実施形態例の構成図のショット判定部３２（Ａ，Ｂ）に相当する。
【００２３】
フレーム数判定部２１は、入力されたショットのフレーム数が第四の閾値を超えているか否かを判定する。フレーム数が第四の閾値以下の場合は、スプライト符号化に適さないと判断し、通常符号化部に処理を引き渡す。第四の閾値を超えている場合は、スプライト符号化に適している可能性があるとして、次のカメラパラメータ判定部へ処理を引き渡す。
【００２４】
カメラパラメータ判定およびフレーム数判定部２２は、フレーム数判定部２１からスプライト符号化に適している可能性があると判定されたショットのカメラパラメータをズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値において算出し、これらの値のいずれかが常に、ズーム値、ローテート値、パン値、チルト値、ドリー値、トラック値、ブーム値のそれぞれに対応した第五の閾値群の閾値五Ａ，五Ｂ，五Ｃ，五Ｄ，五Ｅ，五Ｆ，五Ｇを超えるモーションフレーム列において、そのフレーム数が第六の閾値を超えているか否かを判定する。カメラパラメータのいずれかの値が第五の閾値群の中の当該カメラパラメータに対応する閾値を超え、かつ、そのモーションフレーム列のフレーム数が第六の閾値を超えているなら、そのモーションフレーム列はスプライト符号化に適している可能性があると判定し、次の前景比率判定およびフレーム数判定部２３に処理を引き渡す。それ以外のモーションフレーム列は通常符号化部３３に処理を引き渡す。
【００２５】
前景比率判定およびフレーム数判定部２３は、カメラパラメータ判定およびフレーム数判定部２２からスプライト符号化に適している可能性があると判定されたモーションフレーム列に対し、前景部分を繋ぎ合わせることで背景パノラマ画像である仮スプライト画像を生成し、原画像と仮スプライト画像から抜き出した各フレームにおける予測背景画像との差分画像を所定の閾値によって２値化処理した画像の前景部分の全体に対する比率を算出し、フレーム数が所定の第八の閾値を超えているモーションフレーム列において、常に前景比率が第七の閾値未満であるか否かを判定する。前景比率が第七の閾値未満であり、かつ、そのモーションフレーム列のフレーム数が第八の閾値を超えているならば、そのモーションフレーム列はスプライト符号化に適しているモーションフレーム列であると判定し、スプライト符号化部３４へ処理を引き渡す。それ以外のモーションフレーム列は、スプライト符号化が適していないと判定し、通常符号化部３３へ処理を引き渡す。
【００２６】
図３は本発明の一実施形態例によるＭＰＥＧ−４混成符号化器の構成図である。
【００２７】
先に述べたとおり、図４で示した従来のＭＰＥＧ−４混成符号化器においては、一般編集映像の入力に対し、カット点検出部においてショットに分割後、そのショットを通常符号化部３３とスプライト符号化部３４の両方でそれぞれ符号化した後に、従来のショット判定部４４で符号量の比較を行い、どちらの符号化方法が適しているかを判定し、ショット合成部３５へ処理を受け渡し、ＭＰＥＧ−４ビットストリームを出力する。
【００２８】
図３に示した本実施形態例によるＭＰＥＧ−４混成符号化器においては、一般編集映像の入力に対し、カット点検出部３１においてショットに分割後、符号化する前にショット判定部３２（ＡまたはＢ）でそのショットが通常符号化とスプライト符号化のどちらに適しているかを判定し、適した方の符号化部（通常符号化部３３またはスプライト符号化部３４）に処理を受け渡し、ショット合成部３５で多重化し、ＭＰＥＧ−４ビットストリームを出力する。
【００２９】
なお、図１、図２、図３に示す各構成要素による処理のステップをプログラムにより実行することが可能であり、そのプログラムをスプライト符号化判定装置として利用されるコンピュータに接続されるディスク装置等の記憶媒体や、フロッピーディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、配布し、提供して、本発明を実施する際に、該コンピュータにインストールすることにより、容易に本発明を実現できる。
【００３０】
また、本発明は、上記の実施形態例に限定されることなく、本発明の趣旨に沿って、種々変更・応用が可能である。例えば、上記の実施形態例において、閾値の設定を変えることにより、閾値を超えているか否かで判定するのを閾値以上であるか否かで判定したり、閾値未満であるか否かで判定するのを閾値以下であるか否かで判定したりしてもよい。
【００３１】
【発明の効果】
以上述べたように３つの判定手段／ステップにて、ショット、もしくはショット中のモーションフレーム列を判定することにより、ショット抽出後であって符号化の前にショット、もしくはショット中のモーションフレーム列がスプライト符号化に適しているか否かを判定することができる。これによって、ＭＰＥＧ−４符号化器において、カット点を含む一般編集映像を入力とした、通常符号化とスプライト符号化の混成符号化器にかかる処理時間を大幅に削減できる点で効果がある。
【図面の簡単な説明】
【図１】本発明の第一の実施形態例を示す第一の原理構成図である。
【図２】本発明の第二の実施形態例を示す第二の原理構成図である。
【図３】本発明の実施形態例による混成符号化器の構成図である。
【図４】従来の混成符号化器の構成図である。
【符号の説明】
１１…フレーム数判定手段
１２…カメラパラメータ判定手段
１３…前景比率判定手段
２１…フレーム数判定手段
２２…カメラパラメータ判定およびフレーム数判定手段
２３…前景比率判定およびフレーム数判定手段
３１…カット検出部
３２（Ａ，Ｂ）…ショット判定部
３３…通常符号化部
３４…スプライト符号化部
３５…ショット合成部
【図１】
0003607848.tif 000002
【図２】
0003607848.tif 000003
【図３】
0003607848.tif 000004
【図４】
0003607848.tif 000005