(57)【特許請求の範囲】
【請求項１】
フレーム毎に入力される原画像を動き補償ブロックで分割し、該動き補償ブロック単位で動き補償フレーム間予測を用いた符号化を行う動画像符号化装置において、
前記原画像を動き補償ブロックで分割し、前記動き補償ブロック単位で前記動き補償フレーム間予測を用いた符号化を行う動画符号化手段と、
前記動画符号化手段が前記動き補償ブロック単位で検出した動きベクトルの水平成分、垂直成分をそれぞれＶｘ、Ｖｙとしたときに、
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値  ・・・（条件式１）
で表される条件式１を満たし、且つ、
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値  ・・・（条件式２）；
静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数／前記動き補償ブロックの総数＞第５の閾値  ・・・（条件式３）；及び、
第６の閾値＜Σ前記動きベクトルの検出時に算出された前記動き補償ブロックの差分絶対値和＜第７の閾値  ・・・（条件式４）
で表される条件式２から条件式４のうちの少なくとも１つを満たした場合に、フェードシーンとするフェードシーン検出手段と、
前記フェードシーン検出手段による検出結果に従って、前記フェードシーンを構成する原画像の前記動画符号化手段による符号化を制御する符号化制御手段と、
を具備することを特徴とする動画像符号化装置。
【請求項２】
前記フェードシーン検出手段は、表示順で過去に位置する原画像のみを参照画像として第１の予測画像を前記動画符号化手段が得るフレームで前記フェードシーンの検出を行う、
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記フェードシーン検出手段は、前記フェードシーンを検出した場合、前記表示順で前記第１の予測画像の直前と直後に位置する第１の予測画像を得るフレーム、或いはフレーム内予測を用いて符号化を行う原画像のフレームの間を該フェードシーンが継続している範囲とする、ことを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
前記フェードシーン検出手段は、前記条件式１を満たし、且つ、前記条件式２から条件式４のうちの少なくとも前記条件式２を満たす場合に前記フェードシーンとする、ことを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
前記符号化制御手段は、前記フェードシーン検出手段が前記フェードシーンを検出した場合に、前記動きベクトルを探索する範囲をより狭める、双方向予測がより選択されやすくする、動きベクトルで０点がより選択されやすくする、及び前記符号化によって得られる符号化データに割り当てるデータ量をより大きくする、のうちの少なくとも一つを行うことにより、前記動画符号化手段による符号化を制御する、ことを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
動画に挿入されたフェードシーンを検出するフェードシーン検出装置において、
前記動画としてフレーム毎に入力される原画像を動き補償ブロックで分割し、該動き補償ブロック単位で動き補償フレーム間予測を用いた符号化を行う場合に得られる、該動き補償ブロック単位で検出された動きベクトルの他に、該動きベクトルの検出時に算出された差分絶対値和、該動き補償ブロックの総数、及び静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数のうちの少なくとも一つをフェードシーン検出用の情報として取得する取得手段と、
前記取得手段が取得した動きベクトルの水平成分、垂直成分をそれぞれＶｘ、Ｖｙとしたときに、
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値  ・・・（条件式１）
で表される条件式１を満たし、且つ、
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値  （・・・条件式２）；
前記イントラ動き補償ブロックの総数／前記動き補償ブロックの総数＞第５の閾値  ・・・（条件式３）；及び、
第６の閾値＜Σ前記動きベクトルの検出時に算出された前記動き補償ブロックの差分絶対値和＜第７の閾値  ・・・（条件式４）
で表される条件式２から条件式４のうちの少なくとも１つを満たした場合に、前記フェードシーンとするフェードシーン検出手段と、
を具備することを特徴とするフェードシーン検出装置。
【請求項７】
フレーム毎に入力される原画像を動き補償ブロックで分割し、該動き補償ブロック単位で動き補償フレーム間予測を用いた符号化処理をコンピュータに実行させるための動画像符号化プログラムであって、
前記原画像を動き補償ブロックで分割し、前記動き補償ブロック単位で前記動き補償フレーム間予測を用いた符号化を行う動画符号化ステップと、
前記動画符号化ステップが前記動き補償ブロック単位で検出した動きベクトルの水平成分、垂直成分をそれぞれＶｘ、Ｖｙとしたときに、
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値  ・・・（条件式１）
で表される条件式１を満たし、且つ、
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値  ・・・（条件式２）；
静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数／前記動き補償ブロックの総数＞第５の閾値  ・・・（条件式３）；及び、
第６の閾値＜Σ前記動きベクトルの検出時に算出された前記動き補償ブロックの差分絶対値和＜第７の閾値  ・・・（条件式４）
で表される条件式２から条件式４のうちの少なくとも１つを満たした場合に、フェードシーンとするフェードシーン検出ステップと、
前記フェードシーン検出ステップによる検出結果に従って、前記フェードシーンを構成する原画像の前記動画符号化ステップによる符号化を制御する符号化制御ステップと、
を含む処理をコンピュータに実行させるための動画像符号化プログラム。
【請求項８】
前記フェードシーン検出ステップは、表示順で過去に位置する原画像のみを参照画像として第１の予測画像を前記動画符号化ステップが得るフレームで前記フェードシーンの検出を行う、
ことを特徴とする請求項７記載の動画像符号化プログラム。
【請求項９】
前記フェードシーン検出ステップは、前記フェードシーンを検出した場合、前記表示順で前記第１の予測画像の直前と直後に位置する第１の予測画像を得るフレーム、或いはフレーム内予測を用いて符号化を行う原画像のフレームの間を該フェードシーンが継続している範囲とする、ことを特徴とする請求項８記載の動画像符号化プログラム。
【請求項１０】
前記フェードシーン検出ステップは、前記条件式１を満たし、且つ、前記条件式２から条件式４のうちの少なくとも前記条件式２を満たす場合に前記フェードシーンとする、ことを特徴とする請求項７記載の動画像符号化プログラム。
【請求項１１】
前記符号化制御ステップは、前記フェードシーン検出ステップが前記フェードシーンを検出した場合に、前記動きベクトルを探索する範囲をより狭める、双方向予測がより選択されやすくする、動きベクトルで０点がより選択されやすくする、及び前記符号化によって得られる符号化データに割り当てるデータ量をより大きくする、のうちの少なくとも一つを行うことにより、前記動画符号化ステップによる符号化を制御する、ことを特徴とする請求項７記載の動画像符号化プログラム。
【請求項１２】
動画に挿入されたフェードシーンの検出をコンピュータに実行させるためのフェードシーン検出プログラムであって、
前記動画としてフレーム毎に入力される原画像を動き補償ブロックで分割し、該動き補償ブロック単位で動き補償フレーム間予測を用いた符号化を行う場合に得られる、該動き補償ブロック単位で検出された動きベクトルの他に、該動きベクトルの検出時に算出された差分絶対値和、該動き補償ブロックの総数、及び静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数のうちの少なくとも一つをフェードシーン検出用の情報として取得する取得ステップと、
前記取得ステップが取得した動きベクトルの水平成分、垂直成分をそれぞれＶｘ、Ｖｙとしたときに、
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値  ・・・（条件式１）
で表される条件式１を満たし、且つ、
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値  ・・・（条件式２）；
前記イントラ動き補償ブロックの総数／前記動き補償ブロックの総数＞第５の閾値  ・・・（条件式３）；及び、
第６の閾値＜Σ前記動きベクトルの検出時に算出された前記動き補償ブロックの差分絶対値和＜第７の閾値  ・・・（条件式４）
で表される条件式２から条件式４のうちの少なくとも１つを満たした場合に、前記フェードシーンとするフェードシーン検出ステップと、
を含む処理をコンピュータに実行させるためのフェードシーン検出プログラム。
【請求項１３】
フレーム毎に入力される原画像を動き補償ブロックで分割し、該動き補償ブロック単位で動き補償フレーム間予測を用いた符号化処理をコンピュータに実行させるための動画像符号化プログラムを格納した計算機読出し可能可搬型記憶媒体であって、前記動画像符号化プログラムは、
前記原画像を動き補償ブロックで分割し、前記動き補償ブロック単位で前記動き補償フレーム間予測を用いた符号化を行う動画符号化ステップと、
前記動画符号化ステップが前記動き補償ブロック単位で検出した動きベクトルの水平成分、垂直成分をそれぞれＶｘ、Ｖｙとしたときに、
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値  ・・・（条件式１）
で表される条件式１を満たし、且つ、
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値  ・・・（条件式２）；
静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数／前記動き補償ブロックの総数＞第５の閾値  ・・・（条件式３）；及び、
第６の閾値＜Σ前記動きベクトルの検出時に算出された前記動き補償ブロックの差分絶対値和＜第７の閾値  ・・・（条件式４）
で表される条件式２から条件式４のうちの少なくとも１つを満たした場合に、フェードシーンとするフェードシーン検出ステップと、
前記フェードシーン検出ステップによる検出結果に従って、前記フェードシーンを構成する原画像の前記動画符号化ステップによる符号化を制御する符号化制御ステップと、
を含む処理をコンピュータに実行させる、計算機読出し可能可搬型記憶媒体。
【請求項１４】
前記フェードシーン検出ステップは、表示順で過去に位置する原画像のみを参照画像として第１の予測画像を前記動画符号化ステップが得るフレームで前記フェードシーンの検出を行う、請求項１３に記載の計算機読出し可能可搬型記憶媒体。
【請求項１５】
前記フェードシーン検出ステップは、前記フェードシーンを検出した場合、前記表示順で前記第１の予測画像の直前と直後に位置する第１の予測画像を得るフレーム、或いはフレーム内予測を用いて符号化を行う原画像のフレームの間を該フェードシーンが継続している範囲とする、請求項１４に記載の計算機読出し可能可搬型記憶媒体。
【請求項１６】
前記フェードシーン検出ステップは、前記条件式１を満たし、且つ、前記条件式２から条件式４のうちの少なくとも前記条件式２を満たす場合に前記フェードシーンとする、請求項１３に記載の計算機読出し可能可搬型記憶媒体。
【請求項１７】
前記符号化制御ステップは、前記フェードシーン検出ステップが前記フェードシーンを検出した場合に、前記動きベクトルを探索する範囲をより狭める、双方向予測がより選択されやすくする、動きベクトルで０点がより選択されやすくする、及び前記符号化によって得られる符号化データに割り当てるデータ量をより大きくする、のうちの少なくとも一つを行うことにより、前記動画符号化ステップによる符号化を制御する、請求項１３に記載の計算機読出し可能可搬型記憶媒体。
【請求項１８】
動画に挿入されたフェードシーンの検出をコンピュータに実行させるためのプログラムを格納した計算機読出し可能可搬型記憶媒体であって、前記プログラムは、
前記動画としてフレーム毎に入力される原画像を動き補償ブロックで分割し、該動き補償ブロック単位で動き補償フレーム間予測を用いた符号化を行う場合に得られる、該動き補償ブロック単位で検出された動きベクトルの他に、該動きベクトルの検出時に算出された差分絶対値和、該動き補償ブロックの総数、及び静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数のうちの少なくとも一つをフェードシーン検出用の情報として取得する取得ステップと、
前記取得ステップが取得した動きベクトルの水平成分、垂直成分をそれぞれＶｘ、Ｖｙとしたときに、
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値  ・・・（条件式１）
で表される条件式１を満たし、且つ、
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値  ・・・（条件式２）；
前記イントラ動き補償ブロックの総数／前記動き補償ブロックの総数＞第５の閾値  ・・・（条件式３）；及び、
第６の閾値＜Σ前記動きベクトルの検出時に算出された前記動き補償ブロックの差分絶対値和＜第７の閾値  ・・・（条件式４）
で表される条件式２から条件式４のうちの少なくとも１つを満たした場合に、前記フェードシーンとするフェードシーン検出ステップと、
を含む処理をコンピュータに実行させる、計算機読出し可能可搬型記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム毎に入力される原画像を動き補償ブロックで分割し、その動き補償ブロック単位で動き補償フレーム間予測を用いた符号化を行うための技術に関する。
【背景技術】
【０００２】
現在、動画像の符号化用に様々な方法が開発されている。その符号化方法の一つに、符号化の対象とする原画像を動き補償ブロックで分割し、その動き補償ブロック単位で動き補償フレーム間予測を用いて符号化を行うものがある。その動き補償フレーム間予測は、連続するフレーム間で動き補償ブロックの動きベクトルを検出することで行われる。
【０００３】
動画（映像）では、様々な特殊効果シーンが必要に応じて用いられる。その効果シーンとして、フェードイン、或いはフェードアウトといったフェードシーンが挿入されることがある。動き補償フレーム間予測を用いた符号化方法では、そのフェードシーンでフレーム間の予測誤差が大きくなることが知られている。原画像の符号化によって得られる符号化データ（符号量）のデータ（情報）量は、同じ画質を維持する前提では、予測誤差が大きくなるほど大きくなる。このことから、従来の動画符号化装置のなかには、フェードシーンを検出し、符号化データに割り当てるデータ量を調整することにより、画質の劣化を抑えられるようにしたものがある（特許文献１）。
【０００４】
フェードシーンでは、原画像の輝度が全体的に順次、変化する。特許文献１に記載された従来の動画符号化装置は、そのことに着目し、フェードシーンを検出している。特許文献２に記載された従来の動画符号化装置では、更に動きベクトルに着目してフェードシーンを検出している。フェードシーンを検出した場合には、動きベクトルを強制的にゼロベクトルにし（元々の位置である０点を割り当てることに相当）、動きベクトルの符号化を回避して符号化データのデータ量（符号量）をより抑えている。
【０００５】
特許文献２に記載された従来の動画符号化装置は、更に動きベクトルに着目することにより、特許文献１に記載された従来の動画符号化装置より高精度にフェードシーンを検出できるようになっている。しかし、十分な精度が得られていないのが実情である。このため、より高い精度でフェードシーンを検出できるようにすることが望まれていた。
【０００６】
動き補償フレーム間予測を用いた符号化方法では、原画像と予測画像の差分（誤差）を符号化する。特許文献２に記載された従来の動画符号化装置では、不要な動きベクトルの選択を回避するために、その動きベクトルを強制的にゼロベクトルとしている。しかし、その動きベクトルをゼロベクトルとすると、それによって誤差がより大きくなる可能性がある。その誤差がより大きくなった場合、画質の劣化を抑えるために符号量に割り当てるべきデータ（情報）量はより大きくなる。このことから、フェードシーン検出時の符号化をより適切に行うためには、不要な動きベクトルの選択の回避と併せて、画質の劣化の回避をより考慮すべきと考えられる。
【特許文献１】特開２０００−５９７７５号公報
【特許文献２】特開２００２−５１３４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、より高い精度でフェードシーンを検出するための技術を提供することを第１の目的とする。また、本発明は、フェードシーン検出時の符号化をより適切に行うための技術を提供することを第２の目的とする。
【課題を解決するための手段】
【０００８】
図１は、本発明の原理図である。図１を参照して、本発明による動画像符号化装置の構成について詳細に説明する。
動画符号化装置１は、フレーム毎に入力される原画像を動き補償ブロックで分割し、該動き補償ブロック単位で動き補償フレーム間予測を用いた符号化を行うものである。その符号化を行う動画符号化部１０と、フェードシーンを検出するフェードシーン検出装置２０と、を備えている。
【０００９】
フェードシーン検出装置２０は、動画符号化部１０からフェードシーン検出用の情報を取得する情報取得部２１、その情報を用いてフェードシーンを検出するフェードシーン検出部２２、及びその検出結果を用いて動画符号化部１０による符号化を制御する制御部２３を備えている。
【００１０】
上記情報取得部２１は、上記情報として、動き補償ブロック単位で検出した動きベクトルの他に、その動きベクトルの検出時に算出された差分絶対値和（ＳＡＤ）、その動き補償ブロックの総数、及び静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数のうちの少なくとも一つを取得する。フェードシーン検出部２２の演算部２２ａは、情報取得部２１が取得した情報を用いた演算を行い、その演算結果を判定部２２ｂに出力する。判定部２２ｂは、その演算結果からフェードシーンか否か判定する。それにより、その判定は、例えば動きベクトルの水平成分、垂直成分をそれぞれＶｘ、Ｖｙとしたとき、
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値
イントラ動き補償ブロックの総数／動き補償ブロックの総数＞第５の閾値
第６の閾値＜Σ動き補償ブロックの差分絶対値和＜第７の閾値
の各条件式を全て満足するか否かにより行う。そのような判定によってフェードシーンの検出を多角的に行うことにより、高い検出精度を実現させることができる。
【００１１】
制御部２３は、フェードシーンが検出された場合に、動きベクトルを探索する範囲をより狭める、双方向予測がより選択されやすくする、動きベクトルで０点がより選択されやすくする、及び符号化によって得られる符号化データに割り当てるデータ量をより大きくする、のうちの少なくとも一つを行うことにより、動画符号化部１０による符号化を制御する。そのような制御により、画質の劣化がより抑えられる、動きベクトルの検出をより秩序的となるように管理できる、演算量がより抑えられる、といった利点が得られるようになる。その結果、フェードシーン検出時の符号化はより適切に行えることとなる。
【発明の効果】
【００１２】
本発明は、より高い精度でフェードシーンを検出することができる。また、本発明は、フェードシーン検出時の符号化をより適切に行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図２は、本実施の形態による動画符号化装置の構成を説明する図である。
その動画符号化装置は、図２に示すように、動画を構成する原画像を符号化する符号化部１００と、フェードシーンを検出するフェード判定部２００と、を備えた構成となっている。
【００１４】
上記符号化部１００は、符号化の対象とする原画像を画素ブロックで分割し、１つ以上の画素ブロックからなる動き補償ブロック単位で動き補償フレーム間予測を用いた符号化を行うものである。
【００１５】
動画を構成する原画像はフレーム毎あるいはフィールド毎に入力される。そのフレーム／フィールドは、前方向予測のみを用いて符号化を行うＰフレーム／フィールド(Predicted Frame/Field)、前方向予測、後方向予測、双方向予測のうちの何れかを選択して符号化を行うＢフレーム／フィールド(Bi-directional PredictedFrame/Field)、及びフレーム間予測を用いずに符号化を行うＩフレーム／フィールド(Intra-coded Frame/Field)に分けられる。ここでは、Ｐ、Ｂ、Ｉの各フレーム／フィールドの画像をＰピクチャ、Ｂピクチャ、Ｉピクチャ（イントラピクチャ）と呼ぶことにする。Ｐピクチャ、Ｂピクチャはインターピクチャと総称する。
【００１６】
原画像は、その種類に係わらず、イントラ予測部１０１、及びＭＥ(Motion Estimation)部１０２にそれぞれ入力される。イントラ予測部１０１はイントラピクチャの符号化用のものであり、ＭＥ部１０２はインターピクチャの符号化用のものである。
【００１７】
イントラ予測部１０１は、同じ原画像（イントラピクチャ）を対象に、別の位置の画素値（サンプル値）を予測し、予測画像を生成する。その予測は、動き補償ブロック単位で行う。その予測画像は原画像と共に減算器１０４に出力される。減算器１０４は、それらの画像間の差分（差分画像）を算出し、差分画像は変換部１０８、予測画像は加算器１０６にそれぞれ出力する。
【００１８】
最近では、１種類の固定サイズの動き補償ブロック（マクロブロック）のみを用いるだけでなくなっている。ブロックサイズ、或いはパーティション（サブブロックのサイズ、或いは組み合わせ）の異なる複数の動き補償ブロックを用意し、そのなかから適切なものを選択することも行われている。ここでは便宜的に、動き補償ブロックは１種類のみと想定する。
【００１９】
変換部１０８は、差分画像を所定の画素ブロックで分割し、画素ブロック毎に例えばＤＣＴ（Discrete Cosine Transform）や整数変換等の直交変換を行い、周波数成分の値に変換する。ここでは便宜的に、直交変換はＤＣＴを用いて行うことを想定する。そのＤＣＴを行うことによりＤＣＴ係数が算出され、量子化部１０９に出力される。量子化部１０９は、符号化によって発生する符号量を制御するレート制御部１１３が指定する量子化値（量子化ステップ）に従って、係数を量子化する。可変長符号化部１１０は、量子化部１０９から量子化された係数を入力し、可変長符号化（エントロピー符号化）を行い、符号化データを生成する。復号化に必要な各種パラメータはその符号化データに付加される。それらは符号化ビット列として出力される。
【００２０】
レート制御部１１３は、可変長符号化部１１０が生成する符号化ビット列のデータ量が適切なものとなるように制御するものである。そのデータ量が割り当てたデータ量（割り当て情報量）となるように、量子化ステップを決定し、量子化部１０９に指示する。
【００２１】
逆量子化部１１１は、量子化部１０９から量子化値、ＤＣＴ係数を入力し、係数の逆量子化を行う。逆変換部１１２は、逆量子化部１１１から逆量子化後の係数を入力し、逆変換（ここでは上記想定により逆ＤＣＴ）を行い、差分画像を復号化する。復号化された差分画像は加算器１０６に出力され、加算器１０６は予測画像に差分画像を加算して、原画像を復号化する。図中に表記の「参照画像」は復号化した原画像のことである。
【００２２】
イントラピクチャ以外の原画像はインターピクチャとしてＭＥ部１０２に入力される。ＭＥ部１０２は、インターピクチャの種類によって対象とするフレーム間予測方法を選択し、動き補償ブロック単位で動きベクトルの検出を行う。ＭＣ（Motion Compensation）部１０３には、動き補償ブロック単位で検出した動きベクトル、選択したフレーム間予測方法によって定まる画像（参照画像）を出力する。ＭＣ部１０３は、それらを用いて、インターピクチャの予測画像を生成し、その予測画像をそのインターピクチャの原画像と併せて減算器１０５に出力する。減算器１０５は、減算器１０４と同様に、それらの画像間の差分（差分画像）を算出し、差分画像は変換部１０８、予測画像は加算器１０７にそれぞれ出力する。
【００２３】
図３は、動きベクトルの検出方法を説明する図である。
上記動きベクトルは、原画像中で対象としている動き補償ブロックの位置と、それに最適な部分の参照画像中の位置との違いを表すものである。その最低な部分は参照画像全てを対象に探すことが望ましい。しかし、そのために必要な演算量は膨大となる。このため図３に示すように、動き探索の範囲を定めて最適な部分、つまり動きベクトルを検出するのが普通である。最適な部分は、動き補償ブロックとそれに対応付けた参照画像（予測画像）の部分の差分値を計算し、その大きさをコストとして、最もコストが小さい部分を採用するのが一般的である。差分絶対値和（ＳＡＤ）は、画素毎に得られた差分値の絶対値を累算したものである。ＳＡＤを採用した場合、その値が最小となる部分を参照画像から探し出すことで動きベクトルが検出される。参照画像は、フレーム間予測の種類によって選択される。
【００２４】
各部１０８〜１１２は、イントラピクチャ時と同様な動作を行う。その結果、逆変換器１１２は逆量子化部１１１からＤＣ成分、及び逆量子化後のＡＣ成分を入力して逆ＤＣＴを行い、インターピクチャにおける差分画像を復号化する。復号化された差分画像は加算器１０７に出力され、加算器１０７は予測画像に差分画像を加算して、原画像を復号化する。
【００２５】
フェード判定部２００は、動画像に挿入されたフェードシーンの検出を行うものである。その検出用の情報として、ＭＥ部１０２から、動き補償ブロック毎の動きベクトル、ＳＡＤ、動き補償ブロック（インター動き補償ブロック）の総数、及び静止画として符号化された動き補償ブロックであるイントラ動き補償ブロックの総数を入力する。それにより、以下の条件式を全て満たしたときにフェードシーンとする。ここで、Ｖｘ、Ｖｙは動きベクトルの水平成分、垂直成分をそれぞれ示すシンボルである。ＭＥ部１０２から取得可能な情報を検出に用いることにより、その検出のために必要な演算量はより抑えることができる。
【００２６】
Σ｜Ｖｘ｜＞第１の閾値、Σ｜Ｖｙ｜＞第２の閾値  ・・・  （１）
｜ΣＶｘ｜／Σ｜Ｖｘ｜＜第３の閾値、｜ΣＶｙ｜／Σ｜Ｖｙ｜＜第４の閾値
・・・  （２）
イントラ動き補償ブロックの総数／動き補償ブロックの総数＞第５の閾値
・・・  （３）
第６の閾値＜Σ動き補償ブロックのＳＡＤ＜第７の閾値      ・・・  （４）
上記条件式（１）〜（４）を定めたのは以下のような理由からである。
【００２７】
図４Ａは、フェードシーン時に検出される動きベクトルを説明する図である。図４Ａ中に示す各枠は動き補償ブロックを表し、矢印は動きベクトルの方向、及び大きさを表している。これは図４Ｂでも同様である。
【００２８】
図４Ａに示すように、フェードシーンでは比較的に大きい動きベクトルが検出される。その方向は、完全にランダムではないが、余り定まっていない。条件式（１）、（２）は、そのような動きベクトルの特徴を検出するために定めたものである。
【００２９】
フェードシーンでは、フレーム毎に輝度信号のレベルが変化する。そのため、参照画像（参照ピクチャ）に適応的に重み係数を輝度信号に掛けたとしても、大きな予測誤差（ＳＡＤ）が得られる動き補償ブロックが多く発生する。Ｐピクチャでは、そのような動き補償ブロックは静止画モードで符号化されるイントラ動き補償ブロックとなり、それが全体に占める割合は高くなる。全体的にも、ＳＡＤは比較的に大きくなる。上記条件式（３）、（４）は、そのような特徴を検出するために定めたものである。
【００３０】
上記条件式（１）〜（４）を全て満足する原画像は、大きめな動きベクトルが比較的にランダムに検出される、イントラ動き補償ブロックが多めに発生している、画素値が全体的に同じようなものではない、且つ予測が外れすぎていない、ものとなる。
【００３１】
上記条件式（１）の他に条件式（２）を用いることにより、フェードシーンで検出される特有の動きベクトルの方向を考慮することができる。上記条件式（３）、及び（４）を用いることにより、フェードシーンで生じる特有の予測誤差を考慮することができる。これらの結果、フェードシーンをより確実に検出できることとなる。
【００３２】
なお、条件式（２）〜（４）の全てを条件式（１）と併せて用いなくとも良い。条件式（２）〜（４）の少なくとも一つを別の条件式と併せて用いても良い。このように様々な変形が可能である。
【００３３】
図６は、フェードシーンとする範囲を説明する図である。図６に表記の「Ｐ」、「Ｂ」はそれぞれＰ、Ｂピクチャをそれぞれ示している。
上記条件式（１）〜（４）によるフェードシーンの検出（判定）は、Ｐピクチャの符号化時にのみ行う。それにより、フェードシーンを検出すると、その直前、直後に位置するＰ、或いはＩピクチャ間をフェードシーンの範囲とする。直前に位置するＰ、或いはＩピクチャは範囲外としている。その次に位置するＰピクチャで再度、フェードシーンを検出した場合には、その直後に位置するＰ、或いはＩピクチャまでをその範囲とする。そのようにして、Ｐ、或いはＩピクチャを区切りとして範囲を設定している。
【００３４】
フェード判定部２００は、フェードシーンを検出した場合、フェードシーンとする範囲内で以下のような制御を行う。
ＭＥ部１０２に対しては、図５に示すように、Ｂピクチャでの動き探索の範囲をより狭く設定する。その設定は、動き補償ブロックの元の位置を基準にして、ｘ方向、ｙ方向のそれぞれで画素単位で範囲を指定することで行われる。そのような設定を行うことにより、演算量はより抑えられるようになる。また、図４Ｂに示すように、動きベクトルの秩序が改善され、ダイナミックに参照位置が変化するのがより抑えられるようになる。その結果、ピクチャ間の画質不均一感もより抑えられるようになる。動きベクトルを強制的にゼロベクトルとする場合と比較して、予測誤差はより抑えることができる。
【００３５】
また、Ｂピクチャでは、図７に示すように、双方向予測、双方向予測ではダイレクト予測がより選ばれやすくする。動きベクトルでは、ゼロベクトル（０点）がより選ばれやすくする。それらは例えば重みを変更することで実現させる。
【００３６】
ゼロベクトルをより選ばれやすくすることにより、動きベクトルの秩序はより改善されることになる。双方向予測をより選ばれやすくすると、時間的な両方向から画像を参照（平滑化）することになって、前方向と後方向の画像の違いが対象ピクチャ内で混在するのをより抑えられるようになる。ダイレクト予測では、動き情報の符号化に必要なビット数が少ないため、より高い圧縮率を実現できるようになる。
【００３７】
レート制御部１１３に対しては、割り当て情報量をより大きくさせる。その情報量をより大きくさせることにより、図８に示すように、再現性はより向上することになる。その図８において、画質の違いは線の数によって表現している。その線の数が多くなる程、画質が劣化していることを表している。
【００３８】
レート制御部１１３は、フェード判定部２００による指示に従い、以下のようにしてレート制御を行う。図９Ａ〜図９Ｃを参照して具体的に説明する。
可変長符号化部１１０は、例えばMPEG-2等でいうところのＶＢＶ(Video Buffer Verifier)バッファの制約に従ってビット列を出力する。レート制御部１１３は、符号化データの占有量を符号化部１１０から入力し、レート制御を行う。図９Ａ〜図９Ｃにおいて、縦軸はＶＢＶバッファの占有量を示し、横軸は時間を示している。横軸と平行な破線は、最大ＶＢＶバッファの占有量を示している。それにより、図９Ａ〜図９ＣはそれぞれＶＢＶバッファの実際の占有量の時間変化を示している。
【００３９】
固定ビットレート（ＣＢＲ）において、画質を無視したＶＢＶバッファの理想的な制御は、１ＧＯＰ（Group Of Pictures）で使用可能な量を全て使用する状態を実現することである。その状態を実現できた場合、図９Ａに示すように、１ＧＯＰの切れ目では最大ＶＢＶバッファ占有量を示す状態となる。しかし、割り当て情報量を多めにすると、図９Ｂに示すように、それによって実際の占有量は低下する。その占有量の変化を示す線が横軸を下回るとバッファが破綻した状態となる。このようなことから、本実施の形態では、フェード検出時点のバッファ状態と同じ水準に次のＧＯＰ先頭で回復できれば良いとして、フェードを検出したＧＯＰでは少し多めに情報量を割り当てるようにしている。
【００４０】
それにより、回復目標位置を予測計算し、当初に対する余剰分を各ピクチャに配分することが、１ピクチャ時間当たりのバッファ占有量回復量を加算するということになる。レート制御部１１３は、その回復量を計算して各ピクチャの割り当て情報量の増加分（図８における縦線を付した部分）として扱う。その増加分を加えることにより、ＶＢＶバッファの占有量は、図９Ｃに示すように変化することとなる。図９Ｃにおいて、点線は予定されていた占有量の動きを示し、実線は実際の動きを示している。
【００４１】
図１０は、フェード検出に係わる処理のフローチャートである。符号化部１００が１ピクチャの符号化により実行される、フェード検出に係わる処理を抜粋してその流れを示したものである。それにより、ステップＳ１〜Ｓ１４の処理は１ピクチャ毎に実行される。次に図１０を参照して、上記フェード判定部２００の動作について詳細に説明する。その図１０に示すフローチャートは、例えばフェード判定部２００がＣＰＵ、ＲＯＭ、及びＲＡＭを備えた構成であった場合、ＣＰＵが、そのフローチャートに示す処理を実現させるプログラムをＲＯＭから読み出して実行することで実現される。この図１０では、動き補償ブロックはＭＢ（マクロブロック）と表記している。
【００４２】
次の１ピクチャの処理を開始すると、先ず、ステップＳ１において、現在フェード中か否か判定する。現在、対象とするピクチャが、直前に検出したフェードシーンの範囲内とするものであった場合、判定はＹＥＳとなり、ステップＳ２で１ピクチャへの割り当て情報量と１ＧＯＰでの目標情報量の調整をレート制御部１１３に指示した後、ステップＳ３に移行する。そうでない場合には、判定はＮＯとなって次にそのステップＳ３に移行する。
【００４３】
ステップＳ３では、対象ピクチャの種類を判定する。そのピクチャがＩピクチャであった場合、その旨が判定されてステップＳ４に移行し、フェードシーン範囲特定用のカウンタの値をデクリメントした後、１ピクチャを対象とした一連の処理を終了する。そのピクチャがＢピクチャであった場合には、その旨が判定されてステップＳ５に移行する。
【００４４】
ステップＳ５では、ＭＥ部１０２に対する動き探索範囲の制限等をフェード中か否かに応じて行う。それにより、フェード中か否かに応じて、動き探索／コスト（ＳＡＤ）計算、コスト調整、及び最適ＭＢタイプ判定をＭＥ部１０２にＭＢ毎に行わせる（ステップＳ６〜Ｓ８）。それらを行わせた後は上記ステップＳ４に移行する。
【００４５】
対象ピクチャがＰピクチャであった場合には、その旨がステップＳ３で判定されてステップＳ９〜Ｓ１２をＭＢ毎に実行する。それにより、動き探索／コスト（ＳＡＤ）計算（ステップＳ９）、その計算結果からの最適なインターＭＢタイプの判定（ステップＳ１０）をＭＥ部１０２に行わせ、上記条件式（１）、（２）の計算（ステップＳ１１）、及び上記条件式（３）、（４）の計算（ステップＳ１２）をＭＥ部１０２から入力する情報を用いて行う。そのようなことを全てのＭＢを対象に行った後、ステップＳ１３に移行する。
【００４６】
ステップＳ１３では、最終的に得られた条件式（１）〜（４）の結果から、フェードが検出されたか否か判定する。条件式（１）〜（４）の全てが満たされていた場合、判定はＹＥＳとなって、そのときの状況に応じた値を上記カウンタにステップＳ１４で設定した後、１ピクチャを対象とした一連の処理を終了する。そうでない場合には、判定はＮＯとなって上記ステップＳ４に移行する。
【００４７】
状況に応じてカウンタに設定する値とは、フェード中でなければ図６に示すような範囲を構成するピクチャ数であり、フェード中であれば次のＰピクチャまでのピクチャ数である。そのような数をカウンタに設定することから、ステップＳ１では、その値が１以上であればＹＥＳと判定するようになっている。
【００４８】
なお、本実施の形態では、Ｐピクチャのときにフェード検出を行うようにしているが、Ｂピクチャのときにその検出を行うようにしても良い。
上記フェード判定部２００は、ＣＰＵ、それに実行させるプログラムを格納したＲＯＭ、及びワーク用のメモリを用いて実現させている。符号化部１００も同様に実現させることができる。このようなことから、フェード判定部２００、及び符号化部１００としてそれぞれ動作させるプログラムの少なくとも一方を光ディスク、光磁気ディスク等の可搬型の記憶媒体に格納して配布するようにしても良い。通信ネットワークに用いられる伝送媒体を介してその一部、或いは全てを送信するようにしても良い。そのようにした場合には、コンピュータにロードすることにより、本発明を適用させた動画像符号化装置、或いはフェードシーン検出装置を実現させることができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の原理図である。
【図２】本実施の形態による動画符号化装置の構成を説明する図である。
【図３】動きベクトルの検出方法を説明する図である。
【図４Ａ】フェードシーン時に検出される動きベクトルを説明する図である。
【図４Ｂ】動き探索範囲の制限によってフェードシーン時に検出される動きベクトルを説明する図である。
【図５】フェードシーン検出時の動き探索範囲の制限を説明する図である。
【図６】フェードシーンの範囲を説明する図である。
【図７】フェードシーン時に優先させるフレーム間予測方法を説明する図である。
【図８】割り当て情報量による画質の変化を説明する図である。
【図９Ａ】フェードシーン時のレート制御を説明する図である。
【図９Ｂ】フェードシーン時のレート制御を説明する図である。
【図９Ｃ】フェードシーン時のレート制御を説明する図である。
【図１０】フェード検出に係わる処理のフローチャートである。
【符号の説明】
【００５０】
１    動画像符号化装置
１０    動画像符号化部
２０    フェードシーン検出部
２１    情報取得部
２２    フェードシーン検出部
２２ａ    演算部
２２ｂ    判定部
２３    制御部
１００    符号化部
１０１    イントラ予測部
１０２    ＭＥ部
１０３    ＭＣ部
１０４、１０５    減算器
１０６、１０７    加算器
１０８    変換部
１０９    量子化部
１１０    可変長符号化部
１１１    逆量子化部
１１２    逆変換部
２００    フェード判定部
【図１】
0004764136.tif 000002
【図２】
0004764136.tif 000003
【図４Ａ】
0004764136.tif 000004
【図４Ｂ】
0004764136.tif 000005
【図９Ａ】
0004764136.tif 000006
【図９Ｂ】
0004764136.tif 000007
【図９Ｃ】
0004764136.tif 000008
【図１０】
0004764136.tif 000009
【図３】
0004764136.tif 000010
【図５】
0004764136.tif 000011
【図６】
0004764136.tif 000012
【図７】
0004764136.tif 000013
【図８】
0004764136.tif 000014