(57)【要約】  【課題】重み付き動き補償において処理対象画像に対する近似画像の誤差を最小にする重み付き動き予測情報を高精度かつ高速に決定できる動き予測情報検出装置を提供すること。  【解決手段】フェード判別処理Ｓ１で処理対象画像および参照画像の特徴量により黒フェードであるか白フェードであるか非フェードであるかを判別する。非フェードの場合にはそのまま処理を終了する。黒フェード、白フェードの場合にはそれぞれ第１の動き予測情報算出処理Ｓ２、第２の動き予測情報算出処理Ｓ３を実行する。第１の動き予測情報算出処理Ｓ２、第２の動き予測情報算出処理Ｓ３はそれぞれ、黒フェード、白フェードに適した重み付き動き情報決定処理である。第１および第２の動き予測情報算出処理Ｓ２，Ｓ３での計算処理に工夫を施すことにより処理負担を軽減できる。  【選択図】図１
2005303942.tif 000002
【特許請求の範囲】
【請求項１】
任意の参照画像から動き補償された近似画像に重み付き動き補償を適用することで処理対象画像に対する近似画像の精度を向上させ、処理対象画像と近似画像との誤差を最小にする重み付き動き予測情報を決定する動き予測情報検出装置であって、
処理対象画像および参照画像の特徴量を判別する判別手段と、
複数の導出式を有し、前記判別手段での判別に応じて適宜の導出式を用いて処理対象画像の画素値および参照画像の画素値の組合せによる演算を実行し、重み付き動き予測情報を決定する導出手段とを備えることを特徴とする動き予測情報検出装置。
【請求項２】
前記判別手段は、処理対象画像および参照画像における全てまたは一部の画素値から特徴量を判別することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項３】
前記判別手段は、フェードの有無と種別に関する特徴量を判別することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項４】
前記判別手段は、判別に応じて重み付き動き予測情報を決定するのに最適な導出式に処理を振り分けることを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項５】
前記判別手段は、フェードの有無を評価するために処理対象画像の画素値の和および参照画像の画素値の和の時間的推移を特徴量とすることを特徴とする請求項３に記載の動き予測情報検出装置。
【請求項６】
前記判別手段は、特徴量の時間的推移が単純減少あるいは単純増加するかによってフェードの有無を判別することを特徴とする請求項５に記載の動き予測情報検出装置。
【請求項７】
前記判別手段は、フェード種別を判別するために画素値の変化率を特徴量とすることを特徴とする請求項３に記載の動き予測情報検出装置。
【請求項８】
前記判別手段は、参照画像から処理対象画像への画素値の変化率が画素値に対して比例関係にあるか反比例関係にあるかに基づいてフェード種別を判別することを特徴とする請求項７に記載の動き予測情報検出装置。
【請求項９】
前記導出手段は、処理対象画像の画素値の和および参照画像の画素値の和および処理対象画素数を使って、画素値の平均の比を重み付き動き予測情報として決定する導出式を有することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項１０】
前記導出手段は、前記判別手段あるいは自身が既に導出した処理対象画像の画素値の和および参照画像の画素値の和を再利用するように構成されていることを特徴とする請求項９に記載の動き予測情報検出装置。
【請求項１１】
前記導出手段は、重み付き動き予測情報の一部を固定値に設定するように構成されていることを特徴とする請求項９に記載の動き予測情報検出装置。
【請求項１２】
前記導出手段は、重み付き動き予測情報をいくつかの個々の画素値の比における平均値または最頻値または中央値から重み付き動き予測情報を決定する導出式を有することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項１３】
前記導出手段は、処理対象画像の個々の画素値および参照画像の個々の画素値および処理対象画素数を使って、画素値の補数の比の平均を重み付き動き予測情報として決定する導出式を有することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項１４】
前記導出手段は、処理対象画像の画素値の平均および参照画像の画素値の平均を使って、平均の補数の比を重み付き動き予測情報として決定する導出式を有することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項１５】
前記導出手段は、重み付き動き予測情報の一部を、既に求めた重み付き動き予測情報の他の一部から導出するように構成されていることを特徴とする請求項１３または１４に記載の動き予測情報検出装置。
【請求項１６】
前記導出手段は、重み付き動き予測情報の一部を導出する際に重み付き動き予測情報の他の一部に量子化誤差が含まれるように構成されていることを特徴とする請求項１５に記載の動き予測情報検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き予測情報検出装置に関し、特に、重み付き動き補償において処理対象画像に対する近似画像の誤差を最小にする重み付き動き予測情報を高精度かつ高速に決定できる動き予測情報検出装置に関する。
【背景技術】
【０００２】
映像効果として、フェードやディゾルブ（クロスフェード）は映像編集で一般的に用いられる。ディゾルブは、図４に示すように２つの画像クリップＡ，Ｂに対して重み係数を徐々に変化させながら切り替えていく重み付き平均化処理である。一方、フェードは、ディゾルブで用いる２画像のうち片方を白画像または黒画像にしたものに相当する。
【０００３】
編集環境の普及と編集後の見た目の良さから、フェードやディゾルブなどの映像効果は多用される傾向にある。しかし、映像圧縮の面から見ると、従来技術では画素全体の段階的な変化を補償する方式を採用していないため、フェードシーンやディゾルブシーンに対しては圧縮効率が芳しくなかった。
【０００４】
映像圧縮方式の国際標準規格MPEG-4 AVC/H.264(ISO/IEC1496-10)では、従来の動き補償に加えて重み付き動き補償の採用を決定しており、フェードシーンやディゾルブシーンの圧縮率の向上が期待されている。
【０００５】
下記非特許文献１，２には、MPEG-4 AVC/H.264の重み付き動き補償がフェードシーンやディゾルブシーンにおいて効果的であることが述べられている。また、本発明者は、下記特許文献（先願）１で、画素値の和、２乗和および積和から重み付き動き予測情報を決定する方法を既に提案している。
【特許文献１】特願２００４−２１３２８号公報
【非特許文献１】Y.Kikuchi and T.Chujoh,“Improved multiple frame motion compensation using frame interpolation”Joint Video Team of ISO/IEC MPEG and ITU-T VCEG,JVT-B075,2002.
【非特許文献２】K.Lillevold,“Improved direct mode for B pictures in TML”ITU-T Video Coding Experts Group,Q15-K44,August 2000.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
映像編集で明示的にフェード効果を挿入する場合は、そのフェードの種別および区間情報などを得ることによって重み付き動き予測情報を決定できる。しかし、一般的には、フェードの種別や区間情報が得られておらず、既にフェードが付加された映像から重み付き動き予測情報を決定しなければならない。
【０００７】
上記非特許文献１の技術では、２つの参照フレームに対して重み付き動き予測情報を(0.5,0.5)，(-1,2)のいずれかだけに制限している。重み付き動き予測情報(0.5,0.5)は、処理対象フレームの前１つ、後１つのフレームを参照フレームとする場合に用いられ、重み付き動き予測情報(-1,2)は、処理対象フレームの前２つあるいは後２つのフレームを参照フレームとする場合に用いられる。
【０００８】
しかし、これにおいては、本来、任意の値が設定可能な重み付き動き予測情報が大幅に制限され、処理対象フレームと参照フレーム間および参照フレーム同士間の時間的なフレーム間距離にも制約がある。このため重み付き動き補償を適用できるシーンが限られるという課題がある。
【０００９】
上記非特許文献２の技術では、時間的なフレーム間距離を考慮に入れているため、上記非特許文献１の技術のような参照フレームの制約はない。しかし、この技術は、上記非特許文献１の技術と同様に、参照フレームを１枚とする場合には利用できないという課題がある。また、重み付き動き予測情報のうちオフセット係数を用いていないため、重み付き動き補償の性能を十分に発揮しているとはいえない。
【００１０】
上記特許文献１の技術では、参照フレームの枚数に関わらず、重み係数およびオフセット係数を含めて最適な重み付き動き予測情報を算出するので、精度の面では問題がない。しかし、重み付き動き予測情報の算出にかかる処理負担、特に画素値の２乗和や積和を算出する処理負担が比較的大きいという課題がある。
【００１１】
本発明の目的は、上記課題を解決し、重み付き動き補償において処理対象画像に対する近似画像の誤差を最小にする重み付き動き予測情報を高精度かつ高速に決定できる動き予測情報検出装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明は、任意の参照画像から動き補償された近似画像に重み付き動き補償を適用することで処理対象画像に対する近似画像の精度を向上させ、処理対象画像と近似画像との誤差を最小にする重み付き動き予測情報を決定する動き予測情報検出装置であって、処理対象画像および参照画像の特徴量を判別する判別手段と、複数の導出式を有し、前記判別手段での判別に応じて適宜の導出式を用いて処理対象画像の画素値および参照画像の画素値の組合せによる演算を実行し、重み付き動き予測情報を決定する導出手段とを備えることを基本的な特徴としている。
【発明の効果】
【００１３】
本発明によれば、処理対象画像および参照画像の特徴量に応じて最適な導出式を用い、処理対象画像の画素値および参照画像の画素値から高精度かつ高速に重み付き動き予測情報を決定することができる。また、重み付き動き予測情報の決定に用いる導出式において計算処理に工夫を施すことにより、計算量を大幅に削減できるので処理負担を軽減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明を説明する。まず、本発明の原理について説明する。１枚（１フレーム）の参照画像を用いて重み付き動き補償を行う場合、処理対象画像における画素値ｐｉは、重み係数ｗ１とオフセット係数ｗ２を重み付き動き予測情報として用いて式(1)で近似される。
ｐｉ≒ｗ１ｐ′ｉ＋ｗ２    (1≦i≦N)                                     (1)
【００１５】
なお、ｐ′ｉは、動き補償された参照画像における画素値を表し、Ｎは、１フレーム内における処理対象画素数、ｉは、１フレームにおける処理対象画素を走査順に並べたときの画素の順番を表す。
【００１６】
ここで、フェード遷移中の画素値に注目すると、画素値の変化率は、変化前の画素値と変化完了後の画素値の差（変化幅）に比例して変化する。特に、黒からのフェードインおよび黒へのフェードアウト（以下、黒フェードと称する。）の場合は、画素値の変化率は、画素値（フェードインでは変化完了後の画素値、フェードアウトでは変化前の画素値）そのものに比例して変化する。例えば、黒へのフェードアウトでは、明るい画素も暗い画素も同じフレーム数を経て黒「0」に収束するため、変化前の画素値が大きいほど変化率も大きい。
【００１７】
逆に、白からのフェードインおよび白へのフェードアウト（以下、白フェードと称する。）の場合は、画素値の変化率は、画素値（フェードインでは変化完了後の画素値、フェードアウトでは変化前の画素値）に反比例して変化する。例えば、白へのフェードアウトでは、明るい画素も暗い画素も同じフレーム数を経て白「255」に収束するため、変化前の画素値が大きいほど変化率は小さい。
【００１８】
このように、黒フェードと白フェードとでは画素値の変化率が相反し、性質が異なる。これらを重み付き動き補償で画一的に扱うのには無理があるため、黒フェードと白フェードにそれぞれ適した重み付き動き予測情報決定処理を用意し、フェードの種別に応じてそれらを適宜利用して重み付き動き予測情報を決定する。すなわち、処理対象画像および参照画像の特徴量に応じて最適な導出式を用い、処理対象画像の画素値および参照画像の画素値から重み付き動き予測情報を決定する。
【００１９】
図１は、本発明に係る動き予測情報検出装置における処理手順の一例を示すフローチャートである。まず、従来の動き補償を参照画像に適用して得られた近似画像の画素値および処理対象画像の画素値をフェード判別処理（Ｓ１）に与える。フェード判別処理（Ｓ１）では、まず、フェードが存在するか否かを判別し、フェードが存在する場合には、さらに、フェードが黒フェードか白フェードかを判別する。これにより非フェード、黒フェード、白フェードかが判別される。
【００２０】
フェードが存在するか否かは、例えば画素値の和のフレーム間での時間的変化を特徴量とし、それが単純減少するか単純増加するかなどの時間的変化の連続性を調べることにより判別できる。なお。この判別に使用する画素は、処理対象画像および参照画像における全ての画素であっても一部の画素であってもよい。また、１フレームにおける画素の平均値、最頻値あるいは代表値などの時間的変化の連続性を調べることによってもこれを判別できる。フェードが存在しない、すなわち非フェードの場合には重み付き動き予測情報の算出処理は行わず処理を終了する。
【００２１】
フェードが存在する場合には、さらに、フェードが黒フェードか白フェードかを判別する。黒フェードか白フェードかは、フレームの前後関係および画素値の和などの比較だけでは判別が困難である。例えば、白からのフェードインと黒へのフェードアウトは、いずれも過去のフレームの方が画素値の和が大きく、フレームの前後関係と画素値の和だけでは両者を区別できない。
【００２２】
この区別を可能にするため、フェード時の画素値はフレーム間の画素値の差に比例して変化するという点に着目し、任意の明るい画素と任意の暗い画素のどちらが大きく変化するかを判断材料とする。
【００２３】
図２、図３はそれぞれ、黒フェードアウト時、白フェードアウト時の時刻ｔ〜ｔ＋１における画素値変化を示す図であり、横軸は１フレーム内の画素位置を示し、縦軸は画素値を示している。
【００２４】
図２に示すように、時刻変化ｔ〜ｔ＋１に伴う画素値の変化率が暗い画素で小さく、かつ明るい画素で大きい場合、黒フェードと判断する。一方、図３に示すように、時刻変化ｔ〜ｔ＋１に伴う画素値の変化率が暗い画素で大きく、かつ明るい画素で小さい場合には白フェードと判断する。このように黒フェードか白フェードかは、参照画像から処理対象画像への画素値の変化率が画素値に対して比例関係にあるか反比例関係にあるかに基づいて判別できる。以上のようにして黒フェードか白フェードかのフェード種別が判別できれば、フェードインかフェードアウトかはフレームの前後関係および画素値の和などの比較で判別できる。
【００２５】
図１に戻って、フェード判別処理（Ｓ１）で黒フェードの存在を判別した場合には、第１の動き予測情報算出処理（Ｓ２）を実行し、白フェードの存在を判別した場合には第２の動き予測情報算出処理（Ｓ３）を実行して重み付き動き予測情報を算出する。
【００２６】
次に、黒フェードの場合の第１の動き予測情報算出処理（Ｓ２）について説明する。上記したように、黒フェードの場合には、画素値の変化率あるいは変化幅は、画素値に比例する。式(1)は、処理対象画像における画素値ｐｉと動き補償された参照画像における画素値ｐ′ｉの比例関係そのものを表すので、この場合には重み付き動き予測情報の一部であるオフセット係数ｗ２を固定値０に設定し、適切な重み係数ｗ１だけで重み付き動き補償を効果的に機能させることができる。この場合、式(1)は式(2)となる。
ｐｉ≒ｗ１ｐ′ｉ         (1≦i≦N)                                     (2)
【００２７】
このとき、処理対象画像における画素値ｐｉと重み付き動き補償された画素値ｗ１ｐ′ｉの類似度を測る尺度として、２乗誤差の総和ｅを式(3)で定義して、ｅを最小にする重み係数ｗ１を最適な重み係数とする。ここで、ｎは、類似度の評価に用いる画素の数(1≦n≦N)を表し、これは処理対象画像および参照画像の全ての画素であっても一部の画素であってもよい。
【００２８】
【数１】
2005303942.tif 000003
【００２９】
重み係数ｗ１が２乗誤差の総和ｅを最小にするためには、ｅをｗ１で偏微分した式(4)が０にならなければならないので、重み係数ｗ１は、式(5)で算出される。
【００３０】
【数２】
2005303942.tif 000004
【００３１】
【数３】
2005303942.tif 000005
【００３２】
黒フェードの場合の重み係数ｗ１は式(5)で求めることができるが、計算量の削減を優先させて、式(6)により処理対象画像における画素値ｐｉの和と参照画像における画素値ｐ′ｉの和から画素値の平均値を求め、その比として重み係数ｗ１を近似することもできる。なお、この場合、処理対象画像と参照画像における画素数ｎが同一であるので、平均値を求める必要はない。式(6)では画素値の和およびその比を算出するだけでよいので、処理負担は大幅に軽減される。また、フェード判別処理（Ｓ１）で処理対象画像における画素値の和や参照画像における画素値の和を既に求めている場合には、それらを式(5)で再利用すればさらに処理負担が軽減される。
【００３３】
【数４】
2005303942.tif 000006
【００３４】
以下に、式(6)が式(5)の近似として有効であるかどうかについて説明する。ここでは説明を簡単にするために、例えば、ｎ＝２、つまり１フレームから２つの画素を取り出し、一方の画素ｐ２，ｐ′２の画素値を、他方の画素ｐ１，ｐ′１の画素値ａ，ｂに対する比ｒ(≧０),ｓ(≧０)を使って式(7)のように表現したとき、ｒおよびｓにどのような条件が成立すれば式(6)が式(5)の近似として有効であるかを評価する。
ｐ１＝ａ
ｐ２＝ｒａ
ｐ′１＝ｂ
ｐ′２＝ｓｂ                                                         (7)
【００３５】
このとき、式(5)による重み係数ｗ１は、式(8)で表され、式(６)による重み係数ｗ１は、式(９)で表される。
【００３６】
【数５】
2005303942.tif 000007
【００３７】
【数６】
2005303942.tif 000008
【００３８】
両者の差が十分小さくなる条件は、差の絶対値を任意の正の定数ε(≧０)未満に抑えればよい、つまり、式(10)を満たせばよいということである。式(10)を整理すると式(11)が得られる。
【００３９】
【数７】
2005303942.tif 000009
【００４０】
【数８】
2005303942.tif 000010
【００４１】
画素値ａ，ｂは任意であるので、画素値に依存せず大勢に影響する項だけに注目すると、式(12)が得られる。
【００４２】
【数９】
2005303942.tif 000011
【００４３】
式(12)から、式(6)が式(5)の近似として有効なのはｓ＝１の近傍あるいはｒ＝ｓの近傍であるということがいえる。これは、参照画像の画素値が全て一定、あるいは処理対象画像における画素値の変化率と参照画像における画素値の変化率が一致することを意味する。
【００４４】
具体的には、ｓ＝１はフェードインの開始点付近およびフェードアウトの終点付近を表し、ｒ＝ｓは理想的なフェードが実現されている状態を表しており、このような状態では式(6)を用いて重み係数ｗ１を求めても問題はない。また、式(6)は画素値の平均化処理を行うことに相当するので、画素にノイズが含まれている状態であっても、平均が０の一般的な加法性ガウス雑音であれば、式(6)による算出でノイズが打ち消される。したがって、ノイズに対する耐性が高くなるという利点もある。
【００４５】
以上のことはｎ＞２の場合にそのまま一般化できるため、式(6)は計算負担を軽減させる近似式というだけでなく、上記の条件下で十分な精度を保ったまま重み係数ｗ１を決定できることを示している。また、式(6)をさらに簡略化して、いくつかの個々の画素値の比における平均値、最頻値または中央値により重み係数ｗ１を決定するようにしてもよい。
【００４６】
次に、白フェードの場合の第２の動き予測情報算出処理（Ｓ３）について説明する。上記したように、白フェードの場合には、画素値の変化率あるいは変化幅は、画素値に反比例する。式(1)は、処理対象画像における画素値ｐｉと動き補償された参照画像における画素値ｐ′ｉの比例関係を前提としているので、そのままでは白フェードを補償することは困難である。白フェードの場合の変換を、精度に支障を来すことなく式(1)で可能にするには、オフセット係数ｗ２を適切に設定して処理対象画像の画素値ｐｉと重み付き動き補償で求められる画素値の誤差を最小にする必要がある。
【００４７】
重み係数ｗ１だけでなくオフセット係数ｗ２を重み付き動き予測情報として導出するため、白フェードの場合には画素値の増減が画素値そのものではなく画素値の差（変化幅）に比例することを利用する。すなわち、白フェードの場合の処理対象画像における画素値ｐｉは、参照画像における画素値ｐ′ｉと白(＝255)の差に何らかの比例定数αｉを介して近似できるものとして式(13)で定式化できる。
ｐｉ≒ｐ′ｉ＋αｉ(255−ｐ′ｉ)                                         (13)
【００４８】
式(13)は、式(1)の形に合わせて変形すると、式(14)のようになる。
ｐｉ≒(1−αｉ)ｐ′ｉ＋255αｉ                                         (14)
【００４９】
一方で、比例定数αｉは式(13)から式(15)のように得られるので、元々の重み付き動き補償の式(1)との対応関係を考慮すると、重み係数ｗ１は個々の重み係数の平均として式(16)で求めることができる。式(16)は、処理対象画像の個々の画素値の補数および参照画像の個々の画素値の補数の比の平均で重み係数ｗ１が求められることを示している。
【００５０】
【数１０】
2005303942.tif 000012
【００５１】
【数１１】
2005303942.tif 000013
【００５２】
白フェードの場合の重み係数ｗ１は式(16)で求めることができるが、白からのフェードインの開始点付近や白へのフェードアウトの終端付近では、式(16)を簡略化した近似式(17)で重み係数ｗ１を求めることにより、計算量の削減を優先させることができる。式(17)は、処理対象画像の画素値平均の補数および参照画像の画素値平均の補数の比で重み係数ｗ１が求められることを示している。
【００５３】
【数１２】
2005303942.tif 000014
【００５４】
一方、オフセット係数ｗ２は、式(18)で求めることができる。
【００５５】
【数１３】
2005303942.tif 000015
【００５６】
また、２乗誤差の総和eを式(19)で定義して、重み係数ｗ１が決定されたとき、ｅを最小にするオフセット係数ｗ２を最適なオフセット係数ｗ２として求めることもできる。
【００５７】
【数１４】
2005303942.tif 000016
【００５８】
オフセット係数ｗ２が２乗誤差の総和ｅを最小にするためには、ｅをｗ２で偏微分した式(20)が０にならなければならないので、オフセット係数ｗ２は、式(21)で求めることができる。
【００５９】
【数１５】
2005303942.tif 000017
【００６０】
【数１６】
2005303942.tif 000018
【００６１】
式(18)，(21)のいずれの場合でも、オフセット係数ｗ２は重み係数ｗ１に依存して求められる。すなわち、既に求めた重み係数ｗ１からオフセット係数ｗ２を求めることができる。なお、フェード判別処理などで既に求めた処理対象画像における画素値の和や参照画像における画素値の和は、式(21)においても再利用できる。
【００６２】
また、重み付き動き予測情報は処理過程で量子化されて格納されることを考慮すると、量子化誤差が含まれた重み係数ｗ１を用いてオフセット係数ｗ２を求めることによりオフセット係数ｗ２の精度を向上させることができる。
【００６３】
本発明により最適に決定された重み付き動き予測情報を用いることにより、MPEG-4 AVC/H.264において、従来の動き補償より効果的な圧縮率を実現できる。逆に、重み付き動き予測情報が圧縮率を改善する箇所を精査すれば、フェードシーンやディゾルブシーンなどを検出することができる。
【図面の簡単な説明】
【００６４】
【図１】本発明に係る動き予測情報検出装置における処理手順の一例を示すフローチャートである。
【図２】黒フェードアウト時における画素値変化の説明図である。
【図３】白フェードアウト時における画素値変化の説明図である。
【図４】ディゾルブにおける重み係数推移の説明図である。
【符号の説明】
【００６５】
Ｓ１・・・フェード判別処理、Ｓ２・・・第１の動き予測情報算出処理、Ｓ３・・・第２の動き予測情報算出処理
【図１】
2005303942.tif 000019
【図２】
2005303942.tif 000020
【図３】
2005303942.tif 000021
【図４】
2005303942.tif 000022