(57)【特許請求の範囲】
【請求項１】
動画像から前景領域と背景領域を分離する方法であって、
動画像の隣接フレーム間にて第一の局所的なベクトルを算出し、
該隣接フレーム間にて大局的な動きベクトルを算出し、
大局的な動きベクトルから各座標における第二の局所的な動きベクトルを算出し、
第一の局所的な動きベクトルと第二の局所的な動きベクトルの距離が予め定められた第一の閾値よりも小さい領域を第一の背景候補領域とし、
大局的な動きベクトルによる予測画像を生成し、マクロブロック単位に予測画像と原画像の絶対差分平均値を算出し、第一の背景領域における各マクロブロックの絶対差分平均値に基づいて第二の閾値を決定し、
該第二の閾値よりも小さい絶対差分平均値を持つマクロブロックを第二の背景候補領域とし、第一の背景候補領域と第二の背景候補領域とを統合して第三の背景候補領域とし、
該第三の背景候補領域において前景領域との境界に属する背景マクロブロックにおいて、第二の閾値よりも小さい所定の値を持つ第三の閾値よりも小さい絶対差分平均値を持つマクロブロックを前景マクロブロックに訂正することで動画像から前景領域と背景領域を分離することを特徴とする方法。
【請求項２】
前記動画像から前景領域と背景領域を分離する方法において、前記大局的な動きベクトルにより予測画像を生成し、該予測画像と原画像から算出した絶対差分平均値を用いて前記第二の閾値を決定することに代えて、
あらかじめ用意された背景画像と原画像との間の大局的な動きベクトルを算出し、該大局的な動きベクトルによって背景画像から予測画像を生成し、マクロブロック単位に予測画像と原画像の絶対差分平均値を算出し、前記第一の背景領域における各マクロブロックの絶対差分平均値に基づいて前記第二の閾値を決定する請求項１に記載の方法。
【請求項３】
請求項１又は２に記載の方法によって動画像から前景領域と背景領域を分離し、
該前景領域では原画像と動きベクトルによる予測画像との差分を符号化し、背景領域では原画像と動きベクトルによる予測画像との差分を符号化しないことを特徴とする条件付画素補填による動画像符号化方法。
【請求項４】
コンピュータに請求項１又は２のいずれか１項に記載の方法を実行させるプログラム。
【請求項５】
コンピュータに請求項３記載の条件付画素補填による動画像符号化方法を実行させるプログラム。
【請求項６】
コンピュータに請求項１又は２のいずれか１項に記載の方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
コンピュータに請求項３記載の条件付画素補填による動画像符号化方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像から前景領域と背景領域とを分離する技術に関する、また、本発明は、動画像から前景領域と背景領域とを分離した結果を条件付画素補填に用いる動画像符号化技術に関する。
【０００２】
【従来の技術】
動画像から背景領域と前景領域を分離する技術として、例えば「秦泉寺久美他、“スプライト生成のためのグローバルモーション算出法と符号化への適用”, 信学論  D-II vol.J83-D-II, no.2, pp535-544, Feb.2000.」（以下、文献１という）に開示されている技術がある。これは、背景画像をあらかじめ作成し、背景画像と着目画像の差分から背景を判定する方法である。
【０００３】
この方法によると、背景を計算機処理によって人工的に作り出すため、ずれやぼけが生じる。そのため、背景画像と着目画像との差分を計算すると、そのずれやぼけに応じた差分が生じ、最適な差分の閾値を設定することが困難であるという問題があった。
【０００４】
また、隣接フレーム間における局所的な動きベクトル（Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ：ＬＭＶ）と大局的な動きベクトル（Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ：ＧＭＶ）の類似度に着目し、各マクロブロック（Ｍａｃｒｏ−ｂｌｏｃｋ：ＭＢ）において、両者の値が近いものを背景、そうでないものを前景とする方法もある。
【０００５】
しかし、この方法を用いると、図７に示すように、輝度変化がなだらかな領域（ａ）や、一方向に指向性のある輝度を持つ領域（ｂ）や、同じテクスチャの繰り返しのある領域（ｃ）においてはＬＭＶが誤抽出される場合がある。これらのＭＢは本来なら背景部分に属するものであるが、ＧＭＶとＬＭＶとの距離が大きく離れて算出される。従って、この方法を用いると、本来なら背景部分に属するＭＢが背景とは判断されないという問題があった。
【０００６】
また、物体と背景の境界等では前景よりも背景領域が大きいため、ＬＭＶとＧＭＶの距離が小さくなる傾向にある。よって、背景と判断されても前景の一部を含んでしまうという問題があった。
【０００７】
動画像符号化における条件付画素補填について次に説明する。
【０００８】
Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２といった従来の符号化方法では、ＭＢ単位にＬＭＶによって動き補償（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）し、元の画像（あるいはローカルデコード画像）との差分（すなわち予測誤差）を離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）し、そのＤＣＴ係数を符号化する方法がとられるのが一般的である。その従来の符号化技術における条件付画素補填法（Ｃｏｎｉｔｉｏｎａｌ  Ｒｅｐｌｅｎｉｓｈｍｅｎｔ：ＣＲ）とは、ＭＣを行った後に、なんらかの条件において予測誤差を符号化しない方法である。単純な例として、ＭＣが行われた後の予測誤差の指標である原画像とＭＣ後の予測画像の絶対差分和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）がある閾値以下のＭＢに関しては差分を一切符号化しないこととする方法がある。
【０００９】
一方で、新しい映像符号化標準であるＭＰＥＧ−４では、ＭＣ+ＤＣＴ以外の新しい圧縮ツールが具備されており、グローバル動き補償（Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ：ＧＭＣ）はその１つである。ＧＭＣとは、ＭＢ単位にＭＣをするのではなく、大きな領域全体を１つのグローバル動きベクトル（Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ：ＧＭＣ）でＭＣをするものである。この方法によると、複数のＬＭＶを１つに集約する効果があり、その分、符号量を削減することができる。ＧＭＶはアフィン変換である６つのパラメータで表される。なお、ＧＭＶは画像全体にアフィン変換を施すものである。
【００１０】
さて、ＧＭＣにおいても、前述のＣＲを適用することは可能である。しかしながら、ＧＭＣが効果を発揮するような画像、すなわち、カメラの動きがあるような画像では、予測画像を生成するときにアフィン変換が施され、その微妙なずれによって、画像内で輝度変化の大きい画像ではＭＡＤ（Ｍｅａｎ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：絶対差分値の平均）が大きな値をとることになる。よって、ある一定の閾値以下という条件を設定してＣＲを適用する場合、閾値を小さくするとＣＲが適用できるＭＢが少なくなるという問題があり、閾値を大きくしてＣＲの領域を大きくすれば画像が劣化するという問題があった。
【００１１】
【発明が解決しようとする課題】
本発明は上記の点に鑑みてなされたものであり、動画像から前景領域と背景領域を正確に分離する方法を提供することを目的とする。更に、その方法を用いて条件付画素補填（ＣＲ）による動画像符号化を行う方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために本発明は次のように構成される。
【００１３】
請求項１に記載の発明は、動画像から前景領域と背景領域を分離する方法であって、動画像の隣接フレーム間にて第一の局所的なベクトルを算出し、該隣接フレーム間にて大局的な動きベクトルを算出し、大局的な動きベクトルから各座標における第二の局所的な動きベクトルを算出し、第一の局所的な動きベクトルと第二の局所的な動きベクトルの距離が予め定められた第一の閾値よりも小さい領域を第一の背景候補領域とし、大局的な動きベクトルによる予測画像を生成し、マクロブロック単位に予測画像と原画像の絶対差分平均値を算出し、第一の背景領域における各マクロブロックの絶対差分平均値に基づいて第二の閾値を決定し、該第二の閾値よりも小さい絶対差分平均値を持つマクロブロックを第二の背景候補領域とし、第一の背景候補領域と第二の背景候補領域とを統合して第三の背景候補領域とし、該第三の背景候補領域において前景領域との境界に属する背景マクロブロックにおいて、第二の閾値よりも小さい所定の値を持つ第三の閾値よりも小さい絶対差分平均値を持つマクロブロックを前景マクロブロックに訂正することで動画像から前景領域と背景領域を分離する。
【００１４】
本発明によれば、第一の背景候補領域と第二の背景候補領域を各々の判定手法にて求め、第一の背景候補領域と第二の背景候補領域とを統合することとしたので、第一の背景候補領域を求める手法で背景と判定されない領域でも第二の背景候補領域を求める手法によって背景と判定することが可能となり、正確に前景領域と背景領域を分離できる。また、第一の背景候補領域抽出結果に基づき第二の背景候補領域を求めるための閾値（第二の閾値）を決定するので、適切な閾値を自動的に設定することができる。また、背景と前景の境界に属している領域について背景か否かの再判定を行うので、更に正確に前景領域と背景領域を分離することが可能となる。また、本発明では、隣接フレーム間の情報のみを使用して前景背景を分離するので、計算機コストが小さくなり実時間性が求められる場合に好適である。
【００１５】
請求項２に記載の発明は、請求項１に記載の発明において、前記動画像から前景領域と背景領域を分離する方法において、前記大局的な動きベクトルにより予測画像を生成し、該予測画像と原画像から算出した絶対差分平均値を用いて前記第二の閾値を決定することに代えて、あらかじめ用意された背景画像と原画像との間の大局的な動きベクトルを算出し、該大局的な動きベクトルによって背景画像から予測画像を生成し、マクロブロック単位に予測画像と原画像の絶対差分平均値を算出し、前記第一の背景領域における各マクロブロックの絶対差分平均値に基づいて前記第二の閾値を決定する方法である。
【００１６】
本発明によれば、スプライト等の背景画像が予め生成されている場合において、正確に前景領域と背景領域を分離する方法を提供できる。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の方法によって動画像から前景領域と背景領域を分離し、該前景領域では原画像と動きベクトルによる予測画像との差分を符号化し、背景領域では原画像と動きベクトルによる予測画像との差分を符号化しないことを特徴とする条件付画素補填による動画像符号化方法である。
【００１８】
本発明によれば、従来法のように単純にマクロブロック内のＭＡＤを用いて差分情報の符号化をするか否かを決定するのではなく、本発明の前景背景分離方法によって正確に前景背景を分離してから背景部分に条件付画素補填（ＣＲ）をするので画質の劣化が押さえられる。
【００１９】
請求項４、５に記載の発明は、上記の方法による処理をコンピュータに実行させるプログラムであり、請求項６、７に記載の発明はそのプログラムを記録したコンピュータ読み取り可能な記録媒体である。請求項４〜７の発明によっても上記請求項１〜３の発明と実質的に同様の作用効果を奏する。
【００２０】
【発明の実施の形態】
以下、本発明の各実施例について説明する。各実施例では前景と背景の分離方法、もしくは動画像符号化方法についての処理手順について説明するが、各実施例における処理手順は、プログラムとしてコンピュータ上で実行するものである。
【００２１】
すなわち、図１に示すようなＣＰＵ１、メモリ２、ハードディスク３、入力装置４、出力装置５、ＣＤ−ＲＯＭドライブ６等を有するコンピュータに画像入力装置７を接続し、当該画像入力装置７から動画像を入力し、その動画像に画像処理を施して前景と背景の分離、更には動画像の符号化を行うものである。従って、例えばＣＤ−ＲＯＭ等の記録媒体に格納された本発明のプログラムをコンピュータにインストールすることによって、本発明における画像処理を実現することができる。なお、本発明の実施例の手順の全部又は一部をハードウェアに組み込み、画像処理の専用装置を構成することも可能である。
【００２２】
［第１の実施例］
以下、図２を用いて本発明の第１の実施例を説明する。図２は、本発明における前景背景分離方法の第１の実施例を示す図である。第１の実施例は、隣接フレーム間の情報のみを使用して前景と背景を分離する場合の例であり、実時間性が求められる場合に好適な計算機コストが小さい方法である。
【００２３】
まず、画像入力装置からコンピュータに入力された動画像の隣接フレーム間において、ＭＢ単位にＬＭＶを計算する（ステップ１）。次に、ＬＭＶの値から、例えば文献１の手法によってＧＭＶを算出する（ステップ２）。
【００２４】
そして、任意のＭＢにおける動きベクトル（ＭＶ）を(u,v)、ＭＢの中心座標を(x,y)、そのときの文献１における４パラメータからなるＧＭＶを｛a,b,c,d｝（各々、カメラのズーム、回転、パン、チルトを示す）とすると、以下の式（１）が成り立つ。
【００２５】
【数１】
0003823767.tif 000002
ＧＭＶが既知であれば、式（１）より各ＭＢにおけるＬＭＶに変換できる。
【００２６】
このＬＭＶをＬＭＶ’とし、座標(x,y)におけるＬＭＶ’を(u’,v’)とする。ここで、ＧＭＶとＬＭＶの距離Ｄを式（２）のように定義し、これを算出する（ステップ３）。
【００２７】
【数２】
0003823767.tif 000003
次に、距離Ｄが所定の閾値Ｔｈ１より小さいか否かを調べ（ステップ４）、小さい場合には、着目しているＭＢを背景候補ＭＢとし、その位置にフラグを立て、この背景候補ＭＢ群をマップ１とする（ステップ５）。
【００２８】
次に、隣接フレームからＧＭＶを用いて予測画像を生成し（ステップ６）、各々のＭＢにてＧＭＣ後の予測画像と元の画像とのＭＡＤ値を計算する（ステップ７）。ここで、Ｍａｐ１群に属する背景候補ＭＢについて、そのＭＡＤ値が小さい方から順に全体の９０％程度のところにあたるＭＡＤ値をＴｈ２とする（ステップ８）。これにより、ＭＡＤにより差分閾値Ｔｈ２を自動設定することが可能となる。
【００２９】
続いて、全てのＭＢにて、ＭＡＤ値と差分閾値Ｔｈ２を比較し（ステップ９）、差分閾値Ｔｈ２よりも小さいＭＡＤ値を持つＭＢを背景候補ＭＢとし、この位置にフラグを立てて、これをマップ２にする（ステップ１０）。更に、マップ１とマップ２のＯＲを算出し、すなわちマップ１とマップ２をマージして、これを背景候補領域とする（ステップ１１）。
【００３０】
上記の処理において、背景候補領域と前景候補領域の境界に位置する背景候補ＭＢには微小に前景領域がある場合が考えられる。そこで、ＭＡＤにおける所定の差分閾値Ｔｈ３（Ｔｈ３＜Ｔｈ２）にて境界ＭＢを前景と背景に分離する。すなわち、ＭＢ毎にそのＭＢが背景領域でかつ前景候補との境界であるかどうかを調べ（ステップ１２）、境界である場合には当該ＭＢのＭＡＤ値が差分閾値Ｔｈ３より小さいか否かを調べ、ＭＡＤ値が差分閾値Ｔｈ３より小さい場合にそのＭＢを背景ＭＢとし、小さくない場合にはそのＭＤを前景ＭＢとする（ステップ１３）。
【００３１】
図３は、本発明における第１の実施例における処理を実行して得た前景背景分離結果を示す図である。図の左側に原画像、右側に抽出された背景部分（白色の部分）を示す。同図に示すように、おおむね良好に前景背景が分離されていることがわかる。
【００３２】
［第２の実施例］
次に、図４を用いて本発明の第２の実施例について説明する。図４は、本発明における前景背景分離方法の第２の実施例を示す図である。第２の実施例は、スプライト（背景パノラマ画像）や背景画像等があらかじめ生成されている場合において背景と前景の分離を行う例である。
【００３３】
第２の実施例は、第１の実施例に比べて、計算機コストは増すがより正確に前景背景を分離可能であるという特徴を有している。
【００３４】
まず、入力された動画像における隣接フレーム間において、ＭＢ単位にＬＭＶを計算する（ステップ２１）。更に、ＬＭＶの値から、文献１の手法によってＧＭＶを算出する（ステップ２２）。そして、式（１）により各ＭＢにおけるＬＭＶに変換できる。このＬＭＶをＬＭＶ’とし、座標(x,y)におけるＬＭＶ’を(u’,v’)とする。ＧＭＶとＬＭＶの距離Ｄを式（２）を用いて算出する（ステップ２３）。距離Ｄがある閾値Ｔｈ１より小さい場合にそのＭＢを背景候補ＭＢとし、この背景候補ＭＢ群をマップ１とする（ステップ２４、２５）。
【００３５】
ここまでの手順は第１の実施例におけるステップ１〜５の手順と全く同じである。
【００３６】
次に、スプライト等の背景画像と原画像間の変換パラメータ（両画像間のＧＭＶに相当する）を算出する（ステップ２６）。変換パラメータは式（１）と同様、アフィン係数で表される。その変換パラメータによって背景画像を変形し予測画像を生成する（ステップ２７）。そして、原画像の各ＭＢにおける予測画像との間のＭＡＤ値を計算する（ステップ２８）。
【００３７】
以降の処理手順（ステップ２９〜３４）は、第１の実施例におけるステップ８〜１３の手順と同様である。すなわち、次の処理を行う。
【００３８】
Ｍａｐ１群に属する背景候補ＭＢについて、そのＭＡＤが小さいほうから順に全体の９０％程度のところにあたるＭＡＤ値をＴｈ２とし（ステップ２９）、全てのＭＢにて、差分閾値Ｔｈ２よりも小さいＭＡＤを持つＭＢを背景候補ＭＢとしてマップ２とする（ステップ３０、３１）。更にマップ１とマップ２のＯＲを算出し、背景候補領域とする（ステップ３２）。最後に、背景候補領域と前景候補領域の境界に位置する背景候補ＭＢは微小に前景領域がある場合が考えられるので、ＭＡＤの差分閾値Ｔｈ３（Ｔｈ３＜Ｔｈ２）にて境界ＭＢを前景と背景に分離する（ステップ３３、３４）。
【００３９】
［第３の実施例］
次に、ＭＣ+ＤＣＴを基本とした従来符号化方法（ＭＰＥＧ−１、２、Ｈ．２３１、Ｈ．２６３）において本発明の背景前景分離方法を適用する例を第３の実施例として説明する。図５に第３の実施例における手順を示す。
【００４０】
原画像を画像入力装置からコンピュータ等に読み込み、第１の実施例もしくは第２の実施例で説明した前景背景分離方法にてＭＢ毎に前景背景を判定する（ステップ４１）。着目ＭＢが背景の場合は動き補償による予測誤差を符号化しない（ステップ４２、４３）。また、着目ＭＢが前景の場合は動き補償結果の予測誤差を符号化する（ステップ４２、４４）。
【００４１】
［第４の実施例］
次に、本発明の前景背景分離方法を用いることによりＧＭＣ符号化にＣＲを適用する例を第４の実施例として説明する。図６に第４の実施例における手順を示す。
【００４２】
原画像を画像入力装置からコンピュータ等に読み込み、第１の実施例もしくは第２の実施例で説明した前景背景分離方法にてＭＢ毎に前景背景を判定する（ステップ５１）。着目ＭＢが背景の場合はＧＭＣ符号化し、かつ、その予測誤差を符号化しない、すなわち、ＣＲ符号化を行う（ステップ５２、５３）。着目ＭＢが前景の場合は、「”MPEG-4 Video Verification Model version 17.0” ISO/IEC JTC1/SC29/WG11」（文献２）に記載されているようなＧＭＣ／ＬＭＣ判定を行い（ステップ５２、５４）、ＧＭＣと判定されたものはＧＭＣ符号化（予測誤差は符号化）し、また、ＬＭＣと判定されたものはＬＭＣ符号化（予測誤差は符号化）する（ステップ５５）。
【００４３】
本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【００４４】
【発明の効果】
上記のように本発明の前景背景分離方法によれば、隣接フレーム間の情報（ＬＭＶ、画素値）から前景背景を判定するので、前景背景分離に要する計算機コストを削減することが可能である。
【００４５】
また、各ＭＢにおけるＧＭＶによる予測画像と原画像から算出されたＭＡＤ値から前景背景を分離するための差分閾値を自動決定することができ、画像によらず最適な閾値を決定することが可能である。
【００４６】
また、ＬＭＶとＧＭＶの距離が所定値より小さいＭＢを背景候補ＭＢとしマップ１として出力し、また、ＭＡＤが所定の値より小さいＭＢを背景候補ＭＢとしマップ２として出力し、マップ１とマップ２のＯＲをとることとしたので、図７に示したようなＬＭＶが誤抽出される傾向にある輝度変化の少ないＭＢでもマップ２において背景候補ＭＢとして採用され、また、輝度変化の激しいＭＢにおいては、ＭＡＤによる判定では背景候補ＭＢとして採用されないが、マップ１にて背景として採用される。従って、画像の状態にかかわらず、正確に前景と背景を分離できるという効果がある。
【００４７】
また、ＬＭＶとＧＭＶの差が小さく、背景と判断されたＭＢの中で前景と背景の境界に属しているＭＢにおいては、本来は前景である可能性があるが、更に小さいＭＡＤの閾値で再判定することで、前景ＭＢとして判定することが可能となる。
【００４８】
更に、本発明によれば、ＧＭＣ等においてＣＲを適用するときに画質の劣化が押さえられるという効果がある。すなわち、本発明では、従来法のように単純にマクロブロック内のＭＡＤを用いて差分情報の符号化をするか否かを決定するのではなく、正確に前景背景を分離してから背景部分にＣＲをするので画質の劣化が押さえられる。
【図面の簡単な説明】
【図１】画像入力装置が接続されたコンピュータの構成図である。
【図２】  本発明の第１の実施例における処理手順を示す図である。
【図３】本発明における第１の実施例における処理を実行して得た前景背景分離結果を示す図である。
【図４】本発明の第２の実施例における処理手順を示す図である。
【図５】本発明の第３の実施例における処理手順を示す図である。
【図６】本発明の第４の実施例における処理手順を示す図である。
【図７】従来技術においてＬＭＶが誤抽出される例を説明するための図である。
【符号の説明】
１  ＣＰＵ
２  メモリ
３  ハードディスク
４  入力装置
５  出力装置
６  ＣＤ−ＲＯＭドライブ
７  画像入力装置
【図１】
0003823767.tif 000004
【図２】
0003823767.tif 000005
【図３】
0003823767.tif 000006
【図４】
0003823767.tif 000007
【図５】
0003823767.tif 000008
【図６】
0003823767.tif 000009
【図７】
0003823767.tif 000010