(57)【特許請求の範囲】
【請求項１】
動画像に対する複数のグローバル動きパラメータの候補をもとに，動画像を複数の領域に分割する方法であって，
各グローバル動きパラメータの候補から画像全体の予測画像を生成し，
入力画像と各予測画像との差分画像から，各画素についての予測誤差が最小となる動きパラメータを求めて画素ごとに記憶し，
同じ動きパラメータが選ばれた画素が連なる領域を連結し，孤立した動きパラメータをもつ画素を周囲の領域に統合することにより，画像を複数の領域に分割する
ことを特徴とする動画像の領域分割方法。
【請求項２】
動画像に対する複数のグローバル動きパラメータの候補の中から一つのグローバル動きパラメータを選択する方法であって，
各グローバル動きパラメータの候補から画像全体の予測画像を生成し，
入力画像と各予測画像との差分画像から，各画素についての予測誤差が最小となる動きパラメータを求めて画素ごとに記憶し，
少なくとも同じ動きパラメータが選ばれた画素が連なる領域を連結し，これらの領域に基づいて画素数が最大となる領域に対応した動きパラメータを，該画像のグローバル動きパラメータとして選択する
ことを特徴とするグローバル動きパラメータ選択方法。
【請求項３】
動画像に対する複数のグローバル動きパラメータの候補の中から一つのグローバル動きパラメータを選択する方法であって，
前記グローバル動きパラメータの候補のそれぞれに対応する画像全体の予測画像を生成し，
入力画像と前記予測画像の差分である予測誤差があるしきい値以下となる画素の数を求め，最も多くの画素がしきい値以下となる予測画像に対応した動きパラメータを，該画像のグローバル動きパラメータとして選択する
ことを特徴とするグローバル動きパラメータ選択方法。
【請求項４】
動画像に対する複数のグローバル動きパラメータの候補をもとに，動画像を複数の領域に分割する装置であって，
各グローバル動きパラメータの候補から画像全体の予測画像を生成する手段と，
入力画像と各予測画像との差分画像を生成する手段と，
各画素についての予測誤差が最小となる動きパラメータをラベルとして画素ごとに記憶する手段と，
同じラベルが連なる領域を連結し，孤立した動きパラメータをもつ画素を周囲の領域に統合することにより，画像を複数の領域に分割する手段とを備える
ことを特徴とする動画像の領域分割装置。
【請求項５】
動画像に対する複数のグローバル動きパラメータの候補の中から一つのグローバル動きパラメータを選択する装置であって，
各グローバル動きパラメータの候補から画像全体の予測画像を生成する手段と，
入力画像と各予測画像との差分画像を生成する手段と，
各画素についての予測誤差が最小となる動きパラメータをラベルとして画素ごとに記憶する手段と，
少なくとも同じラベルが連なる領域を連結する手段と，
これらの連結した領域に基づいて画素数が最大となる領域に対応した動きパラメータを，該画像のグローバル動きパラメータとして選択する手段とを備える
ことを特徴とするグローバル動きパラメータ選択装置。
【請求項６】
動画像に対する複数のグローバル動きパラメータの候補の中から一つのグローバル動きパラメータを選択する装置であって，
前記グローバル動きパラメータの候補のそれぞれに対応する画像全体の予測画像を生成する手段と，
入力画像と前記予測画像との差分画像を生成する手段と，
各差分画像をもとに予測誤差があるしきい値以下となる画素の数を求め，最も多くの画素がしきい値以下となる予測画像に対応した動きパラメータを，該画像のグローバル動きパラメータとして選択する手段とを備える
ことを特徴とするグローバル動きパラメータ選択装置。
【請求項７】
動画像に対する複数のグローバル動きパラメータの候補をもとに，動画像を複数の領域に分割する方法を計算機に実行させるためのプログラムを格納した記録媒体であって，
各グローバル動きパラメータの候補から画像全体の予測画像を生成する処理と，
入力画像と各予測画像との差分画像から，各画素についての予測誤差が最小となる動きパラメータを求めて画素ごとに記憶する処理と，
同じ動きパラメータが選ばれた画素が連なる領域を連結し，孤立した動きパラメータをもつ画素を周囲の領域に統合することにより，画像を複数の領域に分割する処理とを，
計算機に実行させるプログラムを格納した
ことを特徴とする動画像の領域分割プログラム記録媒体。
【請求項８】
動画像に対する複数のグローバル動きパラメータの候補の中から一つのグローバル動きパラメータを選択する方法を計算機に実行させるためのプログラムを格納した記録媒体であって，
各グローバル動きパラメータの候補から画像全体の予測画像を生成する処理と，
入力画像と各予測画像との差分画像から，各画素についての予測誤差が最小となる動きパラメータを求めて画素ごとに記憶する処理と，
少なくとも同じ動きパラメータが選ばれた画素が連なる領域を連結し，これらの領域に基づいて画素数が最大となる領域に対応した動きパラメータを，該画像のグローバル動きパラメータとして選択する処理とを，
計算機に実行せるプログラムを格納した
ことを特徴とするグローバル動きパラメータ選択プログラム記録媒体。
【請求項９】
動画像に対する複数のグローバル動きパラメータの候補の中から一つのグローバル動きパラメータを選択する方法を計算機に実行させるためのプログラムを格納した記録媒体であって，
前記グローバル動きパラメータの候補のそれぞれに対応する画像全体の予測画像を生成する処理と，
入力画像と前記予測画像の差分である予測誤差があるしきい値以下となる画素の数を求め，最も多くの画素がしきい値以下となる予測画像に対応した動きパラメータを，該画像のグローバル動きパラメータとして選択する処理とを，
計算機に実行させるプログラムを格納した
ことを特徴とするグローバル動きパラメータ選択プログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，動画像のグローバルな動きパラメータの抽出と領域分割の技術に関するものである。
【０００２】
例えば，スタティックスプライト（モザイク画像）を用いた動画像の符号化では，スタティックスプライトの生成精度が符号化効率，ＳＮＲ，主観評価に大きく影響する。動画像からスタティックスプライトを生成するには，物体の動き等のアウトライヤ（外れデータ）の影響のないカメラモーションだけを反映したグローバル動きパラメータを抽出する必要がある。
【０００３】
【従来の技術】
一般に，画像全体の動きは，カメラ操作による動きと個々の被写体の動きとの線形結合で表される。このような画像全体の動きを表すグローバル動きパラメータの候補を検出する方法は，従来から種々の方法が知られている。
【０００４】
従来，動画像から抽出された複数のグローバル動きパラメータの候補の中から最適なグローバル動きパラメータを選択する場合，これらの動きパラメータの候補のそれぞれに対応する予測画像を生成し，入力画像と予測画像の差分である予測誤差の総和を最小とする動きパラメータを，画像全体の動きパラメータとしていた。
【０００５】
なお，グローバル動きパラメータの候補が複数抽出されているケースの具体例は，例えば以下の参考文献に記載されている。
〔参考文献〕「カメラ操作抽出によるスプライト生成と画像符号化への利用」，秦泉寺他，電子情報通信学会画像工学研究会ＩＥ９６−１３９（１９９７−０２）．
【０００６】
【発明が解決しようとする課題】
従来のグローバル動きパラメータ検出方法では，画像の一部にグローバルな動きと異なった被写体が存在するときに，正しい動きを反映したグローバル動きパラメータを用いて予測画像を生成しても，グローバルな動きと異なった動きをする被写体の部分で予測誤差が大きくなることがある。
【０００７】
そのため，予測誤差の総和を基準としてグローバルな動きパラメータを検出しようとすると，画像全体のグローバルな動きを反映したパラメータがうまく検出できないという欠点があった。
【０００８】
本発明は上記問題点の解決を図り，複数のグローバル動きパラメータの候補から画像全体のグローバルな動きを反映した最適なパラメータを選択し，また複数のグローバル動きパラメータの候補を用いて効果的に画像の領域を分割する手段を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は，動画像およびそれに対する複数のグローバル動きパラメータの候補を入力し，予測画像と原画像との差分画像を用いて，画像を複数の領域に分割，および最適なグローバル動きパラメータを選択するものであり，画像全体の予測誤差の総和ではなく，画素ごとの予測誤差に着目する点に特徴がある。
【００１０】
具体的には本発明では，動画像に対するグローバル動きパラメータの候補が複数抽出されているとき，これらの動きパラメータの候補のそれぞれに対応する画像全体の予測画像を生成する予測画像生成手段と，入力画像と予測画像の差分（予測誤差）を求める差分画像生成手段と，該差分画像生成手段で求められた予測誤差が最も小さくなる動きパラメータを画素ごとに記憶するラベリング手段と，同じ動きパラメータが選ばれた画素が連なる領域を連結し，さらに孤立した動きパラメータをもつ画素を周囲に統合する処理を行う領域連結統合手段とを有することにより，画像を複数の動きパラメータの集合とそれらに対応する領域に分割する。また，分割した領域のうち画素数が最大となる領域に対応した動きパラメータを，画像全体の動きパラメータとする。
【００１１】
また，本発明では，複数抽出されたグローバル動きパラメータの候補のそれぞれに対応する画像全体の予測画像を生成する予測画像生成手段と，入力画像と予測画像の差分（予測誤差）を求める差分画像生成手段と，該差分画像生成手段で求められた予測誤差があるしきい値以下となる画素の数を求める画素カウント手段とを有し，最も多くの画素がしきい値以下となる動きパラメータを，画像全体の動きパラメータとする。
【００１２】
これらの処理手段は，ハードウェアあるいは計算機上で稼動するプログラムで実現される。これらの各処理手段をコンピュータによって実現する場合，そのプログラムは，計算機が読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができる。
【００１３】
本発明の作用は，以下のとおりである。
本発明は，複数のグローバル動きパラメータの候補のそれぞれに対応する画像全体の予測画像を生成し，入力画像と各予測画像との差分である予測誤差が最も小さくなる動きパラメータを画素ごとに記憶し，同じ動きパラメータが選ばれた画素が連なる領域を連結し，さらに孤立した動きパラメータをもつ画素を周囲の領域に統合することにより，複数の領域に分割する。また，これらの分割された領域のうち画素数が最大となる領域に対応した動きパラメータを，最終的なグローバル動きパラメータとして選択する。
【００１４】
また，本発明は，入力画像と予測画像の差分である予測誤差があるしきい値以下となる画素の数を求める。予測誤差が小さい領域すなわちグローバル動きパラメータの候補による予測が適合している領域の画素数をカウントし，それらの面積のうち最も広い面積を与える候補を最終的なグローバル動きパラメータとして選択する。
【００１５】
【発明の実施の形態】
以下，本発明の実施の形態を説明する。
〔第１の実施の形態〕
図１は，本発明の第１の実施の形態である動画像の領域分割装置のブロック図，図２は，図１に示す動画像の領域分割装置の処理フローチャートである。
【００１６】
図中，１０はＣＰＵおよびメモリ等からなる動画像の領域分割装置，１１は原画像を記憶する原画像蓄積部，１２は各グローバル動きパラメータ候補をもとに予測画像を生成する予測画像生成部，１３は原画像と予測画像とから差分画像を生成する差分画像生成部，１４は各画素についての予測誤差が最小となる動きパラメータをラベルとして画素ごとに記憶するラベリング部，１５は同じラベルが連なる領域を連結し，孤立した動きパラメータをもつ画素を周囲の領域に統合する領域連結統合部を表す。
【００１７】
図１に示す装置の動作は，以下のとおりである。入力画像である原画像は，原画像蓄積部１１と差分画像生成部１３へ入力され，また原画像蓄積部１１を介して予測画像生成部１２へ入力される。予測画像生成部１２は，Ｎ組のグローバル動きパラメータＧｎを入力し，原画像と各グローバル動きパラメータＧｎとから，Ｎ組の予測画像Ｐｎを生成する（図２のステップＳ１０）。差分画像生成部１３は，予測画像生成部１２が生成したＮ組の予測画像Ｐｎを入力し，Ｎ組の差分画像Ｄｎを算出する（ステップＳ１１）。
【００１８】
次に，ラベリング部１４は，Ｎ組の差分画像Ｄｎをもとに，該差分（予測誤差）が最も小さくなる動きパラメータをラベルとして画素ごとに記憶した初期領域分割画像を出力する（ステップＳ１２）。領域連結統合部１５は，この初期領域分割画像についてラベルが連なる領域を連結し，孤立した動きパラメータをもつ画素を周囲に統合する処理を実行する。これにより領域分割画像を算出する（ステップＳ１３）。なお，ここでの領域連結処理では，例えばモルフォロジカルフィルタ（ｍｏｒｐｈｏｌｏｇｉｃａｌ  ｆｉｌｔｅｒ）を利用することができる（参考文献：「モルフォロジー」小畑秀文，コロナ社等）。
【００１９】
〔第２の実施の形態〕
図３は，本発明の第２の実施の形態であるグローバル動きパラメータ選択装置のブロック図，図４は，図３に示すグローバル動きパラメータ選択装置の処理フローチャートである。
【００２０】
図中，２０はＣＰＵおよびメモリ等からなるグローバル動きパラメータ選択装置，２１は原画像を記憶する原画像蓄積部，２２は各グローバル動きパラメータ候補をもとに予測画像を生成する予測画像生成部，２３は原画像と予測画像とから差分画像を生成する差分画像生成部，２４は各画素についての予測誤差が最小となる動きパラメータをラベルとして画素ごとに記憶するラベリング部，２５は同じラベルが連なる領域を連結し，孤立した動きパラメータをもつ画素を周囲の領域に統合する領域連結統合部，２６は統合した領域に基づいて画像全体の動きを表すパラメータを選択するグローバル動きパラメータ選択部を表す。
【００２１】
図３に示す装置の動作は，以下のとおりである。入力画像である原画像は，原画像蓄積部２１と差分画像生成部２３へ入力され，また原画像蓄積部２１を介して予測画像生成部２２へ入力される。予測画像生成部２２は，Ｎ組のグローバル動きパラメータＧｎを入力し，原画像と各グローバル動きパラメータＧｎとから，Ｎ組の予測画像Ｐｎを生成する（図４のステップＳ２０）。差分画像生成部２３は，予測画像生成部２２が生成したＮ組の予測画像Ｐｎを入力し，Ｎ組の差分画像Ｄｎを算出する（ステップＳ２１）。
【００２２】
次に，ラベリング部２４は，Ｎ組の差分画像Ｄｎをもとに，該差分（予測誤差）が最も小さくなる動きパラメータをラベルとして画素ごとに記憶した初期領域分割画像を出力する（ステップＳ２２）。領域連結統合部２５は，この初期領域分割画像についてラベルが連なる領域を連結し，孤立した動きパラメータをもつ画素を周囲に統合する処理を実行する。これにより領域分割画像を算出する（ステップＳ２３）。グローバル動きパラメータ選択部２６は，算出された領域分割画像にもとづき，画素数が最大となる領域に対応した動きパラメータを，最適なグローバル動きパラメータとして選択する（ステップＳ２４）。なお，ステップＳ２３の処理において，孤立した動きパラメータをもつ画素を周囲に統合する処理は省略してもよい。
【００２３】
〔第３の実施の形態〕
図５は，本発明の第３の実施の形態であるグローバル動きパラメータ選択装置のブロック図，図６は，図５に示すグローバル動きパラメータ選択装置の処理フローチャートである。
【００２４】
図中，３０はＣＰＵおよびメモリ等からなるグローバル動きパラメータ選択装置，３１は原画像を記憶する原画像蓄積部，３２は各グローバル動きパラメータ候補をもとに予測画像を生成する予測画像生成部，３３は原画像と予測画像とから差分画像を生成する差分画像生成部，３４はあるしきい値ＴＨよりも差分値が小さい画素の個数をカウントする画素カウント部，３５はカウント値が一番小さいグローバル動きパラメータを選択するグローバル動きパラメータ選択部を表す。
【００２５】
図５に示す装置の動作は，以下のとおりである。まず，ｉ＝１，ｍａｘ＝０に初期設定する（図６のステップＳ３０）。次に，各グローバル動きパラメータＧｉ（ｉ＝１，２，…，Ｎ）について，以下のステップＳ３１〜Ｓ３７を実行する。入力画像である原画像は，原画像蓄積部３１と差分画像生成部３３へ入力され，また原画像蓄積部３１を介して予測画像生成部３２へ入力される。
【００２６】
予測画像生成部３２は，原画像とｉ番目のグローバル動きパラメータＧｉとから，予測画像Ｐｉを生成する（ステップＳ３２）。差分画像生成部３３は，原画像と予測画像生成部３２が生成した予測画像Ｐｉとの差分を計算し，差分画像Ｄｉを算出する（ステップＳ３３）。
【００２７】
次に，画素カウント部３４は，差分画像生成部３３が算出した差分画像Ｄｉをもとに，あらかじめ定められたあるしきい値ＴＨよりも差分値が小さい画素の個数をカウントする（ステップＳ３４）。カウント値ｖａｌと，これまでのカウント値の最大値ｍａｘとの大小を比較し（ステップＳ３５），ｖａｌがｍａｘより大きければ，ｍａｘに新しいカウント値ｖａｌをセットし，Ｇｔｍｐ  に現在のグローバル動きパラメータＧｉをセットする（ステップＳ３６）。
【００２８】
その後，ｉに１を加算し（ステップＳ３７），ｉがＮより大きくなるまで（ステップＳ３１），次のグローバル動きパラメータＧｉについて同様に処理を繰り返す。グローバル動きパラメータ選択部３５は，すべてのグローバル動きパラメータＧｉ（ｉ＝１，２，…，Ｎ）についての処理が終了したならば，Ｇｔｍｐ  を最終的なグローバル動きパラメータとして選択し出力する（ステップＳ３８）。
【００２９】
【発明の効果】
本発明により，画像の一部において予測誤差が大きくなるような場合であっても，多くの画素の予測がうまく行えるようなグローバルな動きパラメータを正しく検出することができる。また，グローバル動きパラメータに基づいて領域分割を効果的に行うことができ，例えば前景と背景を分離した効率的な符号化などを実現することが可能になる。本発明は，例えばパノラマ画像生成やパノラマを利用した画像符号化などにも応用することが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】第１の実施の形態の処理フローチャートである。
【図３】本発明の第２の実施の形態のブロック図である。
【図４】第２の実施の形態の処理フローチャートである。
【図５】本発明の第３の実施の形態のブロック図である。
【図６】第３の実施の形態の処理フローチャートである。
【符号の説明】
１０  動画像の領域分割装置
１１  原画像蓄積部
１２  予測画像生成部
１３  差分画像生成部
１４  ラベリング部
１５  領域連結統合部
２０  グローバル動きパラメータ選択装置
２１  原画像蓄積部
２２  予測画像生成部
２３  差分画像生成部
２４  ラベリング部
２５  領域連結統合部
２６  グローバル動きパラメータ選択部
３０  グローバル動きパラメータ選択装置
３１  原画像蓄積部
３２  予測画像生成部
３３  差分画像生成部
３４  画素カウント部
３６  グローバル動きパラメータ選択部
【図１】
0003544473.tif 000002
【図２】
0003544473.tif 000003
【図３】
0003544473.tif 000004
【図４】
0003544473.tif 000005
【図５】
0003544473.tif 000006
【図６】
0003544473.tif 000007