(57)【要約】【課題】少ない演算量でもカメラ移動量を算出することができる動画像処理装置、動画像情報処理プログラム、及び動画像処理方法を提供すること。【解決手段】移動する撮像装置によって撮像された動画像から撮像装置の移動量を算出する動画像処理装置１であって、動画像の画面表示を複数の矩形領域に分割してそれぞれ直交変換する分割処理部７と、矩形領域に隣接する複数の矩形領域の交流成分を加算しながら順次相関ブロックを生成するブロック算出部８と、相関ブロックのうち、前景画像に相当する相関ブロックと、背景画像に相当する相関ブロックのうち、空間周波数の上位側及び下位側となる相関ブロックと、をそれぞれ排除するブロック選定部１０と、残った相関ブロックにて連続する画像間の相関量を算出する相関演算部１１と、最も相関量の高いものから移動量を算出する移動量算出部１２と、を備えている。【選択図】図２
2011258083.tif 000002
【特許請求の範囲】
【請求項１】
移動する撮像装置によって撮像された動画像から前記撮像装置の移動量を算出する動画像処理装置であって、
前記動画像の画面表示を複数の矩形領域に分割してそれぞれ直交変換する分割処理部と、
前記矩形領域に隣接する複数の前記矩形領域の交流成分を加算しながら順次相関ブロックを生成するブロック算出部と、
前記相関ブロックのうち、前景画像に相当する前記相関ブロックと、背景画像に相当する前記相関ブロックのうち、空間周波数の上位側及び下位側となる前記相関ブロックと、をそれぞれ排除するブロック選定部と、
残った前記相関ブロックにて連続する画像間の相関を求める相関演算部と、
最も相関の高い値のものから前記移動量を算出する移動量算出部と、
を備えていることを特徴とする動画像処理装置。
【請求項２】
前記ブロック選定部によって排除される前記相関ブロックの数が、前記空間周波数の上位側及び下位側のそれぞれ所定の閾値以内であることを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
コンピュータを、請求項１又は２に記載の動画像処理装置として機能させることを特徴とする動画像情報処理プログラム。
【請求項４】
移動する撮像装置によって撮像された動画像から前記撮像装置の移動量を算出する動画像処理方法であって、
動画像の画面表示を複数の矩形領域に分割してそれぞれ直交変換する分割処理工程と、
前記矩形領域に隣接する複数の前記矩形領域の交流成分を加算しながら順次相関ブロックを生成するブロック算出工程と、
前記相関ブロックのうち、前景画像に相当する前記相関ブロックと、背景画像に相当する前記相関ブロックのうち、空間周波数の上位側及び下位側となる前記相関ブロックと、をそれぞれ排除するブロック選定工程と、
残った前記相関ブロックにて連続する画像間の相関量を算出する相関演算工程と、
最も相関量の高いものから前記移動量を算出する移動量算出工程と、
を備えていることを特徴とする動画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像情報処理プログラム、及び動画像処理方法に関する。
【背景技術】
【０００２】
動画像から背景画像と前景画像とを分離する方式として、背景画像に特定の色を使ったり背景画像の色を変化させたりして前景画像を分離するクロマキーシステムが知られている。また、動的な変動が背景画像にも含まれる場合の前景画像を検出する方法として、混合ガウス背景モデルを用いる方法が知られている。
【０００３】
ここで、例えば、注目する人に追随してカメラを移動するように、撮影するカメラも移動する場合には、さらにカメラ移動量を対応させる必要がある。そのため、動的背景に強い特徴点として角（コーナー）を持つ画像点を見つけてその移動量を算出し、その移動量が必ずしも画素単位とはならないことを考慮して入力画像をフィルタにかけ、サブ画素の移動に対応させる方法が知られている（例えば、非特許文献１参照。）。この際、連続する２フレーム間におけるカメラの移動量を算出するために、フレーム全体に対して両者の相関を求めることとなる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｙｏｓｉ Ｋｅｌｌｅｒ, ｅｔ. Ａｌ, “Ｐｓｅｕｄｏｐｏｌａｒｂａｓｅｄ ｅｓｔｉｍａｔｉｏｎ ｏｆｌａｒｇｅ ｔｒａｎｓｌａｔｉｏｎｓ, ｒｏｔａｔｉｏｎｓ, ａｎｄｓｃａｌｉｎｇｓ ｉｎ ｉｍａｇｅｓ”, ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ, ２００５, ｖｏｌ．１４, ｐｐ．１２−２２, ２００５.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の方式では、演算量が膨大なものとなってしまう。
本発明は上記事情に鑑みて成されたものであり、少ない演算量でもカメラ移動量を算出することができる動画像処理装置、動画像情報処理プログラム、及び動画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る動画像処理装置は、移動する撮像装置によって撮像された動画像から前記撮像装置の移動量を算出する動画像処理装置であって、前記動画像の画面表示を複数の矩形領域に分割してそれぞれ直交変換する分割処理部と、前記矩形領域に隣接する複数の前記矩形領域の交流成分を加算しながら順次相関ブロックを生成するブロック算出部と、前記相関ブロックのうち、前景画像に相当する前記相関ブロックと、背景画像に相当する前記相関ブロックのうち、空間周波数の上位側及び下位側となる前記相関ブロックと、をそれぞれ排除するブロック選定部と、残った前記相関ブロックにて連続する画像間の相関を求める相関演算部と、最も相関の高い値のものから前記移動量を算出する移動量算出部と、を備えていることを特徴とする。
【０００７】
また、本発明に係る動画像処理装置は、前記動画像処理装置であって、前記ブロック選定部によって排除される前記相関ブロックの数が、前記空間周波数の上位側及び下位側のそれぞれ所定の閾値以内であることを特徴とする。
【０００８】
また、本発明に係る動画像情報処理プログラムは、コンピュータを、本発明に係る動画像処理装置として機能させることを特徴とする。
【０００９】
また、本発明に係る動画像処理方法は、移動する撮像装置によって撮像された動画像から前記撮像装置の移動量を算出する動画像処理方法であって、動画像の画面表示を複数の矩形領域に分割してそれぞれ直交変換する分割処理工程と、前記矩形領域に隣接する複数の前記矩形領域の交流成分を加算しながら順次相関ブロックを生成するブロック算出工程と、前記相関ブロックのうち、前景画像に相当する前記相関ブロックと、背景画像に相当する前記相関ブロックのうち、空間周波数の上位側及び下位側となる前記相関ブロックと、をそれぞれ排除するブロック選定工程と、残った前記相関ブロックにて連続する画像間の相関量を算出する相関演算工程と、最も相関量の高いものから前記移動量を算出する移動量算出工程と、を備えていることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、少ない演算量でもカメラ移動量を算出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る動画像処理装置を示す概要図である。
【図２】本発明の一実施形態に係る動画像処理プログラムを示す機能ブロック図である。
【図３】本発明の一実施形態に係る動画像処理装置による画像処理の流れを示す説明図である。
【図４】本発明の一実施形態に係る動画像処理方法を示すフロー図である。
【図５】本発明の一実施形態に係る動画像処理装置による相関ブロック作成過程を示す説明図である。
【発明を実施するための形態】
【００１２】
本発明に係る一実施形態について、図１から図５を参照して説明する。
本実施形態に係る動画像処理装置１は、図１に示すように、撮像された動画像の画像信号を保存する記録部２と、画像信号の演算処理や制御処理等を行う中央処理部３と、位相限定相関法（ＰＯＣ）に基づき、移動する撮像装置によって撮像された動画像から撮像装置の移動量を算出する画像処理に必要なプログラムを格納するプログラムメモリ部４と、を備えている。これらは、バス５を介して相互に通信可能に接続される。そして、画像信号を処理した結果などを表示するための表示部６と接続されている。
【００１３】
動画像処理装置１は、動画像情報処理プログラムの機能手段（プログラムモジュール）として、図２に示すように、分割処理部７と、ブロック算出部８と、ブロック選定部１０と、相関演算部１１と、移動量算出部１２と、を備えている。これらの機能は、中央処理部３やプログラムメモリ部４により実現される制御部１３によって制御される。
【００１４】
分割処理部７は、移動する不図示の撮像装置によって撮像された動画像の画面表示を複数の矩形領域に分割し、矩形領域毎にそれぞれ直交変換して交流成分を抽出する。そのため、分割処理部７は、公知の方式により、画像信号を空間座標から周波数座標にウォルシュ変換して得られたスペクトルの直流成分を特徴量とし、この時系列変化をガウス分布で近似してそれらの平均及び分散状況から前景／背景判定する図示しない各種演算部をさらに備えている。算出する交流成分ｆＡＣを式（１）に示す。
【００１５】
【数１】
2011258083.tif 000003
【００１６】
ブロック算出部８は、隣接する矩形領域のα×β個の交流成分を式（２）に基づき加算しながら順次相関ブロックを生成する図示しない各種演算部をさらに備えている。この際、矩形領域を１ブロックずつずらしながら重ね合わせていく。
【００１７】
【数２】
2011258083.tif 000004
【００１８】
ブロック選定部１０は、相関ブロックのうち、前景画像に相当する相関ブロックと、背景画像に相当する相関ブロックのうち、空間周波数の上位側及び下位側それぞれの所定の範囲内にある相関ブロックと、をそれぞれ排除する図示しない各種演算部をさらに備えている。この際、空間周波数の上位側及び下位側のそれぞれ所定の閾値以内の相関ブロックを排除するのが好ましく、さらに、閾値は、それぞれ２０％程度が好ましい。
【００１９】
相関演算部１１は、残った相関ブロックにて連続する画像間の相関を求めるための図示しない各種演算部をさらに備えている。移動量算出部１２は、ピーク座標からフレーム間の撮像装置の移動量を算出する図示しない各種演算部をさらに備えている。
【００２０】
次に、本実施形態に係る動画像処理方法について、例えば、図３（ａ）に示すような背景ＢＧに対して移動する動物体Ｏ１，Ｏ２が、移動する不図示の撮像装置から解像度２０４８×１０２４画素のＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ＴｅｌｅＶｉｓｉｏｎ）画像Ｆとして撮像されたものに対する動画像処理装置１の作用とともに説明する。
【００２１】
動画像処理方法は、図４に示すように、分割処理工程(Ｓ０１)と、ブロック算出工程(Ｓ０２)と、ブロック選定工程(Ｓ０３)と、相関演算工程(Ｓ０４)と、移動量算出工程(Ｓ０５)と、を備えている。各工程について、図５も用いてさらに説明する。
【００２２】
分割処理工程(Ｓ０１)は、分割処理部７にて、図５に示すように、動画像ＦのＲＧＢ成分のそれぞれに対し、ウォルシュ変換して特徴量の直流成分ｆＤＣ及び交流成分ｆＡＣを算出する。ここでは、前景分離に用いるＮ×Ｎ（Ｎは整数）の最大可変ブロックを矩形領域Ｓとする。
【００２３】
ブロック算出工程(Ｓ０２)は、ブロック算出部８にて、図５に示すように、矩形領域Ｓを含むとともにこれを中心とした拡大領域（矩形領域Ｓを含むα×β個の矩形領域の集合）ＳＳの各交流成分を式（２）に基づき加算したものを、一つの相関ブロックＳＢとする。そして、垂直に一列ずつ又は水平に一列ずつずらしながらα×β個の相関ブロックを順次生成する。本実施形態に係る解像度の場合、相関ブロックの数としては、１６×１６個程度が好ましく、例えば、１２８×１２８画素、すなわち、ウォルシュ変換の最大可変ブロックは４×４個程度が好ましい。
【００２４】
ブロック選定工程(Ｓ０３)は、ブロック選定部１０にて、α×β個の相関ブロックのうち、図３（ｂ）に示すように、前景画像に相当する相関ブロックＦＢを排除する。そして、背景画像ＢＧに相当する相関ブロックのうち、図３（ｃ）に示すように、湖面等、一様な画面のような変化量が小さく空間周波数の低い相関ブロックＬＢと、図３（ｄ）に示すように、木の葉や木の枝等、変化量が大きく空間周波数の高い相関ブロックＨＢと、をそれぞれ排除する。この際、空間周波数の所定の閾値内、ここでは、上位２０％程度、及び下位２０％程度のものをそれぞれ排除するのが好ましい。
【００２５】
相関演算工程(Ｓ０４)は、相関演算部１１にて、残った背景画像の相関ブロックＧＢのうち、数個の相関ブロックを代表ブロックとして取り出し、連続する画像間の相関を求める。取り出す際には、空間周波数の大きい順でも、中間的なものからでも構わない。
【００２６】
移動量算出工程(Ｓ０５)は、移動量算出部１２にて、ピーク座標からフレーム間の撮像装置の移動量を算出する。すなわち、２つの画像ｆ（ｎ１，ｎ２）、ｇ（ｎ１，ｎ２）の２次元離散フーリエ変換に基づく、公知の位相限定相関法によるＰｈａｓｅ−Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ：ＰＯＣ）関数（式（３））のピーク座標の最も高いものから移動量を算出する。
【００２７】
【数３】
2011258083.tif 000005
【００２８】
この動画像処理装置１、動画像情報処理プログラム、及び動画像処理方法によれば、位相限定相関法を適用する際、動的背景に強い変換領域における前景分離方式と組み合わせることによって、前景の判定をブロックごとに行うことができ、相関演算や動き検出に使用される領域を小さくして演算量を削減することができる。また、ブロック全体の状況を周波数成分に置き換えて判断するため、画素以下の移動量があっても無視することができる。そして、撮像装置の移動量を背景の移動量として演算するので、背景ＢＧに対して相対的に動いている撮像装置を移動する動物体Ｏ１，Ｏ２に追随して移動する場合でも、撮像装置の移動による背景ＢＧの移動は前景として処理されることなく、動物体Ｏ１，Ｏ２を前景として確実に取り出すことができる。
【００２９】
この際、ブロック選定部１０が、背景画像に相当する相関ブロックのうち、空間周波数の上位側及び下位側のそれぞれ所定の閾値内にある相関ブロックＨＢ，ＬＢを排除するので、動的背景部分を好適に排除するとともに、相関をとるのに好適な範囲とすることができる。
【００３０】
なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、ＲＧＢ成分を用いているが、より演算量が少なくてすむ輝度成分で演算を行ってもよい。
【符号の説明】
【００３１】
１  動画像処理装置
７  分割処理部
８  ブロック算出部
１０  ブロック選定部
１１  相関演算部
１２  移動量算出部
【図１】
2011258083.tif 000006
【図２】
2011258083.tif 000007
【図３】
2011258083.tif 000008
【図４】
2011258083.tif 000009
【図５】
2011258083.tif 000010