(57)【要約】【課題】従来よりも演算量を削減するとともに画像分離精度も高めることができる動画像処理装置及び動画像情報処理プログラムを提供することを提供すること。【解決手段】動画像の画像信号を画面表示状態で複数の矩形領域に分割し、直交変換により矩形領域毎の特徴量を算出する画像信号変換部７と、特徴量の直流成分を矩形領域の代表信号として新たな画像信号を生成する縮小画像生成部８と、新たな画像信号の重み付け加算を行う画像強調処理部１０と、重み付け加算前後における直流成分の強度比を算出して、矩形領域における画素信号、スペクトル、又は該スペクトルの特徴量に乗算する増幅処理部１１と、を備えている。【選択図】図２
2011258082.tif 000002
【特許請求の範囲】
【請求項１】
動画像の画像信号をＮ×Ｎ（Ｎは整数）画素数単位で複数の矩形領域に分割し、直交変換により前記矩形領域毎の特徴量を算出する画像信号変換部と、
前記特徴量の直流成分を前記矩形領域の代表信号として新たな画像信号を生成する縮小画像生成部と、
前記新たな画像信号の重み付け加算を行う画像強調処理部と、
前記重み付け加算前後における前記直流成分の強度比を算出して、前記矩形領域における画素信号、スペクトル、又は該スペクトルの特徴量に乗算する増幅処理部と、
を備えていることを特徴とする動画像処理装置。
【請求項２】
前記直交変換が、ウォルシュ変換であることを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
増幅された画像信号から仮前景画像と仮背景画像とを分離する前景分離部と、
前記直流成分及び前記特徴量の交流成分を用いて影領域を特定する影領域判定部と、
前記仮前景画像から前記影領域を取り除いた画像を生成する影領域除去部と、
前記仮前景画像を用いて前記影領域を取り除いた画像を補完する補正部と、
を備えていることを特徴とする請求項１又は２に記載の動画像処理装置。
【請求項４】
コンピュータを、請求項１から３の何れか一つに記載の動画像処理装置として機能させることを特徴とする動画像情報処理プログラム。
【請求項５】
動画像の画像信号を画面表示状態で複数の矩形領域に分割し、直交変換により前記矩形領域毎の特徴量を算出する画像信号変換工程と、
前記特徴量の直流成分を前記矩形領域の代表信号として新たな画像信号を生成する縮小画像生成工程と、
前記新たな画像信号の重み付け加算を行う画像強調処理工程と、
前記重み付け加算前後における前記直流成分の強度比を算出して、前記矩形領域における画素信号、スペクトル、又は該スペクトルの特徴量に乗算する増幅処理工程と、
を備えていることを特徴とする動画像処理方法。
【請求項６】
増幅された画像信号から仮前景画像と仮背景画像とを分離する前景分離工程と、
前記直流成分及び前記特徴量の交流成分を用いて影領域を特定する影領域判定工程と、
前記仮前景画像から前記影領域を取り除いた画像を生成する影領域除去工程と、
前記仮前景画像を用いて前記影領域を取り除いた画像を補完する補正工程と、
を備えていることを特徴とする請求項５に記載の動画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像情報処理プログラム、及び動画像処理方法に関する。
【背景技術】
【０００２】
人等の動物体の動画像から動物体を前景として分離する際、背景に映る影も一緒に前景としてしまう場合が多い。動的背景と呼ばれるこの様な状況下でも前景を取り出す際に、前景として検出される影領域を除去する必要がある（例えば、特許文献１参照。）。しかし、影領域を単純に除去した場合には、動物体自身に投影された影領域も除去することになってしまい、動物体の認識率が低下する。
【０００３】
一方、暗い背景に黒い服を着た人が歩いているような場合、前景画像と背景画像との境界が不鮮明となって前景画像としての人の検出能力が劣化する。このような劣化状態を改善する画像処理方式として、前景分離前に画像強調処理を行う方式がある。この処理方式には、さらにヒストグラムシフトという簡易方式とＲｅｔｉｎｅｘ（レチネックス)方式という演算の重い方式とがある。
【０００４】
レチネックス方式は、人間の視覚処理方式を応用したものであるが、次数の高い複数の２次元ガウスフィルタ処理による重み付け加算処理を画素単位で行うため、演算量が膨大になってしまう。そこで、演算量を減らす画像強調処理として、種々の処理方法が提案されている（例えば、特許文献２、非特許文献１参照。）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２７１９７１号公報
【特許文献２】特表２０００−５１１３１５号公報
【非特許文献】
【０００６】
【非特許文献１】Ｔａｋｅｓｈｉ  Ｏｋｕｎｏ  ａｎｄ  Ｔａｋａｏ  Ｎｉｓｈｉｔａｎｉ，“Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉ−Ｓｃａｌｅ ＲｅｔｉｎｅｘＡｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ Ｍｕｌｔｉ−Ｒａｔｅ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”，ＩＣＩＰ  ２００９，ｐｐ．３１４５−３１４８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の画像強調処理は、前傾分離アルゴリズム並みに演算量が多くなってしまう。また、境界部分が明確になるために前述した影が明確に現れてしまう。本発明は上記事情に鑑みて成されたものであり、従来よりも演算量を削減するとともに画像分離精度も高めることができる動画像処理装置、動画像情報処理プログラム、及び動画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る動画像処理装置は、動画像の画像信号をＮ×Ｎ（Ｎは整数）画素数単位で複数の矩形領域に分割し、直交変換により前記矩形領域毎の特徴量を算出する画像信号変換部と、前記特徴量の直流成分を前記矩形領域の代表信号として新たな画像信号を生成する縮小画像生成部と、前記新たな画像信号の重み付け加算を行う画像強調処理部と、前記重み付け加算前後における前記直流成分の強度比を算出して、前記矩形領域における画素信号、スペクトル、又は該スペクトルの特徴量に乗算する増幅処理部と、を備えていることを特徴とする。
【０００９】
また、本発明に係る動画像処理装置は、前記動画像処理装置であって、前記直交変換が、ウォルシュ変換であることを特徴とする。
【００１０】
また、本発明に係る動画像処理装置は、前記動画像処理装置であって、増幅された画像信号から仮前景画像と仮背景画像とを分離する前景分離部と、前記直流成分及び前記特徴量の交流成分を用いて影領域を特定する影領域判定部と、前記仮前景画像から前記影領域を取り除いた画像を生成する影領域除去部と、前記仮前景画像を用いて前記影領域を取り除いた画像を補完する補正部と、を備えていることを特徴とする。
【００１１】
また、本発明に係る動画像情報処理プログラムは、コンピュータを、本発明に係る動画像処理装置として機能させることを特徴とする。
【００１２】
また、本発明に係る動画像処理方法は、動画像の画像信号を画面表示状態で複数の矩形領域に分割し、直交変換により前記矩形領域毎の特徴量を算出する画像信号変換工程と、前記特徴量の直流成分を前記矩形領域の代表信号として新たな画像信号を生成する縮小画像生成工程と、前記新たな画像信号の重み付け加算を行う画像強調処理工程と、前記重み付け加算前後における前記直流成分の強度比を算出して、前記矩形領域における画素信号、スペクトル、又は該スペクトルの特徴量に乗算する増幅処理工程と、を備えていることを特徴とする。
【００１３】
また、本発明に係る動画像処理方法は、前記動画像処理方法であって、増幅された画像信号から仮前景画像と仮背景画像とを分離する前景分離工程と、前記直流成分及び前記特徴量の交流成分を用いて影領域を特定する影領域判定工程と、前記仮前景画像から前記影領域を取り除いた画像を生成する影領域除去工程と、前記仮前景画像を用いて前記影領域を取り除いた画像を補完する補正工程と、を備えていることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、従来よりも演算量を削減するとともに画像分離精度も高めることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る動画像処理装置を示す概要図である。
【図２】本発明の一実施形態に係る動画像情報処理プログラムを示す機能ブロック図である。
【図３】本発明の一実施形態に係る動画像処理装置による処理対象画像を示す図である。
【図４】本発明の一実施形態に係る動画像処理方法を示すフロー図である。
【図５】本発明の一実施形態に係る動画像処理装置による画像強調処理の過程を示す説明図である。
【図６】本発明の一実施形態に係る動画像処理装置による影除去処理の過程を示す説明図である。
【発明を実施するための形態】
【００１６】
本発明に係る一実施形態について、図１から図６を参照して説明する。
本実施形態に係る動画像処理装置１は、図１に示すように、撮像された動画像の画像信号を保存する記録部２と、画像信号の演算処理や制御処理等を行う中央処理部３と、画像処理に必要なプログラムを格納するプログラムメモリ部４と、を備えている。これらは、バス５を介して相互に通信可能に接続される。そして、画像信号を処理した結果などを表示するための表示部６と接続されている。
【００１７】
動画像処理装置１は、動画像情報処理プログラムの機能手段（プログラムモジュール）として、図２に示すように、画像信号変換部７と、縮小画像生成部８と、画像強調処理部１０と、増幅処理部１１と、前景分離部１２と、影領域判定部１３と、影領域除去部１５と、補正部１６と、を備えている。これらの機能は、中央処理部３やプログラムメモリ部４により実現される制御部１７によって制御される。
【００１８】
画像信号変換部７は、画像信号を画面表示状態で複数の矩形領域に分割し、矩形領域毎にそれぞれ直交変換するとともに、矩形領域毎のスペクトル特徴量を算出する図示しない各種演算部をさらに備えている。ここでの直交変換は、画像信号を空間座標から周波数座標に変換するもので、ＲＧＢ成分のそれぞれに対してウォルシュ変換して、公知の方法によってスペクトル特徴量の直流成分及び交流成分を算出する。
【００１９】
縮小画像生成部８は、算出された特徴量の直流成分を矩形領域の代表信号とした新たな画像信号からなる縮小画像を生成する図示しない各種演算部をさらに備えている。
【００２０】
画像強調処理部１０は、非特許文献１に記載の方式にて新たな画像信号の重み付け加算を行う。ただし、画素の代わりに縮小画像を用いてフィルタリングによる平滑化画像を生成し、平滑化画像の直流成分で縮小画像の直流成分を割ることで局所的な直流成分の正規化を行う図示しない各種演算部をさらに備えている。
【００２１】
増幅処理部１１は、非特許文献１に記載の強調処理を行う。すなわち、重み付け加算前後における直流成分の強度比を算出し、その直流成分が属する矩形領域内における画素信号にそれぞれ乗算して強調画像を算出する図示しない各種演算部をさらに備えている。なお、乗算するのは、画素信号に限らず、スペクトル、又はスペクトルの特徴量でも構わない。
【００２２】
前景分離部１２は、増幅処理された強調画像の画像信号に対して前景画像と背景画像とを分離する。前景分離部１２は、公知の方式により、画像信号を空間座標から周波数座標にウォルシュ変換したときの強調画像の直流成分を特徴量として、この時系列変化をガウス分布で近似してそれらの平均及び分散状況から前景／背景判定する図示しない各種演算部をさらに備えている。
【００２３】
影領域判定部１３は、ウォルシュ変換されたスペクトル特徴量の水平交流成分と垂直交流成分とを用いて影領域を特定する図示しない各種演算部をさらに備えている。すなわち、影領域では、直流成分も交流成分も同じ比率で入力値が低下していることから、直流成分で前景画像であると判定した領域であっても、交流成分の値が低下して背景画像とした領域を影領域と定義する。そして、影領域除去部１５は、算出した影領域を前景画像から差し引く。
【００２４】
補正部１６は、算出した影領域を前景画像から差し引く際、動物体自身に投影された影領域も差し引かれてしまうのを補正する図示しない各種演算部をさらに備えている。すなわち、穴あき状態となった前景画像に対して穴埋め処理を行う。
【００２５】
次に、本実施形態に係る動画像処理方法について、例えば、図３に示すような背景ＢＧに対して移動する動物体Ｏが、不図示のカメラからＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ＴｅｌｅＶｉｓｉｏｎ）画像Ｆとして撮像されたものに対する動画像処理装置１の作用とともに説明する。
【００２６】
動画像処理方法は、図４に示すように、画像信号変換工程(Ｓ０１)と、縮小画像生成工程(Ｓ０２)と、画像強調処理工程(Ｓ０３)と、増幅処理工程(Ｓ０４)と、前景分離工程(Ｓ０５)と、影領域判定工程(Ｓ０６)と、影領域除去工程(Ｓ０７)と、補正工程(Ｓ０８)と、を備えている。各工程についてさらに説明する。
【００２７】
画像信号変換工程(Ｓ０１)は、画像信号変換部７にて、図５に示すように、動画像Ｆ１のＲＧＢ成分のそれぞれに対し、ウォルシュ変換してスペクトル特徴量の直流成分ｆＤＣ及び交流成分ｆＡＣを算出する。ここでは、前景分離に用いるＮ×Ｎ（Ｎは整数）の最大可変ブロックを矩形領域Ｓとする。
【００２８】
縮小画像生成工程(Ｓ０２)は、縮小画像生成部８にて、画像信号の最大可変ブロックの直流成分ｆＤＣをそれぞれ集めた縮小画像Ｌ１を生成する。
【００２９】
画像強調処理工程(Ｓ０３)は、画像強調処理部１０にて、上記縮小画像Ｌ１に対して新たな画像信号の重み付け加算を行って、処理後画像Ｌ２を算出する。
【００３０】
増幅処理工程(Ｓ０４)は、増幅処理部１１にて、縮小画像Ｌ１と処理後画像Ｌ２との比を算出し、強調処理前の矩形領域Ｓの画素信号に乗算する。こうして、動物体Ｏを含む前景画像が強調された動画像Ｆ２を得る。なお、上述のように、乗算するのは画素信号に限らず、スペクトル、又はスペクトルの特徴量でも構わない。
【００３１】
前景分離工程（Ｓ０５）は、増幅処理された画像に対し、前景分離部１２にて、公知の方式により、ウォルシュ変換された直流成分ｆＤＣを新たな特徴量として、この時系列変化をガウス分布で近似する。そして、それらの平均及び分散状況から前景画像と背景画像とを判定して、図６（ａ）に示すような仮前景画像ＦＳ１と仮背景画像ＢＧ１とを分離する。
【００３２】
影領域判定工程（Ｓ０６）は、影領域判定部１３にて影領域ＳＬを特定する。ここでは、まず、ｆＡＣに対して、（１）式に示す補正を行う。
【００３３】
【数１】
2011258082.tif 000003
【００３４】
ここで、μは、特徴量ｆＡＣの水平交流成分と垂直交流成分との混合ガウス分布モデルにおける各ガウス分布の平均値を示す。ｆＤＣは、矩形領域Ｓにおける明るさを示すことから、これが低下するということは、その領域では背景画像として確立した明るさが減少したことになる。つまり、背景画像であっても、明るさが変化する前景画像とみなされてしまう。一方、影領域ＳＬでは、直交変換における変換係数のすべてが一様に減衰する。よって、明るさはｆＤＣとｆＡＣとは同じ比率で低下しているはずである。高次スペクトルは模様（テキスチャ）を表しているから、この成分の変化がなければ影とみなせる。
【００３５】
そこで式（１）の補正を行い、影によって低下したｆＡＣを背景画像としての値付近まで戻す処理を行う。つまり、補正されたｆＡＣの水平交流成分と垂直交流成分との影判定結果はＡＮＤ処理を行う。この結果、ｆＡＣを用いた判定では、影によって入力値が低下した領域を背景画像と判定する。
【００３６】
影領域除去工程(Ｓ０７)は、こうして算出された図６（ｂ）に示す影領域ＳＬを、影領域除去部１５にて仮前景画像ＦＳ１から引き去って、図６（ｃ）に示す仮前景画像ＦＳ２と仮背景画像ＢＧ２を算出する。
【００３７】
ただし、このままでは、地面へ投影された動物体Ｏの影だけでなく、動物体Ｏが自分自身に対して作り出した影も影領域ＳＬの一部として動物体Ｏから除去されてしまう。このため、補正工程（Ｓ０８）では、補正部１６にて、仮前景画像ＦＳ１及び仮背景画像ＢＧ２を用いて仮前景画像ＦＳ２を補完する。こうして、図６（ｄ）に示すような、前景画像ＦＳ及び背景画像ＢＧを得る。
【００３８】
この動画像処理装置１、動画像情報処理プログラム、及び動画像処理方法によれば、画像強調の際、縮小画像Ｌ１に対する処理を行うため、大幅に演算量を削減することができる。
【００３９】
また、前景画像から不必要な影領域を分離する際も、矩形領域Ｓにおけるウォルシュ変換の特徴量を用いることによって、演算量を大幅に削減することができる。
【００４０】
なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、画像強調にはＲＧＢ成分を用いているが、より演算量が少なくてすむ輝度成分で演算を行ってもよい。
【符号の説明】
【００４１】
１  動画像処理装置
７  画像信号変換部
８  縮小画像生成部
１０  画像強調処理部
１１  増幅処理部
１２  前景分離部
１３  影領域判定部
１５  影領域除去部
１６  補正部
【図１】
2011258082.tif 000004
【図２】
2011258082.tif 000005
【図３】
2011258082.tif 000006
【図４】
2011258082.tif 000007
【図５】
2011258082.tif 000008
【図６】
2011258082.tif 000009