(57)【要約】【課題】複数種類の画像特徴量に基づいて画像を対象物領域と背景領域とに領域分割する領域分割装置において、対象物の部位ごとに異なる精度低下要因が生じても対象物の領域の抽出精度を向上させる。【解決手段】エネルギー算出部４１２は、画素それぞれに対して当該画素が帰属する帰属領域と複数種類の画像特徴のうち当該画素を評価するための１種類の評価対象特徴とを仮決めした試行設定において、画素それぞれの評価対象特徴が試行設定にて仮決めされた帰属領域に帰属することの尤もらしさの程度を表す帰属度を画像内にて総和して積算評価値を算出する。領域決定部４１３は、複数通りの試行設定を生成し、エネルギー算出部４１２により算出される各試行設定における積算評価値を比較し、画像全体での尤もらしさを最大化する試行設定における帰属領域を領域分割結果と決定する。【選択図】図１
2014010717.tif 000002
【特許請求の範囲】
【請求項１】
所定の対象物を背景と共に撮像した画像において、それぞれが少なくとも１つの画素からなる素領域ごとに当該素領域を対象物領域と背景領域とのいずれかに帰属させることにより、前記画像を領域分割する領域分割装置であって、
前記素領域それぞれに対して当該素領域が帰属する帰属領域と複数種類の画像特徴のうち当該素領域を評価するための一部の種類の評価対象特徴とを仮決めした試行設定において、前記素領域それぞれの前記評価対象特徴が前記試行設定にて仮決めされた帰属領域に帰属することの尤もらしさの程度を表す帰属度を前記画像内にて総和して積算評価値を算出する評価値算出部と、
複数通りの前記試行設定を設定し、前記評価値算出部により算出される前記各試行設定における前記積算評価値を比較し、前記画像全体での前記尤もらしさを最大化する前記試行設定における帰属領域を領域分割結果と決定する領域分割決定部と、
を備えたことを特徴とする領域分割装置。
【請求項２】
前記領域分割決定部は、前記帰属領域を前記対象物領域とする前記素領域に対して前記評価対象特徴を第１の種類の前記画像特徴とし、且つ前記帰属領域を前記背景領域とする前記素領域に対して前記評価対象特徴を前記第１の種類とは異なる第２の種類の前記画像特徴とする前記試行設定を設定して前記積算評価値の前記比較を行うこと、を特徴とする領域分割装置。
【請求項３】
前記領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、
前記領域分割決定部は、前記複数種類の画像特徴を順次、前記第１の種類の画像特徴として設定し、当該画像特徴をラベルαとするα拡張法により前記エネルギーを最小化すること、
を特徴とする請求項２に記載の領域分割装置。
【請求項４】
前記領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、
前記領域分割決定部は、前記複数種類の画像特徴のうちの２つからなる組み合わせを順次、前記第１及び第２の種類の画像特徴の組として設定し、当該第１の種類の画像特徴をラベルαとし当該第２の種類の画像特徴をラベルβとするα−β交換法により前記エネルギーを最小化すること、
を特徴とする請求項２に記載の領域分割装置。
【請求項５】
前記複数種類の画像特徴は、前記素領域の色及び位置であることを特徴とする請求項１から請求項４のいずれか１つに記載の領域分割装置。
【請求項６】
さらに、前記複数種類の画像特徴それぞれの前記帰属度を前記積算評価値に寄与させる寄与度を複数通りに設定する寄与度設定部を有し、
前記評価値算出部は、前記寄与度ごとに、前記画像特徴についての前記各帰属度を前記寄与度で重み付けて前記画像内で総和して前記積算評価値を算出し、
前記領域分割決定部は、前記寄与度ごとに前記領域分割結果を求め、前記寄与度に依存しない一律の基準により前記各寄与度における前記領域分割結果の尤もらしさを評価して領域分割評価値を算出し、当該領域分割評価値が最も高い前記領域分割結果を前記複数の寄与度について統一した領域分割結果と決定すること、
を特徴とする請求項１から請求項５のいずれか１つに記載の領域分割装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物などの対象物を背景と共に撮像した画像を対象物領域と背景領域とに領域分割する領域分割装置に関する。
【背景技術】
【０００２】
防犯等の目的で、監視画像から抽出した人物領域の形状を基に人物の姿勢を推定して異常の発生を検知することが行われている。監視画像中の人物領域は比較的小さいため、背景画素の混入や人物画素の欠損といった人物領域の抽出誤差は後段の処理に影響しやすい。そのため、人物領域の抽出精度向上が望まれる。
【０００３】
人物領域などの対象物領域を高精度に抽出するための技術として、画像を対象物領域と背景領域とに分割することを画素間のリンクの切断でモデル化するグラフカット法が知られている。グラフカット法では、例えば、各画素をノードに見立てたグラフを作成して当該グラフを最小のエネルギーにて対象物領域のノード群と背景領域のノード群とに分割する切断を導出する。
【０００４】
非特許文献１の技術では、領域分割のエネルギーとして、各画素の輝度値の対象物または背景としての尤もらしさに基づく輝度値（以下、色特徴）のエネルギーを利用すると共に、各画素の位置の対象物または背景としての尤もらしさに基づく形状特徴のエネルギーを利用している。すなわち、画像上に対象物の形状モデルを配置して形状モデルから近い距離に位置する画素ほど対象物の画素として尤もらしく、形状モデルから遠い距離に位置する画素ほど背景としても尤もらしいとされる。これにより対象物と背景との色特徴が似ている部分で生じやすかった誤分割を形状特徴により補うことができ、領域分割の精度が向上する。
【０００５】
非特許文献１の技術では、すべての画素における色特徴のエネルギーと形状特徴のエネルギーとを加算して領域分割のエネルギーを算出していた。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】D. Freedman and T. Zhang. Interactive graph cut based segmentationwith shape priors. In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition (CVPR), volume 1, pages 755-762, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術では２種類の特徴量がすべての画素で用いられていたため、各特徴量が適さない部位で抽出精度が低下する問題があった。
【０００８】
例えば、白いシャツを着た人物が棚及び白い壁の前を歩いているとき、シャツ付近では色の特徴量が抽出に適さずに抽出精度が低下し、脚部では形状の特徴量が抽出に適さずに抽出精度が低下する。
【０００９】
すなわちシャツ付近では、シャツと壁との境界以外にシャツの領域内でも壁の領域内でも色特徴のエネルギーが小さくなり得るため、シャツの一部が欠けた人物領域が抽出されたり、壁の領域を含んだ人物領域が抽出されたりしやすくなる。
【００１０】
一方、脚部付近では足のエッジに対しても棚のエッジに対しても形状特徴のエネルギーが小さくなり得るため、足の一部が欠けた人物領域が抽出されたり、棚の領域を含んだ人物領域が抽出されたりしやすくなる。
【００１１】
このように人物と背景との間で色が似ている部分が発生したり、人物付近に背景のエッジが存在する状況で抽出精度の低下が生じるが、人物の色は様々であり、また人物の移動によって人物周囲の背景の色やエッジは変わるため、色特徴のエネルギー及び形状特徴のエネルギーの適切な寄与率の配置を予め設定することは困難である。
【００１２】
本発明は、上記問題を鑑みてなされたものであり、複数種類の画像特徴量に基づいて画像を対象物領域と背景領域とに領域分割する領域分割装置において、対象物の部位ごとに異なる精度低下要因が生じても対象物の領域を高精度に抽出できる領域抽出装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る領域分割装置は、所定の対象物を背景と共に撮像した画像において、それぞれが少なくとも１つの画素からなる素領域ごとに当該素領域を対象物領域と背景領域とのいずれかに帰属させることにより、前記画像を領域分割するものであって、前記素領域それぞれに対して当該素領域が帰属する帰属領域と複数種類の画像特徴のうち当該素領域を評価するための一部の種類の評価対象特徴とを仮決めした試行設定において、前記素領域それぞれの前記評価対象特徴が前記試行設定にて仮決めされた帰属領域に帰属することの尤もらしさの程度を表す帰属度を前記画像内にて総和して積算評価値を算出する評価値算出部と、複数通りの前記試行設定を設定し、前記評価値算出部により算出される前記各試行設定における前記積算評価値を比較し、前記画像全体での前記尤もらしさを最大化する前記試行設定における帰属領域を領域分割結果と決定する領域分割決定部と、を備える。
【００１４】
他の本発明に係る領域分割装置においては、前記領域分割決定部は、前記帰属領域を前記対象物領域とする前記素領域に対して前記評価対象特徴を第１の種類の前記画像特徴とし、且つ前記帰属領域を前記背景領域とする前記素領域に対して前記評価対象特徴を前記第１の種類とは異なる第２の種類の前記画像特徴とする前記試行設定を設定して前記積算評価値の前記比較を行う。
【００１５】
さらに他の本発明に係る領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、前記領域分割決定部は、前記複数種類の画像特徴を順次、前記第１の種類の画像特徴として設定し、当該画像特徴をラベルαとするα拡張法により前記エネルギーを最小化する。
【００１６】
さらに他の本発明に係る領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、前記領域分割決定部は、前記複数種類の画像特徴のうちの２つからなる組み合わせを順次、前記第１及び第２の種類の画像特徴の組として設定し、当該第１の種類の画像特徴をラベルαとし当該第２の種類の画像特徴をラベルβとするα−β交換法により前記エネルギーを最小化する。
【００１７】
本発明の好適な態様は、前記複数種類の画像特徴が、前記素領域の色及び位置である領域分割装置である。
【００１８】
別の本発明に係る領域分割装置は、さらに、前記複数種類の画像特徴それぞれの前記帰属度を前記積算評価値に寄与させる寄与度を複数通りに設定する寄与度設定部を有し、前記評価値算出部は、前記寄与度ごとに、前記画像特徴についての前記各帰属度を前記寄与度で重み付けて前記画像内で総和して前記積算評価値を算出し、前記領域分割決定部は、前記寄与度ごとに前記領域分割結果を求め、前記寄与度に依存しない一律の基準により前記各寄与度における前記領域分割結果の尤もらしさを評価して領域分割評価値を算出し、当該領域分割評価値が最も高い前記領域分割結果を前記複数の寄与度について統一した領域分割結果と決定する。
【発明の効果】
【００１９】
本発明によれば、例えば、頭部では色重視の領域分割を行い、脚部では形状重視の領域分割を行う、というように１つの対象物でも部位ごとに特徴量の寄与が調整される。これにより、対象物の部位ごとに異なる精度低下要因が生じても対象物の領域を高精度に抽出できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る画像監視装置の概略の構成を示したブロック図である。
【図２】本発明の実施形態でのグラフカット法に用いるグラフの模式図である。
【図３】初期領域設定部による処理を説明する模式図である。
【図４】図３に示す初期領域に基づいて設定される対象物シード及び背景シードの一例と、対象物画素の存在確率ρＯ及び背景画素の存在確率ρＢの一例とを示す模式図である。
【図５】対象物画素の存在確率ρＯ及び背景画素の存在確率ρＢの他の例を示す模式図である。
【図６】本発明の実施形態に係る画像監視装置の監視動作の概略を示すフロー図である。
【図７】人物領域抽出処理の概略のフロー図である。
【図８】α拡張法を説明するグラフの模式図である。
【図９】α拡張法による人物領域抽出処理での画素の帰属領域及び使用画像特徴の一例を説明する画像の模式図である。
【図１０】色に関する領域評価値の算出に用いられる、対象物の輪郭画素に隣接する背景画素の集合を説明する模式図である。
【発明を実施するための形態】
【００２１】
以下、本発明の領域分割装置を含んだ好適な実施の形態（以下実施形態という）の一例として、領域分割装置により監視画像上の人物領域を抽出し、人物領域の形状に基づく人物姿勢の推定により異常の発生を監視する画像監視装置１について、図面に基づいて説明する。本発明の領域分割装置は、領域分割部４１として画像監視装置１に具備され、監視画像を注目人物が写っている人物領域とそれ以外の背景領域に分割する。
【００２２】
［画像監視装置１の構成］
図１は画像監視装置１の概略の構成を示したブロック図である。画像監視装置１は撮像部２、記憶部３及び出力部５が制御部４に接続されてなる。
【００２３】
撮像部２は監視カメラである。撮像部２は監視空間を移動する人物を撮像するために監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部４へ出力される。本実施形態においては、人物の位置を３次元座標で特定するために、２つの撮像部２−1，２−2が共通視野を有して設置される。これらの撮像部２のカメラパラメータは、予めのキャリブレーションにより計測して記憶部３に記憶させておく。
【００２４】
記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。
【００２５】
各種データには、追跡情報３０、人物形状モデル３１、グラフ情報３２及びカメラパラメータ（不図示）が含まれる。
【００２６】
追跡情報３０は人物を追跡した結果である人物位置、人物の追跡のために生成され当該人物を特徴づける人物テンプレートなどのデータである。人物ごとの人物ＩＤに対応付けられて当該人物の人物位置及び人物テンプレートなどが記憶される。監視空間を模した３次元座標系における人物の頭部中心の座標が当該人物の人物位置として記憶される。
【００２７】
人物形状モデル３１は人物の形状を模した形状データである。本実施形態では、立位の人物の頭部、胴部及び脚部の３部分それぞれを鉛直軸を回転軸とする回転楕円体で近似し、これらを上から順に鉛直方向に整列した立体形状データを予め作成して記憶させておく。
【００２８】
後述する領域分割部４１は、監視画像に対して図２に示すようなグラフを生成し、当該グラフを最小のエネルギーで人物領域と背景領域とに２分割する切断をα拡張（α-expansion）法を適用したグラフカット（Graph Cut）法により導出することで監視画像から人物領域を抽出する。
【００２９】
図２に示すグラフにおいて、水平面の斜視図が画素の集合である画像を模式的に表している。領域分割部４１は、例えば人物領域及び背景領域の最小単位（素領域）として１つ１つの画素をノードに設定すると共に人物領域側及び背景領域側の仮想のターミナルとしてソースＳ及びシンクＴを設定する。また各隣接ノード間のリンク（ｎ−ｌｉｎｋ）を設定し、各ノードとソースとの間及び各ノードとシンクとの間にもリンク（ｔ−ｌｉｎｋ）を設定する。さらに各リンクに当該リンクの結合度を設定する。こうして領域分割部４１は監視画像に対するグラフを生成する。本発明では特にソースとして色特徴量に関するソース（色ソースＳＣ）と色特徴量に関するソース（形状ソースＳＳ）の２種類を設ける。結合度は領域分割のために行うリンクの切断に要するコストとしてエネルギーに計上される。以下、結合度の値をコストと称する。
【００３０】
領域分割部４１は各ｎ−ｌｉｎｋに、領域分割に伴い当該ｎ−ｌｉｎｋを切断するときのエッジコストを設定する。また、各ノードと色ソースＳＣとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを背景領域に帰属させるときの色特徴量に係るコスト（背景帰属時色コスト）を設定し、各ノードと形状ソースＳＳとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを背景領域に帰属させるときの形状特徴量に係るコスト（背景帰属時形状コスト）を設定し、各ノードとシンクＴとの間のｔ−ｌｉｎｋには当該ｔ−ｌｉｎｋを切断して当該ノードを対象物領域に帰属させるときの色特徴量に係るコスト（対象物帰属時色コスト）と当該ノードを対象物領域に帰属させるときの形状特徴量に係るコスト（対象物帰属時形状コスト）を設定する。各コストは分割が正しくないときに高くなる値であるため、監視画像を人物領域側のノードと背景領域側のノードとに２分割する際に切断されるリンクのコストの総和が領域分割のエネルギーとして定義され、エネルギーを最小化する切断がα拡張法を適用したグラフカット法により導出される。エネルギーを最小化する切断を導出することは帰属の尤もらしさを最大化する領域分割を導出することと等価である。
【００３１】
グラフ情報３２は領域分割のエネルギーの基礎となるコストのデータである。隣接画素｛ｐ（ｘｐ，ｙｐ），ｑ（ｘｑ，ｙｑ）｝の組み合わせごとのエッジコストｃＥ（ｐ，ｑ）が記憶されると共に、画素ｐ（ｘｐ，ｙｐ）ごとに、色ソースＳＣとの間の背景帰属時色コストαＣ・ｃＣ（ｐ，ＳＣ）、形状ソースＳＳとの間の背景帰属時形状コストαＳ・ｃＳ（ｐ，ＳＳ）、シンクＴとの間の対象物帰属時色コストαＣ・ｃＣ（ｐ，Ｔ）及びシンクＴとの間の対象物帰属時形状コストαＳ・ｃＳ（ｐ，Ｔ）が記憶される。
【００３２】
ここで、αＣは領域分割のエネルギーに対する色特徴量のエネルギー（色エネルギー）の寄与度合いと、αＳは領域分割のエネルギーに対する形状特徴量のエネルギー（形状エネルギー）の寄与度合いの比率（特徴比率）である。αＣ，αＳには０より大きな値を設定する。
【００３３】
制御部４は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部３からプログラムを読み出して実行することで人物追跡部４０、領域分割部４１、異常姿勢判定部４２等として機能する。
【００３４】
人物追跡部４０は撮像部２からの監視画像を処理して、監視画像上に写っている各人物の人物位置を追跡し、当該監視画像、当該人物位置、当該人物に付与した人物ＩＤ及び当該監視画像を撮像した撮像部２に予め付与されたカメラＩＤを領域分割部４１に出力する。
【００３５】
領域分割部４１は人物追跡部４０から監視画像及び各人物の人物位置を入力されると、当該監視画像を当該人物が写っている人物領域（対象物領域）とそれ以外の背景領域とに領域分割し、領域分割結果を異常姿勢判定部４２に出力する。
【００３６】
領域分割部４１は、初期領域設定部４１０、分割コスト算出部４１１、エネルギー算出部４１２及び領域決定部４１３から構成される。
【００３７】
以下、領域分割部４１を構成する各部について説明する。
【００３８】
初期領域設定部４１０は、人物領域の初期値として監視画像上に人物領域の概略位置と概略形状とを有した初期領域を設定し、初期領域の情報を分割コスト算出部４１１に出力する。初期領域は領域分割の手がかりとなる。
【００３９】
具体的には初期領域設定部４１０は、人物追跡部４０から入力された各人物の人物位置及び人物形状モデル３１を参照し、人物位置を基準にして人物形状モデル３１を監視画像上に配置することにより初期領域を設定する。そのために初期領域設定部４１０は、監視空間を模した仮想空間中の人物位置に人物形状モデル３１を配置し、配置した人物形状モデル３１をカメラパラメータを用いた座標変換により監視画像に投影し、投影した領域を初期領域に設定する。初期領域は人物ごとに設定され、さらに当該人物を複数の撮像部２により撮像している場合は各撮像部２が撮像した監視画像ごとに設定される。撮像部２とカメラパラメータと監視画像との対応関係はカメラＩＤにより特定される。
【００４０】
図３は初期領域設定部４１０による処理を説明する模式図である。図３（ａ）は人物１０１が写った監視画像１００である。初期領域設定部４１０には当該監視画像１００と、当該人物１０１を追跡して得た仮想空間１１０におけるＸＹＺ座標系の人物位置１１２が入力される。入力される人物位置１１２は頭部中心座標で代表されている。図３（ｂ）は人物モデル１１３から初期領域１２１を生成する処理を説明する仮想空間１１０の模式的な斜視図であり、図３（ｃ）はその処理結果を示す模式図である。初期領域設定部４１０は、人物モデル１１３を、その頭部中心を人物位置１１２に合わせ、その下端を床面１１１に接地させて仮想空間１１０に配置し、カメラパラメータを用いて人物モデル１１３を撮像部２（カメラ１１４）の撮像面１１５のｘｙ座標系に投影する。これにより監視画像１００と同じｘｙ座標系の投影画像１２０に人物モデル１１３を投影した初期領域１２１が算出される。
【００４１】
領域分割部４１は、互いに種類が異なる複数種類の画像特徴を用いて領域分割を行う。例えば領域分割部４１は対象物及び背景の色特徴と対象物の形状特徴とを領域分割に用いる。複数種類の画像特徴を用いる。そして例えば対象物と背景との色特徴が似ており色特徴による領域分割の精度が低下する対象物の部位では形状特徴を利用し、周辺に背景のエッジが多くて形状特徴による領域分割の精度が低下する対象物の部位では色特徴を利用するといったように、ノードごとに当該ノードの帰属の尤もらしさを評価するために最良の１種類の画像特徴（評価対象特徴）を選択することで、単独の画像特徴を用いた場合よりも高精度な領域分割を行う。このとき対象物と背景との間の関係は多様であり、予めノードと評価対象特徴との最良の関係を設定するのは難しい。そこで領域分割部４１は、ノードと評価対象特徴との最良の関係を監視画像ごとに動的に設定して領域分割結果を求める。
【００４２】
本実施形態において領域分割部４１は、積算評価値として下記式（１）で定義されるエネルギーＥを計算する。エネルギーＥは色エネルギーＥＣ、形状エネルギーＥＳ及びエッジエネルギーＥＥの線形和で定義される。領域分割部４１は当該エネルギーＥを最小化する領域分割結果をα拡張法を適用したグラフカット法により導出する。
【００４３】
【数１】
2014010717.tif 000003
【００４４】
ここで、Ａは各ノードがそれぞれ対象物領域と背景領域とのいずれに帰属するか、つまり各ノードがいずれの領域を帰属領域とするかを設定したラベル行列である。また、ｉは評価対象特徴であり、Ｃは色特徴、Ｓは形状特徴に対応するラベルである。
【００４５】
すなわち式（１）の右辺第１項は、評価対象特徴が色特徴である背景画素ｐの背景帰属時色コストαＣ・ｃＣ（ｐ，ＳＣ）と、評価対象特徴が形状特徴である背景画素ｐの背景帰属時形状コストαＳ・ｃＳ（ｐ，ＳＳ）と、評価対象特徴が色特徴である人物画素ｐの対象物帰属時色コストαＣ・ｃＣ（ｐ，Ｔ）と、評価対象特徴が形状特徴である人物画素ｐの対象物帰属時形状コストαＳ・ｃＳ（ｐ，Ｔ）の和を表す。
【００４６】
また式（１）の右辺第２項は、領域分割により切断されたｎ−ｌｉｎｋすなわち人物画素と背景画素との境界に設定されたエッジコストｃＥ（ｐ，ｑ）の和を表す。
【００４７】
分割コスト算出部４１１は、初期領域を基準にして、監視画像の各画素に対し、当該画素の画像特徴が対象物領域及び背景領域それぞれに帰属することの尤もらしくなさ、すなわち尤もらしさの程度の低さを表すコスト値を画像特徴ごとに算出する。
【００４８】
具体的には分割コスト算出部４１１は、初期領域内外の色を基準に、監視画像から対象物の色特徴量（対象物色特徴）及び背景の色特徴量（背景色特徴）を抽出する。そして、対象物色特徴と各画素とを比較して当該画素が対象物領域に帰属することの尤もらしくなさを表す対象物帰属時色コストｃＣ（ｐ，Ｔ）を算出し、これにαＣを乗じたαＣ・ｃＣ（ｐ，Ｔ）を記憶部３のグラフ情報３２に記憶させる。また、背景色特徴と各画素の色特徴とを比較して当該画素が背景領域に帰属することの尤もらしくなさを表す背景帰属時色コストを算出し、これにαＣを乗じたαＣ・ｃＣ（ｐ，ＳＣ）を記憶部３のグラフ情報３２に記憶させる。
【００４９】
さらに分割コスト算出部４１１は、初期領域の形状を基準に各画素の位置が対象物領域内である確率と背景領域内である確率とを設定する。そして分割コスト算出部４１１は各画素の位置が対象物領域内である確率に基づいて当該画素が対象物領域に帰属することの尤もらしくなさを表す対象物帰属時形状コストｃＳ（ｐ，Ｔ）を算出し、これにαＳを乗じたαＳ・ｃＳ（ｐ，Ｔ）を記憶部３のグラフ情報３２に記憶させる。また分割コスト算出部４１１は、各画素の位置が背景領域内である確率に基づいて当該画素が背景領域に帰属することの尤もらしくなさを表す背景帰属時形状コストを算出し、これにαＳを乗じたαＳ・ｃＳ（ｐ，ＳＳ）を記憶部３のグラフ情報３２に記憶させる。
【００５０】
また分割コスト算出部４１１は各隣接画素間に対してその輝度差に応じたエッジコストｃＥ（ｐ，ｑ）を算出して記憶部３のグラフ情報３２に記憶させる。
【００５１】
以下、エッジコストｃＥ（ｐ，ｑ）の算出について説明する。
【００５２】
分割コスト算出部４１１は、画素ｐとその隣接画素ｑの間に設定したｎ−ｌｉｎｋそれぞれに対して次式で表されるエッジコストｃＥ（ｐ，ｑ）を算出する。
【００５３】
【数２】
2014010717.tif 000004
【００５４】
ここで、Ｉｐは画素ｐの画素値、Ｉｑは隣接画素ｑの画素値、ｄｉｓｔ（ｐ,ｑ）は画素ｐの位置と隣接画素ｑの位置との間の距離を表す。βは調整用の定数であり、事前実験等を通じて適切な値が予め設定される。すなわち分割コスト算出部４１１は各隣接画素間に対して、互いの画素値が相違するほど小さく、互いの画素値が類似するほど大きなエッジコストｃＥ（ｐ，ｑ）を設定する。
【００５５】
以下、対象物シードの設定と対象物帰属時色コストｃＣ（ｐ，Ｔ）の算出について説明する。
【００５６】
分割コスト算出部４１１は、監視画像における初期領域の内側の画素値から対象物の色特徴の基準とする対象物色特徴を抽出する。対象物領域を高精度に抽出するには、対象物色特徴は、対象物の一部である可能性が十分に高く、対象物を構成する色を網羅していることが望ましい。そこで、分割コスト算出部４１１は、初期領域の中心軸上の画素群を対象物シードと定め、当該対象物シードの画素値の正規化色ヒストグラムｈＯを対象物色特徴として抽出する。
【００５７】
図４には図３の初期領域１２１の中心軸上に設定した対象物シード２００を例示している。対象物シード２００は対象物領域か背景物領域かが曖昧な初期領域１２１の輪郭付近を含まないように設定されている。
【００５８】
分割コスト算出部４１１は、以下に示す式（３）及び式（４）に従い対象物帰属時色コストｃＣ（ｐ，Ｔ）を算出する。
【００５９】
【数３】
2014010717.tif 000005
【００６０】
【数４】
2014010717.tif 000006
【００６１】
ここで、Ｉｐは画素ｐの画素値、ｈＯは対象物シードの正規化色ヒストグラムであり、ｈＯ（Ｉｐ）は画素値Ｉｐが対象物の色である確率を表す。ＬＣ（ｐ｜оｂｊ）の値は画素ｐの色が対象物の色である確率が高いほど小さく、同確率が低いほど大きくなる。Ｋ（＞１）は大きなコスト値を表す定数であり、十分に大きな値が予め設定される。
【００６２】
このように分割コスト算出部４１１は、各画素ｐとシンクＴとの間に、当該画素ｐの色が対象物らしいほど低く、当該画素ｐの色が対象物らしくないほど高い対象物帰属時色コストｃＣ（ｐ，Ｔ）を設定する。
【００６３】
以下、背景シードの設定と背景帰属時色コストｃＣ（ｐ，ＳＣ）の算出について説明する。
【００６４】
分割コスト算出部４１１は、監視画像における初期領域の外側の画素値から背景の色特徴の基準とする背景色特徴を抽出する。対象物領域を高精度に抽出するには、背景シードは、背景の一部である可能性が十分に高く、対象物との境界に存在する背景の色を網羅していることが望ましい。そこで、分割コスト算出部４１１は、初期領域を所定距離だけ離れて囲む外周部の画素群を背景シードと定め、当該背景シードの画素値の正規化色ヒストグラムｈＢを背景色特徴として抽出する。具体的には、分割コスト算出部４１１は、初期領域を所定回数だけ膨張して膨張領域の周囲画素を背景シードと定める。膨張回数は初期領域の近似誤差より大きく定めることができ、例えば１０回程度とすることができる。また、α拡張法を適用したグラフカット法を用いる本実施形態では、２段階でグラフカット法を実行する。この第１段階において色特徴により抽出できなかった対象物画素を第２段階で抽出するために分割コスト算出部４１１は第１段階にて得られた対象物画素を第２段階の背景シードに加える。
【００６５】
図４には初期領域１２１の輪郭から１０画素だけ離れた外周部に設定した背景シード２０１を例示している。背景シード２０１は対象物領域か背景物領域かが曖昧な初期領域１２１の輪郭付近を含まないように設定されている。
【００６６】
分割コスト算出部４１１は、以下に示す式（５）及び式（６）に従い背景帰属時色コストｃＣ（ｐ，ＳＣ）を算出する。
【００６７】
【数５】
2014010717.tif 000007
【００６８】
【数６】
2014010717.tif 000008
【００６９】
ここで、ｈＢは背景シードの正規化色ヒストグラムであり、ｈＢ（Ｉｐ）は画素値Ｉｐが背景領域の色である確率を表す。Ｋ，Ｉｐは上述の通りである。ＬＣ（ｐ｜ｂｋｇ）の値は画素ｐの色が背景の色である確率が高いほど小さく、同確率が低いほど大きくなる。
【００７０】
このように分割コスト算出部４１１は、各画素ｐと色ソースＳＣとの間に、当該画素ｐの色が背景らしいほど低く、当該画素ｐの色が背景らしくないほど高い背景帰属時色コストｃＣ（ｐ，ＳＣ）を設定する。
【００７１】
以下、対象物帰属時形状コストｃＳ（ｐ，Ｔ）の算出について説明する。
【００７２】
分割コスト算出部４１１は、初期領域の位置及び形状に基づいて各画素位置における対象物画素の存在確率ρＯを設定する。具体的には分割コスト算出部４１１は、対象物画素の存在確率ρＯとして初期領域の外側の画素に０、初期領域の内側で初期領域の輪郭からの距離が遠い画素ほど１に近づく値を設定する。対象物画素の存在確率ρＯの例を図４に示す。図４に示す存在確率ρＯのグラフの横軸は、図４の上部に示す初期領域１２１を含む画像にて一点鎖線で示すｘ軸方向の直線に沿った位置を画素数で表しており、縦軸がρＯである。この例ではρＯは対象物シード２００で最大値である１となり、初期領域１２１の輪郭での値０へ向けて直線的に減少し、当該輪郭より外側では０となる。
【００７３】
分割コスト算出部４１１は、以下に示す式（７）及び式（８）に従いρＯを基にした対象物帰属時形状コストｃＳ（ｐ，Ｔ）を算出する。
【００７４】
【数７】
2014010717.tif 000009
【００７５】
【数８】
2014010717.tif 000010
【００７６】
ここで、ρＯ（ｐ）は画像中において画素ｐの位置が対象物領域内である確率を表す。Ｋは上述の通りである。ＬＳ（ｐ｜оｂｊ）の値は画素ｐの位置が対象物領域内である確率が高いほど小さく、同確率が低いほど大きくなる。
【００７７】
すなわち、分割コスト算出部４１１は、各画素ｐとシンクＴとの間に、当該画素ｐの位置が対象物らしいほど低く、当該画素ｐの位置が対象物らしくないほど高い対象物帰属時形状コストｃＳ（ｐ，Ｔ）を設定する。
【００７８】
以下、背景帰属時形状コストｃＳ（ｐ，ＳＳ）の算出について説明する。
【００７９】
分割コスト算出部４１１は、初期領域の位置及び形状に基づいて各画素位置における背景画素の存在確率ρＢを設定する。具体的には分割コスト算出部４１１は、背景画素の存在確率ρＢとして背景シード２０１の内側の画素に０、背景シード２０１の外側で背景シード２０１からの距離が遠い画素ほど１に近づく値を設定する。背景画素の存在確率ρＢの例を図４に示す。図４に示す存在確率ρＢのグラフの横軸は、図４の上部に示す初期領域１２１を含む画像にて一点鎖線で示すｘ軸方向の直線に沿った位置を画素数で表しており、縦軸がρＢである。この例ではρＢは背景シード２０１から外側へ向けて直線的に増加する。
【００８０】
分割コスト算出部４１１は、以下に示す式（９）及び式（１０）に従いρＢを基にした背景帰属時形状コストｃＳ（ｐ，ＳＳ）を算出する。
【００８１】
【数９】
2014010717.tif 000011
【００８２】
【数１０】
2014010717.tif 000012
【００８３】
ここで、ρＢ（ｐ）は画像中において画素ｐの位置が背景領域内である確率を表す。Ｋは上述の通りである。ＬＳ（ｐ｜ｂｋｇ）の値は画素ｐの位置が背景領域内である確率が高いほど小さく、同確率が低いほど大きくなる。
【００８４】
このように分割コスト算出部４１１は、各画素ｐとソースＳとの間に、当該画素ｐの位置が背景らしいほど低く、当該画素ｐの位置が背景らしくないほど高い背景帰属時形状コストｃＳ（ｐ，ＳＳ）を設定する。
【００８５】
なお、図４では対象物画素の存在確率ρＯと背景画素の存在確率ρＢの値を初期領域１２１と背景シード２０１とに挟まれる周囲にて共に０とする例を示したが、図５のように初期領域１２１の境界の外側及び内側にρＯ及びρＢが０より大きな値となる範囲を設定してもよい。
【００８６】
このように分割コスト算出部４１１が各コストを設定することにより監視画像を領域分割するためのグラフが完成する。
【００８７】
エネルギー算出部４１２（評価値算出部）は、各画素の帰属領域及び各画素の評価対象特徴を仮決めした試行設定において各画素の設定と対応するコストを当該画素の帰属度として記憶部３から読み出し、これらを画像内にて総和して当該試行設定が表す領域分割のエネルギー（積算評価値）を算出する。具体的にはエネルギー算出部４１２は式（１）に従いエネルギーＥを算出する。
【００８８】
試行設定は複数通り生成され、その生成は領域決定部４１３（領域分割決定部）が行う。つまり、エネルギー算出部４１２がエネルギーＥを計算する際の式（１）における帰属領域設定Ａ及び評価対象特徴の種別ｉは領域決定部４１３により都度仮決めされる。領域決定部４１３は複数通りの試行設定におけるエネルギーＥを比較し、エネルギーＥが最小となる試行設定における帰属領域設定を検出することで、各画素の評価対象特徴が当該画素の帰属領域に帰属することの尤もらしさが画像全体として最大となる試行設定を検出し、検出した試行設定における帰属領域を領域分割結果と決定する。領域決定部４１３は、決定した領域分割結果を異常姿勢判定部４２に出力する。
【００８９】
このように領域決定部４１３は、試行設定を変動させながら当該試行設定をエネルギー算出部４１２に入力してエネルギーを算出させる処理を繰り返して、エネルギーが最小となる試行設定を探索することにより、各画素の評価対象特徴と当該画素の帰属領域との尤もらしさが画像全体として最大となる領域分割結果を導出する。
【００９０】
こうすることで監視画像ごとに各素領域を評価するための評価対象特徴を適応的に選択した領域分割が可能となる。これにより対象物の各部位にてそれぞれに精度低下しにくい画像特徴を選択できるので、対象物と背景との関係の多様性に適応した高精度な領域分割を行うことができる。
【００９１】
エネルギーが最小となる帰属領域及び評価対象特徴はα拡張法を適用したグラフカット法により効率的に決定することができる。処理の詳細は動作の説明にて後述する。
【００９２】
異常姿勢判定部４２は、領域分割部４１が抽出した各人物の人物領域の形状が異常事態の発生を示す異常姿勢であるか否かを判定し、人物領域のいずれかが異常姿勢と判定された場合に所定の異常信号を出力部５に出力する。具体的には、異常姿勢判定部４２は各人物領域の形状と予め登録してある異常姿勢パターンとの類似度を算出して予め設定したしきい値と比較し、しきい値以上の類似度が算出された人物領域を異常姿勢であると判定し、そうでなければ異常姿勢でないと判定する。例えば、両手を挙げた姿勢の形状パターンを強盗事件の発生を示す異常姿勢パターンとして予め登録しておくことができる。
【００９３】
出力部５は異常姿勢判定部４２から異常信号が入力されると当該異常信号を外部に出力する外部出力装置である。例えば、出力部５は、電話網あるいはインターネットなどの広域網を介して警備センターと接続された通信回路で構成され、警備センターに異常信号を送信することによって異常事態の発生を通報する。
【００９４】
［画像監視装置１の動作］
図６は画像監視装置１の監視動作の概略を示すフロー図である。図６を参照して画像監視装置１の動作を説明する。監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段が初期化され動作を開始する（Ｓ１）。初期化の後は、撮像部２から制御部４へ新たな監視画像が入力されるたびに、ステップＳ２〜Ｓ７の処理がループ処理として繰り返される。
【００９５】
新たな監視画像が入力されると制御部４の人物追跡部４０は、監視画像上の人物を追跡して監視画像上での当該人物の位置を特定する（Ｓ２）。人物追跡部４０は新たな監視画像にて特定した人物位置を人物ＩＤ及びカメラＩＤと対応付けて記憶部３の追跡情報３０に記憶させる。
【００９６】
制御部４は、新たな監視画像上に人物が存在しているか否か、すなわち追跡情報３０に新たな監視画像にて特定した人物位置が記憶されているか否かを確認する（Ｓ３）。人物が存在しなければ（ステップＳ３にてＮＯ）、制御部４は以降の処理をスキップして処理をステップＳ１へ戻す。
【００９７】
人物が存在していれば（ステップＳ３にてＹＥＳ）、制御部４は新たな監視画像から得た追跡情報３０を領域分割部４１に入力し、領域分割部４１は各人物の人物領域を抽出する（Ｓ４）。
【００９８】
図７は人物領域抽出処理の概略のフロー図である。以下、図７を参照してステップＳ４の人物領域抽出処理を説明する。
【００９９】
α拡張法を適用したグラフカット法では、複数のソースを有するグラフを、複数のソースのうちの１つとシンクで構成されるグラフに分けて段階的にエネルギーの最小化を行う。この際に、ソース側のｔ−ｌｉｎｋとシンク側のｔ−ｌｉｎｋには異なる種類のコストを設定する。
【０１００】
本実施形態では、図２に示したグラフを、図８に示す２つのグラフ４００，４０１に分けてエネルギーの最小化を行う。図９はα拡張法による人物領域抽出処理での画素の帰属領域及び評価対象特徴の一例を説明する画像の模式図を示している。
【０１０１】
以下、この処理の様子を説明する。
【０１０２】
まず、領域分割部４１の初期領域設定部４１０は、記憶部３から人物形状モデル３１と、監視画像に対応するカメラＩＤのカメラパラメータとを読みだし、各人物の人物位置を基準にして仮想空間中に人物形状モデル３１を配置し、配置した人物形状モデル３１をカメラパラメータにより監視画像上に投影して各人物の初期領域を設定する（Ｓ１００）。
【０１０３】
次に、領域分割部４１の分割コスト算出部４１１は、各人物の初期領域からの距離に応じて各画素における対象物画素の存在確率ρＯと背景画素の存在確率ρＢをそれぞれ対象物形状特徴、背景形状特徴として算出する（Ｓ１０１）。
【０１０４】
続いて、分割コスト算出部４１１は式（２）に従って隣接画素の組み合わせごとのエッジコストｃＥ（ｐ，ｑ）を算出してグラフ情報３２に記憶させる（Ｓ１０２）。
【０１０５】
また、分割コスト算出部４１１は各人物の背景シードを設定して（Ｓ１０３）、人物ごとに背景シードに対する各画素の背景帰属時色コストを算出する（Ｓ１０４）。すなわち、分割コスト算出部４１１は各人物の初期領域の周辺部から正規化色ヒストグラムｈＢを背景色特徴として抽出し、人物ごとに式（５）及び式（６）に従って画素ごとの背景帰属時色コストαＣ・ｃＣ（ｐ，ＳＣ）を算出してグラフ情報３２に記憶させる。
【０１０６】
さらに、分割コスト算出部４１１はステップＳ１０１にて算出した人物ごとの対象物画素の存在確率ρＯそれぞれを用い、式（７）及び式（８）に従って画素ごとの対象物帰属時形状コストαＳ・ｃＳ（ｐ，Ｔ）を算出してグラフ情報３２に記憶させる（Ｓ１０５）。ここまでの処理によって図８のグラフ４００、すなわち色ソースＳＣを含み形状ソースＳＳを含まない第１段階のグラフ４００が生成される。
【０１０７】
領域分割部４１の領域決定部４１３は、グラフ情報３２で定義されるグラフ４００にＭｉｎｉｍｕｍ Ｃｕｔ／Ｍａｘｉｍｕｍ Ｆｌｏｗアルゴリズムを適用して最小のエネルギーにて当該グラフを対象物領域のノードと背景領域のノードに２分割する帰属領域設定Ａ１を導出する（Ｓ１０６）。すなわち領域決定部４１３は帰属領域設定を微小変動させながら仮決めした当該帰属領域設定をエネルギー算出部４１２に入力して式（１）のエネルギーＥを算出させる処理を繰り返してエネルギーＥを最小化する帰属領域設定を探索し決定する。第１段階において領域決定部４１３はシンク側のｔ−ｌｉｎｋに対象物帰属時形状コストを、またソース側のｔ−ｌｉｎｋに背景帰属時色コストをそれぞれ設定して領域分割を行った。この設定により、領域決定部４１３は、帰属領域を対象物領域とする画素に対して評価特徴を色特徴とし（α拡張法におけるラベルαを色特徴のラベルＣとすることに相当）、且つ帰属領域を背景画像とする画素に対して評価対象特徴を形状特徴とする試行設定を設定してエネルギーの比較を行ったことになる。
【０１０８】
図９（１）は第１段階での様子を表しており、帰属領域設定５００は第１段階で導出された帰属状態Ａ１の例である。後のステップＳ１１１にて、この段階で得られた対象物領域は最終的にそのまま対象物領域の一部として採用される（図９（１）の帰属領域設定５０１）。同対象物画素は評価対象特徴を色特徴に設定して選んだということになる（図９（１）の評価対象特徴設定状態５０２）。
【０１０９】
分割コスト算出部４１１はグラフ情報３２のコストをリセットして第２段階に移行する。図９（２）は第２段階に移行した際の様子を示している。分割コスト算出部４１１は、ステップＳ１０６にて導出された各人物の対象物領域を第２段階のグラフ４０１における当該人物の背景シード（図９（２）にて帰属領域設定５０３で示す背景シードＢ）に加える。シードに加えた対象物領域の帰属は第２段階に影響せず、また変更されないことになる。各人物の対象物シードを設定して（Ｓ１０７）、人物ごとに対象物シードに対する各画素の対象物帰属時色コストを算出する（Ｓ１０８）。すなわち分割コスト算出部４１１は、各人物の初期領域の中央部から正規化色ヒストグラムｈＯを対象物色特徴として抽出し、式（３）及び式（４）に従って画素ごとの対象物帰属時色コストαＣ・ｃＣ（ｐ，Ｔ）を算出してグラフ情報３２に記憶させる。
【０１１０】
続いて、分割コスト算出部４１１はステップＳ１０１にて算出した人物ごとの背景画素の存在確率ρＢそれぞれを用い、式（９）及び式（１０）に従って画素ごとの背景帰属時形状コストαＳ・ｃＳ（ｐ，ＳＳ）を算出してグラフ情報３２に記憶させる（Ｓ１０９）。ここまでの処理によって図８のグラフ４０１、すなわち形状ソースＳＳを含み色ソースＳＣを含まない第２段階のグラフ４０１が生成される。
【０１１１】
領域決定部４１３は、グラフ情報３２で定義されるグラフ４０１にＭｉｎｉｍｕｍ
Ｃｕｔ／Ｍａｘｉｍｕｍ Ｆｌｏｗアルゴリズムを適用して最小のエネルギーにて当該グラフを対象物領域のノードと背景領域のノードに２分割する帰属領域設定Ａ２を導出する（Ｓ１１０）。すなわち領域決定部４１３は帰属領域設定を微小変動させながら仮決めした当該帰属領域設定をエネルギー算出部４１２に入力して式（１）のエネルギーＥを算出させる処理を繰り返してエネルギーＥを最小化する帰属領域設定Ａ２を探索し決定する。
【０１１２】
図９（３）は第２段階での様子を表しており、帰属領域設定５０４は、この第２段階で導出された帰属領域設定Ａ２の例である。第２段階において領域決定部４１３はシンク側のｔ−ｌｉｎｋに対象物帰属時色コストを、またソース側のｔ−ｌｉｎｋに背景帰属時形状コストをそれぞれ設定して領域分割を行った。この設定により、領域決定部４１３は、帰属領域を対象物領域とする画素に対して評価特徴を形状特徴とし（α拡張法におけるラベルαを形状特徴のラベルＳとすることに相当）、且つ帰属領域を背景画像とする画素に対して評価対象特徴を色特徴とする試行設定を設定してエネルギーの比較を行ったことになる。
【０１１３】
領域決定部４１３は、ステップＳ１０６にて得られた対象物画素とステップＳ１１０にて得られた対象物画素とを連結して最終的な対象物領域を決定し、それ以外の領域を背景領域として決定する（Ｓ１１１）。
【０１１４】
図９（３）の帰属領域設定５０５は、最終的な帰属領域設定Ａの例である。第２段階で得られた対象物画素は評価対象特徴を形状特徴に設定して選んだということになる（図９（３）の状態５０６）。なお、この段階で得られた背景シード以外の背景画素（状態５０６にて“Ｓ／Ｃ”で示す画素）の評価対象特徴は当該画素に設定された対象物帰属時色コストと対象物帰属時形状コストのうち最小値を与える画像特徴とすることができる。
【０１１５】
以上の各段階において、領域決定部４１３は、帰属領域を対象物領域とする素領域に対して評価対象特徴を第１の種類の画像特徴とし、且つ帰属領域を背景領域とする素領域に対して評価対象特徴を第１の種類と異なる第２の種類の画像特徴とする試行設定を設定して積算評価値の比較を行った。このように異なる画像特徴を直接的に対比する設定を行うことによって各素領域にて評価すべき画像特徴を効率良く選択できるので、対象物と背景の関係の多様性に適応した高精度な領域分割を効率的に導出することができる。
【０１１６】
こうして領域分割部４１は、各ノードにおいていずれか１つの画像特徴を評価対象特徴に選びながらエネルギーＥを最小化する領域分割を決定する。
【０１１７】
以上の処理により各人物の人物領域が抽出されると、制御部４は図６のステップＳ５へ処理を進める。
【０１１８】
再び図６を参照して画像監視処理の続きを説明する。
【０１１９】
制御部４の異常姿勢判定部４２は、領域決定部４１３から入力された各人物の人物領域の形状と異常姿勢パターンとの類似度を算出して予め設定したしきい値と比較し、しきい値以上の類似度が算出された人物領域を異常姿勢であると判定し、そうでなければ異常姿勢でないと判定する（Ｓ５）。
【０１２０】
異常姿勢判定部４２は人物領域のいずれかが異常姿勢と判定された場合に（ステップＳ６にてＹＥＳ）、所定の異常信号を生成して出力部５に当該信号を出力する（Ｓ７）。異常信号を入力された出力部５は警備センターに異常信号を送信し、通報を行う。他方、人物領域のいずれも異常姿勢と判定されなければ（ステップＳ６にてＮＯ）、ステップＳ７の異常出力処理はスキップされる。
【０１２１】
以上の処理を終えると、制御部４は処理をステップＳ１に戻し、次の監視画像に対する処理が行われる。
【０１２２】
［変形例］
（１）上記実施形態では１つ１つの画素を素領域として領域分割を行う例を示した。しかし、ノードに対応付ける素領域は画素以外であってもよい。例えば、互いに画素値が類似する画素を予めまとめてセグメント化し、各セグメントをノードに設定して領域分割を行うこともできる。
【０１２３】
この場合、各セグメントに対する色コストは、当該セグメントの代表画素値（画素値の平均値、中央値または最頻値）を用いて算出する、あるいは当該セグメントを構成する画素それぞれに対する色コストを算出してそれらの色コストの代表値（コストの平均値、中央値または最大値）を当該セグメントの色コストとする。
【０１２４】
また各セグメントに対する形状コストは、当該セグメントと初期領域との重なり度合いを用いて算出する、あるいは当該セグメントを構成する画素に対する存在確率の代表値（存在確率の平均値、中央値または最頻値）を当該セグメントの形状コストとする。
【０１２５】
このようにすることで領域分割の精度を低下させずにノードを減らすことができるので、精度維持と負荷減少を両立することができる。
【０１２６】
（２）上記実施形態では画像特徴として色と形状とを用いる例を示したが、他の画像特徴を用いることもできる。例えば色と動き特徴量とを用いる。この場合、背景差分処理を行って各画素の背景差分値を動き特徴量とすることができる。また、オプティカルフロー分析を行って各画素の移動ベクトルの大きさを動き特徴量とすることもできる。
【０１２７】
（３）上記実施形態ではグラフカット法によりエネルギーを最小化する領域分割結果を導出した。別の実施形態ではグラフカット法に代えてマルコフ連鎖モンテカルロ (Markov Chain Monte Carlo：MCMC) 法、信念伝播（Belief Propagation）法、ツリー重み再配分メッセージ伝達（Tree-Reweighted Message Passing：TRW）法を用いてエネルギーを最小化する領域分割結果を導出できる。
【０１２８】
（４）上記実施形態では、α拡張法の第１段階にて図８のグラフ４００、第２段階にてグラフ４０１を生成してグラフカット法を行ったが、逆順とすることもできる。すなわち第１段階にて図８のグラフ４０１、第２段階にてグラフ４００を生成してグラフカット法を行ってもよい。
【０１２９】
（５）上記実施形態では、α拡張法により画像特徴を選択したが、α拡張法に代えてα−β交換（αβ-swap）法を利用することもできる。例えば、対象物領域の評価対象特徴をラベルαとし、背景領域の評価対象特徴の１つをラベルβとしてα−β交換法を適用することができる。上述の実施形態では画像特徴は色特徴と形状特徴との２種類であるので、ラベルαはそれらの一方であり、ラベルβはそれらの他方となる。
【０１３０】
（６）３種類以上の画像特徴を用いる場合にも本発明を適用することができ、その場合にも上述したα拡張法、α−β交換法、及びその他の方法を用いて領域分割結果を導出することができる。
【０１３１】
例えば、３種類の画像特徴Ａ，Ｂ，Ｃを用いる場合、α拡張法は画像特徴Ａ，Ｂ，Ｃを順次、ラベルαとして処理を繰り返す。すなわち、上述の画像特徴が２種類の場合には処理は２段階に行われたが、画像特徴が３種類の場合には３段階で行われる。
【０１３２】
また、α−β交換法では画像特徴Ａ，Ｂ，Ｃにおいて指定可能なラベルα，βの全ての組み合わせについて処理が繰り返される。例えば、画像特徴Ａを対象物領域の評価対象特徴とし、これをラベルαとする場合、画像特徴Ｂを背景領域の評価対象特徴とし、これをラベルβとする処理と、画像特徴Ｃを背景領域の評価対象特徴とし、これをラベルβとする処理とがそれぞれ行われる。
【０１３３】
（７）上記実施形態では、各画像特徴の特徴比率αを固定して領域分割を行ったが、別の実施形態では特徴比率αを動的に設定する。この場合、特徴比率αを複数通りに設定して各設定で領域分割を行い、各設定における領域分割結果を特徴比率に依存しない一律の基準にて評価して領域評価値（領域分割評価値）を算出し、領域評価値が最大の領域分割結果を採用することができる。
【０１３４】
領域評価値としては次式で定義される領域評価値Ｖを用いることができる。
【０１３５】
【数１１】
2014010717.tif 000013
【０１３６】
【数１２】
2014010717.tif 000014
【０１３７】
【数１３】
2014010717.tif 000015
【０１３８】
ここで、１／ＶＣは色に関する領域評価値、１／ＶＳは形状に関する領域評価値である。
【０１３９】
式（１２）における総和対象とする画素ｐの集合Ｅｄｇｅは対象物の輪郭画素からなる集合であり、また、Ｎ（ｐ）は対象物の輪郭画素に隣接する背景画素の集合、ｄｉｓｔは画素ｐとｑとの距離である。γは調整用の定数であり、事前実験等を通じて適切な値が予め設定される。図１０はＮ（ｐ）を説明する図であり、同図の左側に対象物の輪郭画素を含む部分画像の模式図を示している。ここで、ｎ−ｌｉｎｋのコストは図２に示すように各画素の４近傍について算出している。これに対し、Ｎ（ｐ）は図１０に示すように対象物の輪郭画素の８近傍から求めるなど、ｎ−ｌｉｎｋのコストを算出したときよりも多くの隣接画素との相違を評価するのがよい。こうすることで上述したエネルギー算出部４１２における色特徴のエネルギーによる評価よりも厳しい領域評価値を算出でき、領域分割候補間の優劣をより厳密に評価することができる。
【０１４０】
式（１３）におけるＭλは領域分割候補における対象物領域と初期領域とで画素位置が一致する画素数であり、Ｍ０は初期領域の画素数、ＭＳは領域分割候補の画素数である。初期領域との一致画素数Ｍλが増えると１／ＶＳは高くなる。つまり、１／ＶＳは初期領域に対する対象物領域のマッチング率である。ただし１／ＭＳの項により、対象物領域が単に大きいだけ（例えば対象物領域が初期領域を包含する状態）で１／ＶＳが不当に高くなることを抑制している。
【０１４１】
また、この場合、特徴比率αＣを定数として扱い、λ＝αＳ／αＣとおけば特徴比率の制御を１変数にて行うことができる。すなわち、λを変えることで、各画像特徴を領域分割に寄与させる度合についての画像特徴相互間の比を変えることができる。例えば、領域分割部４１に、寄与比λを複数通りに設定する寄与比設定部を設ける。そして、エネルギー算出部４１２は、画像特徴についての各帰属評価値を寄与比λで重み付けして画像内で総和し積算評価値を算出し、領域決定部４１３は、寄与比ごとに積算評価値に基づく探索を行って領域分割結果を求める。そして、寄与比に依存しない所定基準により各寄与比での領域分割結果である帰属状態の尤もらしさを評価して領域評価値を算出し、当該領域評価値に基づいていずれかの寄与比での領域分割結果を選択する。
【０１４２】
このように、特徴比率を動的に決定することによって、対象物と背景の状況に適応して色特徴量と形状特徴量を領域分割に寄与させる率を適切に調整する効果がさらに高まるので、領域分割をより高精度に行うことが可能になる。
【０１４３】
（８）上記実施形態において初期領域は初期領域設定部４１０により自動設定される例を示したが、本発明の領域分割装置を静止画からの領域分割処理に適用する場合、初期領域設定部４１０にポインティングデバイス等を含めて構成し、人手により初期領域を設定するのが好適である。
【符号の説明】
【０１４４】
１  画像監視装置、２  撮像部、３  記憶部、４  制御部、５  出力部、３０  追跡情報、３１  人物形状モデル、３２  グラフ情報、４０  人物追跡部、４１  領域分割部、４２  異常姿勢判定部、１００  監視画像、１０１  人物、１１０  仮想空間、１１１  床面、１１２  人物位置、１１３  人物モデル、１１４  カメラ、１１５  撮像面、１２０  投影画像、１２１  初期領域、２００  対象物シード、２０１  背景シード、４１０  初期領域設定部、４１１  分割コスト算出部、４１２  エネルギー算出部、４１３  領域決定部。
【図１】
2014010717.tif 000016
【図２】
2014010717.tif 000017
【図３】
2014010717.tif 000018
【図４】
2014010717.tif 000019
【図５】
2014010717.tif 000020
【図６】
2014010717.tif 000021
【図７】
2014010717.tif 000022
【図８】
2014010717.tif 000023
【図９】
2014010717.tif 000024
【図１０】
2014010717.tif 000025
【手続補正書】
【提出日】平成24年7月23日(2012.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の対象物を背景と共に撮像した画像において、それぞれが少なくとも１つの画素からなる素領域ごとに当該素領域を対象物領域と背景領域とのいずれかに帰属させることにより、前記画像を領域分割する領域分割装置であって、
前記素領域それぞれに対して当該素領域が帰属する帰属領域と複数種類の画像特徴のうち当該素領域を評価するための一部の種類の評価対象特徴とを仮決めした試行設定において、前記素領域それぞれの前記評価対象特徴が前記試行設定にて仮決めされた帰属領域に帰属することの尤もらしさの程度を表す帰属度を前記画像内にて総和して積算評価値を算出する評価値算出部と、
複数通りの前記試行設定を設定し、前記評価値算出部により算出される前記各試行設定における前記積算評価値を比較し、前記画像全体での前記尤もらしさを最大化する前記試行設定における帰属領域を領域分割結果と決定する領域分割決定部と、
を備えたことを特徴とする領域分割装置。
【請求項２】
前記領域分割決定部は、前記帰属領域を前記対象物領域とする前記素領域に対して前記評価対象特徴を第１の種類の前記画像特徴とし、且つ前記帰属領域を前記背景領域とする前記素領域に対して前記評価対象特徴を前記第１の種類とは異なる第２の種類の前記画像特徴とする前記試行設定を設定して前記積算評価値の前記比較を行うこと、を特徴とする請求項１に記載の領域分割装置。
【請求項３】
前記領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、
前記領域分割決定部は、前記複数種類の画像特徴を順次、前記第１の種類の画像特徴として設定し、当該画像特徴をラベルαとするα拡張法により前記エネルギーを最小化すること、
を特徴とする請求項２に記載の領域分割装置。
【請求項４】
前記領域分割装置は、前記帰属度としてコストを用い、前記積算評価値で与えられるエネルギーを最小化するグラフカット法により領域分割を行うものであって、
前記領域分割決定部は、前記複数種類の画像特徴のうちの２つからなる組み合わせを順次、前記第１及び第２の種類の画像特徴の組として設定し、当該第１の種類の画像特徴をラベルαとし当該第２の種類の画像特徴をラベルβとするα−β交換法により前記エネルギーを最小化すること、
を特徴とする請求項２に記載の領域分割装置。
【請求項５】
前記複数種類の画像特徴は、前記素領域の色及び位置であることを特徴とする請求項１から請求項４のいずれか１つに記載の領域分割装置。
【請求項６】
さらに、前記複数種類の画像特徴それぞれの前記帰属度を前記積算評価値に寄与させる寄与度を複数通りに設定する寄与度設定部を有し、
前記評価値算出部は、前記寄与度ごとに、前記画像特徴についての前記各帰属度を前記寄与度で重み付けて前記画像内で総和して前記積算評価値を算出し、
前記領域分割決定部は、前記寄与度ごとに前記領域分割結果を求め、前記寄与度に依存しない一律の基準により前記各寄与度における前記領域分割結果の尤もらしさを評価して領域分割評価値を算出し、当該領域分割評価値が最も高い前記領域分割結果を前記複数の寄与度について統一した領域分割結果と決定すること、
を特徴とする請求項１から請求項５のいずれか１つに記載の領域分割装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
【数７】
2014010717.tif 000026
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
【数９】
2014010717.tif 000027