(57)【特許請求の範囲】
【請求項１】
画像から複数の部分領域を抽出する抽出部と、
前記部分領域のオプティカルフローを算出する第１算出部と、
前記部分領域に含まれる物体の密度を算出する第２算出部と、
前記画像を複数のブロックに分割する分割部と、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の、前記密度と前記オプティカルフローによって示される物体の移動量とを組み合わせた統計量を算出する第３算出部と、
複数の前記ブロックの内、前記統計量が閾値以上の前記ブロックを、非定常状態にある非定常ブロックとして特定する特定部と、
を備える画像解析装置。
【請求項２】
前記第３算出部は、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の前記密度と前記移動量との乗算値の総和を、物体の運動量を示す前記統計量として算出し、
前記特定部は、
複数の前記ブロックの内、前記統計量が第１の閾値以上の前記ブロックを、前記統計量が前記閾値以上の前記非定常ブロックとして特定する、
請求項１に記載の画像解析装置。
【請求項３】
前記第３算出部は、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の前記密度と前記移動量の二乗との乗算値の総和を、物体の運動エネルギーを示す前記統計量として算出し、
前記特定部は、
複数の前記ブロックの内、前記統計量が第２の閾値以上の前記ブロックを、前記統計量が前記閾値以上の前記非定常ブロックとして特定する、
請求項１に記載の画像解析装置。
【請求項４】
前記第３算出部は、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の前記密度と前記移動量の逆数との乗算値の総和を、物体の滞留度を示す前記統計量として算出し、
前記特定部は、
複数の前記ブロックの内、前記統計量が第３の閾値以上の前記ブロックを、前記統計量が前記閾値以上の前記非定常ブロックとして特定する、
請求項１に記載の画像解析装置。
【請求項５】
前記第３算出部は、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々について、前記部分領域の前記密度と、該部分領域の前記移動量の逆数と、同じ前記ブロックに含まれる他の前記部分領域の前記密度と、の乗算値を、該部分領域と該他の部分領域との距離で除算した総和を、物体の位置エネルギーを示す前記統計量として算出し、
前記特定部は、
複数の前記ブロックの内、前記統計量が第４の閾値以上の前記ブロックを、前記統計量が前記閾値以上の前記非定常ブロックとして特定する、
請求項１に記載の画像解析装置。
【請求項６】
前記非定常状態は、前記ブロック内に含まれる、物体の混雑の有無、物体の滞留の有無、物体の集合の有無、の少なくとも１つを示す、請求項１〜請求項５の何れか１項に記載の画像解析装置。
【請求項７】
前記画像における、前記非定常ブロックを強調した表示画像を表示部に表示する制御を行う表示制御部を備えた、請求項１〜請求項５の何れか１項に記載の画像解析装置。
【請求項８】
前記画像における、前記非定常ブロックに、非定常状態を示す情報を重畳した表示画像を、表示部に表示する制御を行う表示制御部を備えた、請求項１〜請求項５の何れか１項に記載の画像解析装置。
【請求項９】
前記非定常ブロックを示す表示画像を表示部に表示する制御を行う表示制御部を備えた、請求項１〜請求項５の何れか１項に記載の画像解析装置。
【請求項１０】
画像に含まれる複数のブロックの各々について、ブロックに含まれる部分領域の各々の、密度とオプティカルフローによって示される物体の移動量とを組み合わせた統計量を算出する算出部と、
複数の前記ブロックの内、前記統計量が閾値以上の前記ブロックを、非定常状態にある非定常ブロックとして特定する特定部と、
を備える画像解析装置。
【請求項１１】
画像から複数の部分領域を抽出するステップと、
前記部分領域のオプティカルフローを算出するステップと、
前記部分領域に含まれる物体の密度を算出するステップと、
前記画像を複数のブロックに分割するステップと、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の、前記密度と前記オプティカルフローによって示される物体の移動量とを組み合わせた統計量を算出するステップと、
複数の前記ブロックの内、前記統計量が閾値以上の前記ブロックを、非定常状態にある非定常ブロックとして特定するステップと、
を含む画像解析方法。
【請求項１２】
画像から複数の部分領域を抽出するステップと、
前記部分領域のオプティカルフローを算出するステップと、
前記部分領域に含まれる物体の密度を算出するステップと、
前記画像を複数のブロックに分割するステップと、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の、前記密度と前記オプティカルフローによって示される物体の移動量とを組み合わせた統計量を算出するステップと、
複数の前記ブロックの内、前記統計量が閾値以上の前記ブロックを、非定常状態にある非定常ブロックとして特定するステップと、
をコンピュータに実行させる画像解析プログラム。
【請求項１３】
画像から複数の部分領域を抽出する抽出部と、
前記部分領域のオプティカルフローを算出する第１算出部と、
前記部分領域に含まれる物体の密度を算出する第２算出部と、
前記画像を複数のブロックに分割する分割部と、
複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の、前記密度と前記オプティカルフローによって示される物体の移動量とを組み合わせた統計量を算出する第３算出部と、
複数の前記ブロックの内、前記統計量が閾値以上の前記ブロックを、非定常状態にある非定常ブロックとして特定する特定部と、
前記画像における、前記非定常ブロックを強調した表示画像を表示する表示部と、
を備える画像解析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、画像解析方法、画像解析プログラム、および画像解析システムに関する。
【背景技術】
【０００２】
画像から、非定常状態を検出するシステムが知られている。例えば、特許文献１には、画像のオプティカルフローの属性から、非定常状態を特定することが開示されている。特許文献１では、非定常状態として、主流な流れに対する逆行、異なる速度の動きが存在する速度異常、および、流れに乱れが発生した状態、を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２２３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、特定可能な非定常状態の種類が限定されていた。
【０００５】
本発明が解決しようとする課題は、特定可能な非定常状態の種類の増加を図ることができる、画像解析装置、画像解析方法、画像解析プログラム、および画像解析システムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の密度計測装置は、抽出部と、第１算出部と、第２算出部と、分割部と、第３算出部と、特定部と、を備える。抽出部は、画像から複数の部分領域を抽出する。第１算出部は、前記部分領域のオプティカルフローを算出する。第２算出部は、前記部分領域に含まれる物体の密度を算出する。分割部は、前記画像を複数のブロックに分割する。第３算出部は、複数の前記ブロックの各々について、前記ブロックに含まれる前記部分領域の各々の、前記密度と前記オプティカルフローによって示される物体の移動量とを組み合わせた統計量を算出する。特定部は、複数の前記ブロックの内、前記統計量が閾値以上の前記ブロックを、非定常状態にある非定常ブロックとして特定する。
【図面の簡単な説明】
【０００７】
【図１】本実施の形態の画像解析システムの機能的構成を示すブロック図。
【図２】解析対象の画像の一例を示す図。
【図３】部分領域の一例の説明図。
【図４】オプティカルフローおよび密度算出の説明図。
【図５】画像の分割の説明図。
【図６】部分領域とブロックの対応の一例を示す図。
【図７】閾値の説明図。
【図８】撮影時間ごとの特定の一例を示す説明図。
【図９】撮影時間ごとの特定の一例を示す説明図。
【図１０】閾値の説明図。
【図１１】撮影時間ごとの特定の一例を示す説明図。
【図１２】撮影時間ごとの特定の一例を示す説明図。
【図１３】表示画像の一例を示す模式図。
【図１４】表示画像の一例を示す模式図。
【図１５−１】画像解析処理の手順の一例を示すフローチャート。
【図１５−２】表示画像の一例を示す模式図。
【図１６】第２算出部の構成の一例を示すブロック図。
【図１７】補正画像、部分領域、ラベルの説明図。
【図１８】演算部の構成の一例を示すブロック図。
【図１９】ラベル及びヒストグラムの説明図。
【図２０】投票ヒストグラムの説明図。
【図２１】ランダムツリーの説明図。
【図２２】ランダムフォレストの説明図。
【図２３】代表ラベルの予測の説明図。
【図２４】代表ラベル予測後の、ランダムツリーの説明図。
【図２５】代表ラベルの予測の説明図。
【図２６】密度算出処理の手順を示すフローチャート。
【図２７】演算処理の手順を示すフローチャート。
【図２８】最近傍識別器を用いた学習の説明図。
【図２９】ハードウェア構成の一例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、画像解析装置、画像解析方法、画像解析プログラム、および画像解析システムの一の実施形態を詳細に説明する。
【０００９】
（第１の実施の形態）
図１は、本実施の形態の画像解析システム１０の機能的構成を示すブロック図である。画像解析システム１０は、画像解析装置１２と、記憶部１１と、ＵＩ（ユーザ・インターフェース）部２１と、を備える。記憶部１１およびＵＩ部２１は、画像解析装置１２に電気的に接続されている。
【００１０】
ＵＩ部２１は、表示部２１Ａと、入力部２１Ｂと、を含む。表示部２１Ａは、種々の画像を表示する。表示部２１Ａは、例えばＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイなどである。入力部２１Ｂは、ユーザからの各種指示や情報入力を受け付ける。入力部２１Ｂは、例えば、キーボード、マウス、スイッチ、マイクなどである。
【００１１】
なお、ＵＩ部２１は、表示部２１Ａと入力部２１Ｂとを一体的に構成したタッチパネルであってもよい。
【００１２】
記憶部１１は、各種データを記憶する。本実施の形態では、記憶部１１は、解析対象の画像を記憶する。記憶部１１は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカードなどの、磁気的、光学的、および電気的に記憶可能な記憶装置の少なくともいずれかにより実現できる。
【００１３】
画像解析装置１２は、画像を解析し、非定常状態にある領域を特定する（詳細後述）。画像解析装置１２の解析対象の画像は、１または複数の物体を含む。物体は、画像解析可能な物であればよい。本実施の形態では、一例として、物体が人物である場合を説明する。しかし、物体は、人物に限定されない。例えば、物体は、車両、細胞、などであってもよい。
【００１４】
画像解析装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。なお、画像解析装置１２は、ＣＰＵ以外の回路等であってもよい。
【００１５】
画像解析装置１２は、画像解析システム１０全体を制御する。画像解析装置１２は、取得部１３と、抽出部１４と、第１算出部１５と、第２算出部１６と、分割部１７と、第３算出部１８と、特定部１９と、表示制御部２０と、を含む。
【００１６】
取得部１３、第１算出部１５、第２算出部１６、分割部１７、第３算出部１８、特定部１９、および表示制御部２０との一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【００１７】
取得部１３は、解析対象の画像を取得する。本実施の形態では、取得部１３は、記憶部１１から画像を取得する。なお、取得部１３は、図示を省略する外部装置や、図示を省略する公知の撮影装置などから、画像を取得してもよい。
【００１８】
本実施の形態では、取得部１３は、時系列で撮影された複数の画像を取得する場合を、一例として説明する。
【００１９】
図２は、解析対象の画像３３の一例を示す図である。画像３３は、物体３０を含む。上述したように、本実施の形態では、物体３０が人である場合を説明する。
【００２０】
図１に戻り、抽出部１４は、画像３３から複数の部分領域を抽出する。
【００２１】
部分領域は、画像３３の一部の画像であり、少なくとも１つの物体３０を含む。本実施の形態では、部分領域は、画像３３の一部を矩形状に抽出した画像である場合を説明する。
【００２２】
図３は、部分領域５０の一例の説明図である。抽出部１４は、画像３３上において、抽出する対象となる矩形状の領域を移動させて、複数の部分領域５０を抽出する。
【００２３】
なお、図３に示す例では、抽出部１４は、部分領域５０の各々に１つの物体３０が含まれるように抽出する形態を示した。しかし、部分領域５０には、２つ以上の物体３０が含まれていてもよい。
【００２４】
また、部分領域５０の形状は、矩形に限られず、任意の形であってよい。また、画像３３から抽出する複数の部分領域５０の各々の大きさおよび形状は、部分領域５０間で同じであってもよいし、異なっていてもよい。例えば、各部分領域５０の大きさは、各部分領域５０に含まれる物体３０の占める領域に応じた形状や大きさであってもよい。
【００２５】
また、画像３３から抽出する複数の部分領域５０は、少なくとも一部分が互いに重なっていてもよい。抽出部１４が画像３３から抽出する部分領域５０の数は、２以上であればよく、その数は限定されない。
【００２６】
なお、抽出部１４は、予め定めた形状および大きさの矩形状の枠を用意し、該枠に応じた形状および大きさの部分領域５０を画像３３から抽出してもよい。また、抽出部１４は、画像３３に含まれる物体３０の各々を特定し、特定した物体３０を含むように、部分領域５０を抽出してもよい。また、抽出部１４が抽出する部分領域５０の各々の、位置、大きさ、および形状は、ユーザによる入力部２１Ｂの操作によって変更可能としてもよい。
【００２７】
本実施の形態では、抽出部１４は、時系列で撮影された複数の画像（画像３３を含む）の各々について、複数の部分領域５０を抽出する。
【００２８】
図１に戻り、第１算出部１５は、部分領域５０のオプティカルフローを算出する。第１算出部１５は、抽出部１４が抽出した複数の部分領域５０の各々について、オプティカルフローを算出する。
【００２９】
オプティカルフローとは、画像中の物体３０の動きをベクトルで表したものである。すなわち、オプティカルフローは、物体３０の移動量および移動方向を表す。
【００３０】
本実施の形態では、第１算出部１５は、解析対象の画像３３における複数の部分領域５０の各々と、該画像３３より以前に撮影された画像における複数の部分領域５０の各々と、の間で、同じ物体３０の対応付けを行う。画像３３より以前に撮影された画像とは、時系列的に連続する複数の画像における、画像３３の直前に撮影された画像であることが好ましい。
【００３１】
そして、第１算出部１５は、画像３３における複数の部分領域５０の各々に含まれる、物体３０のオプティカルフローを算出する。
【００３２】
第１算出部１５は、公知の方法を用いて、オプティカルフローを算出する。例えば、第１算出部１５は、Ｌｕｃａｓ  Ｋａｎａｄｅ法を用いて、各部分領域５０の各々のオプティカルフローを算出する。
【００３３】
Ｌｕｃａｓ  Ｋａｎａｄｅ法は、具体的には、文献１（Ｂ．  Ｄ．  Ｌｕｃａｓ  ａｎｄ  Ｔ．  Ｋａｎａｄｅ，  “Ａｎ  Ｉｔｅｒａｔｉｖｅ  Ｉｍａｇｅ  Ｒｅｇｉｓｔｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｗｉｔｈ  ａｎ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｓｔｅｒｅｏ  Ｖｉｓｉｏｎ，”  ｉｎ  Ｐｒｏｃ．  ｏｆ  Ｉｎｔ．  Ｊｏｉｎｔ  Ｃｏｎｆ．  ｏｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｐｐ．６７４〜６６７．）に示す方法である。
【００３４】
図４は、オプティカルフローおよび密度算出の説明図である。図４（Ａ）は、オプティカルフロー３５の説明図である。図４（Ａ）に示すように、第１算出部１５は、各部分領域５０の各々について、オプティカルフロー３５を算出する。
【００３５】
なお、部分領域５０に複数の物体３０が含まれる場合がある。この場合、第１算出部１５は、部分領域５０に含まれる複数の物体３０の各々について、オプティカルフローを算出する。そして、第１算出部１５は、算出したオプティカルフローによって示される移動量の平均移動量およびベクトル方向の平均方向を、移動量およびベクトル方向とするベクトルのオプティカルフロー３５を算出する。そして、第１算出部１５は、このオプティカルフロー３５を、該部分領域５０のオプティカルフロー３５として用いる。
【００３６】
図１に戻り、第２算出部１６は、部分領域５０の各々について、部分領域５０に含まれる物体３０の密度を算出する。すなわち、第２算出部１６は、解析対象の画像３３から抽出した部分領域５０の各々について、物体３０の密度を算出する。
【００３７】
第２算出部１６は、公知の方法を用いて、各部分領域５０の各々に含まれる物体３０の密度を算出すればよい。なお、高精度に密度を算出する理由から、第２算出部１６は、第２の実施の形態で説明する算出方法を用いて密度を算出することが好ましい（詳細後述）。
【００３８】
図４（Ｂ）は、密度算出の説明図である。例えば、第２算出部１６は、画像３３に含まれる部分領域５０の各々について、物体３０の密度を算出する。
【００３９】
このため、第１算出部１５および第２算出部１６によって、画像３３に含まれる複数の部分領域５０の各々について、オプティカルフロー３５と、密度と、が算出された状態となる（図４（Ａ）、図４（Ｂ）参照）。
【００４０】
図１に戻り、分割部１７は、解析対象の画像３３を、複数のブロックに分割する。図５は、画像３３の分割の説明図である。分割部１７は、例えば、画像３３を複数のブロックＰに分割する。
【００４１】
なお、図５には、分割部１７が、画像３３を、３×３の９つのブロックＰ（ブロックＰ１〜ブロックＰ９）に分割した例を示した。しかし、分割部１７は、画像３３を複数の（２以上の）ブロックＰに分割すればよく、９つに限定されない。
【００４２】
また、分割部１７は、分割した複数のブロックＰの少なくとも１つが、少なくとも１つの部分領域５０を含むように、画像３３を分割することが好ましい。図６は、部分領域５０とブロックＰ（ブロックＰ１〜ブロックＰ９）の対応の一例を示す図である。図６に示すように、分割部１７は、複数のブロックＰの少なくとも１つが、少なくとも１つの部分領域５０を含むように、画像３３を分割することが好ましい。
【００４３】
なお、複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の各々は、互いに同じ形状および大きさであってもよいし、異なる形状および大きさであってもよい。例えば、分割部１７は、予め定めた数以上の部分領域５０を少なくとも含むように、画像３３を複数のブロックＰに分割してもよい。
【００４４】
また、ブロックＰの大きさや分割数を、解析対象の画像３３の属性に応じて変更してもよい。解析対象の画像３３の属性とは、画像３３の撮影された場面（場所、時期、時刻、１枚の画像に含まれる物体の数、物体の大きさ、など）を示す。この場合、取得部１３は、属性の付与された画像３３を取得すればよい。そして、分割部１７は、解析対象の画像３３に付与された属性を読取り、読取った属性に対応する大きさ及び分割数のブロックＰに、画像３３を分割すればよい。
【００４５】
図１に戻り、第３算出部１８は、複数のブロックＰの各々について、統計量を算出する。統計量は、ブロックＰに含まれる部分領域５０の各々の、物体３０の密度と、オプティカルフロー３５によって示される物体３０の移動量と、を組み合わせた値である。言い換えると、統計量は、ブロックＰの各々に含まれる１または複数の部分領域５０の、物体３０の密度と移動量とによって表される性質を示す情報である。
【００４６】
統計量は、例えば、ブロックＰに含まれる、物体３０の運動量、物体３０の運動エネルギー、物体３０の滞留度、および、物体３０の位置エネルギー、の少なくとも１つである。すなわち、統計量は、物体３０の運動量、物体３０の運動エネルギー、物体３０の滞留度、および、物体３０の位置エネルギー、の何れか１つであってもよいし、これらの２つ以上を組み合わせたものであってもよい。なお、以下では、物体３０については、符号を省略して単に物体と称して説明する場合がある。
【００４７】
第３算出部１８は、ブロックＰに含まれる１または複数の部分領域５０から算出した、物体の運動量、物体の運動エネルギー、物体の滞留度、および、物体の位置エネルギーの、１または複数を組み合わせたものを、統計量として算出する。
【００４８】
第３算出部１８は、複数のブロックＰの各々について、各ブロックＰに含まれる部分領域５０の各々の、物体の密度と物体の移動量と、を用いて、統計量を算出する。物体の移動量は、オプティカルフロー３５によって示される物体の移動量である。言い換えると、オプティカルフロー３５のベクトルの長さが、物体の移動量に相当する。
【００４９】
なお、図６に示すように、部分領域５０の各々が、何れか１つの領域内に収まるように配置されるとは限らない。すなわち、部分領域５０が、隣接するブロックＰ間にまたがって配置される場合もある。この場合、第３算出部１８は、複数のブロックＰにまたがって配置された部分領域５０については、各ブロックＰに重なる領域の面積比に応じて、算出した密度および移動量を分配した値を用いる。
【００５０】
例えば、ある部分領域５０における、物体の密度が“Ｈ”であり、オプティカルフロー３５によって示される移動量が“Ｒ”であったと仮定する。また、この部分領域５０が、複数のブロックＰ（例えば、ブロックＰ１とブロックＰ２）にまたがって配置されていると仮定する。また、この部分領域５０は、全体の面積の１／３の領域がブロックＰ１に位置し、２／３の領域がブロックＰ２に位置していたと仮定する。
【００５１】
この場合、第３算出部１８は、該密度“Ｈ”に１／３を乗算した値を、ブロックＰ１における該部分領域５０の物体の密度として用いればよい。また、第３算出部１８は、該移動量“Ｒ”に１／３を乗算した値を、ブロックＰ１における該部分領域５０の移動量として用いればよい。
【００５２】
同様に、第３算出部１８は、該密度“Ｈ”に２／３を乗算した値を、ブロックＰ２における該部分領域５０の物体の密度として用いればよい。また、第３算出部１８は、該移動量“Ｒ”に２／３を乗算した値を、ブロックＰ２における該部分領域５０の移動量として用いればよい。
【００５３】
特定部１９は、複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、第３算出部１８によって算出された統計量が閾値以上のブロックＰを、非定常状態にある非定常ブロックとして特定する。非定常状態にあるか定常状態にあるかの特定に用いる閾値は、予め定めればよい。
【００５４】
非定常状態とは、定常状態ではない状態を示す。非定常状態は、例えば、ブロックＰ内に含まれる、物体の混雑の有無、物体の滞留の有無、物体の集合の有無、の少なくとも１つの種類を示す。
【００５５】
物体の混雑の有無とは、多数の物体が密集して移動している状態、または、少数の物体が移動している状態を示す。多数の物体とは、予め定めた閾値以上の数の物体を示す。少数の物体とは、該閾値未満の数の物体を示す。これらの閾値（物体の数）は、閾値の調整によって予め定めればよい。
【００５６】
物体の滞留の有無とは、多数の物体が滞留した状態、または、物体が滞留していない状態、を示す。多数の物体が滞留とは、多数の物体の移動速度が閾値以下であることを示す。この閾値は、予め定めればよい。
【００５７】
物体の集合の有無とは、多数の物体が集合した状態、または、物体が集合していない状態、を示す。物体が集合、とは、各物体間の距離が予め定めた閾値以下であることを示す。この閾値は、予め定めればよい。
【００５８】
次に、統計量の算出、および、非定常状態の特定について、具体的に説明する。
【００５９】
まず、統計量として、物体の運動量を算出する場合を説明する。
【００６０】
この場合、第３算出部１８は、複数のブロックＰの各々について、ブロックＰに含まれる部分領域５０の各々の、物体の密度とオプティカルフロー３５によって示される移動量との乗算値の総和を、物体の運動量として算出する。
【００６１】
具体的には、第３算出部１８は、式（１）を用いて、ブロックＰごとに物体の運動量Ｍを算出する。
【００６２】
【数１】
0006577397.tif 000002
【００６３】
式（１）中、Ｍは、ブロックＰにおける物体の運動量を示す。ｉは、１以上ｎ以下の整数である。ｍｉは、ブロックＰ内の位置ｉの部分領域５０の物体の密度を示す。ｖｉは、ブロックＰ内の位置ｉの部分領域５０の移動量（オプティカルフロー３５によって示される移動量）を示す。なお、ブロックＰ内の部分領域５０の各々には、１つの位置ｉを割り当てる。このため、式（１）中のｎの値は、ブロックＰ内に存在する部分領域５０の数と一致する。
【００６４】
すなわち、第３算出部１８は、ブロックＰ内の部分領域５０の各々について、オプティカルフロー３５によって示される移動量と物体の密度との乗算値を算出する。そして、第３算出部１８は、ブロックＰ内に含まれる部分領域５０の各々の乗算値の総和（合計値）を、物体の運動量Ｍとして算出する。
【００６５】
この場合、特定部１９は、画像３３の複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、第３算出部１８が算出した物体の運動量Ｍが第１の閾値以上のブロックＰを、非定常ブロックとして特定する。すなわち、特定部１９は、Ｍ≧Ｔ１の関係を満たすブロックＰを、非定常ブロックとして特定する。なお、Ｔ１は、第１の閾値を示す。
【００６６】
なお、特定部１９は、ブロックＰに含まれる部分領域５０の数（すなわち、式（１）におけるｎの値）と、第１の閾値と、を対応づけて予め記憶部１１に記憶する。そして、特定部１９は、ブロックＰごとに、ブロックＰに含まれる部分領域５０の数に対応する第１の閾値を記憶部１１から読取り、非定常ブロックであるか否かの特定に用いる。
【００６７】
そして、さらに、特定部１９は、Ｍ≧Ｔ１の関係を満たすブロックＰについて、含まれる部分領域５０の各々の物体の密度の総和を用いて、物体の混雑の有無を特定する。具体的には、特定部１９は、式（２）を用いて、ブロックＰごとに物体の混雑の有無を特定する。
【００６８】
【数２】
0006577397.tif 000003
【００６９】
式（２）中、Ｄは、ブロックＰに含まれる部分領域５０の各々の物体の密度の総和を示す。式（２）中、ｎ、ｉ、およびｍｉは、式（１）と同様の意味である。
【００７０】
特定部１９は、運動量Ｍを用いて非定常状態であると特定したブロックＰの内、ブロックＰに含まれる部分領域５０の各々の物体の密度の総和Ｄが、第５の閾値以上のブロックＰを、多数の物体が密集して移動している状態にあると特定する。すなわち、特定部１９は、Ｍ≧Ｔ１、および、Ｄ≧Ｔ５の関係を満たすブロックＰを、多数の物体が密集して移動している状態にある非定常ブロックと特定する。なお、Ｔ５は、第５の閾値を示す。
【００７１】
また、特定部１９は、運動量Ｍを用いて非定常状態であると特定したブロックＰの内、ブロックＰに含まれる部分領域５０の各々の物体の密度の総和Ｄが、第５の閾値未満のブロックＰを、少数の物体が移動している状態にあると特定する。すなわち、特定部１９は、Ｍ≧Ｔ１、および、Ｄ＜Ｔ５の関係を満たすブロックＰを、少数の物体が移動している状態にある非定常ブロックと特定する。
【００７２】
なお、特定部１９は、ブロックＰに含まれる部分領域５０の数（すなわち、式（２）におけるｎの値）と、第５の閾値と、を対応づけて予め記憶部１１に記憶する。そして、特定部１９は、ブロックＰごとに、ブロックＰに含まれる部分領域５０の数に対応する第５の閾値を記憶部１１から読取り、物体の混雑の有無の特定に用いる。
【００７３】
図７は、ブロックＰ内に部分領域５０が１つのみ存在する場合の、閾値の説明図である。図７中、線３８Ａは、第１の閾値Ｔ１を示す線である。また、図７中、線Ｔ５は、第５の閾値Ｔ５を示す線である。
【００７４】
図７に示す図における、ｍ×｜ｖ｜の値（密度と移動量の絶対値との乗算値）が線３８Ａ以上である空間Ａが、非定常状態を示す空間である。また、線３８Ａよりｍ×｜ｖ｜の値が小さい空間Ｂが、定常状態を示す空間である。また、非定常状態の空間Ａにおいて、密度（ｍ）の値が第５の閾値Ｔ５以上の空間は、多数の物体が密集している状態を示す空間である。また、非定常状態の空間Ａにおいて、密度（ｍ）の値が第５の閾値未満の空間は、少数の物体が移動している状態を示す空間である。
【００７５】
このように、特定部１９は、画像３３に含まれるブロックＰ（ブロックＰ１〜ブロックＰ９）の各々について、第３算出部１８が算出した物体の運動量Ｍを用いることによって、非定常状態にある非定常ブロックを特定する。また、特定部１９は、物体の運動量Ｍを用いることによって、非定常ブロックの物体の混雑の有無（多数の物体が密集して移動している状態、または、少数の物体が移動している状態）を特定する。
【００７６】
また、取得部１３が取得した時系列で撮影された複数の画像の各々について、抽出部１４、第１算出部１５、第２算出部１６、分割部１７、第３算出部１８、および特定部１９が上記処理を行うことによって、撮影時間ごとに、各ブロックＰの物体の混雑の有無を特定することができる。
【００７７】
図８は、撮影時間ごとの特定の一例を示す説明図である。図８中、線３９Ａは、ある特定のブロックＰの運動量Ｍの算出結果の推移の一例を示す。図８に示す例では、撮影時間ｔ１のときに、運動量Ｍが第１の閾値Ｔ１を超えている。この場合、特定部１９は、撮影時間ｔ１のタイミングで撮影された画像３３における該ブロックＰが、非定常状態にある非定常ブロックであると特定する。また、このとき、特定部１９は、第５の閾値Ｔ５を用いた上記特定を行うことで、該ブロックＰの物体の混雑の有無（多数の物体が密集して移動している状態、または、少数の物体が移動している状態）も特定することができる。
【００７８】
次に、統計量として、物体の運動エネルギーを算出する場合を説明する。
【００７９】
この場合、第３算出部１８は、複数のブロックＰの各々について、ブロックＰに含まれる部分領域５０の各々の、物体の密度と移動量の二乗との乗算値の総和を、物体の運動エネルギーとして算出する。
【００８０】
具体的には、第３算出部１８は、式（３）を用いて、ブロックＰごとに物体の運動エネルギーＫを算出する。
【００８１】
【数３】
0006577397.tif 000004
【００８２】
式（３）中、Ｋは、ブロックＰにおける物体の運動エネルギーを示す。ｉ、ｍｉ、ｖｉ、およびｎは、式（１）と同様の意味である。
【００８３】
すなわち、第３算出部１８は、ブロックＰ内の部分領域５０の各々について、オプティカルフロー３５によって示される移動量の二乗と物体の密度との乗算値を算出する。そして、第３算出部１８は、ブロックＰ内に含まれる部分領域５０の各々の該乗算値の総和（合計値）を、物体の運動エネルギーＫとして算出する。
【００８４】
この場合、特定部１９は、画像３３の複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、第３算出部１８が算出した物体の運動エネルギーＫが第２の閾値以上のブロックＰを、非定常ブロックとして特定する。すなわち、特定部１９は、Ｋ≧Ｔ２の関係を満たすブロックＰを、非定常状態にある非定常ブロックとして特定する。なお、Ｔ２は、第２の閾値を示す。
【００８５】
なお、特定部１９は、ブロックＰに含まれる部分領域５０の数（すなわち、式（３）におけるｎの値）と、第２の閾値と、を対応づけて予め記憶部１１に記憶する。そして、特定部１９は、ブロックＰごとに、ブロックＰに含まれる部分領域５０の数に対応する第２の閾値を記憶部１１から読取り、非定常ブロックであるか否かの特定に用いる。
【００８６】
そして、さらに、特定部１９は、Ｋ≧Ｔ２の関係を満たすブロックＰについて、含まれる部分領域５０の各々の物体の密度の総和を用いて、物体の混雑の有無を特定する。具体的には、特定部１９は、上記式（２）を用いて、ブロックＰごとに物体の混雑の有無を特定する。
【００８７】
詳細には、特定部１９は、運動エネルギーＫを用いて非定常状態であると特定したブロックＰの内、ブロックＰに含まれる部分領域５０の各々の物体の密度の総和Ｄが、第６の閾値以上のブロックＰを、多数の物体が密集して移動している状態にあると特定する。すなわち、特定部１９は、Ｋ≧Ｔ２、および、Ｄ≧Ｔ６の関係を満たすブロックＰを、多数の物体が密集して移動している非定常状態にある非定常ブロックと特定する。なお、Ｔ６は、第６の閾値を示す。
【００８８】
また、特定部１９は、運動エネルギーＫを用いて非定常状態であると特定したブロックＰの内、ブロックＰに含まれる部分領域５０の各々の物体の密度の総和Ｄが、第６の閾値未満のブロックＰを、少数の物体が移動している状態にあると特定する。すなわち、特定部１９は、Ｋ≧Ｔ２、および、Ｄ＜Ｔ６の関係を満たすブロックＰを、少数の物体が移動している非定常状態にある非定常ブロックと特定する。
【００８９】
なお、特定部１９は、ブロックＰに含まれる部分領域５０の数（すなわち、式（２）におけるｎの値）と、第６の閾値と、を対応づけて予め記憶部１１に記憶する。そして、特定部１９は、ブロックＰごとに、ブロックＰに含まれる部分領域５０の数に対応する第６の閾値を記憶部１１から読取り、物体の混雑の有無の特定に用いる。
【００９０】
このように、特定部１９は、画像３３に含まれるブロックＰ（ブロックＰ１〜ブロックＰ９）の各々について、第３算出部１８が算出した物体の運動エネルギーＫを用いることによって、非定常状態にある非定常ブロックを特定する。また、特定部１９は、物体の運動エネルギーＫを用いることによって、非定常ブロックの物体の混雑の有無（多数の物体が密集して移動している状態、または、少数の物体が移動している状態）を特定する。
【００９１】
また、取得部１３が取得した時系列で撮影された複数の画像の各々について、抽出部１４、第１算出部１５、第２算出部１６、分割部１７、第３算出部１８、および特定部１９が上記処理を行うことによって、撮影時間ごとに、非定常ブロックの物体の混雑の有無を特定することができる。
【００９２】
図９は、撮影時間ごとの特定の一例を示す説明図である。図９中、線３９Ｂは、ある特定のブロックＰの運動エネルギーＫの算出結果の推移の一例を示す。図９に示す例では、撮影時間ｔ２〜撮影時間ｔ３の期間と、撮影時間ｔ４〜撮影時間ｔ５の期間に、運動エネルギーＫが第２の閾値Ｔ２を超えている。この場合、特定部１９は、撮影時間ｔ２〜撮影時間ｔ３の期間と、撮影時間ｔ４〜撮影時間ｔ５、に撮影された画像３３における該ブロックＰが、非定常状態にある非定常ブロックであると特定する。また、このとき、特定部１９は、第６の閾値Ｔ６を用いた上記特定を行うことで、該ブロックＰの物体の混雑の有無（多数の物体が密集して移動している状態、または、少数の物体が移動している状態）も特定する。
【００９３】
次に、統計量として、物体の滞留度を算出する場合を説明する。
【００９４】
この場合、第３算出部１８は、複数のブロックＰの各々について、ブロックＰに含まれる部分領域５０の各々の、物体の密度と移動量の逆数との乗算値の総和を、物体の滞留度として算出する。なお、移動量の逆数は、移動量に定数を加算した加算値の逆数であってもよい。
【００９５】
具体的には、第３算出部１８は、式（４）を用いて、ブロックＰごとに物体の滞留度Ｓを算出する。
【００９６】
【数４】
0006577397.tif 000005
【００９７】
式（４）中、Ｓは、ブロックＰにおける物体の滞留度を示す。ｉ、ｍｉ、ｖｉ、およびｎは、式（１）と同様の意味である。式（４）中、ｇ（ｖｉ）は、式（５）によって表される関数である。
【００９８】
【数５】
0006577397.tif 000006
【００９９】
式（５）中、αは、０以上の整数である。αには、任意の値を予め定めればよい。
【０１００】
すなわち、第３算出部１８は、ブロックＰ内の部分領域５０の各々について、物体の密度と移動量の逆数との乗算値を算出する。そして、第３算出部１８は、ブロックＰ内に含まれる部分領域５０の各々の乗算値の総和（合計値）を、物体の滞留度Ｓとして算出する。
【０１０１】
この場合、特定部１９は、画像３３の複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、第３算出部１８が算出した物体の滞留度Ｓが第３の閾値以上のブロックＰを、非定常ブロックとして特定する。すなわち、特定部１９は、Ｓ≧Ｔ３の関係を満たすブロックＰを、非定常ブロックとして特定する。なお、Ｔ３は、第３の閾値を示す。
【０１０２】
なお、特定部１９は、ブロックＰに含まれる部分領域５０の数（すなわち、式（４）におけるｎの値）と、第３の閾値と、を対応づけて予め記憶部１１に記憶する。そして、特定部１９は、ブロックＰごとに、ブロックＰに含まれる部分領域５０の数に対応する第３の閾値を記憶部１１から読取り、非定常ブロックであるか否かの特定に用いる。
【０１０３】
本実施の形態では、特定部１９は、物体の滞留度Ｓが第３の閾値以上のブロックＰに、物体の滞留が生じている（すなわち、多数の物体が滞留している）と特定する。
【０１０４】
図１０は、ブロックＰ内に部分領域５０が１つのみ存在する場合の、閾値の説明図である（すなわち、式（４）中、ｎが“１”（ｎ＝１））。図１０中、線３８Ｃは、第３の閾値Ｔ３を示す線である。
【０１０５】
図１０における、密度と移動量によって表される滞留度Ｓが線３８Ｃ以上である空間Ａが、物体の滞留が生じていることを示す空間である。また、密度と移動量によって表される滞留度Ｓが線３８Ｃ未満である空間Ｂが、定常状態を示す空間である。
【０１０６】
このように、特定部１９は、画像３３に含まれるブロックＰ（ブロックＰ１〜ブロックＰ９）の各々について、第３算出部１８が算出した物体の滞留度Ｓを用いることによって、非定常状態にある非定常ブロックを特定する。また、特定部１９は、物体の滞留度Ｓを用いることによって、非定常ブロックに物体の滞留が生じていることを特定する。
【０１０７】
また、取得部１３が取得した時系列で撮影された複数の画像の各々について、抽出部１４、第１算出部１５、第２算出部１６、分割部１７、第３算出部１８、および特定部１９が上記処理を行うことによって、撮影時間ごとの、非定常ブロックの物体の滞留の有無を特定することができる。
【０１０８】
図１１は、撮影時間ごとの特定の一例を示す説明図である。図１１中、線３９Ｃは、ある特定のブロックＰの滞留度Ｓの算出結果の推移の一例を示す。図１１に示す例では、撮影時間ｔ６から撮影時間ｔ７の期間に、滞留度Ｓが第３の閾値Ｔ３を超えている。この場合、特定部１９は、撮影時間ｔ６〜撮影時間ｔ７のタイミングで撮影された画像３３における該ブロックＰが、非定常状態にある非定常ブロックであると特定する。また、このとき、特定部１９は、この非定常ブロックに、物体の滞留が生じていることを特定する。
【０１０９】
次に、統計量として、物体の位置エネルギーを算出する場合を説明する。
【０１１０】
この場合、第３算出部１８は、複数のブロックＰの各々について、ブロックＰに含まれる部分領域５０の物体の密度と、該部分領域５０の物体の移動量の逆数と、同じブロックＰに含まれる他の部分領域５０の物体の密度と、の乗算値を算出する。そして、第３算出部１８は、この乗算値を、部分領域５０と他の部分領域５０との距離で除算した総和を、物体の位置エネルギーとして算出する。
【０１１１】
具体的には、第３算出部１８は、式（６）を用いて、ブロックＰごとに物体の運動エネルギーＫを算出する。
【０１１２】
【数６】
0006577397.tif 000007
【０１１３】
式（６）中、Ｕは、ブロックＰにおける物体の位置エネルギーを示す。ｉ、ｍｉ、ｖｉ、およびｎは、式（１）と同様の意味である。ｇ（ｖｉ）は、上記式（５）によって表される関数である。
【０１１４】
式（６）中、ｊは、１以上ｎ以下の整数である。ｊは、ブロックＰ内における各部分領域５０の位置を示し、ｉとは異なる位置を示す。すなわち、ｉ≠ｊの関係である。式（６）中、ｒｉｊは、同じブロックＰ内における、位置ｉの部分領域５０と、位置ｊの部分領域５０と、の距離を示す。ｒｉｊは、例えば、画像３３における、位置ｉの部分領域５０の中心と、位置ｊの部分領域５０の中心と、の間の最短距離を示す。
【０１１５】
この場合、特定部１９は、画像３３の複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、第３算出部１８が算出した物体の位置エネルギーＵが第４の閾値以上のブロックＰを、非定常ブロックとして特定する。すなわち、特定部１９は、Ｕ≧Ｔ４の関係を満たすブロックＰを、非定常ブロックとして特定する。なお、Ｔ４は、第４の閾値を示す。
【０１１６】
なお、特定部１９は、ブロックＰに含まれる部分領域５０の数（すなわち、式（６）におけるｎの値）と、第４の閾値と、を対応づけて予め記憶部１１に記憶する。そして、特定部１９は、ブロックＰごとに、ブロックＰに含まれる部分領域５０の数に対応する第４の閾値を記憶部１１から読取り、非定常ブロックであるか否かの特定に用いる。
【０１１７】
本実施の形態では、特定部１９は、物体の位置エネルギーＵが第４の閾値以上のブロックＰを、非定常状態にある非定常ブロックであると特定する。また、特定部１９は、該非定常ブロックに、物体の滞留、および、多数の物体の集合、が生じている、と特定する。
【０１１８】
このように、特定部１９は、画像３３に含まれるブロックＰ（ブロックＰ１〜ブロックＰ９）の各々について、第３算出部１８が算出した物体の位置エネルギーＵを用いることによって、非定常状態にある非定常ブロックを特定する。また、特定部１９は、物体の位置エネルギーＵを用いることによって、非定常ブロックに、物体の滞留および多数の物体の集合が生じている、と特定する。
【０１１９】
また、取得部１３が取得した時系列で撮影された複数の画像の各々について、抽出部１４、第１算出部１５、第２算出部１６、分割部１７、第３算出部１８、および特定部１９が上記処理を行うことによって、撮影時間ごとの、非定常ブロックの物体の滞留および多数の物体の集合の有無を特定することができる。
【０１２０】
図１２は、撮影時間ごとの特定の一例を示す説明図である。図１２中、線３９Ｄは、ある特定のブロックＰの位置エネルギーＵの算出結果の推移の一例を示す。図１２に示す例では、撮影時間ｔ８以降では、位置エネルギーＵが第４の閾値Ｔ４を超えている。この場合、特定部１９は、撮影時間ｔ８以降に撮影された画像３３における該ブロックＰが、非定常状態にある非定常ブロックであると特定する。また、このとき、特定部１９は、非定常ブロックと特定したブロックＰに、物体の滞留および多数の物体の集合が生じている、と特定する。
【０１２１】
なお、上記では、第３算出部１８が、運動量Ｍ、運動エネルギーＫ、滞留度Ｓ、および位置エネルギーＵの各々を統計量として算出する場合を、一例として説明した。また、特定部１９は、運動量Ｍ、運動エネルギーＫ、滞留度Ｓ、および位置エネルギーＵの各々を用いて、非定常ブロックを特定する形態を説明した。
【０１２２】
しかし、第３算出部１８は、ブロックＰに含まれる１または複数の部分領域５０から算出した、物体の運動量、物体の運動エネルギー、物体の滞留度、および、物体の位置エネルギーの、複数を組み合わせたものを、統計量として算出してもよい。
【０１２３】
この場合、特定部１９は、複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、第３算出部１８によって算出された統計量が予め定めた閾値以上のブロックＰを、非定常状態にある非定常ブロックとして特定すればよい。また、特定部１９は、統計量の値に応じて、非定常状態の種類を特定すればよい。
【０１２４】
図１に戻り、表示制御部２０は、画像を表示部２１Ａに表示する制御を行う。例えば、表示制御部２０は、画像３３に含まれる複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、特定部１９で特定された非定常ブロックを強調した表示画像を、表示部２１Ａに表示する制御を行う。
【０１２５】
図１３は、表示画像３７Ａの一例を示す模式図である。例えば、特定部１９がブロックＰ５とブロックＰ７を非定常ブロックと特定したと仮定する。また、特定部１９が、ブロックＰ５については、多数の物体が密集して移動している状態であると判別し、ブロックＰ７については、少数の物体が移動している状態であると判別したと仮定する。
【０１２６】
この場合、例えば、表示制御部２０は、図１３に示す表示画像３７Ａを表示部２１Ａに表示する。表示画像３７Ａは、画像３３に、非定常ブロックと特定されたブロックＰ５を強調する枠線３８Ａと、非定常ブロックと特定されたブロックＰ７を強調する枠線３８Ｂと、を重畳した画像である。なお、非定常ブロックを強調する方式は、非定常ブロックを枠線で囲む形態に限定されない。例えば、表示制御部２０は、非定常ブロックを定常状態のブロックＰとは異なる表示形態で表示すればよい。異なる表示形態とは、色、点滅間隔、輝度、彩度、および明度、の少なくとも１つが異なる。
【０１２７】
また、表示制御部２０は、非定常ブロックを、非定常状態の種類に応じた表示形態で表示することが好ましい。具体的には、表示制御部２０は、多数の物体が密集して移動している状態にあるブロックＰ７と、少数の物体が移動している状態にあるブロックＰ５と、を異なる表示形態で表示する。図１３に示す例では、これらのブロックＰ５とブロックＰ７とを囲む線の線種を変えて表示した例を示した（線４１Ａ、線４１Ｂ）。なお、線種を変える形態に限定されない。
【０１２８】
また、表示制御部２０は、画像３３に含まれる複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、特定部１９で特定された非定常ブロックに、非定常状態を示す情報を重畳した表示画像を、表示部２１Ａに表示する制御を行ってもよい。
【０１２９】
図１４は、表示画像３７Ｂの一例を示す模式図である。例えば、特定部１９がブロックＰ５とブロックＰ７を非定常ブロックと特定したと仮定する。また、特定部１９が、ブロックＰ５については、多数の物体が密集して移動している状態であると判別し、ブロックＰ７については、少数の物体が移動している状態であると判別したと仮定する。
【０１３０】
この場合、例えば、表示制御部２０は、図１４に示す表示画像３７Ｂを表示部２１Ａに表示する。表示画像３７Ｂは、画像３３における、非定常ブロックと特定されたブロックＰ５に、非定常状態を示す情報として“多数物体移動”を示す文字を重畳した画像である。また、表示画像３７Ｂは、画像３３における、非定常ブロックと特定されたブロックＰ７に、非定常状態を示す情報として“少数物体移動”を示す文字を重畳した画像である。
【０１３１】
なお、表示制御部２０は、非定常状態の発生した画像３３の撮影時間を示す情報（例えば文字）を、非定常ブロックと特定されたブロックＰに重畳してもよい。これにより、非定常状態の発生時刻（撮影時間）を、ユーザに対して提供することができる。
【０１３２】
このように、表示制御部２０は、表示画像３７Ｂを表示部２１Ａに表示してもよい。
【０１３３】
次に、画像解析装置１２が実行する画像解析処理の手順を説明する。図１５−１は、画像解析装置１２が実行する画像解析処理の手順の一例を示すフローチャートである。
【０１３４】
まず、取得部１３が解析対象の画像を取得する（ステップＳ１００）。次に、抽出部１４が、ステップＳ１００で取得した画像から複数の部分領域５０を抽出する（ステップＳ１０２）。
【０１３５】
次に、第１算出部１５が、ステップＳ１０２で抽出した複数の部分領域５０の各々について、オプティカルフロー３５を算出する（ステップＳ１０４）。次に、第２算出部１６が、ステップＳ１０２で抽出した複数の部分領域５０の各々について、部分領域５０に含まれる物体の密度を算出する（ステップＳ１０６）。
【０１３６】
次に、分割部１７が、解析対象の画像を、複数のブロックＰに分割する（ステップＳ１０８）。次に、第３算出部１８が、複数のブロックＰの各々について、統計量を算出する（ステップＳ１１０）。
【０１３７】
次に、特定部１９が、ステップＳ１０８で分割された複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、ステップＳ１１０で算出された統計量が予め定めた閾値以上のブロックＰを、非定常状態にある非定常ブロックとして特定する（ステップＳ１１２）。
【０１３８】
次に、特定部１９は、特定した非定常ブロックの識別情報と、特定した非定常状態の種類と、該非定常ブロックの特定元の画像３３の識別情報（例えば、撮影時間）と、を対応づけて記憶部１１へ記憶する（ステップＳ１１４）。
【０１３９】
次に、表示制御部２０が、表示部２１Ａに表示する画像を生成する（ステップＳ１１６）。例えば、表示制御部２０は、画像３３に含まれる複数のブロックＰ（ブロックＰ１〜ブロックＰ９）の内、特定部１９で特定された非定常ブロックを強調した表示画像（図１３の表示画像３７Ａ参照）を生成する。なお、表示制御部２０は、表示画像３７Ｂ（図１４参照）を生成してもよい。
【０１４０】
そして、表示制御部２０は、生成した表示画像を、表示制御部２０へ表示する制御を行う（ステップＳ１１８）。そして、本ルーチンを終了する。
【０１４１】
なお、画像解析装置１２は、ステップＳ１００で新たな画像を取得する毎に、ステップＳ１０２〜ステップＳ１１８の処理を繰り返し実行することが好ましい。
【０１４２】
以上説明したように、本実施の形態の画像解析装置１２は、抽出部１４と、第１算出部１５と、第２算出部１６と、分割部１７と、第３算出部１８と、特定部１９と、を備える。抽出部１４は、画像３３から複数の部分領域５０を抽出する。第１算出部１５は、部分領域５０のオプティカルフロー３５を算出する。第２算出部１６は、部分領域５０に含まれる物体の密度を算出する。分割部１７は、画像３３を、複数のブロックＰに分割する。第３算出部１８は、複数のブロックＰの各々について、ブロックＰに含まれる部分領域５０の各々の、密度とオプティカルフロー３５によって示される物体の移動量とを組み合わせた統計量を算出する。特定部１９は、複数のブロックＰの内、統計量が閾値以上のブロックＰを、非定常状態にある非定常ブロックとして特定する。
【０１４３】
このように、本実施の形態の画像解析装置１２では、オプティカルフロー３５によって示される物体の移動量と、物体の密度と、を用いて、非定常状態の非定常ブロックを特定する。このため、画像解析装置１２では、移動量のみ、または、密度のみ、から非定常状態の非定常ブロックを特定する場合に比べて、多くの種類の非定常状態のブロックＰを、非定常ブロックとして特定することができる。
【０１４４】
従って、本実施の形態の画像解析装置１２では、特定可能な非定常状態の種類の増加を図ることができる。
【０１４５】
なお、表示制御部２０は、非定常ブロックを示す表示画像を表示部２１Ａに表示してもよい。図１５−２は、表示画像Ａ１の一例を示す模式図である。図１５−２に示す表示画像Ａ１は、警備業務の支援に用いることが可能である。
【０１４６】
一般に、ビルや商業施設などには、様々な箇所に監視カメラが設置されている。そして、別室では、監視員が監視カメラの映像を見ながら、異常がないかをチェックしている。監視カメラの映像で不審人物や不審物などを発見した場合、監視員は、警備会社や近くの警備員に連絡をとり、連絡を受けた警備員が現地に訪れて対応する。しかしながら、通常は、図１５−２に示すように、多くの監視カメラの映像を同時に監視する必要があるため、問題発見が難しい。監視員が問題を見落としたり発見が遅れたりすれば、対応ができずに警備の質が低下する。
【０１４７】
一方、本実施の形態の画像解析装置１２によれば、オプティカルフロー３５によって示される物体の移動量と、物体の密度と、を用いて、非定常状態の非定常ブロックを特定する。表示制御部２０は、非定常状態の非定常ブロックを強調した表示（例えば、非定常状態の非定常ブロックにアノテーションＡ３を表示）をする。また、異常発生を示すアノテーションＡ２を併せて表示する。このような表示によって、監視員が注目しやすくなり、即座に問題を発見できて警備の質を向上させることができる。
【０１４８】
（第２の実施の形態）
本実施の形態では、画像解析システム１０における第２算出部１６の実行する密度算出処理について、一例を説明する。
【０１４９】
図１６は、画像解析システム１０に設けられた第２算出部１６の構成の一例を示すブロック図である。
【０１５０】
第２算出部１６は、第１計算部４２と、演算部４３と、第２予測部４４と、密度計算部４５と、を含む。
【０１５１】
第１計算部４２、演算部４３、第２予測部４４、および密度計算部４５の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１５２】
第１計算部４２は、抽出部１４（図１参照）で抽出された複数の部分領域５０の各々の特徴量を計算する。特徴量は、部分領域５０の特徴を示す値である。特徴量には、例えば、部分領域を構成する画素の画素値を離散化して一次元に並べたものや、これを、この一次元に並べた画素値における隣接画素値の差（すなわち勾配）で正規化したもの、を用いる。また、特徴量には、ＳＩＦＴ特徴（Ｄ．Ｌｏｗｅ“，Ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｒｏｍ  ｌｏｃａｌ  ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅｓ，”Ｉｎｔ．  Ｃｏｎｆ．  Ｃｏｍｐ．  Ｖｉｓｉｏｎ，  Ｖｏｌ．２，  ｐｐ．１１５０−１１５７，  １９９９参照）等を用いてもよい。ＳＩＦＴ特徴は、微小な変化に頑健なヒストグラム特徴である。
【０１５３】
図１７は、画像３３、部分領域５０、ラベル５１（詳細後述）の説明図である。
【０１５４】
図１７（Ａ）は、画像３３の一例を示す模式図である。第１の実施の形態で説明したように、画像３３は、物体３０を含む。図１７（Ｂ）は、部分領域５０の一例を示す図である。
【０１５５】
第１計算部４２は、抽出部１４（図１参照）で抽出された複数の部分領域５０の各々の特徴量を計算する。なお、抽出部１４が画像３３から抽出する部分領域５０の数が多いほど、第２算出部１６は、後述する処理において高精度に密度を計算可能な、回帰モデルを学習することができる。
【０１５６】
図１６に戻り、演算部４３は、回帰モデルと、代表ラベルと、を演算する。図１８は、演算部４３の構成の一例を示すブロック図である。
【０１５７】
演算部４３は、探索部４３Ａと、投票部４３Ｂと、学習部４３Ｃと、第１予測部４３Ｄと、を含む。探索部４３Ａ、投票部４３Ｂ、学習部４３Ｃ、および第１予測部４３Ｄの一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１５８】
探索部４３Ａは、複数の部分領域５０の各々の特徴量にラベルを付与する。ラベルは、各部分領域５０に含まれる物体と、各部分領域５０における第１位置と、の相対位置を表す。具体的には、探索部４３Ａは、まず、抽出部１４によって抽出された複数の部分領域５０の各々に含まれる物体を探索する。そして、探索部４３Ａは、部分領域５０の各々について、部分領域５０における第１位置と、該部分領域５０に含まれる全ての物体の各々と、の相対位置を表すベクトルを、ラベルとして生成する。そして、探索部４３Ａは、生成したラベルを、対応する部分領域５０の特徴量に付与する。
【０１５９】
第１位置は、部分領域５０内における予め定められた任意の位置であればよい。本実施の形態では、第１位置は、部分領域５０における中心位置（部分領域５０の中央）であるものとして説明する。
【０１６０】
図１７に戻り、図１７（Ｃ）および図１７（Ｄ）は、ラベル５１の説明図である。例えば、探索部４３Ａが、図１７（Ｂ）に示す部分領域５０の各々に含まれる物体を探索する。そして、探索部４３Ａは、部分領域５０の中心位置Ｐと、該部分領域５０に含まれる全ての物体（図１７（Ｂ）および図１７（Ｃ）に示す例では、３つの物体）の各々と、の相対位置を示すベクトルＬ１、Ｌ２、Ｌ３を生成する（図１７（Ｃ）参照）。そして、探索部４３Ａは、これらのベクトルＬ１、Ｌ２、Ｌ３を１組とするベクトルＬを、ラベル５１として（図１７（Ｄ）参照）、該部分領域５０の特徴量に付与する。
【０１６１】
図１８に戻り、投票部４３Ｂは、複数の部分領域５０の各々について、各部分領域５０に含まれる物体の相対位置の分布を表すヒストグラムを算出する。
【０１６２】
図１９は、ラベル５１およびヒストグラム５２の説明図である。図１９に示すように、投票部４３Ｂは、ラベル５１から、ヒストグラム５２を算出する。
【０１６３】
ヒストグラム５２は、部分領域５０に一様に配置したビン（ｂｉｎ）の集合である。ヒストグラム５２におけるビンの大きさは、部分領域５０に含まれる物体の相対位置によって定まる。例えば、部分領域５０における位置ｂのビンの大きさは、以下の式（７）で表される。
【０１６４】
Ｂ（ｂ）＝ΣＮ（ｂ；ｏｊ，σ）  ・・・式（７）
【０１６５】
式（７）中、Ｂ（ｂ）は、部分領域５０における、位置ｂのビンの大きさを示す。ｏｊは、物体の位置を示す。式（７）中、Ｎ（ｂ；ｏｊ，σ）は、位置ｂにおける（中心ｏｊ、分散σ）の正規分布の確率密度関数の値である。
【０１６６】
図１８に戻り、次に、投票部４３Ｂは、複数の部分領域５０ごとに算出したヒストグラム５２の各々を、パラメータ空間に投票する。これにより、投票部４３Ｂは、複数の部分領域５０の各々について、各部分領域５０に対応する投票ヒストグラムを生成する。
【０１６７】
図２０は、投票ヒストグラム５４の説明図である。ヒストグラム５２は、パラメータ空間５３に投票されることで、投票ヒストグラム５４となる。図２０では、パラメータ空間を、二次元に簡略して示している。
【０１６８】
なお、本実施の形態では、パラメータ空間は、３次元のパラメータ空間（ｘ、ｙ、ｓ）であるものとして説明する。（ｘ，ｙ）は、部分領域内の二次元位置（ｘ，ｙ）を示す。（ｓ）は、物体の大きさ（ｓ）を示す。なお、パラメータ空間として、上記パラメータ以外に、物体の姿勢、物体の向き等を加えたより多次元のパラメータ空間であってもよい。
【０１６９】
図１８に戻り、学習部４３Ｃは、部分領域５０の特徴量と、部分領域５０に含まれる物体の相対位置と、の関係を示す回帰モデルを学習する。具体的には、学習部４３Ｃは、複数の部分領域５０の各々に対応する、ラベル５１の付与された特徴量を、対応する投票ヒストグラムのばらつきが小さくなるように複数のクラスタに分割することによって、回帰モデルを学習する。
【０１７０】
本実施の形態では、回帰モデルが、１または複数のランダムツリーである場合を説明する。複数のランダムツリーは、すなわち、ランダムフォレストである。本実施の形態では、クラスタは、ランダムツリーの末端のノードである葉ノードを意味する。
【０１７１】
本実施の形態において、学習部４３Ｃが回帰モデルを学習する、とは、ランダムツリーによって示されるルートノードから子ノードを介して葉ノードに至るまでの各々のノードの分割指標と、葉ノードに属する特徴量と、を決定することを意味する。なお、この特徴量は、上述したように、ラベル５１の付与された特徴量である。
【０１７２】
本実施の形態では、学習部４３Ｃは、投票ヒストグラム５４のばらつきが小さくなるように、ルートノードから子ノードを介して複数の葉ノードに至るまでの各ノードの分割指標と、複数の葉ノードの各々に属する特徴量と、を決定することによって回帰モデルを学習する。
【０１７３】
なお、学習部４３Ｃは、分割指標の組合せの異なる複数の回帰モデルを学習することが好ましい。本実施の形態では、学習部４３Ｃは、各ノードの分割指標の組合せを変えることによって、予め定められた数（以下、Ｔと称する）の回帰モデルを学習する。
【０１７４】
図２１は、ランダムツリー５５の説明図である。
【０１７５】
図２１には、各ノードの横に、二次元に簡略化したパラメータ空間５３の投票ヒストグラム５４を示した。図２１に示す例では、複数の部分領域５０の特徴量の各々に対応する投票ヒストグラム５４として、投票ヒストグラム５４Ａ〜投票ヒストグラム５４Ｆを示した。以下では、部分領域５０の特徴量を、特徴量ｖと称して説明する場合がある。この特徴量ｖには、上述したように、ラベルが付与されている。
【０１７６】
まず、学習部４３Ｃは、ルートノード５５Ａである「Ｓ」に、第１計算部４２及び探索部４３Ａで算出した、ラベルの付与された全ての特徴量ｖを割当てる。
【０１７７】
学習部４３Ｃは、このルートノード５５Ａである「Ｓ」を２つの子ノード５５Ｂである「Ｌ」、「Ｒ」の各々に分割するときの分割指標を定める。分割指標は、特徴量ｖの要素ｖｊと、その閾値ｔｊと、により定められる。
【０１７８】
具体的には、学習部４３Ｃは、分割先のノード（子ノード５５Ｂまたは葉ノード５５Ｃ）における投票ヒストグラムのばらつきが小さくなるように、分割元のノードの分割指標を決定する。分割指標は、特徴量ｖの要素ｖｊと、その閾値ｔｊと、によって定められる。
【０１７９】
詳細には、学習部４３Ｃは、要素ｖｊ＜閾値ｔｊの関係を満たすラベル付き特徴量ｖを、子ノード５５Ｂである「Ｌ」に（図２１のｙｅｓの場合）、要素ｖｊ＜閾値ｔｊの関係を満たさない特徴量ｖを、子ノード５５Ｂである「Ｒ」に（図２１のｎｏの場合）、仮に割当てた場合の分割指標を決定する（以下、仮割当操作と称する）。
【０１８０】
このとき、学習部４３Ｃは、投票ヒストグラム５４のばらつきが小さくなるように、特徴量ｖの分割指標を決定する。学習部４３Ｃは、例えば、下記式（８）を用いて分割指標を決定する。
【０１８１】
Ｇ＝Σ｛Ｈ（ｌ）−ＨＬ｝２＋Σ｛Ｈ（ｒ）−ＨＲ｝２  ・・・式（８）
【０１８２】
式（８）中、Ｈ（ｌ）は、ルートノード５５Ａである「Ｓ」から子ノード５５Ｂである「Ｌ」に分割された投票ヒストグラム５４を示す。式（８）中、Ｈ（ｒ）は、ルートノード５５Ａである「Ｓ」から子ノード５５Ｂである「Ｒ」に分割された投票ヒストグラム５４を示す。式（８）中、ＨＬは、全てのＨ（ｌ）の平均値である。ＨＲは、全てのＨ（ｒ）の平均値である。
【０１８３】
なお、学習部４３Ｃが分割指標の決定に用いる式は、式（８）に限定されない。
【０１８４】
学習部４３Ｃは、各ノードについて、最も投票ヒストグラム５４のばらつきが小さくなるように分割指標を決定し、ルートノード５５Ａから子ノード５５Ｂを介して葉ノード５５Ｃに至るまで、この仮割当操作を繰り返す。すなわち、学習部４３Ｃは、各ノードについて、上記式（８）におけるＧの値が最も小さくなるように、要素ｖｊと閾値ｔｊとの組合せを分割指標として決定し、各ノードに属する特徴量ｖを分割することを繰り返す。
【０１８５】
そして、学習部４３Ｃは、終了条件を満たした時のノードを、末端の葉ノード５５Ｃとして決定する。終了条件は、例えば、第１の条件、第２の条件、及び第３の条件の少なくとも１つである。第１の条件は、ノードに含まれる特徴量ｖの数が予め定めた数よりも小さいときである。第２の条件は、ランダムツリー５５の木構造の深さが予め定めた値よりも大きいときである。第３の条件は、分割指標の値が予め定めた値より小さいときである。
【０１８６】
この葉ノード５５Ｃの決定により、学習部４３Ｃは、葉ノード５５Ｃに属する特徴量ｖを学習する。
【０１８７】
上述のようにして、学習部４３Ｃは、ルートノード５５Ａから子ノード５５Ｂを介して葉ノード５５Ｃに至るまでの各ノードの分割指標と、葉ノード５５Ｃに属する特徴量ｖと、を決定し、ランダムツリー５５を学習する。また、学習部４３Ｃは、分割指標の組合せを変えて上記の仮割当操作を行うことによって、予め定めた数Ｔのランダムツリー５５、を学習する。
【０１８８】
なお、学習部４３Ｃが学習するランダムツリー５５の数Ｔは、１つであってもよいし、２以上の任意の数であってもよい。学習部４３Ｃが画像３３からより多くの数のランダムツリー５５を学習するほど、画像解析システム１０において高精度に密度を計算可能な、ランダムツリー５５を学習することができる。すなわち、学習部４３Ｃは、複数のランダムツリー５５である、ランダムフォレストを学習することが好ましい。
【０１８９】
図２２は、学習した複数のランダムツリー５５（すなわち、ランダムフォレスト）の説明図である。ランダムツリー５５１〜ランダムツリー５５Ｔの各々は、各ノードの分割指標が異なる。このため、例えば、ルートノード５５Ａに割当てた、ラベル５１の付与された全ての特徴量ｖが同じであっても、ランダムツリー５５１と、ランダムツリー５５Ｔと、では、葉ノード５５Ｃに属するラベル付きの特徴量ｖが異なるものとなる場合がある。なお、図２２に示す例では、葉ノード５５Ｃには、ラベル５１のみを図示しているが、実際には、各葉ノード５５Ｃには、ラベル５１の付与された特徴量ｖが属している。
【０１９０】
図１８に戻り、第１予測部４３Ｄは、学習部４３Ｃが学習時に分割したクラスタの各々について、代表ラベルを予測する。第１予測部４３Ｄは、クラスタに属する１または複数の特徴量ｖに付与されたラベル５１から、代表ラベルを予測する。
【０１９１】
上述したように、本実施の形態では、クラスタは、ランダムツリー５５の末端のノードである葉ノード５５Ｃを意味する。このため、第１予測部４３Ｄは、葉ノード５５Ｃに属する特徴量ｖの各々に付与されたラベル５１から、各葉ノード５５Ｃの代表ラベルを予測する。
【０１９２】
図２３は、代表ラベルの予測の説明図である。図２３は、１つの葉ノード５５Ｃを例にして説明している。まず、第１予測部４３Ｄは、葉ノード５５Ｃに属する全ての特徴量ｖの各々に付与されたラベル５１を読取る。図２３に示す例では、第１予測部４３Ｄは、ラベル５１Ｃ、５１Ｄ、５１Ｅ、５１Ｇ、５１Ｈを読取る。次に、第１予測部４３Ｄは、これらのラベル５１Ｃ、５１Ｄ、５１Ｅ、５１Ｇ、５１Ｈの各々に対応する投票ヒストグラム５４（５４Ｃ、５４Ｄ、５４Ｅ、５４Ｇ、５４Ｈ）の平均である、平均ヒストグラム５６を算出する。
【０１９３】
次に、第１予測部４３Ｄは、この葉ノード５５Ｃに属する複数の投票ヒストグラム５４（５４Ｃ、５４Ｄ、５４Ｅ、５４Ｇ、５４Ｈ）の内、平均ヒストグラム５６に近い投票ヒストグラム５４を選択する。なお、第１予測部４３Ｄは、葉ノード５５Ｃに属する複数の投票ヒストグラム５４（５４Ｃ、５４Ｄ、５４Ｅ、５４Ｇ、５４Ｈ）の内、平均ヒストグラム５６に、最も近い投票ヒストグラム５４を選択することが好ましい。図２３に示す例では、第１予測部４３Ｄは、平均ヒストグラム５６に最も近い投票ヒストグラム５４Ｅを選択する。そして、第１予測部４３Ｄは、この投票ヒストグラム５４Ｅに対応するラベル５１であるラベル５１Ｅを、該葉ノード５５Ｃの代表ラベルとして予測する。
【０１９４】
第１予測部４３Ｄは、学習部４３Ｃが学習した全てのランダムツリー５５における、全ての葉ノード５５Ｃについて、同様な処理を行い、各葉ノード５５Ｃの代表ラベルを予測する。
【０１９５】
図２４は、代表ラベル予測後の、ランダムツリー５５の説明図である。
【０１９６】
図２４に示すように、第１予測部４３Ｄが各葉ノード５５Ｃについて代表ラベルを予測することによって、学習部４３Ｃが学習したランダムフォレストに含まれる全てのランダムツリー５５（ランダムツリー５５１〜５５Ｔ）の各々について、各ランダムツリー５５の全ての葉ノード５５Ｃについて、代表ラベルが予測される。
【０１９７】
以上の処理により、演算部４３が、回帰モデルと、代表ラベルと、を演算する。
【０１９８】
図１６に戻り、次に、第２予測部４４は、演算部４３で演算した回帰モデルとしてのランダムツリー５５と、葉ノード５５Ｃの各々の代表ラベルと、を取得する。そして、第２予測部４４は、演算部４３で取得したランダムツリー５５の変数に、部分領域５０から計算された特徴量を代入する。これにより、第２予測部４４は、部分領域５０の各々に対応する代表ラベルを予測する。
【０１９９】
ここで、演算部４３で取得したランダムツリー５５が１つである場合には、第２予測部４４は、１つのランダムツリー５５を用いて、部分領域５０毎に１つの代表ラベルを予測する。一方、演算部４３で取得したランダムツリー５５が複数である場合（すなわち、ランダムフォレストである場合）には、第２予測部４４は、部分領域５０毎に、これらの複数のランダムツリー５５の各々に対応する複数の代表ラベルを求め、これらの複数の代表ラベルの内の１つを、密度計測に用いる代表ラベルとして予測する。
【０２００】
図２５は、第２予測部４４が行う代表ラベルの予測の説明図である。演算部４３が取得したランダムツリー５５、および代表ラベルが、図２５に示すランダムツリー５５（ランダムツリー５５１〜５５Ｔ）及び代表ラベルであったとする。
【０２０１】
この場合、第２予測部４４は、部分領域の特徴量を、ランダムフォレストに含まれる各ランダムツリー５５（ランダムツリー５５１〜５５Ｔ）の各々のルートノード５５Ａに代入する。そして、第２予測部４４は、各ランダムツリー５５（ランダムツリー５５１〜５５Ｔ）の各々のノードに決定された分割指標に沿って、ルートノード５５Ａから子ノード５５Ｂを介して葉ノード５５Ｃに到達するまで、木構造を下る。そして、到達した葉ノード５５Ｃに属する代表ラベルを読取る。
【０２０２】
これにより、第２予測部４４は、１つの部分領域５０の特徴量に対応する代表ラベルとして、ランダムツリー５５（ランダムツリー５５１〜５５Ｔ）毎に求めた複数の代表ラベルを求める。
【０２０３】
例えば、ある部分領域５０の特徴量ｖ１をランダムツリー５５１の変数としてルートノード５５Ａに代入したとする。そして、子ノード５５Ｂ１〜５５Ｂ５の内の子ノード５５Ｂ１、５５Ｂ３をたどって、葉ノード５５Ｃ１〜５５Ｃ７の内の葉ノード５５Ｃ１に到達したとする。この場合、この特徴量ｖ１の、ランダムツリー５５１によって決定される代表ラベルはラベル５１Ｃ１となる。
【０２０４】
また、この特徴量ｖ１をランダムツリー５５Ｔの変数としてルートノード５５Ａに代入したとする。そして、子ノード５５Ｂ１〜５５Ｂ２の内の子ノード５５Ｂ２をたどって、葉ノード５５Ｃ１〜５５Ｃ４の内の葉ノード５５Ｃ３に到達したとする。この場合、この特徴量ｖ１の、ランダムツリー５５Ｔによって決定される代表ラベルはラベル５１Ｃ１０となる。
【０２０５】
次に、第２予測部４４は、全てのランダムツリー５５（ランダムツリー５５１〜５５Ｔ）毎に求めた代表ラベルの内の１つを、密度計測に用いる代表ラベルとして予測する。第２予測部４４は、第１予測部４３Ｄと同様にして、密度計測に用いる代表ラベルを予測する。
【０２０６】
すなわち、第２予測部４４は、全てのランダムツリー５５（ランダムツリー５５１〜５５Ｔ）毎に求めた代表ラベルに対応する投票ヒストグラム５４の、平均ヒストグラムを算出する。そして、第２予測部４４は、全てのランダムツリー５５（ランダムツリー５５１〜５５Ｔ）毎に求めた複数の代表ラベルの内、この平均ヒストグラムに最も近い投票ヒストグラム５４に対応する代表ラベルを、密度計測に用いる代表ラベルとして予測する。
【０２０７】
図１６に戻り、密度計算部４５は、画像３３に含まれる物体の平均密度を算出する。密度計算部４５は、第２予測部４４で予測された、部分領域の各々に対応する代表ラベルによって示される物体の相対位置に基づいて、第２予測部４４の予測を行う。
【０２０８】
密度計算部４５は、第２計算部４５Ａ、第３計算部４５Ｂ、および第４計算部４５Ｃを備える。
【０２０９】
第２計算部４５Ａは、複数の部分領域の各々に対応する代表ラベルによって示される、物体の相対位置に基づいて、複数の部分領域の各々における物体の密度分布を計算する。第２計算部４５Ａは、演算部４３で用いた第１位置を予め記憶している。なお、この代表ラベルは、上述した、密度計測に用いる代表ラベルである。
【０２１０】
例えば、第２計算部４５Ａは、正規分布の確率密度関数Ｎ（）を用いて、部分領域における物体の密度分布Ｄｉ（ｘ）を計算する。
【０２１１】
Ｄｉ（ｘ）＝ΣＮ（ｘ；ｌｊ，σ）  ・・・式（９）
【０２１２】
式（９）中、ｘは、部分領域５０中の任意の位置を示す。式（９）中、ｌｊは、予測された物体の相対位置を示す。式（９）中、σは、分散を示す。
【０２１３】
第３計算部４５Ｂは、画像３３における複数の部分領域５０の各々に対応する位置に、部分領域５０の密度分布を配置する。密度分布を配置する、とは、画像３３における複数の部分領域５０の各々に対応する位置に、対応する部分領域５０の密度分布を貼り付けていくことを示す。
【０２１４】
ここで、画像３３から抽出された複数の部分領域５０は、少なくとも一部分が互いに重なっている場合がある。このため、画像３３に、画像３３から抽出した部分領域５０の密度分布を配置すると、各部分領域５０に対応する密度分布の少なくとも一部が重なった状態となる場合がある。
【０２１５】
そこで、第４計算部４５Ｃは、画像３３における密度分布の重なり頻度に応じて、画像３３を構成する画素毎に物体の密度の第１平均値を算出する。
【０２１６】
そして、第４計算部４５Ｃは、画像３３における部分領域５０ごとに、部分領域５０を構成する各画素の該第１平均値の更なる平均値を算出する。具体的には、第４計算部４５Ｃは、部分領域５０を構成する各画素の第１平均値を加算した加算値（加算した結果）を、該部分領域５０を構成する画素の画素数で除算した値を、該部分領域５０の物体の密度として用いる。
【０２１７】
これにより、第２算出部１６は、画像３３に含まれる複数の部分領域５０の各々について、物体の密度を算出する。
【０２１８】
次に、第２算出部１６が実行する密度算出処理の手順を説明する。図２６は、第２算出部１６が実行する密度算出処理の手順を示すフローチャートである。
【０２１９】
まず、第２算出部１６が、抽出部１４（図１参照）が画像３３から抽出した複数の部分領域５０の各々について、特徴量を計算する（ステップＳ２００）。
【０２２０】
次に、演算部４３が、回帰モデルとしてのランダムツリー５５、および代表ラベルを演算する（ステップＳ２０２）（詳細後述）。
【０２２１】
次に、第２予測部４４が、演算部４３で演算したランダムツリー５５の変数に、計算した特徴量を代入する。これにより、第２予測部４４は、部分領域５０の各々に対応する代表ラベルを予測する（ステップＳ２０４）。
【０２２２】
次に、第２計算部４５Ａが、代表ラベルによって示される、物体の相対位置に基づいて、複数の部分領域５０の各々における物体の密度分布を計算する（ステップＳ２０６）。
【０２２３】
次に、第３計算部４５Ｂが、画像３３における複数の部分領域５０の各々に対応する位置に、対応する部分領域５０の密度分布を配置する（ステップＳ２０８）。次に、第４計算部４５Ｃが、画像３３における密度分布の重なり頻度に応じて、画像３３に含まれる部分領域５０ごとに、物体の密度を計算する（ステップＳ２１０）。そして、本ルーチンを終了する。
【０２２４】
次に、図２６のステップＳ２０２において、演算部４３が行う演算処理を説明する。図２７は、演算部４３が行う演算処理の手順を示すフローチャートである。
【０２２５】
まず、演算部４３の探索部４３Ａが、ステップＳ２００（図２６参照）で計算された、複数の部分領域５０の各々の特徴量に、ラベルを付与する（ステップＳ３００）。投票部４３Ｂは、ラベル５１からヒストグラム５２を算出し、パラメータ空間５３に投票することで、投票ヒストグラム５４を生成する（ステップＳ３０２）。
【０２２６】
次に、学習部４３Ｃが、部分領域５０の特徴量と、部分領域５０に含まれる物体の相対位置と、の関係を示す回帰モデルを学習する（ステップＳ３０４）。本実施の形態では、上述したように、回帰モデルとしてランダムツリー５５を学習する。
【０２２７】
次に、第１予測部４３Ｄが、学習部４３Ｃが学習時に分割したクラスタ（葉ノード５５Ｃ）の各々について、代表ラベルを予測する（ステップＳ３０６）。
【０２２８】
そして、演算部４３では、上記学習した回帰モデルとしてのランダムツリー５５、およびクラスタ（葉ノード５５Ｃ）の代表ラベルを、第２予測部４４へ出力し、本ルーチンを終了する。
【０２２９】
以上説明したように、本実施の形態の第２算出部１６では、探索部４３Ａが、画像３３から抽出した複数の部分領域５０の各々に含まれる物体を探索する。また、探索部４３Ａは、部分領域５０における予め定められた第１位置と部分領域５０に含まれる全ての物体の各々との相対位置を表すベクトルをラベルとして、部分領域５０の特徴量に付与する。学習部４３Ｃは、このラベルの付与された特徴量を、各ノードに割当てて各ノードの分割指標を定める。これにより、学習部４３Ｃは、回帰モデルを学習する。第１予測部４３Ｄは、回帰モデルの葉ノード５５Ｃの各々について、代表ラベルを予測する。
【０２３０】
ラベルは、物体の相対位置を示すベクトルであり、データサイズが小さい。このため、回帰モデルの構成に必要なデータ量の削減を図ることができる。すなわち、本実施の形態の回帰モデルを用いて密度計算を行うことで、画像解析システム１０では、上記第１の実施の形態の効果に加えて、低メモリで物体の密度計算を行うことができる。
【０２３１】
また、第２算出部１６は、画像３３から物体を直接検出せずに、回帰モデルを学習する。このため、本実施の形態の第２算出部１６は、画像３３に含まれる物体が小さくて重なる場合であっても、計測精度を落とすことなく、高精度に密度計算を行うことの可能な回帰モデルを学習することができる。
【０２３２】
従って、本実施の形態の画像解析システム１０では、第２算出部１６が、本実施の形態で説明した上記処理を行うことによって、上記第１の実施の形態の効果に加えて、物体の密度計算を、高精度で且つ低メモリで行うことができる。
【０２３３】
＜変形例＞
なお、第２の実施の形態では、回帰モデルとして、ランダムフォレストを用いる場合を説明した。しかし、第２算出部１６が学習する回帰モデルは、ランダムフォレストに限定されない。例えば、第２算出部１６は、回帰モデルとして、最近傍識別器を用いてもよい。
【０２３４】
図２８は、最近傍識別器を用いた学習の説明図である。学習部４３Ｃ（図１８参照）は、複数の部分領域５０の各々に対応する、ラベル５１の付与された特徴量ｖを、対応する投票ヒストグラムのばらつきが小さくなるように複数のクラスタ５６０に分割する。この分割によって、学習部４３Ｃは、学習モデルを学習する。
【０２３５】
具体的には、学習部４３Ｃは、複数の部分領域５０の各々に対応する、全ての、ラベル５１の付与された特徴量ｖを、ｋ平均法などのベクトル量子化方法によって、ｋ個のクラスタ５６に分割する。
【０２３６】
詳細には、学習部４３Ｃは、任意のラベル５１に対してランダムにクラスタ５６を割り当て、クラスタ５６毎の平均値を計算する。次に、学習部４３Ｃは、各ラベル５１とクラスタ５６毎の平均値との距離を求める。そして、学習部４３Ｃは、各ラベル５１を、最も近い平均値をもつクラスタ５６に割り当て直す。この一連の処理で、全てのラベル５１のクラスタ５６への割り当てが変化しなかった場合は、処理を終了する。それ以外の場合は処理を繰り返す。
【０２３７】
これにより、ラベル５１の付与された特徴量ｖは、特徴量ｖの類似した群毎に、クラスタ５６に分割される。
【０２３８】
第１予測部４３Ｄは、クラスタ５６に属する特徴量ｖに付与されたラベル５１の平均値を計算する。そして、第１予測部４３Ｄは、各クラスタ５６に属する、特徴量ｖに付与されたラベル５１の内、計算した平均値に最も近いラベル５１を、代表ラベルとして予測する。
【０２３９】
また、第２算出部１６は、最近傍識別器を回帰モデルとして取得する。この場合、第２予測部４４は、部分領域から計算した特徴量と、予測された各クラスタの代表ベクトルと、の照合を最近傍識別器によって行い、部分領域から計算した特徴量に最も距離の近い代表ベクトルを選択する。そして、第２予測部４４は、選択した代表ベクトルの属するクラスタに属する特徴量に付与されたラベル５１の集合から、第１予測部４３Ｄと同様にして、部分領域の各々に対応する代表ラベルを予測すればよい。
【０２４０】
図２９は、上記実施の形態および変形例の画像解析システム１０のハードウェア構成の一例を示すブロック図である。図２９に示すように、上記実施の形態および変形例の画像解析システム１０は、ＣＰＵ９０２と、ＲＡＭ９０６と、プログラムなどを記憶するＲＯＭ９０４と、ＨＤＤ９０８と、ＨＤＤ９０８とのインタフェースであるＩ／Ｆ９１０と、画像入力用のインタフェースであるＩ／Ｆ９１２と、バス９２２とを、備えており、通常のコンピュータを利用したハードウェア構成となっている。なおＣＰＵ９０２、ＲＯＭ９０４、ＲＡＭ９０６、Ｉ／Ｆ９１０、及びＩ／Ｆ９１２は、バス９２２を介して互いに接続されている。
【０２４１】
上記実施の形態および変形例の画像解析システム１０では、ＣＰＵ９０２が、ＲＯＭ９０４からプログラムをＲＡＭ９０６上に読み出して実行することにより、上記各部がコンピュータ上で実現される。
【０２４２】
なお、上記実施の形態の画像解析システム１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９０８に記憶されていてもよい。また、上記実施の形態の画像解析システム１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ９０４に予め組み込まれて提供されていてもよい。
【０２４３】
また、上記実施の形態の画像解析システム１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施の形態の画像解析システム１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施の形態の画像解析システム１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
【０２４４】
なお、上記には、本発明の実施の形態および変形例を説明したが、これらの実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０２４５】
例えば、上記実施の形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
【符号の説明】
【０２４６】
１０  画像解析システム
１２  画像解析装置
１４  抽出部
１５  第１算出部
１６  第２算出部
１７  分割部
１８  第３算出部
１９  特定部
２０  表示制御部
２１Ａ  表示部
【図１】
0006577397.tif 000008
【図２】
0006577397.tif 000009
【図３】
0006577397.tif 000010
【図４】
0006577397.tif 000011
【図５】
0006577397.tif 000012
【図６】
0006577397.tif 000013
【図７】
0006577397.tif 000014
【図８】
0006577397.tif 000015
【図９】
0006577397.tif 000016
【図１０】
0006577397.tif 000017
【図１１】
0006577397.tif 000018
【図１２】
0006577397.tif 000019
【図１３】
0006577397.tif 000020
【図１４】
0006577397.tif 000021
【図１５−１】
0006577397.tif 000022
【図１５−２】
0006577397.tif 000023
【図１６】
0006577397.tif 000024
【図１７】
0006577397.tif 000025
【図１８】
0006577397.tif 000026
【図１９】
0006577397.tif 000027
【図２０】
0006577397.tif 000028
【図２１】
0006577397.tif 000029
【図２２】
0006577397.tif 000030
【図２３】
0006577397.tif 000031
【図２４】
0006577397.tif 000032
【図２５】
0006577397.tif 000033
【図２６】
0006577397.tif 000034
【図２７】
0006577397.tif 000035
【図２８】
0006577397.tif 000036
【図２９】
0006577397.tif 000037