(57)【特許請求の範囲】
【請求項１】
撮像された動画像を解析することにより人の移動状況および／または混雑度を判定する状況判定装置であって、
前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出手段と、
前記局所画像変化率算出手段で算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および／または人の混雑度を判定する状況判定手段と、
を備えた状況判定装置。
【請求項２】
前記局所領域毎の局所画像変化率算出手段は、前記動画像の第１の時間間隔を隔てて撮像された画像から得られる代表動きベクトルを求め、
前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、
前記第１の時間間隔より長い第２の時間間隔を前記第１の時間間隔で分割した個数と、前記動き有りと判定された前記第１の時間間隔の個数との割合として前記局所画像変化率を算出する請求項１に記載の状況判定装置。
【請求項３】
前記状況判定手段は、予め求めた参照ヒストグラムを保持する参照ヒストグラム格納手段と、
前記算出したヒストグラムと前記参照ヒストグラムとを比較するヒストグラム比較手段とで構成される請求項１または請求項２に記載の状況判定装置。
【請求項４】
前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定する請求項２に記載の状況判定装置。
【請求項５】
駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、
請求項４に記載の状況判定装置と、
前記プラットホームへの列車の到着を検知する列車到着検知手段と、
前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路偏りと判定されている場合に異常と判定する異常判定手段と、
を備えた異常判定装置。
【請求項６】
前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた請求項５に記載の異常判定装置。
【請求項７】
撮像された動画像を解析することにより人の移動状況および／または混雑度を判定する状況判定方法であって、
前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、
前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および／または人の混雑度を判定する状況判定ステップと、
を備えた状況判定方法。
【請求項８】
前記局所領域毎の局所画像変化率算出ステップは、前記動画像の第１の時間間隔を隔てて撮像された画像から得られる代表動きベクトルを求め、
前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、
前記第１の時間間隔より長い第２の時間間隔を前記第１の時間間隔で分割した個数と、前記動き有りと判定された前記第１の時間間隔の個数との割合として前記局所画像変化率を算出する請求項７に記載の状況判定方法。
【請求項９】
前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定する
請求項７に記載の状況判定方法。
【請求項１０】
駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、
請求項９に記載の状況判定方法を実行する状況判定ステップと、
前記プラットホームへの列車の到着を検知する列車到着検知ステップと、
前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路偏りと判定されている場合、異常と判定する異常判定ステップと、
を備えた異常判定方法。
【請求項１１】
コンピュータに、撮像された動画像を解析することにより人の移動状況および／または混雑度を判定させるための状況判定プログラムであって、
前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、
前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および／または人の混雑度を判定する状況判定ステップと、
を備えた状況判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、駅・空港などの複数の人が移動する公共空間において、撮像した画像を解析して人の混雑度または移動状況を検出する状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムに関する。
【背景技術】
【０００２】
近年、安全安心への要望の高まりから、駅・空港などの公共空間、重要施設などへの監視カメラの設置が進んでいる。従来は監視カメラを監視員が常時モニタリングしていたが、監視カメラ数の増加、監視員の疲労による見落とし防止などの観点から、画像認識することにより監視の省力化・効率化を図るような取組みが行われている。
【０００３】
監視場所において人の計数を行う技術として、特許文献１、特許文献２が提案されている。特許文献１は、背景差分により前景を抽出し、人物の通路に直交する監視エリアを横切る人数を計数するものである。監視エリアを複数用意し監視エリア間の計数値のばらつきを利用することで、外乱に対して頑健な計数を実現している。
【０００４】
特許文献２は、通路の上方に光軸を鉛直下向きに設置したカメラを用い、計数のために画像上に設けた境界線における動きベクトルを抽出し、動きベクトルの境界線に対する垂直成分を積分することにより通路を通過する人数を計数するものである。
【０００５】
一方、各人を計数するのではなく、画像から人数に対応する特徴を抽出し混雑度を求める技術として特許文献３が提案されている。特許文献３は、「通行人の人数が多いならば、異なる時刻に撮像した画像間における変化回数が増加する」という前提のもとに、画素毎あるいは局所領域毎に一定時間内の変化回数を求め、この変化回数を基に混雑度を求めるものである。
【０００６】
【特許文献１】特開２００２−０７４３７１号公報
【特許文献２】特開２００５―１３５３３９号公報
【特許文献３】特開２００４―１０２３８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来技術においては、以下に述べる問題がある。すなわち、特許文献１では、背景差分を利用しているため照明変化の大きい場所への適用が難しく、また混雑時には一人一人を計数することが難しくなる。特許文献２も同様に、混雑時には一人一人を計数することが難しい。特許文献３は、人が移動していることを前提としているため、動いている人と立ち止まっている人が混在する状況での混雑度の算出が難しい。
【０００８】
本発明は、かかる事情に鑑みてなされたものであり、監視場所の状況の判定および混雑度の判定を容易に行うことができる状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するため、本発明の状況判定装置は、撮像された動画像を解析することにより人の移動状況および／または混雑度を判定する状況判定装置であって、前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出手段と、前記局所画像変化率算出手段で算出された前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および／または人の混雑度を判定する状況判定手段と、を備えた。
【００１０】
この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。
【００１１】
また、本発明の状況判定装置は、前記局所領域毎の局所画像変化率算出手段は、前記動画像の第１の時間間隔を隔てて撮像された画像から得られる代表動きベクトルを求め、前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、前記第１の時間間隔より長い第２の時間間隔を前記第１の時間間隔で分割した個数と、前記動き有りと判定された前記第１の時間間隔の個数との割合として前記局所画像変化率を算出する。
【００１２】
この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。
【００１３】
また、上記構成において、前記状況判定手段は、予め求めた参照ヒストグラムを保持する参照ヒストグラム格納手段と、前記算出したヒストグラムと前記参照ヒストグラムとを比較するヒストグラム比較手段とで構成された。
【００１５】
また、上記構成において、前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定する。
【００１６】
この構成によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。
【００１７】
また、本発明の異常判定装置は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、上記状況判定装置と、前記プラットホームへの列車の到着を検知する列車到着検知手段と、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合に異常と判定する異常判定手段と、を備えた。
【００１８】
この構成によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。
【００１９】
また、上記構成において、前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた。
【００２０】
この構成によれば、監視者に対する補助情報の提供や、所定の連絡先への速やかな通報を行うことが可能となる。
【００２１】
また、本発明の状況判定方法は、撮像された動画像を解析することにより人の移動状況および／または混雑度を判定する状況判定方法であって、前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および／または人の混雑度を判定する状況判定ステップと、を備えた。
【００２２】
この方法によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。
【００２３】
また、上記状況判定方法において、前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定する。
【００２４】
この方法によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。
【００２５】
また、本発明の異常判定方法は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、上記状況判定方法を実行する状況判定ステップと、前記プラットホームへの列車の到着を検知する列車到着検知ステップと、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して、前記列車到着情報が得られた後の所定時間経過後に、前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、を備えた。
【００２６】
この方法によれば、状況判定方法により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。
【００２７】
また、本発明の状況判定プログラムは、コンピュータに、撮像された動画像を解析することにより人の移動状況および／または混雑度を判定させるための状況判定プログラムであって、前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および／または人の混雑度を判定する状況判定ステップと、を備えた。
【００２８】
このプログラムによれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１に係る状況判定装置の概略構成を示すブロック図である。図１において、本実施の形態の状況判定装置は、画像入力部１００と、画像蓄積部１１０と、局所画像変化検出部１２０と、局所画像変化情報蓄積部１３０と、局所画像変化率算出部１４０と、局所画像変化率蓄積部１５０と、局所画像変化率ヒストグラム算出部１６０と、状況判定部１７０とを備える。
【００３７】
図２は、図１の状況判定装置を、鉄道駅のプラットホームに設置した例を示す図である。鉄道駅は、プラットホーム（以下、ホームと略す）ＰＨ、ホームの側壁ＷＬ、ホームへの出入口である階段ＳＴ、線路ＲＬから構成されている。カメラＣＭはホームＰＨに存在する人の様子を撮像するため、ホームＰＨの長手方向を光軸方向とするように設置され、状況判定装置ＳＤに接続されている。図３に、カメラＣＭの撮像画像の例を示す。撮像画像には、ホームＰＨ、階段ＳＴの出入口部分、側壁ＷＬが含まれるようにカメラＣＭの画角、設置位置、光軸方向が決定されている。状況判定装置ＳＤは、図１における状況判定装置に対応する。
【００３８】
次に、本実施の形態の状況判定装置の動作を、図４のフローチャートを用いて説明する。まず、画像入力ステップＳ１００が、画像入力部１００により実行される。ステップＳ１００では、カメラＣＭで撮像された画像１フレームを、デジタル画像処理が可能な形式で取り込んだ後、画像蓄積部１１０に蓄積を行う。カメラＣＭがアナログカメラの場合、画像はＡＤ変換され、必要に応じて符号化などの圧縮処理がなされた後、画像蓄積部１１０に蓄積される。カメラＣＭがデジタルカメラの場合、画像はデジタル回線を通じて入力され、画像蓄積部１１０に蓄積される。本実施の形態では、１０ｆｐｓのデジタル動画像が入力され、現在時刻のフレーム画像が順次蓄積されるものとする。なお、カメラＣＭがアナログカメラの場合、画像蓄積部１１０がＶＴＲなどのアナログ画像を蓄積するものであって、局所画像変化検出部１２０に向けて出力される直前にＡＤ変換が実施されてもよい。
【００３９】
次に、局所画像変化検出ステップＳ１１０が、局所画像変化検出部１２０にて実行される。ここでは、図５のように、第１の時間間隔ＴＳ１として撮像周期と等しい０．１（秒）を設定し、画像蓄積部１１０に蓄積されたフレーム画像のうち、現在時刻ｔｋの画像とＴＳ１時刻前の画像ｔｋ−１の２個のフレーム画像を抽出し、局所領域における変化を検出する。局所領域の分割方法として、図６のようにカメラＣＭの設置に合わせて、予め決定しておくものとする。ここでは局所領域の総数をＮＲとする。また、ここでは透視投影の影響を補正するため、局所領域の大きさを、カメラに近い地点（画面下方）では大きく、カメラから遠い地点（画面上方）では小さく設定する。変化の検出方法として動きベクトルを利用する場合について以下に説明する。
【００４０】
（１）２個のフレーム画像から、画素毎に動きベクトルを計算
動きベクトルの計算には、非特許文献１におけるＬｕｃｕｓ−Ｋａｎａｄｅ法などの勾配法や、ブロックマッチング法を用いることができる。ここで、非特許文献２におけるＧｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ法や、マッチングの際の評価値（ＳＡＤ、ＳＳＤ等）により、信頼性の高い動きベクトルのみを後の処理で用いることが望ましい。２個のフレーム画像から画面全体に対して求めた動きベクトルのうち信頼性の高い動きベクトルの例を図７に示す。
【００４１】
非特許文献１：B.D.Lucas and T.Kanade. “An iterative image registration technique with an application to stereo vision”. IJCAI, 1981.
非特許文献２：Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994 (CVPR'94)
【００４２】
（２）局所領域毎に動きベクトルを統合
以下、現在時刻ｔｋの画像とＴＳ１時刻前の画像ｔｋ−１の２個のフレーム画像から抽出された動きベクトルに対しては添え字ｋを、ｉ番目（１≦ｉ≦ＮＲ）の局所領域に含まれる動きベクトルに対しては添え字ｉを、ｉ番目の局所領域に含まれるＮＶｋ，ｉ個の動きベクトルのうちのｊ番目（１≦ｊ≦ＮＶｋ，ｉ）の動きベクトルに対しては添え字ｊを、それぞれ用いて動きベクトル（ｕｋ，ｉ，ｊ，ｖｋ，ｉ，ｊ）を表現することにする。
【００４３】
そして、（数１）（数２）を用いてその平均値を計算することで、局所領域ｉを代表する代表動きベクトル（ｍｕｋ，ｉ，ｍｖｋ，ｉ）が算出される。動きベクトルの画像上での長さは、透視投影の影響を受け画面上方ほど実際の人の速度よりも小さく計算される。そのため、（数３）（数４）のように、その影響を補正した後の動きベクトルを平均して代表動きベクトルを算出してもよい。ここで、ｗｋｉｊは時刻ｔｋでのｉ番目の局所領域におけるｊ番目の動きベクトルの大きさを補正するための重み係数である。動きベクトルの始点が画面上方にある程大きくなるように設定される。
【００４４】
【数１】
0004624396.tif 000002
【００４５】
【数２】
0004624396.tif 000003
【００４６】
【数３】
0004624396.tif 000004
【００４７】
【数４】
0004624396.tif 000005
【００４８】
（３）代表動きベクトルに対して閾値処理を行うことにより、動きの有無を決定
局所領域ｉを代表する代表動きベクトル（ｍｕｋ，ｉ，ｍｖｋ，ｉ）の大きさに対して、予め定めた閾値を用いて動きの有無を決定する。閾値以上であれば動き有、閾値未満であれば動き無と決定する。この時点で、局所領域ｉ毎に変化（動き）の有無を二値で表現した局所変化情報Ｍｋ，ｉが得られる。動きがあればＭｋ，ｉ＝１、なければＭｋ，ｉ＝０となる。局所領域局所変化情報を画像で表現したものを図８に示す。図８では、変化が存在する局所領域に網掛けを行って表現している。局所変化情報Ｍｋは、（数５）のように局所領域毎の変化の有無（二値情報）を局所領域の個数分だけ合わせた二値ベクトル情報として、図５のように局所画像変化情報蓄積部１３０に蓄積される。なお、図５においては、フレーム画像Ｉｋおよび局所画像変化情報Ｍｋは、時刻ｔｋに蓄積され、フレーム画像Ｉｋ−１および局所画像変化情報Ｍｋ−１は、時刻ｔｋ−１に蓄積されたことを表す。
【００４９】
【数５】
0004624396.tif 000006
【００５０】
図４に戻り、次に、局所画像変化率算出ステップＳ１２０が、局所画像変化率算出部１４０にて実行される。ここでは、第２の時間間隔ＴＳ２として１０（秒）を設定する。局所領域毎に過去ＴＳ２（秒）の間に変化（動き）がどの程度の率で発生したかを求める。変化情報は第１の時間間隔ＴＳ１にて求められているため、ＴＳ２／ＴＳ１個の変化情報を用いて変化率を求める。ＴＳ１＝０．１（秒）、ＴＳ２＝１０（秒）の場合、１００個の変化情報を用いることになる。図９では、ｉ番目の局所領域において、時刻ｔｋでの局所変化情報Ｍｋ，ｉから、時刻ｔｋ−ＴＳ２／ＴＳ１＋１での局所変化情報Ｍｋ−ＴＳ２／ＴＳ１＋１，ｉのうち値が１である（すなわち変化がある）個数をカウントし、その値をＣｋ，ｉとする。そして、総数ＴＳ２／ＴＳ１にて割ることにより、局所変化率ＲＴｋ，ｉを算出する。局所変化率ＲＴｋ，ｉの取りうる値は[0,1]である。局所変化率ＲＴｋは、（数６）のように局所領域毎の変化率を局所領域の個数分だけ合わせたベクトル情報として、図１０のように局所画像率蓄積部１５０に蓄積される。なお、図１０においては、局所画像変化率ＲＴｋは時刻ｔｋに蓄積され、局所画像変化率ＲＴｋ−１は時刻ｔｋ−１に蓄積されたことを表す。
【００５１】
【数６】
0004624396.tif 000007
【００５２】
次に、局所画像変化率ヒストグラム算出ステップＳ１３０が、局所画像変化率ヒストグラム算出部１６０にて実行される。ここでは、現時刻ｔｋにおけるＮＲ個の局所変化率ＲＴｋ，ｉのヒストグラムを算出する。局所変化率ＲＴｋ，ｉの取りうる値は[0,1]であるため、ヒストグラムの階級の幅をＢＷとすると、階級数は１／ＢＷとなる。ここでは、階級の幅ＢＷ＝０．１、階級数１０とする。算出された局所画像変化率ヒストグラムの例を図１１に示す。横軸は局所画像変化率を表し、縦軸は頻度（領域数）を表す。頻度の総和（ヒストグラムの積分値）は、全領域数ＮＲとなる。
【００５３】
ここで、図２で表される駅のプラットホームにおける人の移動状況について考える。移動状況として次の３つのパタンを考える。
【００５４】
（１）多人数の自由移動
例えば、列車の到着後に多くの乗客が下車し、階段ＳＴに向かって移動するという状況（図１２）が存在する。多人数の移動であるため、ＡＲ１〜ＡＲ３など多くの移動経路で人が移動することになる。
【００５５】
（２）少人数の自由移動
例えば、列車から下車した乗客が階段ＳＴを通って移動した後、次の列車に乗る乗客が空になったホームを通って移動するという状況（図１３）が存在する。少人数の移動ではあるが、ホームが空いているため人の移動経路はばらつく。その結果、多人数移動時と同様、ＡＲ１〜ＡＲ３など多くの移動経路で人が移動することになる。
【００５６】
（３）移動経路の偏り
例えば、列車待ちの行列が存在している状況で、階段ＳＴを通ってホームに移動してきた新たな乗客がホームの空いている場所を通ってホームの画面手前側へ向かって移動するという状況（図１４）が存在する。列車待ちの人ＷＰが存在するため、移動する人ＭＰの移動経路は矢印ＡＲ１付近に限定される。
【００５７】
これらの３つの移動状況パタンに関して、変化が発生する（ある一定値以上の変化率を有する）領域数と、局所画像変化率の大きさの傾向をまとめたものを図１５に示す。また、この３つの移動パタンに関する、図１１のような局所画像変化率ヒストグラムの典型例を（１）多人数移動、（２）少人数移動、（３）移動経路偏りのそれぞれについて、図１６、図１７、図１８に示す。
【００５８】
まず多人数が移動する状況に関して、図１２に局所領域分割を施した図１９の画像を用いて補足説明をする。多人数が移動を行っている場合、画像中の多くの領域で変化（動き）が発生する。人の密度が大きいため、ある１つの局所領域に着目した場合、移動中の人が次々に通過するため、多くの局所領域にて局所画像変化率は大きくなる。よって図１５第１列のような傾向になる。同様に、図１６の局所画像変化率ヒストグラムにおいて、局所画像変化率が中〜大となる局所領域数は多くなる。
【００５９】
少人数が自由移動する状況に関して、図１３に局所領域分割を施した図２０の画像を用いて補足説明をする。多人数の移動時と同様に少人数が移動を行っている場合も、空いているホームでは人はいろいろな経路を通るため、画像中の多くの領域で変化（動き）が発生する。しかし、人の密度は小さいため、ある１つの局所領域に着目した場合、移動中の人が通過する頻度は小さくなり、局所画像変化率は小さくなる。よって図１５の第２列のような傾向になる。同様に、図１７の局所画像変化率ヒストグラムにおいては、局所画像変化率が中となる局所領域数は多くなるが、局所画像変化率が大きい局所領域数は少なくなる。
【００６０】
移動経路が偏っている状況に関して、図１４に局所領域分割を施した図２１の画像を用いて補足説明をする。列車待ちの行列が存在している場合、人の移動経路は矢印ＡＲ１の付近に制限される。列車待ちの人はその場で時々身動きをする以外動かないため、変化（動き）が発生する領域は移動する人ＭＰが存在する領域にほぼ限られ、変化が発生する領域数は少なくなる。階段ＳＴを通ってホームＰＨに流入する人の流量が少人数移動時（図１２）と同程度だとすると、移動経路が限定されている分だけ、移動経路上における局所領域当たりの通過頻度は少人数移動時よりも大きくなる。よって図１５の第３列のような傾向になる。同様に、図１８の局所画像変化率ヒストグラムにおいては、局所画像変化率が中、大である局所領域数は、図１６の多人数移動時よりも少なくなるが、図１７の少人数移動時との違いは、局所画像変化率が大きい局所領域数が数は少なくとも存在するということである。
【００６１】
以上、説明したように、局所画像変化率ヒストグラムが、局所画像変化率ヒストグラム算出ステップＳ１３０（局所画像変化率ヒストグラム算出部１６０）により算出される。
【００６２】
図２２に実際の動画像における３つのシーン（多人数移動／少人数移動／移動経路偏り）から抽出した局所画像変化率ヒストグラムを示す。それぞれは、ある時刻ｔｋ´における局所変化率ＲＴｋ´のヒストグラムに相当する（ある時刻ｔｋ´と言えども、図１０で説明した通り、一時刻の局所変化率は過去ＴＳ２／ＴＳ１個の局所変化情報から計算されている）。図２２は、局所領域の総数ＮＲ＝１６２（個）、ＴＳ１＝０．１（秒）、ＴＳ２＝１０（秒）、ヒストグラムの階級の幅をＢＷ＝０．１とした時の結果である。図２２を見ると、図１６、図１７、図１８の傾向と等しいことが分かる。
【００６３】
次に、状況判定ステップＳ１４０が、状況判定部１７０にて実行される。多人数移動／少人数移動／移動経路偏りの３状況において、局所画像変化率ヒストグラムの形状がそれぞれ図１６〜図１８のようになるということを説明済みである。本実施の形態では、これらの３状況における局所画像変化率ヒストグラムを予め求めて参照ヒストグラムとして格納しておき、判定したい状況での局所画像変化率ヒストグラムと比較することで３状況のうちのどれであるかを判定する。
【００６４】
図２３は、本実施の形態における、状況判定部１７０の内部構成である。状況判定部１７０は、参照ヒストグラム格納部２００とヒストグラム比較部２１０とで構成されている。参照ヒストグラム格納部２００には、参照用として、予め求められた局所画像変化率ヒストグラムが、各状況において少なくとも１つ、その状況（多人数移動／少人数移動／移動経路偏り、のうちのどれか）と対応付けられて格納されている。ヒストグラム比較部２１０は、局所画像変化率ヒストグラム算出部１６０で算出された、判定したい状況での局所画像変化率ヒストグラムと、参照ヒストグラム格納部２００に格納された参照用ヒストグラムのそれぞれとを比較する。そして、判定したい状況での局所画像変化率ヒストグラムがどの参照用ヒストグラムに最も類似しているかを判定し、最も類似したヒストグラムと対応づけられた状況を、状況判定の結果として出力する。ヒストグラム同士の類似度の計算方法として、（数７）のヒストグラムインターセクションや、（数８）のBhattaccharyya係数、（数９）の正規化相関、等が利用できる。
【００６５】
【数７】
0004624396.tif 000008
【００６６】
【数８】
0004624396.tif 000009
【００６７】
【数９】
0004624396.tif 000010
【００６８】
図４に戻り、最後に、ステップＳ１５０が図１にて図示せぬ制御部により実行される。図１にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合は、画像入力ステップＳ１００へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合は、処理を終了する。
【００６９】
なお、本実施の形態では、局所画像変化検出部１２０にて実行される局所画像変化検出ステップＳ１１０において、画像蓄積部１１０に蓄積されたフレーム画像のうち、時間間隔ＴＳ１である２個のフレーム画像間の、局所領域における変化を検出するために、動きベクトルを利用したが、他の方法でもよい。但し、動きベクトルを利用することで移動方向や速度が分かるので、より詳細な状況判定や混雑度判定が可能になる。単に変化の有無を検出するために、フレーム間差分が利用できる。図２４のように、時刻ｔｋ−１および時刻ｔｋに撮像された２フレーム間のフレーム間差分を計算すると各画素の値が輝度差（多値）で構成される画像Ｄｋ（ｘ，ｙ）が得られるが、局所領域ｉにおける輝度差の平均値ｄｋ，ｉが、予め定めた閾値以上か否かによって、局所領域毎の変化の有無を決定してもよい。図２４において、Ｓｉは領域ｉを構成する画素の集合であり、ＮＰｉはその要素数である。
【００７０】
なお、図２５のように、各画素の値が輝度差で構成される差分画像Ｄｋ（ｘ，ｙ）が得られた後、変化有／無を表す二値化を行い、二値化差分画像ＢＤｋ（ｘ，ｙ）を得て、局所領域における変化有の画素数ｂｄ１ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る（正規化する）したｂｄ２ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。
【００７１】
また、輝度値ベースのフレーム間差分を行うと照明変化の影響を受けるため、図２６のように入力画像に対して、エッジ抽出・二値化を行った画像同士の差分（画素毎のＸＯＲ処理）をして、エッジのフレーム間差分画像ＥＤｋ（ｘ，ｙ）を得て、局所領域における変化有の画素数ｅｄ１ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る（正規化する）したｅｄ２ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。
【００７２】
以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在を推定可能である。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。
【００７３】
（実施の形態２）
本発明の実施の形態２に係る状況判定装置の構成は、上述した実施の形態１に係る状況判定装置と同じく図１で表される。よって図１の説明を省略する。但し、実施の形態１においては状況判定部１７０の内部構成が図２３で表されていたのに対して、本実施の形態においては図２７で表される。すなわち、状況判定部１７０は、特徴抽出部３００、識別基準格納部３１０、識別部３２０で構成される。特徴抽出部３００は、局所画像変化率ヒストグラム算出部１６０で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。識別基準格納部３１０には、状況判定あるいは混雑度判定のための、特徴抽出部３００で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。識別部３２０は、特徴抽出部３００で抽出された特徴量と、識別基準格納部３１０に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。
【００７４】
本実施の形態に係る状況判定方法のフローチャートは、実施の形態１と同じく図４で表される。ここで局所画像変化率ヒストグラム算出ステップＳ１３０までとステップ１５０での処理は、第１の実施形態と同様であるため、説明を省略する。
【００７５】
以下、状況判定ステップＳ１４０での動作を、図２７のブロック図を利用して説明する。まず、特徴抽出部３００は、局所画像変化率ヒストグラム算出部１６０で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。ここでは、局所画像変化率ヒストグラムから２次元の特徴量を抽出する。特徴量抽出方法を以下に示す。
【００７６】
（１）局所画像変化率ヒストグラムにおいて、変化率が中程度（閾値ＴＨ１）以上の領域数をカウントし、この領域数ＲＮ１とする。
（２）局所画像変化率ヒストグラムにおいて、変化率が大きい（閾値ＴＨ２以上の；ＴＨ２＞ＴＨ１）領域数をカウントし、この領域数をＲＮ２とする。
（３）ＲＮ１≠０の時、（ｆ１，ｆ２）＝（ＲＮ１／ＮＲ，ＲＮ２／ＲＮ１）を、ＲＮ１＝０の時、（ｆ１，ｆ２）＝（ＲＮ１／ＮＲ，０）を、特徴量とする。
【００７７】
ＴＨ１＝０．４，ＴＨ２＝０．７とすると、図２２における３状況（多人数移動／少人数移動／移動経路偏り）におけるＲＮ１およびＲＮ２の値は、それぞれ、図２８における表のようになり、ｆ１およびｆ２の値は、それぞれ、図２９における表のようになる。
【００７８】
また、識別基準格納部３１０には、状況判定あるいは混雑度判定のための、特徴抽出部３００で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。図３０に３シーンの動画から予め抽出した２次元特徴量（ｆ１，ｆ２）の分布を示す。分布における各点は、一時刻における局所変化率ヒストグラムから抽出されたものである。すなわち、３シーンのそれぞれから、複数時刻において特徴抽出を行っていることになる。識別基準格納部３１０に格納する情報として、図３０のような分布を用いる。
【００７９】
識別部３２０は、特徴抽出部３００で抽出された特徴量と、識別基準格納部３１０に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。
【００８０】
以下に状況種別を識別する方法について説明する。識別基準格納部３１０に図３０の情報が格納されているとする。局所画像変化率ヒストグラム算出部１６０で算出された各ヒストグラムが図２２のいずれかであり、その状況種別は未知であるとする。この時、特徴抽出部３００にて抽出される特徴量は、図２９で表される表のうち、いずれかの行の値の組になる。特徴抽出部３００にて抽出された特徴量が、識別基準格納部３１０に格納された各特徴量のうち最も近い特徴点を探索し（最近傍法）、その特徴点に対応付けられた状況種別を出力することで、特徴抽出部３００にて抽出された特徴量に対応するシーンの状況判定が可能となる。図３１に、図２９の表で表される各値と、図３０で表される２次元特徴量（ｆ１，ｆ２）の分布との関係を示す。最近傍法を用いることで、状況判定が正しく行えることが分かる。
【００８１】
なお、上記では最近傍法について説明したが、教師付けがなされた多数の訓練サンプルを用いて未知サンプルの識別を行う方法であれば他の方法でもよい。例えば、ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）、判別分析法（線形判別分析、二次判別分析）、ニューラルネットワークなどを用いることができる。各手法は様々な文献にて解説されているため、説明を省略する。例えば、ＳＶＭに関しては非特許文献３を、判別分析法に関しては非特許文献４を参照されたい。
【００８２】
非特許文献３：「サポートベクターマシン入門」，Ｎｅｌｌｏ  Ｃｒｉｓｔｉａｎｉｎｉ  著，Ｊｏｈｎ  Ｓｈａｗｅ‐Ｔａｙｌｏｒ  著，大北  剛  訳，共立出版，2005/03
非特許文献４：「多変量解析法  現代人の統計２」，柳井晴夫  他，朝倉書店，1979/01
【００８３】
次に、混雑度を判定する方法について説明する。まず、混雑が進んだ時の、指標ＲＮ１およびＲＮ２，特徴量ｆ１およびｆ２の変化傾向について、自由移動の（移動経路が制限されない）場合と、移動経路が偏る場合とに分けて説明を行う。
【００８４】
＜自由移動の（移動経路が制限されない）場合＞
図３２における〔１〕から〔２〕（図では数値を○で囲んでおり、他の数値３〜６も同様である）の状態に移行するにつれて、中程度以上の局所画像変化率を持つ領域数ＲＮ１が増加するが、大きい局所画像変化率を持つ領域数ＲＮ２はあまり増加しない。これは、移動経路が制限されない状況において人数が増加すると人は様々な経路を通る（人と同じ経路を通ることが少ない）ためである。よって、特徴量ｆ１の増加が主となり、２次元特徴量空間（ｆ１，ｆ２）においては、図３３の〔１〕から〔２〕のように位置が変化する。
【００８５】
図３２における〔３〕は、人の移動経路がほぼ駅のホーム全域に広がった状態である。図３２における〔２〕の状態から〔３〕の状態への移行に関しては、〔１〕から〔２〕への移行と同様に、特徴量ｆ１の増加が主となり、２次元特徴量空間（ｆ１，ｆ２）においては、図３３の〔２〕から〔３〕のように位置が変化する。
【００８６】
図３２における〔４〕の状態では、人の密度が増すため、大きい局所画像変化率を持つ領域が増加する。中程度以上の局所画像変化率を持つ領域数ＲＮ１の増加よりも、大きい局所画像変化率を持つ領域数ＲＮ２の増加の方が大きくなり、２次元特徴量空間（ｆ１，ｆ２）においては、図３３の〔３〕から〔４〕のように位置が変化する（特徴量をプロットした点の移動の傾きが大きくなる）。
【００８７】
なお、図３２において〔４〕→〔３〕→〔２〕→〔１〕の順で状況推移する際は、図３３の特徴量空間における特徴量の動きは〔４〕→〔３〕→〔２〕→〔１〕のように逆の経路を辿ることになる。
【００８８】
＜移動経路が偏る場合＞
図３２における〔１〕から〔２〕の状態への変化時の図３３の特徴量空間におけるプロットの移動に関しては、自由移動の場合と同様である。〔２〕の状態から少しずつ人が列車待ちの行列を形成し始める。行列が形成され始めた図３２の〔５〕では、人の移動経路が行列により制限されている。一度行列ができて移動経路が制限されると、中程度以上の局所画像変化率を持つ領域数ＲＮ１の増加が頭打ちになる。行列が伸びて、さらに移動経路が制限されると指標ＲＮ１は減少に転じる。もう一方の指標ＲＮ２に関しては、移動経路が限定されるため、人の流量が一定だとすると単位領域当たりの人通過の頻度が大きくなり、ＲＮ２が増加する。図３３の２次元特徴量空間（ｆ１，ｆ２）においては〔２〕→〔５〕のように、位置が変化する。
【００８９】
図３２の〔６〕では行列の人数がさらに増加し、人の移動経路がさらに制限されている。よって、中程度以上の局所画像変化率を持つ領域数ＲＮ１が減少し、局所画像変化率が大きい領域数ＲＮ２が増加している。図３３の２次元特徴量空間（ｆ１，ｆ２）においては〔５〕→〔６〕のように、位置が変化する。
【００９０】
次に、混雑度の算出方法について説明する。ここでは部分空間法を用いる例について説明する。部分空間法についての詳細は非特許文献５の第１４章を参照されたい。ここでは概要のみを説明する。予め（１）〜（２）の処理を行っておく。
【００９１】
（１）多人数移動／少人数移動／移動経路偏りなどの状況別に複数の特徴量を抽出し、図３０のような分布を求める。
【００９２】
（２）各状況の２次元分布に対してそれぞれ主成分分析を行い、第１主成分（主軸）の直線を１次元部分空間とする。３状況のそれぞれの部分空間を図３４に示す。
【００９３】
混雑度を求めたいシーンから抽出した特徴量が属する状況の決定方法、および、混雑度の算出方法を（３）にて説明する。
【００９４】
（３）その状況が未知である特徴量が、属する部分空間を決定する。図３５のように入力特徴量ベクトルｆを部分空間に射影した時、最大の射影成分||Ｐｆ||を持つ部分空間を識別結果として選ぶ。ここまでは、先ほど説明した状況種別を識別する場合の他の実施例に相当する。図３６のように、予め、部分空間（ここでは直線）上の位置と混雑度を表す指標とを対応付けておくことにより、特徴量ベクトルｆを部分空間へ射影したベクトルの終点位置（図３５の矢印ＰＯＳの位置）により混雑度指標を求めることができる。混雑度指標として、図３６における最も近い混雑度レベル（整数）を選んでもよいし、終点位置により補間を行い、小数での混雑度レベルを計算してもよい。
【００９５】
非特許文献５：「コンピュータビジョン  技術評論と将来展望」，松山  隆司，久野  義徳，井宮  淳  編，新技術コミュニケーションズ，1998/06
【００９６】
なお、本実施の形態では、混雑度を、部分空間に射影した位置を利用して算出したが、主成分分析ではなく重回帰分析などの他の手法を用いてもよい。重回帰分析に関しては、非特許文献４に詳細が記載されているため説明を省略する。
【００９７】
なお、本実施の形態では状況種別として、３状況（多人数移動／少人数移動／移動経路偏り）を定義したが、多人数移動と少人数移動を合わせた「通常移動」と「移動経路偏り」の２状況を識別するようにしてもよいし、３状況よりも多くの状況に分類してもよい。例えば、部分空間で近似を行う際の近似誤差が少なくなるように、図３７のように４状況に分類してもよい。
【００９８】
以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定し、加えて、混雑度レベルを算出することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。
【００９９】
（実施の形態３）
図３８は、本発明の実施の形態３に係る異常判定装置の概略構成を示すブロック図である。図３８において、本実施の形態の異常判定装置は、状況判定装置５００と、列車到着検知部５１０と、異常判定部５２０と、通報部５３０とを備えて構成されている。前述した実施の形態１と同様に、この異常判定装置は図２の鉄道駅のプラットホームに設置される。
【０１００】
状況判定装置５００は、図１のブロック図で表されるものであり、異常判定部５２０へ判定した状況種別または混雑度を送信する。状況判定装置５００の動作など詳細は実施の形態１、または、実施の形態２にて説明したとおりである。判定する状況種別として、少なくとも、人の移動経路が偏っている状況を含むものとする。
【０１０１】
列車到着検知部５１０は、列車のプラットホームへの到着を検知する手段である。画像認識によるもの、画像以外のセンサによるもの、列車運行データを利用するもの等、列車の到着を検知できればどのような方式であってもよい。画像認識を利用する場合、列車の色・形状などの見え情報を予め登録しておき、登録したテンプレートとマッチングすることにより列車の到着を判定すればよい。実施の形態１で説明した動きベクトルを利用することもできる。向きおよび強度が類似した動きベクトルが画像における予め指定した領域（線路付近）にて複数出現すれば、剛体の移動を検出したということで、列車が到着したと判定してもよい。画像以外のセンサとしては、例えば線路の下に荷重センサを設け、荷重値により列車到着を判定することができる。また、レーザ発光器と受光器を利用し、レーザ光の列車からの反射光を検知したり、列車により発光器からの光が遮断されることを検知して、列車到着を判定することができる。列車運行データを利用する例としては、列車あるいは運転指令所からの通信を受信することにより列車到着を知ることができる。
【０１０２】
異常判定部５２０は、状況判定装置５００からの状況判定あるいは混雑度判定の結果と、列車到着検知部５１０からの列車到着情報の両者から異常を判定する。処理の詳細については後ほど説明する。通報部５３０は、異常判定部５２０で異常と判定された場合、予め定められた連絡先に通報を行う。
【０１０３】
以下、本実施の形態の異常判定装置の動作について、図３９のフローチャートを利用して説明する。画像入力ステップＳ１００から状況判定ステップＳ１４０までが、状況判定装置５００により実行される。状況判定装置５００の構成は図１で表され、ステップＳ１００からステップＳ１４０までの各処理が実行される手段および各処理の動作など詳細は実施の形態１、または、実施の形態２にて説明した通りであるため説明を省略する。ここで、状況判定装置５００が出力する混雑度指標および状況判定結果の通常時の時系列変化について、図４０を用いて説明する。図４０は、実施の形態２で説明した状況判定装置が出力する混雑度および状況判定結果を時系列で表した模式図である。
【０１０４】
＜混雑度指標＞
横軸は時刻を表しており、時刻ｔ３およびｔ６にて列車が到着している。時刻ｔ１では前の列車が到着した直後のためホームには人が存在せず混雑度は０である。時刻ｔ３の列車到着まで、列車に乗るための人々がホームに流入するため混雑度は漸増し、列車が到着した時刻ｔ３にて、列車待ちの人が列車に乗り込むと共に、列車から乗客がホームに下りて図２における階段ＳＴへ向かう。乗客が全て階段ＳＴに移動した時刻ｔ４では混雑度が再び０に戻る。その後は、時刻ｔ１からｔ４までの繰り返しである。
【０１０５】
＜状況判定結果＞
時刻ｔ１からｔ２までは、列車待ちの行列がホームに存在しないため、状況判定結果として「状況１：少人数移動」と判定されている。時刻ｔ２から列車待ち行列がホームに発生し始め、状況判定結果として「状況２：移動経路偏り」と判定される。時刻ｔ３に列車が到着すると、乗客が一度に図２における階段ＳＴへ向かうため、状況判定結果として「状況３：多人数移動」と判定される。
【０１０６】
次に、列車到着検知ステップＳ２００が、列車到着検知部５１０により実行される。ここでの処理は、列車到着検知部５１０の動作説明時に説明した通りである。
【０１０７】
次に、ステップＳ２１０が、図３８では図示せぬ制御部により実行される。現在時刻にて列車到着情報が存在していれば（ＹＥＳの場合）異常判定ステップＳ２２０に進み、列車到着情報が存在していなければ（ＮＯの場合）ステップＳ１５０へ進む。
【０１０８】
次に、異常判定ステップＳ２２０が、異常判定部５２０により実行される。本ステップの処理は次のように行われる。列車が到着してから混雑度が再び０に戻るまでの時間（例えば時刻ｔ３からｔ４の間隔）を予め計測し、その値を基に閾値ＤＴを決定しておく。列車到着検知部５１０が列車到着を検知した時刻から時間ＤＴが経過した時に、混雑度指標が予め定めた閾値を下回らない、もしくは、状況判定結果が「状況１：少人数移動」にならない場合は、異常と判定する。
【０１０９】
異常となる例として、到着した列車が満員のためホームにいた待ち客の全員が列車に乗り込めず、一部の人がホームに残ってしまう場合や、階段ＳＴにて混雑が生じ、時間ＤＴが経過しても、列車から下りた人が階段ＳＴに移動できない場合がある。なお、混雑が解消する時間は、列車待ち行列の人数、および、列車から降りる人の人数に影響を受けるため、閾値ＤＴとして、時間帯、曜日によりそれぞれ適切な値を設定することが望ましい。
【０１１０】
次に、ステップＳ２３０が、図３８では図示せぬ制御部により実行される。異常判定ステップで異常と判定されていれば（ＹＥＳの場合）通報ステップＳ２４０に進み、そうでなければ（ＮＯの場合）ステップＳ１５０へ進む。通報ステップＳ２４０は、通報部５３０により実行される。ここでの処理は、通報部５３０の動作説明時に説明した通りである。最後に、ステップＳ１５０が図３８にて図示せぬ制御部により実行される。図３８にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合（ＹＥＳの場合）は画像入力ステップＳ１００へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合（ＮＯの場合）は処理を終了する。
【０１１１】
以上のように、本実施の形態の異常判定装置によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定可能である。
【産業上の利用可能性】
【０１１２】
本発明に係る状況判定装置、状況判定方法、状況判定プログラムは、人の移動に係る状況種別を判定し、あるいは、人の混雑度を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図ることのできる装置、方法、および、プログラムを提供できる。また、本発明に係る異常判定装置、異常判定方法、異常判定プログラムは、人の移動に係る異常な混雑状況を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図り、異常混雑に伴う事故を未然防止するために異常を早期検出できる、装置、方法、および、プログラムを提供できる。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態１に係る状況判定装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る状況判定装置を鉄道の駅に設置した様子を示す図
【図３】本発明の実施の形態１に係るカメラＣＭでの撮像画像を示す図
【図４】本発明の実施の形態１に係る状況判定装置で実施される状況判定方法を説明するためのフローチャート
【図５】本発明の実施の形態１に係る状況判定装置の画像蓄積部に蓄積されるフレーム画像と、局所画像変化情報蓄積部に蓄積される局所変化情報と、時刻との関係を示す図
【図６】本発明の実施の形態１に係るカメラＣＭでの撮像画像に対し、局所領域分割を行った様子を示す図
【図７】本発明の実施の形態１に係る状況判定装置の局所画像変化検出部にて抽出された動きベクトルの例を示す図
【図８】本発明の実施の形態１に係る状況判定装置の局所画像変化検出部にて検出され、局所画像変化情報蓄積部に蓄積される局所変化情報の要素を示す図
【図９】本発明の実施の形態１に係る状況判定装置の局所画像変化率算出部にて算出され、局所画像変化率蓄積部に蓄積される局所変化率の要素を示す図
【図１０】本発明の実施の形態１に係る状況判定装置の画像蓄積部に蓄積されるフレーム画像と、局所画像変化情報蓄積部に蓄積される局所変化情報と、局所画像変化率蓄積部に蓄積される局所変化率と、時刻との関係を示す図
【図１１】本発明の実施の形態１に係る状況判定装置の局所画像変化率ヒストグラム算出部で算出された局所画像変化率ヒストグラムの例を示す図
【図１２】本発明の実施の形態１に係る状況判定装置の動作において、多人数の移動状況を撮像した画像の例を示す図
【図１３】本発明の実施の形態１に係る状況判定装置の動作において、少人数の移動状況を撮像した画像の例を示す図
【図１４】本発明の実施の形態１に係る状況判定装置の動作において、列車を待つ行列が存在する場所にて、人が移動する状況を撮像した画像の例を示す図
【図１５】本発明の実施の形態１に係る状況判定装置の動作において、３つの状況に関して、変化が発生する領域数と局所画像変化率の傾向を示す表
【図１６】本発明の実施の形態１に係る状況判定装置の動作において、多人数移動時での局所画像変化率ヒストグラムの特性を示す図
【図１７】本発明の実施の形態１に係る状況判定装置の動作において、小人数移動時での局所画像変化率ヒストグラムの特性を示す図
【図１８】本発明の実施の形態１に係る状況判定装置の動作において、人の移動経路に偏りが存在する時での局所画像変化率ヒストグラムの特性を示す図
【図１９】本発明の実施の形態１に係る状況判定装置の動作において、多人数の移動状況を撮像した画像に、局所領域分割を施した様子を示す図
【図２０】本発明の実施の形態１に係る状況判定装置の動作において、少人数の移動状況を撮像した画像に局所領域分割を施した様子を示す図
【図２１】本発明の実施の形態１に係る状況判定装置の動作において、人の移動経路に偏りが存在する状況を撮像した画像に局所領域分割を施した様子を示す図
【図２２】本発明の実施の形態１に係る状況判定装置の動作において、実際の動画像から求められた局所画像変化率ヒストグラムの例を示す図
【図２３】本発明の実施の形態１に係る状況判定装置の状況判定部の内部構成を示すブロック図
【図２４】本発明の実施の形態１に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図
【図２５】本発明の実施の形態１に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図
【図２６】本発明の実施の形態１に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図
【図２７】本発明の実施の形態２に係る状況判定装置の状況判定部の内部構成を示すブロック図
【図２８】本発明の実施の形態２に係る状況判定装置の特徴抽出部の特徴量抽出において求められる指標の値を示す図
【図２９】本発明の実施の形態２に係る状況判定装置の特徴抽出部で抽出された特徴量の値を示す図
【図３０】本発明の実施の形態２に係る状況判定装置の特徴抽出部が３シーンの動画から抽出した２次元特徴量の分布を示す図
【図３１】本発明の実施の形態２に係る状況判定装置の特徴抽出部で抽出された特徴量の各値と２次元特徴量の分布との関係を示す図
【図３２】本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、駅ホームにおける、６シーンを撮像した画像を示す図
【図３３】本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、６シーンに対応する特徴量の２次元特徴量空間における分布を示す図
【図３４】本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、３状況における特徴量の分布に対して、それぞれ求めた部分空間を、分布と同時に表示した図
【図３５】本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、部分空間法を説明するための図
【図３６】本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、部分空間上の位置と混雑度を表す指標とを対応付けた様子を示す図
【図３７】本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、４状況における特徴量の分布に対して、それぞれ求めた部分空間を、分布と同時に表示した図
【図３８】本発明の実施の形態３に係る異常判定装置の概略構成を示すブロック図
【図３９】本発明の実施の形態３に係る異常判定装置で実行される異常判定処理を説明するためのフローチャート
【図４０】本発明の実施の形態３に係る異常判定装置の状況判定装置が出力する混雑度および状況種別の通常状態における時間推移を示すグラフ
【符号の説明】
【０１１４】
１００  画像入力部
１１０  画像蓄積部
１２０  局所画像変化検出部
１３０  局所画像変化情報蓄積部
１４０  局所画像変化率算出部
１５０  局所画像変化率蓄積部
１６０  局所画像変化率ヒストグラム算出部
１７０  状況判定部
２００  参照ヒストグラム格納部
２１０  ヒストグラム比較部
３００  特徴抽出部
３１０  識別基準格納部
３２０  識別部
５００  状況判定装置
５１０  列車到着検知部
５２０  異常判定部
５３０  通報部
ＰＨ  駅のプラットホーム
ＷＬ  プラットホームの側壁
ＳＴ  プラットホームへの人の出入りのための階段
ＲＬ  線路
ＣＭ  カメラ
ＳＤ  状況判定装置
ＡＲ１〜ＡＲ３  人の移動経路を表す矢印
ＷＰ  列車を待つ人
ＭＰ  移動する人
【図１】
0004624396.tif 000011
【図２】
0004624396.tif 000012
【図３】
0004624396.tif 000013
【図４】
0004624396.tif 000014
【図５】
0004624396.tif 000015
【図６】
0004624396.tif 000016
【図７】
0004624396.tif 000017
【図８】
0004624396.tif 000018
【図９】
0004624396.tif 000019
【図１０】
0004624396.tif 000020
【図１１】
0004624396.tif 000021
【図１２】
0004624396.tif 000022
【図１３】
0004624396.tif 000023
【図１４】
0004624396.tif 000024
【図１５】
0004624396.tif 000025
【図１６】
0004624396.tif 000026
【図１７】
0004624396.tif 000027
【図１８】
0004624396.tif 000028
【図１９】
0004624396.tif 000029
【図２０】
0004624396.tif 000030
【図２１】
0004624396.tif 000031
【図２２】
0004624396.tif 000032
【図２３】
0004624396.tif 000033
【図２４】
0004624396.tif 000034
【図２５】
0004624396.tif 000035
【図２６】
0004624396.tif 000036
【図２７】
0004624396.tif 000037
【図２８】
0004624396.tif 000038
【図２９】
0004624396.tif 000039
【図３０】
0004624396.tif 000040
【図３１】
0004624396.tif 000041
【図３２】
0004624396.tif 000042
【図３３】
0004624396.tif 000043
【図３４】
0004624396.tif 000044
【図３５】
0004624396.tif 000045
【図３６】
0004624396.tif 000046
【図３７】
0004624396.tif 000047
【図３８】
0004624396.tif 000048
【図３９】
0004624396.tif 000049
【図４０】
0004624396.tif 000050