(57)【要約】【課題】従来の映像解析では、人や車などの目標の位置推定、運動解析、識別などを行い、映像から目標に対する詳細な情報を得ることができる。しかし、個々の目標の詳細な解析を目的としているため、撮影領域全体の状況を把握することはできない。【解決手段】全方位カメラを使用してある位置からの全方位映像を取得する撮影手段と、全方位映像を用いて撮影領域の概況を推定する状況推定手段を有する映像解析装置を構成する。また、所望の領域全体の状況が把握できるように、複数の全方位カメラの位置や姿勢を決定するカメラパラメータ推定手段を設ける。【選択図】  図１
2004343461.tif 000002
【特許請求の範囲】
【請求項１】
広域の映像を取得、解析する装置であって、
全方位カメラを使用してある位置からの全方位映像を取得する撮影手段と、
全方位映像を用いて撮影領域の概況を推定する状況推定手段を備える
ことを特徴とする全方位映像認識装置。
【請求項２】
請求項１において、
所望の領域全体の状況が把握できるように複数の全方位カメラの位置や姿勢を決定するカメラパラメータ推定手段を備える
ことを特徴とする全方位映像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ映像を解析して撮影領域の状況を把握する映像認識装置に関する。
【０００２】
【従来の技術】
従来より、映像を対象とする解析装置は遠隔地の監視等を目的に広く使用されている。このような装置における映像解析では、人や車などの目標の位置推定、運動解析、識別などを行い、映像から目標に対する詳細な情報を得ることができる（例えば下記非特許文献１等参照）。
【０００３】
【非特許文献１】
藤吉弘亘ら、“ＶＳＡＭ：画像理解技術を用いたビデオ監視システムプロジェクトについて”、情処研報（ＣＧ）、Ｖｏｌ．２００１、Ｎｏ．１０５、ｐｐ．６７−７４、２００１．
【０００４】
【発明が解決しようとする課題】
上記従来技術では、個々の目標の詳細な解析を目的としているため、撮影領域全体の状況を把握することはできない。
【０００５】
そこで、本発明では、カメラ映像を使用して撮影領域全体の状況を把握するための映像解析装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では以下の手段を設ける。
（１）全方位カメラを使用してある位置からの全方位映像を取得する撮影手段と、全方位映像を用いて撮影領域の概況を推定する状況推定手段を有する映像解析装置を構成する。
（２）所望の領域全体の状況が把握できるように、複数の全方位カメラの位置や姿勢を決定するカメラパラメータ推定手段を設ける。
【０００７】
【発明の実施の形態】
本発明は、全方位カメラの映像を基に撮影領域の概況を把握する全方位映像認識装置に関する。具体的には、下記の方法を実施するソフトウェア、またはハードウェアを作成することにより実現できる。
【０００８】
図１は本実施例における全方位映像認識装置の構成図である。全方位映像認識装置は、全方位カメラ１０１のインタフェース１０２、外部出力機器用インタフェース１０３、撮影領域の背景画像等を格納したデータベース１２０とのインタフェース１０４、一連の処理を行うＣＰＵ１０５、プログラムやデータを格納するメモリ１０６、およびこれらを結合するバス１０７から構成される。図１ではカメラ数を１としているが、任意の数とすることができる。
【０００９】
図２は、全方映像認識装置における処理のブロック図である。撮影部２０１では、全方位カメラ１０１を使用してそのカメラが設置された場所からの全方位にわたる映像を撮影する。状況推定部２０２では、撮影した全方位映像を基に撮影領域の概況を推定する。表示部２０３では、映像や推定した概況を提示する。撮影部２０１で使用する全方位カメラ１０１としては、下記文献２等に記載の各種カメラを使用することができる。
【００１０】
文献２：山澤一誠、“ミラーを用いた全方位カメラの原理と特徴”、情処研報（ＣＶＩＭ）、Ｖｏｌ．２００１、Ｎｏ．４（１２５）、ｐｐ．１５５−１６０、２００１．
以下、状況推定部２０２における処理の具体例を示す。この処理は全方位映像認識装置のメモリ１０６内に格納され、ＣＰＵ１０５により実行される。
【００１１】
図３は状況推定部２０２における具体的な処理手順である。以下、図３の番号をステップ番号として、状況推定部２０２における処理手順を示す。なお、以下では、図４に示すように、電車の車両４０１の天井に全方位カメラ１０１を設置して撮影を行い、その映像から車内の混雑度を予想することを目的としていると仮定する。ステップ３０１：背景映像取得
あらかじめ撮影してある、現在撮影中の領域と同じ領域の映像をデータベース１２０より取得する。以下、本画像を背景画像と呼ぶ。
【００１２】
図５に背景画像の例を示す。画像５０１には、窓５０３（図４中の窓４０３に対応）、座席５０４（図４中の座席４０４に対応）、ドア５０５（図４中のドア４０５に対応）が含まれる。
ステップ３０２：背景差分
撮影中の映像をある時刻で切り出し、切り出した映像内の背景以外の部分を抽出する。具体的には、切り出した映像とステップ３０１で選択した背景画像との差分をとり、その絶対値が大である領域を抽出する。この処理は背景差分法と呼ばれる既知の技術である。
【００１３】
図６に撮影画像の例を示す。画像６０１には、人物６０２（図４中の人物４０２に対応）、窓６０３、座席６０４、ドア６０５が含まれる。図７に差分をとった画像の例を示す。図５、図６では、窓５０３，６０３、座席５０４，６０４、ドア５０５，６０５はその位置がほぼ不変であるため、差分をとることにより人物６０２（図７中のオブジェクト７０２）を抽出することができる。ただし、電車の振動等に起因する映像のずれや、照明の影響による輝度変化等の理由により、その他のオブジェクト７０３から７０５が抽出されることがある。
ステップ３０３：目標オブジェクト選択
ステップ３０２で得られる差分画像から、撮影領域において状況推定する際に必要なオブジェクトのみを選択する。具体的には、輝度値や検出したオブジェクトの領域の大きさに関してしきい値処理を実行する。オブジェクトの領域推定方法としては、下記文献３に記載のクラスタリング手法等を使用する。
【００１４】
文献３：高木幹雄、下田陽久、“画像解析ハンドブック”、東京大学出版会、１９９１．
図７の例では、本処理により人物６０２を表すオブジェクト７０２のみの画像が得られる。
ステップ３０４：領域状態量算出
撮影領域の状況を判断する指標である領域状態量を算出する。本実施例では、領域状態量により車両４０１の混雑度を表現する。具体的な領域状態量は、選択したオブジェクトの面積の総和（全画素数）で定義する。その他、面積の総和に加えて選択したオブジェクト数や、個々のオブジェクトの面積等を考慮することもできる。
【００１５】
このように、領域状態量としては、映像の詳細な解析により車両４０１内の人数等を推定して混雑度合いを算出するのではなく、より簡単な画像処理のみで算出可能であり、目標とする多数の人物等を包括的に表現する指標を定義する。
ステップ３０５：状況推定
ステップ３０４で算出した領域状態量に基づいて撮影領域の状況を推定する。本実施例では、混雑度の大小により車両４０１がどの程度混雑しているか推定する。
【００１６】
図８に混雑度の異なる全方位映像の例を示す。画像８０１のオブジェクト８０２、８０３に比べて、画像８０４のオブジェクト８０５から８０７の全画素数は大であるため、画像８０４として撮影された車両の方がより混雑していると判断する。
【００１７】
本映像認識装置では、複数の全方位カメラを使用することも可能である。図９に示すように、車両４０１内に中吊り広告９０２等の障害物がある場合、一つの全方位カメラ１０１だけでは車内全域を撮影できないことがある。そのような場合、他の全方位カメラ９０１を適切に設置して、それら複数の映像を使用することにより、車内全域の状況を把握することができる。
【００１８】
全方位カメラ１０１，９０１のパラメータ設定は背景映像撮影時等、事前に行う。具体的な方法としては、同時刻に撮影した映像を基に、車内で死角となる領域の面積が最小となるようにカメラ位置や姿勢を調整する。図１０は全方位カメラ１０１，９０１の映像例である。オブジェクト１００２，１００４は、中吊り広告９０２である。各カメラの映像１００１，１００３を基に、中吊り広告９０２のような障害物で死角となる領域がカメラごとに異なるように全方位カメラ１０１，９０１の位置や姿勢を決定する。
【００１９】
以上のように、全方位カメラの映像を用いて目標を包括的に表現する指標である領域状態量を算出し、映像を解析することにより、撮影領域の概況を把握することが可能となる。
【００２０】
【発明の効果】
本発明によれば、全方位カメラにより映像を撮影して、目標を包括的に表現する指標の算出、および指標に基づく解析を行うことにより、撮影領域全体の状況を把握するための映像解析装置を提供することができる。
【図面の簡単な説明】
【図１】全方位映像認識装置の構成図。
【図２】全方映像認識装置における処理のブロック図。
【図３】状況推定部における処理手順。
【図４】全方位カメラによる撮影状況例。
【図５】全方位カメラにより撮影した背景画像の例。
【図６】全方位カメラにより撮影した画像の例。
【図７】背景画像との差分画像の例。
【図８】混雑度の異なる全方位映像の例。
【図９】複数の全方位カメラによる撮影状況例。
【図１０】複数の全方位カメラにより撮影した画像の例。
【符号の説明】
１０１…全方位カメラ、１０２…映像入力用インタフェース、１０３…外部出力機器用インタフェース、１０４…外部機器用インタフェース、１０５…ＣＰＵ、１０６…メモリ、１０７…バス、２０１…撮影部、２０２…状況推定部、２０３…表示部、４０１…車両、４０２ａ，４０２ｂ，４０２ｃ…人物、４０３ａ，４０３ｂ…窓、４０４…座席、４０５…ドア、５０１…事前に撮影した車両の画像、６０１…車両の撮影画像、７０１…差分画像。
【図１】
2004343461.tif 000003
【図２】
2004343461.tif 000004
【図３】
2004343461.tif 000005
【図４】
2004343461.tif 000006
【図５】
2004343461.tif 000007
【図６】
2004343461.tif 000008
【図７】
2004343461.tif 000009
【図８】
2004343461.tif 000010
【図９】
2004343461.tif 000011
【図１０】
2004343461.tif 000012